Rastreamento visual direto é resolvido atualmente utilizando principalmente técnicas de otimização baseadas em descida de gradiente. a velocidade de convergência destas técnicas permite utilizar modelos de transformações com vários graus de liberdade. muitas abordagens utilizam a soma do quadrado dos resíduos como medida de similaridade, mas esta técnica não oferece estabilidade perante mudanças de iluminação na cena. estas mudanças causam instabilidades na convergência dos métodos se não forem compensadas. uma das técnicas de compensação de iluminação utiliza um modelo paramétrico de iluminação que aumenta o número de parâmetros a serem calculados. as aplicações que utilizam rastreamento direto precisam de respostas em tempo real e podem tornar-se impraticáveis com a adição do modelo de iluminação. nesta dissertação é proposto um método de rastreamento visual direto robusto capaz de rastrear sob condições de iluminação extremas. utilizando a soma da variância condicional como base, a abordagem proposta utiliza sub-imagens para lidar com mudanças de iluminações extremas. o método proposto reduz o esforço computacional quando comparado com técnicas similares da literatura. resultados experimentais atestam a redução de em média 57,5% em tempo de processamento para sequências coloridas.