VoiceDub - Sincronização Labial Automática

From HLT@INESC-ID

Carlos Mendes

Resumo

A dobragem de um filme é um processo comum e dispendioso. Esta pode ser necessária em situações em que o som captado originalmente não tenha a qualidade necessária, ou quando a locução de um actor não é suficiente para o efeito pretendido, ou ainda quando se pretende alterar a língua original do filme. Em todas estas situações fazem-se gravações em estúdio, posteriores à captura das imagens, que necessitam de ser sincronizadas com os movimentos labiais. No caso em que há alteração da língua o processo torna-se ainda mais difícil, pois a coincidência com os movimentos labiais é menor. Pretende-se neste trabalho analisar esta última situação e desenvolver ferramentas para minimizar este problema. Para esse efeito recorreu-se ao conceito de visemas e utilizaram-se máquinas de estados finitos para efectuar o alinhamento fonético. Foram ainda identificados os vários problemas inerentes ao alinhamento e construiu-se um conjunto de medidas que permitem realizar a sincronização labial com sucesso. Além deste processamento, efectuou-se um estudo sobre medidas de qualidade com o intuito de avaliar dobragens e traduções com aplicação a dobragens.

Palavras Chave: Sincronização Labial Automática, Visemas, Dobragens, Alinhamento, Máquinas de Estados Finitos, wFSMs, vwFSMs.

Abstract

Full Text

Demos