Dublajlı Filmlerdeki Dudak ve Ses Uyumsuzluğu Sona Eriyor!

Dublajlı filmlerdeki dudak ve ses uyumsuzluğu, filmleri orijinal dilinde izleyenlerin muhtemelen katlanamadığı sorunların başında geliyor. Bu kişiler genellikle Türkçe dublaj film izlemekten kaçınan, yabancı dil konuşulan filmleri altyazılı olarak izleyen kişilerden oluşuyor.

Yapay zekanın yardımı alınarak yapılan yeni yapılan bir çalışma, başka dile uyarlanan filmlerde karşılaşılan bu en büyük soruna artık son verebilir.

Dublajlı Filmlerdeki Dudak ve Ses Uyumsuzluğu Tarihe Karışıyor

Yeni deepfake teknolojisi ile ünlü oyuncu Robert De Niro'nun yer aldığı Taxi Driver'ın dudak hareketleri ve yüz ifadelerinde hiçbir sorun meydana gelmeden Almancaya çevrilmesini sağladı. Yapay zekanın çalışmadaki en önemli başarısı, oyuncunun konuşmasını başka bir dile çevirirken dudak hareketlerinin eğreti durmasını engellemek oldu.

ArsTechnica'daki habere göre yapay zeka tabanlı teknoloji, rahatsız edici derecede sırıtan yapaylığı ortadan kaldırmak için dudak hareketlerini ve yüz ifadelerini yeniden ele aldı. Bu çalışma ile elde edilen başarı, sinema sektörünün yeniden şekillenmesine yardımcı olabilir.

Teknoloji genellikle bir kişinin yüzünü başka birinin yüzüne yerleştirmek için kullanılan deepfake teknolojisi ile yakından ilgili ve yönetmenlerin farklı dillerdeki filmlerini çok yapay olmayacak şekilde yeniden çevirmeyi vadediyor.

AI destekli dublaj teknolojisi, filmlerinin kötü dublajla sunulmasından bıktığını söyleyen Scott Mann'in ortak olduğu bir İngiliz şirketi Flawless tarafından geliştirildi. Mann, De Niro'nun başrolünü üstlendiği son filmi Heist'in başka bir dile uyarlanmış halini (hangi dil olduğunu belirtmedi) izledikten sonra özenle hazırlanan sahnelerin seslendirme sonucunda nasıl mahvedildiğini gördüğünde dehşete kapıldığını söyledi.

Deepfake teknolojisine ilişkin akademik çalışmaları araştırmaya başlayan Mann, soluğu Almanya'daki Max Planck Bilişim Enstitüsünde profesör olan Christian Theobalt'in yanında aldı. Theobalt'in yönettiği AI destekli dublaj projesinden etkilenen Mann, Theobalt'in projesinden bir hayli ilham aldı.

Teknolojinin çalışma biçimi deepfake teknolojisinden çok daha karışık işliyor. Sahnedeki bir oyuncunun yüz ifadeleri ve hareketleri başka bir dilde konuşan biri tarafından yakalanıyor. Oyuncunun yüzünü ve kafasını çevrilen dille uyumlu şekilde hareket ettirmek için önceden elde edilen veriler kullanılıyor. Sonuç olarak oyuncunun yüz ifadesi ve hareketleri konuşulan dile göre yeniden şekilleniyor.

Mann, şirketin birkaç filmi başka bir dile çevirmek için stüdyolarla görüşmeler yaptığını belirtti. Mann'e göre dublajlı filmlerde en çok karşılaşılan sorunlardan biri olan dudak ve ses uyuşmazlığı yakın zamanda ortadan kalkacak. İnsanlar kendi diline çevrilen bir filmde normalde Fransızca konuşulduğunu anlayamayacak.