Yapay zeka ve robotik alanında sorun olarak görülen bir konuyla ilgili önemli bir çalışma yapıldı. Columbia Üniversitesi mühendislik araştırmacıları, konuşurken insan dudak hareketlerini taklit edebilen robot yüzü geliştirdi. Bu teknoloji, robotların konuşmayı sadece sesle değil, yüz ifadeleriyle birlikte daha doğal bir şekilde aktarmasını mümkün kılıyor.
Araştırma kapsamında oluşturulan robot, ses girişini analiz ederek dudak motorlarını kontrol eden bir yapay zeka sistemi kullanıyor. Sistem, insanların konuşmasıyla ilişkili dudak hareketlerini modelleyip robotun yüzündeki 26 farklı aktüatörü (küçük hareket birimi) koordine ediyor. Böylece robot, farklı dillerde konuşabilmenin yanında, şarkı söyleme gibi daha karmaşık seslerde dahi dudaklarını gerçek zamanlı olarak eşleştirebiliyor.
Bu teknoloji, önceden programlanmış kurallar yerine makine öğrenimi temelli bir modelden güç alıyor. Robot ilk aşamada kendi yüzünü aynada izleyerek yüz ve dudak hareketlerini öğreniyor ardından insan konuşmalarını içeren videoları izleyerek dudak-ses ilişkisini kavrıyor. Böylece ses girişlerine uygun dudak hareketlerini, önceden tanımlı hareket dizileri olmaksızın üretmeyi başarıyor.
Araştırmacılar, dudak senkronunun bugüne kadar robotik etkileşimde en zorlayıcı sorunlardan biri olduğuna dikkat çekiyor. Çünkü insan iletişiminin yaklaşık yarısı yüz mimikleri ve dudak hareketleriyle gerçekleşiyor; mekanik ve kısıtlı dudak hareketi, robotların insana yakın etkileşim kurmasını zorlaştırıyor ve “tekinsiz vadi” etkisini güçlendiriyor. Tekinsiz vadi olarak adlandırılan etki sebebiyle robotlar bize cansız, sahte ve çoğu zaman ürkütücü görünürler. Bunun en büyük sebebi ise mimiklerden yoksun olmaları ve dudakları hareket ettirmeden konuşmaları oluyor.
Bilim insanları, bu gelişmenin yalnızca konuşma değil, yüz ifadeleri ve duyusal bağlamlarla birlikte daha zengin bir insan-robot iletişimi sağlayacağını belirtiyor. Dudak senkronu yeteneğinin, sohbet robotları, sosyal hizmet robotları, bakım ve eğitim robotları gibi alanlarda daha inandırıcı etkileşimlere önayak olabileceği ifade ediliyor.
GELECEĞİ NASIL OLACAK?
Geliştirilen model şu anda istenildiği kadar kusursuz çalışmıyor. Özellikle “B” gibi bazı seslerde ve dudak büzülmesi gerektiren durumlarda iyileştirilmesi gereken kısımlar var. Araştırmacılar daha gelişmiş motor kontrolü ve daha yüksek eğitim verisiyle performansın zamanla artacağını düşünüyor.
Bu çalışma, robot yüzü ve ses arasındaki bağlantıda yeni bir adım olarak görülüyor ve geleceğin insansı robotlarının daha gerçekçi ve ikna edici konuşma becerilerine sahip olmasına katkı sunuyor.
