Metinleri videoya dönüştüren Yapay zeka: Phenaki

Phenaki adlı bir yapay zeka modeli, detaylı ve sıralı metin girdilerine dayanarak tutarlı videolar üretebiliyor. Model, birden fazla etkileşimli komuta koşullandırılarak, zaman içindeki olayları anlatan bir video oluşturabiliyor. Meta’nın “Video Yap” etkinliğiyle aynı gün, çevrimiçi olarak dolaşılan ikinci bir metin-video sistemine de rastlandı. Bu sistem Phenaki adını taşıyor ve yazarlarına göre ardışık metin komutlarına dayanarak bağlantılı, dakikalarca süren videolar üretebiliyor.

Phenaki’nin geliştiricileri, tek bir yönlendirici ifadenin yapay zeka tarafından üretilmiş videolar için yeterli olmadığını belirtiyor. Bu nedenle, videoları ayrı ayrı sembolik parçalara ayıran bir dönüştürücü model geliştirdiler. Bu model, bir yönlendirme ifadesinde anlatılan zaman içindeki olayların birbirleriyle bağlantılı olarak sıralanmasına olanak sağlıyor.

Phenaki, görüntü-metin ve video-metin çiftleri aracılığıyla eğitildi. Araştırmacılar, büyük bir görüntü veri kümesi yanında 1.4 saniyelik kısa video-metin çiftleriyle de Phenaki’yi eğittiler. Model, yeni kavramların bileşimlerini veya metin girdilerine dayanarak mevcut görüntüleri canlandırabilen bir işlemciye sahip.

Phenaki’nin eğitimi sırasında, şiddet içeren, kanlı ve pornografik içerik barındıran veri kümelerinden de yararlanıldı. Ancak geliştiriciler, etik nedenlerle bu tür veri kümelerinin kullanımını minimize etmeyi tercih ediyorlar.

Phenaki gibi teknolojilerin etik sorunları tartışmalıdır. Geliştiriciler, kötüye kullanımı önlemek için sorumlu bir şekilde davranmalıdırlar. Yazarlar, Phenaki modelinin şu anda ICLR’deki yapay zeka konferansında değerlendirme sürecinde olduğunu belirtiyorlar. Ancak modelin şu anda yayınlanması etik nedenlerle mümkün değil.

Phenaki kullanılarak yapılmış birkaç video: