Google‘ın en yeni büyük/geniş dil modeli olan VideoPoet, 31 araştırmacının katkısıyla Google Research ekibi tarafından geliştirildi. Bu model, video üretimi görevleri için özel olarak tasarlanmış ve Google’ın yeni çok modlu yapay zeka video oluşturucusu olarak öne çıkıyor.
VideoPoet, genellikle yapay zeka destekli video araçlarında kullanılan difüzyon modelleri yerine, büyük/geniş dil modellerini temel alıyor. Bu model türü, metin ve kod üretimi için kullanılan dönüştürücü mimarisine dayanıyor ve genellikle ChatGPT, Claude 2 veya Llama 2 gibi ürünlerde görülmekte.
Google Araştırma ekibi, VideoPoet modelini metin ve kod üretimi yerine video üretimi için eğitti. Ekip, bu modeli 270 milyon video ve 1 milyardan fazla metin-görüntü çiftinden oluşan geniş bir veri kümesiyle ön eğitime tabi tuttu. Bu veriler, yapay zeka modelini koşullandırmak için metin yerleştirmeleri, görsel belirteçler ve ses belirteçlerine dönüştürüldü.
Difüzyon modellerine kıyasla daha uzun ve kaliteli videolar üretme yeteneği, VideoPoet’in dönüştürücü modeli sayesinde sağlanabilir. Bu sayede, videodaki öznelerin hareketleri daha uzun süre bozulmaya başlamaz. Ekip üyeleri, bu tercihi “Mevcut lider modellerin çoğu ya küçük hareketler üretiyor ya da büyük hareketlerde yapaylıklar sergiliyor” diyerek açıkladı.
VideoPoet, 16 karelik daha uzun videolarda daha büyük ve tutarlı hareketler üretebiliyor. Ayrıca, farklı kamera hareketlerini, görsel ve estetik stilleri simüle etme yeteneğiyle dikkat çekiyor. Bu modelle seçtiğiniz bir video klibe uyacak yeni sesler oluşturmak mümkün. Üretim sürecinde metin, resim ve video gibi çeşitli girdileri yönlendirici olarak kullanma esnekliği de bulunuyor.
VideoPoet, diğer yapay zeka video üretim araçlarından farklı olarak dikey video üretimine odaklanıyor. Google Research ekibi, VideoPoet’in yeteneklerini genişleterek, metinden sese ve sesten videoya dönüştürme gibi yeni seçenekler eklemeyi planlıyor. Ancak, şu an için VideoPoet’in genel kullanıma açık olup olmadığı hakkında bir açıklama yapılmamıştır.
Daha fazlası için bizi takip etmeyi unutmayın.
