Meta'nın en yeni yapay zeka modeli SAM Audio tanıtıldı. Ses alanında devrim niteliğindeki bu yeni model, görselde herhangi bir kısmı seçip sadece onu almamızı sağlayan "Segment Anything Model" modelini ses versiyonuna uyarlıyor. Görüntü analizindeki başarısından sonra şimdi de ses versiyonu üretilen model, ses kayıtlarındaki belirli sesleri tek tek ayırmanıza imkân tanıyor.
SAM Audio Özellikleri
SAM Audio, karmaşık ses kayıtlarındaki herhangi bir ses türünü ayırabilen bir model olarak mevcut ses odaklı yapay zeka modellerinden ayrılıyor. Üstelik çok modlu çalışma biçimine sahip. Bu hem kelimelerle ses kaydındaki sesleri belirtebileceğiniz hem görüntü üzerinden seçim yapabileceğiniz anlamına geliyor. Hatta belirli bir zaman aralığı seçip sadece o kısım için de seçim yapabiliyorsunuz.
Modelin temelinde PE-AV (Perception Encoder Audiovisual) teknolojisi yer alıyor. Bunu bir insan gibi örneklendirmek gerekirse PE-AV, videoyu seyreden ve sesi duyan göz ve kulak görevi üstleniyor. O an ne görüldüğü ve duyulduğu konusunda yapay zeka modeline bağlam sağlıyor. SAM Audio ise PE-AV tarafından sağlanan bilgiyi kullanarak kullanıcının istemini yerine getiriyor. Örneğin "gitar sesini kaldır" yazdığında önce tanımlanıyor, daha sonra kaldırılıyor. Dolayısıyla arka planda iki aşamalı bir süreçten bahsetmek mümkün.
Bu teknoloji özellikle podcast kayıtlarındaki arka plan gürültüsünü temizlemek, video kurgusunda bazı sesleri ön plana çıkarmak gibi amaçlarla kullanılmaya uygun görülüyor. Meta, ayrıca işitme cihazı üreticisi Starkey gibi isimlerle çalışarak kendi teknolojisinin işitme engelliler için nasıl kullanılabileceği üzerine de araştırmalarını sürdürüyor.
Instagram ve Facebook'un da çatı şirketi olan Meta, bu modelin yanı sıra SAM Audio Judge isimli ses ayrıştırma kalitesini ölçen modeli ile farklı ses modellerini test etmek için oluşturulan kıyaslama SAM Audio-Bench ve bunu kendi video ya da ses dosyaları ile deneyebilecekleri platform Segment Anything Playground'ı da duyurdu. Söz konusu platforma gidip "Try it" butonuna bastıktan sonra model üzerindeki ilk denemenizi yapabilirsiniz.
SAM Audio Nasıl Kullanılır?
- Segment Anything Playground platformuna gidin.
- "Try it" butonuna basın.
- ""Playground" kısmından "Isolate sounds" seçeneğine basın.
- "Upload" butonuna basıp bir ses kaydı ya da video yükleyin.
- Ses kaldırma işlemini gerçekleştirin.