Apple, yapay zeka destekli metin üretiminde büyük bir atılım daha gerçekleştirdi. Apple ve Ohio State Üniversitesi’nden araştırmacıların geliştirdiği yeni dil modeli, mevcut difüzyon modellerinden 128 kata kadar daha hızlı çalışıyor. “FS-DFM: Az Adımlı Difüzyon Dil Modelleriyle Hızlı ve Doğru Uzun Metin Üretimi” başlıklı çalışmada sunulan bu sistem, doğal dil üretiminde kalite ve hız dengesini yeniden tanımlıyor.
ÜÇ AŞAMALI YAKLAŞIM
FS-DFM modeli, geleneksel difüzyon modellerine göre çok daha az sayıda iyileştirme adımıyla aynı kaliteye ulaşmayı başarıyor. Geliştiriciler bu başarının arkasında yatan yaklaşımı üç adımda özetliyor:
1. Model, farklı sayıda yineleme ile nasıl davranacağını öğreniyor.
2. Daha güçlü bir ‘öğretmen model’ ile yönlendirilerek daha isabetli güncellemeler yapıyor.
3. Her adımı daha verimli hale getirerek hedef metne daha az sayıda ama kararlı adımla ulaşıyor.
Bu yapı, dil modelinin aşırı veya eksik üretim yapmadan tutarlı bir metin oluşturmasını sağlıyor.
PERFORMANS METRİKLERİ İKNA EDİCİ
FS-DFM, yaygın olarak kullanılan şaşkınlık (perplexity) ve entropi ölçümlerinde de üstün performans gösterdi.
• Şaşkınlık, modelin bir sonraki kelimeyi tahmin etme güvenini yansıtır, düşük değerler daha akıcı metin anlamına gelir.
• Entropi, metnin ne kadar çeşitli ve tahmin edilebilir olduğunu gösterir. Düşük entropi tekrarları artırabilir, çok yüksek değer ise metni tutarsızlaştırabilir.
FS-DFM, hem tutarlı entropi düzeyi hem de düşük şaşkınlık skorları ile daha büyük modellere kıyasla etkileyici sonuçlar verdi.
PARAMETRELERDEKİ DENGE
Apple’ın yeni modeli, daha az parametreye sahip olmasına rağmen güçlü rakiplerine üstün geldi:
• FS-DFM’nin varyantları: 1,7 milyar, 1,3 milyar ve 0,17 milyar parametre.
• Karşılaştırmalı modeller: Dream (7 milyar) ve LLaDA (8 milyar parametre).
Bu modellerle karşılaştırıldığında FS-DFM, tüm yineleme sayımlarında daha düşük karmaşıklık sunarken, çıktının kalitesinden ödün vermedi.
YENİLİKÇİ TEKNOLOJİ YAKLAŞIMI
FS-DFM, klasik otoregresif yaklaşımlardan farklı olarak difüzyon model temelli bir yapı sunuyor. Otoregresif modeller, ChatGPT gibi sistemlerde görüldüğü üzere metni sırayla üretirken; difüzyon modelleri, tüm metni aynı anda taslak olarak üretip bunu adım adım iyileştiriyor.
Bu sistemin daha da ilerisi olan akış eşleştirme modelleri ise, tek bir adımda nihai metni üretmeyi öğreniyor. FS-DFM bu noktada az adımlı, yüksek kaliteli üretim sağlayarak bu iki yöntemin avantajlarını birleştiriyor.
KOD AÇIKLIĞI VE GELECEK PLANLARI
Araştırmacılar, elde edilen sonuçların ardından kod ve model kontrol noktalarını açık kaynak olarak paylaşacaklarını duyurdu. Bu sayede hem akademik dünya hem de geliştiriciler FS-DFM modelini yeniden üretme ve geliştirme imkanına sahip olacak. Apple, bu çalışmalarla yalnızca ürünlerini geliştirmekle kalmıyor, aynı zamanda yapay zeka araştırmalarının yönünü de belirliyor.
