Dünyanın en iyi açık kaynaklı yapay zeka modeli olabilir
Reflection 70B, MMLU ve HumanEval dahil olmak üzere çeşitli kıyaslamalarda kapsamlı testlerden geçti. Testler, Reflection’ın Meta’nın Llama serisindeki modellerden sürekli olarak daha iyi performans gösterdiğini ve en iyi ticari modellerle yakın bir rekabet içinde olduğunu ortaya koydu.
Ancak duyurunun ardından gelen yoğun talep nedeniyle demo sitesine şu anda yoğun bir trafik yaşanıyor. Shumer, Reflection 70B’nin sadece üst düzey modellerle rekabet etmediğini, aynı zamanda hata tespiti ve düzeltme gibi benzersiz yetenekler de sunduğunu vurguladı.
Modelin “Reflection” ismi, üretilen metin üzerinde düşünme ve çıktıları kullanıcıya sunmadan önce doğruluğunu değerlendirme yeteneğini ifade ediyor. Bu, Reflection ayarlaması adı verilen bir teknikle elde ediliyor. Bu teknik, modelin kendi muhakemesindeki hataları tespit etmesine ve bir yanıtı sonlandırmadan önce bunları düzeltmesine olanak tanıyor.
Reflection 70B, akıl yürütme ve hata düzeltme için birkaç yeni özel belirteç sunarak kullanıcının modelle etkileşimini artırıyor. Çıkarım sırasında model, akıl yürütmesini özel etiketler içinde görüntüleyerek bir hata tespit ederse gerçek zamanlı düzeltmelere olanak tanıyor.
Bu özellik, modeli özellikle yüksek doğruluk gerektiren görevler için kullanışlı hale getiriyor çünkü mantığı belirgin adımlara ayırarak hassasiyeti artırıyor. Shumer ayrıca önümüzdeki hafta piyasaya sürülmesi planlanan daha büyük bir model olan Reflection 405B’ye yönelik planlarını da açıkladı.
HyperWrite’ın, Reflection 70B modelini birincil yapay zeka yazma asistanı ürününe entegre etmek için çalıştığını da belirtti. Shumer, Reflection 70B’nin temel modelinin Meta’nın Llama 3.1-70B Instruct’ı üzerine kurulu olduğunu ve stok Llama sohbet formatını kullandığını, böylece mevcut araçlar ve iletişim hatlarıyla uyumluluğun sağlandığını doğruladı.
Ayrıca, kullanım senaryolarına özgü veri kümeleri oluşturma konusunda uzmanlaşmış bir girişim olan Glaive’in hızlı yapay zeka modeli eğitimini mümkün kılması nedeniyle de takdir topladı. Glaive tarafından üretilen sentetik veriler Reflection 70B’nin geliştirme sürecini önemli ölçüde hızlandırdı.