OpenAI’nin o3 modelinde şeffaflık tartışması! Beklentiler gerçeklerle çatışıyor
OpenAI, Aralık’ta tanıttığı o3 AI modeliyle matematik problemlerinde devrim yaratacağını duyurmuştu. Şirket, FrontierMath benchmark’ında %25’in üzerinde başarı oranı elde ettiğini iddia ederken, bağımsız testler bu rakamın gerçeği yansıtmadığını ortaya koydu. Epoch AI’nin yaptığı testler, o3’ün yalnızca %10’luk başarı gösterdiğini belirtirken, OpenAI’nin test yöntemleri ve şeffaflığı tartışma konusu haline geldi.
İDDİALAR İLE GERÇEKLER ARASINDAKİ FARK
OpenAI, o3 modelinin FrontierMath’ta rakiplerini sollayarak %25’in üzerinde başarı yakaladığını açıklamıştı. Ancak Epoch AI’nin bağımsız testleri, modelin bu benchmark’ta sadece %10 başarı elde ettiğini gösterdi. Epoch, test koşulları ve FrontierMath’ın güncellenmiş versiyonunun bu farkı açıklayabileceğini belirtti. OpenAI ise halka sunulan o3 modelinin, daha az hesaplama gücüyle ve gerçek dünya kullanımına odaklanacak şekilde optimize edildiğini savundu.
OpenAI has released o3, their highly anticipated reasoning model, along with o4-mini, a smaller and cheaper model that succeeds o3-mini.
We evaluated the new models on our suite of math and science benchmarks. Results in thread! pic.twitter.com/5gbtzkEy1B
— Epoch AI (@EpochAIResearch) April 18, 2025ŞEFFAFLIK VE BENCHMARK REKABETİ
OpenAI’nin o3 açıklamaları, AI sektöründe sıkça rastlanan benchmark tartışmalarını yeniden alevlendirdi. ARC Prize Foundation, halka sunulan o3 modelinin, test edilen daha güçlü versiyondan farklı olduğunu doğruladı. Ayrıca, Epoch’un OpenAI’den aldığı fonu geç açıklaması, akademik çevrelerde güvenilirlik tartışmalarını körükledi. Benzer şekilde, xAI ve Meta gibi şirketler de yanıltıcı benchmark sonuçları nedeniyle eleştirilerin hedefi olmuştu.
OpenAI, o3-mini-high ve o4-mini modellerinin FrontierMath’ta o3’ü geçtiğini belirtirken, yakın zamanda daha güçlü bir o3-pro modelini tanıtmayı planlıyor. Ancak bu olay, AI benchmark’larının yüzeysel bir şekilde değerlendirilmemesi gerektiğini bir kez daha hatırlattı. Sektördeki rekabet, şirketlerin şeffaflık ve doğruluk konusunda daha özenli davranmasını zorunlu kılıyor.
Haber Kaynak : HABERTURK.COM
“Yayınlanan tüm haber ve diğer içerikler ile ilgili olarak yasal bildirimlerinizi bize iletişim sayfası üzerinden iletiniz. En kısa süre içerisinde bildirimlerinize geri dönüş sağlanılacaktır.”
