Performans Nasıl Test Edilir?

Bağlamsal Yapay Zekadan elde edilen verileri kullanarak , Yapay Zeka modellerinin veritabanı kıyaslamalarını ne kadar hızlı geçmeye başladığının yanı sıra, henüz insani beceri düzeyine ulaşıp ulaşmadıklarını görselleştiriyoruz.

Her veritabanı, el yazısı tanıma, dil anlama veya okuduğunu anlama gibi belirli bir beceri etrafında tasarlanırken, her yüzde puanı aşağıdaki ölçütlerle çelişir:

• %0 veya "maksimum performans gösteren temel değer"
  Bu, veri kümesi oluşturma sırasında yapay zeka tarafından bilinen en iyi performansa eşittir.
• %100
  Bu işaret, veri kümesindeki insan performansına eşittir.

Bu iki nokta arasında bir ölçek oluşturularak yapay zeka modellerinin her veri seti üzerindeki ilerlemesi takip edilebiliyor. Bir çizgi üzerindeki her nokta en iyi sonucu ifade eder ve çizgi yukarı doğru yöneldikçe yapay zeka modelleri insan performansına giderek daha fazla yaklaşır.

Aşağıda yapay zekanın sekiz becerinin tamamında insan performansını eşleştirmeye başladığı zamanı gösteren bir tablo yer almaktadır:

Tablodaki önemli bir gözlem, 2010 yılından bu yana ne kadar ilerleme kaydedildiğidir . Aslında SQuAD, GLUE ve HellaSwag gibi bu veritabanlarının çoğu 2015'ten önce mevcut değildi.

Karşılaştırmalı değerlendirmelerin geçerliliğini yitirmesine yanıt olarak, yeni veritabanlarından bazıları sürekli olarak yeni ve ilgili veri noktalarıyla güncellenmektedir. Yapay zeka modellerinin henüz bazı alanlarda (ilkokul matematiği ve kod oluşturma) teknik olarak insan performansıyla eşleşmemesinin nedeni budur; ancak bu yolda ilerlemeye devam etmektedirler.

Yapay Zekanın İnsanlardan Daha İyi Performans Göstermesine Ne Yol Açtı?

Peki son birkaç yılda yapay zekanın yeteneklerinde bu kadar hızlı bir büyümeye yol açan şey neydi?

Bilgi işlem gücü, veri kullanılabilirliği ve daha iyi algoritmalardaki devrimler sayesinde yapay zeka modelleri daha hızlıdır, öğrenilebilecek daha büyük veri kümelerine sahiptir ve on yıl öncesine kıyasla verimlilik için optimize edilmiştir.

Bu nedenle manşetlerde rutin olarak standart testlerde insan performansıyla eşleşen veya onu geçen yapay zeka dil modellerinden bahsediliyor . Aslında, yapay zeka geliştiricileri için temel sorun, modellerinin kendilerini test etmek için tasarlanmış kıyaslama veritabanlarını geçmeye devam etmesi, ancak yine de bir şekilde gerçek dünya testlerinde başarısız olmasıdır .

Önümüzdeki birkaç yılda daha fazla bilgi işlem ve algoritmik kazanımlar beklendiğinden, bu hızlı ilerlemenin devam etmesi muhtemeldir. Ancak yapay zekanın ilerlemesindeki bir sonraki potansiyel darboğaz yapay zekanın kendisi değil, modellerin üzerinde eğitim alabileceği veri eksikliği olabilir.