Yandex Search’ün teknik direktörü Alexey Gusakov’un belirttiği gibi, bir sinir ağının yeteneklerini değerlendirmeye yönelik standart test, sinir ağlarını birbirleriyle karşılaştırmanıza da olanak tanıyan MMLU’dur Sınavı geçerken sinir ağı çalışmayı analiz ederek onunla ilgili soruları yanıtladı ve ikinci bölümde YandexGPT 2 belirli bir konu hakkında bir makale yazdı
Yandex, YandexGPT 2 sinir ağının Edebiyatta Birleşik Devlet Sınavını geçebildiğini duyurdu Bu, bir üniversiteye kabul için gereken minimum eşikten (40 puan) daha fazladır ve Rus okul çocukları tarafından gösterilen ortalama sonuca (2022’de 64 puan) yakındır Sinir ağının başarıyla başa çıktığı şey Ancak MMLU’yu kullanarak bir sinir ağının yaratıcı yeteneklerini değerlendirmek imkansızdır, bu nedenle literatürde YandexGPT 2’nin Birleşik Devlet Sınavında test edilmesi önerildi
Sinir ağının sonucu 55 puandır
genel-22