ekstrim

  • Deskripsi :

Tolok Ukur Xtreme

Tolok ukur Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) adalah tolok ukur untuk evaluasi kemampuan generalisasi lintas bahasa dari model multibahasa yang telah dilatih sebelumnya. Ini mencakup 40 bahasa yang beragam secara tipologis (mencakup 12 keluarga bahasa) dan mencakup sembilan tugas yang secara kolektif memerlukan penalaran tentang berbagai tingkat sintaks dan semantik. Bahasa di XTREME dipilih untuk memaksimalkan keragaman bahasa, cakupan tugas yang ada, dan ketersediaan data pelatihan. Di antaranya adalah banyak bahasa yang kurang dipelajari, seperti bahasa Dravida Tamil (dituturkan di India selatan, Sri Lanka, dan Singapura), Telugu dan Malayalam (dituturkan terutama di India selatan), dan bahasa Niger-Kongo Swahili dan Yoruba, diucapkan di Afrika.

Untuk penjelasan lengkap tentang benchmark, lihat makalah .

  • Beranda :

https://sites.research.google/xtreme