- Descrizione :
Punto di riferimento estremo
Il benchmark Cross-lingual TRAnsfer Evaluation of Multilingual Encoders (XTREME) è un benchmark per la valutazione della capacità di generalizzazione interlinguistica di modelli multilingue pre-addestrati. Copre 40 lingue tipologicamente diverse (che abbracciano 12 famiglie linguistiche) e include nove attività che richiedono collettivamente un ragionamento su diversi livelli di sintassi e semantica. Le lingue in XTREME sono selezionate per massimizzare la diversità linguistica, la copertura nelle attività esistenti e la disponibilità dei dati di formazione. Tra queste ci sono molte lingue poco studiate, come le lingue dravidiche tamil (parlato nell'India meridionale, Sri Lanka e Singapore), telugu e malayalam (parlato principalmente nell'India meridionale) e le lingue niger-congolesi swahili e yoruba, parlate in Africa.
Per una descrizione completa del benchmark, vedere il documento .
- Pagina iniziale :
https://sites.research.google/xtreme
Versioni :
-
1.0.0
(predefinito): versione iniziale
-
Set di dati nella versione predefinita :
-
xnli
:xtreme_xnli:1.1.0
-
pawsx
:xtreme_pawsx:1.0.0
-
pos
:xtreme_pos:1.0.0
-
ner
:wikiann:1.0.0
-
xquad
:xquad:3.0.0
-
mlqa
:mlqa:1.0.0
-
tydiqa
:tydi_qa:3.0.0
-
bucc
:bucc:1.0.0
-
tatoeba
:tatoeba:1.0.0
-
Citazione :