wsc273

  • Descrizione :

WSC273 è un benchmark di ragionamento di buon senso che richiede al sistema di leggere una frase con un pronome ambiguo e selezionare il referente di quel pronome tra due scelte. Contiene i primi 273 esempi della Winograd Schema Challenge. Uno schema di Winograd è una coppia di frasi che differiscono solo per una o due parole e che contengono un'ambiguità che si risolve in modo opposto nelle due frasi e richiede l'uso della conoscenza del mondo e del ragionamento per la sua risoluzione. Lo schema prende il nome da un noto esempio di Terry Winograd: The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.'' If the word is they'' presumably refers to the city council; if it is sostenuto'', allora 'loro' si riferisce presumibilmente ai manifestanti.

Diviso Esempi
'test' 273
  • Struttura delle caratteristiche :
FeaturesDict({
    'idx': int32,
    'label': int32,
    'option1': Text(shape=(), dtype=string),
    'option1_normalized': Text(shape=(), dtype=string),
    'option2': Text(shape=(), dtype=string),
    'option2_normalized': Text(shape=(), dtype=string),
    'pronoun_end': int32,
    'pronoun_start': int32,
    'pronoun_text': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
idx Tensore int32
etichetta Tensore int32
opzione 1 Testo corda
opzione1_normalizzata Testo corda
opzione 2 Testo corda
opzione2_normalizzata Testo corda
pronome_end Tensore int32
pronome_inizio Tensore int32
pronome_testo Testo corda
testo Testo corda
  • Citazione :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012},
  organization={Citeseer}
}