colla

• Descrizione :

GLUE, il benchmark di valutazione della comprensione del linguaggio generale ( https://gluebenchmark.com/ ) è una raccolta di risorse per la formazione, la valutazione e l'analisi dei sistemi di comprensione del linguaggio naturale.

• Documentazione aggiuntiva : Esplora documenti con codice north_east

• Codice sorgente : tfds.text.Glue

• Versioni :

  • 1.0.0 : Nuova API divisa ( https://tensorflow.org/datasets/splits )
  • 1.0.1 : Aggiorna i collegamenti URL non funzionanti.
  • 2.0.0 (impostazione predefinita): aggiorna l'origine dati per glue/qqp.

• Auto-cache ( documentazione ): Sì

• Chiavi supervisionate (Vedi as_supervised doc ): None

• Figura ( tfds.show_examples ): non supportato.

colla/cola (configurazione predefinita)

• Descrizione della configurazione : il corpus dell'accettabilità linguistica è costituito da giudizi sull'accettabilità dell'inglese tratti da libri e articoli di riviste sulla teoria linguistica. Ogni esempio è una sequenza di parole annotate con se si tratta di una frase grammaticale inglese.

• Pagina iniziale : https://nyu-mll.github.io/CoLA/

• Dimensione del download : 368.14 KiB

• Dimensione del set di dati: 965.49 KiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/sst2

• Descrizione della configurazione : The Stanford Sentiment Treebank consiste in frasi tratte da recensioni di film e annotazioni umane del loro sentimento. Il compito è prevedere il sentimento di una data frase. Usiamo la divisione di classe a due vie (positivo/negativo) e usiamo solo etichette a livello di frase.

• Pagina iniziale : https://nlp.stanford.edu/sentiment/index.html

• Dimensione del download : 7.09 MiB

• Dimensione del set di dati: 7.22 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/mrpc

• Descrizione della configurazione : Il Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) è un corpus di coppie di frasi estratte automaticamente da fonti di notizie online, con annotazioni umane per stabilire se le frasi nella coppia sono semanticamente equivalenti.

• Pagina iniziale : https://www.microsoft.com/en-us/download/details.aspx?id=52398

• Dimensione del download : 1.43 MiB

• Dimensione del set di dati : 1.74 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/qqp

• Descrizione della configurazione : il set di dati Quora Question Pairs2 è una raccolta di coppie di domande dal sito Web di risposta alle domande della community Quora. Il compito è determinare se una coppia di domande è semanticamente equivalente.

• Pagina iniziale : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

• Dimensione del download : 39.76 MiB

• Dimensione del set di dati: 150.37 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/stsb

• Descrizione della configurazione : il benchmark di somiglianza testuale semantica (Cer et al., 2017) è una raccolta di coppie di frasi tratte da titoli di notizie, didascalie di video e immagini e dati di inferenza del linguaggio naturale. Ogni coppia è annotata dall'uomo con un punteggio di somiglianza da 0 a 5.

• Pagina iniziale : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

• Dimensione del download : 784.05 KiB

• Dimensione del set di dati : 1.58 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/mnli

• Descrizione della configurazione : il Corpus di inferenza del linguaggio naturale multi-genere è una raccolta crowdsourcing di coppie di frasi con annotazioni di implicazione testuale. Data una frase di premessa e una frase di ipotesi, il compito è prevedere se la premessa implica l'ipotesi (coinvolgimento), contraddice l'ipotesi (contraddizione) o nessuna delle due (neutro). Le frasi di premessa sono raccolte da dieci diverse fonti, tra cui discorsi trascritti, narrativa e rapporti governativi. Utilizziamo il set di test standard, per il quale abbiamo ottenuto etichette private dagli autori, e valutiamo sia la sezione corrispondente (in-domain) che quella non corrispondente (cross-domain). Utilizziamo e consigliamo anche il corpus SNLI come esempi di 550.000 dati di addestramento ausiliari.

• Homepage : http://www.nyu.edu/projects/bowman/multinli/

• Dimensione del download : 298.29 MiB

• Dimensione del set di dati: 100.56 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

glue/mnli_mismatched

• Descrizione della configurazione : la convalida e il test non corrispondenti si dividono da MNLI. Vedere BuilderConfig "mnli" per ulteriori informazioni.

• Homepage : http://www.nyu.edu/projects/bowman/multinli/

• Dimensione del download : 298.29 MiB

• Dimensione del set di dati: 4.79 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

glue/mnli_matched

• Descrizione della configurazione : la convalida e il test abbinati si dividono da MNLI. Vedere BuilderConfig "mnli" per ulteriori informazioni.

• Homepage : http://www.nyu.edu/projects/bowman/multinli/

• Dimensione del download : 298.29 MiB

• Dimensione del set di dati: 4.58 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/qnli

• Descrizione della configurazione : il set di dati Stanford Question Answering è un set di dati di risposta a domande costituito da coppie domanda-paragrafo, in cui una delle frasi nel paragrafo (tratto da Wikipedia) contiene la risposta alla domanda corrispondente (scritta da un annotatore). Convertiamo il compito in una classificazione di coppie di frasi formando una coppia tra ogni domanda e ogni frase nel contesto corrispondente e filtrando le coppie con una bassa sovrapposizione lessicale tra la domanda e la frase contestuale. Il compito è determinare se la frase di contesto contiene la risposta alla domanda. Questa versione modificata dell'attività originale rimuove il requisito che il modello selezioni la risposta esatta, ma rimuove anche i presupposti semplificativi che la risposta sia sempre presente nell'input e che la sovrapposizione lessicale sia un indizio affidabile.

• Pagina iniziale : https://rajpurkar.github.io/SQuAD-explorer/

• Dimensione del download : 10.14 MiB

• Dimensione del set di dati: 32.99 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/rte

• Descrizione della configurazione : i set di dati Recognizing Textual Entailment (RTE) provengono da una serie di sfide annuali di coinvolgimento testuale. Combiniamo i dati di RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) e RTE5 (Bentivogli et al., 2009).4 Esempi sono costruito sulla base di notizie e testo di Wikipedia. Convertiamo tutti i set di dati in una divisione a due classi, dove per i set di dati a tre classi collassiamo neutrale e contraddizione in non implicazione, per coerenza.

• Pagina iniziale : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

• Dimensione del download : 680.81 KiB

• Dimensione del set di dati : 2.15 MiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/wnli

• Descrizione della configurazione : The Winograd Schema Challenge (Levesque et al., 2011) è un compito di comprensione della lettura in cui un sistema deve leggere una frase con un pronome e selezionare il referente di quel pronome da un elenco di scelte. Gli esempi sono costruiti manualmente per sventare semplici metodi statistici: ognuno dipende dalle informazioni contestuali fornite da una singola parola o frase nella frase. Per convertire il problema in classificazione di coppie di frasi, costruiamo coppie di frasi sostituendo il pronome ambiguo con ogni possibile referente. Il compito è prevedere se la frase con il pronome sostituito è implicata dalla frase originale. Utilizziamo un piccolo set di valutazione costituito da nuovi esempi derivati ​​da libri di narrativa condivisi privatamente dagli autori del corpus originale. Mentre il set di formazione incluso è bilanciato tra due classi, il set di test è sbilanciato tra di loro (65% non implicato). Inoltre, a causa di una stranezza dei dati, il set di sviluppo è contraddittorio: le ipotesi a volte sono condivise tra esempi di addestramento e sviluppo, quindi se un modello memorizza gli esempi di addestramento, prevederà l'etichetta sbagliata sull'esempio del set di sviluppo corrispondente. Come con QNLI, ogni esempio viene valutato separatamente, quindi non c'è una corrispondenza sistematica tra il punteggio di un modello su questa attività e il suo punteggio sull'attività originale non convertita. Chiamiamo il set di dati convertito WNLI (Winograd NLI).

• Pagina iniziale : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

• Dimensione del download : 28.32 KiB

• Dimensione del set di dati: 198.88 KiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colla/ascia

• Descrizione della configurazione : un set di dati di valutazione curato manualmente per un'analisi dettagliata delle prestazioni del sistema su un'ampia gamma di fenomeni linguistici. Questo set di dati valuta la comprensione della frase attraverso problemi di inferenza del linguaggio naturale (NLI). Utilizza un modello addestrato su MulitNLI per produrre previsioni per questo set di dati.

• Homepage : https://gluebenchmark.com/diagnostics

• Dimensione del download : 217.05 KiB

• Dimensione del set di dati: 299.16 KiB

• Divisioni :

• Struttura delle caratteristiche :

FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Esempi ( tfds.as_dataframe ):

• Citazione :

@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.