- opis :
GLUE, ogólny test porównawczy oceny rozumienia języka ( https://gluebenchmark.com/ ) to zbiór zasobów do szkolenia, oceny i analizy systemów rozumienia języka naturalnego.
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Kod źródłowy :
tfds.text.Glue
Wersje :
-
1.0.0
: Nowy podzielony interfejs API ( https://tensorflow.org/datasets/splits ) -
1.0.1
: Zaktualizuj martwe linki URL. -
2.0.0
(domyślnie): Zaktualizuj źródło danych dla kleju/qqp.
-
Automatyczne buforowanie ( dokumentacja ): Tak
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
klej/cola (domyślna konfiguracja)
Opis konfiguracji : Corpus of Linguistic Acceptability składa się z angielskich osądów akceptowalności zaczerpniętych z książek i artykułów z czasopism poświęconych teorii lingwistyki. Każdy przykład to sekwencja słów z adnotacją, czy jest to angielskie zdanie gramatyczne.
Strona główna : https://nyu-mll.github.io/CoLA/
Rozmiar pliku do pobrania :
368.14 KiB
Rozmiar zbioru danych :
965.49 KiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 1063 |
'train' | 8551 |
'validation' | 1043 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
wyrok | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{warstadt2018neural,
title={Neural Network Acceptability Judgments},
author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
journal={arXiv preprint arXiv:1805.12471},
year={2018}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/stal2
Opis konfiguracji: Stanford Sentiment Treebank składa się ze zdań z recenzji filmów i ludzkich adnotacji na temat ich opinii. Zadanie polega na przewidzeniu nastrojów danego zdania. Używamy dwukierunkowego (pozytywnego/negatywnego) podziału klas i używamy tylko etykiet na poziomie zdania.
Strona główna : https://nlp.stanford.edu/sentiment/index.html
Rozmiar pliku do pobrania :
7.09 MiB
Rozmiar zestawu danych :
7.22 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 1821 |
'train' | 67349 |
'validation' | 872 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
wyrok | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{socher2013recursive,
title={Recursive deep models for semantic compositionality over a sentiment treebank},
author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
pages={1631--1642},
year={2013}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/mrpc
Opis konfiguracji : Microsoft Research Paraphrase Corpus (Dolan & Brockett, 2005) jest zbiorem par zdań automatycznie wyodrębnionych z internetowych źródeł wiadomości, z adnotacjami ludzkimi dotyczącymi tego, czy zdania w parze są semantycznie równoważne.
Strona główna : https://www.microsoft.com/en-us/download/details.aspx?id=52398
Rozmiar pliku do pobrania :
1.43 MiB
Rozmiar zestawu danych :
1.74 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 1725 |
'train' | 3668 |
'validation' | 408 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
zdanie 1 | Tekst | strunowy | ||
zdanie2 | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{dolan2005automatically,
title={Automatically constructing a corpus of sentential paraphrases},
author={Dolan, William B and Brockett, Chris},
booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
year={2005}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/qqp
Opis konfiguracji: Zestaw danych Quora Question Pairs2 to zbiór par pytań ze społecznościowej witryny internetowej Quora, w której można udzielać odpowiedzi na pytania. Zadanie polega na ustaleniu, czy para pytań jest semantycznie równoważna.
Strona główna : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs
Rozmiar pliku do pobrania :
39.76 MiB
Rozmiar zestawu danych :
150.37 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 390 965 |
'train' | 363846 |
'validation' | 40430 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'question1': Text(shape=(), dtype=string),
'question2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
Pytanie 1 | Tekst | strunowy | ||
pytanie 2 | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@online{WinNT,
author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
title = {First Quora Dataset Release: Question Pairs},
year = 2017,
url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/szt
Opis konfiguracji : test porównawczy podobieństwa semantycznego tekstu (Cer i in., 2017) to zbiór par zdań zaczerpniętych z nagłówków wiadomości, podpisów wideo i obrazów oraz danych wnioskowania w języku naturalnym. Każda para jest opisana przez człowieka z wynikiem podobieństwa od 0 do 5.
Strona główna : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark
Rozmiar pliku do pobrania :
784.05 KiB
Rozmiar zestawu danych :
1.58 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 1379 |
'train' | 5749 |
'validation' | 1500 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': float32,
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Napinacz | pływak32 | ||
zdanie 1 | Tekst | strunowy | ||
zdanie2 | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{cer2017semeval,
title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
journal={arXiv preprint arXiv:1708.00055},
year={2017}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/ml
Opis konfiguracji : korpus wnioskowania o wielu gatunkach języka naturalnego to gromadzona w ramach crowdsourcingu kolekcja par zdań z adnotacjami wynikającymi z tekstu. Biorąc pod uwagę zdanie z przesłanką i zdanie z hipotezą, zadaniem jest przewidzenie, czy przesłanka pociąga za sobą hipotezę (zaangażowanie), jest sprzeczna z hipotezą (sprzeczność), czy też nie (neutralna). Zdania przesłanek są zbierane z dziesięciu różnych źródeł, w tym transkrybowanych przemówień, fikcji i raportów rządowych. Korzystamy ze standardowego zestawu testów, dla którego uzyskaliśmy prywatne etykiety od autorów, i oceniamy zarówno w sekcji dopasowanej (w domenie), jak i niedopasowanej (międzydomenowej). Używamy również i polecamy korpus SNLI jako 550 000 przykładów pomocniczych danych treningowych.
Strona główna : http://www.nyu.edu/projects/bowman/multinli/
Rozmiar pliku do pobrania :
298.29 MiB
Rozmiar zestawu danych :
100.56 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test_matched' | 9796 |
'test_mismatched' | 9847 |
'train' | 392702 |
'validation_matched' | 9815 |
'validation_mismatched' | 9832 |
- Struktura funkcji :
FeaturesDict({
'hypothesis': Text(shape=(), dtype=string),
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
'premise': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
hipoteza | Tekst | strunowy | ||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
przesłanka | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@InProceedings{N18-1101,
author = "Williams, Adina
and Nangia, Nikita
and Bowman, Samuel",
title = "A Broad-Coverage Challenge Corpus for
Sentence Understanding through Inference",
booktitle = "Proceedings of the 2018 Conference of
the North American Chapter of the
Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long
Papers)",
year = "2018",
publisher = "Association for Computational Linguistics",
pages = "1112--1122",
location = "New Orleans, Louisiana",
url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
title={A large annotated corpus for learning natural language inference},
author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
journal={arXiv preprint arXiv:1508.05326},
year={2015}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/mnli_mismatched
Opis konfiguracji: niedopasowane podziały sprawdzania poprawności i testów z MNLI. Zobacz „mnli” BuilderConfig, aby uzyskać dodatkowe informacje.
Strona główna : http://www.nyu.edu/projects/bowman/multinli/
Rozmiar pliku do pobrania :
298.29 MiB
Rozmiar zestawu danych :
4.79 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 9847 |
'validation' | 9832 |
- Struktura funkcji :
FeaturesDict({
'hypothesis': Text(shape=(), dtype=string),
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
'premise': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
hipoteza | Tekst | strunowy | ||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
przesłanka | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@InProceedings{N18-1101,
author = "Williams, Adina
and Nangia, Nikita
and Bowman, Samuel",
title = "A Broad-Coverage Challenge Corpus for
Sentence Understanding through Inference",
booktitle = "Proceedings of the 2018 Conference of
the North American Chapter of the
Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long
Papers)",
year = "2018",
publisher = "Association for Computational Linguistics",
pages = "1112--1122",
location = "New Orleans, Louisiana",
url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
title={A large annotated corpus for learning natural language inference},
author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
journal={arXiv preprint arXiv:1508.05326},
year={2015}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/mnli_dopasowany
Opis konfiguracji: dopasowana walidacja i podziały testów z MNLI. Zobacz „mnli” BuilderConfig, aby uzyskać dodatkowe informacje.
Strona główna : http://www.nyu.edu/projects/bowman/multinli/
Rozmiar pliku do pobrania :
298.29 MiB
Rozmiar zestawu danych :
4.58 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 9796 |
'validation' | 9815 |
- Struktura funkcji :
FeaturesDict({
'hypothesis': Text(shape=(), dtype=string),
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
'premise': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
hipoteza | Tekst | strunowy | ||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
przesłanka | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@InProceedings{N18-1101,
author = "Williams, Adina
and Nangia, Nikita
and Bowman, Samuel",
title = "A Broad-Coverage Challenge Corpus for
Sentence Understanding through Inference",
booktitle = "Proceedings of the 2018 Conference of
the North American Chapter of the
Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long
Papers)",
year = "2018",
publisher = "Association for Computational Linguistics",
pages = "1112--1122",
location = "New Orleans, Louisiana",
url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
title={A large annotated corpus for learning natural language inference},
author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
journal={arXiv preprint arXiv:1508.05326},
year={2015}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/qnli
Opis konfiguracji : Stanford Question Answering Dataset to zestaw danych odpowiadający na pytania, składający się z par akapitów pytanie, gdzie jedno ze zdań w akapicie (zaczerpnięte z Wikipedii) zawiera odpowiedź na odpowiednie pytanie (napisane przez adnotatora). Przekształcamy zadanie w klasyfikację par zdań, tworząc parę między każdym pytaniem i każdym zdaniem w odpowiednim kontekście i odfiltrowując pary o niskim nakładzie leksykalnym między pytaniem a zdaniem kontekstu. Zadanie polega na ustaleniu, czy zdanie kontekstowe zawiera odpowiedź na pytanie. Ta zmodyfikowana wersja oryginalnego zadania usuwa wymóg, aby model wybierał dokładną odpowiedź, ale także usuwa upraszczające założenia, że odpowiedź jest zawsze obecna na wejściu, a nakładanie się leksykalne jest niezawodną wskazówką.
Strona główna : https://rajpurkar.github.io/SQuAD-explorer/
Rozmiar pliku do pobrania :
10.14 MiB
Rozmiar zestawu danych :
32.99 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 5463 |
'train' | 104743 |
'validation' | 5463 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'question': Text(shape=(), dtype=string),
'sentence': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
pytanie | Tekst | strunowy | ||
wyrok | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{rajpurkar2016squad,
title={Squad: 100,000+ questions for machine comprehension of text},
author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
journal={arXiv preprint arXiv:1606.05250},
year={2016}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/rte
Opis konfiguracji: zestawy danych Recognizing Textual Entailment (RTE) pochodzą z serii corocznych wyzwań związanych z wynikaniem tekstu. Łączymy dane z RTE1 (Dagan i in., 2006), RTE2 (Bar Haim i in., 2006), RTE3 (Giampiccolo i in., 2007) oraz RTE5 (Bentivogli i in., 2009).4 Przykładami są zbudowany na podstawie wiadomości i tekstu z Wikipedii. Konwertujemy wszystkie zestawy danych na podział na dwie klasy, gdzie dla zestawów danych na trzy klasy zwijamy neutralność i sprzeczność w brak implikacji, aby zachować spójność.
Strona główna : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment
Rozmiar pliku do pobrania :
680.81 KiB
Rozmiar zestawu danych :
2.15 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 3000 |
'train' | 2490 |
'validation' | 277 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
zdanie 1 | Tekst | strunowy | ||
zdanie2 | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{dagan2005pascal,
title={The PASCAL recognising textual entailment challenge},
author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
booktitle={Machine Learning Challenges Workshop},
pages={177--190},
year={2005},
organization={Springer}
}
@inproceedings{bar2006second,
title={The second pascal recognising textual entailment challenge},
author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
volume={6},
number={1},
pages={6--4},
year={2006},
organization={Venice}
}
@inproceedings{giampiccolo2007third,
title={The third pascal recognizing textual entailment challenge},
author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
pages={1--9},
year={2007},
organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
booktitle={TAC},
year={2009}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/wli
Opis konfiguracji : Winograd Schema Challenge (Levesque et al., 2011) to zadanie polegające na czytaniu ze zrozumieniem, w którym system musi przeczytać zdanie z zaimkiem i wybrać odpowiednik tego zaimka z listy do wyboru. Przykłady są tworzone ręcznie, aby udaremnić proste metody statystyczne: każdy z nich jest zależny od informacji kontekstowych dostarczonych przez pojedyncze słowo lub frazę w zdaniu. Aby przekształcić problem w klasyfikację par zdań, konstruujemy pary zdań, zastępując zaimek wieloznaczny każdym możliwym desygnatem. Zadanie polega na przewidzeniu, czy zdanie z podstawionym zaimkiem wynika ze zdania pierwotnego. Używamy małego zestawu ewaluacyjnego składającego się z nowych przykładów pochodzących z książek beletrystycznych, które zostały udostępnione prywatnie przez autorów oryginalnego korpusu. Podczas gdy dołączony zestaw treningowy jest zrównoważony między dwiema klasami, zestaw testowy jest niezrównoważony między nimi (65% bez implikacji). Ponadto, ze względu na dziwactwo danych, zestaw rozwojowy jest przeciwny: hipotezy są czasami dzielone między przykładami szkoleniowymi i rozwojowymi, więc jeśli model zapamiętuje przykłady szkoleniowe, przewidzi niewłaściwą etykietę na odpowiednim przykładzie zestawu rozwojowego. Podobnie jak w przypadku QNLI, każdy przykład jest oceniany osobno, więc nie ma systematycznej zgodności między wynikiem modelu w tym zadaniu a jego wynikiem w nieprzekształconym oryginalnym zadaniu. Przekonwertowany zbiór danych nazywamy WNLI (Winograd NLI).
Strona główna : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html
Rozmiar pliku do pobrania :
28.32 KiB
Rozmiar zbioru danych :
198.88 KiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 146 |
'train' | 635 |
'validation' | 71 |
- Struktura funkcji :
FeaturesDict({
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
zdanie 1 | Tekst | strunowy | ||
zdanie2 | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{levesque2012winograd,
title={The winograd schema challenge},
author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
year={2012}
}
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.
klej/siekiera
Opis konfiguracji : ręcznie wybierany zestaw danych ewaluacyjnych do szczegółowej analizy wydajności systemu w szerokim zakresie zjawisk językowych. Ten zestaw danych ocenia rozumienie zdań za pomocą problemów wnioskowania w języku naturalnym (NLI). Użyj modelu przeszkolonego w MulitNLI, aby wygenerować prognozy dla tego zestawu danych.
Strona główna : https://gluebenchmark.com/diagnostics
Rozmiar pliku do pobrania :
217.05 KiB
Rozmiar zbioru danych :
299.16 KiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 1104 |
- Struktura funkcji :
FeaturesDict({
'hypothesis': Text(shape=(), dtype=string),
'idx': int32,
'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
'premise': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
hipoteza | Tekst | strunowy | ||
idx | Napinacz | int32 | ||
etykieta | Etykieta klasy | int64 | ||
przesłanka | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{wang2019glue,
title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
note={In the Proceedings of ICLR.},
year={2019}
}
Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.