beir

• Descrizione :

BEIR è un benchmark eterogeneo contenente diverse attività IR. Fornisce inoltre un quadro comune e semplice per la valutazione dei modelli di recupero basati sulla PNL all'interno del benchmark.

• Documentazione aggiuntiva : Esplora documenti con codice north_east

• Homepage : https://github.com/beir-cellar/beir

• Codice sorgente : tfds.datasets.beir.Builder

• Versioni :

  • 1.0.0 (impostazione predefinita): versione iniziale.

• Struttura delle caratteristiche :

FeaturesDict({
    'passage': Text(shape=(), dtype=string),
    'passage_id': Text(shape=(), dtype=string),
    'passage_metadata': Text(shape=(), dtype=string),
    'query': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'query_metadata': Text(shape=(), dtype=string),
    'score': float32,
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (Vedi as_supervised doc ): None

• Figura ( tfds.show_examples ): non supportato.

• Citazione :

@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir/msmarco (configurazione predefinita)

• Dimensione del download : 1.01 GiB

• Dimensione del set di dati: 4.53 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/trec_covid

• Dimensione del download : 70.45 MiB

• Dimensione del set di dati: 292.04 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/nfcorpus

• Dimensione del download : 2.34 MiB

• Dimensione del set di dati: 24.94 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/nq

• Dimensione del download : 475.22 MiB

• Dimensione del set di dati : 1.66 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/hotpotqa

• Dimensione del download : 623.73 MiB

• Dimensione del set di dati: 2.64 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/fiqa

• Dimensione del download : 17.12 MiB

• Dimensione del set di dati: 73.39 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/arguana

• Dimensione del download : 3.60 MiB

• Dimensione del set di dati: 15.08 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/webis_touche2020

• Dimensione del download : 216.61 MiB

• Dimensione del set di dati: 747.57 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.android

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 883.49 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.english

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 3.78 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.gaming

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 2.64 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.gis

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 1.47 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.mathematica

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 1.58 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.physics

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 2.02 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.programmers

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 2.14 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.stats

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 941.07 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.tex

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 21.75 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.unix

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 2.04 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.webmasters

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 650.08 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/cqadupstack.wordpress

• Dimensioni del download : 4.98 GiB

• Dimensione del set di dati: 726.15 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/quora

• Dimensione del download : 15.12 MiB

• Dimensione del set di dati: 121.33 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/dbpedia_entity

• Dimensione del download : 609.67 MiB

• Dimensione del set di dati: 2.47 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/scidocs

• Dimensione del download : 135.87 MiB

• Dimensione del set di dati: 573.04 MiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

birra/febbre

• Dimensione del download : 1.15 GiB

• Dimensione del set di dati: 3.70 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/clima_febbre

• Dimensione del download : 1.14 GiB

• Dimensione del set di dati: 3.64 GiB

• Cache automatica ( documentazione ): No

• Divisioni :

• Esempi ( tfds.as_dataframe ):

beir/scifatto

• Dimensione del download : 2.69 MiB

• Dimensione del set di dati: 10.16 MiB

• Auto-cache ( documentazione ): Sì

• Divisioni :

• Esempi ( tfds.as_dataframe ):