- विवरण :
बीईआईआर विविध आईआर कार्यों वाला एक विषम बेंचमार्क है। यह बेंचमार्क के भीतर आपके एनएलपी-आधारित पुनर्प्राप्ति मॉडल के मूल्यांकन के लिए एक सामान्य और आसान ढांचा भी प्रदान करता है।
होमपेज : https://github.com/beir-cellar/beir
स्रोत कोड :
tfds.datasets.beir.Builder
संस्करण :
-
1.0.0
(डिफ़ॉल्ट): प्रारंभिक रिलीज़।
-
फ़ीचर संरचना :
FeaturesDict({
'passage': Text(shape=(), dtype=string),
'passage_id': Text(shape=(), dtype=string),
'passage_metadata': Text(shape=(), dtype=string),
'query': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'query_metadata': Text(shape=(), dtype=string),
'score': float32,
})
- फ़ीचर दस्तावेज़ीकरण :
विशेषता | कक्षा | आकार | डीटाइप | विवरण |
---|---|---|---|---|
विशेषताएं डिक्ट | ||||
रास्ता | मूलपाठ | डोरी | ||
पैसेज_आईडी | मूलपाठ | डोरी | ||
pass_metadata | मूलपाठ | डोरी | ||
सवाल | मूलपाठ | डोरी | ||
query_id | मूलपाठ | डोरी | ||
query_metadata | मूलपाठ | डोरी | ||
अंक | टेन्सर | फ्लोट32 |
पर्यवेक्षित कुंजियाँ (
as_supervised
doc देखें):None
चित्र ( tfds.show_examples ): समर्थित नहीं है।
उद्धरण :
@inproceedings{
thakur2021beir,
title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
बीर/एमएसमार्को (डिफ़ॉल्ट कॉन्फ़िगरेशन)
डाउनलोड आकार :
1.01 GiB
डेटासेट का आकार :
4.53 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 8,841,823 |
'query' | 509,962 |
'test' | 9,139 |
'train' | 516,472 |
'validation' | 7,433 |
- उदाहरण ( tfds.as_dataframe ):
बेर/trec_covid
डाउनलोड आकार :
70.45 MiB
डेटासेट का आकार :
292.04 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 171,332 |
'query' | 50 |
'test' | 35,480 |
- उदाहरण ( tfds.as_dataframe ):
बेर/NFकॉर्पस
डाउनलोड आकार :
2.34 MiB
डेटासेट का आकार :
24.94 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 3,633 |
'query' | 3,237 |
'test' | 3,128 |
'train' | 3,588 |
'validation' | 3,119 |
- उदाहरण ( tfds.as_dataframe ):
बीर / संख्या
डाउनलोड का आकार :
475.22 MiB
डेटासेट का आकार :
1.66 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 2,681,468 |
'query' | 3,452 |
'test' | 4,201 |
- उदाहरण ( tfds.as_dataframe ):
बेर/हॉटपोटका
डाउनलोड आकार :
623.73 MiB
डेटासेट का आकार :
2.64 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 5,233,329 |
'query' | 97,852 |
'test' | 13,783 |
'train' | 101,307 |
'validation' | 10,335 |
- उदाहरण ( tfds.as_dataframe ):
बेर / फ़िक़ा
डाउनलोड आकार :
17.12 MiB
डेटासेट का आकार :
73.39 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 57,638 |
'query' | 6,648 |
'test' | 1,706 |
'train' | 14,166 |
'validation' | 1,238 |
- उदाहरण ( tfds.as_dataframe ):
बेर/अर्गुआना
डाउनलोड आकार :
3.60 MiB
डेटासेट का आकार :
15.08 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 8,674 |
'query' | 1,406 |
'test' | 1,401 |
- उदाहरण ( tfds.as_dataframe ):
बेयर/वेबिस_टच2020
डाउनलोड आकार :
216.61 MiB
डेटासेट का आकार :
747.57 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 382,545 |
'query' | 49 |
'test' | 2,099 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.android
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
883.49 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 22,998 |
'query' | 699 |
'test' | 1,696 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.english
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
3.78 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 40,221 |
'query' | 1,570 |
'test' | 3,765 |
- उदाहरण ( tfds.as_dataframe ):
beir/cqadupstack.gaming
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
2.64 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 45,301 |
'query' | 1,595 |
'test' | 2,263 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.gis
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
1.47 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 37,637 |
'query' | 885 |
'test' | 1,114 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.mathematica
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
1.58 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 16,705 |
'query' | 804 |
'test' | 1,358 |
- उदाहरण ( tfds.as_dataframe ):
beir/cqadupstack.physics
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
2.02 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 38,316 |
'query' | 1,039 |
'test' | 1,933 |
- उदाहरण ( tfds.as_dataframe ):
beir/cqadupstack.programmers
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
2.14 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 32,176 |
'query' | 876 |
'test' | 1,675 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.stats
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
941.07 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 42,269 |
'query' | 652 |
'test' | 913 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.tex
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
21.75 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 68,184 |
'query' | 2,906 |
'test' | 5,154 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.unix
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
2.04 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 47,382 |
'query' | 1,072 |
'test' | 1,693 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.webmasters
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
650.08 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 17,405 |
'query' | 506 |
'test' | 1,395 |
- उदाहरण ( tfds.as_dataframe ):
बेर/cqadupstack.wordpress
डाउनलोड का आकार :
4.98 GiB
डेटासेट का आकार :
726.15 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 48,605 |
'query' | 541 |
'test' | 744 |
- उदाहरण ( tfds.as_dataframe ):
बीर / क्वोरा
डाउनलोड आकार :
15.12 MiB
डेटासेट का आकार :
121.33 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 522,931 |
'query' | 15,000 |
'test' | 15,675 |
'validation' | 7,626 |
- उदाहरण ( tfds.as_dataframe ):
बीर/dbpedia_entity
डाउनलोड आकार :
609.67 MiB
डेटासेट का आकार :
2.47 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 4,635,922 |
'query' | 467 |
'test' | 40,724 |
'validation' | 5,658 |
- उदाहरण ( tfds.as_dataframe ):
बेर/scidocs
डाउनलोड आकार :
135.87 MiB
डेटासेट का आकार :
573.04 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 25,657 |
'query' | 1,000 |
'test' | 25,657 |
- उदाहरण ( tfds.as_dataframe ):
बेर / बुखार
डाउनलोड आकार :
1.15 GiB
डेटासेट का आकार :
3.70 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 5,416,568 |
'query' | 123,142 |
'test' | 1,499 |
'train' | 12,547 |
'validation' | 1,460 |
- उदाहरण ( tfds.as_dataframe ):
बियर/climate_fever
डाउनलोड आकार :
1.14 GiB
डेटासेट का आकार :
3.64 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 5,416,593 |
'query' | 1,535 |
'test' | 1,344 |
- उदाहरण ( tfds.as_dataframe ):
बेर / sifact
डाउनलोड आकार :
2.69 MiB
डेटासेट का आकार :
10.16 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ
विभाजन :
विभाजित करना | उदाहरण |
---|---|
'passage' | 5,183 |
'query' | 1,109 |
'test' | 283 |
'train' | 565 |
- उदाहरण ( tfds.as_dataframe ):