- Açıklama :
İstatistiksel dil modellemedeki ilerlemeyi ölçmek için kullanılacak bir kıyaslama derlemi. Bunun eğitim verilerinde neredeyse bir milyar kelime var.
Ana Sayfa : http://www.statmt.org/lm-benchmark/
Kaynak kodu :
tfds.datasets.lm1b.Builder
sürümler :
-
1.1.0
(varsayılan): Sürüm notu yok.
-
İndirme boyutu :
1.67 GiB
Veri kümesi boyutu :
4.40 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 306.688 |
'train' | 30.301.028 |
- Özellik yapısı :
FeaturesDict({
'text': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
ÖzelliklerDict | ||||
Metin | Metin | sicim |
Denetimli anahtarlar (Bkz.
as_supervised
doc ):('text', 'text')
Şekil ( tfds.show_examples ): Desteklenmiyor.
Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{DBLP:journals/corr/ChelbaMSGBK13,
author = {Ciprian Chelba and
Tomas Mikolov and
Mike Schuster and
Qi Ge and
Thorsten Brants and
Phillipp Koehn},
title = {One Billion Word Benchmark for Measuring Progress in Statistical Language
Modeling},
journal = {CoRR},
volume = {abs/1312.3005},
year = {2013},
url = {http://arxiv.org/abs/1312.3005},
archivePrefix = {arXiv},
eprint = {1312.3005},
timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
bibsource = {dblp computer science bibliography, https://dblp.org}
}