- 説明:
統計言語モデリングの進捗状況を測定するために使用されるベンチマーク コーパス。これには、トレーニング データにほぼ 10 億語が含まれています。
追加のドキュメント:コード を使用したペーパーの探索
ソース コード:
tfds.datasets.lm1b.Builder
バージョン:
-
1.1.0
(デフォルト): リリース ノートはありません。
-
ダウンロードサイズ:
1.67 GiB
データセットサイズ:
4.40 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 306,688 |
'train' | 30,301,028 |
- 機能構造:
FeaturesDict({
'text': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
文章 | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('text', 'text')
図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用:
@article{DBLP:journals/corr/ChelbaMSGBK13,
author = {Ciprian Chelba and
Tomas Mikolov and
Mike Schuster and
Qi Ge and
Thorsten Brants and
Phillipp Koehn},
title = {One Billion Word Benchmark for Measuring Progress in Statistical Language
Modeling},
journal = {CoRR},
volume = {abs/1312.3005},
year = {2013},
url = {http://arxiv.org/abs/1312.3005},
archivePrefix = {arXiv},
eprint = {1312.3005},
timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
bibsource = {dblp computer science bibliography, https://dblp.org}
}