参考文献:
エンエス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:scielo/en-es')
- 説明：
A parallel corpus of full-text scientific articles collected from Scielo database in the following languages: English, Portuguese and Spanish. The corpus is sentence aligned for all language pairs, as well as trilingual aligned for a small subset of sentences. Alignment was carried out using the Hunalign algorithm.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 177782 |
- 特徴：
{
"translation": {
"languages": [
"en",
"es"
],
"id": null,
"_type": "Translation"
}
}
en-pt
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:scielo/en-pt')
- 説明：
A parallel corpus of full-text scientific articles collected from Scielo database in the following languages: English, Portuguese and Spanish. The corpus is sentence aligned for all language pairs, as well as trilingual aligned for a small subset of sentences. Alignment was carried out using the Hunalign algorithm.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 2828917 |
- 特徴：
{
"translation": {
"languages": [
"en",
"pt"
],
"id": null,
"_type": "Translation"
}
}
en-pt-es
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:scielo/en-pt-es')
- 説明：
A parallel corpus of full-text scientific articles collected from Scielo database in the following languages: English, Portuguese and Spanish. The corpus is sentence aligned for all language pairs, as well as trilingual aligned for a small subset of sentences. Alignment was carried out using the Hunalign algorithm.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 255915 |
- 特徴：
{
"translation": {
"languages": [
"en",
"pt",
"es"
],
"id": null,
"_type": "Translation"
}
}