参考文献:
アルデ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-de')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 165090 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"de"
],
"id": null,
"_type": "Translation"
}
}
アーエン
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-en')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9759125 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"en"
],
"id": null,
"_type": "Translation"
}
}
アールエス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-es')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 10119379 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"es"
],
"id": null,
"_type": "Translation"
}
}
ar-fr
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-fr')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9929567 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"fr"
],
"id": null,
"_type": "Translation"
}
}
あるある
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-ru')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 10206243 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"ru"
],
"id": null,
"_type": "Translation"
}
}
ar-zh
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ar-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9832293 |
- 特徴：
{
"translation": {
"languages": [
"ar",
"zh"
],
"id": null,
"_type": "Translation"
}
}
デ・エン
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/de-en')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 162981 |
- 特徴：
{
"translation": {
"languages": [
"de",
"en"
],
"id": null,
"_type": "Translation"
}
}
ディーエス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/de-es')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 162078 |
- 特徴：
{
"translation": {
"languages": [
"de",
"es"
],
"id": null,
"_type": "Translation"
}
}
デフランス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/de-fr')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 164025 |
- 特徴：
{
"translation": {
"languages": [
"de",
"fr"
],
"id": null,
"_type": "Translation"
}
}
でる
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/de-ru')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 164792 |
- 特徴：
{
"translation": {
"languages": [
"de",
"ru"
],
"id": null,
"_type": "Translation"
}
}
デ・ジ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/de-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 176933 |
- 特徴：
{
"translation": {
"languages": [
"de",
"zh"
],
"id": null,
"_type": "Translation"
}
}
エンエス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/en-es')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 11350967 |
- 特徴：
{
"translation": {
"languages": [
"en",
"es"
],
"id": null,
"_type": "Translation"
}
}
フランス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/en-fr')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 13172019 |
- 特徴：
{
"translation": {
"languages": [
"en",
"fr"
],
"id": null,
"_type": "Translation"
}
}
えんる
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/en-ru')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 11654416 |
- 特徴：
{
"translation": {
"languages": [
"en",
"ru"
],
"id": null,
"_type": "Translation"
}
}
英語
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/en-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9564315 |
- 特徴：
{
"translation": {
"languages": [
"en",
"zh"
],
"id": null,
"_type": "Translation"
}
}
es-fr
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/es-fr')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 11441889 |
- 特徴：
{
"translation": {
"languages": [
"es",
"fr"
],
"id": null,
"_type": "Translation"
}
}
エス・ル
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/es-ru')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 10605056 |
- 特徴：
{
"translation": {
"languages": [
"es",
"ru"
],
"id": null,
"_type": "Translation"
}
}
エスジ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/es-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9847770 |
- 特徴：
{
"translation": {
"languages": [
"es",
"zh"
],
"id": null,
"_type": "Translation"
}
}
フロル
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/fr-ru')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 11761738 |
- 特徴：
{
"translation": {
"languages": [
"fr",
"ru"
],
"id": null,
"_type": "Translation"
}
}
フランス
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/fr-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9690914 |
- 特徴：
{
"translation": {
"languages": [
"fr",
"zh"
],
"id": null,
"_type": "Translation"
}
}
ル・ジ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:un_multi/ru-zh')
- 説明：
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 9557007 |
- 特徴：
{
"translation": {
"languages": [
"ru",
"zh"
],
"id": null,
"_type": "Translation"
}
}