- คำอธิบาย :
แปลชุดข้อมูลตามข้อมูลจาก statmt.org
มีเวอร์ชันสำหรับปีต่างๆ โดยใช้แหล่งข้อมูลหลายแหล่งรวมกัน wmt_translate
พื้นฐานช่วยให้คุณสร้างการกำหนดค่าของคุณเองเพื่อเลือกคู่ข้อมูล/ภาษาของคุณเองโดยสร้าง tfds.translate.wmt.WmtConfig
แบบกำหนดเอง
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
รหัสที่มา :
tfds.translate.Wmt13Translate
รุ่น :
-
1.0.0
(ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น
-
คำแนะนำในการดาวน์โหลดด้วยตนเอง : ชุดข้อมูลนี้กำหนดให้คุณต้องดาวน์โหลดแหล่งข้อมูลด้วยตนเองลงใน
download_config.manual_dir
(ค่าเริ่มต้นเป็น~/tensorflow_datasets/downloads/manual/
):
การกำหนดค่า wmt บางส่วนที่นี่จำเป็นต้องดาวน์โหลดด้วยตนเอง โปรดดู wmt.py เพื่อดูเส้นทางที่แน่นอน (และชื่อไฟล์) ที่ต้องดาวน์โหลดแคชอัตโนมัติ ( เอกสารประกอบ ): ไม่
รูปภาพ ( tfds.show_examples ): ไม่รองรับ
การอ้างอิง :
@InProceedings{bojar-EtAl:2013:WMT,
author = {Bojar, Ondrej and Buck, Christian and Callison-Burch, Chris and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Monz, Christof and Post, Matt and Soricut, Radu and Specia, Lucia},
title = {Findings of the 2013 {Workshop on Statistical Machine Translation} },
booktitle = {Proceedings of the Eighth Workshop on Statistical Machine Translation},
month = {August},
year = {2013},
address = {Sofia, Bulgaria},
publisher = {Association for Computational Linguistics},
pages = {1--44},
url = {http://www.aclweb.org/anthology/W13-2201}
}
wmt13_translate/cs-en (ค่าเริ่มต้น)
คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2013 cs-en
ขนาดการดาวน์โหลด :
1.59 GiB
ขนาดชุดข้อมูล :
2.89 GiB
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3,000 |
'train' | 15,780,759 |
'validation' | 13,573 |
- โครงสร้างคุณลักษณะ :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
แปล | ||||
ค | ข้อความ | สตริง | ||
th | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):('cs', 'en')
ตัวอย่าง ( tfds.as_dataframe ):
wmt13_translate/de-en
คำอธิบาย การกำหนดค่า: WMT 2013 de-en ชุดข้อมูลงานแปล
ขนาดการดาวน์โหลด :
1.59 GiB
ขนาดชุดข้อมูล :
1.36 GiB
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3,000 |
'train' | 4,485,758 |
'validation' | 13,573 |
- โครงสร้างคุณลักษณะ :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
แปล | ||||
เดอ | ข้อความ | สตริง | ||
th | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):('de', 'en')
ตัวอย่าง ( tfds.as_dataframe ):
wmt13_translate/fr-th
คำอธิบาย การกำหนดค่า : ชุดข้อมูลงานแปล WMT 2013 fr-en
ขนาดการดาวน์โหลด :
6.21 GiB
ขนาดชุดข้อมูล :
14.64 GiB
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3,000 |
'train' | 40,810,860 |
'validation' | 13,573 |
- โครงสร้างคุณลักษณะ :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
แปล | ||||
th | ข้อความ | สตริง | ||
fr | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):('fr', 'en')
ตัวอย่าง ( tfds.as_dataframe ):
wmt13_translate/es-en
คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2013 es-en
ขนาดการดาวน์โหลด :
3.79 GiB
ขนาดชุดข้อมูล :
5.24 GiB
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3,000 |
'train' | 15,176,790 |
'validation' | 13,573 |
- โครงสร้างคุณลักษณะ :
Translation({
'en': Text(shape=(), dtype=string),
'es': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
แปล | ||||
th | ข้อความ | สตริง | ||
อี | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):('es', 'en')
ตัวอย่าง ( tfds.as_dataframe ):
wmt13_translate/ru-en
คำอธิบาย การกำหนดค่า: ชุดข้อมูลงานแปล WMT 2013 ru-en
ขนาดการดาวน์โหลด :
1010.20 MiB
ขนาดชุดข้อมูล :
833.67 MiB
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3,000 |
'train' | 2,471,670 |
'validation' | 3,003 |
- โครงสร้างคุณลักษณะ :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
แปล | ||||
th | ข้อความ | สตริง | ||
รู | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):('ru', 'en')
ตัวอย่าง ( tfds.as_dataframe ):