- বর্ণনা :
statmt.org থেকে ডেটার উপর ভিত্তি করে ডেটাসেট অনুবাদ করুন।
একাধিক ডেটা উৎসের সংমিশ্রণ ব্যবহার করে বিভিন্ন বছরের জন্য সংস্করণ বিদ্যমান। বেস wmt_translate
আপনাকে একটি কাস্টম tfds.translate.wmt.WmtConfig
তৈরি করে আপনার নিজস্ব ডেটা/ভাষা জুটি চয়ন করতে আপনার নিজস্ব কনফিগার তৈরি করতে দেয়।
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
সোর্স কোড :
tfds.translate.Wmt19Translate
সংস্করণ :
-
1.0.0
(ডিফল্ট): কোনো রিলিজ নোট নেই।
-
ম্যানুয়াল ডাউনলোডের নির্দেশাবলী : এই ডেটাসেটের জন্য আপনাকে ডাউনলোড_config.manual_dir-এ ম্যানুয়ালি উৎস ডেটা
download_config.manual_dir
করতে হবে (~/tensorflow_datasets/downloads/manual/
ডিফল্ট):
এখানে কিছু wmt কনফিগার, একটি ম্যানুয়াল ডাউনলোড প্রয়োজন। সঠিক পাথ (এবং ফাইলের নাম) যা ডাউনলোড করতে হবে তা দেখতে অনুগ্রহ করে wmt.py দেখুন।চিত্র ( tfds.show_examples ): সমর্থিত নয়।
উদ্ধৃতি :
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
wmt19_translate/cs-en (ডিফল্ট কনফিগারেশন)
কনফিগ বিবরণ : WMT 2019 cs-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোডের আকার :
1.88 GiB
ডেটাসেটের আকার :
3.64 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 20,246,548 |
'validation' | 2,983 |
- বৈশিষ্ট্য গঠন :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
cs | পাঠ্য | স্ট্রিং | ||
en | পাঠ্য | স্ট্রিং |
তত্ত্বাবধানে থাকা কী (
as_supervised
doc ):('cs', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/de-en
কনফিগার বিবরণ : WMT 2019 ডি-এন অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড সাইজ :
9.71 GiB
ডেটাসেটের আকার :
8.60 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 38,690,334 |
'validation' | 2,998 |
- বৈশিষ্ট্য গঠন :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
ডি | পাঠ্য | স্ট্রিং | ||
en | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('de', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/fi-en
কনফিগার বিবরণ : WMT 2019 fi-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড সাইজ :
959.46 MiB
ডেটাসেটের আকার :
1.46 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | ৬,৫৮৭,৪৪৮ |
'validation' | 3,000 |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
fi | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('fi', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/gu-en
কনফিগার বিবরণ : WMT 2019 gu-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড আকার :
37.03 MiB
ডেটাসেটের আকার :
1.55 MiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 11,670 |
'validation' | 1,998 |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'gu': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
gu | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (
as_supervised
ডক ):('gu', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/kk-en
কনফিগার বিবরণ : WMT 2019 kk-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড সাইজ :
39.58 MiB
ডেটাসেটের আকার :
11.82 MiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 126,583 |
'validation' | 2,066 |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'kk': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
কে কে | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (
as_supervised
ডক হিসেবে ):('kk', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/lt-en
কনফিগার বিবরণ : WMT 2019 lt-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড সাইজ :
392.20 MiB
ডেটাসেটের আকার :
537.26 MiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | ২,৩৪৪,৮৯৩ |
'validation' | 2,000 |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
lt | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('lt', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/ru-en
কনফিগার বিবরণ : WMT 2019 ru-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড সাইজ :
1.57 GiB
ডেটাসেটের আকার :
13.95 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 38,492,126 |
'validation' | 3,000 |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
ru | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('ru', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/zh-en
কনফিগারেশনের বিবরণ : WMT 2019 zh-en অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোডের আকার :
770.91 MiB
ডেটাসেটের আকার :
6.49 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | 25,986,436 |
'validation' | ৩,৯৮১ |
- বৈশিষ্ট্য গঠন :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
en | পাঠ্য | স্ট্রিং | ||
zh | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('zh', 'en')
উদাহরণ ( tfds.as_dataframe ):
wmt19_translate/fr-de
কনফিগার বিবরণ : WMT 2019 fr-de অনুবাদ টাস্ক ডেটাসেট।
ডাউনলোড
722.20 MiB
ডেটাসেটের আকার :
2.39 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'train' | ৯,৮২৪,৪৭৬ |
'validation' | 1,512 |
- বৈশিষ্ট্য গঠন :
Translation({
'de': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
অনুবাদ | ||||
ডি | পাঠ্য | স্ট্রিং | ||
fr | পাঠ্য | স্ট্রিং |
তত্ত্বাবধানে থাকা কী (
as_supervised
doc ):('fr', 'de')
উদাহরণ ( tfds.as_dataframe ):