- বর্ণনা :
উইকিপিডিয়া ভিত্তিক ইমেজ টেক্সট (WIT) ডেটাসেট হল একটি বৃহৎ মাল্টিমডাল বহুভাষিক ডেটাসেট। WIT 108টি উইকিপিডিয়া ভাষায় 11.5 মিলিয়ন অনন্য চিত্র সহ 37.6 মিলিয়ন সত্তা সমৃদ্ধ চিত্র-টেক্সট উদাহরণের একটি কিউরেটেড সেটের সমন্বয়ে গঠিত। এর আকার WIT কে মাল্টিমডাল মেশিন লার্নিং মডেলের জন্য একটি প্রাক-প্রশিক্ষণ ডেটাসেট হিসাবে ব্যবহার করতে সক্ষম করে।
সোর্স কোড :
tfds.vision_language.wit.Wit
সংস্করণ :
-
1.0.0
: প্রাথমিক প্রকাশ। এটি https://storage.googleapis.com/gresearch/wit/ থেকে WIT ডেটাসেট লোড করে -
1.1.0
(ডিফল্ট):val
এবংtest
স্প্লিট যোগ করা হয়েছে।
-
ডাউনলোড আকার :
25.20 GiB
ডেটাসেটের আকার :
81.17 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'test' | 210,166 |
'train' | 37,046,386 |
'val' | 261,024 |
- বৈশিষ্ট্য গঠন :
FeaturesDict({
'attribution_passes_lang_id': bool,
'caption_alt_text_description': Text(shape=(), dtype=string),
'caption_attribution_description': Text(shape=(), dtype=string),
'caption_reference_description': Text(shape=(), dtype=string),
'context_page_description': Text(shape=(), dtype=string),
'context_section_description': Text(shape=(), dtype=string),
'hierarchical_section_title': Text(shape=(), dtype=string),
'image_url': Text(shape=(), dtype=string),
'is_main_image': bool,
'language': Text(shape=(), dtype=string),
'mime_type': Text(shape=(), dtype=string),
'original_height': int32,
'original_width': int32,
'page_changed_recently': bool,
'page_title': Text(shape=(), dtype=string),
'page_url': Text(shape=(), dtype=string),
'section_title': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
ফিচারসডিক্ট | ||||
attribution_passes_lang_id | টেনসর | bool | ||
caption_alt_text_description | পাঠ্য | স্ট্রিং | ||
caption_attribution_description | পাঠ্য | স্ট্রিং | ||
caption_reference_description | পাঠ্য | স্ট্রিং | ||
প্রসঙ্গ_পৃষ্ঠা_বর্ণনা | পাঠ্য | স্ট্রিং | ||
প্রসঙ্গ_বিভাগ_বর্ণনা | পাঠ্য | স্ট্রিং | ||
hierarchical_section_title | পাঠ্য | স্ট্রিং | ||
ছবির ঠিকানা | পাঠ্য | স্ট্রিং | ||
is_main_image | টেনসর | bool | ||
ভাষা | পাঠ্য | স্ট্রিং | ||
MIME ধরণ | পাঠ্য | স্ট্রিং | ||
মূল_উচ্চতা | টেনসর | int32 | ||
মূল_প্রস্থ | টেনসর | int32 | ||
পৃষ্ঠা_পরিবর্তিত_সম্প্রতি | টেনসর | bool | ||
পেজের টাইটেল | পাঠ্য | স্ট্রিং | ||
page_url | পাঠ্য | স্ট্রিং | ||
বিভাগ_শিরোনাম | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):None
চিত্র ( tfds.show_examples ): সমর্থিত নয়।
উদাহরণ ( tfds.as_dataframe ):
- উদ্ধৃতি :
@article{srinivasan2021wit,
title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
journal={arXiv preprint arXiv:2103.01913},
year={2021}
}