বুদ্ধি

  • বর্ণনা :

উইকিপিডিয়া ভিত্তিক ইমেজ টেক্সট (WIT) ডেটাসেট হল একটি বৃহৎ মাল্টিমডাল বহুভাষিক ডেটাসেট। WIT 108টি উইকিপিডিয়া ভাষায় 11.5 মিলিয়ন অনন্য চিত্র সহ 37.6 মিলিয়ন সত্তা সমৃদ্ধ চিত্র-টেক্সট উদাহরণের একটি কিউরেটেড সেটের সমন্বয়ে গঠিত। এর আকার WIT কে মাল্টিমডাল মেশিন লার্নিং মডেলের জন্য একটি প্রাক-প্রশিক্ষণ ডেটাসেট হিসাবে ব্যবহার করতে সক্ষম করে।

বিভক্ত উদাহরণ
'test' 210,166
'train' 37,046,386
'val' 261,024
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'attribution_passes_lang_id': bool,
    'caption_alt_text_description': Text(shape=(), dtype=string),
    'caption_attribution_description': Text(shape=(), dtype=string),
    'caption_reference_description': Text(shape=(), dtype=string),
    'context_page_description': Text(shape=(), dtype=string),
    'context_section_description': Text(shape=(), dtype=string),
    'hierarchical_section_title': Text(shape=(), dtype=string),
    'image_url': Text(shape=(), dtype=string),
    'is_main_image': bool,
    'language': Text(shape=(), dtype=string),
    'mime_type': Text(shape=(), dtype=string),
    'original_height': int32,
    'original_width': int32,
    'page_changed_recently': bool,
    'page_title': Text(shape=(), dtype=string),
    'page_url': Text(shape=(), dtype=string),
    'section_title': Text(shape=(), dtype=string),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
attribution_passes_lang_id টেনসর bool
caption_alt_text_description পাঠ্য স্ট্রিং
caption_attribution_description পাঠ্য স্ট্রিং
caption_reference_description পাঠ্য স্ট্রিং
প্রসঙ্গ_পৃষ্ঠা_বর্ণনা পাঠ্য স্ট্রিং
প্রসঙ্গ_বিভাগ_বর্ণনা পাঠ্য স্ট্রিং
hierarchical_section_title পাঠ্য স্ট্রিং
ছবির ঠিকানা পাঠ্য স্ট্রিং
is_main_image টেনসর bool
ভাষা পাঠ্য স্ট্রিং
MIME ধরণ পাঠ্য স্ট্রিং
মূল_উচ্চতা টেনসর int32
মূল_প্রস্থ টেনসর int32
পৃষ্ঠা_পরিবর্তিত_সম্প্রতি টেনসর bool
পেজের টাইটেল পাঠ্য স্ট্রিং
page_url পাঠ্য স্ট্রিং
বিভাগ_শিরোনাম পাঠ্য স্ট্রিং
  • উদ্ধৃতি :
@article{srinivasan2021wit,
  title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
  author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
  journal={arXiv preprint arXiv:2103.01913},
  year={2021}
}