- Açıklama :
Wikipedia tabanlı Görüntü Metni (WIT) Veri Kümesi, büyük, çok modlu, çok dilli bir veri kümesidir. WIT, 108 Vikipedi dilinde 11,5 milyon benzersiz görüntü ile 37,6 milyon varlık açısından zengin görüntü-metin örneğinden oluşan bir diziden oluşur. Boyutu, WIT'in çok modlu makine öğrenimi modelleri için bir ön eğitim veri kümesi olarak kullanılmasını sağlar.
Ana Sayfa : https://github.com/google-research-datasets/wit/
Kaynak kodu :
tfds.vision_language.wit.Wit
sürümler :
-
1.0.0
: İlk sürüm. WIT veri kümesini https://storage.googleapis.com/gresearch/wit/ adresinden yükler. -
1.1.0
(varsayılan):val
vetest
bölmeleri eklendi.
-
İndirme boyutu :
25.20 GiB
Veri kümesi boyutu :
81.17 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 210.166 |
'train' | 37.046.386 |
'val' | 261.024 |
- Özellik yapısı :
FeaturesDict({
'attribution_passes_lang_id': bool,
'caption_alt_text_description': Text(shape=(), dtype=string),
'caption_attribution_description': Text(shape=(), dtype=string),
'caption_reference_description': Text(shape=(), dtype=string),
'context_page_description': Text(shape=(), dtype=string),
'context_section_description': Text(shape=(), dtype=string),
'hierarchical_section_title': Text(shape=(), dtype=string),
'image_url': Text(shape=(), dtype=string),
'is_main_image': bool,
'language': Text(shape=(), dtype=string),
'mime_type': Text(shape=(), dtype=string),
'original_height': int32,
'original_width': int32,
'page_changed_recently': bool,
'page_title': Text(shape=(), dtype=string),
'page_url': Text(shape=(), dtype=string),
'section_title': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
ÖzelliklerDict | ||||
attribution_passes_lang_id | tensör | bool | ||
caption_alt_text_description | Metin | sicim | ||
caption_attribution_description | Metin | sicim | ||
caption_reference_description | Metin | sicim | ||
bağlam_sayfası_tanımı | Metin | sicim | ||
bağlam_bölümü_tanımı | Metin | sicim | ||
hiyerarşik_bölüm_başlığı | Metin | sicim | ||
resim_url | Metin | sicim | ||
is_main_image | tensör | bool | ||
dil | Metin | sicim | ||
mime_type | Metin | sicim | ||
orijinal_yükseklik | tensör | int32 | ||
orijinal_genişlik | tensör | int32 | ||
page_changed_recently | tensör | bool | ||
sayfa başlığı | Metin | sicim | ||
sayfa_url | Metin | sicim | ||
Bölüm başlığı | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):None
Şekil ( tfds.show_examples ): Desteklenmiyor.
Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{srinivasan2021wit,
title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
journal={arXiv preprint arXiv:2103.01913},
year={2021}
}