Ref_coco

• विवरण :

COCO डेटासेट में छवियों पर आधारित 3 रेफ़रिंग एक्सप्रेशन डेटासेट का संग्रह। सन्दर्भित अभिव्यक्ति पाठ का एक टुकड़ा है जो किसी छवि में एक अद्वितीय वस्तु का वर्णन करता है। ये डेटासेट मानव मूल्यांकनकर्ताओं को COCO डेटासेट में बाउंडिंग बॉक्स द्वारा चित्रित वस्तुओं को स्पष्ट करने के लिए कहकर एकत्र किए जाते हैं।

RefCoco और RefCoco+ Kazemzadeh et al से हैं। 2014. RefCoco+ अभिव्यक्तियाँ पूरी तरह से उपस्थिति आधारित विवरण हैं, जिन्हें उन्होंने मूल्यांकनकर्ताओं को स्थान आधारित विवरणों का उपयोग करने से रोककर लागू किया है (उदाहरण के लिए, "दाईं ओर का व्यक्ति" RefCoco+ के लिए वैध विवरण नहीं है)। RefCocoG माओ एट अल से है। 2016, और एनोटेशन प्रक्रिया में अंतर के कारण रेफकोको की तुलना में वस्तुओं का अधिक समृद्ध विवरण है। विशेष रूप से, RefCoco को एक इंटरैक्टिव गेम-आधारित सेटिंग में एकत्र किया गया था, जबकि RefCocoG को एक गैर-इंटरैक्टिव सेटिंग में एकत्र किया गया था। औसतन, RefCocoG में प्रति अभिव्यक्ति 8.4 शब्द हैं जबकि RefCoco में 3.5 शब्द हैं।

प्रत्येक डेटासेट में अलग-अलग विभाजित आवंटन होते हैं जो आम तौर पर कागजात में रिपोर्ट किए जाते हैं। RefCoco और RefCoco+ में "testA" और "testB" सेट में क्रमशः केवल लोग और केवल गैर-लोग शामिल हैं। छवियों को विभिन्न विभाजनों में विभाजित किया गया है। "Google" विभाजन में, वस्तुओं को, छवियों को नहीं, ट्रेन और गैर-ट्रेन विभाजन के बीच विभाजित किया जाता है। इसका मतलब यह है कि एक ही छवि ट्रेन और सत्यापन विभाजन दोनों में दिखाई दे सकती है, लेकिन छवि में संदर्भित वस्तुएं दोनों सेटों के बीच भिन्न होंगी। इसके विपरीत, "unc" और "umd" ट्रेन, सत्यापन और परीक्षण विभाजन के बीच विभाजन छवियों को विभाजित करते हैं। RefCocoG में, "Google" स्प्लिट में एक कैनोनिकल परीक्षण सेट नहीं होता है, और सत्यापन सेट आमतौर पर कागजात में "वैल*" के रूप में रिपोर्ट किया जाता है।

प्रत्येक डेटासेट और विभाजन के लिए आँकड़े ("रेफ्स" संदर्भित अभिव्यक्तियों की संख्या है, और "छवियाँ" छवियों की संख्या है):

• अतिरिक्त दस्तावेज़ीकरण : north_east कोड वाले कागजात पर अन्वेषण करें

• मुखपृष्ठ : https://github.com/lichengunc/refer

• स्रोत कोड : tfds.datasets.ref_coco.Builder

• संस्करण :

  • 1.0.0 : प्रारंभिक रिलीज.
  • 1.1.0 (डिफ़ॉल्ट): मास्क जोड़े गए।

• डाउनलोड आकार : Unknown size

• मैन्युअल डाउनलोड निर्देश : इस डेटासेट के लिए आपको स्रोत डेटा को मैन्युअल रूप से download_config.manual_dir (डिफ़ॉल्ट रूप से ~/tensorflow_datasets/downloads/manual/ ) में डाउनलोड करना होगा:
  

• https://github.com/lichengunc/refer में दिए गए निर्देशों का पालन करें और रेपो में निर्दिष्ट डेटा/निर्देशिका से मेल खाते हुए एनोटेशन और छवियां डाउनलोड करें।

1. https://cocodataset.org/#download से pycocotools और इंस्टेंस_ट्रेन2014 एनोटेशन फ़ाइल प्राप्त करने के लिए https://github.com/cocodataset/cocoapi में PythonAPI के निर्देशों का पालन करें।

2. अपने PythonPATH में (1) से reference.py और (2) से pycocotools दोनों जोड़ें।

3. Refcoco.json जनरेट करने के लिए मैन्युअल_डाउनलोड_प्रोसेस.py चलाएँ, ref_data_root , coco_annotations_file और out_file उन मानों से बदलें जहाँ आपने इन फ़ाइलों को डाउनलोड किया है / सहेजना चाहते हैं। ध्यान दें कि मैन्युअल_डाउनलोड_प्रोसेस.py टीएफडीएस रिपॉजिटरी में पाया जा सकता है।

4. https://cocodataset.org/#download से COCO प्रशिक्षण सेट डाउनलोड करें और इसे coco_train2014/ नामक फ़ोल्डर में चिपका दें। refcoco.json coco_train2014 के समान स्तर पर ले जाएँ।

5. मानक मैन्युअल डाउनलोड निर्देशों का पालन करें।

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं

• फ़ीचर संरचना :

FeaturesDict({
    'coco_annotations': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'gt_box_index': int64,
        'id': int64,
        'label': int64,
        'mask': Image(shape=(None, None, 3), dtype=uint8),
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'refexp_id': int64,
        }),
    }),
})

• फ़ीचर दस्तावेज़ीकरण :

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• उद्धरण :

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

Ref_coco/refcoco_unc (डिफ़ॉल्ट कॉन्फ़िगरेशन)

• डेटासेट का आकार : 3.29 GiB

• विभाजन :

• चित्र ( tfds.show_examples ):

• उदाहरण ( tfds.as_dataframe ):

Ref_coco/refcoco_google

• डेटासेट का आकार : 4.65 GiB

• विभाजन :

• चित्र ( tfds.show_examples ):

• उदाहरण ( tfds.as_dataframe ):

Ref_coco/refcocoplus_unc

• डेटासेट का आकार : 3.29 GiB

• विभाजन :

• चित्र ( tfds.show_examples ):

• उदाहरण ( tfds.as_dataframe ):

Ref_coco/refcocog_google

• डेटासेट का आकार : 4.64 GiB

• विभाजन :

• चित्र ( tfds.show_examples ):

• उदाहरण ( tfds.as_dataframe ):

Ref_coco/refcocog_umd

• डेटासेट का आकार : 4.08 GiB

• विभाजन :

• चित्र ( tfds.show_examples ):

• उदाहरण ( tfds.as_dataframe ):