• विवरण :

सुरक्षा के लिए संवादात्मक एआई मूल्यांकन में विविधता ( DICES ) डेटासेट

मशीन लर्निंग दृष्टिकोण को अक्सर डेटासेट के साथ प्रशिक्षित और मूल्यांकन किया जाता है जिसके लिए सकारात्मक और नकारात्मक उदाहरणों के बीच स्पष्ट अलगाव की आवश्यकता होती है। यह दृष्टिकोण कई कार्यों और सामग्री वस्तुओं में मौजूद प्राकृतिक व्यक्तिपरकता को अत्यधिक सरल बनाता है। यह मानवीय धारणाओं और विचारों में अंतर्निहित विविधता को भी अस्पष्ट करता है। अक्सर वे कार्य जो मनुष्यों में सामग्री और विविधता में भिन्नता को संरक्षित करने का प्रयास करते हैं, काफी महंगे और श्रमसाध्य होते हैं। इस अंतर को भरने और अधिक गहन मॉडल प्रदर्शन विश्लेषण की सुविधा के लिए हम DICES डेटासेट का प्रस्ताव करते हैं - एआई उत्पन्न वार्तालापों की सुरक्षा पर विविध दृष्टिकोण वाला एक अद्वितीय डेटासेट। हम संवादात्मक एआई सिस्टम के सुरक्षा मूल्यांकन के कार्य पर ध्यान केंद्रित करते हैं। DICES डेटासेट में प्रत्येक रेटर के बारे में विस्तृत जनसांख्यिकी जानकारी होती है, आगे के विश्लेषणों के सांख्यिकीय महत्व को सुनिश्चित करने के लिए प्रति वार्तालाप अद्वितीय रेटिंग की अत्यधिक उच्च प्रतिकृति होती है और विभिन्न रेटिंग एकत्रीकरण रणनीतियों की गहन खोज की अनुमति देने के लिए विभिन्न जनसांख्यिकी में वितरण के रूप में रेटर वोटों को एन्कोड किया जाता है।

यह डेटासेट संवादी एआई की सुरक्षा के संदर्भ में भिन्नता, अस्पष्टता और विविधता को देखने और मापने के लिए उपयुक्त है। डेटासेट के साथ मेट्रिक्स के एक सेट का वर्णन करने वाला एक पेपर होता है जो दिखाता है कि रेटर विविधता विभिन्न भौगोलिक क्षेत्रों, जातीय समूहों, आयु समूहों और लिंगों के रेटर की सुरक्षा धारणा को कैसे प्रभावित करती है। DICES डेटासेट का लक्ष्य संवादी AI सिस्टम के सुरक्षा मूल्यांकन के लिए एक साझा बेंचमार्क के रूप में उपयोग करना है।

सामग्री चेतावनी : इस डेटासेट में बातचीत के प्रतिकूल उदाहरण हैं जो आपत्तिजनक हो सकते हैं।

• मुखपृष्ठ : https://github.com/google-research-datasets/dices-dataset

• स्रोत कोड : tfds.datasets.dices.Builder

• संस्करण :

  • 1.0.0 (डिफ़ॉल्ट): प्रारंभिक रिलीज़।

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उद्धरण :

@article{aroyo2024dices,
  title={ {DICES} dataset: Diversity in conversational {AI} evaluation for safety},
  author={Aroyo, Lora and Taylor, Alex and Diaz, Mark and Homan, Christopher and Parrish, Alicia and Serapio-Garc{\'\i}a, Gregory and Prabhakaran, Vinodkumar and Wang, Ding},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

पासे/350 (डिफ़ॉल्ट कॉन्फ़िगरेशन)

• कॉन्फ़िगरेशन विवरण : डेटासेट 350 में 123 अद्वितीय रेटर के विविध रेटर पूल द्वारा रेट किए गए 350 वार्तालाप शामिल हैं। प्रत्येक वार्तालाप को पाँच सुरक्षा शीर्ष-स्तरीय श्रेणियों और वार्तालाप के एक समग्र समझ वाले प्रश्न के साथ मूल्यांकित किया जाता है। मूल्यांकनकर्ताओं की भर्ती लिंग (पुरुष या महिला), नस्ल/जातीयता (श्वेत, काला, लातीनी, एशियाई, बहुजातीय) के आधार पर संतुलित की गई थी और प्रत्येक मूल्यांकनकर्ता ने सभी वस्तुओं का मूल्यांकन किया था। प्रत्येक मूल्यांकनकर्ता ने सभी वार्तालापों का मूल्यांकन किया। प्रत्येक वार्तालाप की 123 अद्वितीय रेटिंग हैं। इस डेटासेट में पंक्तियों की कुल संख्या 43050 है।

• डाउनलोड आकार : 29.70 MiB

• डेटासेट का आकार : 74.43 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ

• विभाजन :

• फ़ीचर संरचना :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_dangerous_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_derogation_of_boat': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_insensitive': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_medical_legal_financial_or_relationship_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscene_and_profane': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_sexually_suggestive_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_beliefs': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_gender_sexual_orientation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_inherited_attributes': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_status': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q5_political_affiliation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_making_endorsement': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_polarizing_topics': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'answer_time_ms': Scalar(shape=(), dtype=int64, description=Amount of time spent by each rater on each safety annotation question.),
    'answer_timestamp': Scalar(shape=(), dtype=int64, description=Time when each conversation was rated by each rater.),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
    'safety_gold': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'safety_gold_reason': Text(shape=(), dtype=string),
})

• फ़ीचर दस्तावेज़ीकरण :

• उदाहरण ( tfds.as_dataframe ):

पांसे/990

• कॉन्फ़िगरेशन विवरण : डेटासेट 990 में 173 अद्वितीय रेटर के विविध रेटर पूल द्वारा मूल्यांकित 990 वार्तालाप शामिल हैं। प्रत्येक वार्तालाप को तीन सुरक्षा शीर्ष-स्तरीय श्रेणियों और एक समग्र वार्तालाप समझ प्रश्न के साथ मूल्यांकित किया जाता है। मूल्यांकनकर्ताओं की भर्ती की गई ताकि प्रत्येक बातचीत के लिए मूल्यांकनकर्ताओं की संख्या लिंग (पुरुष, महिला) और स्थानीय (अमेरिका, भारत) के आधार पर संतुलित हो। प्रत्येक मूल्यांकनकर्ता ने बातचीत के केवल एक नमूने का मूल्यांकन किया। प्रत्येक वार्तालाप की 60-70 अद्वितीय रेटिंग होती हैं। इस डेटासेट में पंक्तियों की कुल संख्या 72103 है।

• डाउनलोड आकार : 48.06 MiB

• डेटासेट का आकार : 150.38 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): केवल तभी जब shuffle_files=False (ट्रेन)

• विभाजन :

• फ़ीचर संरचना :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_explicitly_sexual': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_financial_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_harm_to_people_or_animals': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_health_and_safety_claims': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_how_tos_about_harmful_activities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscenities_or_profanities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_use_of_harmful_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_violence': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_violent_or_gory': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_3_Racial_religious_or_other_slurs_and_stereotypes_that_incites_or_promote_hatred_based_on_any_of_the_attributes_noted_above': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_calling_individuals_or_groups_evil_corrupt_or_malicious': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_incites_hatred': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_insults_about_emotional_romantic_and_or_sexual_attraction': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_physically_or_mentally_inferior': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_subhuman_comparisons': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_superiority_or_subjugation_of_a_group': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_unfair_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_conspiracy_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_contradicts_expert_consensus': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_false_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_political': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_locale': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
})

• फ़ीचर दस्तावेज़ीकरण :

• उदाहरण ( tfds.as_dataframe ):