• Tanım :

Güvenlik için Konuşmaya Dayalı Yapay Zeka Değerlendirmesindeki Çeşitlilik ( DICES ) veri kümesi

Makine öğrenimi yaklaşımları genellikle olumlu ve olumsuz örnekler arasında net bir ayrım gerektiren veri kümeleriyle eğitilir ve değerlendirilir. Bu yaklaşım, birçok görev ve içerik öğesinde mevcut olan doğal öznelliği aşırı derecede basitleştirir. Aynı zamanda insan algı ve görüşlerindeki doğal çeşitliliği de gizler. İnsanlardaki içerik ve çeşitlilikteki çeşitliliği korumaya çalışan görevler genellikle oldukça pahalı ve zahmetlidir. Bu boşluğu doldurmak ve daha derinlemesine model performans analizlerini kolaylaştırmak için, yapay zeka tarafından oluşturulan konuşmaların güvenliğine ilişkin farklı perspektiflere sahip benzersiz bir veri kümesi olan DICES veri kümesini öneriyoruz. Konuşmaya dayalı yapay zeka sistemlerinin güvenlik değerlendirmesi görevine odaklanıyoruz. DICES veri seti, her bir değerlendirici hakkında ayrıntılı demografik bilgiler içerir, daha ileri analizlerin istatistiksel anlamlılığını sağlamak için konuşma başına benzersiz derecelendirmelerin son derece yüksek bir şekilde kopyalanmasını içerir ve farklı derecelendirme toplama stratejilerinin derinlemesine araştırılmasına olanak sağlamak için değerlendirici oylarını farklı demografik yapılara göre dağılımlar olarak kodlar.

Bu veri seti, konuşmaya dayalı yapay zekanın güvenliği bağlamında varyansı, belirsizliği ve çeşitliliği gözlemlemek ve ölçmek için çok uygundur. Veri kümesine, değerlendirici çeşitliliğinin farklı coğrafi bölgelerden, etnik köken gruplarından, yaş gruplarından ve cinsiyetlerden değerlendiricilerin güvenlik algısını nasıl etkilediğini gösteren bir dizi ölçümü açıklayan bir makale eşlik etmektedir. DICES veri kümesinin amacı, konuşmaya dayalı yapay zeka sistemlerinin güvenlik değerlendirmesi için ortak bir kıyaslama olarak kullanmaktır.

İÇERİK UYARISI : Bu veri kümesi, rahatsız edici olabilecek düşmanca konuşma örnekleri içermektedir.

• Ana sayfa : https://github.com/google-research-datasets/dices-dataset

• Kaynak kodu : tfds.datasets.dices.Builder

• Sürümler :

  • 1.0.0 (varsayılan): İlk sürüm.

• Denetlenen anahtarlar ( as_supervised belgesine bakın): None

• Şekil ( tfds.show_examples ): Desteklenmiyor.

• Alıntı :

@article{aroyo2024dices,
  title={ {DICES} dataset: Diversity in conversational {AI} evaluation for safety},
  author={Aroyo, Lora and Taylor, Alex and Diaz, Mark and Homan, Christopher and Parrish, Alicia and Serapio-Garc{\'\i}a, Gregory and Prabhakaran, Vinodkumar and Wang, Ding},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

dices/350 (varsayılan yapılandırma)

• Yapılandırma açıklaması : Veri kümesi 350, 123 benzersiz değerlendiriciden oluşan çeşitli değerlendirici havuzu tarafından derecelendirilen 350 konuşmayı içerir. Her görüşme, beş üst düzey güvenlik kategorisi ve görüşmeye ilişkin bir genel anlama sorusuyla derecelendirilir. Değerlendiriciler cinsiyete (erkek veya kadın), ırk/etnik kökene (Beyaz, Siyah, Latin, Asyalı, Çok Irklı) göre dengelendi ve her değerlendirici tüm maddeleri derecelendirdi. Her değerlendirici tüm konuşmaları derecelendirdi. Her görüşmenin 123 benzersiz derecelendirmesi vardır. Bu veri setindeki toplam satır sayısı 43050'dir.

• İndirme boyutu : 29.70 MiB

• Veri kümesi boyutu : 74.43 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Evet

• Bölünmeler :

• Özellik yapısı :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_dangerous_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_derogation_of_boat': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_insensitive': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_medical_legal_financial_or_relationship_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscene_and_profane': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_sexually_suggestive_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_beliefs': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_gender_sexual_orientation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_inherited_attributes': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_status': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q5_political_affiliation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_making_endorsement': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_polarizing_topics': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'answer_time_ms': Scalar(shape=(), dtype=int64, description=Amount of time spent by each rater on each safety annotation question.),
    'answer_timestamp': Scalar(shape=(), dtype=int64, description=Time when each conversation was rated by each rater.),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
    'safety_gold': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'safety_gold_reason': Text(shape=(), dtype=string),
})

• Özellik belgeleri :

• Örnekler ( tfds.as_dataframe ):

zar/990

• Yapılandırma açıklaması : Veri kümesi 990, 173 benzersiz değerlendiriciden oluşan çeşitli değerlendirici havuzu tarafından derecelendirilen 990 konuşmayı içerir. Her konuşma, üç üst düzey güvenlik kategorisi ve bir genel konuşma anlama sorusuyla derecelendirilir. Değerlendiriciler, her görüşme için değerlendirici sayısının cinsiyete (Erkek, Kadın) ve bölgeye (ABD, Hindistan) göre dengeleneceği şekilde işe alındı. Her değerlendirici yalnızca konuşmanın bir örneğini derecelendirdi. Her görüşmenin 60-70 benzersiz derecelendirmesi vardır. Bu veri setindeki toplam satır sayısı 72103'tür.

• İndirme boyutu : 48.06 MiB

• Veri kümesi boyutu : 150.38 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Yalnızca shuffle_files=False (train) olduğunda

• Bölünmeler :

• Özellik yapısı :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_explicitly_sexual': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_financial_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_harm_to_people_or_animals': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_health_and_safety_claims': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_how_tos_about_harmful_activities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscenities_or_profanities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_use_of_harmful_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_violence': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_violent_or_gory': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_3_Racial_religious_or_other_slurs_and_stereotypes_that_incites_or_promote_hatred_based_on_any_of_the_attributes_noted_above': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_calling_individuals_or_groups_evil_corrupt_or_malicious': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_incites_hatred': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_insults_about_emotional_romantic_and_or_sexual_attraction': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_physically_or_mentally_inferior': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_subhuman_comparisons': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_superiority_or_subjugation_of_a_group': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_unfair_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_conspiracy_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_contradicts_expert_consensus': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_false_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_political': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_locale': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
})

• Özellik belgeleri :

• Örnekler ( tfds.as_dataframe ):