• 설명 :

대화형 AI 안전성 평가( DICES ) 데이터 세트의 다양성

기계 학습 접근 방식은 긍정적인 사례와 부정적인 사례를 명확하게 구분해야 하는 데이터 세트를 사용하여 훈련되고 평가되는 경우가 많습니다. 이 접근 방식은 많은 작업과 콘텐츠 항목에 존재하는 자연스러운 주관성을 지나치게 단순화합니다. 이는 또한 인간의 인식과 의견에 내재된 다양성을 모호하게 만듭니다. 인간의 콘텐츠와 다양성의 다양성을 보존하려는 작업은 종종 비용이 많이 들고 힘든 작업입니다. 이러한 격차를 메우고 보다 심층적인 모델 성능 분석을 촉진하기 위해 우리는 AI 생성 대화의 안전에 대한 다양한 관점을 갖춘 고유한 데이터세트인 DICES 데이터세트를 제안합니다. 대화형 AI 시스템의 안전성 평가 업무에 중점을 두고 있습니다. DICES 데이터 세트에는 각 평가자에 대한 자세한 인구통계 정보가 포함되어 있으며 대화당 고유 평가의 매우 높은 복제가 포함되어 추가 분석의 통계적 중요성을 보장하고 평가자 투표를 다양한 인구통계에 대한 분포로 인코딩하여 다양한 평가 집계 전략을 심층적으로 탐색할 수 있습니다.

이 데이터세트는 대화형 AI의 안전성 측면에서 분산, 모호함, 다양성을 관찰하고 측정하는 데 매우 적합합니다. 데이터 세트에는 평가자의 다양성이 다양한 지리적 지역, 인종 그룹, 연령 그룹 및 성별의 평가자의 안전 인식에 어떻게 영향을 미치는지 보여주는 일련의 측정항목을 설명하는 논문이 함께 제공됩니다. DICES 데이터 세트의 목표는 대화형 AI 시스템의 안전성 평가를 위한 공유 벤치마크로 사용되는 것입니다.

콘텐츠 경고 : 이 데이터세트에는 불쾌감을 줄 수 있는 적대적인 대화의 예가 포함되어 있습니다.

• 홈페이지 : https://github.com/google-research-datasets/dices-dataset

• 소스 코드 : tfds.datasets.dices.Builder

• 버전 :

  • 1.0.0 (기본값): 최초 릴리스입니다.

• 감독되는 키 ( as_supervised doc 참조): None

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@article{aroyo2024dices,
  title={ {DICES} dataset: Diversity in conversational {AI} evaluation for safety},
  author={Aroyo, Lora and Taylor, Alex and Diaz, Mark and Homan, Christopher and Parrish, Alicia and Serapio-Garc{\'\i}a, Gregory and Prabhakaran, Vinodkumar and Wang, Ding},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

오지/350(기본 구성)

• 구성 설명 : 데이터 세트 350에는 123명의 고유 평가자로 구성된 다양한 평가자 풀에서 평가한 350개의 대화가 포함되어 있습니다. 각 대화는 5개의 안전 최상위 범주와 대화에 대한 하나의 전반적인 이해 질문으로 평가됩니다. 평가자는 성별(남성 또는 여성), 인종/민족(백인, 흑인, 라틴계, 아시아인, 다인종)별로 균형있게 모집되었으며 각 평가자는 모든 항목을 평가했습니다. 각 평가자는 모든 대화를 평가했습니다. 각 대화에는 123개의 고유한 평가가 있습니다. 이 데이터 세트의 총 행 수는 43050입니다.

• 다운로드 크기 : 29.70 MiB

• 데이터세트 크기 : 74.43 MiB

• 자동 캐시 ( 문서 ): 예

• 분할 :

• 기능 구조 :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_dangerous_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_derogation_of_boat': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_insensitive': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_medical_legal_financial_or_relationship_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscene_and_profane': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_sexually_suggestive_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_beliefs': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_gender_sexual_orientation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_inherited_attributes': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_status': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q5_political_affiliation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_making_endorsement': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_polarizing_topics': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'answer_time_ms': Scalar(shape=(), dtype=int64, description=Amount of time spent by each rater on each safety annotation question.),
    'answer_timestamp': Scalar(shape=(), dtype=int64, description=Time when each conversation was rated by each rater.),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
    'safety_gold': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'safety_gold_reason': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 예 ( tfds.as_dataframe ):

오지/990

• 구성 설명 : 데이터 세트 990에는 173명의 고유 평가자로 구성된 다양한 평가자 풀에서 평가한 990개의 대화가 포함되어 있습니다. 각 대화는 세 가지 안전 최상위 범주와 하나의 전체 대화 이해 질문으로 평가됩니다. 각 대화의 평가자 수가 성별(남성, 여성)과 지역(미국, 인도)에 따라 균형을 이루도록 평가자를 모집했습니다. 각 평가자는 대화의 샘플만을 평가했습니다. 각 대화에는 60~70개의 고유 평가가 있습니다. 이 데이터 세트의 총 행 수는 72103입니다.

• 다운로드 크기 : 48.06 MiB

• 데이터세트 크기 : 150.38 MiB

• 자동 캐시 ( 문서 ): shuffle_files=False 인 경우에만(학습)

• 분할 :

• 기능 구조 :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_explicitly_sexual': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_financial_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_harm_to_people_or_animals': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_health_and_safety_claims': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_how_tos_about_harmful_activities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscenities_or_profanities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_use_of_harmful_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_violence': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_violent_or_gory': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_3_Racial_religious_or_other_slurs_and_stereotypes_that_incites_or_promote_hatred_based_on_any_of_the_attributes_noted_above': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_calling_individuals_or_groups_evil_corrupt_or_malicious': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_incites_hatred': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_insults_about_emotional_romantic_and_or_sexual_attraction': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_physically_or_mentally_inferior': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_subhuman_comparisons': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_superiority_or_subjugation_of_a_group': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_unfair_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_conspiracy_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_contradicts_expert_consensus': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_false_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_political': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each row, representing all ratings by a single rater to a single conversation.),
    'item_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each conversation.),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64, description=Numerical identifier for each rater.),
    'rater_locale': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 예 ( tfds.as_dataframe ):