암살자 2

설명 :

상황화

ASSIN 2는 Avaliação de Similaridade Semântica e Inferência Textual(Evaluating Semantic Similarity and Textual Entailment)의 두 번째 에디션으로 STIL 2019 와 함께 진행된 워크숍이었습니다. 새로운 데이터로 새로운 공유 작업을 제안하는 ASSIN 초판을 따릅니다 .

워크숍은 두 문장 사이의 두 가지 유형의 관계인 의미론적 텍스트 유사성과 텍스트 함의를 평가하는 시스템을 평가했습니다.

의미적 텍스트 유사도는 문장 간의 의미적 동등성 수준을 정량화하는 것으로 구성되며, 텍스트 함의 인식은 첫 번째 문장이 두 번째 문장을 수반하는지 여부를 분류하는 것으로 구성됩니다.

데이터

ASSIN 2에서 사용되는 코퍼스는 다소 간단한 문장으로 구성되어 있습니다. SemEval 2014 Task 1의 절차에 따라 말뭉치에서 명명된 엔터티와 간접 화법을 제거하고 모든 동사를 현재 시제로 사용하려고 했습니다. 어노테이터에게 제공되는 어노테이션 지침 을 사용할 수 있습니다(포르투갈어).

훈련 및 검증 데이터는 각각 브라질 포르투갈어로 된 6,500개 및 500개 문장 쌍으로 구성되며 수반 및 의미적 유사성에 대한 주석이 추가됩니다. 의미론적 유사성 값의 범위는 1에서 5까지이며 텍스트 함의 클래스는 함의 또는 없음입니다. 테스트 데이터는 동일한 주석이 있는 약 3,000개의 문장 쌍으로 구성됩니다. 모든 데이터는 수동으로 주석을 달았습니다.

평가

평가 ASSIN 2에 대한 제출물의 평가는 첫 번째 ASSIN과 동일한 메트릭으로 수행되었으며, 텍스트 함의에 대한 주요 메트릭으로 정밀도 및 재현율의 F1과 의미적 유사성에 대한 Pearson 상관 관계를 사용했습니다. 평가 스크립트 는 지난 판과 동일합니다.

PS.: 설명은 공식 홈페이지 에서 발췌했습니다.

추가 문서 : 코드가 있는 논문에서 탐색
홈페이지 : https://sites.google.com/view/assin2/english
소스 코드 : tfds.datasets.assin2.Builder
버전 :
- 1.0.0 (기본값): 최초 릴리스.
다운로드 크기 : 2.02 MiB
데이터 세트 크기 : 1.82 MiB
자동 캐시 ( 문서 ): 예
분할 :

나뉘다	예
`'test'`	2,448
`'train'`	6,500
`'validation'`	500

기능 구조 :

FeaturesDict({
    'entailment': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'hypothesis': Text(shape=(), dtype=string),
    'id': int32,
    'similarity': float32,
    'text': Text(shape=(), dtype=string),
})

기능 문서 :

특징	수업	D타입
	풍모Dict
수반	클래스 레이블	int64
가설	텍스트	끈
ID	텐서	int32
유사성	텐서	float32
텍스트	텍스트	끈

감독된 키 ( as_supervised 문서 참조): None
그림 ( tfds.show_examples ): 지원되지 않습니다.
예 ( tfds.as_dataframe ):

인용 :

@inproceedings{DBLP:conf/propor/RealFO20,
  author    = {Livy Real and
               Erick Fonseca and
               Hugo Gon{\c{c} }alo Oliveira},
  editor    = {Paulo Quaresma and
               Renata Vieira and
               Sandra M. Alu{\'{\i} }sio and
               Helena Moniz and
               Fernando Batista and
               Teresa Gon{\c{c} }alves},
  title     = {The {ASSIN} 2 Shared Task: {A} Quick Overview},
  booktitle = {Computational Processing of the Portuguese Language - 14th International
               Conference, {PROPOR} 2020, Evora, Portugal, March 2-4, 2020, Proceedings},
  series    = {Lecture Notes in Computer Science},
  volume    = {12037},
  pages     = {406--412},
  publisher = {Springer},
  year      = {2020},
  url       = {https://doi.org/10.1007/978-3-030-41505-1_39},
  doi       = {10.1007/978-3-030-41505-1_39},
  timestamp = {Tue, 03 Mar 2020 09:40:18 +0100},
  biburl    = {https://dblp.org/rec/conf/propor/RealFO20.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}