wmt15_translate

• 설명 :

statmt.org의 데이터를 기반으로 데이터 세트를 번역합니다.

버전은 여러 데이터 소스의 조합을 사용하여 서로 다른 연도에 대해 존재합니다. 기본 wmt_translate 를 사용하면 사용자 지정 tfds.translate.wmt.WmtConfig 를 생성하여 고유한 데이터/언어 쌍을 선택하는 고유한 구성을 만들 수 있습니다.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• 추가 문서 : north_east 코드가 있는 논문에서 탐색

• 홈페이지 : http://www.statmt.org/wmt15/translation-task.html

• 소스 코드 : tfds.translate.Wmt15Translate

• 버전 :

  • 1.0.0 (기본값): 릴리스 정보가 없습니다.

• 수동 다운로드 지침 : 이 데이터 세트는 원본 데이터를 download_config.manual_dir에 수동으로 download_config.manual_dir 해야 합니다(기본값은 ~/tensorflow_datasets/downloads/manual/ ).
  여기에 있는 wmt 구성 중 일부는 수동 다운로드가 필요합니다. 다운로드해야 하는 정확한 경로(및 파일 이름)를 보려면 wmt.py를 살펴보십시오.

• 자동 캐시 ( 문서 ): 아니요

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}

wmt15_translate/cs-en(기본 구성)

• 구성 설명 : WMT 2015 cs-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.62 GiB

• 데이터세트 크기 : 2.89 GiB

• 분할 :

• 기능 구조 :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('cs', 'en')

• 예 ( tfds.as_dataframe ):

wmt15_translate/de-en

• 구성 설명 : WMT 2015 de-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.62 GiB

• 데이터세트 크기 : 1.37 GiB

• 분할 :

• 기능 구조 :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('de', 'en')

• 예 ( tfds.as_dataframe ):

wmt15_translate/fi-en

• 구성 설명 : WMT 2015 fi-en 번역 작업 데이터 세트.

• 다운로드 크기 : 260.51 MiB

• 데이터 세트 크기 : 623.22 MiB

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독된 키 ( as_supervised 문서 참조): ('fi', 'en')

• 예 ( tfds.as_dataframe ):

wmt15_translate/fr-en

• 구성 설명 : WMT 2015 fr-en 번역 작업 데이터 세트.

• 다운로드 크기 : 6.24 GiB

• 데이터세트 크기 : 14.65 GiB

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('fr', 'en')

• 예 ( tfds.as_dataframe ):

wmt15_translate/ru-en

• 구성 설명 : WMT 2015 ru-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.02 GiB

• 데이터 세트 크기 : 843.90 MiB

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('ru', 'en')

• 예 ( tfds.as_dataframe ):