wmt17_translate

• 설명 :

statmt.org의 데이터를 기반으로 데이터 세트를 번역합니다.

버전은 여러 데이터 소스의 조합을 사용하여 서로 다른 연도에 대해 존재합니다. 기본 wmt_translate 를 사용하면 사용자 지정 tfds.translate.wmt.WmtConfig 를 생성하여 고유한 데이터/언어 쌍을 선택하는 고유한 구성을 만들 수 있습니다.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• 홈페이지 : http://www.statmt.org/wmt17/translation-task.html

• 소스 코드 : tfds.translate.Wmt17Translate

• 버전 :

  • 1.0.0 (기본값): 릴리스 정보가 없습니다.

• 수동 다운로드 지침 : 이 데이터 세트는 원본 데이터를 download_config.manual_dir에 수동으로 download_config.manual_dir 해야 합니다(기본값은 ~/tensorflow_datasets/downloads/manual/ ).
  여기에 있는 wmt 구성 중 일부는 수동 다운로드가 필요합니다. 다운로드해야 하는 정확한 경로(및 파일 이름)를 보려면 wmt.py를 살펴보십시오.

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@InProceedings{bojar-EtAl:2017:WMT1,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Graham, Yvette  and  Haddow, Barry  and  Huang, Shujian  and  Huck, Matthias  and  Koehn, Philipp  and  Liu, Qun  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Rubino, Raphael  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2017 Conference on Machine Translation (WMT17)},
  booktitle = {Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers},
  month     = {September},
  year      = {2017},
  address   = {Copenhagen, Denmark},
  publisher = {Association for Computational Linguistics},
  pages     = {169--214},
  url       = {http://www.aclweb.org/anthology/W17-4717}
}

wmt17_translate/cs-en(기본 구성)

• 구성 설명 : WMT 2017 cs-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.66 GiB

• 데이터세트 크기 : 2.91 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('cs', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/de-en

• 구성 설명 : WMT 2017 de-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.81 GiB

• 데이터세트 크기 : 1.73 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('de', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/fi-en

• 구성 설명 : WMT 2017 fi-en 번역 작업 데이터 세트.

• 다운로드 크기 : 414.10 MiB

• 데이터 세트 크기 : 769.87 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독된 키 ( as_supervised 문서 참조): ('fi', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/lv-en

• 구성 설명 : WMT 2017 lv-en 번역 작업 데이터 세트.

• 다운로드 크기 : 161.69 MiB

• 데이터 세트 크기 : 562.26 MiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'lv': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('lv', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/ru-en

• 구성 설명 : WMT 2017 ru-en 번역 작업 데이터 세트.

• 다운로드 크기 : 1.06 GiB

• 데이터세트 크기 : 11.18 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('ru', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/tr-en

• 구성 설명 : WMT 2017 tr-en 번역 작업 데이터 세트.

• 다운로드 크기 : 59.32 MiB

• 데이터 세트 크기 : 63.74 MiB

• 자동 캐시 ( 문서 ): 예

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'tr': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('tr', 'en')

• 예 ( tfds.as_dataframe ):

wmt17_translate/zh-en

• 구성 설명 : WMT 2017 zh-en 번역 작업 데이터 세트.

• 다운로드 크기 : 884.32 MiB

• 데이터세트 크기 : 6.43 GiB

• 자동 캐시 ( 문서 ): 아니요

• 분할 :

• 기능 구조 :

Translation({
    'en': Text(shape=(), dtype=string),
    'zh': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독 키 ( as_supervised 문서 참조): ('zh', 'en')

• 예 ( tfds.as_dataframe ):