wmt18_translate

• Mô tả :

Dịch tập dữ liệu dựa trên dữ liệu từ statmt.org.

Các phiên bản tồn tại cho các năm khác nhau bằng cách sử dụng kết hợp nhiều nguồn dữ liệu. Cơ sở wmt_translate cho phép bạn tạo cấu hình của riêng mình để chọn cặp dữ liệu/ngôn ngữ của riêng bạn bằng cách tạo tfds.translate.wmt.WmtConfig tùy chỉnh.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• Tài liệu bổ sung : Khám phá trên giấy tờ với mã north_east

• Trang chủ : http://www.statmt.org/wmt18/translation-task.html

• Mã nguồn : tfds.translate.Wmt18Translate

• Phiên bản :

  • 1.0.0 (mặc định): Không có ghi chú phát hành.

• Hướng dẫn tải xuống thủ công : Bộ dữ liệu này yêu cầu bạn tải xuống dữ liệu nguồn theo cách thủ công vào download_config.manual_dir (mặc định là ~/tensorflow_datasets/downloads/manual/ ):
  Một số cấu hình wmt ở đây, yêu cầu tải xuống thủ công. Vui lòng xem wmt.py để xem đường dẫn chính xác (và tên tệp) phải được tải xuống.

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• trích dẫn :

@InProceedings{bojar-EtAl:2018:WMT1,
  author    = {Bojar, Ond
{r}ej  and  Federmann, Christian  and  Fishel, Mark
    and Graham, Yvette  and  Haddow, Barry  and  Huck, Matthias  and
    Koehn, Philipp  and  Monz, Christof},
  title     = {Findings of the 2018 Conference on Machine Translation (WMT18)},
  booktitle = {Proceedings of the Third Conference on Machine Translation,
    Volume 2: Shared Task Papers},
  month     = {October},
  year      = {2018},
  address   = {Belgium, Brussels},
  publisher = {Association for Computational Linguistics},
  pages     = {272--307},
  url       = {http://www.aclweb.org/anthology/W18-6401}
}

wmt18_translate/cs-en (cấu hình mặc định)

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch WMT 2018 cs-en.

• Kích thước tải xuống : 1.89 GiB

• Kích thước tập dữ liệu : 3.84 GiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('cs', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/de-vi

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch thuật de-en WMT 2018.

• Kích thước tải xuống : 3.55 GiB

• Kích thước tập dữ liệu : 8.44 GiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('de', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/et-en

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch WMT 2018 et-en.

• Kích thước tải xuống : 499.91 MiB

• Kích thước tập dữ liệu : 663.80 MiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'en': Text(shape=(), dtype=string),
    'et': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('et', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/fi-en

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch fi-en WMT 2018.

• Kích thước tải xuống : 468.76 MiB

• Kích thước tập dữ liệu : 889.40 MiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('fi', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/ru-en

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch ru-en WMT 2018.

• Kích thước tải xuống : 1.63 GiB

• Kích thước tập dữ liệu : 13.89 GiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('ru', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/tr-en

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch tr-en WMT 2018.

• Kích thước tải xuống : 59.32 MiB

• Kích thước tập dữ liệu : 63.78 MiB

• Tự động lưu vào bộ đệm ( tài liệu ): Có

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'en': Text(shape=(), dtype=string),
    'tr': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('tr', 'en')

• Ví dụ ( tfds.as_dataframe ):

wmt18_translate/zh-en

• Mô tả cấu hình : Bộ dữ liệu tác vụ dịch WMT 2018 zh-en.

• Kích thước tải xuống : 831.45 MiB

• Kích thước tập dữ liệu : 6.43 GiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Cấu trúc tính năng :

Translation({
    'en': Text(shape=(), dtype=string),
    'zh': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): ('zh', 'en')

• Ví dụ ( tfds.as_dataframe ):