xtreme_s

• 설명 :

FLEURS는 FLORES 기계 번역 벤치마크의 음성 버전으로, n=102개 언어로 된 2000개의 n 방향 병렬 문장을 다룹니다. XTREME-S는 음성 인식, 분류, 음성-텍스트 변환 및 검색의 네 가지 작업 제품군을 다룹니다. 10개 이상의 언어군, 3개의 서로 다른 도메인 및 4개의 작업 계열에서 102개 언어를 다루는 XTREME-S는 다국어 음성 표현 평가를 단순화하고 "보편적" 음성 표현 학습 연구를 촉진하는 것을 목표로 합니다.

이 버전에서는 음성 인식 및 음성-텍스트 번역을 다루는 FLEURS 데이터세트만 제공됩니다.

• 구성 설명 : FLEURS는 FLORES 기계 번역 벤치마크의 음성 버전으로, n=102개 언어로 된 2000개의 n방향 병렬 문장을 포괄합니다.

• 홈페이지 : https://arxiv.org/abs/2205.12446

• 소스 코드 : tfds.audio.xtreme_s.XtremeS

• 버전 :

  • 2.0.0 (기본값): TFDS의 초기 릴리스, FLEURS 전용. 동일한 FLEURS 데이터( https://huggingface.co/datasets/google/xtreme_s )가 있는 Huggingface의 버전 2.0.0과 일치하도록 이름이 지정되었습니다.

• 자동 캐시 ( 문서 ): 아니요

• 기능 구조 :

FeaturesDict({
    'audio': Audio(shape=(None,), dtype=int64),
    'gender': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'id': Scalar(shape=(), dtype=int32, description=Source text identifier, consistent across all languages to keep n-way parallelism of translations. Since each transcription may be spoken by multiple speakers, within each language multiple examples will also share the same id.),
    'lang_group_id': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'lang_id': ClassLabel(shape=(), dtype=int64, num_classes=102),
    'language': Text(shape=(), dtype=string),
    'num_samples': Scalar(shape=(), dtype=int32, description=Total number of frames in the audio),
    'path': string,
    'raw_transcription': Text(shape=(), dtype=string),
    'transcription': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독되는 키 ( as_supervised doc 참조): ('audio', 'transcription')

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@article{fleurs2022arxiv,
  title = {FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech},
  author = {Conneau, Alexis and Ma, Min and Khanuja, Simran and Zhang, Yu and Axelrod, Vera and Dalmia, Siddharth and Riesa, Jason and Rivera, Clara and Bapna, Ankur},
  journal={arXiv preprint arXiv:2205.12446},
  url = {https://arxiv.org/abs/2205.12446},
  year = {2022},
}
@article{conneau2022xtreme,
  title={XTREME-S: Evaluating Cross-lingual Speech Representations},
  author={Conneau, Alexis and Bapna, Ankur and Zhang, Yu and Ma, Min and von Platen, Patrick and Lozhkov, Anton and Cherry, Colin and Jia, Ye and Rivera, Clara and Kale, Mihir and others},
  journal={arXiv preprint arXiv:2203.10752},
  year={2022}
}

xtreme_s/fleurs.af_za (기본 구성)

• 다운로드 크기 : 877.09 MiB

• 데이터세트 크기 : 1.91 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.am_et

• 다운로드 크기 : 2.18 GiB

• 데이터세트 크기 : 4.92 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ar_eg

• 다운로드 크기 : 1.42 GiB

• 데이터세트 크기 : 3.06 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.as_in

• 다운로드 크기 : 2.67 GiB

• 데이터세트 크기 : 5.73 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ast_es

• 다운로드 크기 : 1.90 GiB

• 데이터세트 크기 : 4.03 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.az_az

• 다운로드 크기 : 2.28 GiB

• 데이터세트 크기 : 5.08 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.be_by

• 다운로드 크기 : 2.45 GiB

• 데이터세트 크기 : 5.53 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.bg_bg

• 다운로드 크기 : 2.11 GiB

• 데이터세트 크기 : 4.61 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.bn_in

• 다운로드 크기 : 2.77 GiB

• 데이터세트 크기 : 5.84 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.bs_ba

• 다운로드 크기 : 2.32 GiB

• 데이터세트 크기 : 5.23 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ca_es

• 다운로드 크기 : 2.01 GiB

• 데이터세트 크기 : 4.32 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ceb_ph

• 다운로드 크기 : 2.63 GiB

• 데이터세트 크기 : 5.65 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ckb_iq

• 다운로드 크기 : 2.46 GiB

• 데이터세트 크기 : 5.34 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.cmn_hans_cn

• 다운로드 크기 : 2.35 GiB

• 데이터세트 크기 : 5.12 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.cs_cz

• 다운로드 크기 : 1.93 GiB

• 데이터세트 크기 : 4.32 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.cy_gb

• 다운로드 크기 : 2.90 GiB

• 데이터세트 크기 : 6.62 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.da_dk

• 다운로드 크기 : 1.82 GiB

• 데이터세트 크기 : 4.17 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.de_de

• 다운로드 크기 : 2.25 GiB

• 데이터세트 크기 : 4.88 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.el_gr

• 다운로드 크기 : 2.24 GiB

• 데이터세트 크기 : 4.73 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.en_us

• 다운로드 크기 : 1.72 GiB

• 데이터세트 크기 : 3.76 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.es_419

• 다운로드 크기 : 2.14 GiB

• 데이터세트 크기 : 4.80 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.et_ee

• 다운로드 크기 : 1.88 GiB

• 데이터세트 크기 : 4.20 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.fa_ir

• 다운로드 크기 : 2.87 GiB

• 데이터세트 크기 : 6.34 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ff_sn

• 다운로드 크기 : 2.93 GiB

• 데이터세트 크기 : 6.54 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.fi_fi

• 다운로드 크기 : 2.21 GiB

• 데이터세트 크기 : 4.92 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.fil_ph

• 다운로드 크기 : 2.47 GiB

• 데이터세트 크기 : 5.38 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.fr_fr

• 다운로드 크기 : 2.08 GiB

• 데이터세트 크기 : 4.73 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ga_ie

• 다운로드 크기 : 2.78 GiB

• 데이터세트 크기 : 6.24 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.gl_es

• 다운로드 크기 : 1.79 GiB

• 데이터세트 크기 : 3.87 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.gu_in

• 다운로드 크기 : 2.33 GiB

• 데이터세트 크기 : 4.97 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ha_ng

• 다운로드 크기 : 3.14 GiB

• 데이터세트 크기 : 6.84 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.he_il

• 다운로드 크기 : 2.22 GiB

• 데이터세트 크기 : 4.60 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.hi_in

• 다운로드 크기 : 1.53 GiB

• 데이터세트 크기 : 3.27 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.hr_hr

• 다운로드 크기 : 2.40 GiB

• 데이터세트 크기 : 5.54 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.hu_hu

• 다운로드 크기 : 2.33 GiB

• 데이터세트 크기 : 5.07 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.hy_am

• 다운로드 크기 : 2.30 GiB

• 데이터세트 크기 : 5.23 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.id_id

• 다운로드 크기 : 2.21 GiB

• 데이터세트 크기 : 4.69 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ig_ng

• 다운로드 크기 : 3.32 GiB

• 데이터세트 크기 : 7.44 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.is_is

• 다운로드 크기 : 559.65 MiB

• 데이터세트 크기 : 1.16 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.it_it

• 다운로드 크기 : 2.41 GiB

• 데이터세트 크기 : 5.19 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ja_jp

• 다운로드 크기 : 1.83 GiB

• 데이터세트 크기 : 3.94 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.jv_id

• 다운로드 크기 : 2.68 GiB

• 데이터세트 크기 : 5.62 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ka_ge

• 다운로드 크기 : 1.50 GiB

• 데이터세트 크기 : 3.37 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.kam_ke

• 다운로드 크기 : 3.43 GiB

• 데이터세트 크기 : 7.37 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.kea_cv

• 다운로드 크기 : 2.55 GiB

• 데이터세트 크기 : 5.57 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.kk_kz

• 다운로드 크기 : 2.69 GiB

• 데이터세트 크기 : 6.24 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.km_kh

• 다운로드 크기 : 1.88 GiB

• 데이터세트 크기 : 4.26 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.kn_in

• 다운로드 크기 : 2.26 GiB

• 데이터세트 크기 : 4.81 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ko_kr

• 다운로드 크기 : 1.65 GiB

• 데이터세트 크기 : 3.67 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ky_kg

• 다운로드 크기 : 2.18 GiB

• 데이터세트 크기 : 5.13 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.lb_lu

• 다운로드 크기 : 1.94 GiB

• 데이터세트 크기 : 4.39 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.lg_ug

• 다운로드 크기 : 2.83 GiB

• 데이터세트 크기 : 6.43 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ln_cd

• 다운로드 크기 : 3.68 GiB

• 데이터세트 크기 : 8.13 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.lo_la

• 다운로드 크기 : 1.61 GiB

• 데이터세트 크기 : 3.38 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.lt_lt

• 다운로드 크기 : 2.24 GiB

• 데이터세트 크기 : 5.03 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.luo_ke

• 다운로드 크기 : 1.87 GiB

• 데이터세트 크기 : 4.18 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.lv_lv

• 다운로드 크기 : 1.74 GiB

• 데이터세트 크기 : 3.84 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.mi_nz

• 다운로드 크기 : 4.45 GiB

• 데이터세트 크기 : 9.67 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.mk_mk

• 다운로드 크기 : 1.91 GiB

• 데이터세트 크기 : 4.23 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ml_in

• 다운로드 크기 : 2.68 GiB

• 데이터세트 크기 : 5.80 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.mn_mn

• 다운로드 크기 : 2.21 GiB

• 데이터세트 크기 : 5.47 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.mr_in

• 다운로드 크기 : 3.00 GiB

• 데이터세트 크기 : 6.41 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ms_my

• 다운로드 크기 : 2.22 GiB

• 데이터세트 크기 : 4.74 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.mt_mt

• 다운로드 크기 : 2.39 GiB

• 데이터세트 크기 : 5.37 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.my_mm

• 다운로드 크기 : 2.85 GiB

• 데이터세트 크기 : 6.43 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.nb_no

• 다운로드 크기 : 2.15 GiB

• 데이터세트 크기 : 4.68 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ne_np

• 다운로드 크기 : 2.47 GiB

• 데이터세트 크기 : 5.39 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.nl_nl

• 다운로드 크기 : 1.56 GiB

• 데이터세트 크기 : 3.33 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.nso_za

• 다운로드 크기 : 3.27 GiB

• 데이터세트 크기 : 7.11 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ny_mw

• 다운로드 크기 : 2.60 GiB

• 데이터세트 크기 : 5.76 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.oc_fr

• 다운로드 크기 : 3.52 GiB

• 데이터세트 크기 : 7.43 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.om_et

• 다운로드 크기 : 1.18 GiB

• 데이터세트 크기 : 2.52 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.or_in

• 다운로드 크기 : 1.31 GiB

• 데이터세트 크기 : 2.79 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.pa_in

• 다운로드 크기 : 1.58 GiB

• 데이터세트 크기 : 3.34 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.pl_pl

• 다운로드 크기 : 1.95 GiB

• 데이터세트 크기 : 4.39 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ps_af

• 다운로드 크기 : 1.89 GiB

• 데이터세트 크기 : 4.20 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.pt_br

• 다운로드 크기 : 2.50 GiB

• 데이터세트 크기 : 5.43 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ro_ro

• 다운로드 크기 : 2.39 GiB

• 데이터세트 크기 : 5.09 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ru_ru

• 다운로드 크기 : 1.92 GiB

• 데이터세트 크기 : 4.25 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sd_in

• 다운로드 크기 : 3.00 GiB

• 데이터세트 크기 : 6.35 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sk_sk

• 다운로드 크기 : 1.55 GiB

• 데이터세트 크기 : 3.46 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sl_si

• 다운로드 크기 : 1.74 GiB

• 데이터세트 크기 : 4.00 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sn_zw

• 다운로드 크기 : 2.51 GiB

• 데이터세트 크기 : 5.61 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.so_so

• 다운로드 크기 : 3.13 GiB

• 데이터세트 크기 : 6.93 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sr_rs

• 다운로드 크기 : 2.36 GiB

• 데이터세트 크기 : 5.04 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sv_se

• 다운로드 크기 : 1.95 GiB

• 데이터세트 크기 : 4.21 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.sw_ke

• 다운로드 크기 : 2.70 GiB

• 데이터세트 크기 : 5.98 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ta_in

• 다운로드 크기 : 2.13 GiB

• 데이터세트 크기 : 4.50 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.te_in

• 다운로드 크기 : 1.81 GiB

• 데이터세트 크기 : 3.86 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.tg_tj

• 다운로드 크기 : 1.79 GiB

• 데이터세트 크기 : 4.26 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.th_th

• 다운로드 크기 : 2.24 GiB

• 데이터세트 크기 : 4.91 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.tr_tr

• 다운로드 크기 : 1.99 GiB

• 데이터세트 크기 : 4.36 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.uk_ua

• 다운로드 크기 : 2.01 GiB

• 데이터세트 크기 : 4.44 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.umb_ao

• 다운로드 크기 : 2.58 GiB

• 데이터세트 크기 : 5.55 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.ur_pk

• 다운로드 크기 : 1.42 GiB

• 데이터세트 크기 : 3.13 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.uz_uz

• 다운로드 크기 : 2.33 GiB

• 데이터세트 크기 : 5.18 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.vi_vn

• 다운로드 크기 : 2.21 GiB

• 데이터세트 크기 : 4.88 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.wo_sn

• 다운로드 크기 : 1.71 GiB

• 데이터세트 크기 : 3.86 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.xh_za

• 다운로드 크기 : 2.86 GiB

• 데이터세트 크기 : 6.80 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.yo_ng

• 다운로드 크기 : 2.65 GiB

• 데이터세트 크기 : 5.78 GiB

• 분할 :

• 예 ( tfds.as_dataframe ):

xtreme_s/fleurs.yue_hant_hk

• 다운로드 크기 : 1.86 GiB

• 데이터세트 크기 : 4.06 GiB

• 분할 :

• 예 ( tfds.as_dataframe ): 처음 100개 구성에 대해서만 표시됩니다.

xtreme_s/fleurs.zu_za

• 다운로드 크기 : 3.15 GiB

• 데이터세트 크기 : 7.27 GiB

• 분할 :

• 예 ( tfds.as_dataframe ): 처음 100개 구성에 대해서만 표시됩니다.

xtreme_s/fleurs.all

• 다운로드 크기 : 231.36 GiB

• 데이터세트 크기 : 509.51 GiB

• 분할 :

• 예 ( tfds.as_dataframe ): 처음 100개 구성에 대해서만 표시됩니다.