cfq

  • Описание :

Набор данных CFQ (и его разбиение) для измерения композиционного обобщения.

См. https://arxiv.org/abs/1912.09713.pdf для получения дополнительной информации.

Примечание о наборе проверки: поскольку он имеет то же распределение, что и тестовый набор, и мы заинтересованы в измерении композиционного обобщения модели по отношению к неизвестному тестовому распределению, мы предлагаем, чтобы любая настройка выполнялась на подмножестве поезда. только набор (см. раздел 5.1 статьи).

Пример использования:

data = tfds.load('cfq/mcd1')
FeaturesDict({
    'query': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
запрос Текст нить
вопрос Текст нить
  • Контролируемые ключи (см. as_supervised doc ): ('question', 'query')

  • Рисунок ( tfds.show_examples ): не поддерживается.

  • Цитата :

@inproceedings{Keysers2020,
  title={Measuring Compositional Generalization: A Comprehensive Method on
         Realistic Data},
  author={Daniel Keysers and Nathanael Sch"{a}rli and Nathan Scales and
          Hylke Buisman and Daniel Furrer and Sergii Kashubin and
          Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
          Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
          Olivier Bousquet},
  booktitle={ICLR},
  year={2020},
  url={https://arxiv.org/abs/1912.09713.pdf},
}

cfq/mcd1 (конфигурация по умолчанию)

  • Размер набора данных : 49.75 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/mcd2

  • Размер набора данных : 51.39 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/mcd3

  • Размер набора данных : 50.22 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/question_complexity_split

  • Размер набора данных : 52.81 MiB

  • Сплиты :

Расколоть Примеры
'test' 10 340
'train' 98 999
'validation' 10 339

cfq/question_pattern_split

  • Размер набора данных : 52.81 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 909
'train' 95 654
'validation' 12 115

cfq/query_complexity_split

  • Размер набора данных : 52.81 MiB

  • Сплиты :

Расколоть Примеры
'test' 9 512
'train' 100 654
'validation' 9 512

cfq/query_pattern_split

  • Размер набора данных : 52.81 MiB

  • Сплиты :

Расколоть Примеры
'test' 12 589
'train' 94 600
'validation' 12 489

cfq/random_split

  • Размер набора данных : 52.81 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 967
'train' 95 744
'validation' 11 967

cfq/cd0_r1

  • Размер набора данных : 49.72 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r2

  • Размер набора данных : 49.45 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r3

  • Размер набора данных : 49.76 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r4

  • Размер набора данных : 50.04 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r5

  • Размер набора данных : 49.36 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r6

  • Размер набора данных : 49.36 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r7

  • Размер набора данных : 49.93 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r8

  • Размер набора данных : 48.58 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0_r9

  • Размер набора данных : 49.23 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r1

  • Размер набора данных : 51.54 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r2

  • Размер набора данных : 48.18 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r3

  • Размер набора данных : 49.23 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r4

  • Размер набора данных : 49.76 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r5

  • Размер набора данных : 49.10 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r6

  • Размер набора данных : 49.10 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r7

  • Размер набора данных : 48.02 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r8

  • Размер набора данных : 48.13 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.1_r9

  • Размер набора данных : 48.44 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r1

  • Размер набора данных : 50.90 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r2

  • Размер набора данных : 49.12 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r3

  • Размер набора данных : 50.68 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r4

  • Размер набора данных : 52.61 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r5

  • Размер набора данных : 50.63 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r6

  • Размер набора данных : 50.63 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r7

  • Размер набора данных : 52.39 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r8

  • Размер набора данных : 50.53 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.2_r9

  • Размер набора данных : 50.64 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r1

  • Размер набора данных : 52.08 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r2

  • Размер набора данных : 52.11 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r3

  • Размер набора данных : 51.25 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r4

  • Размер набора данных : 49.94 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r5

  • Размер набора данных : 49.71 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r6

  • Размер набора данных : 49.71 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r7

  • Размер набора данных : 50.86 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r8

  • Размер набора данных : 49.43 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.3_r9

  • Размер набора данных : 50.32 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r1

  • Размер набора данных : 48.52 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r2

  • Размер набора данных : 47.40 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r3

  • Размер набора данных : 49.18 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r4

  • Размер набора данных : 47.86 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r5

  • Размер набора данных : 49.01 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r6

  • Размер набора данных : 49.01 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r7

  • Размер набора данных : 51.70 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r8

  • Размер набора данных : 50.94 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.4_r9

  • Размер набора данных : 51.98 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r1

  • Размер набора данных : 51.00 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r2

  • Размер набора данных : 49.91 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r3

  • Размер набора данных : 51.26 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r4

  • Размер набора данных : 51.27 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r5

  • Размер набора данных : 51.87 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r6

  • Размер набора данных : 51.87 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r7

  • Размер набора данных : 48.52 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r8

  • Размер набора данных : 48.62 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.5_r9

  • Размер набора данных : 48.48 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r1

  • Размер набора данных : 49.32 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r2

  • Размер набора данных : 49.36 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r3

  • Размер набора данных : 49.85 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r4

  • Размер набора данных : 50.07 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r5

  • Размер набора данных : 49.86 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r6

  • Размер набора данных : 49.86 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r7

  • Размер набора данных : 49.42 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r8

  • Размер набора данных : 48.52 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd0.6_r9

  • Размер набора данных : 49.54 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r1

  • Размер набора данных : 49.75 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r2

  • Размер набора данных : 49.07 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r3

  • Размер набора данных : 50.22 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r4

  • Размер набора данных : 49.12 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r5

  • Размер набора данных : 48.80 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r6

  • Размер набора данных : 48.80 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r7

  • Размер набора данных : 50.69 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r8

  • Размер набора данных : 51.39 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968

cfq/cd1_r9

  • Размер набора данных : 49.94 MiB

  • Сплиты :

Расколоть Примеры
'test' 11 968
'train' 95 743
'validation' 11 968