- Описание :
Триплеты (изображение, контекст, инструкция), созданные на основе реальных изображений (из набора данных RoboVQA), которые модифицированы так, чтобы содержать нежелательные элементы, сгенерированные инструкции могут быть желательными или нежелательными (набор проверки).
Домашняя страница : https://asimov-benchmark.github.io/
Исходный код :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Версии :
-
0.1.0
(по умолчанию): первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
29.03 MiB
Автокэширование ( документация ): Да
Расколы :
Расколоть | Примеры |
---|---|
'val' | 50 |
- Структура функции :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
изображение | Изображение | (Нет, Нет, 3) | uint8 | |
инструкции | Последовательность | |||
инструкции/контекст | Текст | нить | ||
инструкции/инструкция | Текст | нить | ||
инструкции/prompt_with_constitution | Текст | нить | ||
инструкции/подсказка_с_конституцией_цепочки_мыслей | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/подсказка_с_конституцией_цепочки_частей_мысли | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_without_constitution | Текст | нить | ||
инструкции/prompt_without_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/undesirable_groundtruth_ответ | Тензор | логическое значение | ||
original_image | Изображение | (Нет, Нет, 3) | uint8 |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Описание :
Триплеты (изображение, контекст, инструкция), созданные на основе реальных изображений (из набора данных RoboVQA), которые модифицированы так, чтобы содержать нежелательные элементы, сгенерированные инструкции могут быть желательными или нежелательными (набор проверки).
Домашняя страница : https://asimov-benchmark.github.io/
Исходный код :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Версии :
-
0.1.0
(по умолчанию): первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
29.03 MiB
Автокэширование ( документация ): Да
Расколы :
Расколоть | Примеры |
---|---|
'val' | 50 |
- Структура функции :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
изображение | Изображение | (Нет, Нет, 3) | uint8 | |
инструкции | Последовательность | |||
инструкции/контекст | Текст | нить | ||
инструкции/инструкция | Текст | нить | ||
инструкции/prompt_with_constitution | Текст | нить | ||
инструкции/подсказка_с_конституцией_цепочки_мыслей | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/подсказка_с_конституцией_цепочки_частей_мысли | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_without_constitution | Текст | нить | ||
инструкции/prompt_without_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/undesirable_groundtruth_ответ | Тензор | логическое значение | ||
original_image | Изображение | (Нет, Нет, 3) | uint8 |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Описание :
Триплеты (изображение, контекст, инструкция), созданные на основе реальных изображений (из набора данных RoboVQA), которые модифицированы так, чтобы содержать нежелательные элементы, сгенерированные инструкции могут быть желательными или нежелательными (набор проверки).
Домашняя страница : https://asimov-benchmark.github.io/
Исходный код :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Версии :
-
0.1.0
(по умолчанию): первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
29.03 MiB
Автокэширование ( документация ): Да
Расколы :
Расколоть | Примеры |
---|---|
'val' | 50 |
- Структура функции :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
изображение | Изображение | (Нет, Нет, 3) | uint8 | |
инструкции | Последовательность | |||
инструкции/контекст | Текст | нить | ||
инструкции/инструкция | Текст | нить | ||
инструкции/prompt_with_constitution | Текст | нить | ||
инструкции/подсказка_с_конституцией_цепочки_мыслей | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/подсказка_с_конституцией_цепочки_частей_мысли | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_without_constitution | Текст | нить | ||
инструкции/prompt_without_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/undesirable_groundtruth_ответ | Тензор | логическое значение | ||
original_image | Изображение | (Нет, Нет, 3) | uint8 |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Описание :
Триплеты (изображение, контекст, инструкция), созданные на основе реальных изображений (из набора данных RoboVQA), которые модифицированы так, чтобы содержать нежелательные элементы, сгенерированные инструкции могут быть желательными или нежелательными (набор проверки).
Домашняя страница : https://asimov-benchmark.github.io/
Исходный код :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Версии :
-
0.1.0
(по умолчанию): первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
29.03 MiB
Автокэширование ( документация ): Да
Расколы :
Расколоть | Примеры |
---|---|
'val' | 50 |
- Структура функции :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
изображение | Изображение | (Нет, Нет, 3) | uint8 | |
инструкции | Последовательность | |||
инструкции/контекст | Текст | нить | ||
инструкции/инструкция | Текст | нить | ||
инструкции/prompt_with_constitution | Текст | нить | ||
инструкции/подсказка_с_конституцией_цепочки_мыслей | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary | Текст | нить | ||
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_adversary_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_chain_of_ Thought_antijailbreak_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/подсказка_с_конституцией_цепочки_частей_мысли | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_with_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/prompt_without_constitution | Текст | нить | ||
инструкции/prompt_without_constitution_parts | Последовательность (Текст) | (Никто,) | нить | |
инструкции/undesirable_groundtruth_ответ | Тензор | логическое значение | ||
original_image | Изображение | (Нет, Нет, 3) | uint8 |
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}