- Description :
Triplets (image, contexte, instruction) générés à partir d'images réelles (à partir de l'ensemble de données RoboVQA) qui sont modifiés pour contenir des éléments indésirables, les instructions générées peuvent être souhaitables ou indésirables (ensemble de validation).
Page d'accueil : https://asimov-benchmark.github.io/
Code source :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
29.03 MiB
Mise en cache automatique ( documentation ) : Oui
Divisions :
Diviser | Exemples |
---|---|
'val' | 50 |
- Structure des fonctionnalités :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
image | Image | (Aucun, Aucun, 3) | uint8 | |
instructions | Séquence | |||
consignes/contexte | Texte | chaîne | ||
instructions/instructions | Texte | chaîne | ||
instructions/prompt_with_constitution | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_sans_constitution | Texte | chaîne | ||
instructions/prompt_sans_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/undesirable_groundtruth_answer | Tenseur | bouffon | ||
image_originale | Image | (Aucun, Aucun, 3) | uint8 |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Description :
Triplets (image, contexte, instruction) générés à partir d'images réelles (à partir de l'ensemble de données RoboVQA) qui sont modifiés pour contenir des éléments indésirables, les instructions générées peuvent être souhaitables ou indésirables (ensemble de validation).
Page d'accueil : https://asimov-benchmark.github.io/
Code source :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
29.03 MiB
Mise en cache automatique ( documentation ) : Oui
Divisions :
Diviser | Exemples |
---|---|
'val' | 50 |
- Structure des fonctionnalités :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
image | Image | (Aucun, Aucun, 3) | uint8 | |
instructions | Séquence | |||
consignes/contexte | Texte | chaîne | ||
instructions/instructions | Texte | chaîne | ||
instructions/prompt_with_constitution | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_sans_constitution | Texte | chaîne | ||
instructions/prompt_sans_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/undesirable_groundtruth_answer | Tenseur | bouffon | ||
image_originale | Image | (Aucun, Aucun, 3) | uint8 |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Description :
Triplets (image, contexte, instruction) générés à partir d'images réelles (à partir de l'ensemble de données RoboVQA) qui sont modifiés pour contenir des éléments indésirables, les instructions générées peuvent être souhaitables ou indésirables (ensemble de validation).
Page d'accueil : https://asimov-benchmark.github.io/
Code source :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
29.03 MiB
Mise en cache automatique ( documentation ) : Oui
Divisions :
Diviser | Exemples |
---|---|
'val' | 50 |
- Structure des fonctionnalités :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
image | Image | (Aucun, Aucun, 3) | uint8 | |
instructions | Séquence | |||
consignes/contexte | Texte | chaîne | ||
instructions/instructions | Texte | chaîne | ||
instructions/prompt_with_constitution | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_sans_constitution | Texte | chaîne | ||
instructions/prompt_sans_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/undesirable_groundtruth_answer | Tenseur | bouffon | ||
image_originale | Image | (Aucun, Aucun, 3) | uint8 |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Description :
Triplets (image, contexte, instruction) générés à partir d'images réelles (à partir de l'ensemble de données RoboVQA) qui sont modifiés pour contenir des éléments indésirables, les instructions générées peuvent être souhaitables ou indésirables (ensemble de validation).
Page d'accueil : https://asimov-benchmark.github.io/
Code source :
tfds.robotics.asimov.AsimovMultimodalAutoVal
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
29.03 MiB
Mise en cache automatique ( documentation ) : Oui
Divisions :
Diviser | Exemples |
---|---|
'val' | 50 |
- Structure des fonctionnalités :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
image | Image | (Aucun, Aucun, 3) | uint8 | |
instructions | Séquence | |||
consignes/contexte | Texte | chaîne | ||
instructions/instructions | Texte | chaîne | ||
instructions/prompt_with_constitution | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Texte | chaîne | ||
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_chain_of_thought_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_with_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/prompt_sans_constitution | Texte | chaîne | ||
instructions/prompt_sans_constitution_parts | Séquence (Texte) | (Aucun,) | chaîne | |
instructions/undesirable_groundtruth_answer | Tenseur | bouffon | ||
image_originale | Image | (Aucun, Aucun, 3) | uint8 |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}