- 説明:
キッチンと対話するフランカの腕
ソースコード:
tfds.robotics.rtx.TacoPlay
バージョン:
-
0.1.0
(デフォルト): 初期リリース。
-
ダウンロードサイズ:
Unknown size
データセットのサイズ:
47.77 GiB
自動キャッシュ(ドキュメント): いいえ
分割:
スプリット | 例 |
---|---|
'test' | 361 |
'train' | 3,242 |
- 機能の構造:
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- 機能ドキュメント:
特徴 | クラス | 形 | Dタイプ | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
ステップ | データセット | |||
ステップ/アクション | 特徴辞書 | |||
ステップ/アクション/アクション | テンソル | (7,) | float32 | グリッパー ポーズの絶対的な望ましい値 (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています) |
ステップ/アクション/rel_actions_gripper | テンソル | (7,) | float32 | グリッパー カメラ フレーム内のグリッパー ポーズの相対アクション (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています) |
ステップ/アクション/rel_actions_world | テンソル | (7,) | float32 | ロボットのベース フレームでのグリッパー ポーズの相対アクション (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています) |
ステップ/アクション/terminate_episode | テンソル | float32 | ||
ステップ/is_first | テンソル | ブール | ||
ステップ/is_last | テンソル | ブール | ||
ステップ/is_terminal | テンソル | ブール | ||
ステップ/観察 | 特徴辞書 | |||
ステップ/観察/深さ_グリッパー | テンソル | (84、84) | float32 | |
ステップ/観察/深さ_静的 | テンソル | (150、200) | float32 | |
ステップ/観察/natural_lang_embedding | テンソル | (512,) | float32 | |
ステップ/観察/natural_ language_instruction | テンソル | 弦 | 自然言語命令は、構造化言語タスクから派生した潜在的なタスクの同義語に基づいてランダムにサンプリングされた自然言語命令です。たとえば、「青色のライトをオフにする」は、「青色のライトをオフに切り替える」にマッピングされる場合があります。 | |
ステップ/観察/rgb_gripper | 画像 | (84、84、3) | uint8 | |
ステップ/観察/rgb_static | 画像 | (150、200、3) | uint8 | 形状の RGB 静的画像。 (150、200、3)。 (200,200, 3) イメージからサブサンプリングされました。 |
ステップ/観察/robot_obs | テンソル | (15,) | float32 | EE 位置 (3)、オイラー角での EE 方向 (3)、グリッパー幅 (1)、ジョイント位置 (7)、グリッパー動作 (1) |
ステップ/観察/構造化言語指示 | テンソル | 弦 | 25 の可能な構造化言語命令のうちの 1 つ。https ://arxiv.org/pdf/2210.01911.pdfのリストを参照してください。表 2。 | |
歩数/報酬 | スカラー | float32 |
監視キー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ): 欠落しています。
引用:
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}