- 説明：
多様な家事操作タスク
ソースコード:
tfds.robotics.rtx.UtaustinMutexバージョン:
-
0.1.0(デフォルト): 初期リリース。
-
ダウンロードサイズ:
Unknown sizeデータセットのサイズ:
20.79 GiB自動キャッシュ(ドキュメント): いいえ
分割:
| スプリット | 例 |
|---|---|
'train' | 1,500 |
- 機能の構造:
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float32, description=Robot action, consists of [6x end effector delta pose, 1x gripper position]),
'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'image': Image(shape=(128, 128, 3), dtype=uint8, description=Main camera RGB observation.),
'state': Tensor(shape=(24,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 1x gripper position, 16x robot end-effector homogeneous matrix].),
'wrist_image': Image(shape=(128, 128, 3), dtype=uint8, description=Wrist camera RGB observation.),
}),
'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
}),
})
- 機能ドキュメント:
| 特徴 | クラス | 形 | Dタイプ | 説明 |
|---|---|---|---|---|
| 特徴辞書 | ||||
| エピソード_メタデータ | 特徴辞書 | |||
| エピソードメタデータ/ファイルパス | 文章 | 弦 | 元のデータ ファイルへのパス。 | |
| ステップ | データセット | |||
| ステップ/アクション | テンソル | (7,) | float32 | ロボットアクションは、[6x エンドエフェクターデルタポーズ、1x グリッパーポジション] で構成されます。 |
| 歩数/割引 | スカラー | float32 | 割引が指定されている場合、デフォルトは 1 です。 | |
| ステップ/is_first | テンソル | ブール | ||
| ステップ/is_last | テンソル | ブール | ||
| ステップ/is_terminal | テンソル | ブール | ||
| ステップ/言語_埋め込み | テンソル | (512,) | float32 | コナ言語の埋め込み。 https://tfhub.dev/google/universal-sentence-encoder-large/5 を参照してください。 |
| ステップ/言語説明 | 文章 | 弦 | 各タスクの詳細な言語説明。 | |
| ステップ/観察 | 特徴辞書 | |||
| 手順・観察・イメージ | 画像 | (128、128、3) | uint8 | メインカメラRGB観察。 |
| ステップ/観察/状態 | テンソル | (24,) | float32 | ロボットの状態は、[7x ロボット関節角度、1x グリッパー位置、16x ロボット エンドエフェクターの均質マトリックス] で構成されます。 |
| 歩数/観察/手首画像 | 画像 | (128、128、3) | uint8 | リストカメラRGB観察。 |
| 歩数/報酬 | スカラー | float32 | 提供されている場合は報酬、デモの最終ステップで 1。 |
監視キー(
as_superviseddoc を参照):None図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用：
@inproceedings{
shah2023mutex,
title={ {MUTEX}: Learning Unified Policies from Multimodal Task Specifications},
author={Rutav Shah and Roberto Mart{\'\i}n-Mart{\'\i}n and Yuke Zhu},
booktitle={7th Annual Conference on Robot Learning},
year={2023},
url={https://openreview.net/forum?id=PwqiqaaEzJ}
}