初めてのフィジカルAi。Huggingface の LeRobot の ACT model で学ぶ。

1. 学習データを選ぶ。
ACT 対応で、シュミレーションが有るのデータを選ぶ。
おんちゃんは、lerobot/aloha_sim_transfer_cube_human を使ってみた。
Demo が見えるので、見てみます。
git clone した、ディレクトリーで、
$ cd lerobot
$ export PYTHONPATH=$PYTHONPATH:$(pwd)/src
or
$ export PYTHONPATH=$PYTHONPATH:/home/your-id/path-to-clone/lerobot/src
$ python src/lerobot/scripts/lerobot_dataset_viz.py \
--repo-id lerobot/aloha_sim_transfer_cube_human \
--episode-index 0

start ボタンをクリックする。
--episode-index n: n は、結構あるみたい。
これで、Demo が確認できれば、あとは、 ACT model を学習させてみる。

方法が、幾つかあるが、
おんちゃんは、まず、最初に、
1) examples/tutorial/act/act_training_example.py
を使って、 train を試してみた。
ちょこっと直す。
.. # Select your device #device = torch.device("mps") # or "cuda" or "cpu" device = torch.device("cuda") # or "cuda" or "cpu" #dataset_id = "lerobot/svla_so101_pickplace" dataset_id = "lerobot/aloha_sim_transfer_cube_human" ... # Number of training steps and logging frequency #training_steps = 1 training_steps = 3000 --> もっといっぱい必要 #log_freq = 1 log_freq = 100 ... # Save all assets to the Hub #policy.push_to_hub("<user>/robot_learning_tutorial_act") #preprocessor.push_to_hub("<user>/robot_learning_tutorial_act") #postprocessor.push_to_hub("<user>/robot_learning_tutorial_act")
こいつは、自分のディレクトリーへコピーして、
そこから実行出来る。
i ) train
$ export PYTHONPATH=$PYTHONPATH:/home/your-id/path-to-clone/lerobot/src
$ python act_training_example.py

ii) シュミレーションでの動作確認。
$ python act_training_example_check_sim_cui.py

とりあえず、10,000 ステップ学習させてみました。
さいしょ、アームがブルブルして、その後、向かって右側のアームが、赤いキューブを掴みに行きますが、
なかなか、まだ、つかめません。
でも、もっともっと学習させれば、成功するかも。
この、最初のアームのブルブルは、ACT につきもの様です。
ChatGTP に尋ねたら、調整方法を教えてくれます。
ぜひ、チャレンジしとうせ!!

2) 次に class ACT を直接使って、同じトレーニングデータで、train させる。
ACTConfig() を使うのに手こずったので、ここで書いておきます。
import torch # 公式の policy（モデル）から直接インポートします from lerobot.policies.act.modeling_act import ACT from lerobot.policies.act.configuration_act import ACTConfig from lerobot.configs.types import FeatureType from lerobot.configs.policies import PolicyFeature # 1. 公式の「設定シート」を作ります config = ACTConfig( device="cuda", n_action_steps=100, input_features={ "observation.environment_state": PolicyFeature( type=FeatureType.STATE, shape=(14,) ), #"observation.images.top": PolicyFeature( # type=FeatureType.VISUAL, # shape=(3, 480, 640) #), "observation.images": PolicyFeature( type=FeatureType.VISUAL, shape=(3, 480, 640) ), }, output_features={ "action": PolicyFeature( type=FeatureType.ACTION, shape=(14,) ) }, n_encoder_layers=4, n_decoder_layers=7, dim_model=512, dim_feedforward=3200, ) # 1. 脳（ACT）の準備 #device = "cuda" if torch.cuda.is_available() else "cpu" #model = ACT(config).to(device)

i) trainは、 jupyter notebook で、
train.ipynb

ii) シュミレーションでの動作確認。
$ python Act_check_sim_cui.py

40,000 ステップ学習させたけど、なかなか難しい。
train の仕方が、マッチしていないかも。

これはらは、github に上げました。 by nishi 2026.5.14
lerobot-my/AlohaTransferCube