強化学習の最近のブログ記事

Mini Pupper2 ros2 4足歩行 Policy 強化学習 2

Mini Pupper2 ros2 4足歩行 Policy 強化学習 第2段
Policy を、MlpPolicy から、Locomotion-Transformer に替えてみた。

SB3 + PRO + Locomotion-Transformer で、
Ros2 Jazzy Gazebo(Hramonic) で mini_pupper_ros の Mini Pupper2 を使うのは、全てそのまま。

トランスフォーマー型 Policy（Locomotion-Transformer など）
LeRobotのACTと同じように、4足歩行でもTransformer（自己アテンション機構）を採用する動きが主流になっています。
との事。
Transformer を使っているので、試してみた。

おんちゃんが、こちらを選んだのは、
入力 observation の joint-state と、model の output の act(joint-controll) のフィールドが、対応している事。
input と output の位置が同じなのが、むだな学習が、生じなくていいと思う!!
MlpPolicy は、汎用的な model なので、必ずしも、4足ロボット向けと言うわけではなくて、
input と output の対応が取れていなくて、 train の過程で、関連付けるので、時間がかかりそう!!

train させているが、どうも 床を這うような動作を学習してしまう。
body の高さが、低くなったら、ペナルティーにしているが、どうも、改善につながらない。
MlpPolicy も同じ、動きにを学習するみたい。
PRO の問題なのだろうか?

Mini Pupper2 ros2 4足歩行 Policy 強化学習

Mini Pupper2 4足歩行 Policy を探したけど、どうもどこにあるのか判らん。
あったとしても、おんちゃんの PC の GPU gtx 1070 では、まるっきり歯がたたん。

ChatGTP に、いろいろ聞いているうちに、
Ros2 Jazzy Gazebo(Harmonic) で、Mini Pupper2 ros が動いているので、Gazebo のシミュレーション環境でも、いいんじゃない?(まるっきり、時間度外視であれば)
と、行き着いた。

ChatGPT を、おだてて、
4足歩行 Policy と、強化学習の torch train 等、一式書いてもらっての、テストじゃ。
今回は、この話じゃ!!
けっして、良い子は、まねをしないように。...

結局、Gazebo 上の Mini Pupper2 を、Policy の出力で、動かして、その結果が良ければ、+何点、 NG であれば、-何点と、強化学習を繰り返すだけ。
難点は、それを、一度に 1000とか同時にできるかどうかだけじゃ。
昔、台に乗った、ポールを倒さないように、台を動かす強化学習と同じ要領みたい。

Stable Baseline3(SB3) で、PRO(Proximal Policy Optimization) で、既存の MlpPolicy をすこしカスタマイズしてつかえば、出来上がるみたい。

Python コードの原型は、ChatGTP に教えてもらって、つくったぞね!!