ゆるふわフィジカルAI
パソコンで作業中のゆるロボ

SO-101を強化学習で動かす|MuJoCo MenagerieモデルをPPOで学習させる

2026-11-20 ・ 実践

#MuJoCo#強化学習#PPO#SO-101#実践

SO-101を強化学習で動かすとは、MuJoCo Menagerieが配布する実機そのままのロボットモデルをGymnasiumの環境として自作し、Stable-Baselines3のPPOに「手先を目標位置に届かせる」動きを試行錯誤で学習させることです。 Stable-Baselines3入門では抽象化された2関節アーム(Reacher-v5)を使いましたが、今回は実機のSO-101と同じ6関節構造のモデルで、同じ流れを試します。GPUなしのCPUだけで学習できます。

この記事で分かること

  • MuJoCo MenagerieのSO-101モデルをGymnasiumの独自環境として自作し、Stable-Baselines3のPPOで手先を目標位置へ届かせる学習をCPUだけで実行する
  • ランダム行動(平均最終距離0.228m・平均報酬-23.49)に対し、PPOを50万ステップ学習させると平均最終距離0.172m・平均報酬-15.17まで改善する(本記事で実際に実行して確認)
  • SO-101の関節アクチュエータは位置制御(目標角度を直接指定する方式)なので、PID制御のようなトルクの細かい調整は不要。学習対象は肩・肘・手首の5関節で、グリッパーは今回は固定する

対象読者:MuJoCo Menagerieで実機モデルを動かした後、自分でシミュレーション課題を組んで強化学習を試したい学習者・エンジニア

執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月20日

今回やること

学習までの流れ

📦

モデルを用意

MuJoCo MenagerieのSO-101

→
🧩

環境を自作

Gymnasium.Envを自分で書く

→
🎲

ランダム行動

学習前の基準値を測る

→
🧠

PPOで学習

目標位置に届かせる動きを自動発見

MuJoCo Menagerie入門では、SO-101のモデルを読み込んで静止させるところまで確認しました。Stable-Baselines3入門では、Gymnasiumにすでに用意されている2関節アームの課題(Reacher-v5)にPPOを学習させました。今回はこの2つをつなぎ、「すでにあるロボットモデル」に「自分で定義した課題」を載せて学習させる、一歩進んだ使い方をします。

準備:モデルとライブラリ

MuJoCo Menagerieをまだ取得していない場合は、クローンしておきます。

ターミナル
git clone --depth 1 https://github.com/google-deepmind/mujoco_menagerie.git
pip install mujoco gymnasium stable-baselines3

① SO-101用のGymnasium環境を自作する

MuJoCo Menagerie入門で確認したとおり、SO-101にはshoulder_pan・shoulder_lift・elbow_flex・wrist_flex・wrist_roll・gripperの6関節があります。今回は手先(gripperframeサイト)を目標位置に届かせる課題として、グリッパーを除く5関節を学習対象にします。

💡

SO-101の関節は位置制御

SO-101モデルの各関節には<position>アクチュエータ(目標角度を直接指定する位置サーボ)が割り当てられています。MuJoCoでロボットアームを制御するのようにPIDでトルクを計算する必要がなく、行動(action)をそのまま目標角度としてMuJoCoに渡せます。

so101_reach_env.py
Python
import gymnasium as gym
import mujoco
import numpy as np
from gymnasium import spaces
 
MODEL_PATH = "mujoco_menagerie/robotstudio_so101/scene.xml"
ARM_JOINTS = ["shoulder_pan", "shoulder_lift", "elbow_flex", "wrist_flex", "wrist_roll"]
 
 
class SO101ReachEnv(gym.Env):
    def __init__(self, max_steps: int = 100):
        super().__init__()
        self.model = mujoco.MjModel.from_xml_path(MODEL_PATH)
        self.data = mujoco.MjData(self.model)
        self.max_steps = max_steps
        self._step_count = 0
 
        self.arm_qpos_idx = [
            self.model.jnt_qposadr[mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_JOINT, n)]
            for n in ARM_JOINTS
        ]
        self.arm_ctrl_idx = [
            mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_ACTUATOR, n) for n in ARM_JOINTS
        ]
        self.ctrl_low = np.array([self.model.actuator_ctrlrange[i, 0] for i in self.arm_ctrl_idx])
        self.ctrl_high = np.array([self.model.actuator_ctrlrange[i, 1] for i in self.arm_ctrl_idx])
        self.gripper_site_id = mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_SITE, "gripperframe")
 
        self.action_space = spaces.Box(-1.0, 1.0, shape=(5,), dtype=np.float32)
        self.observation_space = spaces.Box(-np.inf, np.inf, shape=(8,), dtype=np.float32)
        self._target = np.zeros(3, dtype=np.float32)
 
    def _sample_target(self):
        # アームの肩付近を中心に、手先が届きやすい範囲でランダムな目標点を作る
        # self.np_randomはreset(seed=...)で初期化されるGymnasium標準の乱数生成器
        return np.array(
            [
                self.np_random.uniform(0.10, 0.25),
                self.np_random.uniform(-0.15, 0.15),
                self.np_random.uniform(0.05, 0.25),
            ],
            dtype=np.float32,
        )
 
    def _get_obs(self):
        qpos = np.array([self.data.qpos[i] for i in self.arm_qpos_idx], dtype=np.float32)
        diff = self.data.site_xpos[self.gripper_site_id].astype(np.float32) - self._target
        return np.concatenate([qpos, diff])
 
    def reset(self, *, seed=None, options=None):
        super().reset(seed=seed)
        mujoco.mj_resetData(self.model, self.data)
        mujoco.mj_forward(self.model, self.data)
        self._target = self._sample_target()
        self._step_count = 0
        return self._get_obs(), {}
 
    def step(self, action):
        action = np.clip(action, -1.0, 1.0)
        ctrl = self.ctrl_low + (action + 1.0) * 0.5 * (self.ctrl_high - self.ctrl_low)
        for idx, value in zip(self.arm_ctrl_idx, ctrl):
            self.data.ctrl[idx] = value
        mujoco.mj_step(self.model, self.data)
        self._step_count += 1
 
        obs = self._get_obs()
        dist = float(np.linalg.norm(obs[5:8]))
        reward = -dist - 0.001 * float(np.square(action).sum())
        truncated = self._step_count >= self.max_steps
        return obs, reward, False, truncated, {"distance": dist}

観測(observation)は「5関節の現在角度」+「手先位置と目標位置の差分(3次元)」の合計8個。行動(action)は-1〜1の値5個で、関節ごとのctrlrangeに線形変換してからMuJoCoのctrlに渡します。報酬はStable-Baselines3入門のReacher-v5と同じ考え方で、「目標との距離が近いほど高い」+「大きすぎる行動には少しペナルティ」の合計です。

② ランダム行動の基準値を測る

学習前に、何もせずランダムに動かした場合の性能を測っておきます。

Python
import numpy as np
from stable_baselines3.common.monitor import Monitor
from so101_reach_env import SO101ReachEnv
 
def evaluate(model, n_episodes=10):
    env = Monitor(SO101ReachEnv())
    rewards, dists = [], []
    for ep in range(n_episodes):
        obs, info = env.reset(seed=100 + ep)
        done = False
        total = 0.0
        while not done:
            action = env.action_space.sample() if model is None else model.predict(obs, deterministic=True)[0]
            obs, reward, terminated, truncated, info = env.step(action)
            total += reward
            done = terminated or truncated
        rewards.append(total)
        dists.append(info["distance"])
    return np.mean(rewards), np.std(rewards), np.mean(dists)
 
mean_r, std_r, mean_d = evaluate(None)
print(f"ランダム行動: 平均報酬 {mean_r:.2f} ± {std_r:.2f} / 平均最終距離 {mean_d:.3f}m")
ランダム行動: 平均報酬 -23.49 ± 4.14 / 平均最終距離 0.228m

③ PPOで学習させる

同じ環境をStable-Baselines3のPPOに50万ステップ学習させます。

Python
from stable_baselines3 import PPO
 
env = Monitor(SO101ReachEnv())
model = PPO("MlpPolicy", env, verbose=0, n_steps=512, batch_size=256, seed=0)
model.learn(total_timesteps=500_000)
 
mean_r2, std_r2, mean_d2 = evaluate(model)
print(f"学習後: 平均報酬 {mean_r2:.2f} ± {std_r2:.2f} / 平均最終距離 {mean_d2:.3f}m")
学習後: 平均報酬 -15.17 ± 3.00 / 平均最終距離 0.172m
🎲

0.228m

ランダム行動の平均最終距離(10エピソード)

🏹

0.172m

PPO学習後(50万ステップ)の平均最終距離

CPUのみ(GPUなし)で学習時間は約3分20秒でした。平均最終距離がおよそ4分の1縮まり、ランダムより明確に目標へ近づけるようになったことが確認できます。Stable-Baselines3入門のReacher-v5(2関節・20,000ステップ)と比べて、SO-101は関節数が多く目標の範囲も広いため、同程度の手応えを得るのに必要な学習ステップ数もおよそ25倍になっています。

🕹️

Reacher-v5(Stable-Baselines3入門)

  • Gymnasium組み込みの抽象的な2関節アーム
  • 観測10次元・行動2次元
  • 20,000ステップで明確に改善
VS
🏹

SO-101モデル(本記事)

  • 実機と同じ構造のMuJoCo Menagerieモデル
  • 観測8次元・行動5次元(6関節中グリッパー以外)
  • 50万ステップでようやく明確な改善が見える

つまずきやすい点

  • MODEL_PATHが見つからないエラーになる → このコードはmujoco_menagerieフォルダがスクリプトと同じ場所(カレントディレクトリ)にある前提の相対パスです。別の場所に置いた場合はMODEL_PATHを実際のscene.xmlの場所に書き換えてください
  • 学習が全く改善しない → PPOのn_stepsやbatch_sizeが小さすぎると学習が不安定になりがちです。本記事ではn_steps=512, batch_size=256で50万ステップ回しましたが、環境やシードによってはtotal_timestepsをさらに増やすか、learning_rateを調整する必要があります
  • グリッパーも含めて学習させたい → 本記事ではgripperアクチュエータのctrlを更新していないため、初期値(0)のまま固定されます。グリッパーの開閉も学習対象にする場合は、action_spaceを6次元に増やし、arm_ctrl_idxにgripperアクチュエータのインデックスも加えてください

まとめ

  • MuJoCo MenagerieのSO-101モデルは、Gymnasiumのgym.Envを自分で書けば強化学習の課題として使える
  • 観測=5関節角度+手先と目標の差分、行動=5関節の目標角度(-1〜1に正規化)という設計で、PPOが学習できる
  • ランダム行動の平均最終距離0.228mに対し、PPOを50万ステップ学習させると0.172mまで改善する(CPUのみ・約3分20秒、本記事で実際に実行して確認)
  • Reacher-v5のような抽象化された環境と比べ、実機構造のモデルは関節数や目標範囲が広い分、同程度の改善に必要な学習ステップ数も大きくなる

よくある質問

Q. この記事で学習した方策を、実際のSO-101にそのまま使えますか?

A. そのままは使えません。本記事のシミュレーションは関節の位置制御を理想的に扱っており、実機のサーボの遅れや摩擦、カメラ映像との同期などは含まれていません。実機に近づけるにはSim-to-Realの技術が必要です。詳しくはSim2Real実践(/learn/sim2real-practice)を参考にしてください。

Q. なぜPID制御ではなく強化学習を使うのですか?

A. 目標位置が1つに決まっているなら、MuJoCoで逆運動学を使う(/learn/mujoco-inverse-kinematics)のようにIKとPIDで直接解いたほうが速く確実です。強化学習が向いているのは、接触や摩擦など数式で表しにくい要素が絡む課題や、報酬を変えるだけで目的を切り替えたい場合です。

Q. 学習にGPUは必要ですか?

A. 必須ではありません。本記事のコードはGPUなしのCPUのみで実行し、50万ステップの学習に約3分20秒かかりました。より複雑な全身動作や大量の並列環境を使う本格的な学習になると、Isaac Lab入門(/learn/isaac-lab-tutorial)のようなGPU前提の環境が効果を発揮します。

📚 もう少し詳しく(なぜ位置制御だと学習しやすいのか)気になる人向け・タップで開く

SO-101モデルの関節アクチュエータは<position>(内部でPD制御のバネ・ダンパーが働く位置サーボ)です。行動をそのまま目標角度として渡せるため、PPOの方策ネットワークは「関節のトルクをどう加減するか」ではなく「次にどの角度を狙うか」だけを学べばよく、学習対象の問題がシンプルになります。

一方で、位置制御は内部のゲイン(バネ・ダンパーの強さ)がモデル側で固定されているため、「力の強さそのもの」を学習で調整することはできません。接触後の力加減まで学習したい場合は、MuJoCoでロボットアームを制御する(/learn/mujoco-robot-arm-control)のようなトルク(<motor>)ベースのアクチュエータに切り替える必要があります。

次の一歩 🌸

MuJoCo Menagerieの基本に戻るならMuJoCo Menagerie入門、Stable-Baselines3とPPOの基礎を確認したいならStable-Baselines3入門へ。IKとPIDで直接解く方法はMuJoCoで逆運動学を使う、GPUで大量並列学習する本格的な強化学習はIsaac Lab入門を参考にしてください。実機のSO-101を動かすところまで進みたい人はSO-101組み立てガイドへどうぞ。

参考資料・出典

  • google-deepmind/mujoco_menagerie - robotstudio_so101SO-101モデルのMJCF定義。関節名・アクチュエータが<position>アクチュエータであること、ctrlrange、gripperframeサイトを確認
  • stable-baselines3 · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン2.9.2を確認
  • gymnasium · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン1.4.0を確認
  • mujoco · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン4.0.1を確認

ゆるふわポータルでは、一次情報・公的資料にもとづき、専門用語をできるだけやさしく翻訳することを心がけています。内容に誤りや古い情報がある場合は、お問い合わせからご連絡ください。

執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月20日

この記事をシェア:𝕏 で共有LINEで送る

🔥 この分野の最新トレンドをチェック →

あわせて読みたい

Stable-Baselines3入門|PPOでロボットアームの強化学習を試す

Stable-Baselines3とは、PyTorchで実装された強化学習アルゴリズム集を数行のコードで使えるPythonライブラリです。PPOでロボットアームの到達課題(Reacher-v5)を学習させ、ランダム行動との報酬の差をCPUだけで実際に確かめます。

MuJoCo Menagerie入門|SO-101やUR5eの完成済みロボットモデルを動かす

MuJoCo Menagerieとは、Google DeepMindが公開するMuJoCo用の完成済みロボットモデル集です。SO-101やUR5eなど70種類超のモデルをgit cloneしてそのまま動かす手順を、実際に動かしたコード付きで解説します。

RRTをPythonで実装する|ロボットが「狭い隙間」を抜ける経路計画

RRT(高速探索ランダム木)とは、ランダムに点を打って木を伸ばし、障害物を避けながらゴールまでの経路を探す手法。グリッドが使えない連続空間での経路計画を、Pythonでゼロから実装して動かします。

MuJoCoで逆運動学を使う|IKで目標位置へ手先を届かせる動かし方

MuJoCoで逆運動学(IK)を使うとは、手先の目標位置から関節角度を逆算し、その角度をPID制御の目標値として物理エンジン内のアームに与えることです。肘上げ・肘下げの2つの解や、届かない目標を指定した場合の挙動まで、実際に動かして確認したコード付きで解説します。