SO-101を強化学習で動かすとは、MuJoCo Menagerieが配布する実機そのままのロボットモデルをGymnasiumの環境として自作し、Stable-Baselines3のPPOに「手先を目標位置に届かせる」動きを試行錯誤で学習させることです。 Stable-Baselines3入門では抽象化された2関節アーム(Reacher-v5)を使いましたが、今回は実機のSO-101と同じ6関節構造のモデルで、同じ流れを試します。GPUなしのCPUだけで学習できます。
この記事で分かること
- MuJoCo MenagerieのSO-101モデルをGymnasiumの独自環境として自作し、Stable-Baselines3のPPOで手先を目標位置へ届かせる学習をCPUだけで実行する
- ランダム行動(平均最終距離0.228m・平均報酬-23.49)に対し、PPOを50万ステップ学習させると平均最終距離0.172m・平均報酬-15.17まで改善する(本記事で実際に実行して確認)
- SO-101の関節アクチュエータは位置制御(目標角度を直接指定する方式)なので、PID制御のようなトルクの細かい調整は不要。学習対象は肩・肘・手首の5関節で、グリッパーは今回は固定する
対象読者:MuJoCo Menagerieで実機モデルを動かした後、自分でシミュレーション課題を組んで強化学習を試したい学習者・エンジニア
執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月20日
今回やること
学習までの流れ
モデルを用意
MuJoCo MenagerieのSO-101
環境を自作
Gymnasium.Envを自分で書く
ランダム行動
学習前の基準値を測る
PPOで学習
目標位置に届かせる動きを自動発見
MuJoCo Menagerie入門では、SO-101のモデルを読み込んで静止させるところまで確認しました。Stable-Baselines3入門では、Gymnasiumにすでに用意されている2関節アームの課題(Reacher-v5)にPPOを学習させました。今回はこの2つをつなぎ、「すでにあるロボットモデル」に「自分で定義した課題」を載せて学習させる、一歩進んだ使い方をします。
準備:モデルとライブラリ
MuJoCo Menagerieをまだ取得していない場合は、クローンしておきます。
git clone --depth 1 https://github.com/google-deepmind/mujoco_menagerie.git
pip install mujoco gymnasium stable-baselines3① SO-101用のGymnasium環境を自作する
MuJoCo Menagerie入門で確認したとおり、SO-101にはshoulder_pan・shoulder_lift・elbow_flex・wrist_flex・wrist_roll・gripperの6関節があります。今回は手先(gripperframeサイト)を目標位置に届かせる課題として、グリッパーを除く5関節を学習対象にします。
SO-101の関節は位置制御
SO-101モデルの各関節には<position>アクチュエータ(目標角度を直接指定する位置サーボ)が割り当てられています。MuJoCoでロボットアームを制御するのようにPIDでトルクを計算する必要がなく、行動(action)をそのまま目標角度としてMuJoCoに渡せます。
import gymnasium as gym
import mujoco
import numpy as np
from gymnasium import spaces
MODEL_PATH = "mujoco_menagerie/robotstudio_so101/scene.xml"
ARM_JOINTS = ["shoulder_pan", "shoulder_lift", "elbow_flex", "wrist_flex", "wrist_roll"]
class SO101ReachEnv(gym.Env):
def __init__(self, max_steps: int = 100):
super().__init__()
self.model = mujoco.MjModel.from_xml_path(MODEL_PATH)
self.data = mujoco.MjData(self.model)
self.max_steps = max_steps
self._step_count = 0
self.arm_qpos_idx = [
self.model.jnt_qposadr[mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_JOINT, n)]
for n in ARM_JOINTS
]
self.arm_ctrl_idx = [
mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_ACTUATOR, n) for n in ARM_JOINTS
]
self.ctrl_low = np.array([self.model.actuator_ctrlrange[i, 0] for i in self.arm_ctrl_idx])
self.ctrl_high = np.array([self.model.actuator_ctrlrange[i, 1] for i in self.arm_ctrl_idx])
self.gripper_site_id = mujoco.mj_name2id(self.model, mujoco.mjtObj.mjOBJ_SITE, "gripperframe")
self.action_space = spaces.Box(-1.0, 1.0, shape=(5,), dtype=np.float32)
self.observation_space = spaces.Box(-np.inf, np.inf, shape=(8,), dtype=np.float32)
self._target = np.zeros(3, dtype=np.float32)
def _sample_target(self):
# アームの肩付近を中心に、手先が届きやすい範囲でランダムな目標点を作る
# self.np_randomはreset(seed=...)で初期化されるGymnasium標準の乱数生成器
return np.array(
[
self.np_random.uniform(0.10, 0.25),
self.np_random.uniform(-0.15, 0.15),
self.np_random.uniform(0.05, 0.25),
],
dtype=np.float32,
)
def _get_obs(self):
qpos = np.array([self.data.qpos[i] for i in self.arm_qpos_idx], dtype=np.float32)
diff = self.data.site_xpos[self.gripper_site_id].astype(np.float32) - self._target
return np.concatenate([qpos, diff])
def reset(self, *, seed=None, options=None):
super().reset(seed=seed)
mujoco.mj_resetData(self.model, self.data)
mujoco.mj_forward(self.model, self.data)
self._target = self._sample_target()
self._step_count = 0
return self._get_obs(), {}
def step(self, action):
action = np.clip(action, -1.0, 1.0)
ctrl = self.ctrl_low + (action + 1.0) * 0.5 * (self.ctrl_high - self.ctrl_low)
for idx, value in zip(self.arm_ctrl_idx, ctrl):
self.data.ctrl[idx] = value
mujoco.mj_step(self.model, self.data)
self._step_count += 1
obs = self._get_obs()
dist = float(np.linalg.norm(obs[5:8]))
reward = -dist - 0.001 * float(np.square(action).sum())
truncated = self._step_count >= self.max_steps
return obs, reward, False, truncated, {"distance": dist}観測(observation)は「5関節の現在角度」+「手先位置と目標位置の差分(3次元)」の合計8個。行動(action)は-1〜1の値5個で、関節ごとのctrlrangeに線形変換してからMuJoCoのctrlに渡します。報酬はStable-Baselines3入門のReacher-v5と同じ考え方で、「目標との距離が近いほど高い」+「大きすぎる行動には少しペナルティ」の合計です。
② ランダム行動の基準値を測る
学習前に、何もせずランダムに動かした場合の性能を測っておきます。
import numpy as np
from stable_baselines3.common.monitor import Monitor
from so101_reach_env import SO101ReachEnv
def evaluate(model, n_episodes=10):
env = Monitor(SO101ReachEnv())
rewards, dists = [], []
for ep in range(n_episodes):
obs, info = env.reset(seed=100 + ep)
done = False
total = 0.0
while not done:
action = env.action_space.sample() if model is None else model.predict(obs, deterministic=True)[0]
obs, reward, terminated, truncated, info = env.step(action)
total += reward
done = terminated or truncated
rewards.append(total)
dists.append(info["distance"])
return np.mean(rewards), np.std(rewards), np.mean(dists)
mean_r, std_r, mean_d = evaluate(None)
print(f"ランダム行動: 平均報酬 {mean_r:.2f} ± {std_r:.2f} / 平均最終距離 {mean_d:.3f}m")ランダム行動: 平均報酬 -23.49 ± 4.14 / 平均最終距離 0.228m③ PPOで学習させる
同じ環境をStable-Baselines3のPPOに50万ステップ学習させます。
from stable_baselines3 import PPO
env = Monitor(SO101ReachEnv())
model = PPO("MlpPolicy", env, verbose=0, n_steps=512, batch_size=256, seed=0)
model.learn(total_timesteps=500_000)
mean_r2, std_r2, mean_d2 = evaluate(model)
print(f"学習後: 平均報酬 {mean_r2:.2f} ± {std_r2:.2f} / 平均最終距離 {mean_d2:.3f}m")学習後: 平均報酬 -15.17 ± 3.00 / 平均最終距離 0.172m0.228m
ランダム行動の平均最終距離(10エピソード)
0.172m
PPO学習後(50万ステップ)の平均最終距離
CPUのみ(GPUなし)で学習時間は約3分20秒でした。平均最終距離がおよそ4分の1縮まり、ランダムより明確に目標へ近づけるようになったことが確認できます。Stable-Baselines3入門のReacher-v5(2関節・20,000ステップ)と比べて、SO-101は関節数が多く目標の範囲も広いため、同程度の手応えを得るのに必要な学習ステップ数もおよそ25倍になっています。
Reacher-v5(Stable-Baselines3入門)
- Gymnasium組み込みの抽象的な2関節アーム
- 観測10次元・行動2次元
- 20,000ステップで明確に改善
SO-101モデル(本記事)
- 実機と同じ構造のMuJoCo Menagerieモデル
- 観測8次元・行動5次元(6関節中グリッパー以外)
- 50万ステップでようやく明確な改善が見える
つまずきやすい点
MODEL_PATHが見つからないエラーになる → このコードはmujoco_menagerieフォルダがスクリプトと同じ場所(カレントディレクトリ)にある前提の相対パスです。別の場所に置いた場合はMODEL_PATHを実際のscene.xmlの場所に書き換えてください- 学習が全く改善しない → PPOの
n_stepsやbatch_sizeが小さすぎると学習が不安定になりがちです。本記事ではn_steps=512, batch_size=256で50万ステップ回しましたが、環境やシードによってはtotal_timestepsをさらに増やすか、learning_rateを調整する必要があります - グリッパーも含めて学習させたい → 本記事では
gripperアクチュエータのctrlを更新していないため、初期値(0)のまま固定されます。グリッパーの開閉も学習対象にする場合は、action_spaceを6次元に増やし、arm_ctrl_idxにgripperアクチュエータのインデックスも加えてください
まとめ
- MuJoCo MenagerieのSO-101モデルは、Gymnasiumの
gym.Envを自分で書けば強化学習の課題として使える - 観測=5関節角度+手先と目標の差分、行動=5関節の目標角度(-1〜1に正規化)という設計で、PPOが学習できる
- ランダム行動の平均最終距離0.228mに対し、PPOを50万ステップ学習させると0.172mまで改善する(CPUのみ・約3分20秒、本記事で実際に実行して確認)
- Reacher-v5のような抽象化された環境と比べ、実機構造のモデルは関節数や目標範囲が広い分、同程度の改善に必要な学習ステップ数も大きくなる
よくある質問
Q. この記事で学習した方策を、実際のSO-101にそのまま使えますか?
A. そのままは使えません。本記事のシミュレーションは関節の位置制御を理想的に扱っており、実機のサーボの遅れや摩擦、カメラ映像との同期などは含まれていません。実機に近づけるにはSim-to-Realの技術が必要です。詳しくはSim2Real実践(/learn/sim2real-practice)を参考にしてください。
Q. なぜPID制御ではなく強化学習を使うのですか?
A. 目標位置が1つに決まっているなら、MuJoCoで逆運動学を使う(/learn/mujoco-inverse-kinematics)のようにIKとPIDで直接解いたほうが速く確実です。強化学習が向いているのは、接触や摩擦など数式で表しにくい要素が絡む課題や、報酬を変えるだけで目的を切り替えたい場合です。
Q. 学習にGPUは必要ですか?
A. 必須ではありません。本記事のコードはGPUなしのCPUのみで実行し、50万ステップの学習に約3分20秒かかりました。より複雑な全身動作や大量の並列環境を使う本格的な学習になると、Isaac Lab入門(/learn/isaac-lab-tutorial)のようなGPU前提の環境が効果を発揮します。
📚 もう少し詳しく(なぜ位置制御だと学習しやすいのか)気になる人向け・タップで開く
SO-101モデルの関節アクチュエータは<position>(内部でPD制御のバネ・ダンパーが働く位置サーボ)です。行動をそのまま目標角度として渡せるため、PPOの方策ネットワークは「関節のトルクをどう加減するか」ではなく「次にどの角度を狙うか」だけを学べばよく、学習対象の問題がシンプルになります。
一方で、位置制御は内部のゲイン(バネ・ダンパーの強さ)がモデル側で固定されているため、「力の強さそのもの」を学習で調整することはできません。接触後の力加減まで学習したい場合は、MuJoCoでロボットアームを制御する(/learn/mujoco-robot-arm-control)のようなトルク(<motor>)ベースのアクチュエータに切り替える必要があります。
次の一歩 🌸
MuJoCo Menagerieの基本に戻るならMuJoCo Menagerie入門、Stable-Baselines3とPPOの基礎を確認したいならStable-Baselines3入門へ。IKとPIDで直接解く方法はMuJoCoで逆運動学を使う、GPUで大量並列学習する本格的な強化学習はIsaac Lab入門を参考にしてください。実機のSO-101を動かすところまで進みたい人はSO-101組み立てガイドへどうぞ。
参考資料・出典
- google-deepmind/mujoco_menagerie - robotstudio_so101SO-101モデルのMJCF定義。関節名・アクチュエータが<position>アクチュエータであること、ctrlrange、gripperframeサイトを確認
- stable-baselines3 · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン2.9.2を確認
- gymnasium · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン1.4.0を確認
- mujoco · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン4.0.1を確認
ゆるふわポータルでは、一次情報・公的資料にもとづき、専門用語をできるだけやさしく翻訳することを心がけています。内容に誤りや古い情報がある場合は、お問い合わせからご連絡ください。
執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月20日
ゆるふわフィジカルAI