ゆるふわフィジカルAI
パソコンで作業中のゆるロボ

Stable-Baselines3入門|PPOでロボットアームの強化学習を試す

2026-11-12 ・ 実践

#StableBaselines3#強化学習#PPO#Python#実践

Stable-Baselines3とは、PyTorchで実装された強化学習アルゴリズム(PPO・SAC・DQNなど)を、数行のコードで呼び出せるようにしたオープンソースのPythonライブラリです。 Gymnasium入門ではCartPoleに「人間が考えたルール」を当てはめましたが、今回はその続きとして、2関節のロボットアームが手先を目標位置に伸ばす課題(Reacher-v5)を、Stable-Baselines3のPPOに自動で学習させます。GPUなしのCPUだけで、学習は20秒ほどで終わります。

この記事で分かること

  • Stable-Baselines3はPyTorchベースの強化学習ライブラリ(MIT License)。gym.make()で作ったGymnasium環境を、数行のコードでPPOなどに学習させられる
  • 2関節ロボットアームが手先をターゲットに伸ばすReacher-v5で、ランダム行動(平均報酬-43.2)とPPO学習後(-20.1)の差を実際に確認する
  • この記事のコードはGPUなしのCPUで検証済み。PPOの学習にGPUは必須ではなく、画像入力や大量の並列環境を使う本格的な学習で効果が出てくる

対象読者:Gymnasiumの基本ループを体験した後、実際に強化学習アルゴリズムでロボットを学習させてみたい学習者・エンジニア

執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月12日

Stable-Baselines3でできること

学習までの流れ

🌍

環境を作る

gym.make("Reacher-v5")

→
🧠

アルゴリズムを選ぶ

PPO("MlpPolicy", env)

→
🔁

model.learn()

試行錯誤を指定ステップ数くり返す

→
📊

評価する

学習後の方策の平均報酬を確認

Gymnasium入門で体験したenv.reset()→env.step(action)のループ自体は、Stable-Baselines3を使っても変わりません。違うのは、「actionをどう決めるか」を人間が書く代わりに、PPOという学習アルゴリズムが試行錯誤しながら自動で決めることです。

インストール

MuJoCo入りのGymnasium環境と、Stable-Baselines3本体をインストールします。

ターミナル
pip install "gymnasium[mujoco]" stable-baselines3
💡

Python 3.10以降が必要

Stable-Baselines3はPython 3.10以降、PyTorch 2.8以降に対応しています。MuJoCo入門でpip install mujocoだけ済ませてある人も、gymnasium[mujoco]を追加で入れてください。

① ロボットアームをランダムに動かしてみる

Reacher-v5は、根元と肘の2つの関節(ヒンジジョイント)を持つ2関節アームが、ランダムに配置されたターゲットに指先を伸ばす課題です。行動は各関節に加えるトルク2つ、観測は関節角度・角速度・ターゲット位置・指先とターゲットの差分をまとめた10個の数値です。報酬は「指先とターゲットの距離が近いほど高い(マイナスが小さい)」+「使ったトルクが小さいほど高い」の合計で計算されます1。

まずは何も学習させず、ランダムな行動を続けるとどれくらいの報酬になるか見てみましょう。

Python
import gymnasium as gym
 
random_env = gym.make("Reacher-v5")
 
total_reward = 0.0
n_episodes = 20
for ep in range(n_episodes):
    obs, info = random_env.reset(seed=ep)
    terminated = truncated = False
    ep_reward = 0.0
    while not (terminated or truncated):
        action = random_env.action_space.sample()  # 2関節のトルクをランダムに
        obs, reward, terminated, truncated, info = random_env.step(action)
        ep_reward += reward
    total_reward += ep_reward
 
print("ランダム行動の平均報酬:", total_reward / n_episodes)
random_env.close()
ランダム行動の平均報酬: -43.2
💡

Reacher-v5は50ステップで打ち切り

Reacher-v5には「失敗して終了(terminated)」はなく、50ステップに達すると時間切れ(truncated)で1エピソードが終わります。報酬は毎ステップ負の値が加算されていくので、数値が0に近いほど「速く・省エネでターゲットに届いた」ことを意味します。

② PPOで学習させる

ここからが本番です。同じ環境を、Stable-Baselines3のPPO(Proximal Policy Optimization)に20,000ステップぶん試行錯誤させます。

Python
from stable_baselines3 import PPO
from stable_baselines3.common.monitor import Monitor
from stable_baselines3.common.evaluation import evaluate_policy
 
env = Monitor(gym.make("Reacher-v5"))
model = PPO("MlpPolicy", env, verbose=0, seed=0)
model.learn(total_timesteps=20000)
 
mean_reward, std_reward = evaluate_policy(model, env, n_eval_episodes=20)
print(f"PPO学習後の平均報酬: {mean_reward:.1f} +/- {std_reward:.1f}")
env.close()
PPO学習後の平均報酬: -20.1 +/- 1.3

PPO("MlpPolicy", env)の1行で、「観測を受け取って行動を出す」ニューラルネットワーク(方策)が作られます。model.learn(total_timesteps=20000)を実行すると、このネットワークが環境との20,000回のやり取りから、報酬を増やす方向にパラメータを少しずつ更新していきます。evaluate_policyで学習後の方策を20エピソード動かすと、ランダム行動の-43.2から-20.1まで、報酬がおよそ2倍以上改善していることが確認できます。

🌱

GPUなしでも約20秒

このコードはGPUなし(CPUのみ)の環境で実行し、学習にかかった時間は約20秒でした。Reacher-v5のような低次元のタスクでは、方策のネットワークも小さいためGPUは必須ではありません。画像を直接入力するタスクや、何千もの環境を同時に動かす本格的な学習になるとGPUの効果が大きくなります。

学習前後でどれだけ変わったか

🎲

-43.2

ランダム行動の平均報酬(20エピソード)

🕹️

-20.1 ± 1.3

PPO学習後(20,000ステップ)の平均報酬

20,000ステップはPPOとしてはごく短い学習です。total_timestepsをもっと増やせば、さらにターゲットに正確に届くよう改善が進みます。

PID制御と何が違うのか

MuJoCoでロボットアームを制御するでは、PIDコントローラで「目標角度に収束させる」制御を人間が設計しました。Reacher-v5も同じ2関節アームの制御課題ですが、アプローチが異なります。

🎯

PID制御

  • 目標角度と現在角度の差から、人間が式を設計
  • 数式どおりに動くので挙動が予測しやすい
  • 「目標位置に伸ばす」をゼロから自動発見はしない
VS
🕹️

PPO(強化学習)

  • 報酬(距離が近いほど高い)だけ決めて、動かし方は試行錯誤で自動発見
  • 学習が終わるまで性能が読めない(最初はランダムより悪いことも)
  • 報酬を変えるだけで別の目的(速く・省エネに等)にも対応しやすい

本格的な学習に進みたくなったら

Reacher-v5のような単一環境・CPU学習は、アルゴリズムの動きを理解するには十分ですが、実際のロボット研究ではGPUで数千の環境を並列に動かし、もっと複雑な全身動作を学習させます。その入り口がIsaac Lab入門で、考え方の全体像は強化学習でロボットを歩かせる記事にまとめています。学習がうまくいっても、シミュレーションと実機のズレ(Sim-to-Realギャップ)が次の壁になるので、Sim2Real実践も合わせて読んでおくと見通しが立ちます。

まとめ

  • Stable-Baselines3は、PyTorchベースの強化学習アルゴリズムを数行で使えるMITライセンスのOSS
  • pip install "gymnasium[mujoco]" stable-baselines3で、2関節ロボットアームの到達課題Reacher-v5をすぐ試せる
  • ランダム行動の平均報酬-43.2から、PPOを20,000ステップ学習させると-20.1 ± 1.3まで改善する(CPUのみ・約20秒)
  • GPUが必須になるのは、画像入力や大量の並列環境を使う本格的な学習から。次の一歩はIsaac Lab

よくある質問

Q. Stable-Baselines3は無料で使えますか?

A. はい、無料です。Stable-Baselines3はMITライセンスで公開されているオープンソースのPythonライブラリで、pip installで導入できます。

Q. PPOの学習にGPUは必須ですか?

A. 必須ではありません。Reacher-v5のような低次元の観測・方策ネットワークが小さいタスクなら、CPUだけで数十秒から数分で学習できます。画像を直接入力するタスクや、何千もの環境を同時に並列実行する本格的な学習ではGPUの効果が大きくなります。

Q. この記事で学習した方策を、実際のロボットアームでそのまま動かせますか?

A. そのままは動かせません。Reacher-v5はシミュレーション上の2関節アームで、実機のセンサー誤差やモーターの遅れ、摩擦は含まれていません。実機に近づけるには、シミュレーションと実機のズレを扱うSim-to-Realの技術が必要です。

📚 もう少し詳しく(背景)気になる人向け・タップで開く

PPO(Proximal Policy Optimization)は、Schulman et al.(2017)がOpenAIで発表した方策勾配法の一種です2。方策(行動を決めるニューラルネットワーク)を1回の更新ごとに大きく変えすぎないよう制約をかけることで、学習が不安定になりにくく、実装も比較的シンプルという特徴があり、ロボットの強化学習で広く使われる手法の1つになっています。

Isaac Lab入門や強化学習でロボットを歩かせる記事で使われているのも同じPPO系の方策勾配法です。違いは、Stable-Baselines3が1つの環境をCPUで動かすのに対し、Isaac LabはGPU上で数千の環境を並列に動かして、同じ総ステップ数をはるかに短い時間で集められる点にあります。

次の一歩 🌸

もう一度Gymnasiumの基本に戻るならGymnasium入門、PIDのような古典的な制御と比べたいならMuJoCoでロボットアームを制御するへ。学習全体の順番を確認したい人はフィジカルAIの学習ロードマップもどうぞ。

参考資料・出典

ゆるふわポータルでは、一次情報・公的資料にもとづき、専門用語をできるだけやさしく翻訳することを心がけています。内容に誤りや古い情報がある場合は、お問い合わせからご連絡ください。

執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月12日

Footnotes

  1. Gymnasium公式リポジトリ(Farama-Foundation/Gymnasium)のgymnasium/envs/mujoco/reacher_v5.pyに、観測10次元(関節角のcos/sin、ターゲット座標、角速度、指先とターゲットの差分)、行動2次元(各関節のトルク)、報酬=reward_dist+reward_ctrl、max_episode_steps=50が定義されている。 ↩

  2. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). "Proximal Policy Optimization Algorithms." arXiv:1707.06347。方策の更新幅を制限するクリッピングで学習を安定させる方策勾配法。 ↩

この記事をシェア:𝕏 で共有LINEで送る

🔥 この分野の最新トレンドをチェック →

あわせて読みたい

MuJoCo Menagerie入門|SO-101やUR5eの完成済みロボットモデルを動かす

MuJoCo Menagerieとは、Google DeepMindが公開するMuJoCo用の完成済みロボットモデル集です。SO-101やUR5eなど70種類超のモデルをgit cloneしてそのまま動かす手順を、実際に動かしたコード付きで解説します。

RRTをPythonで実装する|ロボットが「狭い隙間」を抜ける経路計画

RRT(高速探索ランダム木)とは、ランダムに点を打って木を伸ばし、障害物を避けながらゴールまでの経路を探す手法。グリッドが使えない連続空間での経路計画を、Pythonでゼロから実装して動かします。

MuJoCoで逆運動学を使う|IKで目標位置へ手先を届かせる動かし方

MuJoCoで逆運動学(IK)を使うとは、手先の目標位置から関節角度を逆算し、その角度をPID制御の目標値として物理エンジン内のアームに与えることです。肘上げ・肘下げの2つの解や、届かない目標を指定した場合の挙動まで、実際に動かして確認したコード付きで解説します。

MuJoCoでロボットアームを制御する|PIDで関節を目標角度に動かす

MuJoCoでロボットアームを制御するとは、関節にアクチュエータを足し、PIDコントローラが計算した力を流し込むことです。2関節アームのMJCF定義から、重力下でPIDが目標姿勢に収束する様子までPythonコードで確認します。