Stable-Baselines3とは、PyTorchで実装された強化学習アルゴリズム(PPO・SAC・DQNなど)を、数行のコードで呼び出せるようにしたオープンソースのPythonライブラリです。 Gymnasium入門ではCartPoleに「人間が考えたルール」を当てはめましたが、今回はその続きとして、2関節のロボットアームが手先を目標位置に伸ばす課題(Reacher-v5)を、Stable-Baselines3のPPOに自動で学習させます。GPUなしのCPUだけで、学習は20秒ほどで終わります。
この記事で分かること
- Stable-Baselines3はPyTorchベースの強化学習ライブラリ(MIT License)。gym.make()で作ったGymnasium環境を、数行のコードでPPOなどに学習させられる
- 2関節ロボットアームが手先をターゲットに伸ばすReacher-v5で、ランダム行動(平均報酬-43.2)とPPO学習後(-20.1)の差を実際に確認する
- この記事のコードはGPUなしのCPUで検証済み。PPOの学習にGPUは必須ではなく、画像入力や大量の並列環境を使う本格的な学習で効果が出てくる
対象読者:Gymnasiumの基本ループを体験した後、実際に強化学習アルゴリズムでロボットを学習させてみたい学習者・エンジニア
執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月12日
Stable-Baselines3でできること
学習までの流れ
環境を作る
gym.make("Reacher-v5")
アルゴリズムを選ぶ
PPO("MlpPolicy", env)
model.learn()
試行錯誤を指定ステップ数くり返す
評価する
学習後の方策の平均報酬を確認
Gymnasium入門で体験したenv.reset()→env.step(action)のループ自体は、Stable-Baselines3を使っても変わりません。違うのは、「actionをどう決めるか」を人間が書く代わりに、PPOという学習アルゴリズムが試行錯誤しながら自動で決めることです。
インストール
MuJoCo入りのGymnasium環境と、Stable-Baselines3本体をインストールします。
pip install "gymnasium[mujoco]" stable-baselines3Python 3.10以降が必要
Stable-Baselines3はPython 3.10以降、PyTorch 2.8以降に対応しています。MuJoCo入門でpip install mujocoだけ済ませてある人も、gymnasium[mujoco]を追加で入れてください。
① ロボットアームをランダムに動かしてみる
Reacher-v5は、根元と肘の2つの関節(ヒンジジョイント)を持つ2関節アームが、ランダムに配置されたターゲットに指先を伸ばす課題です。行動は各関節に加えるトルク2つ、観測は関節角度・角速度・ターゲット位置・指先とターゲットの差分をまとめた10個の数値です。報酬は「指先とターゲットの距離が近いほど高い(マイナスが小さい)」+「使ったトルクが小さいほど高い」の合計で計算されます1。
まずは何も学習させず、ランダムな行動を続けるとどれくらいの報酬になるか見てみましょう。
import gymnasium as gym
random_env = gym.make("Reacher-v5")
total_reward = 0.0
n_episodes = 20
for ep in range(n_episodes):
obs, info = random_env.reset(seed=ep)
terminated = truncated = False
ep_reward = 0.0
while not (terminated or truncated):
action = random_env.action_space.sample() # 2関節のトルクをランダムに
obs, reward, terminated, truncated, info = random_env.step(action)
ep_reward += reward
total_reward += ep_reward
print("ランダム行動の平均報酬:", total_reward / n_episodes)
random_env.close()ランダム行動の平均報酬: -43.2Reacher-v5は50ステップで打ち切り
Reacher-v5には「失敗して終了(terminated)」はなく、50ステップに達すると時間切れ(truncated)で1エピソードが終わります。報酬は毎ステップ負の値が加算されていくので、数値が0に近いほど「速く・省エネでターゲットに届いた」ことを意味します。
② PPOで学習させる
ここからが本番です。同じ環境を、Stable-Baselines3のPPO(Proximal Policy Optimization)に20,000ステップぶん試行錯誤させます。
from stable_baselines3 import PPO
from stable_baselines3.common.monitor import Monitor
from stable_baselines3.common.evaluation import evaluate_policy
env = Monitor(gym.make("Reacher-v5"))
model = PPO("MlpPolicy", env, verbose=0, seed=0)
model.learn(total_timesteps=20000)
mean_reward, std_reward = evaluate_policy(model, env, n_eval_episodes=20)
print(f"PPO学習後の平均報酬: {mean_reward:.1f} +/- {std_reward:.1f}")
env.close()PPO学習後の平均報酬: -20.1 +/- 1.3PPO("MlpPolicy", env)の1行で、「観測を受け取って行動を出す」ニューラルネットワーク(方策)が作られます。model.learn(total_timesteps=20000)を実行すると、このネットワークが環境との20,000回のやり取りから、報酬を増やす方向にパラメータを少しずつ更新していきます。evaluate_policyで学習後の方策を20エピソード動かすと、ランダム行動の-43.2から-20.1まで、報酬がおよそ2倍以上改善していることが確認できます。
GPUなしでも約20秒
このコードはGPUなし(CPUのみ)の環境で実行し、学習にかかった時間は約20秒でした。Reacher-v5のような低次元のタスクでは、方策のネットワークも小さいためGPUは必須ではありません。画像を直接入力するタスクや、何千もの環境を同時に動かす本格的な学習になるとGPUの効果が大きくなります。
学習前後でどれだけ変わったか
-43.2
ランダム行動の平均報酬(20エピソード)
-20.1 ± 1.3
PPO学習後(20,000ステップ)の平均報酬
20,000ステップはPPOとしてはごく短い学習です。total_timestepsをもっと増やせば、さらにターゲットに正確に届くよう改善が進みます。
PID制御と何が違うのか
MuJoCoでロボットアームを制御するでは、PIDコントローラで「目標角度に収束させる」制御を人間が設計しました。Reacher-v5も同じ2関節アームの制御課題ですが、アプローチが異なります。
PID制御
- 目標角度と現在角度の差から、人間が式を設計
- 数式どおりに動くので挙動が予測しやすい
- 「目標位置に伸ばす」をゼロから自動発見はしない
PPO(強化学習)
- 報酬(距離が近いほど高い)だけ決めて、動かし方は試行錯誤で自動発見
- 学習が終わるまで性能が読めない(最初はランダムより悪いことも)
- 報酬を変えるだけで別の目的(速く・省エネに等)にも対応しやすい
本格的な学習に進みたくなったら
Reacher-v5のような単一環境・CPU学習は、アルゴリズムの動きを理解するには十分ですが、実際のロボット研究ではGPUで数千の環境を並列に動かし、もっと複雑な全身動作を学習させます。その入り口がIsaac Lab入門で、考え方の全体像は強化学習でロボットを歩かせる記事にまとめています。学習がうまくいっても、シミュレーションと実機のズレ(Sim-to-Realギャップ)が次の壁になるので、Sim2Real実践も合わせて読んでおくと見通しが立ちます。
まとめ
- Stable-Baselines3は、PyTorchベースの強化学習アルゴリズムを数行で使えるMITライセンスのOSS
pip install "gymnasium[mujoco]" stable-baselines3で、2関節ロボットアームの到達課題Reacher-v5をすぐ試せる- ランダム行動の平均報酬-43.2から、PPOを20,000ステップ学習させると-20.1 ± 1.3まで改善する(CPUのみ・約20秒)
- GPUが必須になるのは、画像入力や大量の並列環境を使う本格的な学習から。次の一歩はIsaac Lab
よくある質問
Q. Stable-Baselines3は無料で使えますか?
A. はい、無料です。Stable-Baselines3はMITライセンスで公開されているオープンソースのPythonライブラリで、pip installで導入できます。
Q. PPOの学習にGPUは必須ですか?
A. 必須ではありません。Reacher-v5のような低次元の観測・方策ネットワークが小さいタスクなら、CPUだけで数十秒から数分で学習できます。画像を直接入力するタスクや、何千もの環境を同時に並列実行する本格的な学習ではGPUの効果が大きくなります。
Q. この記事で学習した方策を、実際のロボットアームでそのまま動かせますか?
A. そのままは動かせません。Reacher-v5はシミュレーション上の2関節アームで、実機のセンサー誤差やモーターの遅れ、摩擦は含まれていません。実機に近づけるには、シミュレーションと実機のズレを扱うSim-to-Realの技術が必要です。
📚 もう少し詳しく(背景)気になる人向け・タップで開く
PPO(Proximal Policy Optimization)は、Schulman et al.(2017)がOpenAIで発表した方策勾配法の一種です2。方策(行動を決めるニューラルネットワーク)を1回の更新ごとに大きく変えすぎないよう制約をかけることで、学習が不安定になりにくく、実装も比較的シンプルという特徴があり、ロボットの強化学習で広く使われる手法の1つになっています。
Isaac Lab入門や強化学習でロボットを歩かせる記事で使われているのも同じPPO系の方策勾配法です。違いは、Stable-Baselines3が1つの環境をCPUで動かすのに対し、Isaac LabはGPU上で数千の環境を並列に動かして、同じ総ステップ数をはるかに短い時間で集められる点にあります。
次の一歩 🌸
もう一度Gymnasiumの基本に戻るならGymnasium入門、PIDのような古典的な制御と比べたいならMuJoCoでロボットアームを制御するへ。学習全体の順番を確認したい人はフィジカルAIの学習ロードマップもどうぞ。
参考資料・出典
- DLR-RM/stable-baselines3 (GitHub)Stable-Baselines3公式リポジトリのREADME。概要、対応アルゴリズム、インストール手順、対応Python/PyTorchバージョンを確認
- stable-baselines3 · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン2.9.2、requires-python>=3.10を確認
- gymnasium · PyPIPyPI公式パッケージページ。2026年11月時点の最新バージョン1.4.0を確認
- Farama-Foundation/Gymnasium - reacher_v5.py (GitHub)Reacher-v5の観測・行動・報酬の定義、max_episode_steps=50を確認
- DLR-RM/stable-baselines3 - LICENSE (GitHub)MIT Licenseであることを確認
ゆるふわポータルでは、一次情報・公的資料にもとづき、専門用語をできるだけやさしく翻訳することを心がけています。内容に誤りや古い情報がある場合は、お問い合わせからご連絡ください。
執筆:ゆるふわフィジカルAI編集部 最終更新日:2026年11月12日
Footnotes
-
Gymnasium公式リポジトリ(Farama-Foundation/Gymnasium)の
gymnasium/envs/mujoco/reacher_v5.pyに、観測10次元(関節角のcos/sin、ターゲット座標、角速度、指先とターゲットの差分)、行動2次元(各関節のトルク)、報酬=reward_dist+reward_ctrl、max_episode_steps=50が定義されている。 ↩ -
Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). "Proximal Policy Optimization Algorithms." arXiv:1707.06347。方策の更新幅を制限するクリッピングで学習を安定させる方策勾配法。 ↩
ゆるふわフィジカルAI