ゆるふわフィジカルAI
フィジカルAIの最大のボトルネックは、モデルでもGPUでもなくデータです。言語AIはインターネット全体を学習できましたが、「物をつかむ感覚」はネット上に落ちていません。誰かがロボットを動かして作るしかない — それがテレオペです。
テレオペとは
人間がロボットを操作して、その動きを記録すること。記録された「見た映像」と「その時の関節の動き」のペアが、AIの教科書になります。
データが学習になるまで
人が操作
リーダーアーム/VR
記録
映像＋関節角度
模倣学習
AIが真似を覚える
操作方式の選び方
| 方式 | コスト | 直感性 | 向いている用途 |
|---|---|---|---|
| リーダーアーム | 中（2〜3万円） | ◎ 非常に高い | アーム操作。SO-101の定番 |
| VRコントローラ | 中 | ○ 高い | ヒューマノイドの両手作業 |
| ゲームパッド | 低（3,000円〜） | △ 低い | 移動ロボット、簡単な動作 |
| キーボード | 0円 | ✕ かなり低い | 動作確認用。学習データには不向き |
同じ形のアームを手で動かす「リーダー・フォロワー方式」が最も直感的で、良いデータが取れます（SO-101組み立てガイド参照）。
何エピソード集めればいい？
目安はこうです。
30〜50回
とりあえず動く（同じ位置なら成功）
100〜200回
実用ライン（位置が変わっても対応）
500回〜
頑健（照明や物体が変わっても動く）
回数より「ばらつき」
同じ位置で500回やるより、物の位置・向き・照明を毎回変えて100回のほうが賢くなります。AIは「見たことのある状況」しか対応できないので、多様性こそが価値です。
良いデータ・悪いデータ
良いデータ
- 動きが滑らか（人間が迷わず操作できている）
- 開始位置と物体位置に適度なばらつきがある
- 失敗した回はきちんと除外している
悪いデータ
- 途中で操作をためらい、カクついている
- 毎回まったく同じ配置（AIが「暗記」してしまう）
- 失敗エピソードが混ざったまま（失敗を学習してしまう）
失敗データの扱い
基本は削除ですが、「失敗してから復帰する」データはむしろ価値があります。掴み損ねてやり直す動きを学べば、本番でも復帰できるロボットになるからです。ただの操作ミスは削除、意味のあるリカバリは残すが判断基準です。
実際のコマンド（LeRobot）
# 50エピソード記録する
lerobot-record \
--robot.type=so101_follower --robot.port=/dev/ttyUSB0 \
--teleop.type=so101_leader --teleop.port=/dev/ttyUSB1 \
--dataset.repo_id=あなたのID/pick_place \
--dataset.num_episodes=50 \
--dataset.single_task="赤いブロックを箱に入れる"
記録中は右矢印キーで「次のエピソードへ」、左矢印キーで「今のを破棄してやり直し」ができます。失敗したらその場で破棄するのが後々のデータ整理を楽にするコツです。
収集を続けるコツ
正直に言うと、テレオペは地味で疲れる作業です。続けるための現実的な工夫を挙げます。
- 1セッション30分まで。集中力が切れたデータは品質が落ちる
- タスクを小さく切る。「片付け」ではなく「1個つかんで箱に入れる」
- 音楽をかける。本当に効きます
- データは公開する。Hugging Face Hubに上げれば世界中の人が使え、あなたの実績にもなります
データセットを公開する
# Hugging Face Hubにアップロード
huggingface-cli login
lerobot-dataset-push --repo-id=あなたのID/pick_place
フィジカルAIはデータ不足が業界共通の課題なので、質の良いデータセットの公開は歓迎されます。転職ポートフォリオとしても強い実績になります（ポートフォリオの作り方参照）。
まとめ
- フィジカルAI最大のボトルネックはデータ。作るしかない
- 実用ラインは100〜200エピソード。回数よりばらつきが重要
- 良いデータ＝滑らか・多様・失敗除外済み
- 収集は疲れる作業。小さく刻んで、公開して価値に変える
もう少し詳しく（背景と理論）
テレオペで集めるのは、模倣学習（行動クローン）の教師データです。低コストな双腕テレオペ環境 ALOHA（Zhao et al., 2023）は、精密な操作デモを大量に集めて高性能な方策を学べることを示しました1。行動クローンの古典的な弱点は共変量シフト——学習データにない状態にわずかでも逸れると誤差が累積して破綻する現象で2、これを緩和する DAgger（実行中に専門家の修正を集める、Ross et al. 2011）などの手法があります3。だから「成功デモだけ」でなく、復帰動作を含む多様で質の高いデモを集めることが、頑健な方策の鍵になります。
次の一歩 🌸
集めたデータで基盤モデルを鍛えるならIsaac GR00T入門、実機を持っていない人はLeRobot入門の公開データセットから試せます。
Footnotes
-
Zhao, T. Z. et al. (2023). "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (ALOHA / ACT)." RSS 2023. 安価な双腕テレオペと Action Chunking で精密操作を学習。 ↩
-
行動クローンは学習分布と実行分布のズレ（covariate shift）に弱く、誤差が時間とともに累積する（compounding error）。多様なデモや修正データで緩和する。 ↩
-
Ross, S., Gordon, G., Bagnell, D. (2011). "A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning (DAgger)." AISTATS 2011. 実行中に専門家ラベルを集めて分布ズレを抑える。 ↩