スポンサーサイト
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
--/--/-- --:-- | スポンサー広告 | pagetop↑


自律学習型ラジコン(の続き)
前回、ヘタレた動きを見せていた自律学習ロボットがそこそこ動いているので
動画をアップしておきます。

正直、一番問題だったのはカーペットの上を走ると摩擦が大き過ぎて電池がすぐ無くなる。
=学習が進まないってとこだったので、

作ってやりましたよ!アンビリカルケーブルを!
(※注:ただの電源ケーブルです!(笑))

umbilical_cable01.jpg
umbilical_cable02.jpg

これで電源のことは気にせず学習できるようになりました。
というか、やっと収束するとこまでいった(笑)



こんな感じで走り回っております。
まあ後ろは全く見えてない(近接センサが前にしかついてない)ので、
ご愛嬌な部分はありますがそれでも学習の結果、
前回よりは良い動きをしてくれてるんじゃないでしょうか。
事前の知識無しでも障害物はほぼ認識できている模様。

今後はセンサの数を増やしてみるか、
二足歩行ロボットに搭載して歩行を自己学習できるか、、、
どちらにせよArduinoでは限界が近いかもです。

Arduino Duemilanove 328
Arduino Duemilanove 328
posted with amazlet at 10.03.29
スイッチサイエンス
売り上げランキング: 26886
おすすめ度の平均: 5.0
5 ハードが苦手でも自分好みの機械を作れます!
5 手軽に組込システムを始められる。あとはあなたの創造力次第。
スポンサーサイト
2010/03/29 02:28 | ロボット | 自作制御Arduino知能モデル | コメント(2) | Trackback(0) | pagetop↑


自律学習型ラジコン
orehatoyotahasukidehanainodakedone.jpg

強化学習とRNNSOMを使った自律学習ロボットが動きましたので、
とりあえず現状をご報告。

強化学習_解説
と、その前に強化学習についてちょっと話しておきます。
強化学習器は一般に「エージェント」と呼ばれ、
こいつが環境(外界)を観測(センサ情報を読み取り)し、
現在の状態において最適な行動を繰り返し学習する中で獲得していく
という学習制御になっています。

目的を達成した時に得られる報酬から最適な方策を学習出来るアルゴリズムである点が
ニューラルネットワークのような教師付き学習との一番の違いですね。

RNNSOMを利用した階層型強化学習
と、ここまでで「自分で学習してくれるなら凄いじゃん!人工知能じゃん!」
と思われるかもしれませんが、世の中そうは甘くありません(笑)

エージェントが観測出来る環境は基本的に人間が切り分けたメモリ空間であり、
その切り分け方が間違っていると最適な行動を学習出来ない場合があります。

例えば「サッカーボールをゴールに蹴り入れる」という問題があったとして
ロボットが認識出来る状態を
「足を振り上げた状態」と「ゴールにボールが入っている状態」
と切り分けてしまったします。
これだと「足を振り下ろした状態」がロボットには認識出来ないので
何度学習しても自分の足とボールとゴールの
関連性を正確に獲得することは期待出来ませんよね?

ということで、状態空間をいかに切り分けるかが強化学習の一つのポイントなわけです。
で、学生時代のオレは自己組織化を行ってくれるSOMに目をつけたという訳。

SOMは日本語では「自己組織化マップ」と呼ばれる物で、
入力情報を類似度に応じて分類する能力を自律的に獲得していく事が出来ます。
入力情報に対して、その情報の特徴を最もよく捉えたある1つのニューロンが発火し、
その発火ニューロンとその周りのニューロンのベクトルを
入力情報に近づくように更新することで、自身の内部を少しずつ整理していきます。
これを何度も繰り返し「似たような性質の情報同士が近い場所に集る」
ようにしていくわけです。

これなら外界の情報から状態空間を構築するので、
大きく変化する部分で自動的に状態を切り分ける事が出来ます。

単純なSOMでは時系列データに対応出来ないので、
ニューロンにフィードバックループをくっつけて
時系列のセンサ情報を扱えるように改変。
上の図にあるように、入力層に入った各種センサ情報を元に
一番ベクトルが近い出力層のニューロンが発火、
そのニューロンの位置情報を状態としてエージェントが観測し、
そこから行動を決定する仕組みを作成しました。

まあ、実は今回はメモリが足りなくて階層構造に出来なかったんだけど、
RNNSOMと強化学習の組み合わせ方は上の図のまんまです。
(Arduinoのメモリが少なくて5×5のニューロンでしか状態空間を構成出来ませんでした)


そんで、現状こんなヘボい動きですがなんとか動いてます、、、
障害物を避けるようなロジックは書いていません。
報酬は「なるべく前へ進んだ分だけプラス」「衝撃があるとマイナス」としました。
後はセンサからの情報を頼りに、自分でどうすれば前進出来るか考えて
モーターの動きを学習しています。
自動車というより昆虫みたいな動きになっちゃいましたね、、、

まあ、これが最終段階というわけじゃなくて
これも作りたい物のテストの一環なんですけどね、、、
2010/03/05 01:21 | ロボット | 自作制御Arduino知能モデル | コメント(7) | Trackback(0) | pagetop↑


ArduinoでRNNSOMでVJ!?
とりあえず動画を撮ったのでまだテスト段階ですがアップします。



【注】音量かなり小さいのでヴォリューム上げて下さい

学生時代の研究用ソースから一部拝借し、ArduinoにRNNSOMをブチ込んでみました。
で、平面状に並べた8×8ニューロンの発火具合をそのままLEDに表示。

早い話が何も教えなくてもとにかく音楽をいっぱい聴かせてやれば、
コンピュータが自分で考えて、LEDを音楽に合わせてキラキラさせるようになるって代物。
最終的には小型化して自分のギターに埋め込んでやろうと考えてます。
マイクで音拾ってるだけなので、どこでもキラキラしてくれるハズ!
(実はこのコンデンサマイクの音を増幅させる部分に一番手間取った、、、)

普通のSOMは時系列データに対応してないですけど、
オレのRNNSOMなら音声信号でもある程度いけるだろうという読みでやってみて正解。
元々、腕の補助器具(パワードスーツ?)用に作って、
筋電位から腕にかかってる負荷を調べれてたんだから、そこそこは動きますわな。

ちなみにフーリエ変換とか一切してません。
マイクから入力した生データのみでもこれくらいの自己組織化はしてくれるようです。



Arduino Duemilanove 328
Arduino Duemilanove 328
posted with amazlet at 09.11.15
スイッチサイエンス
売り上げランキング: 7036
おすすめ度の平均: 5.0
5 ハードが苦手でも自分好みの機械を作れます!
5 手軽に組込システムを始められる。あとはあなたの創造力次第。




Arduinoをはじめよう
Arduinoをはじめよう
posted with amazlet at 09.11.15
Massimo Banzi
オライリージャパン
売り上げランキング: 12316
おすすめ度の平均: 4.5
5 最終的には無くてもいいのだが
3 正直がっかり
5 日本語リファレンスだけでも価値があります
<<続きを読む>>
2009/12/17 01:19 | ガジェット | 自作制御Arduino知能モデル | コメント(0) | Trackback(0) | pagetop↑


学習・発達・進化に興味がある
Boston Dynamics社のBig Dogというロボットです。
荷物運搬用だそうですが「荷物」の定義は広いですから、、、



なんとも軽快に歩くロボットですねー
転びそうになっても、素晴らしいバランス感覚で復帰。蹴られても大丈夫!
バランスを崩した時の動作を見る限り、学習制御だと思います。
いちいち人間がパラメータ決めてるならそれはそれで賞賛ものですが、、、
凄い非線形な動きが多くてまるで動物みたいですよねー
各足の動きから推測するに、それぞれの足が独立した命令系統を持っているようです。
まさに動物の四肢と同じ構成ですね。
最後の方でピョンピョン跳ねてますけど、どんなアクチュエータ使ってるんでしょうか?
それとも、普通のアクチュエータでもフィードバックうまく使えば、
負荷を軽減させつつこんな動きができるものなのかな?
意外に高レベルな技術が詰め込まれたロボットですよ、これは。
2008/03/20 02:43 | ロボット | 自律モデル制御技術 | コメント(0) | Trackback(0) | pagetop↑


うずうずしてきたっ!!!
ついに動詞の理解ですか、、、
言語現象における時系列モデルの獲得と、
自身の身体への投影ができているということでしょうか?
客観から主観への変換ができているのであればワクワクもんですね!!!
学習の過程で構築されている(であろう)モデルに興味津々です!

赤を「青」と教え続けて、モデルが完成した段階で
「実はこれは赤っていうんだYo!」ってやってみたい!
オレの構築したシステムではこのパラドックスからの再学習ができない。
一つの認識の違いなのに、まるで世界が崩壊したみたいに
全部忘れて一から学習しようとしてしまいます、、、
2007/06/16 22:29 | ロボット | 知能モデル技術 | コメント(0) | Trackback(0) | pagetop↑


| ホーム | 前ページ≫
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。