スポンサーサイト
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
--/--/-- --:-- | スポンサー広告 | pagetop↑


自律学習型ラジコン(の続き)
前回、ヘタレた動きを見せていた自律学習ロボットがそこそこ動いているので
動画をアップしておきます。

正直、一番問題だったのはカーペットの上を走ると摩擦が大き過ぎて電池がすぐ無くなる。
=学習が進まないってとこだったので、

作ってやりましたよ!アンビリカルケーブルを!
(※注:ただの電源ケーブルです!(笑))

umbilical_cable01.jpg
umbilical_cable02.jpg

これで電源のことは気にせず学習できるようになりました。
というか、やっと収束するとこまでいった(笑)



こんな感じで走り回っております。
まあ後ろは全く見えてない(近接センサが前にしかついてない)ので、
ご愛嬌な部分はありますがそれでも学習の結果、
前回よりは良い動きをしてくれてるんじゃないでしょうか。
事前の知識無しでも障害物はほぼ認識できている模様。

今後はセンサの数を増やしてみるか、
二足歩行ロボットに搭載して歩行を自己学習できるか、、、
どちらにせよArduinoでは限界が近いかもです。

Arduino Duemilanove 328
Arduino Duemilanove 328
posted with amazlet at 10.03.29
スイッチサイエンス
売り上げランキング: 26886
おすすめ度の平均: 5.0
5 ハードが苦手でも自分好みの機械を作れます!
5 手軽に組込システムを始められる。あとはあなたの創造力次第。
スポンサーサイト
2010/03/29 02:28 | ロボット | 自作制御Arduino知能モデル | コメント(2) | Trackback(0) | pagetop↑


自律学習型ラジコン
orehatoyotahasukidehanainodakedone.jpg

強化学習とRNNSOMを使った自律学習ロボットが動きましたので、
とりあえず現状をご報告。

強化学習_解説
と、その前に強化学習についてちょっと話しておきます。
強化学習器は一般に「エージェント」と呼ばれ、
こいつが環境(外界)を観測(センサ情報を読み取り)し、
現在の状態において最適な行動を繰り返し学習する中で獲得していく
という学習制御になっています。

目的を達成した時に得られる報酬から最適な方策を学習出来るアルゴリズムである点が
ニューラルネットワークのような教師付き学習との一番の違いですね。

RNNSOMを利用した階層型強化学習
と、ここまでで「自分で学習してくれるなら凄いじゃん!人工知能じゃん!」
と思われるかもしれませんが、世の中そうは甘くありません(笑)

エージェントが観測出来る環境は基本的に人間が切り分けたメモリ空間であり、
その切り分け方が間違っていると最適な行動を学習出来ない場合があります。

例えば「サッカーボールをゴールに蹴り入れる」という問題があったとして
ロボットが認識出来る状態を
「足を振り上げた状態」と「ゴールにボールが入っている状態」
と切り分けてしまったします。
これだと「足を振り下ろした状態」がロボットには認識出来ないので
何度学習しても自分の足とボールとゴールの
関連性を正確に獲得することは期待出来ませんよね?

ということで、状態空間をいかに切り分けるかが強化学習の一つのポイントなわけです。
で、学生時代のオレは自己組織化を行ってくれるSOMに目をつけたという訳。

SOMは日本語では「自己組織化マップ」と呼ばれる物で、
入力情報を類似度に応じて分類する能力を自律的に獲得していく事が出来ます。
入力情報に対して、その情報の特徴を最もよく捉えたある1つのニューロンが発火し、
その発火ニューロンとその周りのニューロンのベクトルを
入力情報に近づくように更新することで、自身の内部を少しずつ整理していきます。
これを何度も繰り返し「似たような性質の情報同士が近い場所に集る」
ようにしていくわけです。

これなら外界の情報から状態空間を構築するので、
大きく変化する部分で自動的に状態を切り分ける事が出来ます。

単純なSOMでは時系列データに対応出来ないので、
ニューロンにフィードバックループをくっつけて
時系列のセンサ情報を扱えるように改変。
上の図にあるように、入力層に入った各種センサ情報を元に
一番ベクトルが近い出力層のニューロンが発火、
そのニューロンの位置情報を状態としてエージェントが観測し、
そこから行動を決定する仕組みを作成しました。

まあ、実は今回はメモリが足りなくて階層構造に出来なかったんだけど、
RNNSOMと強化学習の組み合わせ方は上の図のまんまです。
(Arduinoのメモリが少なくて5×5のニューロンでしか状態空間を構成出来ませんでした)


そんで、現状こんなヘボい動きですがなんとか動いてます、、、
障害物を避けるようなロジックは書いていません。
報酬は「なるべく前へ進んだ分だけプラス」「衝撃があるとマイナス」としました。
後はセンサからの情報を頼りに、自分でどうすれば前進出来るか考えて
モーターの動きを学習しています。
自動車というより昆虫みたいな動きになっちゃいましたね、、、

まあ、これが最終段階というわけじゃなくて
これも作りたい物のテストの一環なんですけどね、、、
2010/03/05 01:21 | ロボット | 自作制御Arduino知能モデル | コメント(7) | Trackback(0) | pagetop↑


Arduinoに手を出す!
流行(?)に乗っかってついにオレもArduinoを買ってしまいました、、、

Arduino_091115.jpg

今までM16Cをメイン基板にして色々やってきたのですが、
基板がデカく自作の二足歩行ロボットに装着出来ない状態が続いていました、、、
チップ基板自体はそうでもないんだけど、I/O用+焼き込み用の基板を含めるとね。
正直あまりハードは詳しくないので、ササッとプログラミング出来て
すぐに動作確認出来るものが欲しかったのですよ!
(というよりMacでの開発環境があるものが欲しかっただけかも、、、)

とりあえずこいつに強化学習ロジックをブチ込んで、
いくつか入出力繋いで実際のハード上で強化学習ロジックを動かしてみようと思います。
しばらくはこれで遊べそうですねー(笑)



Arduino Duemilanove 328
Arduino Duemilanove 328
posted with amazlet at 09.11.15
スイッチサイエンス
売り上げランキング: 7036
おすすめ度の平均: 5.0
5 ハードが苦手でも自分好みの機械を作れます!
5 手軽に組込システムを始められる。あとはあなたの創造力次第。




Arduinoをはじめよう
Arduinoをはじめよう
posted with amazlet at 09.11.15
Massimo Banzi
オライリージャパン
売り上げランキング: 12316
おすすめ度の平均: 4.5
5 最終的には無くてもいいのだが
3 正直がっかり
5 日本語リファレンスだけでも価値があります
2009/11/15 19:25 | ロボット | 自作制御Arduino | コメント(0) | Trackback(0) | pagetop↑


ターミネーター4予告
なんだかんだ言ってやっぱりハリウッド的エンターテイメントは単純な分、強いですね!
「CGバリバリとかもういらんっすよ!」とか思ってたけど、
ターミネーターの上半身だけがウニウニ動いてるとことか、
気持ち悪くてなんか見入ってしまう。
映画的に新しい部分は無いけれど、映像としてはこれからもそこそこ楽しめそうです。



よくあるパターンとしては「この動画が一番良いシーンの総集編」ってオチなんですが
それだけはカンベンして欲しいです。
つーか、客さえ入ればどんな方法でもOKみたいな
人をバカにしたような商売の仕方を改めて欲しいですね、、、

実写版ドラゴンボールも最初アホかと思ったけど、
何度もCM見てるうちに「これでOK出した人間のイカレ具合を見てみたい」気がしてきた
酷いってのを通り過ぎるとなんか感覚麻痺するね。
あれって日本に対する嫌がらせなのかな?

2009/03/10 20:40 | ロボット | 映画 | コメント(0) | Trackback(0) | pagetop↑


学は及ばざるが如くするも、猶これを失わん事を恐る


学生時代に趣味で作ってた二足歩行ロボット。
大昔に「動画をアップします」と言っておきながら、
完全放置プレイかましてたのでアップしてみました。
密かに関節とか増えてるのはご愛嬌(笑)
ちなみに、当然ながら関節が多い方がバランスとるのは難しいです。

まだ「フィードバックして強化学習で云々」ってとこまでいってないので、
これからですかねーって今日で休み終了だよ、、、(死)

robot_090105.jpg




  GWS S03T




    AGBL-S03T
2009/01/05 15:49 | ロボット | 二足歩行制御自作 | コメント(2) | Trackback(0) | pagetop↑


| ホーム | 前ページ≫
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。