脳波で Scratch をコントロール - Mind2Scratch
MindWave Mobile という脳波センサーがついたワイヤレスヘッドセットを使って脳波データを取り出し、Scratch 1.4(教育用プログラミング環境)に送って、だれでも脳波データを使ったプログラムを作れるようにしてみました。
MindWave Mobile で計測できる脳波データはいくつかあるのですが、このうち比較的コントロールしやすい Attention と Mediation を使っています。Attention は集中したときに値が高くなります。一点をみつめて「上がれ、上がれ」などと念じると高くなります。Mediation はリラックスしたときに値が大きくなります。目をつぶってリラックスすれば上がりやすいです。
Attention があがると黄色いネコが上に上がり、Mediation があがれば青いネコが上がるようにしています。
両方の値とも 0 - 100 の間で MindWave Mobile で計測することができ、Bluetooth 接続した iPhone で動かしている自作アプリ Mind2Scratch(仮) に送ります。NeuroSky の SDK を組み込んだ Mind2Scratch で脳波データを取得します。
取得した脳波データを、Scratch のリモートセンサ接続(詳細はこちら → Scratch(スクラッチ)を外部のプログラムなどとつなぐ「遠隔センサー接続」を解説する)を利用して、Scratch に送ります。
Scratch で動かしているプログラムはこんな感じ↓ これは黄色いネコのプログラムです。
MindWave Mobile のような一般の人でも気軽に手に入れることができる脳波センサーの存在は、福祉用具や医療機器の設計やコンサルティングをおこなわれている 株式会社モノ・ウェルビーイング の榊原さんに教えていただきました。
榊原さんは、手足を自由に動かすことができない障害を持っているような方でも、脳波を使って意思表示することができるのではないかということを考えられており、それならそういうアプリをスクラッチを使って作ってみましょう、ということで実験してみました。
実際に自分の脳波を計測しながら練習を繰り返していると、比較的簡単に集中・リラックスを切り替えることができるようになってくるので、これでいろんなものを自由にコントロールできるかも、と思えてきてワクワクします。
今後は Scratch2Romo ともつなげてみたりして、念力(?!)で Romo を動かすとかもやってみたい。
MindWave Mobile と一緒に、榊原さんからお借りした本を読んで勉強中です。
(MindWave Mobile と Scratch をつなげる Mind2Scratch はまだ絶賛開発中です。体裁を整えたら App Store からダウンロードできるようにします)
2015/07/10 23:44:14