第47回日本バイオフィードバック学会学術総会　シンポジウム (2019.06.30)

メディア・アートを用いた筋電図バイオフィードバックの可能性

長嶋洋一 (SUAC/ASL)

はじめに

このページは、2019年6月30日に愛知学院大学名城公園キャンパスで開催される「第47回日本バイオフィードバック学会学術総会」の「シンポジウム : 筋電図バイオフィードバックを用いたリハビリテーションの新しい展開」での講演のために作成した資料集です。 司会の辻下守弘先生(BF学会理事)から「各シンポジストの発表時間は基本15分。フロアとの議論の時間を確保したい」との要請があり、とうてい15分では紹介しきれない内容があるために、興味ある方々は必要に応じてこのページ、さらにそこからリンクされた先を参照できるように、という目的です。

「メディアアート」とは

メディアアート(Media Art)とは、20世紀半ば以降に生まれた、新しい技術的発明を利用した芸術表現(テクノロジーアート)、あるいは新技術/メディアによって生み出される芸術(ニューメディアアート)の総称です。 その形態としては、コンセプチュアルアート、ビデオアート、コンピュータアート、ネットコンテンツ、ゲーム(アプリ)、インスタレーション、パフォーマンスなどの範囲に及びます。 美学的方針からメディアアートを大きく分類すると、(1)非実時間的なスタジオワーク制作作業の結果としてのマルチメディア・コンテンツ(固定メディア)を再生鑑賞する「タイムライン作品」の形態(映像作品[Movie/DVD/YouTube]・音楽CD・プロジェクションマッピング等)と、(2)リアルタイムに相互作用(インタラクション)するアルゴリズムによって毎回異なったマルチメディア体験をライヴ生成する「インタラクティブ作品」の形態(インスタレーション・パフォーマンス・ゲーム等)とに二分されると言えます。 ごく簡単に言えば、前者は「鑑賞」するものであり、後者は「体験/参加」するものですが、筆者は主としてコンピュータ音楽(Computer Music)の領域から後者に取り組んでおよそ30年になります。

上の例は、いずれも筆者が制作をサポートした学生インスタレーション作品群の例であり、これらメディアアート作品の手法とコンセプトをバイオフィードバック・リハビリテーションのためのシステムに発展させれば、役立つ新しい面白いものが生み出せるだろう・・・というサンプルとなっています。 興味のある方は、以下にさらに多くのサンプルがありますので(計220作品ほど)、ぜひ参照してみて下さい。 個々の作品の解説、制作した学生のプレゼン、YouTube記録動画などもあります。

インスタレーションのような「インタラクティブなメディアート」を「システム 」と考えると、上のような図式として一般化できます。 「インタラクティブ(対話的)」とは、「その場の状況/働きかけによって変化する」ということです。
インタラクティブ・システムの3要素は、上の図のように、「センサ(入力)→アルゴリズム(関係性)→ディスプレイ(出力)」という図式で理解できます。 これは一般的なシステムでも同様であり、「バイオフィードバックによってリハビリテーションを行うシステム」というのも、まさにインタラクティブ・システムそのものです。 「ゲーム」・「科学館体験展示」・「テーマパークの仕掛け」なども全てインタラクティブなシステムと言えます。

コンピュータ音楽、「新楽器」、筋電センサ、筋電楽器

筆者が1990年代からずっと取り組んできたComputer Musicにおいて、作曲の一部として「新楽器」を制作してこれを活用した公演を行う・・・という活動を続けてきました。その後、コラボレータ:照岡正樹氏とともに筋電センサの実験・開発を進めて、実際に筋電楽器を用いたパフォーマンスも行ってきました。 このあたりについては、 筆者のサイト(Art & Science Laboratory) のタイトルからも参照して下さい。 以下はそんな筋電楽器の第3世代「MiniBioMuse-III」を用いて、海外で公演した模様の一部です。

その後、筋電センシング応用の学会発表論文を読んだ某企業(任天堂系)から依頼された受託研究において、「筋電ジェスチャ認識」の実験を行う中で、「内受容感覚からくるメンタルヘルス」という新しい可能性に触発されました。 そしてCQ出版「インターフェース」誌の「生体情報センシング」特集記事を執筆したところから、本BF学会理事・辻下先生とのコラボレーションが始まりました。

以下は、このあたりに参考となる筆者のドキュメントのリストです。

海外の筋電/生体情報センサの状況

これまで、医療/リハビリ分野での生体センシング(筋電・心電・皮膚電位・脳波など)は海外製の非常に高額なシステムしか存在していませんでした。しかし昨今のオープンソース(ソフトウェアだけでなくハードウェアもオープンソース化)の流れから、以下のように海外からも安価で容易に実験できる生体情報センシングシステムが登場してきました。ここではごく簡単に5種類ほど紹介します。 ポーランド・Poznanで開催された国際会議 IFIP ICE2018 で筆者が行った Tutorial Workshop でも詳しく紹介していますので、こちらも参照してみて下さい。

BITalino

上の「BITalino」は、ポルトガル・リスボンのISEL(Instituto Superior de Engenharia de Lisboa)という研究所でJose Guerreiro氏が2013年10月にまとめた修士論文の中で、生体信号検出システムの実例として実現したシステムです。ネットショップでは、皮膚に貼り付ける電極5枚と、「3電極」(筋電・心電)と「2電極」(皮膚電気抵抗)の電極ケーブル各1本、リチウムポリマー電池1個、とメイン基板とのベーシックなセットが149ユーロです。 CPUは「Arduino」(ユーザがプログラムを書き換えられるマイコン)そっくりなのですが、開発者本人はArduinoで開発したものの、ユーザがファームウェアをオリジナルに改編できないので、「Arduino風のAVRマイコン」という言い方が正しいことになります。 またBITalinoの中央ブロック部分の下には、電源関係のブロックとともに、「Class II Bluetooth v2.0 (range up to 10 m) - 115200 bps」というBluetoothモジュールがあり、ArduinoなどのようなホストPCと接続するUSBコネクタがありません。ユーザはBluetooth経由で、BITalinoから送られてくる「EMG, ECG, EDA, LUX, ACCという下記の5種類のセンサ情報パケットを受信します。これを表示するためのアプリケーションも提供されていますが、自作するためのツールやAPIも公開されていて、PythonやJavascriptでセンサ情報を利用したアプリケーションを開発できるようになっています。 筋電センサ回路の初段はAD627の上位互換のINA333であり、この出力を積分してリファレンスに戻すことで、等価的にカットオフ10HzのHPFを形成し、入力のDCオフセット電圧を除去しています。 心電センサの回路図は、開発者が気に入っているのか「筋電センサ回路と完全に同一構成」で、コンデンサと抵抗の数値だけ、心電図情報に対応させて換えているだけです。 皮膚電気抵抗センサ(EDA)の回路図は、ごく普通のOPアンプ増幅回路とローパスフィルタです。 光センサ(血流/脈拍) (LUX)とは、フォトトランジスタの「明るさ」センサ(波長 : 360-970nm)です。生体計測においては、被験者の周囲環境光の計測も重要ですし、赤外LEDなどの光源を用いて、指先とか耳たぶの血流計測をすれば、そこから脈拍を検出できますが、BITalinoが送っているのはフォトトランジスタの出力電圧だけです。 BITalinoの3次元加速度センサはポピュラな3次元加速度センサADXL335(Bandwidth: 0〜50Hz、Range: ±3g)の出力をそのまま出しています。身体に3次元加速度センサを取り付ければ、じっとしていても重力加速度の成分によって身体の「姿勢」が検出できますし、何か動けばもちろん「身振り」をセンシング出来ます。

e-Health

上述のBITalinoが、ファームウェアを書き換えできないAVRマイコンによって生体センシング情報を送信するシステムとして完結しているのに対して、このe-Healthは、ホストマイコンとしてArduinoやRaspberry Piに対応した「生体センサ・シールド」です。 基板上のコネクタはArduinoシールドなのですが、「ArduinoシールドをRaspberry Piに変換するアダプタ基板」も一緒に出していて、両方に対応しています。 生体センサ・シールド単体の価格は75ユーロですが、周辺機器として提供されているものを全て含むセットは450ユーロ(6万円以上)になります。 e-Healthは8種類の生体情報を計測できる、と言っていますが、実は完成品の計測器を外部オプション装置として繋ぐだけ、つまりこのシールドは単にそれら計測器とデジタル通信してデータを受け取っているだけ、という生体情報もたくさんあるので注意して下さい。 血流/脈拍センサ部分は単純な8ビットのデジタル入力ポートです。 つまり、指先クリップの部分に、製品として完成している(センサ回路と、生体信号の情報処理アルゴリズムを盛り込んだマイコンを内蔵した)「血流/脈拍計」という外部機器のデジタルインターフェースであって、生体センサ回路ではありません。 心電センサ部分はきっちりとした差動アンプとローバスフィルタの生体信号センサ回路になっています。 ただし、このセンサ出力はArduinoのA/D入力、あるいはRaspberry Piに接続されたA/Dコンバータに入るだけなので、そこに信号処理アルゴリズムを盛り込む必要があります。 e-Healthの「Airflow: breathing」という呼吸センサ部分はOPアンプの増幅回路とローバスフィルタだけです。 鼻の穴付近のアダプタの中が不明なのですが、筆者がかつて製作した例だと、「大気圧センサによる空気圧変化」・「鼻息の風量で曲がるリード状の曲げセンサ」・「鼻息の通過で温度低下を検出するサーミスタまたは電球フィラメント」などのいずれかによって、「呼吸」の検出が可能です。 体温センサでは単純なサーミスタの高精度抵抗測定回路です。 筋電・心電・脳波のように「変化」を捉えるよりも、まず第一に「正確な値(体温)」を計測する必要があるために、専用の基準電圧発生回路を用意して、かなり面倒な「校正」作業を必要とします。 血圧センサは単純な2チャンネルのデジタルポートだけです。 つまり、液晶表示まで付いた血圧計は製品として完成している(センサ回路からマイコンまで内蔵)外部機器であり、e-Healthはシリアル通信でそのデータを受け取っているだけで、生体センサ回路はありません。 e-Healthの「Patient position and falls」、つまり身体の位置(姿勢)のセンサのポイントは、3次元加速度センサを仕込んだベルトを胸に巻き付ける場所がきちんと指定されていて、センサ回路は2ビットのアナログと2ビットのデジタル信号でセンサからの信号を受けているだけです。Arduino用のサンプルコードを見てみると、重力加速度の成分を閾値で判定して「姿勢」情報を返すようになっています。 e-Healthの「Galvanic Skin Response (GSR)」、つまり皮膚電気抵抗のガルバノメーター・センサのブロックは体温計の回路とほぼ同じになっています。 e-Healthの「血糖値計」は、指先に針を挿して血を採る必要があります。 回路図はMAX232でRS-232-Cに変換しているだけの、単純なシリアル通信ポートです。つまり、液晶表示まで付いた血糖値計は製品として完成していて、e-Healthはシリアル通信でそのデータを受け取っているだけで、生体センサ回路はありません。 筋電センサは両極電源回路で構成されていて、全波整流回路に平滑回路まで揃っているので、かなり積分されていて、これを後でArduinoやRaspberry PiでA/Dした場合には、既に積分されているので、高い周波数成分とか筋肉の俊敏な動作は検出できない事になります。

Myo

"Myo"はカナダのThalmic Labs社が提供している、8チャンネルの筋電センサ・バンドです(199ドル)。 専用USBドングルに対してBluetoothで8チャンネル筋電情報と、3次元ジャイロ(角加速度)情報と、3次元加速度情報と、3次元方向ベクトル情報を転送します。 電極はステンレス製ですが内蔵MCUが高度な前処理を行っており、良好な筋電ジェスチャ認識を実現できます。 標準的には片腕の前腕に装着し(Myoは脚に装着すると計測を停止する仕様なので「腕」専用)、「リラックス」に対して「グー」「パー」「掌を曲げる」「掌を反らせる」という4種類のジェスチャを登録して任意のキーに割り当てでき、例えばプレゼンシートを次ページに進めたりサンプル動画/サウンドのスタート/ストップにジェスチャを割り当てるような使い方をします。 しかしThalmic Labs社は"Myo"の技術情報を開発キットとともに公開しているので、筆者はこれを独自に解析して、同時に2個(最大3個まで)のMyoと通信してそれぞれにIDを付与して区別し、出来合いの簡単ジェスチャ認識に頼らずに「8チャンネルの筋電情報と9軸センサ情報(ジャイロと加速度と方向ベクトル)」を全て生体情報ストリームとして取得するオリジナルツールを開発しました。 ツールの出力はOSCプロトコルなので、ホストPCのMax7環境とはきわめて親和性が高く、これまで開発してきたマルチメディア・インタラクティブシステムのためのセンサとして「DoubleMyo」が容易に活用できました。 なお、"Myo"はバッテリ節電のため、筋電情報入力がちょっと途絶えると勝手にスリープモードに入りますが、音楽パフォーマンスにおいては「静止を持続する」という表現も重要であり、あわせて「絶対にスリープしないように」というコマンドも発掘してMyoに送りました。 これにより「DoubleMyo」は使える新楽器として完成しました。 2019年になって、「別の新しい製品に注力する」という理由からMyoの製造停止がCEOによって発表され、現在では必要な場合には世界中に多数残っている新品の在庫を確保する必要があります。

Muse

カナダのInteraXon社が提供している脳波センサ"Muse"は小型軽量ヘッドバンドで、医療器具でなくMeditation Tool(メ ンタルエクササイズの道具)と明記しています(299ドル)。"Muse"の標準的な使い方は、iPhone/iPad用に完成している専用アプリをインストールしてBluetooth経由でMuseと接続する、というものです。一言で言えば、Museアプリはリラックスを目的としてメンタルトレーニング(エクササイズ)するバイオフィードバックシステムと言えます。 初めて装着した時にはユーザの生体情報をあれこれ取得してアプリ側で記憶し、次回からはその状態と比較して本人であるかどうかを判断します。 使い方としては日本の座禅や瞑想のように、瞑目してゆっくりと自然に呼吸し、心の中で1から10まで呼吸のたびにカウン トして10になったら1に戻る事を繰り返します。 この間、iPhone/iPadからは海辺の波打ち際の音やそよ風の音が聞こえてきて、いかにもリラックスできて、さらに時には、遠くから鳥のさえずりが聞こえてきます。 実はこれがリラックス状態のサインであり、慣れてくると、この鳥のさえずりをまた出す・もっと出すにはどうしたらいいか、というバイオフィードバックからリラックス状態に入るトレーニングとなります。 InteraXon社も"Muse"技術情報を開発キットとともに公開していたので、筆者はこれを独自に解析し、3次元方向ベクトル情報(地球の中心に向かう方向に対して)と、アルファ波・ベータ波・ガンマ波・シータ波の4種類とされる脳波データを全て生体情報ストリームとしてホストにBluetooth伝送するオリジナルツールを2種類(周囲電源: 50Hzと60Hzの両方)開発しました。 こちらもツールの出力はOSCプロトコルなので、ホストPCのMax7環境とはきわめて親和性が高いのですが、ここで判明したのは、「目を開けていると有効な脳波情報が取得できない」という制約でした。 額の部分にある脳波電極に対して、目を開けていれば外眼筋など表情筋の筋電信号が脳波の100倍以上のノイズとなるので、瞑目していないと脳波センシングが成立しないのです。 「新楽器」として音楽演奏する際には瞑目しているわけにはいかないので、尺八奏者の首振りのようなセンシング情報だけを使って、「DoubleMyo」とともに音楽パフォーマンス(ライブ音響生成+ライブ3D-CG生成)する作品を作曲し、仏ボルドーにて初演、モスクワにて再演しました。 さらに今後の活用に向けて、4種類の脳波チャンネルに相当する飽和センシング信号を非線形圧縮・パターン認識して「表情センシング」に使える可能性を追求する心理学実験ツールを開発しました。

OpenBCI

"OpenBCI"とは、"open-source brain-computer interface"(脳波とコンピュータのインターフェースをオープンソースで)という「研究者・技術者・芸術家・科学者・デザイナ・企業等」のコミュニティです。 中核となる"Cyton"ボードは8チャンネルの生体情報(脳波・筋電・心電)を取得してBluetoothでホストPCに送るArduino互換のボードであり、脳波ヘッドギアと頭皮の接触部分は先端が丸い「剣山」をスプリングで押し付ける乾式電極です。 8チャンネルの脳波センシングシステム(ボード+電極+ヘッドギア)の価格は、完成品は約800ドルですが、自分で組み立てれば約600ドル、無料CADデータを入手して3Dブリンタで自作する場合には約350ドルになる、というのがオープンソースらしい潔さです。 "Muse"は額に電極があるので瞑目の必要があったのですが、"OpenBCI"は伝統的な脳波計測箇所(頭頂・頭側・額)を正確に実現しているので、目を開けても脳波情報が取得できます。 標準的な専用脳波表示ソフトでは、(本当かどうか)脳内の活性化されている場所が刻々とリアルタイム表示されます。 製品というよりも研究者のための実験的プロジェクトであり、"OpenBCI"技術情報も公開されていたので、筆者はそれぞれの脳波電極センシング情報を全て生体情報ストリームとしてホストにBluetooth伝送するコマンドを発掘するとともに、「"DoubleMyo"+"Muse"+"OpenBCI"を同時に走らせてMax7の画面からバイオフィードバックする」実験にも成功しました。 脳波電極ヘッドギアはオウム真理教事件をきっかけに日本ではタブーとなっていた印象がありますが、海外ではこのように活発なコミュニティが着々と成果を積み上げており、今後もリサーチを進めたいと考えています。

新・筋電センサシステム「VPP-SUAC」

筋電BFの新たな可能性 : 「癒し」(内受容感覚)の感覚から情動(→メンタルヘルス)へ

(概要プレゼン)

実際の事例紹介

以下にあるのは、これまで「メディアアートのテクニックを活用して[役立つインタラクティブシステム]などを実験/制作してみた」というデザインの実例(アトランダム)のYouTube記録です。 それぞれの動画情報のところに、関連したWebページのURLがありますので参照してみて下さい。