身体情報と生理情報
1. 広義の「楽器」と音楽演奏
ここでは、演奏のために人間のパフォーマーがいる、というスタイルの
音楽について検討する。スイッチONで始まるパソコンDTMの自動演奏とか、
ロボットによる楽器の自動演奏、といった音楽は対象外である。
本項では、まず最初に「楽器」について考察し、市販されている新しい
「楽器」を二つ、紹介することからスタートする。
1.1 これまでの「楽器」
最近のComputer Music関係のコンサートやイベントでは、「演奏家」という
古典的な呼び方をせずに、「パフォーマー」という言い方が増えている
ことには注目しておく必要があるだろう。「表現」に対する要望が拡大して
いる、ということだろうか。
音楽の「演奏」において人間のパフォーマーが存在する意義としては、
・人間がライブで行う「演奏」の機微と即興性
・専門家が習熟した楽器の操作と表現力
・その場で「演奏」する様子をマルチモーダルに「鑑賞」する
などがある。いずれも、コンピュータでもロボットでも映像記録メディア
の再生でも不可能な要素であり、ここに、いつになっても人間の
パフォーマーの必要性がある。
そして、本項では「あらかじめ作られた電子音響を背景として、演奏家が
伝統的なアコースティック楽器を演奏する」というスタイルの音楽も
対象としては除外する。これはもはや、クラシックに属する「現代音楽」
として立派に定着している。
さて、そこで必要になるのが「楽器」である。ここではコンピュータ音楽
の世界なので、人間の演奏表現、広く言えばパフォーマンスの情報を、
コンピュータシステムが理解して対応するための「センサ」である。
この意味では、これまでの電子楽器として、
・MIDIピアノやMIDIキーボードなどの鍵盤楽器型センサ
・MIDIギター、MIDIバイオリン、MIDIチェロなどの弦楽器型センサ
・ウインドMIDI、MIDIサックスなどの吹奏楽器型センサ
・MIDIドラム、MIDIパッドなどの打楽器型センサ
・「はなうたくん」などの音響ピッチ抽出型センサ
など、既存の伝統的な自然楽器の演奏スタイルを模したものが大部分
であった。
この場合、人間のパフォーマーは古典的な楽器演奏スタイルに類似した
演奏方法の習熟によって、多彩な表現を容易に実現できる。しかしその一方
で、楽器の特性に対応した既存の音楽の枠組みに限定されやすい、と
いう問題点もあった。
そこで、新しい音楽の可能性を求める音楽家や研究者たちは、
これまでにないまったく新しいコンセプトの「楽器」を実現しようと
している。そのキーワードの一つが、本項で紹介する「身体情報」と
「生理情報」のセンシング技術の応用なのである。
1.2 BioMuse
ヨーロッパとアメリカで活躍する音楽家/研究者であるAtau Tanaka氏の、
1993年東京でのICMCペーパー発表(参考文献[1])、
そして1994年デンマークでのICMCコンサート発表(本人による自分の
作品のパフォーマンス)によって、BioMuseという「新楽器」は
あっという間に世界中の専門家に注目されることとなった。
この製品は、筋電位センサの技術を「楽器」の
完成度まで高めた事例として、多くのミュージシャンがパフォーマンス
に使うだけでなく、身体障害者のインターフェース機器として、福祉
分野でも世界的に注目されている。
BioMuseとは、
図1
のような外観の、ラックマウントモジュールタイプの機器である。
上に乗っているパソコンは別に何でもよく、いわゆる「DOS/Vマシン」
であれば、専用ソフトによって、筋電位などの生理情報を統合した
身体表現をMIDI情報として得られる、というものである。
図2
はそのセンサ部分の概要で、ここでは
図3
の「パッチボックス」と呼ばれるセンサ中継ボックスに、2本の筋電
センサバンドを取り付けている。BioMuseではこの他に、脳波バンドや
心臓からのセンサ信号を入力することもできる。
そして、
図4
および
図5
はこの筋電センサバンドのアップである。ここに3つ付いているのが
平たいボタン型の電極で、上にバンドとパチンと止めるポッチが
付いている。
内部の素材は、「銀−塩化銀電極」、すなわち金属銀の表面を塩化銀で
コートしたもので、再使用可能な汎用電極の中では電気特性上、もっとも
有効なものである。
この電極を包むかたちで、スポンジ状に細かい穴が貫通している多孔性の
素材のカバーがある。この穴の中にゲルを包みこみ、それを通して電極と
生体を電気的/機械的に安定して接続し、同時に装着感を快適にしている。
このため、使用にあたっては導電性のゲルが不可欠だが、ゲルは放って
おくと硬化しやすく、硬化すれば導電性はなくなる。
一度硬化すると、元には戻らないので、ゲルが硬化してしまえば被膜も
交換しなくてはならないのが手間である。
このBioMuseの筋電センサバンドを腕に取り付けた様子が
図6
であり、
図7
図8
はそのアップである。腕の筋肉に力を入れると、この二つのバンドに
挟まれた部分の筋肉の神経パルスが得られてMIDI情報化される。
1.3 ミブリ(MIBURI)
ICMCのコンサートなどでは、上記のBioMuseを用いた作品のパフォーマンス
とよく似た外見となるのが、ヤマハが製品化した「ミブリ(MIBURI)」という
楽器を用いたパフォーマンスである。いずれも、パフォーマーの「舞踏」の
ような身体動作によって音が出てくる、というところ、つまり身体表現センサ
としての意味では似ている。しかしミブリはBioMuseのような生理情報
センサとは異なり、関節の力学的な曲げセンサを利用している。
図9
は、ミブリの本体とセンサ部分の全景である。本体には同時に2音だけ発生
できる物理モデル音源とアンプ、スピーカーまでが内蔵されていて、センサの
部分だけを使いたくても、内蔵の音は不要の場合でも、この大きくて重い本体が
必ず必要となる。
そして、
図10
は片側のセンサ部分、
図11
はそのアップである。本体からケーブルを経て、腰に付ける中継ボックス
に行き、そこから右腕と左腕の二つの系統に分岐する。それぞれのラインは
3個の曲げセンサを経由して、末端にはボタンの並ぶグリップがある。
このグリップの操作だけでも色々な表現で「演奏」することができる
ので、「身体動作に合わせて実はグリップのボタンを押しているだけ」、
というミブリを用いたパフォーマンスも存在している。
図12
図13
は、これらのセンサを実際に身につけた状態を示したものである。
ミブリ専用に作られた「ミブリスーツ」というメッシュ素材のこの服を
着ないと、ミブリの「演奏」は満足に行えない。つまり、この服は、
それぞれの曲げセンサを確実に取り付けて関節の曲げをセンシング
するためのガイドが縫い付けてある、専用のものなのである。
図14
は、6個の曲げセンサのうち「肩センサ」をミブリスーツに取り付けた
ところである。この、ベロのようなゴム板状のセンサの内部には、
歪みゲージのように曲げによって抵抗値の変化する素材とともに、
信号増幅とデータ補正を行う小型のOPアンプ回路までが組み込まれて
いる。各センサは本体から+5Vの電源を受けて、曲げに応じて0Vから+5V
までの電圧として安定に曲げ情報を出力するようになっている。
図15
は、6個の曲げセンサのうち「肘センサ」である。このセンサと肩センサ
は、関節の特性から「伸ばした状態」と「もっとも曲げた上体」との
間で出力電圧が変化するようにトリミングされている。
それに対して、
図16
の「手首センサ」では、関節が中央から両方向に曲がるために、ちゃんと
中央では2.5Vを出力し、関節のプラスマイナスの両端で0Vと+5Vを
出力するようになっている。
ただし、これら曲げセンサの情報がそのままMIDIとして出力されてくれれば
嬉しいのに、後述するようにミブリ内部でそれぞれのセンサ情報が固定的に
音楽演奏情報にマッピングされて、画一的な情報となる。
BioMuseでは、あらゆるセンサ情報を「生で」取り出して利用できるのに
対して、もっとも対照的なところである。
図17
は、グリップ部分である。これで、白鍵盤の音階に対する黒鍵盤への変化
と、オクターブ指定とを行う。ミブリの演奏方法は、せっかく関節の曲げ
情報を連続的にセンシングしているセンサの「生の」情報を外に出さず、
「ド」両腕だらり
「レ」左腕だらり、右腕90度曲げ
「ミ」左腕だらり、右腕180度曲げ、または、右腕だらり、左腕90度曲げ
「ファ」左腕90度曲げ、右腕90度曲げ
「ソ」左腕90度曲げ、右腕180度曲げ、または、右腕だらり、左腕180度曲げ
「ラ」左腕180度曲げ、右腕90度曲げ
「シ」左腕180度曲げ、右腕180度曲げ
というように強制的に音階に割り当てられ、ここに手首センサの音量と
グリップのオクターブ情報を添えたMIDIノートイベントが固定的に
決定されるようになっている。
そこで、このメーカに指定された「演奏方法」を体得して、色々な
メロディーを「弾ける」ようになったパフォーマーの「演奏」を見て
みると、確かに「身振りで演奏している」ようにも見えるが、一方で
「カラオケに合わせて踊らされている」ようにも見える。これは多くの
音楽家も指摘する課題であり、コンピュータ音楽の可能性を考える上で
示唆に富んだサンプルであると言えよう。
1.4 「オリジナル楽器」のすすめ
さて、BioMuseとミブリという「製品」がメーカから提供されてきた、という
状況を見ると、従来の「電子楽器」という枠組みとは異なる新しい世界が
求められていることが判る。しかし、あくまでメーカの提供する製品の
特性として、「メーカの論理で仕様が決まる」「製品の固定された機能
という足枷に縛られる」という限界があることも事実である。
そこで世界的には、コンピュータ音楽に関心のある音楽家、
研究者、エンジニアなどが共同で「新しい楽器」をオリジナル開発して
いる、という事例がとても多い。
たとえば筆者の場合にも、センサを利用した「楽器」を作曲の一部として
開発して、これを活用した新しいパフォーマンスの実験を行う、という
のは日常的な活動である。
ここでは誌面の関係で詳細は述べられない(付録CDROM内にあるので
参照のこと)が、たとえば
図18
は、ファミコン用コントローラのPowerGloveを改造したセンサである。
パフォーマーのそれぞれの指の曲げ情報をワイヤレスでMIDI情報化する。
また、
図19
は、赤外線ビームをパフォーマーが遮断する時間を検出し、
0から127までの値としてMIDI出力するセンサ「SNAKEMAN」である。
そして、同じ光ビームを多数並べた新楽器として、
図20
の「ハープセンサ」も筆者の作品の一例である。垂直方向に13本、水平
方向に3本の光ビームの「弦」を弾く情報がMIDI化されている。
この演奏者は本来ピアニスト
だが、練習によって独自の素晴らしい演奏技術を習得した。
このようなオリジナルのセンサは、センサのもっとも上流、つまり物理量
を電気的な情報に変換する部分(素子や素材)が難点である。しかし最近
では、秋葉原でも日本橋でも、各種の「センサキット」が安価に入手できる
ので、これをブラックボックスとして利用するという手がある。センサ
部分に市販のキットを利用すれば、それ以降の
・センサ出力をアナログ−ディジタル変換してマイコンに取り込む
・マイコンのソフトウェアとして、平均化/ピーク検出/フィルタリング、
ノイズ除去、情報圧縮などの信号処理を行う
・このディジタル情報をMIDIとして出力する
・このMIDI情報をMAX等でパターン認識して音楽に利用する
というステップは、参考文献[2]
などにもあるように、かなり容易に実現できる環境が整ってきている。
新しいセンサ、新しいアイデアによる楽器が新しい音楽の可能性を切り拓く、
という楽しいテーマに多くの人が挑戦して欲しいと思う。
2. 身体情報のセンシング
ここでは、次項の生理情報センサを利用したもの以外で、パフォーマーの
身体表現をセンシングするための手法について検討してみよう。読者も、
それぞれの専門に近い分野があれば、そこを突破口としてアプローチして
みてはいかがだろうか。
●CCDカメラによる方法
パフォーマーの姿をそのままCCDカメラで画像入力し、ここに画像処理と
パターン認識を行って、その「身振り」情報を抽出しようという、いわば
正攻法である。音楽パフォーマンスの場合には、リアルタイム性のレスポンス
が非常に重要になるために、SGI社のグラフィクス専用マシンのような
画像処理に特化した高速コンピュータが必要となる場合が多い。しかし、
人間のシルエットの動き程度の情報であれば、パソコンでも実現できる
部分も増えてきている。
画像情報の全てというよりも、ハリウッドのモーションキャプチャシステム
のように、人体にいくつか取り付けたLEDの輝点をリアルタイムに追従
すればよい、という条件になると、ずっと実現は容易となる。
たとえば、イメージラボの「DigitEye」センサの例(参考文献[3])では、
たった一つの汎用CCDカメラとマイコンボードによって、同時に2つの
赤外LEDの輝点位置情報(X方向、Y方向だけでなく、奥行きのZ方向まで)を
センシングする。
また、
図21
は、ICCビエンナーレ1997で準グランプリを受賞した前林明次氏の
マルチメディア・インスタレーション作品 "Audible Distance" の
ために、筆者が依頼されて開発したVRセンサシステムである。
ここでは、暗い会場内をHMDをかけて自由に移動する3人のプレイヤーの
位置と視線の向きを、上空のCCDカメラの画像情報からリアルタイム
にセンシングしてMIDI化している。
●曲げセンサによる方法
上述の「ミブリ」に限らず、ダンスなど人体の身体表現のセンシング
のために、関節に「歪みゲージ」のタイプの曲げセンサを使用した例は
数多くある。論文として研究者が報告するほどのものではなく、新しい
可能性を求めたミュージシャンが、自分の身体にビニールテープで
センサを固定してパフォーマンスする、という例も少なくない。
自作のセンサとして取り組むのに、格好の題材のようである。
●超音波センサによる方法
既に紹介した、初代ファミコンの外部機器である「PowerGlove」は、
テレビの外側に取り付けた3点のセンサと組み合わせて、グローブの
X方向、Y方向の移動だけでなく、Z方向(「突き」と「引き」)の
検出まで行う。この検出は、実はグローブの手の甲にある二つの
超音波センサによるのである。
図22
は、このPowerGloveに内蔵されているマイコンを騙して、ファミコンに
接続されているものと思い込ませて動作情報を取り出してMIDI化する、
という筆者の作品「MIDIパワーグローブ」というセンサである。
グローブの上下位置をMIDIのボリュームに、左右位置をMIDIのパンポット
に、指情報をMIDIノートイベントとして出力するが、この情報を任意
の情報にマッピングするのは、MAXで簡単に実現できる。
また、イメージラボの「Virtual Performer」センサ(参考文献[4])
でも、多数のセンサによるセンサフュージョンの一つとして、超音波
センサを利用した。
ここでは、ステージ上の一辺5メートルの立方体の中で、パフォーマーの
身体に取り付けた8点の超音波センサの位置を、5mmの分解能で
同時にリアルタイムセンシングする。
●加速度センサによる方法
人体の動きには、慣性質量がある。そこで、ビデオゲームの中の仮想的な
人物の動き(質量がない)よりも、生身の人間に小型の加速度センサを
取り付けた方が、より現実感をもった動きの情報がセンシングできる。
図23
は、加速度センサと信号出力アンプまでが小型のパッケージに収められた
加速度センサICの一例であるが、このようなモジュールを利用することで、
かなり小型軽量なセンサ装置を実現できる。身体表現をセンシングする
ためには、それを身につけてダンスできる、という位の小型軽量化が
必要となる。
イメージラボの「ATOM8」センサ(参考文献[5])
の加速度センサの例では、PICマイコンを使って、2次元の加速度センサの
モジュールを一辺1インチ(2.54cm)の立方体に収めている。
このセンサは、まさにダンサーが身につけて舞踏パフォーマンスを行う
ために用いられたのである。
図24
は、作曲家・中村滋延氏の「音の個展IV」のために依頼されて製作した
「MIDIバトン」センサを用いた作品の公演風景である。このセンサは
2種類あって、「スティックの先端の立方体の3方向に取り付けた
加速度センサで、直交する3次元方向の全ての加速度をセンシング」
「スティックの先端の正4面体の3面に取り付けた
加速度センサで、直交しない3方向の加速度をセンシング」という
異なる特性を持っている。作品では二人のパフォーマーが登場し、
一方が「指揮者」(背景音楽パートをリアルタイムに制御)、
もう一方が「独奏者」(バトン操作に応じたフレーズを生成)、という
役割としてステージ上に対峙し、それぞれのバトンで「演奏」した。
また、
図25
は、中村滋延氏の「音の個展V」の別の作品のために、立方体の
方の「MIDIバトン」センサを、スティックから切り落としたものを
用いた公演風景である。この作品では、パフォーマーがセンサを握って
スクリーンに向かって「投げる」という動作をセンシングしてMIDI情報化
し、これに応じてスクリーン上のCG画像がインタラクティブに変化して
いく。
図26
は、このパフォーマンスの風景であり、このような「躍動する肉体」の
動作をセンシングするには、加速度センサというのは自然な選択の
ように思う。
ここからは余談になるが、加速度センサを使った研究としては、なんと
いっても、センサによって「指揮棒」を作り、これで「シーケンサに
記録された音楽演奏データの再生のテンポを制御する」というのが
定番になっている。しかし、指揮棒の加速度センサの出力情報を
時間微分すれば速度が、さらに微分すれば変位が得られるのは当然
のことで、このピーク間隔でMIDIクロックを制御すればテンポが変わる
というのも、何も面白くない当然のことである。海外では遥か遠い昔
に終わっているこのテーマに、いまさら「研究」と銘打って取り組む、
というような無駄のないように希望している。このテーマ関連が全て
終わっているわけではないが、もっと「何か」(音楽性、芸術表現、
アミューズメント性、などいくつもある)を掘り下げて欲しい。
●ジャイロセンサによる方法
ハンディビデオカメラの手振れ防止機能、そしてカーナビのGPS位置補正
などに使われるために、小型のジャイロ(角速度)センサが急速に低価格
化して、身体情報センサとしての利用対象となってきた。
イメージラボの「Virtual Performer」センサ(参考文献[4])の例では、
尺八奏者の「首振り」動作を、後頭部に取り付けた2次元ジャイロセンサ
で検出して、特定の演奏技法の検出や、生成される音響の空間移動のために
利用した。
●磁気センサによる方法
VRシステムのセンサとしてもっとも古典的な「DataGlove」センサでは、
手のひらの3次元的な位置計測として、磁気センサを利用している。これは、
頭頂部を基準位置として、手の甲の磁気センサの位置を決定するもの
である。
また、パフォーマーの身体に小型磁石を仕込んで、周囲に配置した
ホール素子によってその位置情報を検出する、という非接触のセンシング
の可能性もある。
●静電センサによる方法
テレミンやオンドマルトノの演奏の微妙なニュアンスを求めて、人体に
誘起する静電気をセンシングしよう、という試みの歴史も長い。静電気の
場合には個人差がかなり問題となるようである。
図27
は、市販の静電タッチセンサの回路をアレンジして筆者が開発した
「タッチセンサ」である。大電力抵抗器の放熱フィンを静電タッチの
センサとした、一種のインスタレーションとしてある。
ところがこのセンサでは、当初の目論見であった「微妙なタッチの
ニュアンスの検出」には成功しなかった。センシング回路部分に
飽和特性があり、どうしてもON/OFF以上の情報を安定して得られなかった
のである。同じような例は他にもあるが、このテーマも筆者にとっては
まだまだ現役の宿題である。机上の空論でなく、実際に製作してみて
こそ、新たな課題が出てくるという好例かもしれない。
●焦電センサによる方法
防犯システムなどに使われる「焦電センサ」というのは、人体から
発生する赤外線をセンシングするものである。そこで、たとえばステージ
やギャラリーに複数の焦電センサを配置して、そこを動き回る人間の
位置や動作をセンシングできるのでは、というアイデアが出てくる。
秋葉原などでも、これらの機器に利用されるために大量生産された
おかげで、「焦電センサモジュールキット」などが容易に入手できる。
ところが、筆者の経験上は、これがなかなか曲者である。モジュール化
されているために、焦電センサに固有の非線型特性をうまくブラック
ボックスの内部に入れてしまったのは歓迎できるが、出力がえらく鈍い
ので苦労する。
たとえば、いったんONとなると、次にOFFとなってまたONを検出できる
までに「数秒間」はマスキングされた「不感時間」が存在する、という
ような仕様なのである。
防犯センサが動物などに過剰に反応しないための仕様なのだろうが、
これは「音楽演奏情報の検出」「インスタレーションに働きかける来場者
の仕種の検出」としては、あまりに鈍くて使いにくい。これもまた、
可能性を感じつつも解決できていないテーマの一つなのである。
3. 生理情報のセンシング
パフォーマーの意図した表現、というよりも、生理情報としては
「出てきてしまう情報」のセンシングとその音楽への利用に面白さが
ある。音楽作品としての演奏というよりも、インスタレーション作品
としての応用の可能性も考えられる。また、この分野は医療・福祉と
いう応用領域の可能性もある。
●筋電位センサによる方法
すでに紹介したBioMuseは非常に強力な汎用アナログ信号センサであるが、
残念ながら非常に高価な装置である。生理情報のセンサは医療機器メーカ
などから優れたものが提供されているが、これまた驚くほど高価である。
コンピュータ音楽のセンサとしては、どうせ「一つのセンサでパーフェクト
な表現の情報は得られない」「多数の低精度センサの情報を組み合わせる
方が得策」という経験則があるために、BioMuseを実際に購入して使って
いる音楽家は非常に少ない。
ここで紹介する例は、BioMuseと同じ筋電位センサでありながら、
コストがBioMuseの約100分の1、という、筆者の開発した「MiniBioMuse」
と名付けたセンサである。
その外観は、
図28
のようなものである。電源となる二つの006P乾電池が一緒に写っている
ので、およその大きさは判るだろう。ちなみに非常に軽く、腰に
ぶら下げても負担とならない。これでいて、外部に接続する機器の
必要なしに、筋電パルスをアナログ電圧として出力しつつ、同時に
A/D変換されたMIDI信号を標準で出力する。つまり、ホストマシンの必要な
BioMuseのパッチボックス部分ではなく、BioMuse本体のラック部分まで
含めた全体に相当する、マイコン回路を内蔵したスタンドアロン機である。
問題となるセンサの筋電バンド部分は、
図29
のようなものである。これは、コンピュータのメモリを増設する時に
人体に帯電した静電気で故障するのを防ぐために付属してくる、
静電気放電用のリストバンドを改造したものである。このリストバンド
には、人体へのショックを防止するために、内部に1Mオーム程度の
高抵抗が内蔵されていて、生体用電極としてはこの抵抗が邪魔になる。
そこでリストバンドのモールド部分を壊して露出させ、抵抗を外して
直接にコードをハンダ付けする必要がある。
また、BioMuseと違って、このマシンではノイズをキャンセルするため
に、接地電極として足首にも同じバンドを付ける。つまり、たとえば
両手首にバンドをつけてこの間の筋電パルスをセンシングする時には、
この2本と足首の1本、合計3本のバンドを取り付ける必要がある。
しかし、BioMuseでは必須だった、導電ジェルをべたべたと塗る
必要もなく、ただこのバンドをはめるだけで、なかなか良好に筋電
パルスをセンシングしてくれる。BioMuseの生みの親、世界的な生体
センサ専門家のAtau Tanaka氏にも、このセンサは非常に好評だった。
図30
が、このセンサのアナログ部分、つまりセンシングの中核部分の回路図
である。これは筆者のコラボレータで、生体センサの専門家である
照岡正樹氏が電子メイルで送ってくれたもので、このまま製作すると
無調整で動作した、という優れた回路である。筆者が議長を担当し、
照岡氏や多数のコンピュータ音楽愛好家が集う、Nifty-Serveの
MIDIフォーラム内「音楽情報科学会議室」では、このような回路図や
技術情報が日常的に公開・議論されている。
なお、このアナログ信号出力をA/D変換してMIDI化する、という
部分については、参考文献[2]などを参考にされたい。
●脳波センサによる方法
脳波というのは、人間の心理状態ともっとも密接に関係している情報と
して、研究者のテーマとしての歴史も長い。コンピュータ音楽の領域
でも、例えばMacintoshの「イーバ」という古典的なソフトは、脳波バンド
とセットになっていて、各種の脳波をリアルタイムに表示し、ある
パターンにヒットしたらMIDI出力する、という機能まで実現している。
筆者の印象では、脳波センサに関連した研究テーマは、まだまだ未知の
宝庫であると思う。時間的なレスポンスやリラックスの必用性から、
「音楽パフォーマンスのための情報として脳波を使う」というのは
かなり無理があるだろう。しかし、安らぎを求めている時代の要請は、
リラクセーション音楽療法などへの応用、自分自身に脳波の状況を
フィードバックすることでのトレーニング、さらに「人に優しいBGM」
といった産業への応用の可能性もある。興味ある研究者のチャレンジ
が期待されている。
●視線センサによる方法
カメラのファインダ内で人間の眼球の動きを光学的にセンシングする、
というオートフォーカスの技術もあるが、ここでは生理情報としての
「視線センサ」について紹介しておこう。これはBioMuseでも対応
しているが、こめかみ部分に筋電センサを用いることで、眼球を動かす
筋肉の情報として、かなりの精度で視線を追従できるようである。
人間は圧倒的に視覚の情報量が多いので、視線情報がリアルタイムに
センシングできれば、これまた研究テーマとして多くの可能性を
持ってくる。一つだけ、お題を提供しておこう。「楽譜を初見演奏
(初めて見たその場で演奏していくこと)する音楽家は、楽譜のどこ
を見ているのか」というテーマは古典的だが、まだまだコンピュータ
音楽の研究報告としては掘り下げられていない。リアルタイムに
視線の移動、演奏動作のための肉体状態、演奏された「音」、という
それぞれの要素を高精度で追従記録し、それらの相互作用について
統合的に解析する必要がある。
●皮膚抵抗センサによる方法
皮膚抵抗といえば「嘘発見器」である。ある意味では、この生理情報
は筋電位よりも容易にセンシングできるのと、不随意的な情報という
意味で、たとえば音楽感性情報処理のような分野に応用の可能性が
ある。
また、皮膚抵抗ではないが「湿度センサ」に似た「含水率センサ」を用いた
例としては、イメージラボの「Virtual Performer」センサ(参考文献[4])
の一つ、「サイバー尺八」の指穴センサがある。
これは、尺八というのは「指穴のON/OFF」ではなく、演奏技法として
「かざし」と呼ばれる、指穴の上空に微妙に指をかざして気流を漏れさせる
音が重要であるために考案された。具体的には、指穴ごとの周囲に4つに
分割したドーナツ状の電極を埋め込み(その後、名人芸の漆加工に
よって、触った印象は元通りに修復)、ここに湿度センサを用いて
指穴ごとに連続量としてタッチ情報を得たのである。
●体温センサによる方法
興奮すると体温が上昇し、リラックスすると体温が下降する、という
のは日常的な経験である。また、精度を問わなければ「温度センサ」
はかなり身近なものとして入手できるので、事例としてはインスタレー
ションへの応用、といった方面が多いようである。あまりに時定数が
大きいので、リアルタイムのパフォーマンスとして、例えばMIDI
ノートナンバの生成には使えないだろう。しかし、ジャズのセッション
システムで演奏者に体温計センサをつけておいて、興奮してノッて
きた、という情報を体温からセンシングできるとすれば、これは
かなり有効なパラメータとして使えるような気もする。
●心拍センサによる方法
人間が生きていれば絶対に発生し続けている生理情報の代表が、この
心拍情報である。運動や興奮で速くなる、というのも「使える」ような
気がする。音楽心理学の分野でも、ある種類の音楽を聴いた時に
心拍がどう変化するか、というような研究は歴史が長いようである。
図31
は、ICCビエンナーレ1997準グランプリ作品 "Audible Distance"
(前林明次氏)のために、筆者が依頼されて開発した心拍センサ
システムである。
これは、暗い会場内をHMDをかけて自由に移動する3人のプレイヤーの
心拍情報を、映像と音響の同期のために検出するもので、この小型
ケース内に006P電池、センシング信号処理のためのマイコン回路、
そしてワイヤレス送信回路までが組み込まれている。
具体的に心拍をセンシングする方法にはいくつかあるが、この
作品のように美術館への来場者が体験するタイプのインスタレーション
では、心電図装置のように直接肌にジェルを塗って取り付ける、と
いうわけにはいかない。
そこで、
図32
のような、耳たぶクリップ状のセンサを用いた。ここには赤外LEDと
フォトトランジスタが向き合うような構造となっていて、耳たぶの
毛細血管を心拍と同期して流れる血液の影によって、心拍と同期した
光量の変化をセンシングできる。
同じ原理で、指先にサック状のセンサを差し込むというものもある。
●呼気センサによる方法
メーカから「ウインドシンセ」として、吹奏楽器タイプのセンサは
すでに実用レベルとして活用されている。方式としては大きく二つ
あり、「圧力変化を歪みゲージ等で検出できる[力]に変換して
センシング」「温度センサが気流によって変化する温度として
センシング」という、いずれかの作戦をとる。
このセンサの可能性としては、高齢化社会を迎えて、ほとんど身体
を動かせない身体障害者との意志伝達に、口元の高感度呼気センサを
利用する、というような福祉分野での応用がある。
ちなみに筆者は、雅楽の伝統楽器「笙」のためのコンピュータ音楽、
という新しい分野に関して、「笙センサ」に挑戦していきたいという
テーマを持っている。楽器の特性から、呼気センサはそのもっとも
有力なアプローチになるかもしれない。
参考文献
[1]Atau Tanaka :
Musical Issues in Using Interactive Instrument Technology with
Application to the BioMuse.
Proceedings of 1993 International Computer Music Conference
[2]長嶋洋一 :
「Java & AKI-80」 ---パソコンで作るマイコン組み込みMIDI機器の製作---
CQ出版社, 1997
[3]H.Katayose, T.Kanamori, S.Inokuchi :
An Environment for Interactive Art.
Proceedings of 1996 International Computer Music Conference
[4]H.Katayose, T.Kanamori, S.Shimura, S.Inokuchi :
Demonstration of Gesture Sensors for the Shakuhachi.
Proceedings of 1994 International Computer Music Conference
[5]H.Katayose, T.Kanamori, Y.Aono, T.Sakaguchi, S.Inokuchi :
Sensor Integration for Interactive Digital Art.
Proceedings of 1995 International Computer Music Conference
|