1.　広義の「楽器」と音楽演奏

1.1　これまでの「楽器」

　・人間がライブで行う「演奏」の機微と即興性
　・専門家が習熟した楽器の操作と表現力
　・その場で「演奏」する様子をマルチモーダルに「鑑賞」する

さて、そこで必要になるのが「楽器」である。ここではコンピュータ音楽 の世界なので、人間の演奏表現、広く言えばパフォーマンスの情報を、 コンピュータシステムが理解して対応するための「センサ」である。 この意味では、これまでの電子楽器として、

　・MIDIピアノやMIDIキーボードなどの鍵盤楽器型センサ
　・MIDIギター、MIDIバイオリン、MIDIチェロなどの弦楽器型センサ
　・ウインドMIDI、MIDIサックスなどの吹奏楽器型センサ
　・MIDIドラム、MIDIパッドなどの打楽器型センサ
　・「はなうたくん」などの音響ピッチ抽出型センサ

この場合、人間のパフォーマーは古典的な楽器演奏スタイルに類似した 演奏方法の習熟によって、多彩な表現を容易に実現できる。しかしその一方 で、楽器の特性に対応した既存の音楽の枠組みに限定されやすい、と いう問題点もあった。 そこで、新しい音楽の可能性を求める音楽家や研究者たちは、 これまでにないまったく新しいコンセプトの「楽器」を実現しようと している。そのキーワードの一つが、本項で紹介する「身体情報」と 「生理情報」のセンシング技術の応用なのである。

1.2　BioMuse

BioMuseとは、 図1 のような外観の、ラックマウントモジュールタイプの機器である。 上に乗っているパソコンは別に何でもよく、いわゆる「DOS/Vマシン」 であれば、専用ソフトによって、筋電位などの生理情報を統合した 身体表現をMIDI情報として得られる、というものである。 図2 はそのセンサ部分の概要で、ここでは 図3 の「パッチボックス」と呼ばれるセンサ中継ボックスに、2本の筋電 センサバンドを取り付けている。BioMuseではこの他に、脳波バンドや 心臓からのセンサ信号を入力することもできる。

そして、 図4 および 図5 はこの筋電センサバンドのアップである。ここに3つ付いているのが 平たいボタン型の電極で、上にバンドとパチンと止めるポッチが 付いている。 内部の素材は、「銀−塩化銀電極」、すなわち金属銀の表面を塩化銀で コートしたもので、再使用可能な汎用電極の中では電気特性上、もっとも 有効なものである。

この電極を包むかたちで、スポンジ状に細かい穴が貫通している多孔性の 素材のカバーがある。この穴の中にゲルを包みこみ、それを通して電極と 生体を電気的／機械的に安定して接続し、同時に装着感を快適にしている。 このため、使用にあたっては導電性のゲルが不可欠だが、ゲルは放って おくと硬化しやすく、硬化すれば導電性はなくなる。 一度硬化すると、元には戻らないので、ゲルが硬化してしまえば被膜も 交換しなくてはならないのが手間である。

このBioMuseの筋電センサバンドを腕に取り付けた様子が 図6 であり、 図7 図8 はそのアップである。腕の筋肉に力を入れると、この二つのバンドに 挟まれた部分の筋肉の神経パルスが得られてMIDI情報化される。

1.3　ミブリ(MIBURI)

図9 は、ミブリの本体とセンサ部分の全景である。本体には同時に2音だけ発生 できる物理モデル音源とアンプ、スピーカーまでが内蔵されていて、センサの 部分だけを使いたくても、内蔵の音は不要の場合でも、この大きくて重い本体が 必ず必要となる。 そして、 図10 は片側のセンサ部分、 図11 はそのアップである。本体からケーブルを経て、腰に付ける中継ボックス に行き、そこから右腕と左腕の二つの系統に分岐する。それぞれのラインは 3個の曲げセンサを経由して、末端にはボタンの並ぶグリップがある。 このグリップの操作だけでも色々な表現で「演奏」することができる ので、「身体動作に合わせて実はグリップのボタンを押しているだけ」、 というミブリを用いたパフォーマンスも存在している。

図12 図13 は、これらのセンサを実際に身につけた状態を示したものである。 ミブリ専用に作られた「ミブリスーツ」というメッシュ素材のこの服を 着ないと、ミブリの「演奏」は満足に行えない。つまり、この服は、 それぞれの曲げセンサを確実に取り付けて関節の曲げをセンシング するためのガイドが縫い付けてある、専用のものなのである。

図14 は、6個の曲げセンサのうち「肩センサ」をミブリスーツに取り付けた ところである。この、ベロのようなゴム板状のセンサの内部には、 歪みゲージのように曲げによって抵抗値の変化する素材とともに、 信号増幅とデータ補正を行う小型のOPアンプ回路までが組み込まれて いる。各センサは本体から+5Vの電源を受けて、曲げに応じて0Vから+5V までの電圧として安定に曲げ情報を出力するようになっている。

図15 は、6個の曲げセンサのうち「肘センサ」である。このセンサと肩センサ は、関節の特性から「伸ばした状態」と「もっとも曲げた上体」との 間で出力電圧が変化するようにトリミングされている。 それに対して、 図16 の「手首センサ」では、関節が中央から両方向に曲がるために、ちゃんと 中央では2.5Vを出力し、関節のプラスマイナスの両端で0Vと+5Vを 出力するようになっている。 ただし、これら曲げセンサの情報がそのままMIDIとして出力されてくれれば 嬉しいのに、後述するようにミブリ内部でそれぞれのセンサ情報が固定的に 音楽演奏情報にマッピングされて、画一的な情報となる。 BioMuseでは、あらゆるセンサ情報を「生で」取り出して利用できるのに 対して、もっとも対照的なところである。

図17 は、グリップ部分である。これで、白鍵盤の音階に対する黒鍵盤への変化 と、オクターブ指定とを行う。ミブリの演奏方法は、せっかく関節の曲げ 情報を連続的にセンシングしているセンサの「生の」情報を外に出さず、

　　「ド」両腕だらり
　　「レ」左腕だらり、右腕90度曲げ
　　「ミ」左腕だらり、右腕180度曲げ、または、右腕だらり、左腕90度曲げ
　　「ファ」左腕90度曲げ、右腕90度曲げ
　　「ソ」左腕90度曲げ、右腕180度曲げ、または、右腕だらり、左腕180度曲げ
　　「ラ」左腕180度曲げ、右腕90度曲げ
　　「シ」左腕180度曲げ、右腕180度曲げ

1.4　「オリジナル楽器」のすすめ

たとえば筆者の場合にも、センサを利用した「楽器」を作曲の一部として 開発して、これを活用した新しいパフォーマンスの実験を行う、という のは日常的な活動である。 ここでは誌面の関係で詳細は述べられない（付録CDROM内にあるので 参照のこと）が、たとえば 図18 は、ファミコン用コントローラのPowerGloveを改造したセンサである。 パフォーマーのそれぞれの指の曲げ情報をワイヤレスでMIDI情報化する。 また、 図19 は、赤外線ビームをパフォーマーが遮断する時間を検出し、 0から127までの値としてMIDI出力するセンサ「SNAKEMAN」である。 そして、同じ光ビームを多数並べた新楽器として、 図20 の「ハープセンサ」も筆者の作品の一例である。垂直方向に13本、水平 方向に3本の光ビームの「弦」を弾く情報がMIDI化されている。 この演奏者は本来ピアニスト だが、練習によって独自の素晴らしい演奏技術を習得した。

このようなオリジナルのセンサは、センサのもっとも上流、つまり物理量 を電気的な情報に変換する部分（素子や素材）が難点である。しかし最近 では、秋葉原でも日本橋でも、各種の「センサキット」が安価に入手できる ので、これをブラックボックスとして利用するという手がある。センサ 部分に市販のキットを利用すれば、それ以降の

　・センサ出力をアナログ−ディジタル変換してマイコンに取り込む
　・マイコンのソフトウェアとして、平均化／ピーク検出／フィルタリング、
　　ノイズ除去、情報圧縮などの信号処理を行う
　・このディジタル情報をMIDIとして出力する
　・このMIDI情報をMAX等でパターン認識して音楽に利用する

2.　身体情報のセンシング

●CCDカメラによる方法

画像情報の全てというよりも、ハリウッドのモーションキャプチャシステム のように、人体にいくつか取り付けたLEDの輝点をリアルタイムに追従 すればよい、という条件になると、ずっと実現は容易となる。 たとえば、イメージラボの「DigitEye」センサの例（参考文献[3]）では、 たった一つの汎用CCDカメラとマイコンボードによって、同時に2つの 赤外LEDの輝点位置情報（X方向、Y方向だけでなく、奥行きのZ方向まで）を センシングする。

また、 図21 は、ICCビエンナーレ1997で準グランプリを受賞した前林明次氏の マルチメディア・インスタレーション作品 "Audible Distance" の ために、筆者が依頼されて開発したVRセンサシステムである。 ここでは、暗い会場内をHMDをかけて自由に移動する3人のプレイヤーの 位置と視線の向きを、上空のCCDカメラの画像情報からリアルタイム にセンシングしてMIDI化している。

●曲げセンサによる方法

●超音波センサによる方法

図22 は、このPowerGloveに内蔵されているマイコンを騙して、ファミコンに 接続されているものと思い込ませて動作情報を取り出してMIDI化する、 という筆者の作品「MIDIパワーグローブ」というセンサである。 グローブの上下位置をMIDIのボリュームに、左右位置をMIDIのパンポット に、指情報をMIDIノートイベントとして出力するが、この情報を任意 の情報にマッピングするのは、MAXで簡単に実現できる。

また、イメージラボの「Virtual Performer」センサ（参考文献[4]） でも、多数のセンサによるセンサフュージョンの一つとして、超音波 センサを利用した。 ここでは、ステージ上の一辺5メートルの立方体の中で、パフォーマーの 身体に取り付けた8点の超音波センサの位置を、5mmの分解能で 同時にリアルタイムセンシングする。

●加速度センサによる方法

図24 は、作曲家・中村滋延氏の「音の個展IV」のために依頼されて製作した 「MIDIバトン」センサを用いた作品の公演風景である。このセンサは 2種類あって、「スティックの先端の立方体の3方向に取り付けた 加速度センサで、直交する3次元方向の全ての加速度をセンシング」 「スティックの先端の正4面体の3面に取り付けた 加速度センサで、直交しない3方向の加速度をセンシング」という 異なる特性を持っている。作品では二人のパフォーマーが登場し、 一方が「指揮者」（背景音楽パートをリアルタイムに制御）、 もう一方が「独奏者」（バトン操作に応じたフレーズを生成）、という 役割としてステージ上に対峙し、それぞれのバトンで「演奏」した。

また、 図25 は、中村滋延氏の「音の個展V」の別の作品のために、立方体の 方の「MIDIバトン」センサを、スティックから切り落としたものを 用いた公演風景である。この作品では、パフォーマーがセンサを握って スクリーンに向かって「投げる」という動作をセンシングしてMIDI情報化 し、これに応じてスクリーン上のCG画像がインタラクティブに変化して いく。 図26 は、このパフォーマンスの風景であり、このような「躍動する肉体」の 動作をセンシングするには、加速度センサというのは自然な選択の ように思う。

ここからは余談になるが、加速度センサを使った研究としては、なんと いっても、センサによって「指揮棒」を作り、これで「シーケンサに 記録された音楽演奏データの再生のテンポを制御する」というのが 定番になっている。しかし、指揮棒の加速度センサの出力情報を 時間微分すれば速度が、さらに微分すれば変位が得られるのは当然 のことで、このピーク間隔でMIDIクロックを制御すればテンポが変わる というのも、何も面白くない当然のことである。海外では遥か遠い昔 に終わっているこのテーマに、いまさら「研究」と銘打って取り組む、 というような無駄のないように希望している。このテーマ関連が全て 終わっているわけではないが、もっと「何か」（音楽性、芸術表現、 アミューズメント性、などいくつもある）を掘り下げて欲しい。

●ジャイロセンサによる方法

●磁気センサによる方法

また、パフォーマーの身体に小型磁石を仕込んで、周囲に配置した ホール素子によってその位置情報を検出する、という非接触のセンシング の可能性もある。

●静電センサによる方法

ところがこのセンサでは、当初の目論見であった「微妙なタッチの ニュアンスの検出」には成功しなかった。センシング回路部分に 飽和特性があり、どうしてもON/OFF以上の情報を安定して得られなかった のである。同じような例は他にもあるが、このテーマも筆者にとっては まだまだ現役の宿題である。机上の空論でなく、実際に製作してみて こそ、新たな課題が出てくるという好例かもしれない。

●焦電センサによる方法

ところが、筆者の経験上は、これがなかなか曲者である。モジュール化 されているために、焦電センサに固有の非線型特性をうまくブラック ボックスの内部に入れてしまったのは歓迎できるが、出力がえらく鈍い ので苦労する。 たとえば、いったんONとなると、次にOFFとなってまたONを検出できる までに「数秒間」はマスキングされた「不感時間」が存在する、という ような仕様なのである。 防犯センサが動物などに過剰に反応しないための仕様なのだろうが、 これは「音楽演奏情報の検出」「インスタレーションに働きかける来場者 の仕種の検出」としては、あまりに鈍くて使いにくい。これもまた、 可能性を感じつつも解決できていないテーマの一つなのである。

3.　生理情報のセンシング

●筋電位センサによる方法

ここで紹介する例は、BioMuseと同じ筋電位センサでありながら、 コストがBioMuseの約100分の1、という、筆者の開発した「MiniBioMuse」 と名付けたセンサである。 その外観は、 図28 のようなものである。電源となる二つの006P乾電池が一緒に写っている ので、およその大きさは判るだろう。ちなみに非常に軽く、腰に ぶら下げても負担とならない。これでいて、外部に接続する機器の 必要なしに、筋電パルスをアナログ電圧として出力しつつ、同時に A/D変換されたMIDI信号を標準で出力する。つまり、ホストマシンの必要な BioMuseのパッチボックス部分ではなく、BioMuse本体のラック部分まで 含めた全体に相当する、マイコン回路を内蔵したスタンドアロン機である。

問題となるセンサの筋電バンド部分は、 図29 のようなものである。これは、コンピュータのメモリを増設する時に 人体に帯電した静電気で故障するのを防ぐために付属してくる、 静電気放電用のリストバンドを改造したものである。このリストバンド には、人体へのショックを防止するために、内部に1Mオーム程度の 高抵抗が内蔵されていて、生体用電極としてはこの抵抗が邪魔になる。 そこでリストバンドのモールド部分を壊して露出させ、抵抗を外して 直接にコードをハンダ付けする必要がある。

また、BioMuseと違って、このマシンではノイズをキャンセルするため に、接地電極として足首にも同じバンドを付ける。つまり、たとえば 両手首にバンドをつけてこの間の筋電パルスをセンシングする時には、 この2本と足首の1本、合計3本のバンドを取り付ける必要がある。 しかし、BioMuseでは必須だった、導電ジェルをべたべたと塗る 必要もなく、ただこのバンドをはめるだけで、なかなか良好に筋電 パルスをセンシングしてくれる。BioMuseの生みの親、世界的な生体 センサ専門家のAtau Tanaka氏にも、このセンサは非常に好評だった。

図30 が、このセンサのアナログ部分、つまりセンシングの中核部分の回路図 である。これは筆者のコラボレータで、生体センサの専門家である 照岡正樹氏が電子メイルで送ってくれたもので、このまま製作すると 無調整で動作した、という優れた回路である。筆者が議長を担当し、 照岡氏や多数のコンピュータ音楽愛好家が集う、Nifty-Serveの MIDIフォーラム内「音楽情報科学会議室」では、このような回路図や 技術情報が日常的に公開・議論されている。 なお、このアナログ信号出力をA/D変換してMIDI化する、という 部分については、参考文献[2]などを参考にされたい。

●脳波センサによる方法

筆者の印象では、脳波センサに関連した研究テーマは、まだまだ未知の 宝庫であると思う。時間的なレスポンスやリラックスの必用性から、 「音楽パフォーマンスのための情報として脳波を使う」というのは かなり無理があるだろう。しかし、安らぎを求めている時代の要請は、 リラクセーション音楽療法などへの応用、自分自身に脳波の状況を フィードバックすることでのトレーニング、さらに「人に優しいBGM」 といった産業への応用の可能性もある。興味ある研究者のチャレンジ が期待されている。

●視線センサによる方法

●皮膚抵抗センサによる方法

また、皮膚抵抗ではないが「湿度センサ」に似た「含水率センサ」を用いた 例としては、イメージラボの「Virtual Performer」センサ（参考文献[4]） の一つ、「サイバー尺八」の指穴センサがある。 これは、尺八というのは「指穴のON/OFF」ではなく、演奏技法として 「かざし」と呼ばれる、指穴の上空に微妙に指をかざして気流を漏れさせる 音が重要であるために考案された。具体的には、指穴ごとの周囲に4つに 分割したドーナツ状の電極を埋め込み（その後、名人芸の漆加工に よって、触った印象は元通りに修復）、ここに湿度センサを用いて 指穴ごとに連続量としてタッチ情報を得たのである。

●体温センサによる方法

●心拍センサによる方法

図31 は、ICCビエンナーレ1997準グランプリ作品 "Audible Distance" （前林明次氏）のために、筆者が依頼されて開発した心拍センサ システムである。 これは、暗い会場内をHMDをかけて自由に移動する3人のプレイヤーの 心拍情報を、映像と音響の同期のために検出するもので、この小型 ケース内に006P電池、センシング信号処理のためのマイコン回路、 そしてワイヤレス送信回路までが組み込まれている。

具体的に心拍をセンシングする方法にはいくつかあるが、この 作品のように美術館への来場者が体験するタイプのインスタレーション では、心電図装置のように直接肌にジェルを塗って取り付ける、と いうわけにはいかない。 そこで、 図32 のような、耳たぶクリップ状のセンサを用いた。ここには赤外LEDと フォトトランジスタが向き合うような構造となっていて、耳たぶの 毛細血管を心拍と同期して流れる血液の影によって、心拍と同期した 光量の変化をセンシングできる。 同じ原理で、指先にサック状のセンサを差し込むというものもある。

●呼気センサによる方法

このセンサの可能性としては、高齢化社会を迎えて、ほとんど身体 を動かせない身体障害者との意志伝達に、口元の高感度呼気センサを 利用する、というような福祉分野での応用がある。 ちなみに筆者は、雅楽の伝統楽器「笙」のためのコンピュータ音楽、 という新しい分野に関して、「笙センサ」に挑戦していきたいという テーマを持っている。楽器の特性から、呼気センサはそのもっとも 有力なアプローチになるかもしれない。

参考文献

[1]Atau Tanaka :
Musical Issues in Using Interactive Instrument Technology with
Application to the BioMuse.
Proceedings of 1993 International Computer Music Conference

[2]長嶋洋一 :
「Java & AKI-80」  ---パソコンで作るマイコン組み込みMIDI機器の製作---
CQ出版社, 1997

[3]H.Katayose, T.Kanamori, S.Inokuchi :
An Environment for Interactive Art.
Proceedings of 1996 International Computer Music Conference

[4]H.Katayose, T.Kanamori, S.Shimura, S.Inokuchi :
Demonstration of Gesture Sensors for the Shakuhachi.
Proceedings of 1994 International Computer Music Conference

[5]H.Katayose, T.Kanamori, Y.Aono, T.Sakaguchi, S.Inokuchi :
Sensor Integration for Interactive Digital Art.
Proceedings of 1995 International Computer Music Conference