Sensor & Media Art

センサを利用したメディア・アートと
インスタレーションの創作

長嶋洋一

0. はじめに

Computer Music作品やメディア・アート作品などを創作していく上で、道具となるセンサ、楽器、音源、ソフトウェア、ツールなども、楽譜やアルゴリズムと同じようにオリジナル制作していく、という姿勢でいる。[1][2][3][4]

本稿では、1997年に筆者がセンサシステムの制作に協力したインスタレーション作品と、筆者が作曲し発表したメディア・アート作品を中心に、人間とシステムとの接点となる「センサ」に焦点を当てて、具体的な事例として紹介する。

1. センサとMIDI

筆者はこれまでにも、Computer Music作品の創作に関して、いくつものセンサを広義の楽器としてオリジナル開発してきた。これは、市販の電子楽器などは機能がメーカによって限定されて、その枠組みに制限された音楽表現を強要されるという問題意識があるためで、技術的にはメーカの製品よりも粗雑で稚拙であるとしても、より自由な可能性を持つ楽器を自作することを指向したためである。[5][6][7][8][9][10][11][12]

ここで、1996年までに制作したいくつかの例を具体的な写真とともに紹介する。

これは、初代ファミコンの外部コントローラとしてアメリカから上陸した PowerGloveという製品を改造して利用した、MIDIコントローラとして使用できるセンサである。ここでは、PowerGloveに内蔵されたマイコンが、接続された相手がファミコンであると安心してグローブの状態（X,Y,Z方向の移動とそれぞれの指の曲げ情報）を送信するように、センサシステムに内蔵したオリジナルのマイコンシステムがうまくファミコンの動作をエミュレーションし、PowerGloveを騙している。[13]

これは、同じくPowerGloveを利用したセンサで、ここでは内蔵マイコン部分をすべて除去してオリジナルのカードマイコンとワイヤレス送信機を内蔵させ、無線で指の状態のセンシング情報を送信して、受信側でMIDI化したものである。このセンサはこれまでにいくつかの作品のPerformanceで利用している。

これは、難波のインド民芸品店で仕入れた太鼓の胴体に、日本橋のジャンク屋で見つけたマイクのパイプを組み合わせた、SNAKEMANと名付けたセンサである。このパイプの両端の間に赤外線ビームが走り、それを遮断する速度に応じた MIDI情報が出力される。このセンサも多くの作品やインスタレーションで活躍してきた。

これらのセンサは、材料となるセンサ部分は市販の製品やセンサキットであり、これを入力してMIDI情報化する部分には、やや専門的な電子工学の技術が必要である。本稿ではこの部分を詳述する余裕はないので、興味のある方は、文献[13]

を参照されたい。

2. ICCビエンナーレ展示作品「Audible Distance」のセンサ開発

2-1. その構想と経緯

NTTの新しい美術館であるICC(InterCommunication Center)が、1997年 10月25日から12月7日まで開催した、第1回ビエンナーレという展覧会があった。世界中から企画審査で選ばれた9人の作家が、ICCを舞台としてメディア・アート作品を展示する、という催しである。この9人の中で唯一の日本人作家である前林明次氏から、ほとんど面識もない筆者に突然の電子メイルが舞い込んだのは1997年2月頃である。

採択された前林氏の作品「Audible Distance」とは、視覚と聴覚の相互関係を見つめ直す、というコンセプトに基く体験・参加型のインスタレーションである。来場者の3人がそれぞれ、3次元CG画像のためのHMD（ヘッドマウントディスプレイ）をかけ、3次元サウンドを聞くヘッドホンをして、約5メートル四方の暗い場内をさまよい歩く。

各プレーヤのHMDとヘッドホンには、他の二人のプレーヤの位置と距離に応じたCG映像とサウンドが現われ、その距離に応じて視覚と聴覚に変化が起きる。当然のことながら、プレーヤが向きを変えて視線を移動させれば、 HMDとヘッドホンの視界と音響もこれに伴って移動し、自然な空間を感覚できる、というものである。

これは、この作品でプレーヤが使用するHMDとヘッドホンが一体化されたヘッドセットである。

また、それぞれの参加者（以降「プレーヤ」と呼ぶ）は心拍センサも身につけていて、上記の映像とサウンドはこの心拍に同期して変化する。このハートビートというのが、映像においてもサウンドにおいても重要なポイントとなった作品である。

このようなセンサは、ゲームメーカであればどこでも導入している、ハリウッドの「モーションキャプチャー」センサシステムを利用すれば、ほぼ簡単に構築することができる。しかし、これには何億円というコストがかかる。この作品の予算には限界があり、筆者が依頼されたセンサシステムの予算は、2桁以上安く、このシステムを実現することであった。

2-2. プレーヤの位置検出とMIDI活用

前林氏と筆者との打合せは、3月末に一度だけICCに出向いてNTTの担当者を含めた顔合わせをしただけで、あとは全て電子メイルで行った。図を伴う検討は、それぞれのホームページに画像データを置いてダウンロードすることで簡単に行えた。

これは、筆者の自宅の自室の机の上である。これが、このセンサシステムの開発風景の一こまというわけである。なお、具体的な開発は5月から7月にわたって進めた。

同じスペースを3人のプレーヤが勝手に移動する、という状況を非接触でセンシングする方法としては、「CCDカメラで画像認識を行う」というのが定番である。問題はそれぞれのプレーヤがきょろきょろと視線を回転させる状態をセンシングする方法で、これが不正確だとHMDの視野とのずれが不快感となって問題化する。ここでは、「ジャイロセンサで角速度を検出する」という、カーナビ（GPSの電波の届かないトンネル内での位置補正）やビデオカメラ（手ぶれ補正）で定番の方法も候補になったが、最終的には「各プレーヤが前頭部と後頭部の2個所に赤外LEDを持って、この2点で視線の方向ベクトルを決定する」という方法を採用した。

これは、この作品のセンサとして使用したCCDカメラである。会場では上空5メートルの位置に固定した。なお、画像はワイヤレスでなく、最終的にはラインを伸ばしてシステムに直結した。

リアルタイムにスムーズな画像認識を行うというのは、コストに応じた性能が得られるという厳然たる事実があり、限られた予算ではシステム設計は難航した。最終的には、パソコンの拡張ボードタイプの画像処理ボードと、オンボードで画像のエッジ検出を行う専用ボードとを併用することで、ホストパソコンの処理量をカバーする、という方法に落ち着いた。画像処理ボードとこのメーカの画像処理ライブラリとで数十万円というオーダであり、心拍のオーダである毎秒2回（3人それぞれ 2点の計測で合計12ポイント／秒）を目標とした。

また、心拍センサ、位置センサの全ての情報はMIDI情報としてCG系とサウンド系に送ることにした。これは前林氏も筆者も、メディア・アートのプラットフォームとして"MAX"を熟知・活用していたためである。そこで実際にまったくセンサができていない段階で、まず筆者は「センサシステムからはこういうMIDI出力が出てくると期待される」という、エミュレーションのMAXパッチをまず、電子メイルで前林氏に送った。これにより、センサシステムが完成するよりも前に、並行してこのエミュレーションMIDI情報を受けたCG系とサウンド系の制作を進めることができ、スケジュールを大きく助けた。

2-3. 心拍センサとワイヤレス

画像処理系／MIDI系とともにセンサシステムの重要なポイントとなるのが、心拍センサと、全体で9チャンネル（心拍センサ3人分、3人それぞれ 2点ずつの赤外LED制御で6点、合計9チャンネル）になるワイヤレス制御である。通常のワイヤレス（微弱電波）機器は、周波数帯域が影響することもあって、同時に9チャンネルというのは至難の業である。また、3人のプレーヤのためのCG映像と3次元サウンドもまた、生成系からワイヤレスで送るために、無線の帯域はあまり多く占有できない。

そこでシステム構成を検討して、心拍センサとして別個に3チャンネル、位置センシングについては情報を同じ周波数に多重化しさらに帯域を変える、ということで解決した。ちなみに、実際には現場での故障に備えて、3セットでなく同じものを4セット製作した。

これは、位置センサのための赤外LED点灯のためのワイヤレスモジュールである。電池は内蔵006P電池で、光量を稼ぐために3個の大出力LEDを同時に点灯させている。このセンサは最終的には、プレーヤのかぶる帽子の前部と後部にLEDを置いて、モジュールはHMDなどのバッテリとともにナップサックに入れて背負うスタイルとなった。

心拍センサは色々な方式を検討した結果、耳たぶにクリップ状のセンサを挟むタイプとした。これはスポーツジムなどで使用されているもので、耳たぶの血管を流れる血流の影が心拍と同期して変化するのをセンシングするものである。

これは、心拍センサの「耳たぶクリップ」部分であり、

これは、この信号をワイヤレス送信するモジュールである。こちらも006P電池内蔵だが、心拍情報のノイズを除去するためにマイコンを内蔵している。

2-4. 開発とデバッグと調整

これは、センサシステム本体のパネル部分である。パソコン用拡張ボードラックを流用し、液晶パネルによって、最初のセッティングを支援するようにした。全体のソフトはパソコン上のC言語ソフトとして開発し、MIDI周辺は市販のMIDIボードを利用した。ただし、実際には心拍センサからの情報と位置センサのMIDI情報をマージする必要があり、このMIDIマージャも組み込んだ。

これはその内部の様子であり、かなり複雑な内部配線となった。

大きな誤算だったのは、画像処理ボードのメーカから購入した「画像処理ライブラリ」という十数万円のソフトウェア製品である。当初は、これを利用することで、メインの処理系はほとんど具体的な画像処理を記述することなくブラックボックスとして利用する予定だったが、メーカの不備からバグが続出して使えないことが判明し、予定していなかった「画像処理ライブラリのオリジナル開発」という仕事が発生してしまった。このため画像処理のパフォーマンスも予定よりやや下回った。

全画面のLED位置検出ではあまりに時間がかかるので、画面内の特定領域（前回センシングできた位置の周囲）だけを高速で探索するように改良することで、ようやく希望に近い性能を得ることができた。メーカのライブラリなど信じてはいけない、という貴重な経験となった。

結果として、8月に完成したセンサシステムをICCに送り、MAXのパッチのバグ対策で一度、またセンサソフトのバグで一度、とICC 詣でをしたものの、かなり効率的に（ICCに寝泊まりして対応することもなく）システムが実現できたと思う。なお、この作品は審査により「準グランプリ」を受賞し、このセンサシステムは作品としてICCに所蔵されることとなった。

3. Computer Music作品「Brikish Heart Rock」のセンサ開発

次に紹介する事例は、筆者が1997年10月15日に、神戸・ジーベックホールのコンサートで初演したComputer Music作品「Brikish Heart Rock」のセンサの開発についてである。この作品では、アドリブを許されたフルート奏者と、センサシステムのPerformerとが、コンピュータシステムとともに軽快な即興ロックを演奏した。

と

は、この作品のために筆者が制作したタッチセンサである。機構としては、市販されているタッチセンサ（電極に触れると、人体に誘起しているノイズによってON/OFFする）と同じものを 5回路、搭載してMIDI出力化しただけのものである。しかしここでは、これとともにボード上（敢えてメカニックな概観をそのまま露出させている）の並んだLEDが次々に点灯する、という一種のインスタレーション作品として制作している。この作品だけでなく、単体のインスタ作品としての展示・体験も可能である。ちなみにタッチの電極部分は、日本橋のジャンク屋で発見した、放熱フィン付の大電力抵抗器である。この放熱フィンをタッチ電極として利用している。

これは、この作品が最初のお披露目となった「MiniBioMuse」というセンサである。BioMuseという製品は、人体の筋電位（筋肉から発生する電気的パルス）を検出するセンサで、300万円ほどするが、筆者はコラボレータの照岡正樹氏（生体センサの専門家）の協力により、同じように筋電位をセンシングしてMIDI出力するセンサを、2桁安く開発することができた。

これは、このセンサを両手首に取り付けたところである。実際には、さらに足首にノイズをキャンセルするための基準電位としてバンドを取り付ける。この場合、両手首の間の筋肉に力が入ると、そのパルスが奇麗にアナログ出力（ノイズに聞こえる）されるとともに、その強度をMIDI情報に変換して出力する。ちなみにこのバンドは、静電気破壊を防止するための放電バンドを改造した。

これは、このセンサをコンサートで「演奏」している風景である。

4. マルチメディア・アート作品「Atom Hard Mothers」のセンサ開発

次に紹介する事例は、筆者が1997年10月15日に、神戸・ジーベックホールのコンサートで初演し、1997年11月24日に、同じジーベックホールのコンピュータミュージック・アンデパンダンコンサートで完全版を発表したマルチメディア・アート作品「Atom Hard Mothers」のセンサの開発についてである。この作品では、二人のPerformerがセンサを「演奏」し、Computer Music部分と、映像作家・由良泰人による背景ビデオ、およびビデオカメラ映像をライブでスイッチングする。

一人のPerformerは、筆者が以前に制作した「MIBURI sensor」および「SNAKEMAN」というセンサを操作した。これについては文献[4]にあるので、ここでは省略する。

もう一人のPeformerのために新しく制作したのが、「ハープセンサ」である。これは

のように、張り合わせた額縁に仕込んだ光ファイバセンサによって実現した。この長方形の枠内に、垂直方向に走る13本、水平方向に走る3本の光ビームを「弾く」ことで演奏する。個々の光ビームは、センサモジュールの調停機構によってまったく干渉することなく独立にセンシングされ、この情報がMIDI化されて出力される。

これは「ハープセンサ」の演奏風景であり、

これはこの作品の初演時の公演風景である。右側のPerformerはMIBURIセンサを身につけており、さらにSNAKEMANに手を伸ばしているところである。

5．おわりに

いくつかの事例とともに、センサの制作と作品への応用について紹介してきた。筆者のところには、ギリシャのComputer Music国際会議の会場で依頼された「笙」のためのセンサ、という新たなる難題が持ち込まれたところである。[14]

メーカが効率主義の大量生産によって提供する「道具」は、確かに確実で手堅いものだが、そればかりを安易に作品に利用することは、どこかオリジナリティを失っているような気がする。なにもかも自分で作るというのは無茶なことであるが、筆者は多くのコラボレータとの出会いによって、自分ではとうてい出来ない作品・制作を何度も体験してきた。現代のアートはまさにコラボレーション・アートである、とつくづく感謝している。

参考文献

[1]
長嶋洋一 : 
Chaos理論とComputer Music.
京都芸術短期大学紀要［瓜生］第16号1993年, pp.28--44, 1994.

[2]
長嶋洋一, 由良泰人 : 
Multimediaパフォーマンス作品 "Muromachi"
京都芸術短期大学紀要［瓜生］第17号1995年, pp.39--43, 1995.

[3]
長嶋洋一 : 
マルチメディア作品におけるカオス理論の応用.
京都芸術短期大学紀要［瓜生］第18号1996年, pp.30--40, 1996.

[4]
長嶋洋一 : 
インタラクティブ・マルチメディア作品"Asian Edge"について.
京都芸術短期大学紀要［瓜生］第19号1997年, pp.119--127, 1997.

[5]
長嶋洋一 : 
音群技法による音楽作品のための演奏支援システム.
情報処理学会平成2年度後期全国大会講演論文集I, pp.253--254, 1990.

[6]
長嶋洋一 : 
Musical Concept and System Design of "Chaotic Grains".
情報処理学会研究報告 Vol.93,No.32 (93-MUS-1), pp.9--16, 1993.

[8]
長嶋洋一 : 
マルチメディアComputer Music作品の実例報告.
情報処理学会研究報告 Vol.94,No.71 (94-MUS-7), pp.39--44, 1994.

[9]
Y.Nagashima, H.Katayose, S.Inokuchi : 
Multimedia Interactive Art : System Design and Artistic Concept
of Real-Time Performance with Computer Graphics and Computer Music.
Proceedings of Sixth International Conference on Human-Computer
Interaction, pp.107--112, ELSEVIER, 1995.

[10]
長嶋洋一, 由良泰人, 藤田泰成, 片寄晴弘, 井口征士 : 
マルチメディア・インタラクティブ・アート開発支援環境と作品制作・
パフォーマンスの実例紹介. 
情報処理学会研究報告 Vol.96,No.75 (96-MUS-16), pp.39--46, 1996.

[11]
長嶋洋一 : 
[広義の楽器]用ツールとしてのMIDI活用
情報処理学会研究報告 Vol.96,No.124 (96-MUS-18), pp.19--26, 1996.

[12]
長嶋洋一 : 
京都造形芸術大学公開講座エクステンション
「インタラクティブ・アートのための技術講座」
　　---センサとMIDIシステムによるインタラクション入門---

[13]
長嶋洋一 : 
CQ出版「Java & AKI-80」（単行本・単著）, 1997

[14]
長嶋洋一 : 
ICMC(International Computer Music Conference)1997レポート