センサを利用したメディア・アートと
インスタレーションの創作

長嶋 洋一


0. はじめに

Computer Music作品やメディア・アート作品などを創作していく上で、道具と なるセンサ、楽器、音源、ソフトウェア、ツールなども、楽譜やアルゴリズムと 同じようにオリジナル制作していく、という姿勢でいる。[1][2][3][4]

本稿では、1997年に筆者がセンサシステムの制作に協力したインスタレーション 作品と、筆者が作曲し発表したメディア・アート作品を中心に、人間とシステム との接点となる「センサ」に焦点を当てて、具体的な事例として紹介する。

1. センサとMIDI

筆者はこれまでにも、Computer Music作品の創作に関して、いくつものセンサ を広義の楽器としてオリジナル開発してきた。これは、市販の電子楽器などは 機能がメーカによって限定されて、その枠組みに制限された音楽表現を強要 されるという問題意識があるためで、技術的にはメーカの製品よりも粗雑で 稚拙であるとしても、より自由な可能性を持つ楽器を自作することを指向した ためである。[5][6][7][8][9][10][11][12]

ここで、1996年までに制作したいくつかの例を具体的な写真とともに紹介する。

これは、初代ファミコンの外部コントローラとしてアメリカから上陸した PowerGloveという製品を改造して利用した、MIDIコントローラとして使用 できるセンサである。ここでは、PowerGloveに内蔵されたマイコンが、接続 された相手がファミコンであると安心してグローブの状態(X,Y,Z方向の移動 とそれぞれの指の曲げ情報)を送信するように、センサシステムに内蔵した オリジナルのマイコンシステムがうまくファミコンの動作をエミュレーション し、PowerGloveを騙している。[13]

これは、同じくPowerGloveを利用したセンサで、ここでは内蔵マイコン部分 をすべて除去してオリジナルのカードマイコンとワイヤレス送信機を内蔵させ、 無線で指の状態のセンシング情報を送信して、受信側でMIDI化したものである。 このセンサはこれまでにいくつかの作品のPerformanceで利用している。

これは、難波のインド民芸品店で仕入れた太鼓の胴体に、日本橋のジャンク屋 で見つけたマイクのパイプを組み合わせた、SNAKEMANと名付けたセンサである。 このパイプの両端の間に赤外線ビームが走り、それを遮断する速度に応じた MIDI情報が出力される。このセンサも多くの作品やインスタレーションで 活躍してきた。

これらのセンサは、材料となるセンサ部分は市販の製品やセンサキットで あり、これを入力してMIDI情報化する部分には、やや専門的な電子工学の 技術が必要である。本稿ではこの部分を詳述する余裕はないので、興味の ある方は、文献[13]

を参照されたい。

2. ICCビエンナーレ展示作品「Audible Distance」のセンサ開発

2-1. その構想と経緯

NTTの新しい美術館であるICC(InterCommunication Center)が、1997年 10月25日から12月7日まで開催した、第1回ビエンナーレという展覧会が あった。世界中から企画審査で選ばれた9人の作家が、ICCを舞台として メディア・アート作品を展示する、という催しである。この9人の中で 唯一の日本人作家である前林明次氏から、ほとんど面識もない筆者に突然の 電子メイルが舞い込んだのは1997年2月頃である。

採択された前林氏の作品「Audible Distance」とは、視覚と聴覚の相互関係を 見つめ直す、というコンセプトに基く体験・参加型のインスタレーションで ある。来場者の3人がそれぞれ、3次元CG画像のためのHMD(ヘッドマウント ディスプレイ)をかけ、3次元サウンドを聞くヘッドホンをして、約5メートル 四方の暗い場内をさまよい歩く。

各プレーヤのHMDとヘッドホンには、他の二人のプレーヤの位置と距離に 応じたCG映像とサウンドが現われ、その距離に応じて視覚と聴覚に変化が 起きる。当然のことながら、プレーヤが向きを変えて視線を移動させれば、 HMDとヘッドホンの視界と音響もこれに伴って移動し、自然な空間を感覚 できる、というものである。

これは、この作品でプレーヤが使用するHMDとヘッドホンが一体化された ヘッドセットである。

また、それぞれの参加者(以降「プレーヤ」と呼ぶ)は心拍センサも身に つけていて、上記の映像とサウンドはこの心拍に同期して変化する。この ハートビートというのが、映像においてもサウンドにおいても重要な ポイントとなった作品である。

このようなセンサは、ゲームメーカであればどこでも導入している、 ハリウッドの「モーションキャプチャー」センサシステムを利用すれば、 ほぼ簡単に構築することができる。しかし、これには何億円という コストがかかる。この作品の予算には限界があり、筆者が依頼された センサシステムの予算は、2桁以上安く、このシステムを実現すること であった。

2-2. プレーヤの位置検出とMIDI活用

前林氏と筆者との打合せは、3月末に一度だけICCに出向いてNTTの担当者 を含めた顔合わせをしただけで、あとは全て電子メイルで行った。図を 伴う検討は、それぞれのホームページに画像データを置いてダウンロード することで簡単に行えた。

これは、筆者の自宅の自室の机の上である。これが、このセンサシステム の開発風景の一こまというわけである。なお、具体的な開発は5月から7月に わたって進めた。

同じスペースを3人のプレーヤが勝手に移動する、という状況を非接触で センシングする方法としては、「CCDカメラで画像認識を行う」というのが 定番である。問題はそれぞれのプレーヤがきょろきょろと視線を回転させる 状態をセンシングする方法で、これが不正確だとHMDの視野とのずれが 不快感となって問題化する。ここでは、「ジャイロセンサで角速度を 検出する」という、カーナビ(GPSの電波の届かないトンネル内での 位置補正)やビデオカメラ(手ぶれ補正)で定番の方法も候補になった が、最終的には「各プレーヤが前頭部と後頭部の2個所に赤外LEDを 持って、この2点で視線の方向ベクトルを決定する」という方法を採用 した。

これは、この作品のセンサとして使用したCCDカメラである。会場では 上空5メートルの位置に固定した。なお、画像はワイヤレスでなく、 最終的にはラインを伸ばしてシステムに直結した。

リアルタイムにスムーズな画像認識を行うというのは、コストに応じた 性能が得られるという厳然たる事実があり、限られた予算ではシステム 設計は難航した。最終的には、パソコンの拡張ボードタイプの画像処理 ボードと、オンボードで画像のエッジ検出を行う専用ボードとを併用 することで、ホストパソコンの処理量をカバーする、という方法に 落ち着いた。画像処理ボードとこのメーカの画像処理ライブラリとで 数十万円というオーダであり、心拍のオーダである毎秒2回(3人それぞれ 2点の計測で合計12ポイント/秒)を目標とした。

また、心拍センサ、位置センサの全ての情報はMIDI情報としてCG系と サウンド系に送ることにした。これは前林氏も筆者も、メディア・アート のプラットフォームとして"MAX"を熟知・活用していたためである。 そこで実際にまったくセンサができていない段階で、まず筆者は 「センサシステムからはこういうMIDI出力が出てくると期待される」 という、エミュレーションのMAXパッチをまず、電子メイルで前林氏 に送った。これにより、センサシステムが完成するよりも前に、並行 してこのエミュレーションMIDI情報を受けたCG系とサウンド系の制作 を進めることができ、スケジュールを大きく助けた。

2-3. 心拍センサとワイヤレス

画像処理系/MIDI系とともにセンサシステムの重要なポイントとなる のが、心拍センサと、全体で9チャンネル(心拍センサ3人分、3人それぞれ 2点ずつの赤外LED制御で6点、合計9チャンネル)になるワイヤレス制御 である。通常のワイヤレス(微弱電波)機器は、周波数帯域が影響 することもあって、同時に9チャンネルというのは至難の業である。 また、3人のプレーヤのためのCG映像と3次元サウンドもまた、生成系 からワイヤレスで送るために、無線の帯域はあまり多く占有できない。

そこでシステム構成を検討して、心拍センサとして別個に3チャンネル、 位置センシングについては情報を同じ周波数に多重化しさらに帯域を 変える、ということで解決した。ちなみに、実際には現場での故障に 備えて、3セットでなく同じものを4セット製作した。

これは、位置センサのための赤外LED点灯のためのワイヤレスモジュール である。電池は内蔵006P電池で、光量を稼ぐために3個の大出力LEDを 同時に点灯させている。このセンサは最終的には、プレーヤのかぶる 帽子の前部と後部にLEDを置いて、モジュールはHMDなどのバッテリと ともにナップサックに入れて背負うスタイルとなった。

心拍センサは色々な方式を検討した結果、耳たぶにクリップ状のセンサ を挟むタイプとした。これはスポーツジムなどで使用されているもの で、耳たぶの血管を流れる血流の影が心拍と同期して変化するのを センシングするものである。

これは、心拍センサの「耳たぶクリップ」部分であり、

これは、この信号をワイヤレス送信するモジュールである。こちらも006P電池 内蔵だが、心拍情報のノイズを除去するためにマイコンを内蔵している。

2-4. 開発とデバッグと調整

これは、センサシステム本体のパネル部分である。パソコン用拡張 ボードラックを流用し、液晶パネルによって、最初のセッティングを 支援するようにした。全体のソフトはパソコン上のC言語ソフトとして 開発し、MIDI周辺は市販のMIDIボードを利用した。ただし、実際には 心拍センサからの情報と位置センサのMIDI情報をマージする必要が あり、このMIDIマージャも組み込んだ。

これはその内部の様子で あり、かなり複雑な内部配線となった。

大きな誤算だったのは、画像処理ボードのメーカから購入した「画像 処理ライブラリ」という十数万円のソフトウェア製品である。当初は、 これを利用することで、メインの処理系はほとんど具体的な画像処理 を記述することなくブラックボックスとして利用する予定だったが、 メーカの不備からバグが続出して使えないことが判明し、予定して いなかった「画像処理ライブラリのオリジナル開発」という仕事が 発生してしまった。このため画像処理のパフォーマンスも予定より やや下回った。

全画面のLED位置検出ではあまりに時間がかかるので、画面内の 特定領域(前回センシングできた位置の周囲)だけを高速で探索 するように改良することで、ようやく希望に近い性能を得ることが できた。メーカのライブラリなど信じてはいけない、という貴重な 経験となった。

結果として、8月に完成したセンサシステムをICCに送り、MAXの パッチのバグ対策で一度、またセンサソフトのバグで一度、とICC 詣でをしたものの、かなり効率的に(ICCに寝泊まりして対応する こともなく)システムが実現できたと思う。 なお、この作品は審査により「準グランプリ」を受賞し、このセンサ システムは作品としてICCに所蔵されることとなった。

3. Computer Music作品「Brikish Heart Rock」のセンサ開発

次に紹介する事例は、筆者が1997年10月15日に、神戸・ジーベックホール のコンサートで初演したComputer Music作品「Brikish Heart Rock」の センサの開発についてである。この作品では、アドリブを許された フルート奏者と、センサシステムのPerformerとが、コンピュータシステム とともに軽快な即興ロックを演奏した。

は、この作品のために筆者が制作したタッチセンサで ある。機構としては、市販されているタッチセンサ(電極に触れると、 人体に誘起しているノイズによってON/OFFする)と同じものを 5回路、搭載してMIDI出力化しただけのものである。しかしここでは、 これとともにボード上(敢えてメカニックな概観をそのまま露出させて いる)の並んだLEDが次々に点灯する、という一種のインスタレーション 作品として制作している。この作品だけでなく、単体のインスタ作品と しての展示・体験も可能である。ちなみにタッチの電極部分は、日本橋 のジャンク屋で発見した、放熱フィン付の大電力抵抗器である。この 放熱フィンをタッチ電極として利用している。

これは、この作品が最初のお披露目となった「MiniBioMuse」という センサである。BioMuseという製品は、人体の筋電位(筋肉から発生 する電気的パルス)を検出するセンサで、300万円ほどするが、筆者は コラボレータの照岡正樹氏(生体センサの専門家)の協力により、同じ ように筋電位をセンシングしてMIDI出力するセンサを、2桁安く開発 することができた。

これは、このセンサを両手首に取り付けたところ である。実際には、さらに足首にノイズをキャンセルするための基準 電位としてバンドを取り付ける。この場合、両手首の間の筋肉に 力が入ると、そのパルスが奇麗にアナログ出力(ノイズに聞こえる) されるとともに、その強度をMIDI情報に変換して出力する。ちなみに このバンドは、静電気破壊を防止するための放電バンドを改造した。

これは、このセンサをコンサートで「演奏」している風景である。

4. マルチメディア・アート作品「Atom Hard Mothers」のセンサ開発

次に紹介する事例は、筆者が1997年10月15日に、神戸・ジーベックホール のコンサートで初演し、1997年11月24日に、同じジーベックホールの コンピュータミュージック・アンデパンダンコンサートで完全版を 発表したマルチメディア・アート作品「Atom Hard Mothers」の センサの開発についてである。この作品では、二人のPerformerが センサを「演奏」し、Computer Music部分と、映像作家・由良泰人に よる背景ビデオ、およびビデオカメラ映像をライブでスイッチングする。

一人のPerformerは、筆者が以前に制作した「MIBURI sensor」および 「SNAKEMAN」というセンサを操作した。これについては文献[4]にある ので、ここでは省略する。

もう一人のPeformerのために新しく制作したのが、「ハープセンサ」 である。これは

のように、張り合わせた額縁に仕込んだ光ファイバ センサによって実現した。この長方形の枠内に、垂直方向に走る13本、 水平方向に走る3本の光ビームを「弾く」ことで演奏する。 個々の光ビームは、センサモジュールの調停機構によってまったく干渉 することなく独立にセンシングされ、この情報がMIDI化されて出力 される。

これは「ハープセンサ」の演奏風景であり、

これはこの作品の初演時 の公演風景である。右側のPerformerはMIBURIセンサを身につけており、 さらにSNAKEMANに手を伸ばしているところである。

5. おわりに

いくつかの事例とともに、センサの制作と作品への応用について紹介 してきた。筆者のところには、ギリシャのComputer Music国際会議の会場 で依頼された「笙」のためのセンサ、という新たなる難題が持ち込まれた ところである。[14]

メーカが効率主義の大量生産によって提供する「道具」は、確かに確実で 手堅いものだが、そればかりを安易に作品に利用することは、どこか オリジナリティを失っているような気がする。なにもかも自分で作ると いうのは無茶なことであるが、筆者は多くのコラボレータとの出会いに よって、自分ではとうてい出来ない作品・制作を何度も体験してきた。 現代のアートはまさにコラボレーション・アートである、とつくづく 感謝している。


参考文献

[1]
長嶋洋一 : 
Chaos理論とComputer Music.
京都芸術短期大学紀要[瓜生]第16号1993年, pp.28--44, 1994.

[2]
長嶋洋一, 由良泰人 : 
Multimediaパフォーマンス作品 "Muromachi"
京都芸術短期大学紀要[瓜生]第17号1995年, pp.39--43, 1995.

[3]
長嶋洋一 : 
マルチメディア作品におけるカオス理論の応用.
京都芸術短期大学紀要[瓜生]第18号1996年, pp.30--40, 1996.

[4]
長嶋洋一 : 
インタラクティブ・マルチメディア作品"Asian Edge"について.
京都芸術短期大学紀要[瓜生]第19号1997年, pp.119--127, 1997.

[5]
長嶋洋一 : 
音群技法による音楽作品のための演奏支援システム.
情報処理学会平成2年度後期全国大会講演論文集I, pp.253--254, 1990.

[6]
長嶋洋一 : 
Musical Concept and System Design of "Chaotic Grains".
情報処理学会研究報告 Vol.93,No.32 (93-MUS-1), pp.9--16, 1993.

[8]
長嶋洋一 : 
マルチメディアComputer Music作品の実例報告.
情報処理学会研究報告 Vol.94,No.71 (94-MUS-7), pp.39--44, 1994.

[9]
Y.Nagashima, H.Katayose, S.Inokuchi : 
Multimedia Interactive Art : System Design and Artistic Concept
of Real-Time Performance with Computer Graphics and Computer Music.
Proceedings of Sixth International Conference on Human-Computer
Interaction, pp.107--112, ELSEVIER, 1995.

[10]
長嶋洋一, 由良泰人, 藤田泰成, 片寄晴弘, 井口征士 : 
マルチメディア・インタラクティブ・アート開発支援環境と作品制作・
パフォーマンスの実例紹介. 
情報処理学会研究報告 Vol.96,No.75 (96-MUS-16), pp.39--46, 1996.

[11]
長嶋洋一 : 
[広義の楽器]用ツールとしてのMIDI活用
情報処理学会研究報告 Vol.96,No.124 (96-MUS-18), pp.19--26, 1996.

[12]
長嶋洋一 : 
京都造形芸術大学公開講座エクステンション
「インタラクティブ・アートのための技術講座」
  ---センサとMIDIシステムによるインタラクション入門---

[13]
長嶋洋一 : 
CQ出版「Java & AKI-80」(単行本・単著), 1997

[14]
長嶋洋一 : 
ICMC(International Computer Music Conference)1997レポート