インタラクティブ・メディアアート

長嶋洋一 (SUAC/ASL)

1. はじめに

　コンピュータ音楽を中心としたメディアアートに関するテーマの研究活動とともに、その具体的な応用を実験的に検証する意味で、実際にいろいろなインタラクティブ・マルチメディア作品を創作して公演・発表する活動を行っている(1)。基本的なモチベーションとして、一般的なDTM(Desk Top Music)やカラオケ自動演奏データやプロモーションビデオ(DVD)のように、制作が完了すれば固定的な「再生」で何度でも同じ出力を得られる作品、というタイプにはあまり興味がなく、センサを活用したインタラクティブ性、Performer(狭義には「演奏者」)の即興性、カオスのライブ生成、その場の環境要因、等の影響を重視している。ここでは、これまでに関わった研究テーマの紹介、目指しているインタラクティブ・メディアアートの姿、具体的な作品制作の紹介などを行うとともに、後半には実例として本講演に向けて作曲した新作の公演を行う。紙面の都合で技術的詳細は述べきれないので、末尾の参考文献を参照されたい。

2. メディアアートに関する研究

(1) PEGASUS project

　統合的なコンピュータ音楽の創作・演奏環境として、PEGASUS (Performing Environment of Granulation, Automata, Succession, and Unified-Synchronism) project と名付けた実験的なシステムの実現に向けた研究を行った(2-7)。ここでは、 Granular Synthesis 方式によるライブ楽音合成システムをオリジナル開発し、そのパラメータ補間とライブ制御にニューラルネットワークを利用した。また、リアルタイムにカオスを生成させ、そのパラメータで音楽生成やグラフィクス生成を行う作品も合わせて創作した。

(2) マルチメディア作品のための実験と応用

　PEGASUS projectを発展させた形で次に取り組んだのは、Computer Musicだけでなくグラフィクスの要素も取り込んだマルチメディア・アートの生成環境であり、「眼で聴き、耳で観る」システム、という理想的なイメージを掲げた上で、個々の具体的な作品創作においては個別の実現手法を検討した(8-16)。

(3) センサとネットワークの活用

　マルチメディア・アートが単なる「再生もの」であれば、LDやDVDに固定してシアターでプロジェクションすれば何度でも同じものが体験できるが、そこにはライブパフォーマンスとしての緊張感も臨場感も決定的に欠けている。この視点から、各種のセンサを多重に利用したセンサフュージョン技術、さらに複数のPerfprmerのライブセッションと即興性を重視した作品の創作に重点を置いて、関連するシステムや要素技術についての研究を行った(17-27)。
　ここでは、32bitマイクロコントーラを活用した多種のセンサ群、MIDIをベースとしたパフォーマンス情報ネットワーク、ライブ中でもアルゴリズムを動的に組み換えられるリアルタイムオーサリング環境 "MAX" 、人間の身体動作を検出するための各種の生体センシング、多数のメンバーがLAN上で行う即興セッション、等の要素技術を具体的なシステムとして実現するとともに、実際の作品のライブ公演という過酷な場での応用検証も進めてきた(28-29)。

3. インタラクティブなComputer Musicとは

(1) クラシックとジャズの「即興」

　クラシック音楽や民族音楽・伝統音楽の演奏においても、「即興」は常に重要な音楽的要素である。作曲家が楽譜で示す音楽の姿をそのまま忠実に再現する「ロボットのような演奏」が至上であるならば、「最上の音楽演奏」を記録したDVDとか演奏情報を入力した自動演奏ロボットがあれば、もうライブ演奏は不要だ、ということになってしまうが、音楽とはそんなものではない。
　ジャズやロックやポピュラーの世界では、楽譜のアドリブパートには、即興で変奏すべき元の音は記載されていない。演奏すべき音（ピッチ、リズム、フレーズ、コード、アーティキュレーション、アクセント等々）の全てが演奏者の即興に任されている。コード等の枠組みが比較的決まっているポピュラーに比べて、ジャズではさらに自由になり、リフ以外の繰り返し構造、あるいはコード進行そのものまで演奏者同士の即興で決められつつ演奏が進行していく。ここでは腕だけでなく、耳と勘の優れた演奏家でなければ生きていけない。

(2) "DTM" = 再生音楽

　ビジネスシーンでのDTMとは「MIDIで表現される音楽演奏情報をシーケンスデータとして制作・編集する」という作業である。テレビ番組やゲームやCMのBGM、カラオケの曲データ等、MIDIベースの音楽は既に産業として巨大な存在となっている。その基本はシーケンサの本質である「確実に何度でも同じ演奏が再現される」という点にあり、ノンリアルタイム音楽とかテープ音楽と分類される。記録媒体に固定、あるいはインターネット配信などによりライブスペースの時間的空間的制約を越えて残っていく、というメリットの代償として、この種の音楽は「演奏の場のリアリティと偶然性」を失っている。

(3) アルゴリズム作曲

　筆者のアルゴリズム作曲の立場は、これとは発想が異なる。「毎回、どこか異なった演奏となる音楽」「その場の状況に応じて変わる音楽」を、しかし作曲として構築したい、という姿勢である。生身の人間の演奏であれば、ジャズのアドリブとかでなくても、クラシック演奏でもその場限りという性格を持つ。しかしここでは、微妙な演奏表現のレベルよりももっと大きく、音楽演奏情報や作品の構成そのものが演奏のたびに変わるような「仕組み」、すなわちアルゴリズムを構築するという作業として「作曲」をとらえるのである。
　モーツァルトの「さいころ音楽」やケージの音楽のように、乱数や易学をベースとした統計・確率の音楽というアプローチもこの一種である。コンピュータにとって乱数や確率的な情報処理はお手軽なものであり、ここに様々な音楽的制約を作用させて「そのたびに異なった音楽情報」を生成することは容易である。最近ではテーマとしてカオス・フラクタル・遺伝アルゴリズム・ファジイ等の新しい概念が利用され、自然界において変動する種々の現象を「時間的に変動するもの」として音楽に焼き直す、という手法も多い。例えば植物細胞の微小電位、飛来する宇宙線、人間の脳波やホルモンの変動、大気中の有害物質の濃度変化、DNAのゲノム配列、風速や温度や湿度や地磁気の変化、さらには世界的な株価変動などのマクロ社会現象までが、そのデータを時間的に置換・配置することで「＊＊＊の音楽」として発表されている。

(4) インタラクティブ・アート

　指揮・演奏などの音楽的経験から音楽におけるライブ性と即興性を重視し、コンピュータによる人間の感性の拡大という可能性にも興味がある筆者の現在の創作の中心は、「インタラクティブ・アート」と呼ばれるジャンルである。これはステージ、あるいはパフォーマンスに注目した視点に立脚する音楽への姿勢である。もともと音楽演奏というのは、ソロ演奏であっても対話的（インタラクティブ）なものである。自分の演奏によって空間に生成される音響を演奏者自身がフィードバック体感している上に、コンサートであればその場の音響を共有している聴衆の「気」、つまり期待感や緊張や興奮、というのは演奏者も一体となって体感するものであり、ここにライブ音楽の醍醐味がある。この世界に、エレクトロニクス技術やコンピュータ技術を活用した「道具」を導入・活用し、人間の感性と表現可能性とを拡大したいと考えているのである。

4. センサによる「パフォーマンス」の拡大

　音楽の歴史とともにある楽器の歴史は、人間が音楽に求める「何か」の飽くなき探究と研究の歴史でもある。さらに、音楽の様式や民族ごとに楽器が変容・成長するだけでなく、作曲家や演奏家の創造性は新しい演奏技法や新しい表現手法、さらには新しい楽器そのものを含めた改良発展を繰り返すことで、新しい音楽そのものを創出してきた。ここでは、Computer Musicの「作曲」の一部として研究開発してきた中から二つのセンサ(楽器)の実例を紹介する。

(1) Hyper-Pipa

　「超琵琶(Hyper-Pipa)」は、北京の楽器店で入手した土産物の民族楽器に、3次元加速度センサ、ジャイロセンサ、衝撃センサ、タッチセンサ等のセンサ群と液晶パネルや青色LED群を32bitカードマイコンとともに組み込んだオリジナル製作マシンである。この楽器を用いて2000年3月に相愛大学で初演した作品 "Beijing Power" では、従来の琵琶演奏のスタイルにとらわれず、例えば「弦を弾いてから胴体を左右に揺する」ことでリアルタイム楽音生成の高調波成分を制御する、といった新しい演奏技法と一体となった作曲を行った。

(2) 「光の弦」

　FA用のプラスチック光ファイバセンサを額縁に仕込んで、垂直方向13本、水平方向3本の「光ビームを弾く」というハープのイメージで製作したのが、「光の弦」というオリジナル楽器である。いくつかのComputer Music作品で実際にPerformanceの道具(広義の楽器)として利用してきたが、古典的なハープのような音色を鳴らすだけでなく、音楽の進行とともに"MAX"により「楽器の性格」そのものをメタモルフォーゼさせるという手法により、あるシーンでは枠内が6分割された一種の打楽器のような演奏、別なシーンではPerformerが即興的な身体動作(演技)の対象として、時には顔を突っ込むセンサとして機能する、という動的な役割を演じた。これは機能の固定した古典的な「楽器」との決定的な違いであり、インタラクティブアートにおけるアルゴリズム作曲の「道具(相棒)」の典型として強力に役立った。

5. おわりに

「インタラクティブ・メディアアート」というキーワードで、筆者の行っている研究・創作活動について紹介した。この分野はまだ日本では学際領域として特異なテーマと見られがちであるが、世界的には工学系大学から芸術系の大学院に進む、あるいは逆に芸術大学を卒業して情報科学の大学院に、というようなコース/カリキュラムもごく一般的になっている。そして、単なるアートの個人的創作にとどまらず、ヒューマンインターフェース、マルチモーダルコミュニケーション、感性情報処理、知覚認知科学などの関連領域に重要な成果をもたらした先駆的な意義をもつ研究も少なくない。筆者も色々な領域の専門家とのコラボレーション活動とともに、ArtとScienceの両方を視野に入れた21世紀型・創造的人材の育成に向けてさらに努力していきたいと考えている。

参考文献

"Wandering Highlander"
　　　　　--- for Performance and Live Computer Music

作曲　長嶋洋一 (静岡文化芸術大学 / Art & Science Laboratory)

Performance / Co-Creator　鈴木奈津子 (静岡文化芸術大学芸術文化学科学生)

CG / Co-Creator　大山真澄・川崎真澄・田森聖乃・渋谷美樹・竹森由香・鈴木飛鳥・高木慶子・北嶋めぐみ・加藤美咲 (静岡文化芸術大学技術造形学科学生)

作品解説

・この作品は、本シンポジウムにおける講演内容の具体的実例として発表するために新しく企画・作曲した。

・作品形態としては、パフォーマンスを伴ったインタラクティブ・メディアアート作品であり、センサを装着したパフォーマーのダンスにより音楽と映像が駆動される。DTM(打ち込み音楽)のようにあらかじめ固定的に確定した演奏情報を「再生」するのでなく、アルゴリズム作曲の手法で構築したシステムがリアルタイムに音楽情報を生成していく。原理的に同一な演奏は二度とない、一期一会の公演である。　

・製作は、作曲・プロデュースの長嶋と、静岡文化芸術大学学生によるコラボレーションであり、以下のプロセスでプロジェクトを進めた。まず最初に、作品コンセプトを統一する意味で、数十冊の詩集から共同で選んだ詩から3つを選び、これを作曲とCG制作とパフォーマンスの共通イメージとして共有した。9名の学生によるCG制作は、「一人5枚の連続したCG画像を制作。最後の1枚を次の人に渡し、次の人はこれをスタートの素材として5枚のCGを制作」という「連画」の手法によって、最終的に45枚のCG画像を創作した。これと並行して長嶋はKymaの音響信号処理/生成アルゴリズム、自然環境音を中心とした音響素材の制作とシステム構築を進め、試作サウンドCDをPerformerに渡してイメージ共有を図った。サウンド系の素材、CG画像が揃ったところで、共同でMax上に実現する全体構成アルゴリズム(パッチ)を修正改訂して作品構成作業を進めた。

・システムは、作曲の一部として長嶋の製作したオリジナルマシン(★印)を含めて、以下のように構成した。Performerの6箇所の関節の曲げをセンシングするMIBURI-sensor★、この情報を受けてシステム全体を制御するMac内のMAXパッチ、その出力を分配するMIDIスルーBox★とMIDIフィルタ★、CGを切り替えるMac内のリアルタイム画像処理ソフトImage/ine、リアルタイム音響信号処理システムKyma、GM音源SC-55、MIDI制御ビデオスイッチャ★、PAとプロジェクタ。

・先入観を強制しないために、ここでイメージコンセプトを記述することは避けるので、タイトルと後掲の「選んだ3つの詩」を自由に参照されたい。なお、CG画像もWebにて公開中。

System Block Diagram of "Wandering Highlander"