マルチメディア・インタラクティブ・アート開発支援 環境と作品制作・パフォーマンスの実例紹介 汎用のマルチメディア・インタラクティブ・アート開発支援環境の構築に向けた研究に 関連して、現状でのアプローチと、実験的検証としての作品制作・公演の実例について 報告する。グラフィクス系とオーサリング系のプラットフォームとしては、Silicon GraphicsのIRIX(OSF/Motif, Open-GL, MediaLib等)として統一されているものの、 サウンド系についてはIRCAMのFTP(DSP-MAX on IRIX)の公開が遅れているために、 将来的にはIRIXに統合する構想の下で、暫定的にMIDIベースのMAXとIRIX上のサウンド 生成系のハイブリッド環境を構築し、全体をMIDI統合している。具体的な作品事例と しては、95年10月に京都で初演した"David"と、96年7月に神戸で初演した"Asian Edge"を中心として、主に音楽系のシステム構成と作曲/作品制作の状況について報告 し、汎用の開発支援環境の構築に向けた考察を行う。 A report of a compositional environment for Multi-media Interactive Art and its experimental performances In this paper we describe our recent activity for a compositional environment of multi-media interactive art. This project will be open to the public and will be provided for artists who are creating multi-media arts. The platforms are SGI workstations connected with networks and MIDI, but we use IRIX for graphics/authoring and MAX/Indy for music now. We report on the latest situation of the development and some experimental compositions and performances. 1. はじめに 本研究ではコンピュータ音楽(Computer Music)創造環境の構成要素として、これまでに カオス[1] 、マルチメディア[2]等について検討するとともに、具体的な作品として実験的 な応用を試みてきた[3]。そして「汎用の芸術創造／表現のためのプラットフォーム」の 実現を目標とし[4]、音響のモデルと画像のモデルとを対等なオブジェクトとして統合的 に駆動する、ネットワーク化されたオブジェクト指向型マルチメディア情報生成環境の構築 を目指してきた[5][6]。キーワードは「目で聴き、耳で観る」であり、この環境から生み 出される作品における"Performance"には、人間の身体表現までが含まれる。 2. Computer Musicとマルチメディア・アート 前ページの表1は、筆者の一人(長嶋)がここ3年ほどの間に発表したComputer Music作品の リストである。この中では2作を除いて、Computer Graphicsを組み合わせたマルチメディア ・アートの形態をとっている。また、これらの作品は全て人間のPerformerが音楽の進行に 関与しており、いわゆる「カラオケBGM+独奏者」という従属的なスタイルでない、本質的 にインタラクティブな音楽となっている。それぞれの作品の、構成上の概略コンセプトの 変遷は、以下のようなものである。 "Chaotic Grains"では、カオスのアルゴリズムを利用したリアルタイム作曲系を駆動する 指揮者とピアニストが対峙し、この構成は"CIS(Chaotic Interaction Show)"においては Performerがパーカッショニストに替わって継承されつつ、さらに「音楽演奏がCG映像を 駆動する」というマルチメディア化に発展した。"Muromachi"ではこの図式を逆転させ、 「CGの描画動作が音楽を駆動する」という形態を実現するともに、後日"Muromachi3"と して、参加者体験型のインスタレーションに進化した。 "Strange Attractor"では音楽系は1次元Logistic関数によるカオス生成、CGは2次元カオス の数学的表示に徹して、プリピアードピアノの演奏者は投射された映像と生成されるカオス 音列を視聴しながら、即興でカオスのパラメータを変化させた。また"Virtual Reduction" では一転して「声」という素材に注目し、複数のPerformerによる即興とリアルタイム音響 処理を作曲の中心に置いた。 本稿で以下に紹介する"David"と"Asian Edge"では、それまでの作曲が作品ごとに特殊な構成 となっていた事実をふまえて、「汎用の芸術創造／表現のためのプラットフォームの実現」に 向けた実験的作品として、少しずつ環境の統合を目指した。具体的には、それまでAMIGA等を 利用していたCG系をSGI Indy上のOpen-GLに発展させ、同時にOSF/Motifを利用したオーサ リング環境と、MAXのGUIを活用した制作環境をステップを重ねながら整備している。サウンド 系については、当初はICMC1994で「近日公開」とされたIRCAMのFTP(DSP-MAX on IRIX)を 同時進行で盛り込む予定だったが、この公開が2年近くも遅れているために、将来的にはIRIX に統合する構想の下で、暫定的にMIDIベースのMAXとIRIX上のサウンド生成系のハイブリッド 環境を構築し、全体をMIDI統合している(この詳細は後述)。 3. マルチメディア作品 "David" この作品は、イメージ情報科学研究所/阪大グループの一つのチームとして本研究テーマに携わる、 [長嶋+由良+藤田]という3名のコラボレーションによる最初の作品である。システムは上記の理由で、 SGI IndyによるCG系とMacによるMAXの暫定的なハイブリッド構成として、図1のようになっている。 図1　"David"のシステムブロック図 3.1 作品の概要 この作品では、システム開発者である藤田自身がダンスPerformerとして作品の制作にも関与し、 たとえばセンサ"MIBURI"からのMIDI情報と長嶋が作曲したサウンド系との対応を決定するための MAXパッチのパラメータ設定などの作業は、実際にリハーサルの過程で藤田自身が行った。また、 長嶋・藤田がテンプレートを開発したUnix上のOpen-GLによる「MIDI制御リアルタイムCGソフト」 にコンテンツを盛り込んで作品版を制作した由良は、ステージ上でもMIDIスライダーをコントロール して、即興によるパフォーマンスとしての要素も取り入れた。 3.2 音楽系の構成 この作品の音源には、敢えて「新旧2台のSC-55をファクトリープリセット音色のみで使用する」 という方針をとった。1台はいわば「インタラクティブBGM」系(後述)であり、もう1台はPerformer からのセンサ情報によって、「トリガを判定して複数の音列から選択して演奏する」「連続量をピッチ とボリュームに対応させた持続サウンドを鳴らす」という大きく2種類の系統のサウンドを生成させた。 3.3 インタラクティブBGM この作品では、昔懐かしいProgressive Rock風の単一ビート系のBGMを採用し、図2のような アルゴリズムによって、テンポを一定に保った状態で 「シャッフル系の6/8系ビート」「8ビート/ 16ビート系」「変拍子の5ビート系」の3種類をセンサからの情報でスムースに行き来し、さらに ここにフィルイン/ベースラインのパターン(9種類のテーブル)、ドラム/ベース/BGMの音量バランス とエフェクト(リバーブ/コーラス)のデプス、ビート生成系のテンポなどもMIDIでリアルタイム制御 可能とした。なお、図2は3種類のうちの2種(5ビート系を除く)の、ドラムとベースの音楽情報を 生成するMAXパッチである。 図2 "David"のインタラクティブBGMのドラム/ベース生成部分(一部) 4. Computer Music作品 "Asian Edge" この作品は、日本コンピュータ音楽協会コンサート「コンピュータ音楽の現在」で公演されたもので、 由良・藤田の協力を受けており、本年10月に再び京都で発表する新作のための実験を盛り込んでいる、 という性格はあるものの、基本的には長嶋によるComputer Music作品として作曲された。 4.1 作品の概要 作品のテーマはタイトルの通り、広い意味でのアジアである。多様な生物・多様な種族・多様な文化・ 多様な歴史のるつぼ、というモンスーン地域の、どこからでも生命が涌いてくる混沌・雑然とした 力強さ、を音響と映像とで紡ぐことを目指した。具体的な音響素材としてアジア各地の民族楽器の 音を取り上げ、さらにイメージをより直接的に象徴するような言葉（テキスト音響素材）として ［詩人・千歳ゆう］に委嘱した「Asian Edge Sketch」を使用している。タイトルの「Edge」には、 秩序のある状態からカオス(混沌)状態に落ち込む、というその境界上の微妙な領域、という意味が 重ねられている。抽象的なCGと具体的な映像(制作:由良)とを実演奏画像と混在させて「演奏」する ことの意味もここにある。 音響信号処理には、主にSGI Indyに標準のツールを利用するとともに、Granular Samplingおよび Panningの処理のためにはオリジナルソフトを制作した。最終的な音響はIndy上のオリジナルPlayer ソフトによってリアルタイムにUnixマルチプロセスとして多重再生(一部はMIDI経由でサンプラーより 再生)されており、DAT等の記録メディアによる音響の単純な固定的再生は行っていない。Performer (吉田幸代)はこの作品のために制作された楽器「SNAKEMAN」「MIBURI-sensor」を用いて、 リアルタイムのCGやVideo映像などLive Graphicsも同時に駆動しながら即興的に「演奏」を行う。 図3　"Asian Edge"のシステムブロック図 4.2 システムの概要 図3は、この作品のシステムブロック図で、全てのシステム構成要素は、MIDIネットワークにより リアルタイムに情報交換している。まず音楽系においては、あらかじめ音響処理されたサウンド サンプルを、記述されたUnixシェルスクリプトに従ってMIDIトリガで一種のサンプラーのように 音響生成(後述)する1台目のIndyと、このIndyおよび2つのオリジナルセンサからのMIDIマージ情報 から全体を制御する1台目のMac(MAX)が中心となる。ここからの制御情報はサンプラーS2800i、 エフェクタSE50、MIDIビデオスイッチャおよび2台目のMacを駆動する。2台目のMac(MAX)は シンセK4r、オリジナルGranular Synthesizerおよび2台目のリアルタイムCG用Indy(一部サウンド 生成)をMIDI制御する。MIDIビデオスイッチャにはIndyの映像とともに、3台のビデオデッキからの BGVおよび3台のビデオカメラのライブ映像を同時に入力し、MIDI制御によって3台のプロジェクタ から3面スクリーンに投射する映像を音響系と同期して、センサ情報に応じてリアルタイムに頻繁に 切り換える。 MIBURI-sensorはPerformerの両腕の手首・肘・肩の曲げをセンシングし、SNAKEMANは赤外線 ビームの遮断スピードを検出する、一種の楽器であり、それぞれ8ビットCPUボード(AKI-80)を利用 して開発した。Performerはマイクに発声するとともにこれらの楽器を用いて自分の音声サンプルを トリガして「演奏」する。全体の時間的進行は1台目のIndyがサウンドサンプルと同時にMIDI出力 する時間コードに従い、センサの動作モードやCGのシーンを切り換える。この情報はPerformerに LED表示される。 4.3 MIDI制御HDレコーダ/プレーヤとしてのIndy この作品では、アジアの民族楽器の自然音響サンプルとPerformerによる詩の朗読の音響サンプルを 音素材としたために、Indyを非実時間的な音響処理の開発環境として、さらにライブでMIDIにより トリガされる一種のディジタルサンプリングプレーヤとして活用した。IRCAMのFTPがない関係で、 この部分はIRIXのDigital Media Libraryを用いたCプログラムとして開発し、作品の時間的特性を 利用したUnixシェルの活用も行っている。具体的には、前者としてはIRIX標準付属のサンプリング/ 編集ツールsoundeditorと、オリジナルとして「Granular Sampling」、サウンドファイルを指定 してPanningさせる「panpot」「potpan」等を開発して使用した。また後者としては、「Unixの バックグラウンドで同時にサウンドファイルを再生するplayer(同時に15process程度まで可能)」 「MIDI入力によってシェルスクリプトを実行するランチャー」「文字列で与えられたMIDI情報の 出力ツール」などをC言語で開発した。 図4 "Asian Edge"に用いたシェルスクリプトの一例 図4に示したのは、「play_d8_00」という名前の、作品"Asian Edge"で実際に使用されたIndy上の シェルスクリプトの一例である。ここではあらかじめ、制御系のMAXから「D8 00」というMIDIコード を受信するとこのシェルが起動されるように、「MIDI情報で指定されたシェルプログラムを起動する プロセス」が走っている。まず最初に「D7 00」というMIDI情報を送信し、これがシステム全体の 初期化を指示する。次いで「player」という子プロセスに対して、「stream_intro」というサウンド ファイルをバックグラウンドで再生するよう指示する。さらに「sleep 7」によって7秒間の待機を 経て「intro-01」というプロセスを起動するが、ここでは同様の階層構造により、さらに展開された サウンドファイルの生成系が記述されている。このようにシェルスクリプト単位で楽節に相当する ブロック分割を行うことで、作曲およびリハーサルの過程で、部分的な繰り返しと修正に柔軟に対応 できるようになった。この音響生成システムは、ポップス系音楽のリズム要素に相当するような高速 ・短時間レスポンスの動作は無理であるものの、Secオーダの時間要素で構成される本作品のような 音楽においては、1本が10MBから20MB程度のサウンドファイルを同時に10数本、MIDIトリガによって 自在に呼び出すことが簡単にできる。 4.4 センサ情報の処理とグラフィクス系の駆動 図5は、システム全体を制御する1台目のMacで走っているMAXパッチの中で、MIBURI-sensorおよび SNAKEMANの2つのセンサとサウンド系のIndyから入力される、合計3系統のマージされたMIDI情報を 処理する部分である。このようなシステムでは「不要なセンサ情報はシーンごとに上流でカットする」 というのが鉄則であり、図のパッチでもシーン番号ごとに、あるいは非常事態に備えてコンソールから センサOffを行えるようになっている。 図5 センサ入力処理系の部分 また図6は、このセンサ情報を受けて各種の音源とグラフィクス系を制御する2台目のMacのMAXパッチ の一部であり、すでに入力される段階で不要な情報がカットされているために、単純な図式で情報を 各サブパッチに配分することができる。図の左半分にある「Indy_CG_」というサブパッチでは、CG系 の2台目のIndyのグラフィクスプログラムに対して、「3次元CGモデルの選択」「CG描画のズーミング」 「CGモーフィングの制御」などのパラメータを特別のMIDIプロトコルで送信している。 図6 サウンド/グラフィクス制御処理系の部分 図7は、各パッチに共通に用いられるようにサブパッチとしてでなく独立の「ソフトウェア部品」として 制作したパッチの例である。「buffer」は、数値データが入力されてもその都度イベントを発生せずに 溜めておき、必要なトリガに応じて溜めておいたデータを出力するパッチである。また「leveler」は、 MIBURI-sensorのような連続量センサからの情報に対して、所定のスレショルド値の範囲にヒットした 時に一度だけイベント発生の情報を出力するパッチである。本作品では、Granular Synthesizerの 制御にはMIBURI-sensorからの連続量を使用し、同時にサンプラーからの音響生成にはこのパッチを 利用してイベント主義の情報生成を行っている。 図7 汎用モジュール"buffer"と"leveler"の例 5. おわりに 「汎用の芸術創造／表現のためのプラットフォームの実現」を目標にして、ステップごとに具体的な 作品として発表し、実験と検証を進めている状況について報告した。本グループは、1996年10月19日 に京都で開催される「日独メディア・アート・フェスティバル」において、さらに発展した形態の新作 を発表する予定である。ここでは本システムを具体的に活用して、さらにリアルタイム画像Sensor、 パフォーマーの動作を検出する多彩なSensor群、Computer Musicシステム、Computer Graphics システムなどが統合された、マルチメディア・インタラクティブ・パフォーマンスを実現するための 開発が進んでいる。 また、システム開発が進んだ段階では、さらに一般のアーティストに公開して評価を求める事、あるいは パフォーマンス形式でなく、シナリオに従って自動的に人間に対応する「インタラクティブ・インスタ レーション」システムとしての応用についても、併せて検討していきたい。 参考文献 [1] Y.Nagashima, H.Katayose, S.Inokuchi : PEGASUS-2: Real-Time Composing Environment with Chaotic Interaction Model. Proceedings of ICMC, pp.378--390, 1993. [2] 長嶋洋一 : マルチメディアComputer Music作品の実例報告. 情報処理学会研究報告 Vol.94,No.71 (94-MUS-7), pp.39--44, 1994. [3] Y.Nagashima : Multimedia interactive art: system design and artistic concept of real-time performance with computer graphics and computer music. Proceedings of HCI International, Yokohama, 1995. [4] 長嶋洋一, 片寄晴弘, 由良泰人, 井口征士 : 画像情報と統合化されたコンピュータ音楽創造環境の 構築. 情報処理学会平成7年度前期全国大会講演論文集I, pp.363--364, 1995. [5] 長嶋洋一, 由良泰人, 藤田康成, 片寄晴弘, 井口征士 : マルチメディア生成系におけるプロセス間 情報交換モデルの検討. 情報処理学会研究報告 Vol.95,No.74 (95-MUS-11), pp.63--70, 1995. [6] 長嶋洋一, 片寄晴弘, 由良泰人, 藤田康成, 井口征士 : マルチメディア・アート開発支援環境における 生成系エージェントのための制御構造モデル. 情報処理学会平成8年度前期全国大会講演論文集I, pp.451--452, 1996.