■1994年度紀要「瓜生」17号原稿■ 研究・制作ノート Multimedia パフォーマンス作品 "Muromachi" 長嶋 洋一 (映像研究室) 由良 泰人 (情報メディアラボ) 1. はじめに  本報告では、[映像:由良+音楽:長嶋]というコラボレーションによって制作 されたマルチメディア・アートの第2弾として、1994年5月27・28日に京都で開催 されたイベント「眼と耳の対位法」(主催:KINO VISION、共催:京都ドイツ文化 センター)で上演された作品 "Muromachi" について述べる。映像と音楽との関係 について前作と正反対のコンセプトをとったこと、京都と浜松という離れた場所 で作品を制作するために通信ネットワークを活用したことなど、マルチメディア 時代の新しい芸術創造のスタイルの可能性についても、あわせて報告する。 2. 作品の制作過程(前半) 2.1 背景  この両者によるマルチメディア作品としては、イメージ情報科学研究所とIAKTA が主催した「芸術と知識工学のための国際ワークショップ」(1993.9.16 Osaka) の デモンストレーションコンサート、および「神戸国際現代音楽祭」(1993.9.17 Kobe) で上演された "CIS (Chaotic Interaction Show)" が最初のものである[1][2]。 ここでは、ステージ上のパフォーマーとして打楽器奏者と指揮者が演奏・操作する センサ群が音楽をトリガするとともに、コンピュータ・グラフィクス系をトリガ する構成をとった。すなわち、ステージ上のパフォーマンスとしてはほぼ伝統的な スタイルの音楽演奏があって、そこから付随して起動される映像と背景映像、と いう形式である。これはいわば、音楽が「主」・映像が「従」の関係と言える。 2.2 コンセプトワークとネットワーク  そこで今回の "Muromachi" においては意識的にこの関係を逆転させ、「映像が 音楽を駆動する」ことを最初のコンセプトワークから念頭に置いた。従って、この アイデアを決定してから最初の作品構想の提案まで、そしてタイトルのネーミング までを、映像担当の由良が行った。これは前作において長嶋がほぼ前段の構想作業 を担当したこととの大きな違いである。このキーワードのもとに由良から構想の 電子メイルが届くまでの期間の長嶋の作業としては、従来から続けているカオス 情報処理による音楽情報生成(アルゴリズム作曲)[3][4][5]による研究を進めて、 具体的な作品で利用されるパラメータをシミュレーションによって模索すること が中心となった。  一つの作品を複数メディアの担当者によるコラボレーションとして制作する場合 の最大の課題は、スケジューリングとコミュニケーションである。今回の場合には、 京都の由良と浜松の長嶋という距離的な問題から、実際に空間的・時間的に一緒に いる機会はほとんどなかった。しかし、両者はパソコン通信の電子メイルという 強力な連絡ルート[6]があるために、  ・アイデア段階での情報交換  ・システム情報(プロトコル)の伝達  ・制作スケジュール・リハーサル等の連絡 などが効率的に行えた。よく知られていることであるが、電話やFAXに比べて電子 メイルが優れている点としては  ・双方が相手の行動/時間に拘束されない  ・記録が再利用可能な形式で双方に残る という点があるが、電子メイルとして記述することで自分の発想を客観的に見直す ことができる、というメリットもあることを実感した。 2.3 パフォーマンスの基本構想  グラフィックソフトの制作に当たってまず、"子供に扱える" インターフェイス を考え(当初はパフォーマーに子供を起用する予定であったが、上演上の制約が あり見送られた。実際には子供でも十分扱えるものである)、出来るだけ簡素な 画面にし、上演画面が単調にならないようにランダム性を取り入れた。また、画面 の色やスタンプの形状はパフォーマーがコントロール出来ないようにし、その場の 状況で判断して作図させるようにした。開発言語はAMIGA用BASIC"AMOS Pro"である。  この結果、映像側(由良)から音楽側(長嶋)に提示されたのは、1本のソフト の動作を示す映像を収めたビデオである。当然のことながら音は入っていない。 このソフトはAMIGAコンピュータ上で制作した一種の「簡易CGお絵描き」ソフトで、  ・マウスによって描画する  ・メニューとして「自由曲線」「塗りつぶし」「図形貼り付け」を持つ  ・画面クリアのコマンドも持つ  ・メニューの3種類の描画モードを切り換えて使う などの基本機能がある。ここから共通のイメージとして、子供が無邪気に遊ぶ ような「お絵描き」が音楽を生成する、という基本構想が両者で合意された。  システムとして実際に両者の情報交換を実現するための手段としては、前作でも 採用した MIDI(Musical Instruments Digital Interface) を利用することとした。 もともとMIDIは、コンピュータ音楽の標準的な情報インターフェース規格として 生まれたものであるが、最近では照明や映像機器との同期にも使用されており、 画像系のAMIGAコンピュータもMIDI端子を標準装備しているからである。そこで、  ・お絵描きによってAMIGAから音楽システムにMIDI情報が届く  ・これに対応して音楽/音響が生成される  ・これとは別に背景音楽が存在するが、決まった長さを単純に「再生」するような   カラオケにはしたくない(あくまで映像が主体) というような具体的な方針が固まり、ここから音楽系の作業が本格的に始まった。 3. 音楽系の制作過程 3.1 音楽系のシステム構築  図1は、"Muromachi" の音楽系のために長嶋が構築したシステムのブロック図で ある。ここでは前作(文献[1]43ページ)のシステムと比べて、  ・映像系と音楽系の情報の主従関係が明確に逆になった  ・コンピュータとして新たに3台のMacintoshを採用した という違いがある。前者は本作品の基本コンセプトによるものであるが、後者に ついても単なるハードウェアの置き換え以上の意味を持っている。ここでは、 2台のMacにおいて"MAX"というソフトウェアを使用しているが、これは今回のように 相手のソフトウェアが確定していないような作品制作過程において有効な、強力な プロトタイピング機能を持っている。つまり、  ・リハーサル中や本番直前にも簡単にアルゴリズムを改良/変更できる  ・MIDI情報からパフォーマンスを検出する一種のパターン認識が容易 などの特長があり、"MAX" なしに作曲は実現できなかった。なお、もう1台の ノートパソコン(PC9801NS/T)では、前作と同様のオリジナルのカオス生成ソフト が走るとともに、あと1台のMacではシーケンスソフト "Performer" を使用して、 トリガによって頻繁に切り替わる「非周期的無限フレーズ」を再生させること で背景音楽を生成する構成とした。 図[2]は、具体的に音楽系の機器がMIDI接続されている様子を示したものである。 3.2 音楽系のコンセプトと作曲指針  作曲の初期段階においてもっとも悩んだのが、パフォーマンスの形態である。 一般に音楽作品であれば、演奏者がステージに登場してイントロから音楽が始まり、 エンデンィグに終結することで音楽が終わる。ところが「お絵描きソフトで遊ぶ」 という行為には明確な始まりも終わりもなく、イベントのステージで行われる パフォーマンスとしては非常に問題がある。しかし固定したシーケンスデータと して明確に演奏時間を規定したのでは、自由なパフォーマンスという性格が阻害 されてしまう。そこで最終的には、  ・イントロとして背景音楽がスタートし、パフォーマーがステージに登場する  ・パフォーマーのトリガで音楽(全体で3シーン)のシーンが進む  ・最後のトリガ(3回目の画面クリア)でエンディングに進んで終了する  ・これ以外の進行は完全にパフォーマーに委ねる という音楽的構成とした。つまり、演奏が始まってしまえば、パフォーマーがその 気にならなければ永遠に終わらない可能性もある音楽作品、ということである。  これとともに、音楽系は演奏形態として大きく3つの構造を持つこととした。 その第一は、パフォーマーのマウス操作によって、  ・自由曲線による描画("Draw" mode)    →左右が音程変化、上下が音色変化で発音。音色はラインの色ごとに切り替え  ・領域の塗りつぶし("Paint" mode)    →色ごとにそれぞれ特徴的な音響断片の発音  ・図形の貼り付け("Stamp" mode)→    →左右が音高変化、上下が音色変化で発音。音色は図形の形ごとに切り替え という対応をとって、背景音楽と関係なく発音される音響である。  また第二には、パフォーマーが画面消去のコマンドを発行することで次のシーンに 進むたびにパターンをやや変化させながら、さらに上記描画モードごとに異なった 音楽的スケールの構造で構成された背景音楽を鳴らすパートである。これは単純な リズムでなく、周期を構成する時間軸がかなり大きな公倍数を持つようにして、 次のシーン/描画モードが呼ばれるまで無限に繰り返すようになっている。  そして第三に、"Effect" mode として画面にエフェクトをかけるモードや、各 シーンごとの切り替えに対応したサウンドとともに、イントロとエンディングを作曲 した。3回目の消去("Erase" mode)で自動的にエンディングに移行して終了する。 4. 作品の制作過程(後半) 4.1 プロトコルの検討  グラフィックソフトと音楽系の構想が固まると、図3のような両者の情報交換に 関するプロトコルが、電子メイルによる検討を繰り返しながら決定された。これは 本来のMIDIプロトコルとは別に、この作品のためだけに規定されたものであり、由良 のAMIGAソフトが送信して長嶋のMAXが受信する場合にのみ意味を持つものである。 これらの情報はMIDIノート情報として送られているが、情報としては「オン」と 「オフ」を持つ冗長なものである。しかしこうすることで、京都では由良がAMIGA からMIDI音源を鳴らして動作を確認でき、浜松では長嶋がMIDIキーボードをAMIGAの 代わりにして作曲できる、というメリットがあり、敢えて採用したものである。  実際には、後述するエミュレータソフトによって細かな定義の矛盾や動作モード の見直が行われ、このプロトコルは何度も改訂されて最終バージョンとなった。 図4は作曲のために制作された作曲シート(一種のスコア)であり、シーンやモード ごとに別々に制御情報の流れや音楽的情報を書き込むことで作曲が進められた。 4.2 エミュレータソフトの製作  今回は「従」の立場となった作曲においては、実際にAMIGAコンピュータ上で マウスで描画してみないと、本当のパフォーマンスに対応した雰囲気のMIDI情報が 得られない。そこで、疑似的に由良ソフトと同様の動作をする簡易CGソフトが製作 された(開発言語はC言語)。ノートパソコンのモノクロ画面で簡略的に描画する ものではあるが、基本機能はほぼ対応したソフトであり、遠隔地での作曲ツール として最後まで活用できた。 4.3 センサ部分  パフォーマーの操作するセンサとして、当初はディジタイザを検討していたが、 AMIGAコンピュータのポートの関係でマウス操作を行うこととなった。しかし、通常 のデスクトップのマウス操作はあまりにパフォーマンス性が乏しく、ここに登場した のが、「透明アクリル板上でペンシル型のマウスを使う」というアイデアであった。 ステージでは、パフォーマーはアクリル板越しに足元のディスプレイを見ながら 描画しているが、ステージ正面の大スクリーンに投射される映像を背負う位置と 相まって、印象的なパフォーマンスを実現することができた。 4.4 リハーサル  事前に行った準備としては、パフォーマー(八幡恵美子)とは事前に一度打合せを しただけで、あとは音楽系の背景音楽とエミュレータソフトによる「ひな型」の ビデオが京都に送られただけである。実際のリハーサルはコンサート前日に行った だけだったが、システムの勘所と全体の流れに関する若干の打合せによって、かなり 短時間に "Muromachi" は姿を現すことができた。なによりパフォーマーのセンスが 重要であったが、通信ネットワークを活用した事前の準備の成果もまた大きかった と考えている。 5. 上演と Future Work  リハーサルでは、最長で30分近くかかった "Muromachi" だったが、2日間の公演 ではおよそ20分程度の上演となった。この模様は、由良によって  ・完全ノーカット版  ・短縮ダイジェスト版 の2種類の記録ビデオとして制作されているので、興味のある方は鑑賞されたい。  映像と音楽というコラボレーションによるマルチメディア作品として第2作と なったこの作品は、1994年11月7日にも改訂再演(日本コンピュータ音楽協会・ ワークショップコンサート[ポートアイランド内ジーベックホール])された。 しかし、新たな可能性として、  ・より身体性の強いセンサによるパフォーマンス入力手段  ・一方通行でなく映像と音響の情報がループを形成して反応する などの検討がすでに進められており、いずれ次の機会には、さらに第3弾として より野心的なテーマに挑戦したいと考えている。人間の感性と五感と創造性に 無限の可能性がある限り、マルチメディア・パフォーマンスもまた、いろいろな 形態での実験の宝庫であると考え、今後もチャレンジしていきたい。 参考文献 [1] 長嶋洋一 : Chaos理論とComputer Music. 京都芸術短期大学紀要[瓜生]第16号1993年, pp.28-44, 1994. [2] 長嶋洋一 : マルチメディアComputer Music作品の実例報告. 情報処理学会研究報告 Vol.94,No.71 (94-MUS-7), pp.39-44, 1994. [3] Y.Nagashima : Chaotic Interaction Model for Hierarchical Structure in Music. Proceedings of 46th Annual Conference of IPSJ, vol.2, pp.319-320, 1993. [4] Y.Nagashima, H.Katayose, S.Inokuchi : PEGASUS-2: Real-Time Composing Environment with Chaotic Interaction Model. Proceedings of International Computer Music Conference, pp.378-390, 1993. [5] Y.Nagashima : Chaotic Interaction Model for Compositional Structure. Proceedings of IAKTA / LIST International Workshop on Knowledge Technology in the Arts, pp.19-28, 1993. [6] 特集「電網新世紀」より−電網の達人・長嶋洋一. 「先端人」1994年6月号, p.15, 三田出版(株), 1994 [7] 長嶋洋一, 片寄晴弘, 井口征士 : Virtual Musicianにおける演奏モーションの情報処理. 平成5年度後期全国大会講演論文集I, pp.353-354, 1993.