|
音楽情報科学研究会夏のシンポジウム2000発表
メディアアートにおける
長嶋洋一* 中村文隆**
1. はじめにコンピュータ音楽を中心としたメディアアートに関するテーマの研究活動とともに、その具体的な応用を実験的に検証する意味で、実際にいろいろなインタラクティブ・マルチメディア作品を創作して公演・発表する活動を行っている(1-11)。実験的なシステムをリアルタイムパフォーマンスに応用することで、作品の中から新たな研究テーマや課題が出てくることも多い。最近ではグラフィックアーティストやダンサーとのコラボレーションによって、インタラクティブ・マルチメディア・アートとしての方向に展開している。本稿では特に、リアルタイムオーサリング環境"MAX"と結び付けて、グラフィクスをライブ制御する手法について手法について紹介するとともに、その問題点と課題について検討する。2. 国内の従来研究過去の情報処理学会音楽情報科学研究会研究報告(1993年4月以降)の中で「マルチメディアアートにおいてグラフィクス系をリアルタイム制御する」というような視点から従来研究を調べてみると、以下のようなアプローチが行われてきた。 後藤ら(12)は、RMCPシステムのクライアントとしてSGI上にOpen-GLでリアルタイムCGシステムを実装した。長嶋(13)は、AMIGAコンピュータによるCG系とMAXのサウンド系とをMIDIによりインターフェースした。松田(14)らは、NeXTコンピュータにライブビデオ画像を取り込み、ISPW上のFTSでの転送を試みた。片寄(15)らは、簡易なアニメーションとしてMAXのPICTオブジェクトを利用した。高城(16)は、SGI Indigo2を用いたグラフィクス系をFTSによりISPWと結合させた。平野(17)らは、SGI O2とNTマシン上のPure Dataを組み合わせたシステムを構築した。また平野(18)らは、オーサリングソフト"Director"の外部拡張オブジェクトとして、Serial、HyperMIDI、MIDIXTRA等を利用してMIDI系とグラフィクスを連携させた。大きく分類すれば、(1) Open-GLのリアルタイムCGをSGI、NT(Pd)、Linux等の環境にMIDI対応として実装する手法、そして、(2) Directorの外部拡張によりMIDIシステムとリンクさせる(ただし最近のシリアル非対応のMac (USB)では、DirectorのMIDI I/Fに問題あり)、という二つの手法が現状でのbetter solutionであると思われる。これは海外でも基本的には同じである。 3. 作品"Asian Edge"での事例筆者の初めてのマルチメディア・パフォーマンス作品"Asian Edge" (3)では、performanceをセンシングするオリジナルセンサとともに、MIDI系とリンクしてリアルタイムにグラフィクス系を制御するためのオリジナルマシンを、作曲の一部として製作した。図1のシステム図の中では"MIDI_Video"と名付けているこのマシンは、8入力8出力のビデオ信号マトリクススイッチLSIを、MIDI入力によってライブコントロールする (19)。フレームメモリ等に画像情報を蓄積しないのでアナログ信号切り替えのノイズ等が出るものの、ライブパフォーマンスをCCDカメラで取り込んだ画像などを瞬間的に切り替える時にはほとんどノイズが気にならず、むしろ高速レスポンスの重要性を確認することができた。 (図は筆者のWebページ内に置いてあるので省略) 4. 作品"Johnny"での事例"Asian Edge"に続く作品"Johnny"でも、図2のように基本的には同じようなシステム構成を採用した。この作品では、ステージ上の3人のperformerからのライブ情報をマージしたセンサフュージョン情報をMAXに取り込み、サウンド系のMAXとグラフィクス系に分岐して送っている。技術的にポイントとなったのは、リアルタイム3D-CG生成のSGI上のソフトウェアに対して、サウンド系まで含めた多量のMIDIをそのまま送ってはいけない、という部分である。Uinx系としては唯一、MIDIの入出力がまともに機能するSGIであるが、出力はともかくMIDI入力に対して、IRIXは多量のトラフィックには耐えられず、コアダンプする間もなくカーネルからフリーズする場合があり、専用のプログラマブルMIDIフィルタを製作して、CGに必要な情報だけをフィルタリングする必要があった。(図は筆者のWebページ内に置いてあるので省略) 5. 作品"Visional Legend"での事例図3は、1998国際コンピュータ音楽フェスティバルで初演した作品"Visional Legend"のシステム図である。この作品のメインテーマは、雅楽の伝統楽器である「笙」の表現可能性を拡張するための笙ブレスセンサの活用である(19)。ここでも同じMIDIビデオスイッチャを利用しているが、グラフィクスのソースとして別にパソコンを用意して、あらかじめ制作した静止画映像をスライドショー表示させたものも映像ソースの一つとして使用した。また、小型ビデオエフェクタ装置(Videonics社)のパネル操作をMIDI経由でMAXライブ制御するシステムも制作したが最終的には公演には使わなかった。この作品では、笙のライブ音響に対してKymaによりリアルタイム音響信号処理を行う、という部分にもっとも重点を置いたが、Kymaの信号処理アルゴリズムのパラメータを全てMAXからMIDI経由で送ることで、サウンド系とグラフィクス系はMAX上で対等にプログラミングできた。これは、筆者がMAXを作曲のベースとする最大の理由である。図4はこの作品の笙のサウンドを処理するKymaのパッチ、図5は、グラフィクスを含む作品全体を制御するMAXパッチである。(図は筆者のWebページ内に置いてあるので省略) 6. 作品"森海"での事例図6は、2000年5月28日に静岡文化芸術大学公開デー(20)において発表した、体験型インタラクティブ・メディアインスタレーション作品「森海(しんかい)」のシステムブロック図である。この企画は、デザイン学部技術造形学科の教員と一部選抜学生とのコラボレーションにより、わずか3週間でセンサからCGまで制作するという初めての企画だったため、サウンド系とグラフィクス系の仕掛けの部分にはあまり冒険ができない状況で、同じMIDIビデオスイッチャを使用した。ただしディスプレイ系として、学内の8台の大型プラズマディスプレイを並べるという壮観な展示空間を実現できた点が、ビデオ系統のスイッチマトリクスという機能を直接的に表現する格好の機会となった。学生がPhotoshopで制作したCG静止画は、Directorによって各種のモードでページ推移するスライドショーとして出力したものをビデオに記録してエンドレス再生し、3系統のライブCCDカメラ画像とともにMIDIビデオスイツチャの入力として利用した。背景音響パートとセンサ対応イベント音響も、全てMAXによって生成した。(図は筆者のWebページ内に置いてあるので省略) 7. 画像系の制御に求められる性能MAXをベースとしセンサ系とMIDIでインターフェースする、というインタラクティブアートやメディアインスタレーションの場合、画像系のリアルタイム制御に求められる機能・性能・注意点として、以下のようなものがある。(1) レスポンス性能(21)音源のレスポンス(MIDI情報を受け取ってから実際のサウンドが生成されるまでの遅延)と同等であるためには、いくら悪くても100msec、できれば30-50msec以内で画像を更新したい。これはかなり厳しい要求であるが、特にパフォーマンスの要素としては妥協できない性能であり、筆者の手法の選択においては重要である。(2) 連続動作性テープというメディアを使用することで、連続的に展示する場合に「巻き戻し」という必要性が生じる(無人化が困難)ことは重大な問題となる。また、2週間とか1年間という長期間の展示の場合には、テープをCD-RやDVDやHDという連続アクセスメディア化しても、基本的に「メカの劣化と寿命」という問題点がある。演奏時間として10分とか15分と限定されている場合には、Hi-8テープ等で問題なく実現できる。(3) OSのハングアップUnixやMS-DOSなどに比べて、ブラックボックスの陰でこっそり不十分なメモリ管理をしているWindows系のOS(95,98,NT,...)では、連続無人運転のインスタレーションを構築することがあまりに危険である、という議論はとても多い。ネットワークサーバOSと同じ議論である。突然に爆弾マークを出すMacOSも同様である。(4) 画質と機器コンピュータのRGB出力そのものをRGB対応の大型ディスプレイやプロジェクタに接続する、というものを最上画質の[A]ランクとすれば、[B]パソコン出力をスキャンコンバータでSビデオに変換、[C]パソコン出力をスキャンコンバータでNTSCビデオに変換、という各種の画質が存在する。グラフィクスをスイッチングした場合には、もっとも画質の悪い機器に応じたレベルに全体が低下することになる。経験上は、XGAだSVGAだVGAだ、という画素数の性能はあまり気にならないことが多い。(5) 静止画の画像切り替え多数の静止画を動的に切り替えて表示する「スライドショー」はもっとも単純なアニメーションであるが、この画面切り替えにDirector のような多数の機能を持ったものはあまり見かけない。フェイドイン/アウトの機能もブラックアウト期間が気になる。あるいは、切り替えのタイミングとしてタイマーとマウスクリックだけでなく、せめてシリアル入力のトリガがあれば、と筆者は思うのだが見かけない。何か情報があればお知らせいだたければ幸いである。8. 考えられる画像制御手法と検討前節のような検討とともに、筆者がメディアアートのためのリアルタイム画像制御手法としてリストアップしたのは以下のようなものである。この中には、既に実現したもの、現在実験中のもの、実験するつもりで準備しているもの、おそらく自分ではやらずに誰かからの情報を待っているもの、等が混在しているが、実現手法を問題とするのでなく、作品をいかに実現するか、というゴールを忘れずに、いろいろとチャレンジしていきたいと考えている。(1) MAX内でQuickTimeムービーのオブジェクトを使う。マシンの性能とQTムービーの画像サイズ等に依存する。本来の制御系であるMAX部分がQTムービー処理に足を取られるようでちょっと気持ちが悪い気がする。 (2) MAX内でPICTオブジェクトによりリアルタイムグラフィクスを行う。PICTサイズが大きくなると、いちいちHDからのロード時間が遅延として気になったが、MAXパッチからPICTまで全てRAMディスク上に置くと、この問題はかなり改善された。次作ではこの手法を試してみるつもりである。 (3) MAXのDrawオブジェクトによる描画。Open-GLのCGソフトを書いてしまうとあまりに物足りないが、実験的な試作においては有効かもしれない。 (4) ハードによるパターンジェネレータとAKI-H8等によるMIDI制御化。秋葉原のビデオ信号生成キット等をカードマイコンでMIDI化する手法で、一部(ブラック信号)で実際に使用中。 (5) 市販ビデオエフェクタ機器をAKI-H8等でMIDI化。すでに実現しているが、パネルスイッチの部分をカードマイコンによりMIDI制御しただけでは、実際のライブ操作としてはあまりに遅くて使えないことが判明。インスタ向き。 (6) MIDI制御ビデオスイッチャをAKI-H8等でオリジナル製作。既に多数の作品で使用中。次のバージョンとしては、入出力のより多系列化が課題となっている。LSIは比較的安価。 (7) MIDIでDirectorを制御する。ADBやモデムポートのあったMacでは比較的容易にXtrasが使えるようだが、USB/IEEE1394ベースのG3/G4ではなかなか問題があるようである。現在のところはまだ使えていない。 (8) RS232CでDirectorを制御する。Directerの内部的なXtrasのSerialPortを使うために、別にAKI-H8等で「MIDIとRS232Cの相互変換マシン」を製作した。しかしUSBのMacでは、「USBとシリアルとの相互変換アダプタ」との相性が不調で、これも現在まで使えていない。 (9) SGIでOpen-GLでMIDI対応のCGソフトを書く。これは実績あり。Drwa系のCGにはとても有効。問題はムービーや実画像などのグラフィクスの部分で、まだ実験を尽くしていない。 (10) Pd/GEM、BeOS、DirectXなど。現在調査中。その道の専門家によると「使える」らしい。(?) (11) 静止画ビューワ/スライドショー/QTプレーヤ等をスクリプトによりシリアルから制御。そういうものが見つからなければ、自作するしかないのかもしれない。 (12) ノンリニア・ビデオ編集機器をリアルタイム制御する。実際にシリアル等の制御を受けるものがあり、資金力があれば実現可能か。 グラフィクスのライブ制御の全体を考える上で重要なのは、グラフィクスに対して「再生するのか」「生成するのか」「効果を加えるのか」という、サウンド系と似たような指針の選択であると思われる(図7)。 9. Pd/GEMについて(中村)サンプルパッチGL画面サンプルショットPd/GEMの使用感10. おわりに研究と実験と創作と発表とは自動車で言えば四輪であると思われる。もっとも近い筆者の次なる挑戦は、2000年9月17日(日)静岡大学浜松キャンパスにおける、情報処理学会・電子情報通信学会等合同シンポジウムでの「アートとエンターティンメント」セッションでの招待講演における、インタラクティブアート作品の新作発表公演である。具体的なターゲットに臆せず挑戦し、多くのご批評、ご意見、ご議論をいただきたいと思う。参考文献[1] Y.Nagashima : Multimedia Interactive Art : System Design and Artistic Concept of Real-Time Performance with Computer Graphics and Computer Music、Proceedings of Sixth International Conference on Human-Computer nteraction（ELSEVIER）、1995年[2] Y.Nagashima et al. : A Compositional Environment with Interaction and Intersection between Musical Model and Graphical Model -- "Listen to the Graphics, Watch the Music" --、Proceedings of 1995 International Computer Music Conference、1995年 [3] Y.Nagashima : マルチメディア・インタラクティブ・アート開発支援環境と作品制作・パフォーマンスの実例紹介、情報処理学会研究報告 Vol.96,No.75 (95-MUS-16)』（情報処理学会）、1995年 [4] Y.Nagashima : インタラクティブ・マルチメディア作品 "Asian Edge" について、京都芸術短期大学紀要 [瓜生］第19号1996年、1997年 [5] Y.Nagashima : センサを利用したメディア・アートとインスタレーションの創作、京都芸術短期大学紀要 [瓜生］第20号1997年、1998年 [6] Y.Nagashima : 生体センサによる音楽表現の拡大と演奏表現の支援について、情報処理学会研究報告 Vol.98,No.74 (98-MUS-26)、1998年 [7] Y.Nagashima : Real-Time Interactive Performance with Computer Graphics and Computer Music、Proceedings of the 7th IFAC/IFIP/IFORS/IEA Symposium on Analysis, Design, and Evaluation of Man-Machine Systems、1998年 [8] Y.Nagashima : BioSensorFusion:New Interfaces for Interactive Multimedia Art、Proceedings of 1998 International Computer Music Conference、1998年 [9] Y.Nagashima : インタラクティブ・アートにおけるアルゴリズム作曲と即興について、神戸山手女子短期大学紀要・第41号1998年、1999年 [10] Y.Nagashima et al. : "It's SHO time" -- An Interactive Environment for SHO(Sheng) Performance、Proceedings of 1999 International Computer Music Conference、1999年 [11] Y.Nagashima : クラシック音楽とコンピュータ音楽、神戸山手女子短期大学紀要・第42号1999年、2000年 [12] 後藤 et al. : MIDI制御のための分散協調システム --遠隔地間の合奏を目指して--、情報処理学会研究報告 Vol.93,No.109 (93-MUS-4)、1993年 [13] 長嶋 :マルチメディアComputer Music作品の実例報告、情報処理学会研究報告 Vol.97,No.71 (94-MUS-7)、1994年 [14] 松田 et al. : NeXT・ISPWとObjective-C・MAXを利用した新たなコンピュータ音楽環境へのチャレンジ、情報処理学会研究報告 Vol.95,No.19 (95-MUS-9)、1995年 [15] 片寄 et al. : MAXを利用したVoice Shooting Game、情報処理学会研究報告 Vol.95,No.74 (95-MUS-11)、1995年 [16] 高城 : NeXT with ISPWとSGIワークステーションによるインタラクティブ環境の実現、情報処理学会研究報告 Vol.96,No.102 (96-MUS-17)、1996年 [17] 平野 et al. : デジタルロストワールド計画(2) デジタルスタジオの構築と"PureData"への実装について、情報処理学会研究報告 Vol.98,No.47 (98-MUS-25)、1998年 [18] 平野 et al. : without MAX - Directorに よるインタラクティブアート、情報処理学会研究報告 Vol.98,No.74 (98-MUS-26)、1998年 [19] http://nagasm.org/index.html [20] http://nagasm.org/1106/index.html [21] 長嶋 : MIDI音源の発音遅延と音源アルゴリズムに関する検討、情報処理学会研究報告 Vol.99,No.68 (99-MUS-31)、1999年
|
