\documentstyle[a4j,ascmac]{jarticle} \pagestyle{empty} \setlength{\textheight}{246mm} \setlength{\textwidth}{170mm} \begin{document} \sf \begin{center} {\huge {\bf マルチメディア・アート開発支援環境を応用した} \\[1mm]} {\huge {\bf インターネット・ホームページ用} \\[1mm]} {\huge {\bf コンテンツ制作支援環境の開発} \\[5mm]} {\large {\bf 長嶋洋一}} \\[3mm] \footnotetext{ A development of an environment supporting the production of contents for the Internet home page as an application of an environment supporting the creating multimedia arts. \\ Yoichi Nagashima (Art \& Science Laboratory) {\tt 　　(nagasm@computer.org)} } {\bf Art \& Science Laboratory} \\[4mm] \end{center} \subsubsection*{1. はじめに} マルチモーダルなインターネット・ホームページ用コンテンツ制作支援 環境を試作実験した。SGI Indyを用いた、Open-GLのGUI環境下でのセンサ を用いたインタラクティブ・マルチメディア・アートのための芸術創造 支援システムの応用として、プログラミング不要でJavaアプレットを自動 生成するためのオーサリング環境を開発した。 \subsubsection*{2. マルチメディア・アートとオーサリング} 「汎用の芸術創造／表現のためのプラットフォーム」の実現を目標とした 研究として、インタラクティブ・マルチメディア・アートのための芸術創造 支援システムを開発してきた \cite{ss95} \cite{icmc95} \cite{sigmus97}。 これは、音響のモデルと画像のモデルとを対等なオブジェクトとして統合的に 駆動する、オブジェクト指向型マルチメディア情報生成環境の構築を目指す ものであった。 研究のターゲットを汎用の芸術創造／表現のためのプラットフォームと 規定する際にキーワードとしたのが「目で聴き、耳で観る」という、本質的に マルチメディアなコンセプトである。すなわち、時間芸術である音楽や映像と いう感性情報を時間的空間的に制御するコントロール系に対して、入力情報と して「スクリプト情報」(楽譜・コマ割り・Sequence Data等)と 「リアルタイム情報」(音響・画像・動作や操作のセンサ等) とをメッセージとして与える。コントロール系では、これらの情報を統合的に 取り扱うアルゴリズムである「シナリオ」（芸術的ワールドモデル）によって リアルタイム処理し、サウンド系およびビジュアル系のモデルにメッセージ として送出する。サウンドやグラフィクスを生成するモデル処理の部分は、 システム内で自由に生息するマルチエージェントとして配置された。 システムを実現するためのプラットフォームとしては、コンピュータ音楽研究 の分野では世界的な標準のSGI社のWSによる分散処理を採用し、システムは IRIXのリアルタイム音響信号処理系とOpen-GLによる画像処理系を、C言語 によってOSF/Motifの環境で記述した。 \subsubsection*{3. HTMLとJavaアプレット} 最近のインターネット上のWWW(World Wide Web)環境では、 ネットワークをアクセスする個々のクライアントマシン上のブラウザ内 のコンテンツ、即ちホームページの機能が飛躍的に向上・拡大している。 当初のテキストベースのHTMLコンテンツや静止画像の配置だけでなく、 アニメーションGIF、JavaScript、Shockwave(Director)、動画ストリーム 等の技術が次々に登場し、あっという間に世界中普及している。そして もっとも重要な動きとして、Javaという「言語であり環境である」新概念 によって、インターネットは飛躍的に発展しているところである。今後、 WindowsやUnix等のOSや各種のコンピュータが消滅しても、Javaはその汎用性 と標準性から継承されていくものと期待されている \cite{javabook} \cite{javaaki}。 ところで、Javaアプレットに代表されるWWW上のコンテンツの開発は、 Java言語やHTMLの仕様に精通した上でプログラミングする必要があり、 一般的には非常に高度な技術が要求される。しかし、上記の インタラクティブ・マルチメディア・アートのための芸術創造 支援システムのようなオーサリング環境を構築することで、この壁を かなり低くすることが期待できる。そこで、Unix(IRIX)上のソフト として制作支援したマルチメディア・コンテンツを、Javaアプレット としてそのままブラウザで走らせるために「半自動変換」する、という ツールを試作実験した。具体的には、Javaの内部構造を解析し、Open-GL を中心としたコンテンツからのコンバータの実現を目指した。 \subsubsection*{4. コンテンツ開発支援環境の試作実験} 第一ステップとして、まず公開されているJavaの言語仕様とJava Virtual Machine(以降VMと呼ぶ)のデータ構造を解析し、Java Bytecodeを読み込んで その内部構造を解析するソフトを開発した。第1パスで一旦全データを 読み込んでデータ数と解析処理の準備を行い、続く第2パスで個々のデータ の解釈を行った。 Java VMのデータはマジックナンバCAFEBABEに続くデータが、グローバルな マッピングエリアを持たずに続いており、具体的にデータを順に読み出さない と後続のデータをアクセスできないようになっている。このセキュリティ上 の機構に対応して、256種類の全インストラクションの判定テーブル、間接 アドレッシングのマップ、Unicodeの解釈モジュール等を組み込んで、ほぼ 自動変換に使える「Java逆コンパイル」ツールを完成させた。PDSツール等に 頼らずに自前で解析ツールを作るのは、環境を改造する原則だからである。 続く第二ステップとして、簡単なマルチメディア・コンテンツのサンプルと して、「画面内に複数の部品を置く」「マウスでこれを操作する」「その移動 情報を刻々とCG表示する」「ある領域にヒットしたらサウンドを鳴らす」と いうようなプログラムを開発した。IRIXのマルチメディア・ライブラリには 豊富なプログラム・サンプルがあり、このようなソフトウェアは簡単に 作成することができる。 また、これに続いて、このサンプルと類似した動作を行うJavaアプレットを 制作した。Javaの言語仕様、およびJava開発環境JDKが日々刻々と進展し、 また一方でセキュリティホール等の報告で変化していくという困難な状況の ため、ここでは一定のレベルで安定しているJDK1.0.2を採用した。 そして第三ステップとして、上記Javaアプレットを開発した逆コンパイラで 解析しながら、この両者のデータを自動コンバータで結び付けるための 環境を構築した。具体的には、あとでツールによってJavaアプレットに 変換されるための標準的なインターフェースとなるようなソフトウェア部品 をライブラリで揃えることが中心となった。現状では、まだ完全な自動変換 を実現するレベルには至っていないが、基本的な記述に対してJavaソースへと 自動変換するコンバータ、そしてこの出力をJDKでコンパイルし、さらに その結果をJava逆コンパイラにかけて結果を比較する、という環境によって 検討を進める、という体制となっている。 \subsubsection*{5. むすび} 本稿では、マルチモーダルなインターネット・ホームページ用コンテンツ 制作支援環境の試作実験について報告した。 インターネット関連のHTML技術やJava技術であるために、研究と同時進行で その仕様自体が変化したりバグやセキュリティ上の問題が起きるなど、研究の 方向性が変動する問題点も体験した。今後は、実験の状況や検討、さらに ホームページやMLを通じての公開などを通して、興味ある人々との情報 交換を進めていきたい。 なお、本研究の一部は(財)東海産業技術振興財団の平成9年度助成 を受けて行われた。 \begin{footnotesize} {\sf \begin{thebibliography}{99} \bibitem{ss95} 長嶋洋一, 片寄晴弘, 由良泰人, 藤田泰成, 井口征士 : マルチメディア生成系におけるプロセス間情報交換モデルの検討. 情報処理学会研究報告 Vol.95,No.74 (95-MUS-11), pp.63--70, 1995. \bibitem{icmc95} Y.Nagashima, H.Katayose, S.Inokuchi : A Compositional Environment with Interaction and Intersection between Musical Model and Graphical Model --- ``Listen to the Graphics, Watch the Music'' ---. Proceedings of 1995 International Computer Music Conference, pp.369--370, 1995. \bibitem{sigmus97} 長嶋洋一, 中村文隆, 片寄晴弘, 井口征士 : ``Improvisession'' : ネットワークを利用した即興セッション演奏支援 システム. 情報処理学会研究報告 Vol.97,No.67 (97-MUS-21), pp.25--30, 1997. \bibitem{javabook} 長嶋洋一 : Java情報発信マニュアル. 新技術開発センター, 1997. \bibitem{javaaki} 長嶋洋一 : Java \& AKI-80. CQ出版「トランジスタ技術SPECIAL」別冊, 1997. \end{thebibliography} } \end{footnotesize} \end{document}