EC0506

作品系FLASHコンテンツの分類と傾向について

長嶋洋一 (SUAC)

概要 : エンタテインメントコンピューティング研究のテーマとして、Webコンテンツの一つであるFLASHと音楽に関連する領域を選んだ。本報告は、「誰でも手軽に作品系FLASHコンテンツの音楽パートを自動生成するシステム」の開発研究の予備段階として行ったものである。まず既存の多数のFLASH作品を収集し、音楽パートに注目して作品の特徴を検討して分類し、評価実験を交えて「作品系FLASH」の傾向についての検討を試みた。

Classification and the tendency about FLASH works

Yoichi Nagashima

Absreacts : This report is a part of the research of the system that composes the music part to produce the FLASH work automatically. I collected a lot of FLASH works, classified those features,and discussed the tendency.

1. はじめに
筆者はこれまでComputer Musicの作曲家・研究者として、主としてメディア・アート領域での作品創作発表・研究を行ってきた[1]。その中で、音楽でもインスタレーション(体験参加型造形作品)でもパフォーマンスでも、システムと人間との関係におけるエンタテインメント性の視点が重要であることに注目し、関連した研究テーマとして、ネットワークを利用した音楽セッションシステム[2][3]、マルチメディアコンテンツにおける映像と音楽のビートの同期について[4][5]、などに取り組んできた。
そして今回、メディアデザイン教育を行っている多くの学生の熱烈な注目/支持に触発され、エンタテインメントコンピューティング研究のテーマとして、Webコンテンツの一つである「FLASH」と音楽に関連する領域を選んだ。本報告は、中期的テーマ「誰でも手軽に作品系FLASHコンテンツの音楽パートを自動生成するシステム」(IPA「未踏ソフトウェア創造事業」に応募)の開発研究の予備段階として行ったものである。まず既存の多数のFLASH作品を収集し、音楽パートに注目して作品の特徴を検討して分類し、ごく簡単な心理評価実験を交えて「作品系FLASH」の傾向についての検討を試みた。
2. 研究の背景と目的
本節では、筆者が正面からエンタテインメントコンピューティングをテーマとした研究に取り組む最初の発表であること、情報処理学会EC研究会の記念すべき第1回研究会での発表であること等を考慮し、今後の研究のベースとなる「背景」と「目的」について整理・解説しておく。研究の基礎的なスタンスを述べる機会はそれほど多くないので、本稿で敢えて紙面を割き、今後の論文等でこの部分を参照することを御了承願いたい。
2-1. メディアコンテンツ制作環境とFLASH
マルチメディア系コンテンツの開発環境という視点から、筆者は過去の単行本の中でいくつかの具体例を検討紹介してきた[6][7][8]。本項ではその中で重要な3件について整理する。
図1はSun社が提唱し世界中に普及したJavaの開発中の風景である。Javaは仮想マシンの採用によりplatform非依存の初めての成功例として、インターネット時代のキラーコンテンツ第1号(全てのブラウザが標準プラグインに対応)となった。セキュリティと提供サービスとのトレードオフ、エミュレーションによる遅さなどの課題を抱えながらも、亜流でない「100% pure Java」は、サーブレットとともに今後も発展すると思われる。

図1　Javaによる開発風景
図2はMacromedia社がJava以前から提供しているDirector(Webコンテンツとしては"Shockwave")の開発中の風景である。Directorはもともと、複雑・大規模・高度なコンテンツを制作するためのオーサリングツールであり、C言語などのプログラミングスキルの無いデザイナやアーティストの開発を支援するが、製品はプロ用ソフトとしてかなり高価である(Shockwave Playerプラグインはフリー)。広告業界などで有名な映像制作ソフトの"Motion Dive"自体もDirectorで開発されるなど、現在でもアプリケーション開発とコンテンツ制作の主流ツールである。

図2　Director(Shockwave)による開発風景
そして図3が、本稿の主役のFlashの開発中の風景である。歴史的経緯としては、元々インターネット向けに「軽いアニメーション」コンテンツを制作する"Future Splash"というソフトがあった。Directorはグラフィクスがbitmap起源で、パソコン用CDROMコンテンツはともかく、Web用データ(dcrファイル)サイズが大きい欠点があった。Future Splashはvectorグラフィクスでサイズが小さいが、専用プラグインが敬遠された。そこでMacromedia社はFuture Splashを会社ごと買収しFuture Splash Animator(Flash 1)として発表、以後、Flashとして両者のプラグインを統合したShockwave(フリー)を提供した。現在ではほぼ全てのブラウザがShockwave(swfファイル)標準対応となり、Flashは一気にWebコンテンツ制作ツールの主役に躍り出てきた。

図3　Flash MXによる開発風景
2005年4月には、静止画/ドキュメントベースの世界標準WebコンテンツであるAcrobat(PDF)を提供するAdobe社が、4000億円ほどでMacromedia社を買収する、というニュースが世界を驚かせた。Macromedia社はDirectorとFlashの機能を相互に高めて(互いの長所を重複して共有)いたが、この提携により、ますますタンイラクティブな、あるいはダイナミックなWebコンテンツの制作ツールとして進展することを期待したい。
FLASHコンテンツの多彩な表現と軽さ、そして「標準プラグイン」化したことで、パソコンだけでなく、携帯電話などインターネット対応の電子機器組み込み向け「Flashプレイヤーのミドルウェア」も登場した。Javaのエミュレーションによる遅さに対し、専用プレーヤにより「小さく・速い」FLASHは、これからJavaと並ぶ主流として、爆発的に普及する可能性を感じさせる。
2-2. FLASHコンテンツとサウンド/音楽
上記のJava、Director(Shockwave)、Flashに筆者が注目する第一の理由は、メインテーマである「音楽」との融合というメリットである。もう一つのメリットとして、Microsoftの秘密主義(度重なるセキュリティのトラブルの元凶)の対極である、仕様のオープン性にも注目したい。筆者はまだ日本語Java資料の無い時期に、sun社がWebで公開するドキュメントだけを頼りに、Javaバイトコードを逆コンパイルするツールを容易に開発できた[9]。FlashについてもMacromedia社はこのオープン性を重視し、詳細なドキュメントをフリーで公開している[10][11]。この190ページのPDF資料により、他社ソフトはデータをFLASHフォーマットで書き出すことができ、研究する立場としては、FLASHコンテンツを生データのまま詳細に解析できる、という利点が重要である。
音楽情報科学の領域では、音楽演奏情報を分析研究する際に、演奏された音楽音響を対象として解析しようとすると、いきなり「音源分離」「ビートトラッキング」「フレーズジング抽出」などの難問に直面する[12]。そこで、MIDI音源のMIDI情報受信から発音までの遅れのばらつきに十分に配慮した上で、MIDI化された音楽演奏データを解析することが一般的である[13][14][15]。
マルチメディアコンテンツの視覚的情報と音響情報との関係を研究する上では、映像トラックとサウンドトラックとが別々のブロックに圧縮されているようなムービー/ストリームデータでは、DVテープを記録した際に起きる「音ずれ」[16]のような同期性の問題も考慮する必要がある。
Flashはタイムラインをベースとしたデータ体系であり、MIDIファイルのように仕様が詳細に公開されている。そこで生データをそのまま分析することで、実験環境の時間的遅れや同期のずれを心配することなく、マルチメディア間の関係を正確に解析できる。筆者の目的はメディア心理学実験にあるので、提示データについて明確に定義されている実験をデザインでき、被験者データの解析部分に安心して集中できるのは、研究上、非常に大きなメリットであると考えている。
2-3. EC2003-EC2005のFlashはダサい?
以上のような状況の中、本研究テーマとして姿が明確になる前から、2005年に入ってインターネット上のFLASHコンテンツを多数収集する作業を開始した(後述)。その過程でたまたま発見したのが、エンタテインメントコンピューティングEC2003(図4), EC2004(図5), EC2005(図6)[17]のページである。いずれもトップにFLASHが置かれているが、意外にも少なからぬ学生の感想がほぼ一致して「ダサい!」というものであった。

図4　EC2003トップページのFLASH

図5　EC2004トップページのFLASH

図6　EC2005トップページのFLASH
EC2003のFLASHは多数のロボットをスクリプトで個々に動かしているらしく異常に重い、明らかに工学系の作者による面白くないFLASHの典型例である。しかし、感想を述べた学生たちはいずれもデッサン実技を含む入試を乗り越えてきたデザイナの卵であり、FLASH作品を含むCG・アニメ・映像などのメディア系コンテンツに興味があり、センスもある学生ばかりであるが、これらのページのFLASHが何故、異口同音にダサイのか、あるいは実はダサくはないのか、その基準となる視点、感性への作用要素など、これは本研究と並行して検討していきたい新しいテーマとなった。
2-4. 作品系コンテンツのための自動作曲ツール
本稿執筆時点では審査結果がまだ不明であるが、本研究の目的とも関係するプロジェクトとして、中期的テーマ「誰でも手軽に作品系FLASHコンテンツの音楽パートを自動生成するシステム」の開発研究を、筆者はIPA「未踏ソフトウェア創造事業」に応募した。
この開発研究の目標は、IT時代の色々なコンテンツ、特にshort movieやFLASH作品等のマルチメディアコンテンツを制作する際に必須となる「背景音楽(BGM)パート」として、お手軽に「使える音楽データ」を自動生成するシステムを開発することである。計画では、最終成果として開発したシステムとアルゴリズムはWeb上でフリーに公開・発表し、FLASH等の作品系コンテンツ制作支援環境と自由に統合できるように提供する。
これは短期的にはクリエイター(とその卵)のためのシステムであるが、3年後には到来する「クリエイション(作品創造)の大衆化」という時代的要請を視野に入れている。ITが普及する中、「デジカメ写真を自動スライドショー化」「ホームビデオを半自動編集してmovie作品化」「FLASH作品のお手軽制作ツール」など、一般大衆がマルチメディア作品系コンテンツを「自分で作る」というエンタテインメントの時代が到来する。そこで問題となる音楽パートの創作を、著作権の問題をクリアし、音楽的な専門知識を要求することなく、容易にコンテンツに適した「使える」音楽を自動生成するためのシステムを開発する。
この研究については本研究会その他の機会に報告する予定であるが、そのためには、対象となる「作品系コンテンツ」の定義と特徴の抽出、ウケる/ダサい、といった人間の感性の判断基準とコンテンツのマルチメディア要素との関係、制作において音楽トラックに要求されること、最終的には「エンタテインメントとは何か」という研究が必要となる。これが本研究の目的である。
3. 作品系FLASHと収集分類
本節では、研究(作業)を開始してから約3ヶ月間の内容・経過について、第1報として報告を行う。IPA未踏公募への応募、「情報処理学会EC研究会発足」の情報入手、EC研究会への入会手続き、発表応募、などと同時進行での作業であり、執筆時点で被験者の結果報告が完備していないという流動的な状況もあり、結論としてまとめきれていないことをお許しいただきたい。
3-1. FLASHコンテンツのタイプ
フリー百科事典ウィキペディア（Wikipedia）からFLASHコンテンツの種類(形態の例)に関する記述を見てみると

アニメーション
ゲーム
ウェブサイトのナビゲーション音楽再生
という例が挙げられている(後述)。また、FLASHの特徴に関する記述(長所と短所)を見てみると

インタラクティブなサイトに向いている
再生環境への依存度が低い
画面サイズを変えても画質が劣化しない
Webブラウザ等からテキスト検索できない
Macromedia社以外の企業、個人でもFlashデータを加工、生成するソフトウェアを自由に開発、配布することができる
とある。さらに特筆事項として

インターネットコミュニティの参加者によって笑いネタ、時事ネタなどでジョーク的な内容のものが作られたりする。ただ、このようなFlashは著作権や肖像権(傾向として政治家が多い)を侵害していることも多々ある。日本において単に「フラッシュ」と呼ぶとこちらを指す場合もある
Flash作品の中には、一例として、最初に表示される画面は間違い探しなどの鑑賞者を画面に注視させる構成とし、次に突然画面が切り替わり、怪物が雄たけびの音と共に画面に表示される等の、鑑賞者を強く驚かせる事を意図された構成の作品もあり、特に電子掲示板にFlash作品への直リンクが書き込まれている場合は注意が必要である
という指摘も、本研究の分類においては注目すべきであろう。
3-2. 「作品系FLASH」と「除外したFLASH」
本研究においては「作品系FLASH」と対象を限定している。そこでまず第一に、「Webサイトのナビゲーション機能としてのFLASH」を対象から除外した。これはFLASHの目的がまったく違うからである。なお、ナビゲーションFLASHの例は、資生堂・ソニー・日産自動車など、日本の多くの企業サイトに見ることができる。
基本的にはこれ以外のWebページ(Flashプラグイン)で見ることができるものは、一応FLASHの「作品」(作家が制作した成果物という意味)である。ただし、それに加えて、本研究では以下のFLASH群も対象から除外したので、その理由とともにここに明記しておく。
▲1▲ どっきり系FLASH
上記特筆事項(B)にあったタイプである。静かな絵や間違い探し・視覚の錯覚などで注視させ、突然に叫び声とグロ画像が出現するもので、その演出効果のための手法は興味深いが、被験者に強いストレスを与えるために対象から除外した。なお、「ホラー系」ストーリー作品は残した。
▲2▲ エロサイト系FLASH
除外しなかった作品系FLASHの中にも性的表現の入ったものは散見するが、ここで除外したのは、所謂エロサイト(18禁)の中にあるコンテンツである。インターネットビジネスは常にエロが牽引したという事実は社会学的に興味もあるが、本研究においては無関係であり、女子学生も多い被験者にストレスを与えるために除外した。
▲3▲ グロサイト系FLASH
除外しなかった作品系FLASHの中にも暴力的/残虐的表現の入ったものは散見するが、ここで除外したのは、所謂グロ趣味サイトのコンテンツである。予想外に海外グロFLASHが多かったこと、中国のグロFLASHは特に容赦ない事など、文化人類学的に興味ある傾向もあったが、本研究においては被験者にストレスを与えるために除外した。
▲4▲ ゲームFLASH
ゲームというのは間違いなく一種の作品コンテンツであるが、本研究では、作品の仕掛けとしてインタラクティブ性を持つものは「作品FLASH」として残しつつ、所謂ゲームサイトのFLASHゲーム(得点や面クリアを目標とするゲームらしいゲーム)は対象から除外した。ゲームにも効果音やBGMはあるが、ゲームの攻略そのものが中心の目的である、という点で本研究の対象としては適当でないためである。
▲5▲ 外国語能力の必要なFLASH
ストーリーと台詞や説明文章(字幕と会話音声の両方)のある作品系FLASHの中で、日本でなく海外のFLASHではその言語に慣れていないとまったく判らない、というものも多数あった。motion graphicsなどイメージが伝われば判るものは別にして、語学に強くない被験者が多いため、これらの語学力を必要とする海外FLASHも除外した。
3-3. FLASHの収集作業
以上のような基準を整理した上で、2005年1月から4月にかけて、空いている時間を見つけては「ネット上からFLASHをとにかく集める」作業を行った。Webには所謂「FLASH集サイト」が多数あるが、この中には上記で除外した「どっきり系」「エロFLASH」「グロFLASH」も多数、直リンクされており、収集作業を行った筆者は望まなくても全てからその直撃を食らった。
また、著作権や肖像権を侵害したり名誉毀損(誹謗中傷)ネタのために、作者名をペンネームにする、あるいはクレジットのまったく無いFLASH作品もとても多いが、これらはリンク先から消えて"Not Found"であるものが多かった。そこで、実験のためのFLASHライブラリとしてリンクを使用することを断念して、ソースのswfファイルを全てダウンロードして手元に保存した
FLASH作者の中には、(1)swfファイルを別途ダウンロード(お持ち帰り)用に置いて積極的に提供する、(2)フレーム等でswfファイル名を隠しブラウザで観るだけでソースを出したくない、という両極端の対応があった。後者の場合にも、HTMLソースを読んで追えば大抵はswfファイルを入手できるが、原理的にswfを取らせない幾つかの高度な手法もあり、このごく少数(全体の1%以下)の作品系FLASHのみ、リンクで対応した。
FLASHを作る作家/グループはアマチュアもプロも世界中に多数おり、またFLASH作品は制作まで1年かけた熟練の名作から「FLASHを始めて3日です」的な稚拙なものまで千差万別である。収集作業において閲覧したFLASHは4500本以上、その中で上記「対象外FLASH」「駄フラ」「糞フラ」等をパスして、とりあえずswfファイルを手元に保存したFLASHは5月1日時点で計2188本、データ量は約2GBとなった。平均すると1本1MB以下であるが、実際には1本4kBから1本32MBまで個々のFLASHのサイズも千差万別であった。
3-4. 作品系FLASHコンテンツの分類
本研究で対象とした作品系FLASHの大部分は、Wikipediaの分類で言えば「アニメーション」と「音楽再生」ということになる。しかしここには、多くのタイプがあり、現在でも完全な分類に成功していない。作家の創造性と表現方法は無限であり、機械的に類型化することにはもともと限界がある。分類項目の一つとして「その他」は最後まで必要であると思われる。以下、作業の中で注目したいくつかの代表的な「作品系FLASH例」を紹介するが、紙面の関係で詳細は省略する。
音楽系FLASH
	MTV/プロモ系 (cool)
	Motion Graphics(VJ)系 (cool)
	Motion Typographyv系 (cool)
	ジュークボックス系 (多chサウンド活用)
	J-POP等のカラオケPV (歌詞付)
	空耳音楽系・外国語/方言系 (笑系)
	ラップ系・会話音声の音楽化 (笑系)

物語系FLASH
	恋愛もの・冒険もの・歴史もの
	生命もの(生・死・運命) (感動系)
	テーマもの(ホラー・和風・ご当地)
	ドキュメンタリー・Project Xもの
	不条理もの・不思議系・抽象芸術 (図7)
	キャラもの(ゲーム・アニメ・2ch)

お笑い系FLASH
	Motion Typographyもの (セリフ+字幕)
	パロディー・コラージュ (図8)
	事件・政治家・被告等をおちゃらける
	4コマ漫画的な連載/テーマもの

メッセージ/風刺/告発系FLASH
	政治テーマ・国際テーマ
	市民運動テーマ・環境テーマ
	イベントのCM/プロモ
	パソコンもの(Windows批難系)(図9)

ネットマンガFLASH
	紙芝居系 (静止画をクリックで進める)
	TVアニメのWeb版(出版社が運営)

インタラクティブ系FLASH(純ゲームを除く)
	浮遊感覚もの
	シミュレーションもの

その他
図7　アート系FLASHの例(www.zoomquilt.org)

図8　お笑い系FLASHの例(冬のソナタ日本語版)

図9　突然フリーズしたWindowsPCを叩き壊すFLASH

3-5. 被験者による予備的評価実験
前項の作品系FLASHの分類例は、あくまで収集作業において多数のFLASHに接した筆者の印象によるものであり、客観性も中立性もない。そのため、今後あらためて選抜したFLASH作品を材料としたメディア心理学実験を行うための予備的な作業として、メディアデザインとFLASHの表現に興味を持つ学生有志の協力を得て、保管したFLASHの中からさらに一部(趣味的FLASH、対象外系等)をカットおよそ1500本について、「FLASH観倒し企画」として評価実験を行った。ここでは、被験者の感性でプラス・マイナスいずれかの点でピンときたものだけを任意にピックアップして、一言コメントを添えてもらう、という形態を取った。その目的は、個人でなく複数の視点から多数のFLASH作品を鑑賞評価し、その中に共通点があるか、あるいはユニークで有効な視点を新たに発掘する、という事である。この結果については本稿執筆時点では間に合わなかったので、今後の機会に報告していきたい。
4. 今後の研究課題と研究方針の概要
本研究の場合には、(1)「紙芝居」的に静止画をクリックして送るタイプ、(2)セリフが字幕だけで出る(読ませる)サイレントムービー、(3)サウンドがインタラクティブ性に附随した効果音響だけである作品、(4)空耳系やパロディー系で対象となる音楽がテーマとして限定される作品群、(5)演出効果として「無音」を意図したもの、など、制作においてオリジナル音楽を必要としないFLASHについては、最終的には対象から外れるという性格がある。ただし、研究の途中ではこれらも検討の対象として注目していきたい。
予備的な評価実験により、作品系FLASHの大体の分類が出来た段階で、いよいよ「音楽」の扱いと作品の知覚認知における効果などを検証していくことになる。ここでは、(1)現存するFLASH作品における音楽の取り扱い方の調査検討、(2)被験者実験により「有効」「cool」「ダサい」など評価に大きく影響する要因を音楽とFLASH制作上の演出技法の両面から検討、(3)これからFLASH作品を制作するという視点からの「演出意図」と音楽への要請項目の調査検討、(4)FLASH制作における感性パラメータを視覚的要素・聴覚的要素・同期関係要素などで仮説化し検証、などのメディア心理学的アプローチを試みていきたい。
この一方で、「誰でも手軽に作品系FLASHコンテンツの音楽パートを自動生成するシステム」の実現に向けたアルゴリズムやシステム構築の構想を実際に実験とともに開発研究し、具体的に著作権フリーで「使える」音楽を自動生成するシステムの実現に向かっていきたい。音楽情報科学において、古典的な自動作曲のテーマがいつも行き詰まってきたのは、音楽全般を自動作曲の対象としたためである。本研究では身の程をわきまえて、対象とする音楽の領域、課題となっているポイント(著作権など)、応用領域を明確に限定した。これは、従来の自動作曲研究の問題点に対する一つの解決法であると考えている。
5. おわりに
本稿では「誰でも手軽に作品系FLASHコンテンツの音楽パートを自動生成するシステム」の開発研究の予備的研究について、第1報となる報告を行った。研究の背景と目的について整理・紹介するとともに、既存の多数のFLASH作品を収集し、特徴を検討して分類した。今後、具体的な研究をさらに進めて、目標とするシステムの開発・応用へと進めていきたい。
参考文献

http://nagasm.org/
Y.Nagashima : "IMPROVISESSION-II" : A Perfprming/Composing System for Improvisational Sessions with Networks, Proceedings of International Workshop on Entertainment Computing, 2002
Y.Nagashima : "GDS (Global Delayed Session) Music - new improvisational music with network latency, Proceedings of 2003 International Computer Music Conference, ICMA, 2003
長嶋洋一 : 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果, 芸術科学会論文誌 Vol.3 No.1, 芸術科学会, 2003
Y.Nagashima : "Drawing-in effect on perception/cognition of musical beats and visual beats, Proceedings of International Symposium on Musical Acoustics, ISMA, 2004
長嶋洋一 : 「Java & AKI-80」, CQ出版, 1997
長嶋洋一 : 「コンピュータサウンドの世界」, CQ出版, 1999
長嶋洋一 : 「よくわかる組み込みシステムのできるまで」, 日刊工業新聞社, 2005
Java逆コンパイラ "rejava.c"　http://nagasm.org/ASL/indy/
Macromedia Flash SWF File Format Version 7, http://www.digitalpreservation.gov/formats/fdd/fdd000130.shtml
The Macromedia Flash SWF File Format SpecificationVersion7, http://download.macromedia.com/pub/flash/flash_file_format_specification.pdf
長嶋・橋本・平賀・平田 : 「コンピュータと音楽の世界」, 共立出版, 1998
長嶋洋一 : MIDI音源の発音遅延と音源アルゴリズムに関する検討, 情報処理学会研究報告Vol.99,No.68(99-MUS-31), 情報処理学会, 1999
長嶋洋一 : MIDI音源の発音遅延と音楽心理学実験への影響, 日本音響学会音楽音響研究会資料 Vol.18,No.5, 日本音響学会, 1999
Y.Nagashima : "Measurement of Latency in Interactive Multimedia Art, Proceedings of International Conference on New Interfaces for Musical Expression, 2004
DVから記録したDVDの「音ずれ」を考えるhttp://nagasm.org/ASL/otozure/
http://www.entcomp.org/ec2005/
Wikipedia日本語版「Flash」 http://ja.wikipedia.org/wiki/Macromedia_Flash