京都清華大学 "メディア表現特講1" 第2回 (長嶋)
「インタラクティブなシステムのデザイン」

追記 : 皆さんからのコメントが届いたので、質問への回答、関連コメントなどを末尾に追加しました(4月27日 長嶋)

本日の話題 (予定)

※ ネット環境の都合で、落先生のサポートで(コンテンツの大部分を落先生側からZOOM上に提示していただきます)リモート講義を進めますので、ちょっとドタバタするのを御容赦ください(_o_)

1. 先週の第1回に関してコメント
2. 長嶋のComputer Music作曲家としての自己紹介/作品紹介
3. 「Arduino」と「Max」について
4. 「インタラクティブ」とは? 「インタラクティブ・デザイン」とは?
5. インタラクティブな「インスタレーション」作品の事例紹介
6. メディアアートのデザインに関する4つの話題
   • メディアアートをデザインする2つのアプローチ
   • メディアアートの「お客さん」とは
   • 工学「製品」とアート系「作品」との違い
   • これらを「文系」でも制作できる理由は?
7. オープンソース文化に関する3つの話題
   • 世界的な「オープンソース」文化
   • 「IoT」(Internet of Things)と"Sketching in Hardware" Conference
   • 「スケッチング」=「物理コンピューティング」=「コンピュータが自然界と対話する」
8. 自己紹介資料集

1. 先週の第1回に関してのコメント

• 前回、皆さんがmentimeterのコメントとして牛山先生・落先生のコーナーで書いてくれた項目など ★ ★ ★ については全てチェックしており、今日の講義ではそれらに関係した話題を意識して進めます

• 「現代音楽」に関して(単なる私感ですので注意。興味のある人は調べてみましょう)
  • いわゆる「クラシック音楽」・「ポピュラー音楽」・「民族音楽」などと異なる音楽の総称です
  • 「現代」と言いながらすでに100年近い歴史があります　(「古典的現代音楽」あり)
  • 「現代音楽」・「実験音楽」・「前衛音楽」などがグループとして一般の「聞きやすい音楽」から分離されています
  • 「聞きやすい音楽」は予測できる音楽、予定調和の安心感があります
  • 期待感などいろいろ否定するところから「現代音楽」は始まります
  • コンセプチュアル・アートもお友達 (「4分33秒の無音」 ★ ★ ★ ★ だったり、「1曲演奏するのに数百年」 ★ ★ ★ だったり)
  • 「即興音楽」との関係は微妙。フリージャズでも民族音楽でもアドリブは中核だし厳密に規定する現代音楽もあります
  • 一線を越えて一旦その禁断の世界の魅力を知ると普通の音楽があまりに冗長で耐えられなくなります

• 「アクースマティック音楽/アクースモニウム」に関して(補足)
  • 2004年8月に、パリ(コンセルバトワール・フレデリック・ショパン)で開催された15日間のMOTUSワークショップに参加して、この分野の権威のDenis Dufour氏の指導のもとで新曲を作曲して、最終日のコンサートで「アクースモニウム」システム(後述)によって初演してきました。スタッフには大阪芸大卒の檜垣さんもいました
  • 現代音楽の一つの流れとして1948年頃から始まった「ミュージックコンクレート」、つまり「楽器の演奏者のいない録音された音楽の再生」という形態の音楽は、フランスではマイクで録音したサウンド素材を中心として、ドイツでは合成された電子音を中心としました
  • ドイツの「ミュージックコンクレート」は、前回(1970年)の大阪万博の「ドイツ館」で、空間音響システムとして日本に紹介されていたようです ★ ★
  • これらは現代ではElectroacoustic Music(電子音響音楽)と総称されていますが、どうもフランスでは意地になって「アクースマティック」と言い続けているようです
  • その模様(風景)を まとめたページ を作りましたので、参考に眺めてみて下さい
  • 「アクースマティック」作品は基本的にステレオ(2ch)のCD/音楽ファイルとして「再生」されます。普通のPAだけでなく、多数のスピーカによるマルチチャンネル空間音響を使用する場合もあります。ただしMOTUSでは「アクースマティック」作品をライヴに演奏するための「アクースモニウム」というシステムを活用するところがユニークです
  • MOTUSワークショップは、 MOTUSのアクースモニウムシステムが持ち込まれ設置された会場で行う、というのが最大の特長です。最終日のコンサート会場でもあるアクースMaxiでは、40チャンネルのアンプとスピーカとそれらをライブ制御するコンソール(ミキサーと似ていますがまったく違うもの。共通のソースを個別のスピーカに別々に音量制御して送る)、練習のためのもう1部屋のアクースMiniでも28チャンネルあります
  • そして写真を見ると分かるように、いわゆる多チャンネルサラウンドシステム(多数の同じスピーカを均一に配置する)とはまったく違って、それぞれのスピーカはまったく別々の種類・特性のものを客席を包むように配置し、さらに左右についても高低についても非対称(こここはMOTUSのノウハウらしい)となっています
  • CD、2チャンネルの音源をいくらたくさんのスピーカで鳴らしても別になんてことはないじゃないか、と思うのは素人の浅はかさで、これが凄いです。まさに立体感、奥行き、色彩感、躍動感のある音響空間、そしてコンソールの操作をするのが、その音源CDの音楽を分析・暗譜した指揮者であり演奏者である、というライブ性がアクースモニウムのコンサートの魅力です
  • たとえば、あるサウンドが「右から左」に飛んでいるとします(普通のステレオなら右→左に音像移動するだけ)。しかし、その音が鳴る瞬間を精緻に把握して、同時に「前方」スピーカと「後方」スピーカに送り出す音量を逆に操作(片方はmax→min、もう一方はmin→max)した場合、そのサウンドは聴衆の中を「ナナメ」に飛んでいきます
  • Dufour氏の作品をコンサートで演奏する檜垣さんが、 そのリハ風景ということで照明も明るくしてやってくれた貴重な映像を紹介します : 2004HIGAKI.MP4
  • 詳しい解説は、パリ58日間(うち1週間ほどオランダAmsterdamのスタジオSTEIM、1週間ほどオーストリアLinzのArs Electronicaに出かけた)という Sabbatical2004 の「2004年8月9日(月)」から「2004年8月23日(月)」のところを後で参照してみて下さい

• 【注意】 長嶋がここ10年ほど深く関わっている研究領域の ウェルネス・エンタテインメント に関しては、今回は時間の関係で一切、触れずに行きますので注意して下さい

• 落先生の話題にあった「Max」・「ミン楽器」・「センサ」などについては、今日の講義の中で紹介しますので、途中にある「参照ページ」のリンク先に行かずにお話に集中して下さい。よそ見をしていると損をします

2. 長嶋のComputer Music作曲家としての自己紹介/作品紹介

• Computer Musicについて(単なる私感ですので注意)
  • 現代では(1970年代以降)、音楽のシーンの多くにパソコンが関わっています
  • 現代のポピュラー音楽シーンは、全てパソコンが制作/公演に関与しています
  • ライヴコンサートといっても実際はエアーBandと口パクVocalで、本当のライヴはダンサーぐらい?
  • 長嶋が携わってきた、ここでの「Computer Music」というのは、そういうのとちょっと違って、もともとは「現代音楽」の一領域だったりしました
  • ここでの「Computer Music」は、1950年頃から(ほぼComputerの歴史と同じぐらい)続いています。専門家の国際会議「ICMC」を開催する国際団体 ICMA は1978年から続いています
  • シーケンサ/DTM/DAW等によって「毎回同じ」音楽を正しく「再生」するタイプには長嶋はあまり関わりません
  • 演奏時間や繰り返しや音楽要素が演奏者の気分/即興で変化する(ように生成アルゴリズムを規定する)という方が好きです

• まずは簡単な自己紹介として「作曲家としてやってきた事」をザッと 自己紹介プレゼン で紹介します。あわせて動画でその公演の一部の風景を紹介します
  • (参考資料1) インタラクティブアートの統合的システム・プラットフォームとしてのMax/MSP
  • (参考資料2) 自己紹介写真
  • (参考資料3) 「筋電」とは [2] MBM1sound.mp4
  • 長嶋の活動の中心は「Interactive Live Computer Music」であり、単なる記録であるものの、これまでの作品については YouTube記録のページ があるので、興味のある人は後で参照して下さい
  • 長嶋はそういうわけで「Electroacoustic Music(電子音響音楽)」についてはほとんど作曲していません。唯一、 このページ に3作品を紹介していますので、後で参照して下さい(曲のタイトルをクリックするとmp3が再生されます)

• この特別講義との関係
  • 長嶋のComputer Musicでは「作曲の一部として新楽器を制作する」という立場をとります。これは業界でも少数派です : [2] PellerMin_demo.mp4 ※ この楽器は現在、落先生の研究室にあります(寄贈)
  • また長嶋はエンジニアとして、他の作曲家/アーティストのシステム開発を手伝うという活動もしています
  • さらに教育の場で、アート/デザインの学生のインスタレーション作品(インタラクティブ・システム)の「裏方」として技術的な支援をしています
  • これがこの第2回「インタラクティブなシステムのデザイン」に繋がっています

3. 「Arduino」と「Max」について

※ ZOOM越しに実際に手元で実演する準備を進めていた ★ ★ ★ ★ ★ ★ ★ のですが、落先生と昨夜リハーサルをしたところ、ネット環境の関係で全く無理と判明したために、過去にリモート教材として作った動画その他で進めます

• Arduinoについて
  • Arduinoとは「マイコン」の一種
  • いろいろArduinoたくさん
  • Arduino開発の様子
  • Arduinoワークショップ
  • Arduino日記
  • オンラインArduino講習 (COVID-19の時)
  • Seeeduino(Arduinoの一種)に加速度センサを付けて → 「ミン」的にアドリブ演奏 : [2]AveMaria.mp4
• Maxについて
  • Maxとは? - 「部品を線で繋ぐ」プログラミング環境
  • Max前夜
  • 2000年頃のMaxパッチ画面
  • 生体センサとMax4/MSP2による事例報告
  • 宇宙人音楽と人体音楽
  • インタラクティブアートの統合的システム・プラットフォームとしてのMax/MSP
  • 世界に「Max6」を提供している、Cycling'74のCEOであり研究者でありプログラマのDavid Zicarelli氏です。これはiPadで制御してサウンドを操作する、というSketching2013でのデモで、圧力センサの無いiPadの指先の面積から圧力を抽出しています。Maxというアプリそのものの作者が、どんなMaxパッチを作るのか・・・と興味ありましたが、あまり奇麗でないパッチで、とりあえず走ればいいんだというのがよく判りました
  • Maxでブラウザも作れます
  • ゲームコントローラ用Maxパッチを作る
  • Maxで作った3つの錯視パッチ
  • "DSPSS2002"の思い出 (日本中の「Max使い」がSUACに集結して、Maxの機能を拡張した"jitter"を世界発表に先駆けて開発者自身が伝授した)
  • 「Max日記」関係 : Max₆日記 / Max₇日記 / 続・Max₇日記 / Sketching日記(実質的には「Max₈日記」)
  • オンラインMax講習 (COVID-19の時) (1) (2) (3) (4) (5) (6) (7) (8) (9)
  • 実画像との合成 : [2] 映像ハープ.mp4 ※ この楽器は現在、落先生の研究室にあります(寄贈)
  • Leapmotionコントロール : [2] Partial_Leapmotion.mp4
  • Felicaリーダと組み合わせて : [2] カードバトラー1.mp4 / カードバトラー2.mp4
  • いろいろ生体センサと組み合わせて : [2] OpenBCI_Muse_DoubleMyo.mp4
• Maxを試してみたい人にここだけの話
  • Maxは30日間は無料体験期間として全ての機能を使えます(その後はサブスク登録か永久ライセンス購入しないとパッチを編集保存できない)
  • この無料期間にMaxを集中的にマスターして体験できる「場」があります(ライセンス購入すればいつでも勉強可能)
  • COVID-19で世界中がリモートになった2020年前期、Maxの提供元のCycling'74社はアカデミックライセンス登録の世界中の教育機関ごとに期間限定ライセンスコードを臨時発行して、学生が自宅/下宿の自分のパソコンでMaxを使い続ける環境を提供しました
  • この半年の期間に、長嶋の「サウンドデザイン」(Maxを使って音楽生成/音響処理/アニメーション/ゲーム)の講義は全てオンデマンド教材としてWebに上げて、解説のYouTube動画も豊富に用意しました。 これです ここだけの秘密としてURL転載禁止
  • ここをきちんとなぞっていくと、Maxが使えるようになり、毎週の学生と長嶋のレポートのやりとりの記録があり、最終課題として学生が制作した作品(+長嶋の改訂)やコメントも自習できます

4. 「インタラクティブ」とは? 「インタラクティブ・デザイン」とは?

　　　※ ここではスマホゲームとかゲーム専用機(Switch等)とかパソコン/タブレットのゲームアプリ等は除外します(出来合いの入出力を使うだけのもの)

• 非「インタラクティブ」
  • 絵画、CD/DVD、彫刻、映画、小説、・・・
  • 制作に時間をかける → あとは「鑑賞」のみ
  • 映像作品(時間芸術) : 出来ることは「スタート」だけ
  • 作品は完成していて、毎回必ず同じ
  • 作品が「保存」できる
  • カラオケ伴奏部分はこれ
• 「インタラクティブ」
  • interactive : 「対話的」・「双方向」
  • 相互に「働きかけ→反応」 ※有限の時間が必要なので「体験」に時間的要素が生まれる
  • その場の偶然性/即興性によって毎回、変わりうる
  • 全てのシステムは「入力→(関係性)→出力」で出来ている
  • 入力 : センサ
  • 出力 : (広義の)ディスプレイ
  • 本質的な仕組みは何でも一緒
  • 関係性のアルゴリズムでどのようにでも実現できる
  • 作品が「保存」できないことが多い (システムが無くなったら・・・)
• 一応「インタラクティブ」風 (ごく簡単な対話性)
  • おみくじ/占いGame : 結果は複数用意されていてそこからrandomに選ばれる
  • マルチエンディングGame : シーンごとに2択 → 6シーンあれば64通りに分岐
  • 「アンケート」方式 : 選択肢の組み合わせに対応して結果は全て用意されている

5. インタラクティブな「インスタレーション」作品の事例紹介

• インスタレーション : 「静止していて鑑賞するだけ」でない造形作品
• テーマパーク、科学館、ゲーセン・・・
• SUAC(静岡文化芸術大学)で学生のインスタレーション作品を350ほど支援。いくつかピックアップして解説紹介(他作品も含めてあとで参照してください)
  • SUACインスタレーション(1)
    1. はち
       リアルな「蜂」の造形、それが一斉にガンをつけてくる迫力。実際に動くまでの悪戦苦闘
    2. Shocking
       紐を引っ張ると絵と音が出る・・・は簡単。その「スイッチ」部分のからくりとこだわり
    3. REproduction
       1ヶ月かかって便器のような造形を作り上げた結果、幻想的なインテリアが完成
    4. 閃(きらめ)き
       2回生が2人で作り上げた造形は「覗き込む」ために必須で、新たな鑑賞者を誘引する
    5. Chessでポン!
       8×8=64個のスイッチ、というだけではこの体験造形作品は語りきれない
    6. スプラウトス
       体験者よりも楽しいのは周りで見ている人、というシュールさを追求
    7. ハコロ
       「箱」にこだわった3人が夏休みを全て費やして制作した力作
    8. 創作玩具・巨大パラパラマンガ装置「TANGO BOX」
       電気はモーターを回すだけ。触覚も楽しめるこの作品は造形の力作
    9. 星垂る
       「数で勝負」というのは造形作品の一つの王道であり、愚直に追求したこの作品は記念碑となった
  • SUACインスタレーション(2)
    10. 風見屏風(かざみびょうぶ)
        100個の風車を実際に並べて制作する「力技」が抜群
    11. 電車で音を出すサウンドインスタレーション
        他大学からSUAC大学院に入ってきてインタラクティブが開花した
    12. らっとらいどらいと
        「お尻でお絵描き」はシンプル。ただし怪我がない(潰れない/倒れない)ように確実な造形を実現するのは大変
    13. Beat Box
        8×8×6=384個のスイッチ、というだけではこの体験造形作品は語りきれない
    14. Octagon
        「一周ぐるりと繋がった円筒形ディスプレイ」のニュースから「どんな映像が面白いか」を追求した力作
    15. Tiny Living
        望遠鏡を改造した「顕微鏡」なのに体験者は完全に顕微鏡の中の生き物に引き込まれる
    16. hoppin' drops
        電気は一切ナシ。人間の「力」を原動力として幻想的な動きが実現された造形作品
    17. はやくスシになりたい
        シャリと15種のネタを全てフェルト造形して、さらに15話のショートムービーまで制作した力作
    18. ネジマキウォール
        「メイキング」をご覧あれ。5人が「数の迫力」を追求した3ヶ月
  • SUACインスタレーション(3)
    19. 心 臓 音
        自分の心臓の拍動を実際に「見る」ことの面白さ
    20. time and space
        完成しきれなかったものの、やりたい事はシンプルで魅力的
    21. 食音植物
        音を食べてゲップで返してくる植物、というアイデアをここまで造形で完成させたのは立派
    22. 追憶の壁
        「プレゼン」をご覧あれ。作品については制作過程を記録しておいて最後にメイキングでまとめるのが重要
    23. 海潮音
        アイデア先行で実現のために相当に苦労した好例。実際に「動く」ことの難しさ
    24. もふぽっど(mofPod)
        「包み込まれて音楽を聞くiPod」というアイデアを実際の巨大ぬいぐるみで実現した力作
    25. Revolution-J
        おもちゃ楽器を改造して最終期にレディースバンドで遠征公演した事例。メイキング等をご覧あれ : [2]ジャミーズ_making.mp4 / ジャミーズ_stage.mp4
    26. OTOcakecco
        発想はシンプルだが最終的に作品として作り上げるまでのプロセスは大学院生ならではの迫力
    27. 双極式箱庭
        多数の「虫」がときどきピクピク動く・・・という世界観を最後まで追求
  • SUACインスタレーション(4)
    28. 「いらない」と言われた子たち
        3Dプリンタで同じ造形がいくつも出来ることから「いじめ」テーマを追求
    29. 思わず覗きこみたくなる箱
        造形と「光」を組み合わせて美しい世界を追求したが、残念な点も教訓となった
    30. The Shadow of a World
        「だまし絵」的な錯覚を実際の造形として実現してしまった作品
    31. SUPER UNKO MAKER
        馬鹿馬鹿しいアイデアを追求し尽くしたものの、造形力は不足していた、という好例。「デモ動画」をご覧あれ
    32. めざせ! 怪獣王
        浜松駅前地区のジオラマを制作し、そこを破壊しまくる怪獣を体験するというアイデア
    33. 妖精のお菓子工場
        動くジオラマに挑戦、時間をかけたこだわりのメイキングは注目
    34. プレシ音
        「子供がまたがる恐竜のオブジェ」(楽器)を愚直に制作
    35. 召喚 ICカードバトラー
        誰もが持っているICカードで「召喚」バトルをする、というコンセプトに重要なのがレーザーカッタで制作した「台」
    36. スノードーム・ギア
        レーザーカッタでアクリル製の「歯車」(中に水が入っている)を作って組み合わせて回すというアイデアは秀逸
  • SUACインスタレーション(5)
    37. 小さな世界
        上下2室の造形で、上の部屋は「昼」の明るさとともに金属造形に触れると暖かい。下の部屋は「夜」の光とともに金属造形に触れると冷たい。造形全体をひっくり返すと、上下の部屋はそれぞれ次第に光が逆の演出に変化するとともに、内部の金属造形の温度も反転する。電気信号で発熱したり吸熱する「ペルチェ素子」という新しいデバイスの活用に挑戦した作品
    38. 声の結晶 ーCrystal of Melodyー
        声に反応して雪の結晶が現れる。6つ集めると雪だるまが光って歌う
    39. チキチキ! ガチンコチェキ会
        アトラクション系とクイズ系(いずれもかなり体育会系)の2種類のゲームで得点を上げると、「推し」と一緒のチェキを撮って持ち帰れる
    40. 世界を救え! ウサギシューティング!
        ウサギの被り物の3軸加速度センサによって、コロナ禍で凝り固まった首を動かす角度で照準器を移動させて、画面内に出現するコロナゾンビを造非接触体温計型ガンで撃つと、可愛いウサギに変身する。全部で10匹のウサギが登場するとゲーム終了
    41. 乾パイ! カメレオン先パイ!
        コロナ禍で飲みに行けない日々のための「乾杯」動作ゲーム。ストループ効果を利用しているので、「あか」と出たら、文字色モードでは青いジョッキで、意味モードでは赤いジョッキで乾杯する必要があり、「黄色」と出たら文字色モードでは赤いジョッキで、意味モードでは黄色いジョッキで乾杯する必要がある
    42. あにんてっと
        5体の動物を次々にステージに置くと音楽の演奏中に1パートから5パートまでアレンジが分厚くなってくる。全5曲のどれを選ぶかは最初の1体目を置く位置で決まる
    43. Chewing Music
        「咀嚼で奏でる音楽」のパフォーマンス。ネックセット先端の距離センサ(フォトリフレクタ)によって顎の動きをセンシングしてリズミックにライヴ生成する音楽のテンポ変化させ、音響素材としては頬に貼り付けたマイクで実際に色々な食べ物を咀嚼するサウンドをサンプリングする
    44. 瓦割り台
        何度でも割ることの出来るおもちゃ「無限瓦割り」を使って、COVID-19下のストレスを発散するためのインスタレーション。瓦割りの衝撃をセンシングして、16個のストロボが発光すると共に巨大な衝撃音が深い残響と共に轟く
    45. 魔法の杖
        街の模型に光を生み出す魔法の杖。杖を振って建物にビームライトを当てると、建物ごとにいろいろな種類の動画がプロジェクションマッピングされる
  • SUACインスタレーション(6)
    46. Kineto Scopee
        人形の後頭部を覗いて映画を見る。人形の首にあるハンドルを回すと映画の時間軸(方向/スピード)を自在にコントロールできる
    47. VATTEN バッテン
        ジョイスティック4本を駆使したアーケードリズムゲーム
    48. 魔法の本
        魔法の本のページに書かれた魔法陣にステッキをかざすと光と共に音楽が流れる
    49. ミュージックハイツ不仲
        6部屋あるハイツの住人は、それぞれ不仲な「2人ずつ仲の良いペア」3組であり、人形は自分の部屋にだけ置ける。人形を置くと、ブルグミュラーの作品100「スティリァンヌ」の「オリジナル」と「和風」と「スペイン風」の3種類の右手と左手のパートがそれぞれ鳴り出すので、仲の良いペアだと良好に聞こえるものの、違う組み合わせだとひどい不協和音になる
    50. 残量まるみーえケース
        充電残量がLEDの点灯パターンでわかるスマホケース
    51. Ur Planet
        12枚のうち自分の星座のカードを選び、次に5個のうち好きな色/形の隕石を選び、最後に4枚のうち自分の血液型のカードを選んでリーダで読み込むと、宇宙空間に浮かぶ自分の惑星が完成して、シャッターで確定する
    52. 冷蔵庫の猫
        冷蔵庫の扉を開けると双頭の猫がいて、一方は色々なことを勝手に話し、もう一方は適当に相槌を打つ。扉が閉まる(暗くなる)とストップし、また開けると話が始まる
    53. Coffee Filter
        ドリップコーヒーにお湯を注ぐ速さと「蒸らし」時間などを計測し、豆の種類ごとの音楽の鳴り方がコーヒーの淹れ方に対応して変化して聞こえることを楽しみつつコーヒーをいただく
    54. 推し貯金箱
        「推し」のためにコインを貯金すると推しの曲の一部が演奏される
• インタラクティブなシステム実現の例 - SUAC碧風祭・メディア造形学科企画 「お化け屋敷」の事例
  • 碧風祭2011「お化け屋敷」
    • お化け屋敷に向けて2011(碧風祭の4日前(^_^;))
    • フロアプラン(1)
    • フロアプラン(2)
    • センサ/PC系の設計図
    • 碧風祭前日(全学休講)・設置日の様子
    • 1日目(11月5日)の様子
    • 2日目(11月6日)の様子
  • 碧風祭2013「お化け屋敷」
    • お化け屋敷に向けて2013
    • 碧風祭前日(全学休講)・設置日の様子
    • 1日目(11月2日)の様子
    • 2日目(11月3日)の様子
  • 碧風祭2014「お化け屋敷」
    • お化け屋敷に向けて2014
    • 前日(10/31)と1日目(11月1日)の様子
    • 2日目(11月2日)の様子

6. メディアアートのデザインに関する4つの話題

• メディアアートをデザインする2つのアプローチ
  • ニーズ指向
    • 昔ながらのアーティストの姿勢
    • 私はこれを表現したい
    • 私はこれを伝えたい
    • それには何を作ればいいか/何をすればいいか・・・を考えて創造する
  • シーズ指向
    • メディアアート/テクノロジーアートの新しい視点
    • 最初に「種seeds」(新技術/新サービス)ありき
    • これを使って何か表現できないか
    • これを使って何か伝えられないか
    • 新鮮な発想/切り口が勝負
    • (例)軍事用から世界に普及した「GPS技術」 → ポケモンGO
• メディアアートの「お客さん」とは
  • メディアアートのMuseumで作品が「展示」されている風景を想像してみよう
    • 第一のお客さん : その作品をまさに体験している人
    • 第二のお客さん : 次に体験しようと行列に並ぶ人
    • 第三のお客さん : その風景全体に気付く通行人
  • 作品において「見せ方」が重要になる
    • 体験者自身に見せるだけならHMDを被れば十分
    • その画像をスクリーンで見せる意味
    • テーマパークの行列のデザインにも通じること
    • 「体験者と待機行列」の全体を敢えて見せる意義
• 工学「製品」とアート系「作品」との違い
  • 「工学」と「デザイン/アート」の違い
  • いずれも「新規性」は重要
  • 工学では新規性は「必須」、同じ技術での後追い/真似事では駄目 → 特許/意匠/著作権
  • デザイン/アートはちょっと違う
    • 発想は同じでも新しい技術/手法を使うことで新規性を主張できる
    • 昔は無かった技術をシーズとして活用する可能性
    • ただし過去作品のサーベイ(調査/分析)は必須
    • 「発想ほぼ同じ。でもこちらの作品の方が、美しい/楽しい/新しい/スマート・・・」という主張はOK
• これらを「文系」でも制作できる理由は?
  • 20世紀のコンピュータ/エレクトロニクス技術の発展
  • 微細化、高速化、コスパの向上 : ムーアの法則
  • 一人の人間(デザイナ)で出来る規模を遥かに超越してきた
  • 階層化/構造化による「ブラックボックス」化
  • 「ディジタル」の本質とは「割り切り」(システムの頑健性、論理的に明確)にあり
  • 高度な工学的専門性がなくても論理性があればシステムが構築できる
    (例)文学部出身の優秀なプログラマ
  • 「ブラックボックスを繋ぐだけ」の開発
  • 「ライブラリを組み合わせるだけ」の開発

7. オープンソース文化に関する3つの話題

• 世界的な「オープンソース」文化
  • 「皆んなで知的財産を共有して皆んなでハッピーになろう」文化
  • 日本のエレクトロニクス産業が衰退したのはこの文化に乗り遅れたため
  • 以下の用語についてWikipediaなどで調べてみよう
    • オープンソース
    • フリーウェア / シェアウェア
    • PDS(Public Domain Software)
    • コピーレフト / コピーライト
    • CC(Creative Commons) : 2004年にオーストリアは国全体の指針と発表
  • オープンソース・ソフトウェア / オープンソース・ハードウェア
• 「IoT」(Internet of Things)と"Sketching in Hardware" Conference
  • 「IoT」(Internet of Things)の創始者 : Mike Kuniavsky ★ ★
  • Mike Kuniavskyが世界中の専門家を招待して開催する国際会議が"Sketching in Hardware"
  • MIT、インテル、Google、Microsoft、などのエンジニアも個人として参加
  • 研究者/技術者/批評家などの参加者全員がプレゼンする
  • 長嶋が参加したのは過去に6回 2008 2009 2012 2013 2015 2019
  • IAMASの小林茂さん("GAINER"の生みの親)を経由して招待を受けた
  • 最後には全員で「デモ大会」をして交流 2015 2019
• 「スケッチング」=「物理コンピューティング」=「コンピュータが自然界と対話する」
  • 「スケッチング」community : オープンソースを活用しよう
  • プログラミング(ソフトウェア)を誰でもできる時代
  • ハードウェアのデザインを誰でもできる時代
  • Rapid Prototypingによって「発想」をスグに現実化する
  • 現実世界とのインターフェースを「試作」する
  • 文系でもデザインしよう
  • アイデアを具現化しよう
  • なんなら「アート」してしまおう
  • 「Maker」ムーブメントの魅力

8. 自己紹介資料集 (興味があれば後日、ご覧ください)

• 長嶋洋一の作り方
  • 先週の第1回の質問で、2人の先生がたの軌跡に驚き、「どう生きてくればこういう仕事が出来るのか?」と思った人もいたようです
  • おそらく、長嶋はどういう生き方をしたらこんなになったのか(なってしまったのか)と思う人もいるかもしれません
  • そこで、気合いを入れて作ってみた 自分史プレゼン(長嶋洋一の作り方) をご覧ください(全287ページ,222MB)
    (これは口頭での補足説明が必須なので、あとで眺める資料としては極めて不備が多いのでご注意下さい)
  • 学生の皆さんにとって、これから社会に出て行く「姿勢」として何か参考になれば嬉しいです
• プロフィール　/　個人ドメイン
• 支援した学生インスタレーション作品集
• 音律について
• MIDIについて
• コンテンツクリエイターのための著作権フリー音楽クリップ生成システム
• 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果
• グロッケン音色の利用に関する考察
• 宇宙人音楽と人体音楽
• 電気刺激インターフェース
• ジャミネータと遊ぼう
• 「靄夜」(もや)
• 電子十二影坊
• ネジマキウォール
• レクチャー/ワークショップなど 京都 Berlin 浜松 筑波★ ★ Paris Russia★ ★ ★ 京都★ ★ ★ 筑波 Russia★ ★ ★ ★ ★ ★ ★ 藝大 Poland 名古屋
• 初めてのアニメーション制作
• 「筋電センサ」関係
• 「スケッチング」(物理コンピューティング)について
• いろいろ掲載されました ★ ★ ★ ★ ★ ★
• 左端で歌ってます ★ ★
• Computer Music作品の記録 (YouTube)
• 「Ars Electronica」での招待講演 (Linz, Austria)

皆さんからのコメントに対する、質問への回答、関連コメント (2024.04.27)

• 単純に(楽器の)中身が気になります。C言語になるのでしょうか? → C言語ももちろんありますが、コンピュータ(パソコンだけでなくArduinoなどのマイコンを含めて全て)のプログラムを開発するための「言語」というのはたくさんあります。僕は日本語と英語ぐらいしか出来ませんが、これまでにコンピュータ類の開発言語としては約200種類ぐらいを使ってきました。もちろん、1ヶ月も離れれば忘れてしまうのですが、新プロジェクトで再び使うことになれば、マニュアルを眺めるとスグに現役に戻ります。要するに「頭をRAM(書き換え可能メモリ)にする」というのが重要で、新しく登場してきたCPU(これまで誰も開発したことが無い)なども、この姿勢で柔軟に使いこなしてきました。興味があれば、だいぶ古いですが実際に僕が色々なシステムを開発してきたプログラム例を並べた 各種言語によるプログラミング例 や Indyフリーウェア集 とか、新しく知ったユニークなCPUに触れてからマスターする(日本人で本当に理解しているのは10数人)までの道筋を綴った Propeller日記 などをご覧ください

• 脳波を元に音を作れるな ら近い将来脳波などから頭の中のイメージを書き起こす技術ができるのではと思います → 最近のニュース(1-2ヶ月以内)で、阪大チームの研究でこれを(ごく初歩的にですが)実現したという報告がありました

• 科学的な原理を使って芸術的な創作を探求することで、より深みと意味のある作品を作ることができ、芸術的な表現を通して科学的なアイデアを伝えるこ とで、科学をより生き生きとした興味深いものにすることができる → 素晴らしい(^o^)。まさにこれを僕は求めていたので、独立した時に"Art & Science Labotatory"というのを個人的に設立しました。その約10年後の2000年になって、「 芸術科学会 」という、そのものズバリの名称の学会が設立されたので、僕は喜んで設立発起人に加わりました

• 絵に応用できないか考えているのですが、センサーを使ってモニターで表示されたキャラクター達がこちら側に反応するみたいな仕掛けを作ってみたいです → これには技術的に2つのポイントがあります。一つはお客さんの動きのセンシング方法で、もう一つは「絵」の描かれたスクリーンのどこ(どのキャラクタのどの部位)をお客さんがポインティングしているのかを検出することです。 この学生作品 では、お客さんがジャンプするとスクリーン内の「樹」が成長していくのですが、実はカメラで画像検出しているのは「風景の変化」だけなので、お客さんが急にしゃがみ込んでも「樹」は伸びます。ただしたいていの場合、お客さんはジャンプしてくれるのでした。 ポインティングの例としては、 この学生作品 (別version) では、ウサギの被り物のセンサで頭を振って照準器を移動させて、画面内に出現するコロナゾンビを改造非接触体温計型ガンで撃つと、可愛いウサギに変身させます。

• アルコールや薬物の依存症の人とそうではない人とで比較してみて、腕や指の動きで何らかの反応の違いが出るかどうか → 警察が飲酒運転の取り締まりで行うのは、呼気のアルコール濃度を検出するだけでなく、単に「ゆっくりまっすぐ歩いてみて」などのシンプルな方法もあります。これは認知症による運転困難度の検出にも使える方法です。もちろん筋電センサを使っても同様に検出できる可能性はあると思います

• 原動機付自転車の一つの文化として排気音を通して音楽を奏でるというものがある → ネットで調べると出てくると思いますが、電車のモーター音(走り出す際にどんどん加速して早くなる)が、あるメロディーの音階になる(ように調整している?)というのがあります。また、道路に意図的にデコボコの溝を切って、そこを走るクルマのタイヤが発する音があるメロディーを奏でるという道路は、実際に北海道にあります。さらに昔のパソコンには必ず付いていた「フロッピードライブ装置」(→調べて下さい)はモーターが付いているので、この装置のモーターの回転数を制御してメロディーを鳴らす(複数のドライブでハーモニーまで奏でる)というのを作っていた事例もYouTubeで見たことがあります

• 推し貯金箱。「推し」を応援するために、コインを貯金箱に入れると推しの曲が一曲流れるという点は非常に画期的だなと思った → これは「推し」をシンプルに具現化していますが、 この学生作品「AKB48握手会」 の場合には、握手券と引換えに大量の新品CDが廃棄されるというAKB商法をシニカルに具現化しています。毎日500円玉を貯金すると、週末の握手会では、貢いだ金額に対応した秒数だけアイドルと握手でき、その時間内だけ、約40種類の言葉をかけてもらえるというものです

• 今回の授業は留学生にとってとても理解しにくいと思います → ごめんなさい。精華大の留学生の比率を聞いていませんでしたが、相当に多いのだとこのレポートで知りました。僕は話すのが早いし、お伝えしたい情報が膨大で早口だったことをお詫びします。皆さん、日本語を頑張って学んでください

• 自分の実現したいことがしっかりと存在していて、そこに至るまでの過程がどれほど過酷であろうとも成し遂げようとする姿勢が私にはないので、何かを作りたいと思うならそうであるべきなのだなと思いました。最初の課題は自分の作ったものを公開することに対する羞恥心を対処することでしょうか → 羞恥心などというものはデザイナ/クリエイターには不要でしょう。僕は自分の名刺に「作曲家」とも書いていますが、日本にたくさんいる「作曲家」のうち、本当に「作曲」だけで100%食べている人なんてのはほぼ皆無なので、あとは全て「自称『作曲家』」です。大学教員の給料で食っている「作曲家」なんてのが多いですが、「自分は作曲家です」と言えるだけの「面の皮の厚さ」があればOKなのです。作曲というか音楽に憧れて身を捧げていれば、作曲家と名乗る羞恥心などというものは霧散します

• 絵筆に何か工夫を加えることで、自由に絵を描きながら、デザインしなくてもユニークな音楽を作ることができる → 1993年の僕の作品 Muromachi (そのダイジェスト版) や翌年1994年の Muromachi2 では、ステージ上のパフォーマー(絵心のある美大の学生)が、ペンシル型マウス(このX座標とY座標が刻々と音楽系システムに与えられて「描画のサウンド」が生成されます)でアクリル板(これ越しに床に置いたモニタで自分の描く絵を確認する)の上から絵を自由に描きます。その描く絵がステージ後方のスクリーンに大きくプロジェクションされます。描画は「ライン」・「スタンプ」・「ペイント(塗り潰し)」・「エフェクト」などがあり(その都度、背景音楽も変化)、全部で3回、全画面をクリアするとパフォーマンスが終了します。なのでこの作品の演奏時間はまったく不確定で、絵を描くのにノッてくると延々と続けたりして、リハーサルが30分にもなったので、本番はちょっと短く15分ぐらいにしてもらったり・・・と自由でした

• アーティストのステムデータを販売して視聴者に音楽をさらに浸透させるという面白い議論を見つけた。リスナーが新しい遊びを覚えたり、素晴らしい音源のパズルのピースを見れる貴重なデータだと思う。しかしアーティスト側からしたら種明かし的な恥ずかしさや盗作の懸念があるだろう。また著作権的な利権の問題もあるだろう → ちょっと違うかもしれませんが、昔(2000〜2005年ころ)にネットで大流行した「FLASH」というものがあり(→調べてみて下さい)、誰でも超お手軽にムービーのアニメーションが作れるようになりました。その結果、肖像権を無視して有名人を茶化す動画、既存の動画を勝手に改変した違法パロディー、BGMも既存の楽曲(CD等)を不正流用・・・などと無法地帯となりました。僕は興味から世界中のFLASHを約8000本ほど手元にダウンロードして(その中にはドッキリ系/グロ系などのブラクラも多数)、この手のムービーのBGMを「著作権を気にせず自動生成するシステム」というのを開発して公開しました。だいぶ古い話なのでそのまま現在に使えるものではありませんが、詳しくは コンテンツクリエイターのための著作権フリー音楽クリップ生成システムFMC³(Free Music Clip for Creative Common) にありますので、研究してみて下さい

• 録音やライブ会場での音響がマイクの移動やスピーカーの位置によって固定的でない楽しみ方ができるのは興味深いと思った。録音の際にマイクが移動したり演奏者が不規則に、予測できない音楽を奏でるのは消費されやすくなった音楽のポップな流行と異なり先鋭的で、身体表現と音楽の深い融合だと感じたのでさらに勉強したいと思った → もう20年以上も前になりますが、ケータイ(当時はガラケー)のアプリとしてコンサート会場のスクリーンにQRコードを出して、聴衆はそれぞれのケータイにインストールして音量を上げると、ライヴの演奏の一部としてそれぞれのケータイが「移動スピーカー」になる、というものがありました(IAMASの赤松正之さんの作品)。聴衆は自由に歩き回り、さらにそれぞれのケータイから出るサウンドはランダムに違ったものが鳴るようにしていたので、なかなかの空間音響(聴衆参加型)でした。
  また、コンサート会場で演奏者が動き回るという意味では、クラシック(現代音楽)の世界では、柴田南雄の「追分節考（おいわけぶしこう）」という歴史的な名曲があり(あまりに美しい)、僕は昔から大好きです(楽譜も持ってます)。 ここ を調べて、さらにYouTubeで「追分節考」と検索すれば演奏やサウンドも出てきますので、ぜひ調べてみて下さい

• どんなジャンルのダンサーが筋電楽器を利用しても面白いと思いますが、特にPOPジャンルのダンサーが筋肉を打って弾く事でどのような音が奏でられるのか。とても気になる所です。値段には驚きで、なかなかに手の付けにくい楽器だと思いますが、まだまだ試し甲斐のある楽器だと思いました。 → 紹介したYAMAHAのMIBURI(のセンサーを利用して改造開発した新楽器)は、関節(両手首、両肘、両肩)の曲げ具合を連続値として検出できる高価なものでしたが、ダンサーが空中でアタック(ビートのポイント)を打つのを検出するのであれば、かなりローコストに実現できます。出た音(管楽器やオルガンなどの連続音)をセンサからの連続値で刻々と変化させるというのは無理でも、ダンスの瞬間瞬間のタイミング(トリガ)で、あらかじめ用意していたサンプリング音を鳴らす(それぞれの音は鳴ってから減衰して消える)、というのはおそらくPOPSのライヴコンサートでもよくやっているものだと思います

• センサーを使用するとなるとプログラミング的な知識が必要になるので、その道に通ずる人の助けが必要になると思いました。何かの企画でコラボ的な物を行い、その時に発表するという形をとっても面白くなるのではないか → デザイン/アートの世界では、色々な要素が絡んでくることで可能性を拡大できるので、「コラボレーション」というのはとても重要です。学生プロジェクトでも、工学系大学の学生と美大/芸大の学生とがコラボレーションする事例はとても多いです。僕はテクノロジーと音楽は得意ですが、「絵心」は全く無いという自信があるので、過去のマルチメディア作品においては、グラフィックの専門家とか、絵心のある学生とかとのコラボレーションを続けてきました。海外での作品公演でも、プログラムにはちゃんと"Graphics:誰々"というクレジットを入れています。
  一方、グラフィックのパートまで全て自分で制作している作品では、僕が手で描くのでなく、数学的に描画するプログラムを作って作品の一部として組み込んでおり、こういうのを「数理造形」(自然や数学や物理学が実現する「美」)と言います。よくある「フラクタル」とか「カオス」の美というのは、数学的に作られていて、人間の余計な介入なしに現れてきます。興味のある人は「マンデルブロ集合」とか「ジュリア集合」というタームで画像検索してみましょう

• 先生の経験も非常に豊富で、幼い頃から音楽に触れてきました。今もなお続けている姿勢には、とても感心します → 講義の中で紹介できませんでしたが、2001年にSUACで開催したイベントでは この曲 と この曲 の演奏で左端で歌ってますのでチェックしてみて下さい。この時からもう23年も経過していますが、現在までさらに歌唱力はアップしています。 コロナで行けなくなった時期を経て、現在でも約「週イチ」でヒトカラに行っていて、6時間歌いっぱなし(飲みっぱなし)で60曲ぐらい歌ってます。落先生とは何度も行ってますが、 こんな曲 を熱唱しております(_o_)

• 手で掴む必要がなく、首や手を振ったりして動かすことが出来るといった点では、私が目標とするデザインである、ユニバーサルデザイン的な表現に通ずるところが大いにあると感じます。楽器を演奏することが難しい状況にある方などにとっては、希望にもなり得る物だと感じました → 2016年に参加した国際会議VS-Gamesで知り合ったデンマークの研究者Anthony Brooks先生は、親族に重篤な障害を持つ人がいたことから、健常者が事故/病気などで失った機能を回復する「リハビリテーション」だけでなく、生まれつき機能が欠けている人が健常者と同様の体験が出来るための支援として「ハビリテーション」という概念を提唱しました。彼が開発した筋電センサ等によって検出した情報で音楽パートを演奏するシステムにより、生まれつきほぼ全身を動かせずに寝たきりという病気の子供が生オーケストラと共演した様子のテレビ報道(1995年)は多くの人々を共感させました。現在でもAnthony Brooks先生との交流は続いています(日本での国際会議で2020年に来日予定だったもののコロナで消滅)

• 最も記憶に残るのは重力の音を聞く...?センサーが記憶に残ります。 科学的にどうなったのかはよく分からないけど、思わぬ発想だったので不思議でした → あれは「3軸加速度センサ」で、加速度ベクトルのx-y-z方向の成分を同時に検出するものをArduinoに搭載してました。例えば、x-y平面を地表と並行(水平)にすると、地球の中心に向かう重力加速度のベクトルはこの平面と直交しているのでx成分とy成分はゼロで、z成分が最大の「1G」になっています。これを傾けると、z成分は他の成分が増えるのと共に減少していき、この平面が垂直まで立ったところでゼロになるので、傾きに対応した1.0G〜0.0Gの範囲での連続値が得られます。その成分を、音楽演奏のメロディーの最低音から最高音までに対応するようにしてやると、伴奏に合わせてメロディー演奏が出来うるのですが、ほんの微小な傾きのズレでもメロディーは簡単に破綻するので、「出ている音に聞き耳を立てて、動作をリアルタイムに微調整/微修正しつつ、的確にコントロールする」という、繊細な「耳」と「身体動作」が必要になります。これは誰でも簡単に出来るというものではありません。落先生に「湯のみンを体験させてください」と頼んでみましょう

• 最後の質問のところで聞きそびれてしまったのですが、長嶋さんはずっと色々なことに挑戦してきていらっしゃいましたが悩んだり立ち止まったりしたことはあったのでしょうか。私自身何かするときによく踏みとどまってしまうので気になりました → 「悩んだり立ち止まったり」というのはよくある事です。新しいことであれば解決法/突破法がスグに分かる(見えている)とは限らないので、立ち止まってしばし考えたり、なかなか解決法が見出せずに悩んだり、というのは普通です。ただし、そこで諦めずに「なんとか解決する」・「発想法を変えてほぼ同等のものを実現する」というように苦闘したり、時には当初の目論見を諦めて「違う解決方法を捻り出す」という事もあります。 ICCビエンナーレで前林明次さんから依頼された、作品"Audible Distance"のためのセンシングシステムについては 僕の本の一部 の69ページから87ページにありますが、ここでの困難(当時の技術的水準ではこの全領域の高速センシングは不可能)は、これまでで最も悩んで立ち止まった経験でした。 解決方法は81ページにありますが、ここに至る苦闘は大変でしたが、ある意味ではその苦しさを楽しんでいる自分もいたような気がします(僕はドMの阪神ファンです)

• 筋電操作でのパフォーマンスを見て不意に思い付いたのは、もし人の体を再現した高知能のAIがこの演出を出来るのではないかと思いました。そしてこのAIにまだいろんな小型機で繋がっていたとしたら、小型機に主機から出した音で動きます。そうしたら、このAIは動いて音を出すだけで小型機で操作出来るということになるんでしょうか → たぶん「IA」は「AI」のことだろうと置換しています。ここで書かれていることは、中央に「脳」のAIがあったとして、脳と通信している身体の末端にもAIがあると面白い・・・というアイデアでしょうか。これは情報科学の分野で注目されている「リザバーコンピューティング」そのものの概念で、末端のセンサ情報を全て中央に集めて判断/知的処理をしてから再び末端を制御するのでなく、末端にもAIによる高度な処理を行わせることで全体としてのパフォーマンスを飛躍的に向上させる可能性が提起されています。興味があれば調べてみましょう

• 二つのリングで演奏している動画が特に印象に残り、昔のウルトラマンや仮面ライダーで聞いたような、形容し難い電子的でこもったような怪しげな音が奏でられていて、とても面白いと思いました → この新楽器"Peller-min"は落先生にプレゼントしたので、落先生の研究室にあります。あのサンプル(デモ)Maxプログラム"pellermin_demo.maxpat"も落先生にプレゼントしたので、あの動画のシステムの再現体験は可能ですので落先生に頼んでみましょう

• そういえば、クラシック音楽であれ、ジャズであれ、現代音楽であれ、あるコンピュータ機器から音が出れば、ある種のコンピュータ音楽になりますか? → 「あるコンピュータ機器から音が出れば」というのは、現代ではどんな電子機器であってもコンピュータ内蔵なので、それは「ある種のコンピュータ音」での音響再生である、とは言えます(「楽」が欠落していることに注意)。僕の文脈からは、「ある種のコンピュータ音楽」というのは「クラシック音楽であれ、ジャズであれ、現代音楽であれ」と全てを無条件に包含する概念ではありません。なので、例えばクラシック音楽の演奏をライヴ録音したCD/mp3をコンピュータ機器(パソコン、CDプレーヤー、mp3を鳴らすスマホ等)によって音として出したもの(「あるコンピュータ機器から音が出れば」)は、僕の文脈からは「ある種のコンピュータ音楽」ではありません。この「クラシック音楽」が「ジャズ」はもちろん「現代音楽」であっても同様です。僕の文脈での「ある種のコンピュータ音楽」とは、その音楽の生成(作曲)、編曲、セッション、音響放出などの領域でコンピュータを活用した「新たな挑戦」を行っているものに限っています。なので、最新のコンピュータを駆使した音楽システムが製品として市販されていて、これを使って出てくる音楽は、僕の視点では「市販製品」として商業的に完成しているので「コンピュータ音楽」とは呼ばない気分です

• SUACのインスタレーション作品をリンクを通して見てみて、写真でも作品が動けるように感じてすごいと思いました。動画があったらさらに実感できたかもと思ったりもしました → 「SUACインスタレーション」のページでは、特に後半では、「YouTube」というリンクは作品の動画記録になっているので参照してみてください。また、YouTube記録リンクが無い場合でも、「プレゼン」というリンクには、作者本人が最終発表会でプレゼンした資料(PDF/SWF)があるので、これが大きな助けとなります。なお、SWFというのは「Flash」形式のため、現在ではブラウザ等では全く見えなくなりました。これはadobeのanimatorの中にある「Players」の中の「Flash Player」というアプリケーションに投げ込むとちゃんと見ることが出来るので、試してみて下さい

• 見応えがあるものを作る上で理解してもらえる作品であるのかというのも大事だと感じた。作品が独特なものでも何をしているのかという作品内容は理解してもらえるようにしないと何が起きているのかわからず、観客を置いていく状態になるのではないかと考えた。そのため、仕組みとしては複雑でも観客が見る際はあえてシンプルにするというのも必要になるのではないかと考え、作品制作をする上で客観的に理解できるのかということにも注意していきたいと感じた → 1990年代後半、両腕1箇所ずつで計2チャンネルの筋電センサの作品公演 ★ ★ ★ ★ では、確かに身体動作(筋電)と対応して出てくるサウンドとの「関係性を聴衆に伝える」という視点はあまり意識していませんでした。ところが2001年に、両腕8チャンネルずつ、計16チャンネルの筋電楽器"MiniBioMuse-III"を使った作品で、開発/作曲している自分の確認のためにも画面に計16チャンネルの筋電データのグラフを描いて、せっかくなのでこれを作品公演の際にスクリーンに出した ★ ★ ところ、こういう新しい音楽にも柔軟なドイツ・ハンブルクの専門家から「身体動作(→筋電センサ)の情報が可視化されていることで、出ているサウンドとの関係性が良く分かって素晴らしい」と絶賛されました。そこで2004年〜2005年の作品公演 ★ ★ ★ でもこれを活用しました。インタラクションの関係性を、芸術性を低下させる(たんなる技術デモンストレーション)のでなく、作品の要素として上手く「見せる」というのは一つのポイントだと思います

• 長嶋先生のHPを拝見させていただいたところ、映像酔いとサウンドの関係についての実験があり、難しいながらも興味深い内容の論文で、ここでは二酸化炭素と三半規管の関係のほか、心理学的な観点からも考察が行われており、様々なジャンルに精通することによって作品でも実験でもなんでも解決法と深みが見出せるようになるのがわかりました → あの研究の伏線としては、世の中にHMDや「3Dテレビ」が出てきた頃に、「映像酔い」の問題が出てきていたという問題意識に対して、「サウンド(音像移動ができる)によって何か対策できないか」というアイデアがありました。そして情報処理関係の学会大会に参加した際に、自動車メーカと医学部の共同研究で、「クルマ酔い」(クルマに乗っている状態でビデオモニタを見せる)の被験者の「酔い」の程度を検出する手法として、「末端二酸化炭素濃度」というのを知ったので、さっそくCO2センサを仕入れて実験したりしていました。ただし期待した研究費が出なかったので、この研究は可能性を示したところで棚上げになってました。
  ところがその学会論文を見たパイオニアから突然にメイルが届いて、「車酔いを低減させるためにカーステレオ(パイオニアが得意な製品)の音像移動が使えないか」という受託研究に発展して、研究費をいただいて実験を進めたのです。学生は被験者として「計15分(7分+7分)ほどクルマに乗って、目をつぶって、特製コントローラのジョイスティックを、イアホンで聞いている音楽(「まけないで」)と身体感覚(右折/左折のG)が合っていれば(positive)上に上げ、違和感があれば(negative)下に下げ、どちらでもなければ脱力(→バネで中央に戻る)」という実験(協力者の報酬は15分で3000円!!)というのに応募して20人ぐらいやりました。被験者の鼻先にはCO2センサがあって、酔ったり眠気が出た被験者(→データを除外)が特定できました。ところが2年目の実験では、下級生が多数応募してきたものの、1回やった学生の応募はゼロでした。それだけストレスがあった模様です(^_^;)

• 僕は新しい音楽でなくても積極的に聴きたいと思います。音楽メディアの形式や音質にはそれほど拘らなくてもそこにいる人の声を聞きたいという気持ちが強いです。音楽で様々な胸の内を表現したい一方、小市民的な立場を守りたい気持ちもあります → 「小市民的な立場」などと卑下することなく、新しくなくても自分が好きな良い音楽を愛好するというのは素晴らしいことだと思います。僕も偉そうにComputer Musicの話をしましたが、例えば海外出張で長時間のフライトの時に聞くために持参するiPod touchに入っている音楽というのは、こんなもんです。2013年に スケッチング2013 に行くために成田空港で、「サンフランシスコ行きに乗り込む長蛇の列を尻目に椅子で待っている合間に撮った、手元のiPodの曲メニューの一部」というのは ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ というようなもので、詳細は省略しますが、JPOPについては僕の マイリスト と数多く重複しています