---

インタラクティブ錯聴実験に関する2つの考察

長嶋洋一(SUAC)

---

Abstract

MCI(軽度認知障害)対策や認知症リハビリに役立つ可能性を持つ「ウェルネス・エンタテインメント」の研究に関して、錯覚(AHA!)体験の実現を追求する中で、能動的な錯覚体験ツールとしてのインタラクティブ・マルチメディアシステムのデザインを進めている。本稿では特に「錯聴」をテーマとする中で浮上した2つのポイントとして、(1)錯覚の領域で主役となっている「錯視」に比べて地味な印象の「錯聴」のインタラクティブ化における本質的な問題点、(2)過去にも報告してきた「レイテンシとジッタ」(心理学実験の基礎を揺がすリスク)に関しての新たな考察、についての検討を報告する。

オンライン発表用資料

2020年3月にPh.Dを取得した博士研究(京都市立芸術大学美術研究科後期博士課程[メディアアート専攻])「ウェルネス・エンターテインメントを実現するメデイアアート」[1]において、2019年までの数年間、MCI(軽度認知障害)対策や認知症リハビリに役立つ可能性を持つ「ウェルネス・エンタテインメント」のデザインについて研究する中で、錯覚(AHA!)体験の実現を追求した。その中で、単に錯視画像や錯視loop動画を眺めるのでなく、自分で錯覚パラメータを変化させる能動的な錯覚体験ツールとしてのインタラクティブ・マルチメディアシステムに注目している[2-3]。
本稿では日本音楽知覚認知学会での発表ということで、特に「錯聴」をテーマとする中で浮上した2つのポイントについての検討を報告する。その第一は、錯覚の領域で主役となっている「錯視」に比べて地味な印象の「錯聴」のインタラクティブ化における本質的な問題点についてであり、背景として第2節「ウェルネス・エンタテインメントと基礎心理学」、具体的な検討事例として第3節「錯視と錯聴とイリュージョンフォーラム」、考察と問題提起を第4節「インタラクティブ錯聴実験の問題点」として報告する。
第二の報告は、1999年に情報処理学会[4-5]および日本音楽知覚認知学会[6]で発表したMIDI音源の遅延に関する報告を発端とする「レイテンシとジッタ」を追求した研究に関する。[6]ではMIDI機器やMIDIソフト等の安易な利用が心理学実験の基礎を揺がすというリスクの重要性が注目されたが、この視点に関してはその後も何度か報告してきた[7-11]。今般、SUAC(静岡文化芸術大学)の産学協同スキーム[12](共同研究・受託研究・受託事業)に拠った研究(音楽絡みで広義の錯覚を活用する)を受託し、再び新たなレイテンシとジッタの検討を行ったので報告する。背景として第5節「SUAC受託研究の紹介」(筆者の受託研究で音楽情報科学に関するもののみ)、過去の研究の概要として第6節「レイテンシとジッタの研究紹介」、そして今回の検討を第7節「新たなレイテンシとジッタの検討」として報告する。

• ウェルネス・エンタテインメントと基礎心理学

  筆者は1987年頃から任意団体時代の「音楽情報科学研究会」に参加し、情報処理学会の「研究グループ」を経て1993年に正式な「研究会」となった時からのオリジナルメンバーである(同様に「音楽知覚認知研究会」時代から参加して「音楽知覚認知学会」に参加)が、同様に2002年に幕張で開催された国際ワークショップ"International Workshop on Entertainment Computing"に発表参加[13]して以来、これを契機に情報処理学会でスタートした「エンタテインメントコンピューティング(EC)研究会」のオリジナルメンバーでもある。当初はECといえばゲーム業界やゲームセンター等の「遊興」というイメージであり、関連研究も当時流行していたFLASHコンテンツに関するもの[14-16]だったが、次第にエンタテインメントの深み/広がりやデザイン行為そのものをエンタテインメントとして注目し[17-25]、さらに生体センシングと「癒し系」エンタテインメント[26-30]からリハビリやウェルビーイングに発展するエンタテインメント[31-36]に研究が発展してきた。そして錯覚を体験して脳が活性化される「AHA!体験」の実現が、MCI(軽度認知障害)対策や認知症リハビリに役立つ可能性を持つという研究コラボレータの指摘を受けて、「社会に役立つエンタテインメント」の追求を進めてきた。

• 錯視と錯聴とイリュージョンフォーラム

  味覚と嗅覚についてはまだまだ未開拓の領域が広がっているが、錯視(視覚の錯覚)や錯聴(聴覚の錯覚)およびそれらの統合した錯覚は最近では非常にポピュラであり、中でもNTT基礎研究所の柏野氏らの「イリュージョンフォーラム」[37]は、教育的にも優れた錯覚データベースサイトである。過去にはFLASHベースのコンテンツで各種の錯覚を体験できて楽しめたが、セキュリティの限界から全てのブラウザ/WebコンテンツからFLASHが追放され、イリュージョンフォーラムも2020年には一旦閉鎖されるという荒波を受けたが、やや自由度は低下したものの、品揃えとしてほぼ同等のサイトとして2021年になって再開したのは朗報である。
  世の中のブログ等の情報サイトに多いのは、単に錯視画像や錯視loop動画を紹介していて「眺める」というものであり、もちろんコンテンツ自体は面白いものの、それまでである。いわば「受け身」の錯覚体験であり、例えば「気付かない」・「よく錯覚が分からない」という場合には、ブラウザのウインドウ/タブをサッと閉じて次に行ってしまうだけなのが勿体無い。従来からメディアアートの世界でインタラクティブなシステムデザインを開拓している筆者としては、単なる受け身でなく、自分で錯覚パラメータを変化させる「能動的な錯覚体験ツール」としてのインタラクティブ・マルチメディアシステムに注目している[2-3]。これにより、(1)個人差によって錯覚体験の深さの違いがあることに気付く(→万人に共通の錯覚パラメータを抽出する心理学実験の可能性!)、(2)微妙なコントロールによって「錯覚」を知覚する閾値を発見することで自分自身の「感覚」に気付く(→自己の知覚によるウェルネス!)、というような新しい拡張されたエンタテインメントへの発展が期待される。

  

  

  

  

  

  

  

  

  

• インタラクティブ錯聴実験の問題点

  筆者はSUAC(静岡文化芸術大学)デザイン学科での専門科目「サウンドデザイン」・「メディア数理造形演習」・「音楽情報科学」の中で、Max8プログラミングのテーマとして「インタラクティブ錯覚」を取り上げ、毎年、学生たちと錯覚ネタでの一種のゲームから基礎心理学実験に発展しそうな深い錯覚体験システムまで、色々な実験・試作を続けてきている。その中には「イリュージョンフォーラム」(改訂後)の粗さではあまり面白くなかった錯覚が細やかに微調整できたり、多数のパラメータを自在に変化させることで新しい錯覚の発見に繋がりそうなものまで、新鮮な発見がある。錯覚と言えば立命館大の北岡氏であるが[38]、かつてSUACにも講演に来てくれた北岡先生を驚かせるような新しい錯覚を発見/改良して「錯視錯聴コンテスト」で発表してみたい・・・というのが目標である。
  そんな中、これまで中心だった「錯視」から「錯聴」をターゲットとする展開の中で気付いた問題点は、「各種錯覚パラメータをインタラクティブにコントロールするのは視覚チャンネルによる」という当たり前の事実であった。Max8で制作したインタラクティブ錯視パッチでは、画面(大型モニタ/スクリーン)に錯覚を体験するウインドウがあり、体験者はそこを注視して錯視を体験する。そして錯覚パラメータ(色彩・彩度・明度・サイズ・運動スピード・回転数・などなど)を変更するスライダーや2次元コントローラ等が画面の別のところに並んでいて、そこをマウスやカーソルキーで変更制御する。この際、「錯視対象として見ている画面」と「コントロールする部分」とはいずれも視覚の対象であるものの、ごっちゃになることなく無意識下にこの2種類の視覚情報を使い分けている事に気付かされた。考えてみれば日常的に視覚情報が生きていくための全情報の90%以上と言われる人間の場合には、錯視体験のスクリーンとコントローラ部分との間で視線が移動する際に、ちゃんとその「意味」を脳内プロセスとして切り替えてきちんと対応しているのだった。
  これに対して、従来から聴覚的な心理学実験では「暗室」・「瞑目(アイマスク)」などの視覚を遮断する条件が一般的であり、錯視と同様の環境で「インタラクティブ錯聴実験」システムを作った場合、音響はスピーカなりヘッドホンで聴取するとしても、パラメータを自在に可変できるというコントロール画面が視覚に与える影響は非常に大きなものになってしまうという本質的な問題である。ジョイスティックやトラックボールやマウス等を手探りする触覚的インターフェースというのは、その精度だけでなく「どのようにパラメータを変えているか」の関係性を自覚しにくいために、「暗室」や「瞑目」という条件との両立が困難となる。本稿執筆時点ではこの問題点の解決方法について具体策を見出せない状況での報告であり、研究会の場での各位諸兄からのアドバイスを切に希望している次第である。

• SUAC受託研究の紹介

  本稿の第二の報告は、新しくSUAC受託研究としてスタートしたプロジェクトに関するものなので、まず背景として筆者のSUAC受託研究のうち音楽情報科学に関するものを関連情報とともに簡単に紹介しておく。公立大としての情報公開により、過去のSUAC受託研究は研究タイトルと委託元企業名は公開されているが、関連した研究内容は学会発表しているものの、最終的に委託元企業に提出した研究成果報告書や研究成果としてのMaxパッチ等は契約により公開できない点をご了承いただきたい。
  受託研究「ネット音楽の研究開発」(ヤマハ株式会社、2002年1月-2002年3月)では、過去の研究[39-41]からインターネットを経由したライヴ音楽セッションの実現に向けたアイデア/試作を依頼されて開発し、成果として学会発表[42-45]および筆者を筆頭発明者とする米国特許[46]を得た。
  受託研究「エンタテイメントのための新しいインターフェースの研究開発」(株式会社メガチップス、2009年12月-2010年3月)では、任天堂"Wii"リモコンのストラップ部分に4チャンネル筋電センサを配置して、計29種類の「手首から先のジェスチャ」を認識するシステムを開発した[47-49]。
  受託研究「音響機器の人体に与える影響の研究開発」(パイオニア株式会社、2010年6-11月、2011年6-12月)では、自動車に乗った被験者に加わる加速度に対応して聴取する音楽の音像を移動させる被験者実験により「車酔い」を低減させるカーオーディオの可能性を検討した[50-52]。
  共同研究「自動作曲アルゴリズムの開発」(豊田中央研究所、2015年4月-2017年3月)では2年目が実質的に受託研究となり、多種のセンサにより外界の情報を獲得している「自動運転車」のセンサ情報を活用して搭乗者のためのBGMを自動生成するシステムを試作した[53-55]。

• レイテンシとジッタの研究紹介

  かつて楽器メーカで電子楽器の研究開発をしていた筆者はその内部事情に精通しているために、楽器の内部に関する詳しい解説も出版した[56-57]が、MIDI機器やMIDIソフトが普及して安易に音楽心理学実験に使われ始めた状況に危機感をもって、1999年に情報処理学会[4-5]および日本音楽知覚認知学会[6]でMIDI音源の遅延(レイテンシ)とそのばらつき(ジッタ)に関する警鐘を鳴らし(て大騒ぎとなっ)た。実験に使用するシステムの時間的な特性を知らずに過信/盲信することで、根底から心理学実験の意義が覆されるリスクは非常に大きいのである。この詳細については[7]の中でも計測システムまで含めて詳しく解説しているので参照されたい。
  その後、音楽知覚認知に関する研究など[58-60]を進めてくる中で、1990年代からずっと活用してきたMaxもバージョンがMax5、Max6、Max7[35]と進んで最近ではMax8まで来たのを契機に、新たにレイテンシとジッタについても再検討した[10-11]。20年前に鳴らした警鐘に対して、現在では当時に比べてPCの性能が約100倍ほど向上し多種の周辺環境が整備されてきたのだが、情報技術/情報科学の本質としてのレイテンシ/ジッタは依然として存在している。そこでネットワーク環境や物理コンピューティングの進展を受けて、改めて当時と同様の問題点に関する計測実験を行ってみた。そこでの結論から一部を再録すると、(1)「実験環境」[11]で検証したように、レイテンシとジッタの計測実験ツールとして「MaxとArduinoとサンプリングオシロスコープPicoScope3205A」という組み合わせは十分な性能がある(「遅延時間計測システム」として1msec精度の計測が可能)、(2)マルチプラットフォーム・プロトコルとして世界標準になっているOSC(OpenSoundControl)によるメッセージ伝送は、標準的なネットワーク(実験を行ったSUAC構内LAN)において「OSCで1往復」実験のレイテンシは約1.0msecであり、複数回の試行でばらつき(ジッタ)が無いことを確認、(3)いくつかの実験からネットワークが「重い」(混雑している)という状況を避ければ(極端には実験専用ネットワークとして閉じていれば)OSC伝送を心理学実験の道具として使うことは可能であると確認、(4)Max7では内部タイミング処理の影響で発音遅延およびバースト幅においてレイテンシおよびジッタの傾向としてかなり問題があると判断したが、Max8では発音遅延のレイテンシはさらに大きくなったもののバースト幅はほぼジッタ無しの正確な10msecが確保されるように改善されていることを確認した。このレイテンシのオーダ(絶対値)は過去の音楽心理学実験において「人間が音色の違いと認識する」レベルより大きいので、Max内で設定した(つもりの)時間条件で音楽心理学実験を行うことは無意味となる危険性がとても高い。

• 新たなレイテンシとジッタの検討

  ここからが今回の新しいSUAC受託研究としてスタートしたプロジェクトに関する「レイテンシとジッタの検討」なのだが、残念ながらその全貌については現在進行形(2021年5月スタート)ということで、ここでは具体的には紹介できない。
  過去の受託研究と同じように、筆者の過去の研究に関する学会発表等を調査する中で委託元企業が筆者を発見してコンタクトしてスタートしたが、ヒントとしてその筆者の研究を紹介すれば、「電気刺激フィードバック装置の開発と音楽パフォーマンスへの応用」[61]および「皮膚から音を聞く可能性・第2弾」[62]なので、ここから類推妄想していただきたい。このプロジェクトには明確な商品化/サービス提供というゴールがあるために、過去の受託研究において具体的な成果が市場に現れなかったケース(基礎研究/調査検討止まり)と違って、順調に進展すれば一般に公開される予定となっている。
  ここで紹介するのは、本プロジェクトに関するレイテンシとジッタの検討の予備実験として、筆者の過去の研究の一部について新しい視点から検証してみたという予備的な事例である。「皮膚から音を聞く可能性・第2弾」[62]においては、多数の小型リニアアクチュエータ(振動子)を配置してMIDI制御にて詳細な振動状態を制御するシステム"VFB10"を開発した。そして同時に多数のリニアアクチュエータを駆動する発熱対策として採用した「耐熱手袋」上に10個を配置して、音楽駆動のサンプルとしてリズム/ビート感のある音楽素材(マイケルジャクソンの3曲)を使用し、その音響をバンドパスフィルタによって5つの周波数帯域に分割して、バンドごとに5個の異なる位置のリニアアクチュエータをバースト状に振動させた。具体的にはMax7のbiquadフィルタによって中心周波数を100Hz/200Hz/400Hz/800Hz/1600Hz、Q=11に設定した超狭帯域バンドパスフィルタ(ノッチフィルタ)を構成し、各周波数バンドの音響信号の積分強度が閾値を超えたら一定時間(60ms/80ms/100ms)だけ振動する、というモードを実装した。簡易な実験の感想として、例えば低音域(バスドラムやベース)の振動や、高音域(シンバルなど)の振動に対応した異なる位置の振動を容易に知覚できたことから、聴覚障害者が振動フィードバックによって音楽を聴くという可能性、あるいは複数の振動刺激を和音のように知覚してそれぞれの音源分離を行うという可能性を示唆している、とした。

  

  今回の予備的検討は、この時の実験条件としてレイテンシとジッタの検討が不足していたと気付いたのが発端である。すなわち、リアルタイム信号処理環境であるMax/MSPの使い慣れた2つのオブジェクト:「meter~」(音響レベルメーター)と「biquad~」(ディジタルフィルタ)に関して、無意識下にそのレイテンシが非常に小さいこと、そのジッタが非常に小さいこと、を想定して無条件に進めていた実験だったのではないかと見直したのである。ちなみに筆者の設定の常として、Max PreferencesのSchedulerは1msecという最大性能になっていて、もちろん「OverDrive」設定(プロセスのpriority優先)もONである。
  「meter~」のインスペクタには「Refresh Interval in Miliseconds」というパラメータがあり、つまり音響レベルを積分するためには一定の時間が必要で、そのdefault値はなんと50msec(経験的には音楽情報処理にとって影響のあるオーダー)であった。そして音源としてホワイトノイズを使用して、「bang入力でスタート」→「ホワイトノイズを50msec幅のバーストで発生」→「これをmeter~によって音量データ(float)に変換」→「この音量値が0.9を超えたらbangを出す」→「スタートからここまでの経過時間を1msec精度のclockerで計測」、というちょっとした実験から、その最大値は49msec、最小値は1msecとレイテンシがかなりばらつくとともに、「Refresh Interval in Miliseconds」を変えることでそのばらつき度合いが明らかに変化するという事実を確認した。そこで結論として、defaultの50msecだった「meter~」の「Refresh Interval in Miliseconds」を最大性能の10msecに変更することとした。

  　　 　　

  そして音楽音響の周波数成分によって帯域分割しているノッチフィルタの遅延についても調べる必要があるため、これも実験してみた。[62]でマイケルジャクソンの音楽を「biquad~」によって5バンドのノッチフィルタに分割したもので実験したところ、(1)最低音域(Fc=101.050217Hz, Amplitude=8.057534, Q=11.258102, Gain=6.0倍)、(2)下から2番目の音域(略)、(3)真ん中の音域(Fc=400.768402Hz, Amplitude=4.699974, Q=11.258102, Gain=3.5倍)、(4)上から2番目の音域(略)、(5)最高音域(Fc=1602.0Hz, Amplitude=4.936048, Q=11.258102, Gain=1.3倍)、の全てで遅延の最大値は49msec、最小値は1msecであったものの、そのばらつきの分布状態は明らかに異なっていた。まだ結論に至っていないが、Max8システムで「biquad~」を使用する場合には十分な注意と検討が必要であり、これは本プロジェクトでも関係してくる重要事項と確認できた。

  　　 　　 　　

  なお、このシステム"VFB10"のレイテンシとジッタについては、この「MaxからMIDIを出力した"後"」についても調べてみる必要があるのは当然だが、これまでの経験則として、「MaxからRoland UM-2を経由してのMIDI信号出力」→「MIDIをフォトカプラ Sharp TL552で受けてPropeller(80MHz clock)で受信FIFO処理のcog(内部CPU)へ」→「Propellerで並列処理パイプライン(circle)を介して出力cogへ」→「Propellerの出力ポートから電流ドライブICを経てリニア振動子へ」という流れのレイテンシはトータルでも数msec以内、そしてジッタもさらに小さい事は分かっている。

インタラクティブ錯聴実験に関連する2つの考察として、進行中のプロジェクトと新しくスタートしたプロジェクトに関する検討について紹介した。両プロジェクトは無関係のものであるが、日本時間学会の場で「時間学」も学んでいる筆者にとって、本報告の内容というのはまさに時間学の典型的なテーマであり、それぞれを追求することで新たな知見を得られるチャンスだと全力投球している。機会があればそれぞれの発展状況や新たな知見についても報告していきたい。

関連資料

• 予稿
• 筆者のサイト[nagasm.org]
• 筆者の発表記録など(profile)
• SUAC長嶋研究室

参考文献

• ウェルネス・エンターテインメントを実現するメデイアアート
• ウェルネス・エンタテインメントのための錯覚体験システム〜聴覚やマルチモーダル錯覚を中心として〜
• インタラクティブな錯覚体験システムの試作報告
• MIDI音源の発音遅延と音楽心理学実験への影響
• 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果
• Drawing-in effect on perception/cognition of musical beats and visual beats
• Measurement of Latency in Interactive Multimedia Art
• PC環境での心理学実験におけるレイテンシとジッタの再検証
• 音楽心理学実験ツールとしてのPC環境性能の再検討
• "IMPROVISESSION-II" : A Perfprming/Composing System for Improvisational Sessions with Networks
• 作品系FLASHコンテンツの分類と傾向について
• コンテンツクリエイターのための著作権フリー音楽クリップ生成システム"FMC3"
• エンタテインメント・コンポージング教育に向けて
• 改造による新楽器の創造
• エンタテインメント科学とデザイン・エンタテインメント
• 『エンタテインメント科学』から『エンタテインメント学』へ ★ ★
• 音楽エンタテインメントを「作る」〜SUACスタジオレポート2014〜
• 内受容感覚コントローラとしての筋電楽器〜癒し系エンタテインメントのために
• 皮膚から音を聞く可能性・第2弾
• Multi Rubbing Tactile Instrument
• Towards the BioFeedback Game --- with Interoception and Rehabilitation ---
• 生体情報センシングのバイオフィードバック療法への応用について
• 生体情報センシングと内受容感覚コミュニケーションの可能性について
• イリュージョンフォーラム
• 北岡明佳の錯視のページ
• "IMPROVISESSION-II" : A Perfprming/Composing System for Improvisational Sessions with Networks
• GDS Music--- ネットワーク遅延を伴う音楽セッション・モデル
• GDS (Global Delayed Session) Music - new improvisational music with network latency
• United States Patent. Nagashima et al. SESSION APPARATUS, CONTROL METHOD THEREFOR, AND PROGRAM FOR IMPLEMENTING THE CONTROL METHOD
• 筋電楽器における音楽的ニュアンスの認識に向けて
• 新しい筋電楽器のための筋電情報認識手法
• 新しい筋電楽器のジェスチャ・表現の検討について
• 身体に加わる加速度とサウンドの音像移動に関する心理学実験報告(1/4)
• 身体に加わる加速度とサウンドの音像移動に関する心理学実験報告(2/4)
• 身体に加わる加速度とサウンドの音像移動に関する心理学実験報告(4/4)
• 自動運転車のためのリアルタイム作曲システムに向けて
• Realtime Musical Composition System for Automatic Driving Vehicles ★ ★
• コンピュータサウンドの世界
• 作るサウンドエレクトロニクス
• グロッケン音色の利用に関する考察 ★
• 聴覚的クロノスタシスに関する実験報告 ★
• 「Risset Rhythm」 温故知新
• 電気刺激フィードバック装置の開発と音楽パフォーマンスへの応用
• 皮膚から音を聞く可能性・第2弾