SUAC教員特別研究成果報告2022
メディアデザインにおけるレイテンシとジッタの研究
デザイン学部 長嶋洋一
「時間」と「時間学」
- 今回の研究報告書
→「時間」がテーマ- 日本時間学会
→2009年設立(山口大学時間学研究所)- 日本におけるDST導入への反対声明(日本時間学会)
→東京五輪の暑さ対策で導入が検討された際に表明MIDI音源の「遅れ」で学会騒然(1999)
- 梅田・山田・北村 「ピアノの長3和音の各音の発生時間による変化」, 日本音響学会講演論文集, 平成元年3月
→同時に鳴る「ド」「ミ」「ソ」のうち1音を10msecオーダで遅らせると音色の知覚印象が変わる- MIDI音源の発音遅延と音源アルゴリズムに関する検討
→情報処理学会音楽情報科学研究会で報告、楽器業界の技術者が青ざめる- MIDI音源の発音遅延と音楽心理学実験への影響
→日本音楽知覚認知学会大会で報告、音楽心理学の研究者が青ざめるSUAC受託研究「ネット音楽セッション」(2002)
- "Improvisession":ネットワークを利用した即興セッション演奏支援システム
→1997年頃に長嶋が学会発表していた
→YAMAHAからSUAC受託研究の依頼- 米国特許登録
→成果をヤマハが特許登録、筆頭発明者は長嶋- 国際会議ICMCで発表
→海外の専門家と議論その後の時間学的な研究(2004〜2021)
- レイテンシの計測とビートの引き込み(2004)
→国際会議NIMEで発表、海外の専門家と議論- サウンドの空間的予告による映像酔いの抑止(2007)
→この論文によって後にパイオニアからSUAC受託研究の依頼が来る- 並列処理プロセッサ"Propeller"(2009)
→依頼されて国際会議ICEC2009でTutorial開催(Paris)- コンピュータ音楽における「時間」"(2010)
→日本時間学会にて講演- 身体に加わる加速度とサウンドの音像移動に関する心理学実験(2012)
→パイオニアからのSUAC受託研究で心理学実験システムを開発/実験
→電子情報通信学会ヒューマン情報処理研究会で発表、専門家と議論- 聴覚的クロノスタシス(2014)
→聴覚的な「クロノスタシス」錯覚を検証する心理学実験システムを開発/実験
→日本音楽知覚認知学会大会で発表、専門家と議論- 自動運転車のためのリアルタイム作曲システム(2015)
→トヨタ中央研究所からのSUAC受託研究としてシステムを開発
→自動運転車の多種多様な外界向けセンサ群からBGMを自動生成- 生体センサと内受容感覚に関する研究(2016)
→国際会議VS-Gamesで発表(Barcelona)、海外の専門家と議論
→任天堂系企業からのSUAC受託研究で心理学実験システムを開発/実験
→人間の情動/ウェルネスに関連する研究へと発展(→SUAC特別研究)- EMSを用いた触覚と音楽の融合に関する研究開発(2021)
→「東大発ベンチャー」企業からのSUAC受託研究でシステムを開発
→エクササイズ+リモート+音楽とEMSを同期
→COVID-19のためにフィールド実験が棚上げ今回の研究(2019)について
- 用語の確認
- コンピュータは原理的に「逐次処理」 (※ 人間の脳は「並列処理」)
- 「レイテンシ」 --- イベント1から継時的に起きるイベント2までの「時間的」遅れ
- 「ジッタ」 --- レイテンシがばらつく、その時間的な「幅」
- きっかけ(動機) : Unixターミナルで「ps -Al」としてみた
→バックグラウンドで厖大なプロセスが走っている
→CPU/メモリの高性能化で1999年の報告からどうなっているのかを調べてみたい- 日本音楽知覚認知学会での報告
→音源のレイテンシとジッタについて計測
→アプリケーションのversionによってレイテンシとジッタの傾向は変化する
→ジッタはおよそ良好になっているもののレイテンシの絶対値は要検討であることに変化なし- 情報処理学会音楽情報科学研究会での報告
→計測システムについての詳細な解説と検討
→Arduinoの時間的性能の確認
→Max+Arduinoシステムの性能確認
→OSCプロトコルの性能確認実験
→ネットワークを重くしてのOSC実験
→CPU負荷を重くしての遅延計測実験
→新たな検討と提案 : 「3D酔い」の対策として意図的にジッタを付与する可能性
→新たな検討と提案 : リザバーコンピューティングにおけるカオス特性にジッタを活用する可能性