日本時間学会設立１０周年記念大会発表のためのReferences (2019.03.03)

音楽情報科学における永遠の課題: レイテンシとジッタ

長嶋洋一(SUAC/ASL)

以下は、2019年6月8-9日に山口大学で開催される、日本時間学会設立１０周年記念大会での発表「音楽情報科学における永遠の課題: レイテンシとジッタ」に関したリンク(URL)資料です。当日プログラムとして配布されるのは1ページA4の「要旨」なので、このページへのリンクのみを「要旨」に記載して、紙面の制約がない状態で本資料を制作しました。下記の研究論文の著者は全て「長嶋洋一(Yoichi Nagashima)」です。それぞれのURLをブラウザのアドレス欄にコピペしてアクセスして下さい。

筆者の紹介など

• Art & Science Laboratory(ASL) http://nagasm.org/ASL/
• 静岡文化芸術大学1106長嶋研究室 http://nagasm.org/1106/
• コンピュータと音楽の世界―基礎からフロンティアまで, 共立出版 https://www.kyoritsu-pub.co.jp/bookdetail/9784320029422
• コンピュータサウンドの世界, CQ出版 http://www.cqpub.co.jp/hanbai/books/20/20061.htm
• 作るサウンドエレクトロニクス http://nagasm.org/ASL/mse/index.html
• 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果 http://nagasm.org/ASL/beat/index.html

これまでの日本時間学会での筆者の発表と関連情報

• コンピュータ音楽における「時間」(2010) http://nagasm.org/ASL/jikan/index.html
• 身体に加わる加速度とサウンドの音像移動に関する心理学実験報告(2012) http://nagasm.org/ASL/paper/HIP201206nagasm.pdf, http://nagasm.org/ASL/paper/sigmus201206.pdf, http://nagasm.org/ASL/paper/onchi201206.pdf
• 音楽における人間の知覚認知と時間(2013) http://nagasm.org/ASL/paper/jikan2013_2.pdf
• 聴覚的クロノスタシスと音楽の時間について(2014) http://nagasm.org/ASL/paper/jikan2014.pdf, http://nagasm.org/ASL/Chronostasis/index.html
• 内受容感覚バイオフィードバック反応を高速化する情動/感情(2016) http://nagasm.org/ASL/paper/jikan2016.pdf, http://nagasm.org/ASL/paper/jikan2016presentation.pdf
• 自動運転車に関する時間学的考察(2018) http://nagasm.org/ASL/paper/jikan2018.pdf, http://nagasm.org/ASL/paper/SIGMUS201802.pdf

用語の確認: 「レイテンシ」と「ジッタ」

レイテンシ（latency）[潜伏時間、潜時、待ち時間、反応時間。レイテンシーとも表記される]とは、デバイス/システムに対してデータ転送などを要求してから、その結果が返送されるまでの不顕性(病気の過程が始まっているがまだ症状が表れていないことを表す医学用語)の高い[原理的な理由により発生してしまう本質的な]遅延時間のこと。一般的にレイテンシが小さければ小さいほど、そのデバイス/システムは高性能で高価である。(Wikipedia改)

ジッタ(Jitter)[いらいらするという意味の英語"Jitter"に由来する。ジッターとも表記される]とは、電気通信などの分野において、時間軸方向での信号波形の揺らぎの事であり、その揺らぎによって生じる映像等の乱れのことも指す。デジタル信号でのジッタは、ランダムジッタ(正規分布に従う時間軸方向での信号波形のランダムな時間的揺らぎ)とデターミニスティックジッタ(データやクロックに依存して受信信号の波形タイミングが本質的に変化するジッタ)に分類される。 (Wikipedia改)

約20年前に音楽心理学実験に影響する「レイテンシとジッタ」に警鐘を鳴らした研究発表論文

• ハード音源／ソフト音源のMIDI発音遅延と音楽心理学実験環境における問題点の検討, 平成11年度前期全国大会講演論文集2, 情報処理学会, 1999 http://nagasm.org/ASL/ipsj1999/index.html
• MIDI音源の発音遅延と音源アルゴリズムに関する検討, 情報処理学会研究報告 Vol.99,No.68 (99-MUS-31), 情報処理学会, 1999 http://nagasm.org/ASL/paper/ss1999.pdf
• MIDI音源の発音遅延と音楽心理学実験への影響, 日本音響学会音楽音響研究会資料 Vol.18,No.5, 日本音響学会, 1999 http://nagasm.org/ASL/paper/onchi99.pdf
• 生体センサによるパフォーマンスとシステムの遅延/レスポンスについて, 平成14年度前期全国大会講演論文集4, 情報処理学会, 2002 http://nagasm.org/ASL/ipsj2002/IPSJ0203.pdf
• Measurement of Latency in Interactive Multimedia Art, Proceedings of International Conference on New Interfaces for Musical Expression, NIME, 2004 http://nagasm.org/ASL/paper/NIME04.pdf

「ネットワーク遅延」を考慮した音楽セッションシステムの関連資料 --- 研究発表論文、登録特許(日本/米国)、資料動画

• ネットワーク上で相互作用するアルゴリズム作曲系を用いた音楽教育システム,　平成9年度前期全国大会講演論文集II,　情報処理学会,　1997　http://nagasm.org/ASL/ipsj1997/index.html
• "Improvisession":ネットワークを利用した即興セッション演奏支援システム,　情報処理学会研究報告 Vol.97,No.67 (97-MUS-21),　情報処理学会,　1997　http://nagasm.org/ASL/paper/sigmus3.txt
• ネットワーク上の分散マルチメディア環境とセンサを活用した即興セッションシステム,　平成10年度前期全国大会講演論文集2,　情報処理学会,　1998　http://nagasm.org/ASL/ipsj1998/index.html
• "IMPROVISESSION-II" : A Perfprming/Composing System for Improvisational Sessions with Networks,　Proceedings of International Workshop on Entertainment Computing, ICEC, 2002 http://nagasm.org/ASL/iwec2002/index.html
• GDS Music--- ネットワーク遅延を伴う音楽セッション・モデル, 情報処理学会研究報告 Vol.2002,No.41 (2001-MUS-46), 情報処理学会, 2002 http://nagasm.org/ASL/GDSM/index.html
• GDS(global delayed session) Musicの拡張モデルについて, 情報科学技術フォーラム2002講演論文集, 情報処理学会・電子情報通信学会, 2002 http://nagasm.org/ASL/paper/FIT2002.pdf
• GDS (Global Delayed Session) Music - new improvisational music with network latency, Proceedings of 2003 International Computer Music Conference, ICMA, 2003 http://nagasm.org/ASL/paper/icmc2003-2.pdf
• セッション装置およびその制御方法を実現するためのプログラム,　登録番号3846344 　http://nagasm.org/ASL/paper/Japan_patent3846344.pdf
• Session apparatus, control method therefor, and program for implementing the control method http://www.patents.com/us-6953887.html
• 長野オリンピック開会式「世界同時演奏」第九(小澤征爾のライヴ指揮映像が世界各地に伝送され、これに合わせた各地のライヴ演奏が長野に到着する最大遅延地点との時間差を各地それぞれ伝送遅延させて合成することでミックス演奏の同時性を実現) https://www.youtube.com/watch?v=Hcllvg1BkRU

上記以外の過去の「レイテンシ/ジッタ」関連研究

• Real-Time Control System for "Pseudo" Granulation, Proceedings of 1992 International Computer Music Conference, ICMA, 1992 http://nagasm.org/ASL/icmc1992/paper.html
  サウンドをGrainと呼ぶ小単位に粒状化させ、意図的なジッタとして時間的にGrainをランダム配置するGranular Synthesisという音響生成手法において、リアルタイム・パラメータ制御にニューラルネットワークを活用した研究
• 音楽的ビートが映像的ビートの知覚に及ぼす引き込み効果, 芸術科学会論文誌 Vol.3 No.1, 芸術科学会, 2003 http://nagasm.org/ASL/beat/index2.html, Drawing-in effect on perception/cognition of musical beats and visual beats, Proceedings of International Symposium on Musical Acoustics 2004, ICA, 2004 http://nagasm.org/ASL/paper/ISMA2004.pdf
  等間隔な映像的ビートに合わせた被験者のタッピングにおいて、映像的ビートとほぼ同期しながら微妙にビートのタイミングをずらす事で無意識的にビートの引き込み現象が起きる事を被験者実験によって実証した研究。実験システムの解説の中で心理学実験システムに関連したレイテンシとジッタの影響について定量的に計測評価した議論を行った
• サウンドの空間的予告による映像酔いの抑止について,　情報処理学会研究報告 Vol.2007,No.127 (2007-MUS-73),　情報処理学会,　2007 http://nagasm.org/ASL/paper/sigmus0712.pdf
  映像と音響の同時視聴におけるレイテンシ/ジッタによる時間的なずれが「映像酔い」の原因の一つであるという立場で、サウンドが映像に先行して予告的に移動することで映像酔いの抑止に繋がるか検討した研究
• グロッケン音色の利用に関する考察, 日本音楽知覚認知学会2013年春季研究発表会資料, 日本音楽知覚認知学会）, 2013 http://nagasm.org/ASL/paper/onchi201305.pdf http://nagasm.org/ASL/Glocken/index.html 非斉次倍音の強い音色に関する実験心理学的検討, 情報処理学会研究報告 (2013-MUS-101), 情報処理学会, 2013 http://nagasm.org/ASL/paper/sigmus201312.pdf
  楽器音として知覚される特徴がジッタ的に分散する(非斉次倍音の強い)移調楽器のGlockenspielの音色に特有の作曲の事例と、問題あるアレンジによって違和感のある事例から作曲における活用法について考察するとともに、楽器音の分析と違和感の印象についての被験者実験によって検証した研究
• 脳波センサ”MUSE”は新楽器として使えるか, 情報処理学会研究報告 (2015-MUS-110), 情報処理学会, 2016 http://nagasm.org/ASL/paper/SIGMUS201603.pdf
  メンタルトレーニング用の脳波センシングバンド"MUSE"を音楽パフォーマンスに活用するための調査において、MUSEから3次元方向ベクトルセンサおよび4チャンネル脳波センサをリアルタイムに取得するシステムを開発するとともに、その生体センシング情報のレイテンシとジッタについて検討した研究
• 「触覚バイオフィードバック」汎用プラットフォームの提案 -メディアアートのウェルネスデザイン応用を目指して-, 電子情報通信学会ヒューマン情報処理研究会資料（技術研究報告） HIP2018-39, 電子情報通信学会, 2018 http://nagasm.org/ASL/paper/HIP201808.pdf
  新しい触覚/触感センサである「PAWセンサ」を活用した生体情報センシング/インタラクティブシステムのオープンソース・ハードウェアに関する研究で、生体情報センシングと知覚認知プロセスにおけるレイテンシを検討した研究
• Realtime Musical Composition System for Automatic Driving Vehicles, Proceedings of 2018 International Conference on Entertainment Computing, IFIP TC14 ICEC, 2018 http://nagasm.org/ASL/paper/ICEC2018_nagasm.pdf http://nagasm.org/ASL/paper/SIGMUS201802.pdf
  自動運転車が周囲のセンシング情報やGPS情報を活用してリアルタイムに状況に対応したBGMを自動生成するシステムについて、各種センサからの情報のレイテンシとジッタを考慮した音楽生成アルゴリズムを提案した研究

今回の新たなレイテンシ/ジッタ計測実験に関する学会発表など

• 「PC環境での心理学実験におけるレイテンシとジッタの再検証」 日本音楽知覚認知学会2019年度春季研究発表会 (大阪樟蔭女子大学)
  心理学実験を行なうPCベースでのマルチメディア・システムの遅延(レイテンシ)とばらつき(ジッタ)について改めて計測実験を行い、研究の基盤に関わるポイントについて再検討したので報告する
  → http://nagasm.org/ASL/Latency_Jitter/
• 「音楽心理学実験ツールとしてのPC環境性能の再検討」 情報処理学会音楽情報科学研究会 音学シンポジウム (京都大学)
  20年前に多くの機器/システムの遅延(レイテンシ)とばらつき(ジッタ)について計測実験を行い、音楽心理学実験の領域で便利/高性能な「道具」として普及したテクノロジーを正しく理解せずに使用することは、研究の基盤そのものを無意味にしてしまうと警鐘を鳴らした。そこからPCの性能が約100倍ほど向上し、多種の周辺環境が整備されてきたが、情報技術/情報科学の本質としてのレイテンシ/ジッタは依然として存在している。そこでネットワーク環境や物理コンビューティングの進展を受けて、改めて当時と同様の問題点に関する計測実験を行ってみたので報告する。
  → http://nagasm.org/ASL/Latency_Jitter/test.html