\documentstyle[a4j,ascmac,11pt]{article}
\pagestyle{empty}
\setlength{\oddsidemargin}{18mm}
\setlength{\evensidemargin}{18mm}
\setlength{\topmargin}{5mm}
\setlength{\headheight}{0pt}
\setlength{\headsep}{0pt}
\setlength{\topskip}{0pt}
\setlength{\footskip}{8mm}
\setlength{\textheight}{248mm}
\setlength{\textwidth}{163mm}

\begin{document}
\sf
\begin{center}
{\Huge {\bf Virtual Musician における} \\[1mm]}
{\Huge {\bf 演奏モーションの情報処理} \\[6mm]}

\subsection*{1. はじめに}
　コンピュータ音楽(Computer Music)の分野では、人間の演奏者とシステムとが
リアルタイムに、さらにインタラクティブに情報交換することで音楽を進行させて
いくために、マンマシンインターフェースの面で様々な研究が続けられている。

従来の多くのシステムでは、ギターを弾きながら別にフットスイッチでトリガを
与えたり、フルートのキーの下にスイッチを取り付けたり、最初からディジタル
信号を発生するMIDIピアノ等の電子楽器を使うなど、伝統的な楽器の演奏にとって
不自然な操作を要求したり、情報検出(質・量)的な限界などの問題点があった。
しかし、多くのコンピュータ音楽作品においては、人間の演奏する自然楽器
(コンピュータで実現できない微妙なニュアンスと表現力を持つ)と電子音響
システムの両者を、単なる「BGMと独奏」以上の緊密な関係で積極的に採用する
ことが求められている。

本研究では、Virtual Performer プロジェクトの Virtual Musician \cite{6H-3}
\cite{6H-4} の具体的な実現例として、センサフュージョンによる尺八を使った
音楽作品のための演奏システムを開発した。
この作品(``竹管の宇宙'')は、``IAKTA/LIST International Workshop on
Knowledge Technology in the Arts''のデモンストレーションコンサート(1993年
9月16日・大阪)において初演された。
ここでは、タッチセンサを組み込んだ特別製の尺八とともに、演奏者はジャイロ
センサ・超音波センサ・赤外線画像センサ・音響センサなどに対して、音楽上の
各種の演奏モーションを発信している。

本稿では、このセンサフュージョン系からのモーション情報を具体的な音楽情報
へと処理する機構について報告する。

\subsection*{2. 尺八の演奏モーションの検出と情報処理}
　日本の伝統的な楽器である尺八は、その独特の音響と個性から、海外でも
多くの作曲家によって作品に取り上げられてきた。
しかし、12等分平均律のMIDIに代表される西洋音楽理論の枠組みで
表現できない、独特の演奏情報(モーション)については、まだほとんど考慮
されていないのが現状である。

その理由は、尺八にはマイクで取り込める音響上の情報や指づかいの情報だけでなく、
身振りや奏法上の非常に多くの音楽情報があるからである。
この情報(モーション)をマンマシンインターフェースに活用するためには、
技術的な課題とともに、尺八そのもの(音響特性・演奏技法・音楽的語法など)を
十分に理解することが必要である。

本研究では、以下のように演奏モーションを検討し、具体的に検出するセンサと
処理系を割り当てて音楽に反映させている。(それぞれの小見出しは
組曲の中のそれぞれの曲名)

\subsubsection*{2-1. 所作}
　尺八は単なる楽器というだけでなく、歴史に支えられた伝統的な文化と作法があり、
実際に音響として吹奏する以前に、姿勢や振舞い(礼拝・吹禅の所作)によって
音楽を「演奏」している。
この演奏モーションは、ステージ上の演奏者の移動に対する赤外線CCDカメラによる
リアルタイムパターン認識と、8ポイント(立方体の頂点に配置)の超音波センサ
による位置検出によってMIDI情報化される。
センサの情報は時間的変化の解釈などの前処理を受けて、特別なプロトコルによる
MIDI情報として送られ、全てマージされる。
このMIDI情報は、MIDI処理環境``MAX''内に作成したパッチ(プログラム)によって
リアルタイムに解釈され(後述)、「作曲」として所定のMIDI演奏情報に変換されて、
ディジタル音源群・エフェクタ群に転送される。

\subsubsection*{2-2. 無孔調}
　尺八の演奏は「穴の無い尺八」でも、かなりの技法とニュアンスを表現する。
ここでは、音楽進行上のキーとなる特定の音程をリアルタイムのピッチ検出に
よって音響センシングするとともに、演奏者の頭に取り付けたジャイロセンサに
よって、{\bf 縦ユリ}・{\bf 横ユリ}・{\bf ナヤシ}・{\bf フリ}などの
演奏技法を検出する。
ジャイロセンサの情報は超音波センサとともにワイヤレスでパソコンの前処理系
に転送される。これ以降の処理は上述と同様である。

\subsubsection*{2-3. 巣篭・竹鼓・虚鶴}
　尺八古典本曲「鶴之巣篭」に多用される代表的な尺八の演奏技法として、
{\bf メリ}・{\bf カリ}・{\bf ユスリ}・{\bf スリアゲ}・{\bf 打チ}・{\bf 押シ}
・{\bf コロコロ}・{\bf カラカラ}・{\bf タバ音}・{\bf アタリ}・{\bf ハズミ音}
・{\bf ムラ息}・{\bf コミ吹}などについて、具体的に演奏を収録したデータに
対する音響分析結果と演奏方法から特徴を検討し、複数のセンサによる複合的な
情報としてパターン認識を実現した。

たとえば「音の周期的振動」による演奏技法のうち、{\bf コロコロ}と
{\bf カラカラ}は音響センサから「トレモロ」と認識され、さらに運指センサ
によって特定パターンにヒットすることで区別される。
これと似たような音である{\bf コミ吹}と{\bf ユリ}は音響センサから
「ビブラート」と認識され、さらにジャイロセンサによる演奏者の頭部の
角加速度方向によって区別され、それぞれ別々の音楽トリガとして作品に
反映されている。

\subsection*{3. ``MAX''によるパターン検出}
　各種センサ系からマージされてきた特別のMIDI情報は、Mac上のMIDI処理環境
``MAX''によるパターンマッチング系に供給される。
オブジェクト指向環境である``MAX''には、複数のMIDI情報について任意の
論理構成で条件判定を行う基本オブジェクトが豊富に提供されており、
並列動作する複数のマッチング系を効率よく作成できる。
演奏者による尺八からの情報に対しては、かなりの部分を手作業で補正する
必要があり、操作性に優れた``MAX''のユーザーインターフェースは、
音楽の創造的な思考を妨げないツールとして活用された。

また、``MAX''には主に生成系としての時間要素オブジェクトもあるために、
パターンマッチング結果として特定のMIDI音列(フレーズ)を発生(演奏)
させたり、MIDIエフェクタやMIDIミキサのリアルタイム制御情報を効率よく
記述できることも重要である。
なお、特に音響センサ系では、従来からのリアルタイムピッチ検出モジュール
を拡張して、音響情報の時間的変化の認識を``MAX''に対する情報の前処理
として行った。

\subsection*{4. むすび}
　センサフュージョンによる尺八音楽作品の実現例について報告した。
この研究はまだ始められたばかりであり、センサ・処理系・音楽解釈など、
今後も研究の余地が数多く残っている。
芸術的作品として実際に具体化するなかで、さらにコンピュータ音楽における
「演奏」の本質を研究していきたい。

\begin{thebibliography}{99}
\bibitem{6H-3} 片寄晴弘 他 :
Virtual Performer の概要.
情報処理学会第46回全国大会講演論文集第5巻, pp.141--142, 1993.
\bibitem{6H-4} 汪増福 他 :
Virtual Performer : Virtual Musicial の音響・モーションセンサ.
情報処理学会第46回全国大会講演論文集第5巻, pp.143--144, 1993.
\end{thebibliography}

\end{document}