\documentstyle[a4j,ascmac,11pt]{article} \pagestyle{empty} \setlength{\oddsidemargin}{20mm} \setlength{\evensidemargin}{20mm} \setlength{\topmargin}{5mm} \setlength{\headheight}{0pt} \setlength{\headsep}{0pt} \setlength{\topskip}{0pt} \setlength{\footskip}{9mm} \setlength{\textheight}{240mm} \setlength{\textwidth}{160mm} \begin{document} \sf \begin{center} {\Huge {\bf Granular Synthesisの} \\[2mm]} {\Huge {\bf 音響パラメータの検討とその制御} \\[8mm]} {\huge {\bf The Study of Parameter Control for Granular Synthesis} \\[10mm]} コンピュータ音楽の分野で注目される音響合成手法Granular Synthesis \\ の概要を紹介し、コンパクトなシステムとしての実現手法について紹介 \\ する。次いで、Granular Synthesisの音響を特徴づける音響パラメータに \\ ついて検討するとともに、コンピュータ音楽の生成環境としてのリアル \\ タイム制御のための手法の実現について述べる。また、この応用による \\ 新しい音響合成手法として登場したGranular Samplingについて紹介し、 \\ 具体的な音楽作品への応用事例について述べる。最後に、まだ世界的に \\ 十分な検討のされていないこのサウンドの音響心理学的な評価実験につ \\ いて、その課題の検討を行うとともに研究への協力を呼びかける。　　 \\[13mm] \end{center} \section{はじめに} コンピュータ音楽の分野ではいろいろな楽音合成方式が提案され実現されて きている \cite{1} \cite{2} \cite{3}。 その一つの手法であるGranular Synthesis \cite{4} については、楽音信号 として「ピッチ」に相当する周期的な成分を持たないこと、音響を聴取した 心理パラメータと楽音合成パラメータの対応について未知であること、実際の 楽音合成システムとしての実時間処理量が膨大であることなどから、歴史の古い アイデアでありながらこれまで注目されることはあまり多くなかった。 この分野での従来研究としては、専用のDSPによるリアルタイムGranular Synthesis の実験 \cite{5}、複数のパラメータを制御するためのGranular Synthesis専用コント ロールGUI \cite{6}、PCM音源のルーピング機能を応用した疑似Granular Synthesis \cite{7}、ニューラルネットワークによるパラメータ補間制御 \cite{8}、 楽音合成の基本要素であるGrainにサンプリング音響断片を用いたGranular Sampling \cite{9}などがある。 これらに関しては本発表においても関連して紹介する。 このように、Granular Synthesisとは、もともと音楽の要素であるメロディ・ ハーモニー・リズムなどを生成しにくい楽音合成方式であるために、まだ十分に 検討されていない領域も多いが、Granular Samplingの特異な音響とともに、 最近になって再び注目されている。 \section{Granular Synthesisの実現} \subsection{Granular Synthesisの概要} Granular Synthesisとは、図1のように「Grain」と呼ばれる基本要素から 構成される。もともとのGranular SynthesisにおけるGrainとは、図1の上図の ような「なめらかなパルス状の粒」であり、単独では「音」として知覚 されることはない。 また、このGrainを周期的にバースト状に繰り返し発生させた場合には、 いわゆるエンジン音のようなピッチ感とともにある種のサウンドとして知覚 できるが、この「等間隔」というのもGranular Synthesisにおいては 避けられるのが一般的である。 一般にGranular Synthesisにおいては、図1の下図のように、このGrainを 非常に多数にわたって、空間的・時間的にランダムに配置する、という手法 によって、全体として一つの音響を生成する。おおよそのオーダとしては、 Grainの幅として数msecから数十msec、Grainの幅は得られる音響のレベルに 対してかなり小さく、Grainの平均的な密度としては1秒間に数千から 数万、というものが一般的である。 \newpage \subsection{疑似Granular Synthesis} このようなGrainをそれぞれ「非実時間的」に配置演算したデータを再生して Granular Synthesis音響を生成したのがいわゆる第一世代であり、 これに続いてコンピュータの処理能力の向上とともに、 リアルタイムにGranular Synthesisを行うというリバイバルが、約10年後に 第二世代として登場した。これらは主に、ワークステーションに付加した 専用の信号処理演算ボード等を用いるか、あるいは専用のDSPエンジンによる 強力な信号処理能力によってリアルタイムGranular Synthesisを実現したものである。 これに対して、筆者は図2のような考え方で、安価でシンプルな、PCM音源を 利用した疑似Granular Synthesisによるコンパクトなリアルタイム楽音合成の制御を 提案した \cite{10} \cite{11}。 最近のパソコンに内蔵された「PCM音源」とは、ステレオ16ビットで44.1KHz程度の 固定サンプリングデータを単純に「再生」するだけのものである。 これでは1秒間に数千から数万という個数のGrainを生成するGranular Synthesisを リアルタイムに実現するのは困難である。そこで、このシステムでは市販のパソコン 用MIDI音源を利用している \cite{7}。 これは内部に16音ポリフォニック・ステレオ音源となる専用DSPと制御CPUを持った 一種のシンセサイザであり、多種の楽器音データを内蔵した大容量マスクROMととも に、波形データ用のRAMを搭載しているものである。この波形RAM部分にGrain となる音響要素をダウンロードするとともに、一般にPCM音源で用いられる 「ルーピング」のパラメータを活用して、「Grainの再生領域」「無音データの再生 領域」をうまく設定することで、非周期的楽音要素のGrainが多量に生成され、 さらに頻繁にルーピングポイントを変更することで（固定していると固定ピッチが 知覚されてしまう）疑似Granular Synthesis音響を得る、と いうのがこの手法の中核である。 \newpage \subsection{パラメータのニューラルネットワーク制御} この疑似Granular Synthesisシステムにおいては、リアルタイムにパラメータを 制御する「動的補間手法」としてニューラルネットワークを利用した \cite{8}。 システムとしては標準的な3層構成とし、ジョイスティック形状のセンサから 与えられた2次元情報を入力データとして、「Grainの幅」「平均的なループ長」 という異なる二つのパラメータ出力のマッピングを与えた。 入力データとしてそれぞれ16段階の値をとる2次元のパラメータ空間の内部の16点 だけを教師データとして設定し、BP学習によって得られたニューラルネットワーク にリアルタイムに任意の256点の情報をセンサから与えた。 この実験の結果、パラメータ空間で離散的に与えられて学習された特性が、実際に 音響としてGranular Synthesisパラメータを「良好に補間」していることが確認 できた。ただしそれ以上の効果として特筆すべき成果もなく、ニューラルネット ワークの異種パラメータ補間という特質を単に追試したにとどまった。 これだけでは各種の学習結果をテーブルとして参照しても結果は同じであり、 リアルタイム制御を行った実際の作品においてはテーブル参照方式を採用した。 \subsection{PCM音源の並列処理によるGranular Synthesis} 16音ポリフォニックPCM音源によって、同時に16Grainを生成するとともに1秒間に 数百から数千というオーダのGrainを生成できるにもかかわらず、このシステムを 「疑似」Granular Synthesisと呼んだ理由は、ルーピングパラメータの設定に よって「ピッチ感」が生じてしまう問題点によるものであった。 これは、Grainの密度を上げるために16個の発音チャンネル全てに対して ループ長を短く設定すると、繰り返し周期が短くなって特定のピッチを知覚できて しまうものであり、音楽的にGrain密度の上昇が要求されても対応できない限度 があった。 そこで図3のように、PCM音源を並列動作させることで、よりGrain数の多い Granular Synthesisの実現を目指した \cite{12}。 \newpage \subsubsection{システムの概要} 本システムではまず基本構成として、16発音チャンネルを持つPCM音源DSPシステムを 10台用意して、同時発生Grain総数を160個に拡張した。 ここでポイントとなるのは、10台の電子楽器を単純に並べるような拡張ではなく、 統一された制御によって動作する一体化されたシステムとして構築するところであ る。幸い、使用したPCM音源はパソコン拡張スロットに挿入する形状をしているため に、拡張ラックに多数を並べるという方法で外見的には容易に実現できた。 各ボードは固定された共通のI/Oアドレスと割り込みアドレスを保有しておりバス上 で競合するために、ハードウェア的な改造により個別のアドレス割り当てを設 定するとともに、パソコン側とのインターフェースとして割り込みでなくポーリング 方式を採用した。これはボード上のCPUファームウェアとしてGranular Synthesis 処理を実現していることもあり、10台並列処理によるホスト側の負担はそれほど重く ないと判断したからである。それぞれのボードにはMIDIインターフェースも 搭載されているが、後述するようにこの部分は使用せず、MIDI経由の制御情報も統一 的にバス経由でホスト側から与えることとした。また、ステレオのオーディ オ出力については10チャンネルのステレオミキサーを共通規格ボード上に製作して 同じラックに格納した。 \subsubsection{ファームウェアのダウンロード} PCM音源ボード上の制御CPUのファームウェア・プログラムについては、本来ROM化 されていて機能変更は不可能なものであり、基本的にマルチティンバーMIDI音源 としてしか使用できないものである。しかしホスト側パソコンとのインターフェース 仕様が公開されるとともに、ボード上のワークRAM領域にファームウェアのサ ブルーチンをダウンロードしてここに制御を移行させる、いわば「パッチを当てる」 ための手段が公開されている \cite{7}。本システムではこれを利用して、ホスト側 パソコンからそれぞれのボードのワークRAM領域の一部にGranular Synthesis処理の ためのファームウェアをダウンロードする方式を採用した。一旦この専用ファ ームウェアに移行したボードはリセットによってのみ通常状態に復帰する。 ファームウェアとしてMIDI監視やマルチティンバー音源処理に関する部分を省略し、 16発音チャンネル全てが一つのGranular Synthesis音響を生成するために使 用されるようにした。必要なパラメータはバスから与えて変更されるが、たとえば MIDIのノートオン情報に相当する情報すら省略されている。すなわち、全パラ メータのセットとともに16チャンネルは楽音信号の生成を無限に続けており、出力 信号が現れるかどうかはGrainの振幅制御である「音量」パラメータに依存する。 \subsubsection{Grainデータのダウンロード} PCM音源でGranular Synthesisを実現するためには、周期的信号源としての波形 メモリを非周期的に読み出すための工夫が必要である。本システムでは、ボード上 に提供されている波形RAMのバスに改造を加え、アドレス空間の拡張とバスのプル ダウンを行っている。すなわち、簡略形でないフルデコード方式の波形アドレス 制御とともに波形メモリバスをプルダウン方式とすることで、ルーピングポイントに 非該当領域が指定された区間は「無音」信号を再生することで、非周期的要 素のGrain波形が生成されるようになっている \cite{7} \cite{12}。 このGrainデータについては、従来は波形ROMを変更して一周期の正弦波形状Grainに 対して、2倍・3倍成分を段階的に重み付けしたGrainを作成して切り換えてみた が、聴感上はあまり劇的な変化が得られなかった。そこで本システムでは、ホスト 側パソコンとのバスインターフェース経路より、波形RAMデータを直接にダウン ロードする方法を採用した。この場合、実際にはボード上のCPUと通信してワーク エリアに一旦転送したデータを内部波形RAMに転送するようなサービスルーチンを 呼び出す必要があり、Granular Synthesis処理に入ってしまうとGrain形状の再 ロードを行えない制限がある。また、もともと波形RAM容量が小さいために、古典的な Granular Synthesisの意味でのGrainについては任意形状のものが使用できるが、 Granular Samplingのような長時間のGrainについては不可能である、という制限が ある。 \section{Granular Synthesisのパラメータ} この並列分散処理Granular Synthesisシステムにおいては、図4のように、 パラメータとして \begin{itemize} \begin{itemize} \begin{itemize} \item Grainの形状 \item Grainの幅 \item Grainの時間的頻度 \item Grainの最大振幅 \item Grainの定位 \item Grainを配置させる乱数特性 \end{itemize} \end{itemize} \end{itemize} などを設定できるようにしている。ただし、それぞれファームウェアの制限により 一定の限度があり、完全なGranular Synthesisと言えるほどに十分な変化幅を設 定できないものもあった。 なお、実験的に各種パラメータを変化させた聴取実験および具体的な作品に応用した 実験 \cite{13} \cite{14} によると、上記パラメータのうちもっとも聴覚上の影響 の大きなものは「Grainの幅」「Grainの時間的頻度」の二つであり、PCM音源利用の 場合にはそれぞれ「ピッチ」「ループ長」という一般的なパラメータとして容易に 制御できた。Grainの形状についてはGranular Samplingほど劇的な形状特性のGrain については、まだ十分な調査・検討はできていない。 また、コンピュータ音楽システムとして、具体的にはMIDIデータとして Granular Synthesisのパラメータを転送している。 この情報トラフィック量が問題となるが、従来システムにおいて実際に Granular Synthesis音響を使用した局面ではかなり多量のMIDI情報 が流れている \cite{13} \cite{14} が、データ精度を適当に粗く量子化 することで、現実には問題なく「音素材」として利用できた。 \newpage \section{Granular Sampling} Granular Synthesisに関する最近数年間の最大のトピックといえば、古典的な 単純波形であったGrainを、リアルタイムにサンプリングされた音響断片に 適当なウインドウをかけたものとした、図5のようなGranular Samplingで ある。これだけの違いでどのような音響が生成されるかは直観的には想像 しにくいが、具体的な音楽作品のレベルにまで到達した実例が世界的に 数多く報告されている \cite{9}。 \vspace{135mm} 筆者はこのGranular Samplingについて、SGI社Indyワークステーション上で 開発して実装し、具体的な音楽作品のための音響として利用した。 まだ簡易型で同時生成Grain数が20--40個と比較的小規模であるが、 ある程度の効果については検証できている。 リアルタイム信号処理としてのGranular Samplingというのは、全てのパラメータ が時間的に変化していない場合には単なるイコライザ的な効果でしかないものの、 入力音響とともにリアルタイムにパラメータを変化させると、従来のエフェクタ では得られない独特の音響が容易に得られることから、現在では世界中の コンピュータ音楽家が作品において利用を始めている。 \section{おわりに} Granular SynthesisおよびGranular Synthesisについて紹介し、具体的な実現方法 とパラメータについて検討した。この手法は、実際の音楽作品に活用できるレベル を目標とした現実的なアプローチで追求することが重要であると考えている。 また、本研究に関連した今後の課題としては、 \begin{itemize} \begin{itemize} \begin{itemize} \item 各種パラメータに対する音響心理学的な検討 \item 本格的なリアルタイムGranular Samplingシステム \item 大域的音量変化エンベロープによるリズムの生成 \item 具体的応用としてのコンピュータ音楽作品への活用 \end{itemize} \end{itemize} \end{itemize} などがあり、引続きに検討を進めていきたい。 また、まだあまり報告の先例のない、Granular Synthesisに関する音楽心理学的な 研究に関しても、共同研究として興味のある方のコンタクトを期待している。 {\sf \begin{thebibliography}{99} \bibitem{1} Julius Orion Smith III : Viewpoints on the History of Digital Synthesis. Proceedings of International Computer Music Conference, pp.1-10, 1991. \bibitem{2} 長嶋洋一 : 音素材の生成（特集・音楽情報処理）. 情報処理学会誌『情報処理』, Vol.35, No.9, pp.808-814, 1993. \bibitem{3} 長嶋洋一 : 楽音合成技術. 調査報告書「音楽情報処理の技術的基盤」 (『平成4年度 文部省科学研究費 総合研究(B)音楽情報科学に関する総合的研究』 課題番号04352030) , 1993. \bibitem{4} Curtis Roads : Granular synthesis of sound. Computer Music Journal, Vol.2, No.2, pp.61-62, 1978. \bibitem{5} Barry Truax : Real-Time Granular Synthesis with the DMX-1000. Proceedings of International Computer Music Conference, pp.231-235, 1986. \bibitem{6} Orton,R., Hunt,A., and Kirk,R.: Graphical Control of Granular Synthesis using Cellular Automata and the Freehand Program. Proceedings of International Computer Music Conference, pp.416-418, 1991. \bibitem{7} Yoichi Nagashima : An Experiment of Computer Music : Psuedo Granular Synthesis. 情報処理学会平成4年度前期全国大会講演論文集I, pp.409-410, 1992 \bibitem{8} Yoichi Nagashima : Neural-Network Control for Real-Time Granular Synthesis. 1992年度人工知能学会全国大会論文集I, pp.381-384, 1992. \bibitem{9} Barry Truax : Time-Shifting and Transposition of Sampled Sound with a Real-Time Granulation Technique. Proceedings of International Computer Music Conference, pp.82-85, 1993. \bibitem{10} Yoichi Nagashima : An Experiment of Real-Time Control for "Psuedo Granular" Synthesis. Proceedings of International Symposium on Musical Acoustics, pp.55-58, 1992. \bibitem{11} Yoichi Nagashima : Real-time Control System for "Psuedo Granulation". Proceedings of International Computer Music Conference, pp.404-405, 1992. \bibitem{12} 長嶋洋一, 片寄晴弘,井口征士 : PCM音源の並列分散処理によるGranular Synthesis音源. 情報処理学会論文誌, Vol.36, No.8, pp.2075-2079, 1995. \bibitem{13} Yoichi Nagashima : Musical Concept and System Design of "Chaotic Grains". 情報処理学会研究報告, Vol.93, No.32, pp.9-16, 1993. \bibitem{14} 長嶋洋一 : マルチメディアComputer Music作品の実例報告. 情報処理学会研究報告, Vol.94, No.71, pp.39-44, 1994. \end{thebibliography} } \end{document}