図1 心拍センサ
Abstract
This paper reports some activities in Media Art fields in 2000-2002, with the keywords "Bio-Communication". I report (1) Some results of my research and creation with bio-sensing technology, (2) "Media Art Festival 2002 in SUAC" held in August, (3) Project "Moya" in the Meditation hall in SUAC, (4) Special project with IAMAS, and (5) Composition of "Bio Music" requested as the CM of Sony. Now SUAC is well known as the pioneer of this field with these activities.
ここでは、本学紀要第1号/第2号での報告にも登場した事例を中心として、本稿のテーマである「生体センサ」に関連した研究・創作の詳細について解説する。筆者の基本的スタンスとして、これらの研究・実験・開発は広い意味で筆者のComputer Musicの「作曲の一部」であるために、医療機器などの高価な生体計測専用装置等を使う、ということを極力、避けている。そこで、センシング・テクノロジー、コンピュータ・エレクトロニクス技術を駆使して、オリジナルのセンサを模索するところから挑戦している。基本的には、これまでに国内外の学会において研究発表、国内外でのコンサートで公演発表したものを再整理した内容であり、個々についてはWebで公開している詳細情報も参照されたい。[1]
筆者は、メディア・アーティストの前林明次氏とNTT研究所の依頼を受け、ICCビエンナーレ1997作品 "Audible Distance" のために、統合センシングシステムを開発した。これは、5メートル四方の暗い会場内をHMDをかけて自由に移動する3人のプレイヤー(一般来場者)のそれぞれの心拍情報と、3人のプレイヤーそれぞれの位置情報、さらにそれぞれの視線ベクトル(どの方向を向いているか)を、映像と音響の同期のためにリアルタイムで検出するというシステムである。位置情報と視線ベクトルについては、プレイヤーの被った帽子に前後2点の赤外線LEDを付けてワイヤレスで時分割点灯制御して、上空5メートルのCCDカメラからの画像認識によって実現した。心拍センサについては、小型のケース内に006P電池、センシング信号処理のためのマイコン回路、そしてワイヤレス送信回路までを組み込んだ。
具体的に心拍をセンシングする方法にはいくつかあるが、この作品のように美術館への来場者が体験するタイプのインスタレーションでは、心電図装置のように直接肌にジェルを塗って取り付ける、というわけにはいかない。 そこで、 図1
図1 心拍センサ
のような、耳たぶクリップ状のセンサを用いた。これは赤外LEDとフォトトランジスタが向き合うような構造となっていて、耳たぶの毛細血管を心拍と同期して流れる血液の影によって、心拍と同期した光量の変化をセンシングできる。 同じ原理で、指先にサック状のセンサを差し込むというものもあり、後年にはニンテンドウ64用のまったく同じ構造の心拍センサクリップも発売された。筆者のコラボレータでVPP(後述)メンバーの照岡正樹氏が提供したセンサ回路は、図2
図2 心拍センシング回路図
のようなものであり、この出力を単純にアナログ的に積分(平滑)してA/D変換し、ピーク検出結果をカードマイコンAKI-80によってワイヤレスモジュールからホストシステムに周波数多重化して送信した。
この前林明次氏の作品"Audible Distance"(図3)は、参加したICCビエンナーレ1997において準グランプリを受賞し、作品はその後、2年間にわたってICC(東京・初台、NTTの美術館)にて常設展示され、無故障・連続展示の実績を上げた。[30]
図3 作品"Audible Distance"
図4 Atau Tanaka 氏
による、"BioMuse"を利用したヒューマンインターフェースの研究と音楽パフォーマンス活動(sensorband [47])が国際的によく知られている。ここでは、両腕の異なる2個所ずつに筋電センサを取り付け、伝統的な楽器と変わらない修練と習熟により、身体表現としての演奏情報をリアルタイム音響合成パラメータに適用した演奏などを行っている。
この"BioMuse"は市販の製品(開発段階でスタンフォード大学のAtau Tanaka氏自身が協力した)であるが、センサの銀-塩化銀電極を導電ジェルによって取り付ける手間、その電極の寿命と交換の手間、システムとしての大きさと重さ、そして何より高価である(約3万ドル)ことなど、活用しているAtau Tanaka氏自身がいくつもの課題を指摘するものだった。もともと音楽用途というよりも、身体障害者のための意志伝達手段や、脳波・眼球筋肉運動などの検出にも利用できる汎用生体センサであるため、医用機器としての信頼性やコスト要求からして当然であるとも言える。そこで筆者はVPP同人の照岡正樹氏と「小型軽量(可搬)」「バッテリ駆動」「リアルタイムに筋電情報をMIDI化」する「シンプルで安価」な筋電センサを目標として掲げ、敢えて"MiniBioMuse"と名付けて実験・開発を進めた。
ここで、筋電センサに限らない生体センサの開発における課題を簡単に整理しておく。通常の物理量センサに比べて、生体センサには「個人差」「高感度」「ノイズ抑止」「使用感」などの課題が加わる。「個人差」とは、同じ生理指標でも個人ごとのばらつきが大きく、筋電で言えば、非力な(体育会系でない)人の中にはまったく筋電パルスが検出できない人もいる、という状況のことである。「高感度」については当然のことで、人間は電気鰻ではないので、電気信号として得られる情報は全て微弱なものなので、高倍率増幅は必至である。「ノイズ抑止」は技術的にはもっとも重要なもので、生体から発生する他の信号、周囲環境から混入するノイズ信号とともに、ハム(商用交流電源の高調波ノイズ成分)の除去が切実な課題となる。「使用感」とは、ベッドに固定されているわけではなく音楽演奏という身体表現に利用することを目的としているので、自然な動作を制限するような形態でセンサを取り付けることができない、という実装上の課題である。 これらは常に、どのようなセンサの開発においても新鮮に直面している。
図5 "MiniBioMuse-I" の外観
図5は、筆者が初めて開発した初代の筋電センサ"MiniBioMuse-I"である。センシング部分のアナログフロントエンド回路としては図6のようなものであり、この出力を単純にアナログ的に積分するOPアンプによる差動増幅回路を採用し、両腕のセンサ電極(パソコンのメモリ増設時に静電気破壊を避けるために利用するリストバンドを改造)だけでなく足首にハムをキャンセルするための第3の電極を取り付けた。OPアンプのために006P電池を2つ使用するなど課題も多かったが、VHSビデオテープ程のサイズながら筋電ノイズそのものをアナログ出力しつつ同時にA/D変換してMIDI出力する、という機能には、Atau Tanaka氏からも良好な評価を得た。[48][49]
図6 "MiniBioMuse-I" のセンシング回路図
このセンサ"MiniBioMuse-I"を実際のComputer Music公演に活用した事例としては、
図7 "MiniBioMuse-II" の外観
図7は、"MiniBioMuse-I"から新たな改良により開発した"MiniBioMuse-II"である。電子回路的には、ノイズの点で限界のあるOPアンプによるフロントエンド回路から、図8のような、高感度デュアルFETを用いたディスクリート・トランジスタ回路へと発展した。これは、特性の揃った2つのFETを金属ケースで熱結合した特殊なFETである2SK146により、単一電源で良好な高倍率差動増幅回路を実現したものであり、小型ケースに2チャンネル*2電極とコモン電極の全ての回路を格納した。アナログ電圧出力はケーブルで延長したサブボックスでMIDI化するように分離した結果、照明などノイズ環境の劣悪なステージでのライブパフォーマンスにも使用できるようになった。[50][51]
図8 "MiniBioMuse-II" のセンシング回路図
このセンサ"MiniBioMuse-II"を実際のComputer Music公演に活用した事例としては、
図9 作品 "Bio-Cosmic Storm" の公演風景
重要なきっかけとなったのは、BioMuseのように腕に単一ないし2つの電極を用いるのでなく、腕をぐるりと巻くように多数の電極を用いて同時計測し、複数の筋肉の作用をパターン認識の一手法である独立成分分析により検出する、という藤原氏の研究[40]と交流・情報交換する機会を得たことが大きい。Atau Tanaka氏は電極の位置について独自のトレーニングにより(非対称な)適正設置場所を獲得したが、この研究によれば、ベルト状の複数電極により情報検出とパターン認識の汎用性が得られる可能性があった。
また、「ソフトウェアDSPによるノッチフィルタ」というアイデアも浮上した。ITの進展(マイクロコントローラの性能向上)により、ステージなど劣悪なノイズ環境で筋電センサを使用する上でもっとも問題となるハムノイズの除去手法として、古くから知られたノッチフィルタをA/Dセンシングのマイクロプロセッサのソフトウェアで実現する、という可能性を実験する段階が到来した。具体的には、文献[41]にあったDSPアルゴリズムを、AKI-H8のCPUプログラムとして実装する実験を行った。"MiniBioMuse-III"の開発の過程でこのアルゴリズムをAKI-H8に実装したが、50Hz/60Hzのハム成分をカットする筈であったフィルタ出力は、実際には目に見える(耳に聞こえる)違いを見出せないという結果であった。その理由は、(1) AKI-H8のアナログ入力A/Dを8ビット精度モードとして動作させた、(2) AKI-H8の内蔵RAMの容量からくる制限により、ディジタルフィルタのビット幅として16ビット精度の確保が困難なため8ビット幅とした、という点にある。これにより、ビットシフト演算によって計算途中のデータが丸められて実質的には消滅してしまった。そこで折衷案として、8ビット幅の処理でも有効となるDSPアルゴリズムの一部をAKI-H8のソフトウェアとして実装して、何もない状態よりは「有意に有効な」ソフトウェア・フィルタリング(一種の積分型フィルタ)を実現することができた。
図10 "MiniBioMuse-III" のセンシング回路図
温度結合されたデュアルFET : 2SK146による図8の回路でもう限界と思われたフロントエンド回路についても、多チャンネル高密度実装を視野に入れた簡易型を狙いながらさらに性能を向上させる努力を進めた。具体的には、図10のように単一電源回路から3Vリチウム電池による2電源回路に変更して、オフセット特性とダイナミックレンジを向上させた。さらにフロントエンド回路にOPアンプによるローパスフィルタまで実装することとした。これにより、増幅回路としての性能を向上させつつ同時にA/D・CPU回路に至る信号ラインのローノイズ化を実現することができた。
前作"MiniBioMuse-II"までは、センシング電極として、静電気帯電防止用バンドを流用した簡易電極であったが、"MiniBioMuse-III"においては、いよいよこの部分を大幅に改良したオリジナル電極を制作することにした。 図11はその外観と電極バンド部分である。電極バンドのベースとなっているのは介護用の伸縮ベルト(マジックテープで固定)で、ここに洋裁用の金属ボタンをカシメて、その上に純銀円板をハンダ付けした。前作まではこのボタンを単に嵌め合わせていたが、接触抵抗と接触不良があるために電線を直接にハンダ付けすることにした。2電極のペアが合計9列並んでいて、中央の1列がノイズ抑止のための差動回路の基準電位(アース)となった。
図11 "MiniBioMuse-III" の外観
図12は、"MiniBioMuse-III"のMIDI出力情報をMax[55]でリアルタイム表示した様子の一例である。画面は左上から下に「左手1ch」-「4ch」、いちばん右側が「右手5ch」-「8ch」である。この図では、各グラフ(左にスクロールしている)は両腕を交互に緊張・弛緩させた例であり、時間的同期性とそれぞれの腕の筋肉の動作の違いが見て取れる。ここからMaxのアルゴリズムとして、独立成分分析やニューラルネットワークのような手法でパターン認識の情報処理を実現することも容易であろう。
図12 "MiniBioMuse-III" のMIDI出力情報例
このセンサ"MiniBioMuse-III"を実際のComputer Music公演に活用した事例としては、同一作品で
図13 ソプラノ用「呼吸センサ」の外観
笙のブレスセンサにおいては、デコレーションとなっている竹に半導体気圧センサを取り付けることで、本来の笙の演奏に支障なく双方向の圧力センシングを実現できたが、音楽演奏をしている声楽家に、肺活量の計測器のような圧力センサをくわえてもらうわけにもいかない。あくまで声楽演奏が正常に行えて、かつその呼吸のリアルタイムデータを計測する方法といえば、過去には「マイクで拾った声楽家の演奏音響の音圧を呼吸の強さと見なす」というものであった。しかし、より密接に身体動作としての呼吸を検出したい、という要請を受けて、図13にあるような、「伸び縮みする導電ゴム」によるセンサを採用した。これはもともと、医療機器で心電計などと併用されるもので、自動医療計測している患者が正常に呼吸している(生きている)ことを自動監視するものであった。
この呼吸センサ２本を声楽家の「胸」と「腹」に装着して軽いテンションをかけておき、音楽演奏にともなうその伸縮をブリッジ回路によって単純に検出した、というのがこのセンサの原理であり、実験してみると、図14のように予想外に良好な変化量を検出することができた。やや高価な医療機器用のゴムセンサをそのまま利用したのが不本意であるが、このプロジェクトにおいては期間的要請からも ベストの選択であった。この経験は、後に新作 "Berlin Power" のための作曲にも生かされることになった。
図14 「呼吸センサ」のMIDI出力情報例
まず、ごく簡単にMAF2002の概要だけを紹介しておく。前年同様にプロジェクトマネジメントは2002年初頭の学長特別研究費としての申請からスタートした。企画が採択された3月末から実際の活動がスタートし、コンサートに参加する作曲家への打診、作品の展示発表を公募するWebページの公開と案内の電子メイルとともに、中核となるコアスタッフ、および各種スタッフ等をSUAC学内から公募した。最終的に5名となったコアスタッフは5月から8月の本番までほぼ毎週集まり、General Producer (筆者)の目・耳・手・足となって、全体を統括する分身の術を助けた。2002年前期の講義がスタートすると、筆者の開講する「現代芸術論」「サウンドデザイン」「音楽情報科学」を受講する学生にも講義の一環として広くスタッフ参加を呼び掛け、最終的にはSUAC学生スタッフは、インスタレーション作品の制作発表参加を加えると40名を越える規模となった。音響スタッフの特訓も進めて、外注業者に頼むことなく学内だけで本番を乗り切った。最終的なイベントとしての概要は以下である。
日程
Joshua Kit Clayton 公開レクチャー 8/25(日)
コンピュータ音楽・ライブコンサート 8/23(金)・8/25(日)
インスタレーション・ギャラリー 8/17(土) - 8/26(月)
ムービー/ミュージック・シアター 8/18(日)・8/22(木) ・8/25(日)
特別企画「最新のヨーロッパ映像作品上映会」 8/23(金) ・8/24(土)
SUAC CG/Photo ギャラリー 8/17(土) - 8/26(月)
「瞑想空間」特別企画 8/22(木) - 8/25(日)
(併催) DSPサマースクール 2002 8/21(水) - 24(土)
主催 静岡文化芸術大学
同 文化芸術研究センター
後援 静岡県・浜松市・静岡県教育委員会・浜松市教育委員会
日本コンピュータ音楽協会(JACOM)
情報処理学会 音楽情報科学研究会
芸術科学会
なお、このMAF2002の全体の詳細については、一般に公開したWebページ[74] 、情報処理学会での報告および報告レポートのWebページ[75][2]等も参照されたい。
当初のVPPは、筆者と、生体信号処理の専門家である照岡正樹氏(京都市役所)と、IT/物理学の専門家である中村文隆氏(東京大学情報基盤センター、当時は神戸山手女子短期大学)との3人でスタートした。現在はこれ以外に数人のメンバー(技術者、音楽家、研究者などの専門家)が加わって、closedなMLでの情報交換・議論とともに、時には対外的な発表活動でのコラボレーションを進めている。MAF2002の前年の「新世紀メディアアートフェスティバル」においても、「瞑想空間特別展示」企画での筆者の作品(東野珠実氏の笙によるComputer Music)の笙ブレスセンサの開発にVPPは深く関係し、またVPPメンバーの照岡氏は個人としても「幽風箱(ゆうふうそう)」という、まさにVPPのテーマそのもののメディア・インスタレーション作品を作家として展示発表した。この作品は、物陰に置かれた「箱」を来場者が覗き込むと、その顔を赤外線CCDカメラで撮影して内部の液晶パネルから本人に投げ返す、という渋いコンセプトであった。
そして平成14年度学長特別研究のMAF2002においても、後述するように筆者はコンサートにおいて「呼吸コントロール」を駆使したComputer Music作品を公演するとともに、照岡氏は他のVPPメンバーと共同制作のインスタレーション作品を再び展示発表した。中村氏もコンサートにおいて新作を発表公演し、VPP創始メンバーはそれぞれ作家として参加した。
VPPでは、対象とするテーマを特に限定することなく、多くの興味ある情報にアンテナを立てるとともに、議論・考察の中から時には具体的な実験・制作プロジェクトを走らせ、また作品として発表・展示・公演などの活動を行っている。キーワードとしては、「生体」「生命」「生物」「生理情報」「アナログ」「気(功)」「超音波」「超低音」「揺らぎ」など多岐にわたり、またこれに限定されることもない。一例として、長期プロジェクトとして、決して「怪しげ」なものではなく真面目に、「ステージ上の演奏者の気迫をセンシングして、これをシステムから客席に放射して一体感を演出する手法」などについても、遅々として議論・検討を進めているのである。興味ある専門家の参加を歓迎している。
「生きている」とは，矛盾を抱えた止まらない計算である．「コミュニケーション」とは，そのような計算の相互作用である．日頃，自分の腕内部にうごめいている生命要素や，電車で隣りに座っている人のうごめきを感じることは少ない．おのれが完全に制御することのない，この生きている様相と相互作用を，身体の動きの源泉である心臓や筋肉の暴れん坊信号を素直に表現してみた．というように企画書に提示された作品であり、図15はMAF2002のプログラムに記載された作品解説のページである。
図15 「蠢(うご)すきゃん」の作品解説
システムの技術的詳細についてはここでは省略するが、SUACの大型プラズマデスプレイとともに、持込まれた4台の高性能コンピュータ、来場者の腕に取り付ける3台の液晶パネル(この裏側が来場者の生体情報を検出するセンサになっている)、という壮大なシステムは来場者に大きなインパクトを与えた。SUAC学生によるセッティング風景、作品展示風景の写真等については報告レポートのWebページ[75]を参照されたい。
この作品では、リコーダー演奏の息づかいによってサウンドだけでなくグラフィクスもライブコントロールしたい、というのが作曲の重要なコンセプトであり、ここでは平成14年度学部長特別研究費「冥想空間」プロジェクトのための映像素材を編集するための機材として導入した、Roland DV-7PR[77]をフルに活用した。このシステムは映像編集機としてのモードとともに、ライブで多数のムービーをMIDI制御する「プレゼンター」というモードがあり、この作品ではこのモードを駆使して、「複数のムービーのクロスフェード」「ムービーのスピード制御」「多数のムービーの切り替え」「ムービーの輝度変化」などに刻々と音楽演奏情報(リコーダーの演奏音響の強度)を割り当てて、生き生きとムービーを制御することができた。図16はその演奏風景の一部である。
身体、脳、知覚について探究が進められる中、音響現象そのものは人間にとって外界からの刺激の一つに過ぎない。しかし、これが音楽として認識されるとき、物理的な限界を越えて発生するなにものかが意識のなかに存在し、美もまたそこに起因している。一方、人間の知覚は刺激の受容にとどまらず潜在的なエネルギーの主体的な萌芽にこそ働くべき作用であり、その肉体的な基盤となるのが呼吸ではないか。私は、笙を通じて呼吸の作用を音楽という現象に照らすことで自身に探究の眼差しを向けている。音像表現に於ける音響の拡張も身体の生理に即してこそ充足を得ることができる。よい呼吸はよい音楽を生み、よい音楽がまたよい呼吸の状態を促す。これが、人々や様々な自然の現象となにがしかの接点を見つける手だてとなるろう。呼吸は連鎖する。そこには普遍の美を湛えた呼吸のプロポーションが存在する。その紛れもない現実の上に自身が存在し、さらにその延長上に表現や創造の可能性を見いだすことを本プロジェクトの目的とするものである。この視点は、「冥想空間」プロジェクトにおいて、人間の精神活動、「癒し」の検討、視覚と聴覚とそれ以外の感覚、などというテーマと重要な関係を持つものであり、東野氏の笙のサウンドとその雰囲気はまさに「冥想空間」とのコラボレーションに最適である。2001年前期に続き、2002年前期の筆者の芸術文化学科専門科目「現代芸術論」では東野氏を特別講師として招聘し、「冥想空間」において多くの学生がその音響と文化を堪能することができた。また、関連して筆者が東野氏の公演活動に協力した事例としては、多くの海外公演のためのシステム開発協力、前述のソプラノとの共演のための呼吸センサの開発、さらに2001年11月に「高崎芸術祭」の中で行われた東野氏の個展にスタッフとして参加し、「呼吸する光」というテーマにつながるコラボレーションを行った。
基本的なコンセプトとしては、「空間にいくつも吊るしたオブジェの白色LEDの息づく明かり」である。「瞑想空間」では、これまで巨大な周囲の壁面をスクリーンとして利用したことはあった ものの、「空間そのものの中空」が利用されたことは一度もなかった。これを使ってみたい、 というのも大きな動機であった。発光体オブジェ「螢」は、中心に高輝度白色LEDを持つ、ということ以外は何も決めない状態で、 ミーティングにおいて学生全員にその「造形」を宿題として提示した。いろいろに実験した結果、最終的には、梱包緩衝材(いわゆる「プチプチ」)を円筒形に 巻いて、さらにこれを和紙で巻いたものに決定した。 図17は、「瞑想空間」に吊るされた64個の「螢」の様子であるが、これを真っ暗の中で光らせた状態は、とても写真では表現できない、その場限りのものである。
図17 「靄夜」の上空の様子
展示発表においては、関連して映像作品や「光る造形」も制作したが、この詳細はWebでの記録[79]に譲る。発光体オブジェ「螢」を実現するために、テクニカルには新しい技術を2件、採用した。一つは 超高輝度白色LEDである。従来の「赤」「黄」「緑」「青」のLEDと違って、白色LEDの持つ 無色というキャラクタは重要であり、今回は4000mcdのものを使用した。また、64個の高輝度LEDを大電流で同時スイッチングすることは、電線が膨大・複雑になり、電磁環境の問題も 懸念された。一方で、MIDI受信のAKI-H8を「瞑想空間」の上空まで移動させれば、バトン越しに MIDI規格を超える30メートル程度のMIDI延長が必要となり、これも電磁環境の問題がある。そこで 光ファイバにより32ビットのディジタル信号を伝送するモジュールを2個使用して、MIDIからAKI-H8 まではフロアで行い、そこから上空に光ファイバで伝送することにした([80])。サウンドとしては、「東野作品 "I/O"のサウンド」および 「東野珠実の笙による即興演奏」という二つだけが要素として記録された。笙をマイクで 拾った音響は、音響処理ワークステーション "Kyma" でリアルタイム処理された。 図18は全体のシステム図、図19は東野珠実氏の演奏するそのパフォーマンス風景である。笙の音響とともに、演奏の呼気・吸気それぞれに生き物のように反応して多数の「螢」や足下の造形群の光が呼応し、独特の芸術空間を実現することに成功した。
図18 「靄夜」システム図
図19 「靄夜」の公演風景
図20 低周波治療器の(OMRON)
図21 システム"PiriPiri-3"
その後、さらにシステム改造の要請があり、図21のシステム"PiriPiri-3"を分解して全面的に改造して、システム"PiriPiri-4"が完成した。図22はその開発過程での風景である。このシステムは、2002年の6月から7月にかけて、三輪眞弘氏(IAMAS)の東京芸大での特別講義パフォーマンス、さらにメキシコ芸術祭での公演などにおいて成功をおさめた。
図22 システム"PiriPiri-4"の開発風景
作品「Flesh Protocol」
作曲 : 赤松正行、パフォーマンス : 赤松正行／角正之、公演 : 2002.2.23 ジーベックホール（神戸市）
重力の影響を排除して電気刺激による身体反応を鮮明にするためにピアノ線で吊るされたダンサーが、 リアルタイム生成音響と同期した生体刺激と青色LEDディスプレイを伴ったパフォーマンスを行った 作品。極限まで筋肉を鍛え上げたダンサーは一般人には耐えられないほどの電気刺激でもまだレベルが 不足する、という驚くべき事実に直面した。 (図23)
図23 作品"Flesh Protocol"の公演風景
作品「流星礼拝」
作曲 : 三輪眞弘、パフォーマンス : 三輪眞弘／丸尾隆一／松本祐一／松永ケイ子／川村武子（テクニカルサポート：古舘健）、公演 : 2002.3.24 京都芸術センター（京都市）
車座に座った4人のパフォーマーに刺激電極が取り付けられ、それぞれのパルスによって 手に持ったパーカッションが発音する。インターネット上を流れる情報の中に潜んだ暗号の ようなキーワードが解読された瞬間に、作曲者の主宰する新しい宗教の信者だけがその お告げを受けることができる。というコンセプトの作品。 (図24)
図24 作品"流星礼拝"の公演風景
作品「It was going better If I would be sadist truly.」
作曲 : 古舘健、パフォーマンス : 古舘健／松永ケイ子／川村武子、公演 : 2002.2.22 ソピアホール（大垣市）術センター（京都市）
レコードをスクラッチする音響情報からの電気刺激により作曲者本人が痙攣する作品。 (図25)
図25 作品"It wes going better..."の公演風景
市販の低周波治療器の場合には、電気刺激パルスの形状は単純な矩形波のみであるが、 本システムでは各種のパルス波形やパルス幅を可変としたことで、実際に体感される 刺激が異なり、刺激の相違(異なった情報)を容易に弁別知覚できることを確認できた。 また、予備的実験において、パルスでなく具体的な音楽音響信号を高電圧化して刺激電極に 与えてみると、また別種の興味ある反応を得ることができた。これは、聴覚障害者などが 生体フィードバックによって音楽を聴く、というような可能性、あるいは複数の電気刺激を 和音のように知覚してそれぞれの音源分離を行う、というような可能性をも示唆している。 今後、このような点についても実験・検討を進めてみたいと考えている。
ソニー Net MDウォークマン ラジオＣＭ６０秒 「人体の音楽」篇 子供：僕たちは、いったいどれだけの音楽を知っているというのだろう。 男： 心臓の動きを、音に置き換える。 ＭＥ１：心臓の音 筋肉の動きを、音に置き換える。 ２：筋肉の音 人体の電気信号を、 ３：人体の音などを 音の信号にしてしまう実験。 抽出して… これも、音楽。 ♪〜 次にこれらをＭＩＸして音楽的なものにしていく 男： インターネットには、 僕らが体験したことのない 音楽があふれている。 いま出会った音楽が、もうＭＤになった。 ソニー Net MDウォークマン。 ＳＬ：ＳＯＮＹ〜ＳＯＮＹ〜
放送用の特殊効果音ライブラリ等には、定番で「心臓の音」などが収録されているが、このようなサウンドをシーケンサで配置する、というのは筆者の「生体コミュニケーション」の視点からは、まったくの邪道である。そこで筆者は、まず本学マルチメディア室内の防音室に行き、高感度小型マイクをガムテープで左胸に貼付けて、自分の心臓の音を生録音することから始めた。この生サウンドをMax/MSPでサウンドファイルとして再生するとともに、そのリアルタイム音量変化をパラメータとして、音響合成もリアルタイムに行い、その音量・フィルタ周波数・FMパラメータなどに反映させた。その結果、現実の心臓の鼓動では連続する2回のパルスのうち一方がたまたま弱い時もあるが、それがそのまま自然に反映されることになった。
筋肉のサウンドについては、前述の筋電センサ"MiniBioMuse-III"の開発段階で実験的に記録していた、これまた筆者自身の両腕の筋肉動作に伴う筋電情報データをSMFファイルとしてライブ再生し、そのパラメータを元にリアルタイム楽音合成により、一種の「自然なランダム性を持った」サウンド列を生成した。ただし、12等分平均律にそのままマッピングしたのでは「無調」音楽となって親しみが持てないので、ある種のスケールから個々の音階を選択するような確率テーブルを参照することにして、心臓の生サウンドのビートだけで始まり、最後にはここに一種のメロディーが乗り聞きやすい音楽となっていくように構成した(放送CMではシナリオの都合でこの部分はカットされ、一種のノイズミュージックとなった)。図26は、この作曲をしている最中のMax/MSPパッチの画面である。心臓の鼓動データ、筋電パルス、これらに対応して生成されているサウンド波形などが確認できる。
図26 Sony CM 音楽を生成中のMax/MSPパッチ画面
[1] http://nagasm.org/ [2] http://nagasm.org/1106/ [3] http://nagasm.org/vpp/ [4] 長嶋洋一 : 「コンピュータサウンドの世界」、CQ出版、1999年 [5] 長嶋洋一 : 「作るサウンドエレクトロニクス」、ASL出版、1999年 [6] 長嶋洋一 : 楽音合成アルゴリズム ; コンピュータと音楽の世界, 共立出版, pp.55-68, (1998) [7] 長嶋洋一 : 身体情報と生理情報 ; コンピュータと音楽の世界, 共立出版, pp.342-356, (1998) [8] 長嶋洋一 : アルゴリズム作曲 ; コンピュータと音楽の世界, 共立出版, pp.402-418, (1998) [9] 長嶋洋一 : あるコンピュータ音楽との関わり方 ; コンピュータと音楽の世界, 共立出版, pp.443-448, (1998) [10] 長嶋洋一 : センサを利用したメディア・アートとインスタレーションの創作 ; 京都芸術短期大学紀要第20号, 京都芸術短期大学, pp.71-76, (1998) [11] Yoichi Nagashima : Real-Time Interactive Performance with Computer Graphics and Computer Music ; Proceedings of the 7th IFAC/IFIP/IFORS/IEA Symposium on Analysis, Design, and Evaluation of Man-Machina Systems, IFAC, pp.83-88, (1998) [12] Yoichi Nagashima : BioSensorFusion:New Interfaces for Interactive Multimedia Art ; Proceedings of 1998 International Computer Music Conference, ICMA, pp.83-88, (1998) [13] 長嶋洋一 : インタラクティブ・アートにおけるアルゴリズム作曲と即興について ; 神戸山手女子短期大学紀要第41号, 神戸山手女子短期大学, pp.93-109, (1999) [14] Yoichi Nagashima : "It's SHO time" --- An Interactive Environment for SHO(Sheng) Performance ; Proceedings of 1999 International Computer Music Conference, ICMA, pp.32-35, (1999) [15] 長嶋洋一 : クラシック音楽とコンピュータ音楽 ; 神戸山手女子短期大学紀要第42号, 神戸山手女子短期大学, pp.27-45, (2000) [16] Yoichi Nagashima : Composition of "Visional Legend" ; Proceedings of International Workshop on "Human Supervision and Control in Engineering and Music", IFAC, pp.47-65, (2001) [17] 長嶋洋一, 他 : "Improvisession" - ネットワークを利用した即興演奏支援システム ; 情報処理学会研究報告 Vol.97,No.67, 情報処理学会, pp.25-30, (1997) [18] 中村文隆, 長嶋洋一 : 多数決制を取り入れたリアルタイムネットワークセッション --"Improvisession"から"Democratyrant"へ-- ; 情報処理学会研究報告 Vol.98,No.74, 情報処理学会, pp.87-9 [19] Yoichi Nagashima : "IMPROVISESSION-II" : A Perfprming/Composing System for Improvisational Sessions with Networks ; Proceedings of International Workshop on Entertainment Computing, IFIP/IPSJ, pp.237-244, (2002) [20] 長嶋洋一 : インタラクティブ・メディアアートのためのヒューマンインターフェース技術造形 ; 静岡文化芸術大学紀要第1号, 静岡文化芸術大学, pp.107-121, (2001) [21] 長嶋洋一 : SUACにおけるメディアアート活動の報告(2000-2001) ; 静岡文化芸術大学紀要第2号, 静岡文化芸術大学, pp.137-150, (2001) [22] http://nagasm.org/ASL/SICE2/index.html [23] http://nagasm.org/ASL/original/ [24] http://nagasm.org/SSS/ [25] http://nagasm.org/ASL/berlin/ [26] http://nagasm.org/ASL/paris/ [27] http://www.akizuki.ne.jp/ashop/h8.htm [28] http://www.infusionsystems.com/ [29] http://www.steim.nl/sensor.html [30] http://www.ntticc.or.jp/Collection/Icc/AUDIBLE/index_j.html [31] Steve Ditlea、"The PC goes ready-to-wear"、IEEE SPECTRUM October 2000、pp.35-39 [32] 斎藤正男 : 「生体工学」、電子情報通信学会、1985、pp.33-57 [33] 星宮望 : 「生体情報計測」、森北出版、1997、pp.40-66 [34] 細田嵯一監修 : 「生体時系列データ解析の新展開」、北海道大学図書刊行会、1996、pp.273-297 [35] 上羽康夫 : 「手 その機能と解剖」、金芳堂、1970、pp.169-190 [36] A.シュフラー・S.シュミット : 「からだの構造と機能」、西村書店、1998、pp.113-117 [37] 岩瀬善彦・森本武利 : 「やさしい生理学」、南江堂、1969、pp.244-259 [38] 生体情報の可視化技術編集委員会 : 「生体情報の可視化技術」、コロナ社、1997、pp.185-210 [39] 日本生理人類学会計測研究部会 : 「人間科学計測ハンドブック」、技報堂出版、1996、pp.252-262 [40] 藤原義久・前川聡 : 「独立成分分析による筋電データからの各指運動の分離」、信学技報MBE99-7、電子情報通信学会、1999、pp41-46 [41] 中村尚五 : 「ビギナーズディジタルフィルタ」、東京電機大出版局、1989、pp.154-173 [42] 池田謙一他訳 : 「生体工学」、コロナ社、1974、pp.46-62 [43] 戸川達男 : 「生体計測とセンサ」、コロナ社、1986、pp.260-269 [44] 松村道一 : 「ニューロサイエンス入門」、サイエンス社、1995、pp.126-130 [45] 木村雄治 : 「体を測る」、コロナ社、1995、pp.61-63 [46] 川上雅之・岩崎英人編著 : 「ヒューマンサイエンス」、不昧堂出版、1998、pp.35-49 [47] http://www.sensorband.com/ [48] http://nagasm.org/ASL/mbm-1/ [49] http://nagasm.org/ASL/MBM1/ [50] http://nagasm.org/ASL/mbm-2/ [51] http://nagasm.org/ASL/MBM2/ [52] http://nagasm.org/ASL/mbm-3/ [53] http://nagasm.org/ASL/SIGMUS0108/ [54] http://nagasm.org/ASL/SIGMUS0205/ [55] http://www.cycling74.com/ [56] http://www.audiosynth.com/ [57] http://www.computermusic.org/ [58] http://nagasm.org/1106/SS2001/MAF2001.html [73] http://nagasm.org/ASL/breath/ [74] http://nagasm.org/1106/MAF2002/ [75] http://nagasm.org/1106/MAF2002/MAF2002.html [76] http://www.symbolicsound.com/ [77] DV-7 http://www.roland.co.jp/products/dtm/DV-7.html [78] http://www.breathingmedia.org/ [79] http://nagasm.org/1106/moya/ [80] 長嶋洋一 : 「図解・新しいノイズ対策」、工業調査会、2002年 [81] http://nagasm.org/ASL/miburi/ [82] Yoichi Nagashima : Interactive Multi-Media Performance with Bio-Sensing and Bio-Feedback ; Proceedings of International Conference on Audible Display, IPSJ, (2002) [83] Yoichi Nagashima : Interactive Multimedia Art with Biological Interfaces ; Proceedings of17th Congress of the International Association of Empirical Aesthetics, IAEA, (2002) [84] http://www.iamas.ac.jp/J/index-html.html [85] 長嶋洋一, 赤松正行, 照岡正樹 : 電気刺激フィードバック装置の開発と音楽パフォーマンスへの応用 ; 情報処理学会研究報告 Vol.2002,No.40, 情報処理学会, pp.27-32, (2002) [86] http://nagasm.org/ASL/SIGMUS0205/ [87] http://www.jpf.go.jp/yt2001/cyber/artist/085_stel/