post-Gainer　日記 (1)

長嶋 洋一

(一部　「バイオフィードバック日記」かも)

(一部　「muse(脳波センサ)日記」かも)

→ postGainer日記(2)

→ postGainer日記(3)

→ postGainer日記(4)

→ postGainer日記(5)

2015年9月20日(日)

シルバーウイークというらしい秋の連休(敬老の日+秋分の日)が今年は5連休で、次に5連休となるのは11年後だという。 全国的に観光地が混雑しているらしいが、昨日9/19(土)から明日9/21(月)までの3日間は研究室でお仕事、そして9/22-23の連休最後の2日間は今年もアカペラ合宿の予定である。 昨日は、その前日まで9/14〜18の5日間、行っていた松山出張( FIT2015 )の書類整理などで潰れ、今日も夕方に家の仕事があるので、実質は明日のたった1日ぐらいしかまとまった時間が無い。 5連休が明けた木曜日から、今度はまたまた5日間の9/24〜28に、札幌(EC2015)への出張が待ち構えているのだ。

この日記のきっかけは3週間前、上の「Gainerは製造販売終了」という情報からである。 名古屋大での音楽情報科学研究会・夏のシンポジウムに行く直前の8月28日に、院生の杉浦さんからのメイルで「スイッチサイエンスのサイトで販売終了と書かれている」との情報を受けて。製造元のSparkFunに行ってみるとこちらでもRETIREDと書かれていて驚き、Gainerの生みの親である小林茂さんに問い合わせのメイルを出してみると、 「少し前にSparkFunやスイッチサイエンスとも話したのですが、2007年の発売からかなり時間も経ち、出荷数が非常に減ってきていたこともあり、継続の生産は行わず、終息という判断となりました。Gainerの完全な代替はありませんが、その間に私自身も開発者として参加したArduino＋Firmataによる環境も整っておりますので、今後のことを考えると、Arduinoベースに切り替えていただくのが一番いいのではないかと思います」 との返信を受けて、ここに本当に「Gainer終了」という事態を確認できた。

思えば上の「Gainer.cc」には本当にお世話になってきたし、まだまだGainerのストックが何十個かあるので個人的にはいましばらくは現役である。 ただし、講義の中で紹介する事が出来なくなるし、これまでにいくつもの大学等でのSketchingワークショップで紹介してきたGainerが無くなる、ということであれば、テキストとして「Gainer本」を紹介するのも取り止めないといけない。
とりあえず小林さんに 「現在ではArduinoよりもmbedで、直接にUSBシリアルでMaxではserialで受ければ115200も楽勝なので(双方向でMIDIフォーマットでやりとりしています)こちらを勧めますが、希望としては、gainer.ccのサイトに「終了しました」と告知するべきではないか、と思いました」 とメイルすると、 「ご指摘ありがとうございます。gainer.ccも（維持費用などの理由もありますので）半年〜1年後にはどこかにアーカイブした上で終了させたいと思っておりますので、その準備段階として終息宣言をしようと思います」 との回答が来た。
・・・ということで、出張の合間には「Arduino2Max」という実験/改造も完了していて(おいおい後述)、インスタレーション等の制作にはまったくGainer消滅は影響しない事を確認した上で、このあたりを、またまた「日記」として整理しつつ、自分で忘れないように書き付けて公開しておこう、という事なのである。

今日は新たな日記のスタートということで、まずは周辺のおさらいからである。 遠い昔、2002年の8月は1日から31日までぶっ通しで頑張った時に 「あらえっさっさ」の日記 というのを書いていたが、それ以外での「日記」シリーズと掲載期日は以下のようになっていた。 それぞれの日記の初日と最終日との隔たりにはだいぶ長短があるが、実は「HTMLファイルが170KB程度になったら新しくする」というルールなので、シリーズ最終回と単発の「追記」回を除けば、それぞれ中身(情報量)としてはほぼ似たような分量である。

  • Propeller日記
    • Part 1 2008年2月9日〜2008年3月9日
    • Part 2 2008年3月10日〜2008年3月19日
    • Part 3 2008年3月20日〜2008年3月25日
    • Part 4 2008年3月26日〜2008年4月4日
    • Part 5 2008年4月5日〜2008年5月21日

  • Arduino日記

  • Processing日記
    • Part 1 2011年2月24日〜2011年3月5日
    • Part 2 2011年3月19日〜2011年4月5日
    • Part 3 2011年4月14日〜2011年5月26日
    • Part 4 2011年6月10日〜2011年8月14日
    • Part 5 2012年3月14日

  • SuperCollider日記
    • Part 1 2011年2月24日〜2011年3月5日
    • Part 2 2011年3月13日〜2011年3月24日
    • Part 3 2011年3月25日〜2011年3月31日
    • Part 4 2011年4月12日〜2011年6月7日
    • Part 5 2011年7月28日〜2011年8月5日
    • Part 6 2011年8月18日〜2011年9月6日
    • Part 7 2011年10月8日〜2012年3月6日

  • 続・Propeller日記
    • Part 1 2012年8月27日〜2012年8月30日
    • Part 2 2012年8月31日〜2012年9月12日
    • Part 3 2012年9月13日〜2012年9月25日
    • Part 4 2012年9月28日〜2012年11月16日
    • Part 5 2012年11月19日〜2012年12月13日

  • 続々・Propeller日記
    • Part 1 2012年12月21日〜2013年1月7日
    • Part 2 2013年1月8日〜2013年2月3日
    • Part 3 2013年2月4日〜2013年2月26日
    • Part 4 2014年4月16日

  • RaspberryPi日記
    • Part 1 2013年5月14日〜2013年6月12日
    • Part 2 2013年6月13日〜2013年7月9日
    • Part 3 2013年7月11日〜2013年8月9日

  • PureData日記

  • Max6日記
    • Part 1 2014年2月13日〜2014年6月1日
    • Part 2 2014年6月8日〜2014年7月19日
    • Part 3 2014年7月21日〜2014年8月30日
    • Part 4 2014年8月31日〜2014年9月22日

  • mbed日記
    • Part 1 2014年9月26日〜2014年10月27日
    • Part 2 2014年10月27日〜2014年11月16日
    • Part 3 2014年11月17日〜2014年12月23日

  • Myo日記
    • Myo日記 2015年2月15日〜2015年3月31日

  • Xcode日記
    • Part 1 2015年4月12日〜2015年5月19日
    • Part 2 2015年5月20日〜2015年6月13日
    • Part 3 2015年6月14日〜2015年7月27日
上の日記シリーズの最後は Xcode日記(3) の「2015年7月27日(月)」であった。この日は 「サウンドデザイン」最終合評 があり、翌々日には1限に 「音楽情報科学」最終合評 があり、続く2-7限に 「メディア造形総合演習II」最終合評 があり、その翌日にアリゾナでの Sketching2015 ★ に出発した。 帰国後に デジカメを修理 してSUACオープンキャンパス ★ ★ ★ ★ を乗り切り、翌週にはシンガポールでの SI2015 ★ に行き、翌週の8月末に名古屋大での音楽情報科学研究会・夏のシンポジウム ★ ★ に行き(フォトレポート無し)、さらに一昨日までの松山での FIT2015 に行ったり、と出張が続いていたのだ。

そして気付いてみれば、「Gainer日記」などというものは無かった。 当然のことで、Gainerとはまさに「空気のような存在」であり、これが無ければ我々メディアアート業界の人間は生きていけないほど、馴染んで、依存/共存して、活用し倒してきたのである。 これは以下の、定番としてGainerを活用した多くのインスタレーション作品記録を見れば明らかである。

ただし検索してみて気付いたが、上の SUACインスタレーション(1) には「Gainer」という単語は登場していない。 これは、まだ小林茂さんがGainerを世に出していなかったので当然である。 「Gainer」が登場するのは、上の SUACインスタレーション(2) の真ん中あたり、2007年の山口翔クンの卒制「Tiny Living」と山口恵理子さんの卒制「団欒-だんらん-」と藤田千紘さんの卒制「オキャンバス」に使ったのが初めてだった。 それ以降はもう、AKI-H8からGainerへの移行がどんどん進行していったのがよく判る。

そしてもっとも最近では、6月に京都市立芸大で行った 京都芸大Arduinoワークショップ2015 でGainerも紹介し(その模様はこの中の「2015年6月11日(木)」「2015年6月12日(金)」にある)、 7月に筑波大で行った 筑波大学Sketchingワークショップ2015 の中でもGainerを活用した。 その模様は ここ と ここ にある。

そしてあと20日ほどで、上のようなセミナーを神戸で開催するのだが、当初はここでもやはりGainerを紹介するつもりだったのである。 しかし「Gainer終了」という事態なので、Arduinoなりmbedなりで「ポストGainer」をしっかりと確立/確定させる必要があり、この日記にまとめる事にしたのである。 小林さんのメイルにもあったように、これまでにも「Arduino+Firmata+maxuino」というsolutionはあって、 3月の音情研 とか SI2015 とかで発表してきたが、ここで本格的に基礎的なプラットフォームを整理しておく意義は大きいだろう。

2015年9月21日(月)

5連休の3日目、敬老の日だそうである。 本来の9月15日からこんなに離れているとピンと来ない(^_^;)。 「post-Gainer日記」ということで、もちろん主題は「Gainer以後」となるが、やはりここでは 「Gainer以前」 と 「Gainer再発見」 とを、キチンと押さえておきたい。 ただし「Gainer以前」については、既に 続々・Propeller日記(3)の「2013年2月24日(日)」 のところに、 AKI-H8 を活用しまくった多くのインスタレーション作品について、事例、回路図、ソースコード等を整理していたので、ぜひここを参照されたい。

ということで、今日はまず、「Gainer再発見」である。 これまで8年間、世界のメディアアートを支えてきたGainerそのものを、ここで改めて眺めておく事は「それ以降」を考える材料として重要だろう。 ちょうど僕がIPA「未踏」に採択され研究資金を獲得して FMC3 をMaxでプログラミングするために LinzとBarcelona に行ったりしていた頃に、小林茂さんがIAMASで開発していたのがGainerであり、小林さんはこれにより、「未踏」より遥かに格上のIPA「スーパークリエータ」に採択されたのだった。

さて、Max7で表示するとイメージが変わるが、上がGainerの「モード1」である。 16ポートの入出力単位を、「アナログ入力4チャンネル」「ディジタル入力4チャンネル」「アナログ(PWM)出力4チャンネル」「ディジタル出力4チャンネル」に分割するモードである。 普通のユーザは上のhelpパッチを開いて中身を自分のパッチにコピペして、シリアルポートを自分のシステムに割り当てられているポート指定(a/b/c...)に書き換えて使う。 しかしここでは、下にあるGainerのライブラリモジュール(これ自身もMaxパッチとして記述されている)も含めて、小林さんの仕事を称えつつ確認していきたいと思う。

実は2009年に、後に大学院で僕のところに来た見崎央佳さんが4回生の「総合演習II」で制作したインストレーション作品「OTOkakecco」(上の写真。4人がそれぞれマウスを同時に操作するゲーム)のための「4mouseインターフェース」を制作した際に、この「Gainerライブラリモジュールの解析」というのをやっていたのである。 メイキングの記録 ★ ★ を見ると、ゴールデンウイークを楽しい「Gainer解析」「Propeller開発」で過ごしていたようだ。 インターフェースの動作確認は「30虎」の皆んなに協力してもらって このように 記録して、この動作確認は後に YouTube にも上げた。 作品の記録YouTubeは これ と これ である。
ちなみにこの頃に、山村知世さんの作品「おはなしパネル」のためのRFIDリーダを4台搭載したシステムも このように 4個のAKI-H8と1個のGainerで作っていたようである。 さらにこの年の メディアアートフェスティバル2009/文化庁メディア芸術祭浜松展 での展示に向けて、これまで最大規模のインスタレーション作品「ネジマキウォール」 ★ を制作していた。詳細は 30虎レポート の上に並ぶリンクをご覧いただきたい。

さて、上に再掲したGainer「モード1」の ライブラリの中身 をよく見ていこう。 「serial #1 38400」 というオブジェクトがその中心であり、GainerはMIDI(31250bps)よりやや速い38400bpsでMaxと通信していた、と判る。 パッチが呼ばれると右上の 「loadbang」 から一連のbangがtriggerにより繰り出されて、serialを常時10msecで叩くよう設定し、100msec後にGainerバージョンを文字列としてMaxウィンドウに表示して、3.5秒後には「KONFIGRATION_1」という文字列をGainerに送って、Gainer内部に8パターン用意されているセッティングのうち1番のファームウェア・ルーチンで動作するように指定する。 なおGainerから返されるステータス文字列「?」に続く文字列がMaxウィンドウに表示される事で、我々ユーザはそのversionの確認とともに「Maxと正しく通信できている」と安心できる。

ボード上の動作確認LEDのON/OFFはGainerに与えるコマンド文字列「h」と「l」であり、僕は「4mouseインターフェース」の時にはここをハックして拡張出力ポートとして使用した。 ボード上のボタンスイッチのON/OFF情報はGainerから返されるステータス文字列「N」と「F」であり、僕は「4mouseインターフェース」の時にはここをハックして拡張入力ポートとして使用した。 ディジタル入力のstart/stopはGainerに与えるコマンド文字列「R」、アナログ入力のstart/stopはGainerに与えるコマンド文字列「I」である。 ちなみに後述する予定の「Arduino2Max」では、MaxとArduinoのハンドシェーク通信において、Max側から「r」を送るとArduinoが全てのアナログ入力とディジタル入力の情報をパックして一気に送るようなので、ここはGainerの方言と微妙に異なる。
以下に続くこのような解析を確認するための実験パッチを作って、小林さんの作った標準Gainerライブラリパッチに代えて実際にGainerと通信成功させてみる、というのは、Maxにおける文字列/データ処理の理解にとって。なかなかいい課題かもしれない。

「ディジタル出力」はここでは4チャンネルで、コマンド文字列「D」に続き、各チャンネルの入力に対応した4ビット2進数(0000〜1111)を16進数値に変換して右詰めした16進4文字(0000〜000F)に変換してGainerに送る。 例えばDin0とDin2が1で、Din1とDin3が0だと、文字列「D0003」を送る。 Gainerのディジタル出力は、ここでは常に4チャンネル分がパックされてGainerに送られるので、4チャンネルのうちどこか1チャンネルでも変化(イベント)があれば、全チャンネルの情報がGainerGainerに送られて更新される(Gainer内部のファームウェアで「変化のあったビットだけ出力を更新する」ようになっているかどうかは不明)。
「アナログ(PWM)出力」はここでは4チャンネルで、コマンド文字列「a」に続く1文字がチャンネル番号、さらに続く2桁の16進文字(00〜FF)で0〜255の数値をGainerに送る。 例えばチャンネル3にデータ100(ひゃく)を送りたい場合には、文字列「a364」を送る。 Gainerのアナログ(PWM)出力は、変化(イベント)のあったチャンネルの情報だけGainerに送られて更新される。
「ディジタル入力」はここでは4チャンネルで、ステータス文字列「R」に続く4桁の2進文字(0000〜1111)を解釈して、16進数値に変換してから再び4桁のビットごとの数値(1/0)に分割して各チャンネルの出力(1/0)とする。 パックされているので、4チャンネルのデータは以前と変化があっても無くてもまとめて送られてくるので、イベント検出のための「change」は、Max側に設ける必要がある。
「アナログ入力」はここでは4チャンネルで、ステータス文字列「I」に続く4組のASCII2文字の文字列の並び(メッセージ)としてGainerから届く。 これが各チャンネルのA/Dデータに対応しているので、ASCII2文字をまず2桁の16進文字(00〜FF)と解釈して0〜255の数値として、最終的な各チャンネルのA/Dデータとする。 パックされているので、4チャンネルのデータは以前と変化があっても無くてもまとめて送られてくるので、イベント検出のための「change」は、Max側に設ける必要がある。

上はGainerの「モード2」である。 16ポートの入出力単位を、「アナログ入力8チャンネル」「アナログ(PWM)出力4チャンネル」「ディジタル出力4チャンネル」に分割するモードである。 「ディジタル出力」と「アナログ(PWM)出力」は「モード1」と同じである。
「アナログ入力」はここでは8チャンネルで、ステータス文字列「I」に続く8組のASCII2文字の文字列の並び(メッセージ)としてGainerから届く。 これが各チャンネルのA/Dデータに対応しているので、ASCII2文字をまず2桁の16進文字(00〜FF)と解釈して0〜255の数値として、最終的な各チャンネルのA/Dデータとする。 パックされているので、8チャンネルのデータは以前と変化があっても無くてもまとめて送られてくるので、イベント検出のための「change」は、Max側に設ける必要がある。

上はGainerの「モード3」である。 16ポートの入出力単位を、「アナログ入力4チャンネル」「ディジタル入力4チャンネル」「アナログ(PWM)出力8チャンネル」に分割するモードである。 「アナログ入力」と「ディジタル入力」は「モード1」と同じである。
「アナログ(PWM)出力」はここでは8チャンネルで、コマンド文字列「a」に続く1文字がチャンネル番号、さらに続く2桁の16進文字(00〜FF)で0〜255の数値をGainerに送る。 例えばチャンネル7にデータ255を送りたい場合には、文字列「a7FF」を送る。 Gainerのアナログ(PWM)出力は、変化(イベント)のあったチャンネルの情報だけGainerに送られて更新される。

上はGainerの「モード4」である。 16ポートの入出力単位を、「アナログ入力8チャンネル」「アナログ(PWM)出力8チャンネル」に分割するモードである。
「アナログ(PWM)出力」はここでは8チャンネルで、コマンド文字列「a」に続く1文字がチャンネル番号、さらに続く2桁の16進文字(00〜FF)で0〜255の数値をGainerに送る。 例えばチャンネル1にデータ0を送りたい場合には、文字列「a101」を送る。 Gainerのアナログ(PWM)出力は、変化(イベント)のあったチャンネルの情報だけGainerに送られて更新される。
「アナログ入力」はここでは8チャンネルで、ステータス文字列「I」に続く8組のASCII2文字の文字列の並び(メッセージ)としてGainerから届く。 これが各チャンネルのA/Dデータに対応しているので、ASCII2文字をまず2桁の16進文字(00〜FF)と解釈して0〜255の数値として、最終的な各チャンネルのA/Dデータとする。 パックされているので、8チャンネルのデータは以前と変化があっても無くてもまとめて送られてくるので、イベント検出のための「change」は、Max側に設ける必要がある。

上はGainerの「モード5」である。 16ポートの入出力単位を、「ディジタル入力16チャンネル」として使うモードである。 「ディジタル入力」はここでは、ステータス文字列「R」に続く16桁の2進文字(0000000000000000〜1111111111111111)を解釈して、16進数値に変換してから再び16桁のビットごとの数値(1/0)に分割して各チャンネルの出力(1/0)とする。 パックされているので、データは以前と変化があっても無くてもまとめて送られてくるので、イベント検出のための「change」は、Max側に設ける必要がある。

上はGainerの「モード6」である。 16ポートの入出力単位を、「ディジタル出力16チャンネル」に分割するモードである。 「ディジタル出力」はここでは、コマンド文字列「D」に続き、各チャンネルの入力に対応した4ビット2進数(0000〜1111)を16進数値に変換した16進4文字(0000〜FFFF)に変換してGainerに送る。 例えばDin0〜Din2がとDin13〜Din15が全て1で、他のDin入力が全て0だと、文字列「DE007」を送る。 Gainerのディジタル出力は常にパックされてGainerに送られるので、どこか1チャンネルでも変化(イベント)があれば、全チャンネルの情報がGainerGainerに送られて更新される(Gainer内部のファームウェアで「変化のあったビットだけ出力を更新する」ようになっているかどうかは不明)。

上はGainerの「モード7」である。 これは特殊なモードで、8×8のマトリックスLEDを効率的に点灯させるためのモードであるが、僕は使ったことがなく(^_^;)、使った例もあまり知らない。 なにより、こういう表示モードを制御するLEDマトリックスモジュールが安価に出回るようになったので、ほぼ絶滅危惧種機能であるので、ここでは省略する。

上はGainerの「モード8」である。 16ポートの入出力単位を、「ディジタル入力8チャンネル」「ディジタル出力8チャンネル」に分割しつつ、静電容量型のタッチスイッチとして使用する特殊なモードであり、僕は使ったことがなく(^_^;)、使った例もあまり知らない。 なので、ここでは省略する。

これでようやく、 「Gainer再発見」 はおしまいである。 これだけキチンとコマンド体系を整理して、それをGainerマイコンのファームウェアとして実装して、さらに今回はMax側のライブラリしか見ていないが、同様のライブラリをProcessing環境でもFlash環境でも完備させた、という小林茂さんの仕事に、改めて拍手を送りたい(^_^)。 この思想は後に、 Firmata に継承されているわけであるが、小林さんの仕事が無ければ、 Firmata の現在の隆盛はあり得ないのである。

いよいよ次には 「ポストGainer」 ということで、まずは このページ から、 Maxuino とか、ここのページ内に解説されている Arduino2Max に行くのであるが、実は既に Firmata と Maxuino は前述のどこかの日記でやっているし、 Arduino2Max も実験して改良/整理を完了しているのである。 問題はこのページに記録していく時間がいつ取れるか・・・という事なのだが、 EC2015 で札幌に行く合間にけっこう時間があるような気もするので、余裕があれば挑戦してみたい。

そして、おそらくこの日記のメインとしては、 「mbed(NucleoF401RE)でポストGainer」 というのがテーマなのである。 Arduinoではせいぜいアナログ入力は6チャンネルとか8チャンネルなのに対して、NucleoF401REはアナログ入力16チャンネルに多数のディジタルポートがあり、さらに上の本に執筆したように、例えば多チャンネルの筋電センサを繋いだ際に、mbed内のライブラリとして、生体情報処理のアルゴリズムとして、ノイズ除去・平滑化・パターン強調・なんならFFTまで(^_^;)、などの処理が簡単に実装できるのである。 もちろんMaxと繋ぐ部分は、この新楽器 ★ ★ で完成しているので楽勝である。 これを完成・公開するのは、いよいよ僕の仕事であり、この「post-Gainer日記」のゴールはとりあえず、ここに設定しておきたい。

2015年9月22日(火)

シルバーウイーク後半、連休はあと2日である。 今日と明日は、浜北森林公園・山の家にアカペラ合宿に行くのであるが、「遠足の日の朝」現象(^_^;)で朝5時に起床して、6時過ぎから研究室に出て来てしまったが、いつもと違うとすれば、既にジャージにTシャツ姿である。 今回も、過去2回のアカペラ合宿 ★ ★ ★ と完全に同一旅程で代わり映えしないものの、楽しいのである。 過去にはアカペラ合宿として関西にまで遠征して僕の歌仲間とのオフ会まで開催した ★ ★ のだが、さすがにこれは空前絶後である。

学生がやってくるまで1時間ほどでは何も進まないので、ここではポイントを整理しておくことにした。 「posrGainer」ということは、これまでGainerがやってきた事をうまくスマートに(最小の努力で)置換する、という事である。 上述のようにGainerには主として6つのモードがあるが(特例のモード7とモード8はここでは除外)、これは 「Gainerには16ポートしかない」 ためのやりくり、とも言えるのだ。 Arduinoはもっとも普及版のUnoの場合、アナログ入力が6ポートあり、Nanoであれば8ポートもある。 その他に、PWM対応6ポートを含む14ポートのディジタル入出力ピンがあり、Gainerのようにモードを切り分けなくても、たいていの場合には単体で済んでしまう。 そこで、「posrGainer」として求められる機能を、以下のようにシンプルに整理してみたい。

もちろん、Gainerのモード1/モード2/モード3/モード4のように、同時になにがしかの入力となにがしかの出力とを行ってもいいが、USBデバイスは同時に127個まで繋げる現在、シンプルには「入力専用」「出力専用」と切り分けて、必要なら同時にArduinoを2個使えばいいのである。 そしてシステムを小型化したい場合にはArduino Nanoを使って、その時だけファームウェア(Arduinoスケッチ)として、入出力混在のハンドシェークをすればいい。 Gainerの場合には小林さんの開発したファームウェアが基本的には固定だったが、Arduinoのメリットはいくらでもカスタマイズ出来ることなので、せっかくであればこの方針で行きたいと思う。 何より、Arduinoを切り口として、プログラミング、そしてスケッチングの最良な教材なのだから。(^_^)

・・・ということで眺め直してみると、前述の Arduino2Max は上のタイプ1にあたり、 Firmata は上のタイプ3にあたるものである。 ただし、いずれも「汎用」を意図しているためにあまりに重厚長大で、シンプルではない(^_^;)。 ここはArduino側のファームウェアも、Max側のパッチも、もっとスッキリとカスタマイズした「ソフトウェア部品」を目指したい。 タイプ2については、実はシステム出力の機能仕様によって、なかなか標準化しにくいのである。 具体的なシステム要求に対応してチューニングする必要があるので、ここのポイントもいずれ掘り下げていこう。

2015年9月25日(金)

なんとも快適な札幌の朝である。 今日から3日間、 EC2015 であり、前泊に後泊を加えて、先週の松山での FIT2015 に続いて、4泊5日の出張である。 ただし後期が近づいてきて、空港のラウンジとかホテルに着いてからも大学からのメイルに対応する事が相次いだ。

最初のメイルはデザイン学部長からのご指名で、11月に神奈川の高校に模擬授業に行って欲しい、という依頼である。 なんせ「サウンドデザインに興味があるので」とのことで、ここに行かない筈がない(^_^)。 ところがその希望日というのが、今年は那覇で開催される「リハ工学カンファレンス」の帰着日だったので、既に超割チケットで那覇からセントレアに帰ってくるフライトを購入済みだった。 そこでSUAC事務局に検討してもらってOKを得て、手数料を払って復路フライトをキャンセルして那覇→羽田を買い直して、なんとか出張最終日に羽田から藤沢に行っての模擬授業、という予定変更が完了した。 出張手続きなどはあちこち関係して面倒だが、とりあえずなんとか一件落着である。

次のメイルは、新生デザイン学科の「ビジュアル・サウンド領域」の古田先生からの依頼で、後期開始前日にある1回生(新生デザイン学科の1期生)向けの説明のために、古田先生の映像領域、日比谷先生/佐井先生のグラフィック領域とともに、僕のサウンド/インタラクティブ領域について説明する「専門領域についてのビジュアル資料」を、今日(金曜日)のうちに欲しい、という依頼であった。 これは困った。なんせ研究室のお仕事パソコンから離れて、出先である。 最初に、サウンドデザインの講義ページにある これ と これ を回答したところ、サンブルとなる学生作品が欲しいという。 そこで悩んで、Webを探って1時間ほどのコピペ大会で回答したのが以下である。 コピペの元は全て自分のオリジナルなのでまったく問題ない。 SUAC学生作品の中で、「サウンド/インタラクティブ領域」に特化したものを抽出、という意味ではいい資料になったので、これはここにも転載しておこう。 

お世話になります、長嶋です。

> 「専門領域についてのビジュアル資料」というのは、教員や学生の作品の事を想定していました。
> 説明が不十分でした。長嶋先生の分については月曜か火曜に差し替えるようにします。

月曜の帰着後、あるいは火曜日は共同研究の豊田中研の人が来ますので時間はあまり取れず、こちらで作業します。

映像作品のスクリーンショットやグラフィックであれば写真だけで説明できますが、サウンドは一つには「映像作品や
ゲーム等のBGMと効果音」に使われること(ビジュアル資料はちょっと無理)、あるいはサウンドインスタレーションや
パフォーマンスなど、なんらかの解説が無いと伝わりにくいように思います。

以下、Webに置かれている学生作品集
http://nagasm.org/1106/installation/index.html
http://nagasm.org/1106/installation2/index.html
http://nagasm.org/1106/installation3/index.html
http://nagasm.org/1106/installation4/index.html
の中から、サウンドインスタレーションやパフォーマンスなどにカテゴライズされるものを簡単な説明とともに紹介しますので、
適当に選んで下さい。

Windmill
http://nagasm.org/1106/news/tiger03/IC137.jpg
展示発表　インターカレッジ2000(東京工科大)　2000.12.16
作家　Team風虎 (林文恵+加藤美咲+大山真澄)
パフォーマンス : 技術造形学科学生7名　
概要　大小4台の「風車」と太陽電池シート(センサ)により、光の変化に応じてサウンドと風車の回転が変化する作品。
この作品を7名のパフォーマーによりコンサートのステージで公演発表した
システム　光センサ、Max/MSP、ステッピングモータ

Shocking
http://nagasm.org/1106/SS2001/photo/DSC00340.JPG
http://nagasm.org/1106/SS2001/photo/DSC00323.JPG
展示発表　メディアアートフェスティバル2001　2001.08.01-07
作家　アマノミク (渋谷美樹+山内麻里+鈴木亜矢子+松下訓子+東堂のぞみ)　技術造形学科2回生
概要　上空から垂れ下がるワイヤを引くと、「食」にまつわるサウンドが流れて、「食」にまつわる映像がスクリーンに現われる
システム　多スイッチセンサ、Max/MSP

REproduction
http://nagasm.org/1106/news/tiger09/IC2001-044.jpg
http://www.youtube.com/watch?v=Sg6QbLlPjRc
展示発表　インターカレッジ2001(慶應義塾大学SFC)　2001.12.22-23
作家　本園千佐子　技術造形学科1回生
概要　周囲に小石を敷き詰めた造形物(グラスファイバー+エポキシ樹脂)の中央の穴に小石を投げ入れると、ギターの
サウンドが鳴るとともに、内部の電球が光って造形を透かして光が外に漏れ出て来る
システム　スイッチセンサ、Max/MSP

Chessでポン!
http://nagasm.org/1106/news/araessassa/0823a/DSC00081.JPG
展示発表　メディアアートフェスティバル2002　2002.08.17-26
作家　わかば(小島瞳+坂田久美子+*平岡輝子)　技術造形学科3回生 *2回生
概要　8*8=64コマの升目にガラス造形の駒を置くと、それぞれの場所に対応したサウンドが鳴る
システム　多スイッチセンサ、Max/MSP

スプラウトス
http://nagasm.org/1106/news/tiger14/00210.JPG
展示発表　インターカレッジ2002(くらしき作陽大学)　2002.12.20-22
作家　高木慶子　技術造形学科3回生
概要　来場者は人形(写真左側)と並んで座り、フットスイッチを踏むとヘルメットに繋がったホースを経由してサウンドが流れてくる。
「人形とコミュニケーションする」というテーマ
システム　フットスイッチセンサ、Max/MSP

うたかた
http://nagasm.org/1106/news/20030203/DSC00101.JPG
http://nagasm.org/1106/news/20030203/DSC00110.JPG
展示発表　インターカレッジ2002(くらしき作陽大学)　2002.12.20-22
作家　東堂のぞみ　技術造形学科3回生
概要　磨き込んだ球体オブジェには「なでなでセンサ」が仕込んであり、来場者が触れたりなでたりすると対応したサウンドが鳴る
システム　なでなで(テルミン)センサ、Max/MSP

ハコロ
http://nagasm.org/1106/installation/hakoro1.JPG
http://nagasm.org/1106/installation/hakoro2.JPG
http://nagasm.org/1106/installation/hakoro3.JPG
http://nagasm.org/1106/installation/hakoro4.JPG
http://www.youtube.com/watch?v=NmG70LskuJs
展示発表　碧風祭2003　メディアアートフェスティバル2003(インターカレッジ2003)　2003.12.16-21
作家　HEY!キミシグレ(杉山裕子+加藤芳実+川島笑子)　空間造形学科4回生
概要　布スクリーンを壁とする1辺3メートルの立方体の「部屋」の内部に多数の言葉を書いた箱が積まれている。来場者が箱を持ち上げると
言葉が内部の電球で点灯するとともに空間にサウンドが鳴り、「部屋」の四方に4台のプロジェクタから投射されている映像が切り替わる
システム　スイッチセンサ、電子回路内蔵造形(箱)多数、Max/MSP

詩想作曲法
http://nagasm.org/1106/news/20040305/DSC00202.JPG
http://www.youtube.com/watch?v=oC-e1d2oxxs
展示発表　第1回SUAC卒展
作家　内田涼子　技術造形学科4回生
概要　キーボードを弾くと、多数の詩から抜き出された詩の短いフレーズ(個々の朗読付き)がランダムに画面に出現して、その場限りの
新しい詩を体験できる。あわせてアニメーションもランダムに出現する
システム　MIDIキーボード、Max/MSP

Drum's D・N・A
http://nagasm.org/NIME/report04/SONY2/06050133.JPG
展示発表　メディアアートフェスティバル 2004　2004.06.01-06
作家　三好承順　技術造形学科4回生
概要　鉄製の螺旋状の塔には256個のジャックがあり、これが時間(タイミング)の軸と打楽器種別の軸となっている。来場者が任意の場所に
プラグを差し込むと、そのビートでその打楽器が鳴る、という体験型のドラムマシン
システム　多スイッチセンサ回路、Max/MSP

音波(おとなみ)
http://nagasm.org/1106/news/sotsuten2005/DSC00269.JPG
http://nagasm.org/1106/news/sotsuten2005/DSC00270.JPG
http://www.youtube.com/watch?v=gPyU6ANmZNI
展示発表　第2回SUAC卒展
作家　山本絵美　生産造形学科4回生
概要　4個のスピーカ(暴音族仕様)の上の水槽に水を張り、それぞれの共鳴ポイントに合わせて制作したCDのサウンドの重低音を
エンドレスに鳴らすと、水面には縞模様や激しい波が刻々と現われる。
システム　CDプレーヤ、アンプ、ランプ+スピーカ(暴音族仕様)　CDサウンドはMax/MSPにて制作

電車で音を出すサウンドインスタレーション
http://nagasm.org/1106/MAF2006/photo/DSC00190.JPG
http://www.youtube.com/watch?v=ucDwqTVoSZg
http://www.youtube.com/watch?v=ilLkxuBTMIM
http://www.youtube.com/watch?v=fT8vK967mQg
展示発表　インターカレッジ2006(京都精華大学)　メディアアートフェスティバル 2006　2006.12.22-25
作家　嶋田晃士 　大学院デザイン研究科1年
概要　レールに電極を取り付けたプラレールが回ると、周囲に配置した金属パイプを次々と叩いて音楽を奏でる。
プラレールの速度や方向は来場者のリモコン、あるいは会場のサウンド(音量)により変化する
システム　改造プラレール、Max/MSP

Beat Box
http://nagasm.org/1106/news2/sotsuten2007/DSC00288.JPG
http://nagasm.org/1106/installation2/kawara.JPG
http://www.youtube.com/watch?v=jw5XQXpQ4sE
展示発表　第4回SUAC卒展
作家　河原崎徹　技術造形学科4回生
概要　各面に8*8=64個、総計384個のスイッチの付いた立方体の金属造形ボックスのインスタレーション。384個のスイッチには
384曲のLOOP音楽が割り当てられており、同時に多数を押して演奏できる
システム　Max/MSP

SELECTION
http://www.youtube.com/watch?v=KR9RMto74s4
展示発表　第4回SUAC卒展
作家　松登友樹　技術造形学科4回生
概要　2種類のシナリオのムービーに対して、マイクから大声を叫ぶ音圧に応じてストレスメーターが減っていき、最終的なストレス
解消度により結末ムービーが変わる
システム　Max/MSP/jitter

KODAMA
http://nagasm.org/1106/installation2/kodama02.jpg
http://www.youtube.com/watch?v=wPU3NTYqWk8
http://www.youtube.com/watch?v=o_eMAIJQ2io
展示発表　メディアアートフェスティバル 2007　文化庁メディア芸術祭 学生CGコンテスト インタラクティブ部門 入選
作家　嶋田晃士　大学院デザイン研究科2年生
概要　スタンドの可動パイプに声を発すると、パイプを向けた部分のスクリーン上に、声に反応した映像が描ける
システム　Max/MSP/jitter

Tiny Living
http://nagasm.org/1106/installation2/sho1.JPG
http://nagasm.org/1106/installation2/sho2.JPG
展示発表　 インターカレッジ2007(多摩美術大学)　第5回SUAC卒展　技術造形東京卒展「ぶんきてん」
　メディアアートフェスティバル 2008 オープンキャンパス2009
作家　山口翔　技術造形学科4回生
概要　顕微鏡のような造形に、複数枚あるプレパラートから選んでセットすると画面に対応した顕微鏡映像が現れる。プレパラートの
台は上下左右に5cmほど手でスライドでき、これに応じた視界の移動とともに、画面内のボスキャラの移動に合わせて、ヘッドホン
からのサウンドが移動する
システム　GAINER + Max/MSP/jitter

万華響
http://nagasm.org/1106/installation2/kano2.JPG
http://nagasm.org/1106/installation2/kano4.JPG
展示発表　第5回SUAC卒展
作家　土屋香乃　技術造形学科4回生
概要　中央に円形のディスプレイのある八角柱の造形のサウンドインスタレーション。ディスプレイはタッチパネルになっていて、
来場者が触れると色々に変化する映像と音響を楽しむことができる
システム　Flash

digitalive paint
http://nagasm.org/1106/news2/sotsuten2008/DSC01007.JPG
http://www.youtube.com/watch?v=ioI7VuZI-Js
展示発表　インターカレッジ2007(多摩美術大学)　第5回SUAC卒展
作家　嶋田晃士　大学院デザイン研究科2年生
概要　スクリーンに自在に絵を描きサウンドを生成するインスタレーションの、本人のライブパフォーマンスによる展示。スクリーンの裏側
には、マグネットで追従する赤外LEDの発光体があり、これをスクリーン裏側のビデオカメラの画像認識で追従しながら描画する。
オリジナル製作のコントローラとグローブにより、色・パターン・色彩変化などのコントロールも行う
システム　Max/MSP/jitter

体感ブロック崩し
http://nagasm.org/1106/news2/sotsuten2009/DSC00175.JPG
展示発表　オープンキャンパス2008　メディアアートフェスティバル 2008　第6回SUAC卒展
作家　山本達弘　メディア造形学科4回生
概要　カメラの画像認識を用いたインタラクティブなインスタレーション。来場者は大きな赤色のブロックを持って移動すると、画面の
中の「ブロック崩し」のラケットがこの移動にリンクしていて、身体の移動によってゲームできる。古典的なブロック崩し、敵キャラを
狙い撃つシューティング、複数の楽器パートを囲む壁を崩すと音楽アンサンブルとなるミュージック、の3つのモードがある
システム　Flash

はやくスシになりたい
http://nagasm.org/1106/news3/MAF2009/DSC00207.JPG
http://www.youtube.com/watch?v=LO6nZHSgifU
展示発表　 オープンキャンパス2009〜2015
作家　野口佳恵　メディア造形学科4回生
概要　ゲタの上に卵と並んだシャリの上に、15種類のネタを置くと、それぞれのネタに対応したFlashムービーが上映されるインスタレーション。
シャリ内部にRFIDリーダが、各ネタ内部にRFIDタグがあり、全ての造形はフェルト製の手縫いで、ゲタ(陶器)とともに手作りした。3回生後期
「メディア造形総合演習I」作品として制作、最終評価会(無音版)から2ヶ月後の4月上旬に完成した
システム　Max/MSP/jitter, RFID, AKI-H8, GAINER, Flash

おはなしパネル
http://nagasm.org/1106/news3/MAF2009/DSC00208.JPG
展示発表　 メディアアートフェスティバル 2009　関西テレビ BACAJA2009 佳作入選 オープンキャンパス2010〜2015
作家　山村知世　メディア造形学科4回生
概要　4枚の木製のカードと、それを置く木製の台がある。カードを全部並べて置くと、4枚のカードのキャラの並ぶ順序に対応して、
4*3*2=24通りの「おはなし」(Flashムービー)が流れる
システム　Max/MSP/jitter, RFID, AKI-H8, GAINER, Flash

OTOkakecco
http://nagasm.org/1106/news3/20090724/DSC00011.JPG
http://www.youtube.com/watch?v=VV7WlU7qaiM
http://www.youtube.com/watch?v=OnPm0y_ORzA
展示発表　(メディア造形総合演習II最終合評会)
作家　見崎央佳　メディア造形学科4回生
概要　4人がそれぞれのマウスを同時に操作して行うFLASHゲーム。画面内にランダムに出現する音符をそれぞれのマウスに対応した
自分のアイコンで競って捕獲する。卒業制作として人間自身が体感するゲーム(画像認識を利用)インスタレーション作品を制作するための
プログラミングの練習として、専用の「4マウスインターフェース」を利用して制作した
システム　Propeller、GAINER、Flash

ふわり
http://nagasm.org/1106/installation2/fuwari2.JPG
http://www.youtube.com/watch?v=bTNAvcwDoB8
展示発表　SUAC展2009
作家　鈴木麻菜美 (生産造形学科3回生)
概要　10秒ほどの周期でゆっくり明滅するオブジェは、音に反応してサッと消え、しばらるすると明滅を再開する
システム　Arduino

心 臓 音
http://nagasm.org/1106/news3/IC2009/DSC00073.JPG
展示発表　メディアアートフェスティバル 2009　インターカレッジ2009(国立音大)　　「メディア造形総合演習I」作品
作家　大塚理絵　メディア造形学科3回生
概要　来場者は聴診器をつけて自分の心臓の音を聞く。この音から鼓動が検出されて、造形にある人間の心臓そっくりのシリコン製の
心臓が、エアー制御によって拍動するのが自分で見える
システム　Max/MSP、GAINER、電磁エアーバルブ

宇宙電話
http://nagasm.org/1106/news3/20100108/DSC00003.JPG
展示発表　第7回SUAC卒展
作家　石川幸　メディア造形学科4回生
概要　レトロな電話器のチューニングダイヤルを回すと、受話器から聞こえる番組の音が切り替わり、ディスプレイでその映像も見ることができる
システム　Flash、GAINER

二人はウラハラ
http://nagasm.org/1106/news3/20100108/DSC00009.JPG
http://www.youtube.com/watch?v=VxvXwnzsQ00
展示発表　第7回SUAC卒展
作家　野口佳恵　メディア造形学科4回生
概要　女の子と男の子の造形の重ねた手の部分に、いろいろな小物を乗せると、その小物にちなんだ二人共通の「たてまえ」エピソードが
中央のスクリーンに投射され、次いでそれぞれのお腹の部分のスクリーンに「本音」ムービーが投射されて二人それぞれの本音が語られる
システム　(Max/MSP/jitter + ミニジェクタ) * 3セット、RFID、GAINER、AKI-H8、OSC

食音植物
http://nagasm.org/1106/news3/20100723/DSC00046.JPG
http://nagasm.org/1106/news3/20100723/DSC00075.JPG
展示発表　「メディア造形総合演習II」作品
作家　伊熊千晶　メディア造形学科4回生
概要　ターンテーブルとラッパ型の花からなる蓄音器のような造形作品。ターンテーブルを回して花の中央に声や歌を食べさせ(録音し)、
あらためてターンテーブルをより高速に回すと、録音されたサウンドが花のゲップとしていろいろに変調されて花の中央から出てくる
システム　Max/MSP、Gainer

花音(CANON)
http://nagasm.org/1106/SYNC2010/newSONY1/DSC00048.JPG
http://www.youtube.com/watch?v=BraINGJVHzE
http://www.youtube.com/watch?v=Zx3evaOks0A
http://www.youtube.com/watch?v=nVSi9zGHKGk
http://www.youtube.com/watch?v=wDXuxi0xtpU
展示発表　インターカレッジ2010(昭和音大)　第8回SUAC卒展
作家　山村モモ　メディア造形学科4回生
概要　床には音を出し音に反応して光る4つの花の造形がある。作家本人がそれぞれの花に水を注ぐようにサックスを演奏すると、その
フレーズがサンプリングされ、変調されてその花から繰り返し鳴らされて光る。次々に花にフレーズを録音して重ねることで4パートの
カノン音楽が形成され、最後にこれをバックに作家本人がアドリブのサックス演奏を行う、というインスタレーションを伴ったパフォーマンス作品
システム　Max/MSP、AKI-H8、フットスイッチ、MIDI調光装置

hikiribi
http://nagasm.org/1106/news3/sotsuten2011/DSC00088.JPG
展示発表　第8回SUAC卒展
作家　松川宏美　生産造形学科4回生
概要　ガラスとアクリルで制作したデスクランプ。目覚めてランプに息を吹きかけると、次第に明るくなっていく
システム　音センサ、Arduino

海潮音
http://nagasm.org/1106/news3/20110204/DSC00065.JPG
http://nagasm.org/1106/news3/20110204/DSC00062.JPG
展示発表　「メディア造形総合演習I」作品
作家　小畑志織　メディア造形学科3回生
概要　シリコンの糸で隣接した同士が結びつけられている19枚*19枚の金属板が敷き詰められたテーブル状の造形作品。台の上にある
本のページを繰ると、金属板の一部が細かく振動し、全体に波紋(仏教用語の海潮音)として共鳴しながら広がっていく
システム　Max、Gainer、ソレノイド、磁気センサ

もふぽっど(mofPod)
http://nagasm.org/1106/news3/20110204/DSC00115.JPG
http://nagasm.org/1106/news3/20110204/DSC00123.JPG
展示発表　「メディア造形総合演習I」作品
作家　平井咲子　メディア造形学科3回生
概要　人間がその中に包まれて癒されながら音楽を聞ける、巨大な可愛い怪獣型の音楽プレイヤー。音楽のサウンドに反応して背中が
いろいろなパターンで光る。両手の肉球にはiPodと同様のコントローラがあって選曲や音量などを変更できる
システム　Max/MSP、Gainer

ひとり応援団
http://nagasm.org/1106/news3/20110722/DSC00012.JPG
http://www.youtube.com/watch?v=swgZ3BhqxLc
展示発表　「メディア造形総合演習II」作品
作家　中谷 亘　メディア造形学科4回生
概要　学ランを着た制作者本人が、色々なセンサを用いたインスタレーションを活用して、一人で日本を元気づける応援団のパフォーマンスを行う
システム　Max/MSP、Gainer、加速度センサ、曲げセンサ、フットセンサ

OTOcakecco
http://nagasm.org/1106/news3/20120106/DSC00009.JPG
http://www.youtube.com/watch?v=6wTE2CgXT9c
展示発表　第9回SUAC卒展 (修了制作)
作家 見崎央佳　デザイン研究科・修士2年
概要 暗い「瞑想空間」の中央に、直径2メートルのリングが上下3段にわたって吊るされ、それぞれのリングに直径20cmの球体が7個、配置
されている。各リングの7個の球体は異なる7色にうっすら発光していて、叩くと強く輝いてそれぞれの色に対応した音階の音が鳴る。音階は
Diatonic Scaleであるが一周しても音の高さがジャンプしない無限音階(シェパードトーン)になっていて、各階層ごとに音色も異なる。各球体の
色(叩くと鳴る音)は時間とともに変化するので、リングの中や外の体験者は追いかけて叩くことで音楽を演奏する。もう一つの動作モードでは、
暗い中でどこか1つの球体が光るのでそれを叩くと次の球体が光り、これを続けるとあるメロディーの曲が出現する
システム Max5、24ch衝撃センサ(AKI-H8)、多数LED発光モジュール(AKI-H8)

日本の音風景
http://nagasm.org/1106/news3/20120807/DSC00121.JPG
http://nagasm.org/1106/news3/20120807/DSC00127.JPG
http://www.youtube.com/watch?v=IeEdFhLzwRU
展示発表　「メディア造形総合演習II」作品(パフォーマンス)
作家 李　徑勲(イー・ギョンフン/Lee KyungHoon)韓国・ホソ大学校 交換留学生
概要 三味線を改造した楽器を演奏するパフォーマンス。背景音楽とライブ投射映像は、海外から日本に来た外国人が目新しく感じる
日本の音風景をテーマとしている
システム Max/MSP/jitter、タッチセンサ、加速度センサ、Arduino、XBee

カラーオーケストラ
http://nagasm.org/1106/news3/20120807/DSC00038.JPG
http://www.youtube.com/watch?v=p7910CXUbfk
展示発表　「メディア造形総合演習II」作品 オープンキャンパス2012
作家 柳　俊煕(リュ・ジュンヒー/Ryu Junhee)　韓国・ホソ大学校 交換留学生
概要 11種類の異なった色(4色は打楽器音、7色は異なった高さの楽器音)それぞれ4個、計44個のキュープを、8角形の台のソケット上に
自由に積んでいく。8角形の台の中央には8カ所のソケットに対応したブルーLED8個のうち1個が点灯し回転していて、点灯している場所の
ソケット上の全てのキュープに対応した音が鳴る。手前のスイッチでは、演奏のStart/Stop、楽器音の音色の変更、楽器音の音量の上下、
テンポの変更、楽器音の音域の変更などを指定できる
システム Max/MSP、AKI-H8

三味線の兵(つわもの)
http://nagasm.org/1106/news4/syami/shami002.jpg
http://nagasm.org/1106/news4/syami/shami006.jpg
展示発表　オープンキャンパス2013
作家　「しゃみーず」(油屋小雪・数馬あやの・駒井佐和子)　メディア造形学科3回生
概要　前期「音楽情報科学」課題作品。改造三味線にカラーアルミ針金を3本張り、導電塗料を塗布したバチによる演奏情報を
「タッチセンサ→Arduino→XBee」でワイヤレス送信し、「XBee受信→Arduino→Gainer」インターフェースにより受け取り、「太鼓の達人」
のように音楽と同期して正しい弦を正しいタイミングで弾くFlashゲーム
システム　Flash、Gainer、タッチセンサ、Arduino、XBee

Sand Art
http://nagasm.org/1106/news4/sand_art/DSC00019.JPG
http://www.youtube.com/watch?v=nqoPaT4CGmw
http://www.youtube.com/watch?v=pUPCTPANnEk
展示発表　メディアデザインウイーク2014
作家　柳　俊煕　リュ・ジュンヒー　大学院デザイン研究科1年生
概要　巨大な正方形の鉄板テーブルの2稜にある4個の距離センサに体験者が手をかざすと、鉄板に繋がっている4個の巨大振動スピーカ
から変化する低周波によって鉄板が振動して、その上に振りまかれた砂が色々な模様に変化する
システム　Max6、赤外線距離センサ、Gainer

あふれこっつ
http://nagasm.org/1106/news4/20140208/DSC00009.JPG
http://www.youtube.com/watch?v=Ld9IkbbOcfg
展示発表　メディアデザインウイーク2014
作家　土佐谷有里子　メディア造形学科3回生
概要　アニメーションmovieに複数トラックでアフレコを付けられ、結果をミックスしたmovieとして書き出せる。サンプルとなる30秒間の
オリジナル・アニメーション作品2本も制作した
システム Max6、スタンドマイク、USBオーディオI/F

CUT SOUND ROOM
http://nagasm.org/1106/installation4/tosaya04.jpg
展示発表　「メディア造形総合演習II」作品
作家　土佐谷有里子　メディア造形学科4回生
概要　SUAC「瞑想空間」の中央に置かれた台のハサミで空中を切ると、上空の「靄夜」が光を放ち、周囲8系統の直進スピーカからの
ハサミの音が降ってくる
システム　Max6/MSP、「靄夜」、パラメトリックスピーカー(直進スピーカー)

POMPOM
http://nagasm.org/1106/news4/POMPOM/Ryu09.jpg
http://www.youtube.com/watch?v=pvf1KAGFJc0
展示発表　第12回卒展 (修了制作)
作家　柳　俊煕　リュ・ジュンヒー　大学院デザイン研究科2年
概要　「新楽器」。3Dプリンタで筐体を制作。9個のタッチセンス・パッドの時間差をつける段差、回転テーブルの検出のためにフォト
インタラプタを通過するスリットまで3D CADで実現した。揺すると3次元加速度も送るDJ楽器である
システム　mbed、Max/MSP、XBee

おしゃべりスリッパ
http://nagasm.org/1106/news4/20150217/DSC00018.JPG
http://www.youtube.com/watch?v=b1is-mC7a7Q
示発表　第12回卒展
作家　菅内祐未子　生産造形学科4回生
概要　体重センサが仕込まれたスリッパ。いろいろなシチュエーションと体重に応じて話しかけてくる
システム　Max/MSP、Gainer、WiiFitセンサ

浜松に戻ってもこれ以上の資料はありませんので、ここから適当に選んで下さい。ホテルの部屋で1時間ほどかかりました。(^_^;)
・・・ということで、せっかくのお仕事を今日の日記に加えたところで10時を過ぎた。 今日はEC2015の午後セッションから参加の予定で、その前には懸案をぜひ片付けたい。 というのも、今年の6月、 音知学会2015 で札幌に来た時には、朝から藻岩山ロープウェイに行ったところ、営業時間前で登れなかった・・・という悲しい思い出があったので(^_^;)、まずはここをクリアしてから市内に戻り、「札幌オータムフェスタ2015」を冷やかしつつEC2015の会場に向かう、という計画がばっちり立っているのである。

2015年9月26日(土)

「曇り」であるものの、今日も快適な札幌の朝である。 昨日は予定通りに、「藻岩山ロープウェイ」「札幌オータムフェスタ2015」をクリアしてEC2015の午後セッションに行き、あれこれ面白い研究をチェックして、晩には6月に発見したお店にも行って、充実して終わった。 SUACとのメイルのやりとりも、模擬授業の話が旅費についても内容の問い合わせについてもしっかり進み、さらに古田先生の資料もYouTubeに上げた動画をダウンロードして自分のWebに上げて提供して、無事に片付いた。 今日から土日でお仕事関係はストップするので、あとは来週に浜松に却ってからで大丈夫だ。

今日は午前のセッションの最後に発表ということで、Myoなど機材を持参して朝イチから会場に来てみたが、なんと驚いたことに会場のコンセントは全て特殊な形状で、つまりは来場者が電気のタダ使いを出来ないようになっていた(^_^;)。 昨日も「会場にWiFiサービスはありません」とあっさり言われて愕然としたのだが、なんともEC2015は高飛車・低サービスな会議のようだ。 そこで事務局に掛け合って、デモ会場で専用のアダプタから電源を取っているブースにお願いして、朝イチのセッションの時間中、Myoをチャージさせてもらう事になり、なんとか準備を整えた。 しかし、内職で進めようと思っていたArduinoとかの実験は、全てこのMacBookAirのバッテリから取るので、ACアダプタを使えない環境ではちょっとやりにくくなった。 仕方ないので、ここでは内職として、これまで僕がMIDIベースでやってきた以外の「Maxの外部I/F」について、過去の事例を整理してみることにした。 材料としては自分のサイトにあるコンテンツを参照するのだが、WiFiが無いので、全てUSBメモリにbackupしたコンテンツから探すことにした。

いつもフォトカプラTLP552と74HC05でMIDIインターフェースを作って、AKI-H8でもPropellerでもMaxの王道のMIDIインターフェースを作ってきたのにたいして、初めて別インターフェースを使ったのは、おそらく 初めてのXBee のページを作った2012年あたりからのようである。 つまり、ニーズとして「ワイヤレス」の必要性から、それまで触っていなかったXBeeを使って、これをMaxで受けるとなればserialオブジェクトだ、という流れである。 これで時期が特定できたので、この時期の「日記」シリーズを調べてみると、 続・Propeller日記(1) の「2012年8月28日(火)」から、PropellerのOLEDモジュールにXBeeを繋いで、ホストのMax側でもXBeeで通信する、というのを、欧州ツアー中に以下のようにばりばりとやっていたのだった。(^_^)

そしてこの流れはしばらくスキップして、今度は2013年に Raspberry Pi日記 で再開して、Raspberry PiにXBeeを繋いで、以下のようにRaspberry Pi上のPythonプロセスとMaxとでXBeeによるシリアル通信を実現していた。 ここでもMaxではserialオブジェクトが活躍している。(^_^)

さらにこの「postGainer日記」に直結する話題として、 Max6日記(2) の「2014年6月19日(木)」に、LittleBitsSynthで遊びつつ、LittleBitsArduinoモジュールをFirmata化して、Maxからmaxuinoで通信していた。 以下のような様子であり、ここが今回の日記にもっとも直結する話題となるだろう。

ここからまたまたちょっと月日が過ぎて、 Max6日記(3) の「2014年8月15日(金)」から、本格的に「LittleBitsArduinoモジュールをFirmata化して、Maxからmaxuinoで通信」「ClydeをFirmata化して、Maxからmaxuinoで通信」というのを以下のように進めていた。 これはもう、完全にArduinoをFirmata化してmaxuinoで使っていて、正統的な「postGainer」そのものであるが、この日記ではさらにその先に行きたいのである。

・・・そしてここで無事に発表を終えて(^_^)、2015年の中盤に何件も続いた「Myo+ジェスチャ認識+バイオフィードバック+内受容感覚+情動+エンタテインメント」というネタの発表シリーズがほぼ終わった。 正確には、11月の那覇での「リハ工学カンファレンス」が最後となりそうである。 発表も終わったし、電源もWiFiも無い会場はけっこう辛いので、セッション終了後にはまたまた「札幌オータムフェスタ」に行き、午後は早めに宿に帰ってお仕事を続けることにしよう。

2015年9月27日(日)

曇りであるものの快適な4日目の札幌の朝、二条市場を冷やかし、「サッポロファクトリー」のレンガ館の前のカフェで休憩中。 オータムフェアで連日、昼からずっしり食べたり飲んだりして、さらに昨夜まで3日連続で(5曲・18曲・18曲)歌っていて(^_^;)ちょっと疲れてきたので、今日は大人しくEC2015最終日を眺めて、さらに北海道の味覚を満喫する予定である。 さて、今回の出張の宿題だった Arduino2Max について、ここで整理しておこう。

上のzipを解凍すると、ArduinoのスケッチとMaxのパッチが入っているが、これをちょっとスッキリさせたものを作ったので、ここでは このzip を使って解説する。 元々のMaxパッチを「Arduino2Max_1.maxpat」とリネームして、改定版を「Arduino2Max_2.maxpat」とした関係で、元々のArduinoスケッチを「Arduino2Max_1.ino」とリネームして、このinoファイルを入れたディレクトリも「Arduino2Max_1」としてあるので注意されたい。 このArduinoスケッチはとてもシンプルで、以下である。 

int x = 0; 
int ledpin = 13;

void setup(){
	Serial.begin(115200);
	digitalWrite(13,HIGH);
	delay(600);
	digitalWrite(13,LOW);
	pinMode(13,INPUT);
}

void loop(){ 
	if (Serial.available() > 0){ 
		if (Serial.read() == 'r'){
			for (int pin= 0; pin<=5; pin++){
				x = analogRead(pin);
				sendValue (x);
			}
			for (int pin= 2; pin<=13; pin++){
				x = digitalRead(pin);
				sendValue (x);
			}
			Serial.println();
			delay (5);
		}
	}
}

void sendValue (int x){
	Serial.print(x);
	Serial.write(32); 
}
要するに5msecのインターバルの無限ループで115200のシリアル受信をモニタしていて、受信データがあった場合、それが「r」という文字であれば、アナログ入力6チャンネルとディジタル入力12チャンネルのデータを読み込んで、データを文字列としてスペースで区切りながら一気に送る、ということである。

そして、上が元々のMaxパッチ「Arduino2Max_1.maxpat」である。 なんともデカい割に中身を見せておらず、改造して使うには大袈裟なので、これを実質的には何も変更せずにコンパクトに整理したのが、以下のMaxパッチ「Arduino2Max_2.maxpat」である。 ここではサプパッチも表示しているが、使うには左側の小さなものだけでOKである。

・・・勿体をつけていたが、整理してまとめると、これで Arduino2Max はオシマイなのだった。 これは実質的にはセンサ/スイッチ入力専用で、ハンドシェークのために一応は双方向であるものの、Arduinoはたった1文字の「r」を受けるだけで、「ArduinoはMIDI受信には使えない」という僕の結論からも妥当な使い方である。 Arduinoのシリアルは割り込みとかの無い貧弱なものなので、Maxからびしばしとデータを送ったら、簡単に受け損ねるのだ。 MIDIでは1バイトでも受け損ねたら「音が鳴り止まない」という致命的なトラブルとなるので、「ArduinoはMIDI受信には使えない」のである。 Gainerのように出力の出張所としてArduinoを使う場合には、もっとちゃんとしたファームウェアが必要となるが、これは今後、機会があれば取り組んでみよう。

2015年9月28日(月)

札幌から浜松に帰着する日の朝である。 さすがに新学期直前ということもあり、あれこれのお仕事メイルが届いて対応してきたが、受け取って不要と速攻削除せず、SUACに帰ったら改めて読んで処理すべき「一時保管」フォルダに収めたメイルは既に51本である。 さらに久しぶりに懐かしい人から以下のようなメイルが届いた。 
This year we have the jubilee Festival "SYNC.2015".
We would be glad to your visit and participation. But this year we don't have government funding. 
So we couldn't invite you. Hope your visit and participation will be possible in the future.  
... 

Dear Yoichi,
we would be delighted if you could join the international internet-jury to assess the participants' works.
Can you find time for this?

Sincerely Yours
Tatiana
これは、ロシアの「Director of the Yekaterinburg, ElectroAcoustic Music Studio」のTatiana V. Komarova女史からのメイルである。 2010年の12月、 ロシアツアー に行って、電子音響音楽の国際コンペの審査員、3日連続の90分レクチャー、コンサートでの新作世界初演(→この作品はNIME2011に採択されて翌年ノルウェーのオスロにて再演)、という"SYNC2010"で呼んでくれた作曲家である。 その年には、たしかパイオニアからの受託研究(車酔いとサウンドの関係)をしていたので旅費が工面できて参加できたのだった。 ただし今年は、既に Sketching2015 と SI2015 の2回の海外出張に出てしまい、新たに始まったトヨタの共同研究の旅費予算はあるものの、10月末という時期はちょっと苦しいので、丁寧にお断りの返信を出した。 ロシアについては来年にツアーの可能性があるので、ここはじっと我慢である。

・・・そしてここから「めざましテレビ」をBGVにして朝5時〜7時あたり、後期「サウンドデザイン演習」、新入生向け「基礎演習C(初日)」、10/12神戸セミナー、と共通の材料整理という宿題が残っていたのを片付けた。 上のように、過去4年間の2回生必修専門科目「サウンドデザイン」の最終課題Maxパッチ作品から厳選に厳選を重ねて、「見栄え」「面白さ」「改訂の可能性」などの視点から19本をまず選んだ。 さらにここから、使う場に応じてさらに選択したり追加改訂したり、という作業が必要になる。 調べてみると新千歳空港にラウンジがある、と発見したので、ここで出発することにした。

・・・そして新千歳空港スーパーラウンジでコーヒーと共にメイルを開いてみると、まだ09:30ではSUACからのメイルは来ていなかった。 電子情報通信学会のジャーナルのメイルが届いていたが、これは自動発信だろう。 ぼちぼち事務局とか学会とかが動きだすのはこれから・・・と思っていたら、案の定、09:35にSUAC事務局から全教員宛の事務連絡メイルが届いた。 こうして1週間がまた始まる。 今週の予定としては、月曜日(今日)は午後にSUAC帰着してあれこれあれこれ事務処理。 明日の火曜日には午後にTOYOTAの人が来て某プロジェクトを少し進める。 水曜日は新入生向けの領域説明会があるが、これは古田先生が担当するので出席せず、後期「総合演習I」の企画に関して、ゼミのマブンさんのアポが入っている。 木曜日は朝イチから病院に行って、リベンジ第2段階のピロリ菌除去の抗生物質が効いているかどうかの検査があり(結果診断は来週)、午後にはお仕事として出るだけ(何か急用が入ることを期待)の報告会がある。 そして金曜日の午後に、後期の講義初日として「サウンドデザイン演習」が始まる。 今年はメディア造形学科として最後の学年なので、ちょっと記念碑的な「何か」を狙っている(^_^)。 週末は筑波の母親の顔を見てから水戸に行き、何年かぶりに高校の同窓会「歩く会」に参加、またまた来週月曜日の午前に浜松に朝帰りであり、その日の午後に新入生向け「基礎演習C(初日のみ担当)」という、ちょっと勝負の時間が待ち構えている。 新入生を前にする最初の機会なので、何かやってやろう、とこちらも燃えているのだ。

ということでぼちぼち10時、フライト30分前なのでゲートに向かうことにした。 今日はここまで、「postGainer」はその後に再開である。

2015年10月1日(木)

上の日記の後、9月28日(月)は15時に研究室に帰った後で、50本以上の「仕掛りメイル」を処理して終った。 翌日、9月29日(火)になってから、動画3本をYouTubeに上げつつ700枚以上の写真を整理して 札幌フォトレポート を上げると、ほぼ午前が経過して、午後にはTOYOTAが来て共同研究のあれこれを進めたところで終った。

昨日の9月30日(水)には、Gainer終了を受けて新たにArduinoベースでのスケッチングという事で、京都市立芸大での2日ワークショップ(10/26と11/9)の日程が決まったり、来年にかけての重要な予定についてのメイルが行き来し、さらに芸術科学会論文誌に投稿を目指している第1稿へのコメントも受けとった。 午後にはゼミのマブン・アポを受けてあれこれ作戦会議をして、後期作品の企画検討のアドバイス、さらにプログラミングも身に付けたいという希望を受けて、毎週金曜日3限を個人特訓の「マブンProgramming講座」として確保することにした。 過去には、ゼミの希望者2人が毎週、同様に確保したコマに1106に来て、「iPhoneアプリ・プログラミング講習会」をやった事もあったが、こちらはちょうど、「Arduino2Max」とかProcessingあたりから始めて、ゼミの作品とも連携して進めていこう。

そしてピロリ菌検査を終えた今日は、いよいよあれこれ再開である。 まずはスキャナで上の2枚のスケッチを取り込んでみた。 これは先週の火・水のアカペラ合宿で、「夜のセッション」の時に話題となったメモである。 その日のニュースで、コピペ佐野研二郎氏の東京オリンピックエンブレム盗作却下に関して、新しいエンブレムのコンペは、誰でも(幼稚園児でも)団体でも応募できるようなルールになりそうだ、というのが流れてきた。 こうなれば、我々アカペラとしてもエンブレムデザインを応募し、またゼミでも相談して応募していこうではないか・・・という、飲みながらのブレーストーミングの結果なのである(^_^;)。 なんか「雲古ネタ」に落ちていってしまったのだが、このアイデアはゼミの前澤さんの作品で蘇るかもしれないところが 恐ろしい 面白い。

そして久しぶりに、テーブルの上にあれこれ並べてみた。 夏休みモードと決別して、ぼちぼち着手の予定の奴らである。 これは明日の「サウンドデザイン演習」と来週末の神戸での「バイオフィードバックセミナー」、そして今月末と来月上旬に行う京都芸大のワークショップに関するものであり、さらには村尾先生と始めそうな気配の共同研究プロジェクトにも関係している。 お馴染みのGainerやArduinoはいいとして、新しく購入してまだ触っていない新しいセンサが2種類、遊んでくれるのを待っているのだ。(^_^)

上のセンサは「呼吸センサ」であり、1本12000円ほどする。医療用のちゃんとしたものである。 ただし購入に際してはメーカの用途問合せに対して「生体実験用で医療用途には使用しません」と明言した。 かつて AKI-H8による呼吸センサ というのを作ったことがあったが、これとほぼ同等のものを15年ぶりに再開という事である。 同時に呼吸3チャンネル、筋電6チャンネル以上の計測が必要であり、さすがに今回はMIDIでもArduinoでもなく、最終的には115200のmbedで作ることになるだろう。

そして上のセンサは、なんと新たに入手した、中国・深センのベンチャー Seeed社 の Grove - EMG Detector という筋電センサキットである。 ボード単体があれば十分なのだが、電極とセットになっていて、商社の手数料を加えて1セット5000円ほどで購入している。 これは院生の杉浦さんに教えてもらって、さっそく購入してみていたのだ。 ちなみに一昨年の Sketching2013 では、 SparkFun社 のCEOとともに、この Seeed社 のCEOともお友達になっていた(^_^)。 彼は ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ のように情熱的で誠実なナイスガイだった。

そして先週には上のように、このSeeed社からKickStarterに カスタマイズ・スマートフォンを作るキット というのが出て来て、さっそく投資したところだったのである。 CEOの彼は このビデオ にも颯爽と登場している。 ただし日本では総務省の利権関係で、なかなかスマホを自由に作って自由に使うのは難しいだろうが、世界的にはなかなかショッキングなプロジェクトである。 既に想定額の5万ドルを遥かに超えて残り4週間だというのに16万ドルを調達しているので、これは実現が楽しみである。

2015年10月6日(火)

上の日記の後、10月2日(金)は体調不良を抱えて午前と午後にそれぞれ医者に行きつつも、なんとか「サウンドデザイン演習」の初日を終えた。 今年は受講者が多いので、たくさんのグループから面白い課題作品が生まれそうで期待できる。 そして10月3日(土)の朝に浜松を出て筑波を経由して水戸に行き、10月4日(日)は高校の同窓会として「 復活・歩く会 」というのに参加した(1106のページにはリンクを置いていない)。 高齢の3人の先生とともに、57歳のおじさんおばさんが延々と16kmほど歩いた(^_^;)。

「復活・歩く会」同窓会にも参加してさらに水戸泊(ただし今回はカラオケ2次会をグッと堪えてパス)、そして10月5日(月)に浜松に朝帰りした(帰着はお昼)。 列車の中でHTMLを打ってきたのをさらに3限に準備して、4-5限は新生「デザイン学科」の新入生を相手に、定員を超過して抽選必至の「基礎演習C」の初日担当として、 このような プレゼンを完遂した。 パソコンの中に肝心のインスタレーションのMaxパッチが置かれていなくてパスした、というのは御愛嬌である。 過去には3ヶ月前からSUAC研究棟の階段上りをしていたりしたのに、今年はまったく準備していない状態での「復活・歩く会」参加で全身が痛いのに加えてまだ体調不良(原因は判っているものの抜本的対策は無いという厄介な奴)も引きずっていたが、なんとか無事にインパクトを残した(と思う)。

午後にアポの入っていた院生の杉浦さんからキャンセルの連絡が届き、まとまった時間が出現したので、ここでいよいよ来週10/12(月/祝)に迫ってきた、バイオフィードバックセミナーの準備に着手した。 上がそのスタートの模様である。 まず、過去のArduinoワークショップで、参加者に配布するために量産していた「センサ付Arduino実験基板」を確認したところ、7枚は完全に同一だったが、あと2枚はケーブルをカットして、超音波距離センサが無い状態だった(^_^;)。 そこで、とりあえずこの7枚に、 このスケッチ をそのまま改編せずにArduinoに書き込んで動作確認した。 これはセミナーでは、これまでのGainerの代替品として使えることになる。 さらに、前期「音楽情報科学」の4回生グループで、安森さんが頑張って作ったMaxパッチ(4個のグリップを握ってアニメを進めるゲーム)が、まさに「リハビリ」のためのバイオフィードバックとも言えるので、これも持参することにした。 さらにいつもの、「いじいじセンサ」「いじいじ楽器」「ダブルMyo」「leap motion」もパッキングした。 昨日もデモった、Gainer版のテルミン(加速度センサ)も入れた。

そして最後に取り出してきたのが、届いたばかりの、上のSeeed studioの筋電センサモジュールである。 これを、せっかくなので、余ったArduino実験基板のアナログ入力に繋いでしまえば、これは来週のセミナーの格好のサンプル題材となるだろう。

このArduino実験基板をじっと眺めると、なんとseeed筋電センサが表と裏の両方に、超強力両面テープで実装可能と発見して、上のように2チャンネル筋電バージョンを作ってしまった。 Seeed studioの Grove - EMG Detector というページから、電源は3.3V〜5Vでいいこと、筋電信号出力は最大でも3.3Vであること、そしてスタンバイ状態では1.5Vあたりになること、を確認した。 どうやら、「生筋電」でなくて、LPFをかけて「筋電エンベロープ」にしてしまうようだ。

とりあえず完成した姿としては、上のようなものになった。 ここにArduinoのIDEから、 このスケッチ をそのまま改編せずにArduinoに書き込んで、システムは完成の筈である。

そして、一人だとちょっと面倒なものの(^_^;)、上のようになんとか電極シールを剥がして2チャンネルを腕に取り付けてみると、奇麗に筋電エンベロープを得ることが出来た。 差動増幅の電極は「赤」と「黒」であり、基準接地が「白」である。 ちなみに「白」は筋肉のある場所でなく、手首や肘の骨の上に貼るというのが定石である。 ここまで来れば、リサジュー解析で特徴を強調抽出したり、あれこれ筋電リハビリに応用する道が拓けてくる。 これは最初のとっかかりとしては上出来で、なかなかSeeed studioもやるものだ。(^_^)

2015年10月7日(水)

ここ の「2015年5月29日(金)」にあるように、今年の人間ドックの胃カメラでピロリ菌が発見されて、6月には下痢しながら第1陣のピロリ菌除去抗生物質治療を行ったが、経過観察期間の1ヶ月後、アリゾナでの Sketching2015 から帰ってきて除菌治療結果の検査をしてみると、「駄目」だった。(^_^;)

そして第2陣のピロリ菌除去抗生物質治療に移り(ここまでは健康保険が効く。第3陣になると全額自己負担)、1週間の投薬に続いて、 シンガポールでの SI2015 、松山での FIT2015 、札幌での EC2015 に行ったり、と出張が続いた後に、この日記の「2015年10月1日(木)」のところにあるように、2回目の除菌治療結果の検査に行った。 これはまず、呼気を採取して、次に炭素の放射性同位元素C14の入った尿素錠剤を飲んで15分してから再び呼気を採取して、その中のアンモニア濃度を比較する、というものである。 胃にピロリ菌がいると、強酸(胃酸)から身を守るために、ピロリ菌は尿素を分解してアンモニア(アルカリ性)の粘膜を出すので、比較した呼気中にアンモニアが規定濃度以上あれば「ピロリ菌が生息している」事になるのだ。 そして結果は以下のように、無事に 怨霊退散、ピロリ菌消滅 という結果が出た。これはもう、晩には乾杯である(^o^)。 いつも晩には乾杯しているような気もするが(^_^;)、気分がまったく違うので、これは飲むしかない。

そして2限にはゼミがあり、後期に集結したメンバーで報告・情報交換・議論・日程確認などあれこれ進めた。 今月中には、「ピロリ退散記念・ゼミ懇親会」(^_^;)も予定することになった。 石井さんは手描きアニメを進めることになった。 マブンさんは2案を持参して、さらに検討、という事になった。 前澤さんの「ウ○コ製造機」については、後でSketchingの記録を発掘して、 これ を送った。 「卵に絵を描くマシン」の研究者の写真であり、これに近いシステムを開発することになる・・・という説明である。(^_^;)

3限にはM2の杉浦さんと相談して、毎週のコマ確保、そして筋電リハビリシステム、という新しい目標の実現に向けた相談を進めた。 SUAC研究倫理審査委員会への打診、学外の医療/養護機関への協力依頼など、お仕事も増えてきた。 いよいよ後期もスタートダッシュである。(^_^)

2015年10月8日(木)

この日は朝6時に研究室に出てみると、村尾先生からのメイルで、いよいよ科研費に「呼吸と発声」のテーマで応募する、というのが届いていた。 村尾先生が代表で僕は共同研究者という事になるが、実験のデザインと実施は僕がメインになるので、このかなりな予算が獲得できたら、ちょっと気張って立派な実験システムを構築することにしよう。 これからあれこれ事務的な書類の対応が続くが、これを乗り越えないと実現できないので、まったく好きではない作業だが、頑張るしかない。(^_^;)

そして水面下で午後に某突発企画が出現したのを受けて有休を出し、10時過ぎには帰宅することになった。 なんせ今日はSUAC薪能のために、廊下を消灯しろとか駐車場を使うなとか、いろいろ五月蝿いので脱出を図る、年に一度の日なのである。 それまでの時間にちょっと整理したいのは、これからの「Arduino2Max」の開発スタイルについてであり、アカペラ合宿の出発前に「9月22日(火)」あたりで考えていた事の続きとなる。 この日記で前述しているように、Gainerには8つのモード(実質的には6つのモード)があり、その全てを小林さんはファームウェアとして搭載していて、Max/Flash/Processingからのコマンドによってモードを切り替えていた。 それを今後、どのように継承・発展させていこうか、という作戦である。 Arduinoのスケッチと対応する呼び出し側のMaxパッチとで、プロトコルの対応が取れていないといけないので、ここはけっこう重要なのだ。

上記の「Arduino2Max」(Arduinoソースプログラム)は、ホストMaxからのコマンドとしてあれこれ定義せず、1文字「r」をハンドシェークのきっかけとしている。 もちろん、1文字限定としてもあれこれ定義して、ここに判定処理を入れて複数のタイプのコマンドに対応するように、つまりGainerと同様に複数モードのファームウェアを搭載してコマンドで選んでもいいのだが、ArduinoのスケッチはFirmataのように重厚長大となり、見通しが悪くなる。 せっかくArduinoのファームウェアは自在にスケッチして改訂できるのだから、Gainer/Firmataと同じスタイルに拘泥せずに、例えば以下のようなスタイルにする、というsolutionもありそうだ・・・というのが着想の原点なのである。

このスタイルのメリットととしては、例えば学生プロジェクトにおいて、過去にGainerを用いたMaxプログラミングでは、Gainerオブジェクトが「お仕着せ」のブラックボックスだったのに対して、Arduinoもプログラミングすることで、MaxプログラミングとC言語プログラミングの両方を体験し、さらにファームウェアのアップロードやホストとのハンドシェークをソースから理解できる、という教育的な意義がありそうだ。 ArduinoやProcessingでは、ソースプログラムはそれと同じ名前のフォルダに入っていないとイケナイ、という頑固な仕様(^_^;)があるが、どうせならこのArduinoスケッチフォルダの「変更できない名前」を逆手にとって、対応するMaxパッチの名前も同一にする(_001などを添えてバージョン管理)、とすれば、対応が取れない組合せのトラブルを回避できるだろう。

2015年10月9日(金)

昨日の突発は29曲ということで、充実した白昼堂々となった。 今日は2限に前澤さんアポで、碧風祭に向けてレーザー装置の貸し出し、マルチメディア室保管Macでの動作確認などを進めた。

そして昼休み、ふと、上のArduino Nanoの手持ちを増やそうと業者に発注してから判明したのが、どうやら「Arduino Nanoが無いカモ」(^_^;)という事だった。 国内あちこちの商社サイトに行っても、何故か「Arduino Nano」が出て来なかったり、スイッチサイエンスではいつもの「在庫切れ」となっていた。 そこで、Arduinoのサイトに行ってみると、どうも新しいボードに切り替わりつつある事に気付いた。

そしていくつか調べて、以下の「Arduino MICRO」も発注した。 これは内部的には「Arduino Leonardo」に似たものを、「Arduino Nano」ばりに小さくしたものらしい。 さらに以下のようにアナログ入力が12ポート、というのが気に入った。(^_^) 

Microcontroller 	ATmega32U4
Operating Voltage 	5V
Input Voltage (recommended) 	7-12V
Input Voltage (limit) 	6-20V
Digital I/O Pins 	20
PWM Channels 	7
Analog Input Channels 	12
DC Current per I/O Pin 	20 mA
DC Current for 3.3V Pin 	50 mA
Flash Memory 	32 KB (ATmega32U4)
of which 4 KB used by bootloader
SRAM 	2.5 KB (ATmega32U4)
EEPROM 	1 KB (ATmega32U4)
Clock Speed 	16 MHz
Length 	48 mm
Width 	18 mm
Weight 	13 g

こちらはスイッチサイエンスでも「在庫多数」となっているので、来週あたりにさっそく、遊んでみよう。 「Arduino2Max」の方も、アナログ入力ポートが6から12になっているので、さっそく新しいモードの開発が必要となる。 (夕方に業者から届いたメイルで、かろうじて国内でも「在庫僅少」のArduino Nanoをゲットできた(^_^;))

午後になり、3限には上のように「マブン・プログラミング講座」がありゼミ学生有志も参加した。 1106のテーブルには華麗に4台のMacBookが並んだ。 本年度で切れる(来年度からSUACは新規にMax7を導入)ライセンスの余りがあったので、ゼミの学生3人はMax6を美味しくゲットできたというのは、たまたま今年だけの特権である(^_^)。 今週の勉強は「Maxの思い出し」で、 こんなバッチ で、センサ(マイク入力も立派な「音センサ」)のサンプリングについて勉強した。

そして4-5限は「サウンドデザイン」演習で、前半はマルチメディア室で、出揃ってきたグループ制作テーマの検討を行った。 その後に電子制御機器制作室に移動して、上のようにいよいよハンダ付けシリーズの開幕である。 今日は初日なので、まずは「練習」である。 こんな風景 となった。 そして来週はいよいよ、OKが出た学生から好きな電子工作キットを選んで、「キットを作る」に入り、さらにはWindows外付けキーボードをバラしての「改造」に挑戦である。(^_^)

2015年10月11日(日)

昨日は地味に、しかし着実にお仕事を進めた。 村尾先生との共同研究で科研費に申請するための書類は、代表者である村尾先生が書いてくれるので大助かりだが、共同研究者としての記載事項をまとめてメイルするまでに数時間かかって、さらに 神戸のセミナー資料 を作ったところで1日が終った。

そして今は神戸のセミナーの前日、午後には浜松から神戸に向かう午前であり、さらにいくつか 神戸のセミナー資料 を補足増強したところである。 調べてみるとNHK杯がなんと「屋敷伸之vs藤井猛」ということで、これはネットが騒然とする対局なので、その騒然を2ちゃんで眺めつつ対局観戦、という「生産性ゼロの日曜午前」と決定した(^_^;)。 夕方には神戸のホテルのロビーで打合せ、そして三宮で前夜祭である。

2015年10月13日(火)

無事に甲南女子大でのバイオフィードバックセミナーを終えて、新神戸から浜松に帰る新幹線の中である。 会場で作った サンプルパッチ に追加して、宿題となっていた「Interactive Metronome」のパッチを以下のように試作してみた。

これを 神戸のセミナー資料 のページの最後に追加してWebに上げれば、とりあえず一件落着である。 今回のセミナーの参加者は6人だけだったが、ここには書けない話ばかりであるが(^_^;)中身はとても濃く(前夜の懇親会でさらに1人)、照岡さんと共に満腹となった。 新たなプロジェクトが始動する予感もあるし、もしかすると 脳波センサ・ヘッドバンド を購入して実験することになるかもしれない。

そして午後には、照岡さんから届いた、Seeed studioの Grove - EMG Detector の回路図を上のように置いた。 さらに研究室には、発注していた「Arduino MICRO」も届いた。 これもさっそく今週後半、ゼミかプログラミング講座あたりで実験してみたいところである。

2015年10月14日(水)

思い出したのでメモしておくが、神戸でのバイオフィードバックセミナーで発見できた新事実は以下である。 セミナーではMax6を「Mac」と「Windows」の両方でそれぞれ走らせていたが、Max単体ではOKなのに、「Windows10でArduino2Max」でのみ、動かないという問題があった。 ただしこれは、2015年10月12日の時点で、ということであり、おそらく時間とともに解決する(と期待したい(^_^;))。

「Arduino2Max」の動作環境

そして今日のゼミでは、準ゼミの4回生・藤石さんも復活してあれこれ盛り上がって、 このように おおいに進んだ。(^_^)

まずはArduinoのサイトから上のように「Arduino MICRO」の回路図をダウンロードしたが、小さくて見えない(^_^;)ので、以下のように拡大版も作った。

そして このように サクサクと進めて、以下のように簡単に完成してしまった。 全て、Arduinoのスケッチは同一のままである。 もはや「ポストGainer」は楽勝、色々なArduinoでばんばん作っていけそうである。

ゼミの石井さんに手伝ってもらって、デモ動画も撮って YouTube に置いた。 出張シリーズも終わり、研究室での、なかなかに充実の一日となった。(^_^)

2015年10月15日(木)

朝イチで届いていたのは、昨日のゼミで、僕のハンダ付けを撮影している石井さんをさらに撮影した、マブンさんからの写真だった。(^_^)

そしてここから午前中で、一気に、まさにこれこそ「Arduino2Max」日記、という進展があった(^_^)。 昨日は「Arduino MICRO」を、通常のArduino UNOのように「アナログ入力6チャンネル」というモードでファームウェアを書き込んでいたが、いよいよアナログ入力12チャンネルという強力機能を「ポストGainer」として実装する、というステップに突入である。 まずは以下のように、昨日の6ポートに加えて、6個の「半導体・光センサ(CdS置換タイプ)」を基板上に並べて、220kΩでプルダウンした電圧を、データシートからおそらくここだろう・・・という6ピンに与えた。

後でMaxで試行錯誤して対応を確定させたが(^_^;)、結論としては、「Arduino MICRO」を「アナログ入力12チャンネル」モードとして使う場合のピン配置は以下のようになる。A0からA5までは従来と同じで、反対側にあと6ポートが配置されている。

そして、Arduinoのスケッチがこれまでと変わるので、以下のように新しく「Arduino2Max_2」というファミリを新設した。 これまでの「Arduino2Max_1」まで全て入ったものが このzip であり、中身は以下のようになっている。

この、「Arduino MICRO」を「アナログ入力12チャンネル」モードで使う「Arduino2Max_2」のArduinoスケッチのソースは以下であり、なんとポートの入力指定すら不要だった。 さすがにIDEが、よりお手軽に進化している。 

int x = 0;

void setup(){
	Serial.begin(115200);
}

void loop(){ 
	if (Serial.available() > 0){
		if (Serial.read() == 'r') {
			for (int pin= 0; pin<=12; pin++){
			x = analogRead(pin);
			sendValue (x);
			}  
			Serial.println();
			delay (5);
		}
	}
}

void sendValue (int x){
	Serial.print(x);
	Serial.write(32); 
}
要するに5msecのインターバルの無限ループで115200のシリアル受信をモニタしていて、受信データがあった場合、それが「r」という文字であれば、アナログ入力12チャンネルのデータを読み込んで、データを文字列としてスペースで区切りながら一気に送る、ということである。 これに対応して、まずはテンプレートとしてのMaxパッチと、以下のような実際に12チャンネルのアナログ入力をグラフィック表示するMaxパッチを作ってみた。 このデモビデオは、明日の「マブンProgramming講座」の時にでも、学生に手伝ってもらって撮ることにしよう。

日々の日記の中に埋没しても後で探せるように、たった半日で出来てしまったここまでを、以下のように大きな見出しとともに整理しておこう。

「Arduino MICRO」を「アナログ入力12チャンネル」モードで使う

  • 「Arduino MICRO」のアナログ入力ピン配置はこれ
  • 「Arduino MICRO」に書き込むファームウェア「Arduino2Max_2」はここ
    上記のソースをコピペでもOK
  • Max側のサンプルパッチもここの「Arduino2Max_2」以下
  • USBシリアルポートを合わせて走らせるだけ(^o^)
十分な進展である。 午後には4限に学生委員会、5限にはインターンシップ事後授業ということで、僕のゼミの3回生3人を含めた5人と、和田先生の担当した5人の結果プレゼンを聞くという予定だけである。 今日の進展は、今月末と来月初旬に行う予定の、京都市立芸大での「ポストGainerワークショップ」の最大の「肝」の部分に相当する。 こうなると、ここからは一転して難題が待ち構えているものの、逆方向、つまり「MaxからArduinoにガンガン送って出力させる」というモードについても、おいおい実験してみたくなった。 今週末の、ゼミ懇親カラオケ大会の前にここまで進展しているというのは、気分がいいことだ。(^_^)

2015年10月16日(金)

後期の金曜日はずっしりと充実している。 3限にはゼミ有志の「マブンProgramming講座」があり、かなりの人数が参加する。 そして4-5限は専門選択科目「サウンドデザイン演習」で、前期の必修「サウンドデザイン」は当然、2回生の全員が受講するが、この演習は2-3限の和田先生のFLASH演習とぶち抜きで続くこともあり、このところ何年かの受講者は2回生のうち半分とか3分の1だったが、なんと最終年の今年は、35人中33人が履修登録してきた。 これは、燃えない筈が無い(^_^)。 今日は「ハンダ付け」シリーズの2週目で、いよいよ電子工作キットを選んで製作するステージであり、その後には「Windows USBキーボード(新品)をバラして改造する」というお楽しみが待っている。

そんな朝、照岡さんからのメイル(実は昨日の夕方に届いていたが処理は今朝に持ち越し)から、また新しい世界が展開しそうである。 神戸でのBFセミナーの参加者に紹介された、上の 脳波センサ・ヘッドバンド についての進展である。 実はこの299ドルの「muse」について、SUACの出入り業者に見積り依頼していたのだが、けっこう頑張った価格が出て来て、自分でクレジットカードで送料(57ドル)を乗せて購入して、さらに関税とか消費税とかの手間を勘案した結果、まさに昨日、この業者に正式に発注したところだったのだ。 そこでまずは、「脳波で瞑想を」というなかなかに怪しい このページ のメニューをなぞって、情報を整理してみよう。

まず最初の 「なぜ、脳波で瞑想を?」 というページに書かれているのは以下である。 ここは簡単に箇条書きで「100%機械的にGoogle翻訳した結果」を並べておこう(^_^;)。

そして第2項目の「ストレスへの反応」というところには、「You’re not alone」という怪しいタイトルとともに、 このような YouTube動画がリンクされている。 まぁ、怪しさ満開なのだが(^_^;)、あながち間違った事を言っているわけでもない。 あちこちにあるヘンな新興宗教との違いはなかなかにグレーゾーンであるものの、フィットネスジムに通って身体を鍛えている現代人が、この装置によって脳や精神を鍛えるのも同じなのだ、という視点であり、それ自体は、まぁ、正しい。

続いて、 「どのように動作しますか？」 というページに書かれているのは以下である。 ここのステップごとの説明で、科学的に正しくて怪しくないのだ、という解説を説得する筈なので、とても重要である。 ここも箇条書きで「100%機械的にGoogle翻訳した結果」を並べておこう(^_^;)。

  1. Connect to the App
    Bluetooth経由でお使いのモバイルデバイス上のアプリへのミューズを接続することから始めます。あなたは一度だけこれを実行する必要があります。一度ペアリング、ミューズは自動的にそれが接続されている最後のデバイスにリンクしようとします。

  2. Take the Tutorial
    あなたがミューズを初めて使用するときは、あなたはどのように良いフィット感のためのヘッドバンドを調整するために、それが正しくあなたの脳の信号を読んでいるを確認するためにあなたを教えて簡単なチュートリアルを主導することがあります。

  3. Calibrate
    あなたの脳は毎日異なります。各セッションの前に自分自身を較正するために、ミューズがアクティブ状態であなたの脳のスナップショットを取得します。ミューズは、あなたの脳の信号を理解するための参照として、このスナップショットを使用しています。あなたは、単純なブレーンストーミングのタスクを実行するように、各キャリブレーションのために、ミューズは60秒のためのあなたの脳信号を受信します。

  4. Meditate
    ミューズは、風のサウンドにあなたの脳信号を変換することによって、あなたにリアルタイムであなたの瞑想についてのフィードバックを提供します。あなたの心が穏やかで落ち着いているときは、静かで落ち着いた風を聞きます。あなたの心がアクティブになると風がピックアップし、爆破します。

  5. See Your Results
    各セッションの後、あなたはグラフやチャートの一連のやった方法を見ていきます。時間をかけてあなたの進捗状況を追跡し、新機能のロックを解除するためにポイントを獲得。ミューズは、あなたの脳は、グラフやチャートを理解するために、単純な簡単を通じて時々刻々とやったかを紹介します。 、一度にあなたの全体のセッションを表示するには、セッション中に冷静時間を見つけると、将来のスコアを改善する方法についての有用なヒントを得ることができます。

  6. Track Your Progress and Achieve Your Goals
    あなたの結果は、プライベートアカウントに保存されています。時間をかけてあなたの進行状況を追跡し、あなた自身の心について新しいことを学ぶためにミューズのアプリを使用してください。やる気と改善あなたを保つのを助けるために、ミューズはまた、あなたのために努力する点、目標、課題やボーナスを与えます。すべてのセッションを使用すると、ポイントを獲得し、あなたのニーズに合わせてあなたの目標を調整することができます。

  7. Improve Over Time
    ミューズは、時間をかけて多くの利点をもたらすことが示されている着目ベース訓練に基づいています。プロセスの最後のステップは、あなたの日常生活の違いに気付いています。大きい落ち着きをお楽しみくださいし、ミューズとの定期的なセッションを通して焦点を当てています。
この7ステップは、まさに生体センサ・システムであれば必須の項目と、バイオフィードバック・システムであれば当然の内容が並んでいて、「瞑想」という部分を除けば、ほぼ医学的に確立している手法である。 第3項目の「キャリブレーション」というところには、以下のような図へのリンクがあり、ここでようやく、このシステムのセンサとかが明確になった。 額の部分に3つの参照電極があり、その左右に1個ずつの前頭部電極がある。 さらに両方の耳たぶの部分に導電ゴムによるSmartSenseというセンサがあるので、脳波だけでなく、色々とここから生体情報(脈拍、血圧、皮膚電気抵抗、筋電?など)を取得できる可能性がありそうである。

続く 「何を測っているのですか？」 のページには、上の図が載っていて、さらに「FCC, UL, CE」などの米国や欧州の安全規格を取得しているので安心だよ、と書かれている。 まぁ、これは当然のことだ。
そして、 「人々の声/反応は？」 のページには、Google PlayやAmazonやiTunes Storeのユーザレビューのページに行く?のかどうか、リンクだけが並んでいた。
さらに 「FAQ/Support」 のページには、いくつもの項目が並んでいた。 今後はまず、ここから調べていくことになるが、もうお昼なので、今日はここまでである。

2015年10月17日(土)

昨日の午後はゼミの杉浦さんとのテーマ相談(企画書)、そして4-5限にはみっちりと、 電子工作キット・ハンダ付け大会 があって、終った。 先週と先々週の「サウンドデザイン演習」は、帰途にチラッと医者に寄りたくてちょっと早目に終えていたが、昨日は17:50までの筈が研究室に戻ったら19時近かったので、学生もかなり頑張った週となった。 大部分の学生が電子工作キットを完成してしまって、あとフォローするのは数人というのはなかなか優秀である。 明日はフル休日、ゼミ懇親マラソン9時間カラオケが待っている(*^o^*)ので、せめて今日は実のある日にしたい。

そして今朝、照岡さんからは muse に関するあれこれ詳細な検討情報が満載のメイルが届いた。 こうなると、いよいよ我々 VPP としても、禁断の脳波の世界に突入というステップである(^_^)。 「Arduino2Max」に続いて「Max2Arduino」も作っておきたいのだが、まず今日のところは、 muse についての調査をある程度のところまで進めることにしよう。 照岡さんのリポートを追う前に、とりあえず昨日の続き、 「FAQ/Support」 のページからである。 昨日は機械的に「Google翻訳」にコピペして、翻訳をそのままこちらのHTMLにコピペしたが、悲しい日本語になるのとそこそこ手間なので(^_^;)、今日は全て「簡単な英語はそのまま」「Google翻訳と人力意訳を適宜併用」で進めることにしよう。 FAQの大項目として16項目に分かれて、それぞれに数項目のFAQが並んでいるが、ここでは僕にとって不要な「Using the Muse App」(10件)、「Purchases and Payment Processing」(7件)、「Shipping and Taxes」(6件)、「Delivery Notifications」(1件)、「Exchanges and Returns」(4件)、「Warranty」(1件)の6項目を除いて、今後に繋がるような情報を中心として調べ、他の一般的な質問は軽くスルーしていくことにした。

これで、とりあえず一般向けの muse のページのメニューは全て、一応チェックした事になった。 あと残ったのはいよいよ本命の、 Developer Kit というページと、おそらく中身はほぼ共通の Muse Developers のページということになる。

ところが実は、上の Developer Kit というページは、ページ内のどのボタンを押しても Muse Developers のページに飛んで行くだけ(^_^;)であまり中身は無かったが、唯一、 See full Muse specifications というリンクから、 このようなPDF資料 をゲットできた。 要するに「Developer Kit」というのは「SDK」と「Documentation」と「Forum」という当たり前の構成であり、その肝心のSDKは以下のようなものだという。 どうやら、もっとも欲しいのは一番最後の「LibMuse」のようである。

しかしなんと、 See full Muse specifications というリンクにあった このPDF資料 から、以下のような記述を発見してしまった(;_;)。

これはつまり、Research ToolとしてはWindowsとMacOSとLinuxに対応しているが、肝心の「全てのソフト開発に使える」という「LibMuse」が、Macに対応していない(iOSとAndroidとWindows)、という悲しい宣告である。 museのためにiOSやAndroidやWindowsのプログラマーになろうという気が毛頭ない身にとって、ここで一気に、今日の朝から満タンだった「museへの興味」が急速に萎んで、およそ1%程度になってしまった(^_^;)。 これでは再来週あたりに現物が届く楽しみも半減どころか2桁減である。

しかし凹んでいても仕方ないので(^_^;)、まずはとりあえず、上の Muse Developers の Getting Started のページに行ってみた。 まだmuseの現物が無いので、ツールのインストールも行わず、ザッと眺める、というところからである。 「Install the Research Tools」、「Pair Muse with your computer」というのは現物が届いたら最初に行うことになるが、続く「Run MuseIO」のところを読むと、なんと光明が見えてきた(^_^)。 以下の図のように、ホストとの接続はOSCなのだった。 OSCであれば、Myoでばりばりやったように、Maxとの連携はばっちりなので、どのようにでもmuseデータを使えることになる。

続く「Start MuseLab receiving on port 5000」の記述から、どうやら、以下のように、わらわらとmuseの各種センサデータをOSCパケットとして取得できるようだ、と「見えて」きた。 ホストから何かコマンドをmuseに送る必要があるのか(そうだとすればプロトコルの公開が必要条件となる)はちょっと不明だが、とりあえず「大いなる可能性」である(^_^)。 これに続くビジュアライザの「Create a Scrolling Line Graph」とか「Add Muse data streams to the graph」とか「Add graphs for accelerometer and alpha session scores」とか、レコーディングツールの「Record some data」とか「Convert your recording to a different file format」というのは、もうMax側でどのようにでも出来るので問題ない。

・・・と、ようやく、萎んでいた期待が元に戻ってきたところで、今日はここまでである。 照岡さんからのメイルに返信して、今日は充実感とともに帰宅(今日は家族が旅行で留守番、ハムスター君のお守り)することにしよう。

2015年10月20日(火)

日曜はマラソンを堪能し、昨日の月曜と今日の午前はずっと、村尾先生との共同研究の科研費のための文章書きで完全に潰れた。 これで研究代表者の村尾先生が申請してくれて、うまく採択されれば来年は面白い研究がまたスタートである。 その陰で、12月の音知学会に発表応募していたのを自己都合でキャンセルさせてもらったが、まぁこれは仕方ない(^_^;)。 照岡さんからは「バルサルバ刺激」という面白い論文を教えてもらったが、これは明日にゼミの杉浦さんと勉強してみよう。 まだ muse は届かないので、ここは来週月曜の京都芸大でのワークショップに向けて、Arduino2Maxをちょっと進めておきたいところである。

・・・と書いていたら、4限の冒頭のマルチメディア室利用講習から研究室に帰ってきたところに、なんと このように 届いてきてしまった。 しかし放課後のアカペラまで時間は少しであり、さらにMUSEを充電しつつ、iPadにアプリを落とすためには、まずAppStoreのパスワードが忘却の彼方なので設定からやり直さないといけないのだった。

さらに、いろいろ調べて思い出したのは、SUACの学内からだと、プロキシを経由するのでブラウザ(Safari)は通るものの、AppStoreは繋がらない?(MacBookはOKなのにiPadだけNGというのは何故???)という現象だった(^_^;)。 まったくAppleは色々と鬱陶しいことこの上ない。 上のようにドタバタした。

そして、「困った時にはiPadは強制リセット」という技を思い出して、上のようになんとかアプリのダウンロードに成功したところで時間となった。 とりあえず明日以降に持ち越しである。(^_^;)

2015年10月21日(水)

昨日はアカペラが終って帰宅・夕食は20:30頃だった。 そして今日は2-3限に卒制の企画書審査学科会議、4限にゼミ、5限に特論(杉浦特訓)、と予定満載のため、朝5時起きして6時半には研究室に出て来た。 なんとしても、やりかけのMUSEをやってみたい、という興味が自然な早起きを誘引したのだ(^_^)。 そしてさっそく、リセットして正気に戻った(^_^;)iPadを起動して、以下のようにMUSEを装着して、実験開始である。 なかなかに怪しいが、そんなの関係ねぇ。

ヘッドバンドを装着してしばらくすると、以下のように「MUSEがあなたの脳波を見つけました」というメッセージが出た。 電極をあれこれしていると、アーティファクトを検出して「計測に失敗したので、やめますか?」と聞いてくる。 まずまず、ちゃんとやっているようである。

ここからまず、以下のような、いかにもリラックスしそうな画面(2種類から選べる)が出て、60秒間、目を瞑って指示に従え、という時間が毎回、ある。 楽に座って、手に何も持たず、リラックスというやつである。 例えば「スポーツ」というキーワードが出たら、好きなスポーツを3つ、何でもいいので思い浮かべろ、というもので、要するに「他の事への注意を消す」というある種の軽い催眠誘導である。 iPhoneに比べて大きくて重いiPadを持っているので既に失格だが(^_^;)、気にせず続けると、おそらく平静時の脳波パターンの取得が完了する。 キーワードが何個か出ると、準備完了である。

そしていよいよ、以下のように3分間のセッションに入る。 この3分間、やはり目を瞑った状態で、速くするでも遅くするでも止めるでもなく自然な「呼吸」を続けつつ、その呼吸をカウントしろ、という。 このリラックス方法は京都のお寺で座禅体験をやった時の指示と完全に一致している(^_^)。 目を瞑っていて、BGMは波打ち際とか風とか、リラックスすると出て来る鳥の囀りとかが聞こえて来るだけなので、バイオフィードバックの要素はほとんど無い。 ただし「鳥の声を出す感じ」というのを再現する、という部分だけはバイオフィードバックゲームであるとも言える。

そして3分後、いかにも「終了」というジングルとともに、セッションが終って、結果を見る画面へと進む。 このデータは毎回、ローカルに自動保存されるらしい。 まったく初めてのトライの結果が以下のようなものである。 「安静度」は69%(3分間に計125秒間)、リラックスの「鳥」は15回、あったという。 なんだか詳細不明な3種類のハンコ(アワード)も、ご褒美として並んだ。(^_^;)

そして、全部3分間のセッション期間中の、いわば「緊張度?」の脳波データ波形は、以下のように左右スクロールして拡大表示できて、どこでどんな状態だったか、を後で確認できる。 波形がかなり低いところで「鳥ゾーン」に入っていて、ここがリラックスの境地ということらしい。 この1回目は、真面目にちゃんとずっと瞑目していたので、まずまずのデータだろう。

このセッションの個人データは、以下のような形式でも「見る」ことが出来て、おそらく週に何日とか、というエクササイズとして続けていくことで、そのパーソナルデータとして自分の精神的メンテナンスに役立つのだろう。 まぁ、体重の記録ダイエットとか、食べたものを記録するダイエットとかと同じであるが、そういうのが面倒な僕は、まったく興味が無い。(^_^;)

さらにメニューの下には、以下のようなものが出て来る。 これは、MUSEで体験したデータを、匿名化・暗号化の下でこの会社のサーバのクラウドに送って、そのデータから脳波の研究者などの研究データに提供する、というボランティアの許諾画面である。 もちろん、なんとも気持ち悪いので「NO」である。

ここまでの作業は、iPadを持ちながら、ちゃんと言われるように瞑目して、大人しくしていたが、いちいちiPadでスクリーンショットを撮るたびに2つのボタンを押して、つまりはリラックスして投げ出す筈の腕に力が入っていた。 そしてこれを、いちいちブラウザに行ってSUACメイルにログインして「新規メイル作成」を開き、添付メイルをPhotosから探しては1枚だけ添付転送して(同時に2枚以上だと必ず失敗するのはおそらくSUACメイルシステムのバグ)、順に「あ」「い」・・・として、以下のように14本のメイルを出した。

このメイルをいちいちこのHTMLを書いているお仕事パソコンで開いてダウンロードして、一括リネームして、リサイズして・・・という単純作業をしながら、せっかくなので2回目としてMUSEで計測してみたデータが以下のものである。 もちろん、目を開いて、パソコンの2画面をあちこち睨み見つつの作業であり、インストラクションの「リラックスして」を完全に無視した。 あちこち行き来する面倒な作業なので、安静度は25%、ずっと緊張度が高くて一度も「鳥」が鳴いていない(^_^;)。 これはつまり、オフィスワークなどのストレスそのものに近い状態だろう。 ご褒美のハンコも1個も無かった。(^_^;)

そして、以下の3回目のMUSE計測データは、手元に揃ったデータをこのHTMLから参照するための編集作業、つまり比較的単純な作業であり、さらにちょっとすれば慣れてきて、ある意味でサクサク進める、というのは「達人の仕事」の域であるとも言える。 もちろん目を開いて、パソコンの2画面をあちこち睨み見つつの作業は同じであるが、今度は安静度41%、「鳥」も8回、鳴いてくれた(^_^)。 ご褒美のハンコはちょっと違うのが出て来て、これは調べてみると「40%以上の安静」というものだった。 いちばん最初のセッションで付いたご褒美は「60%以上の安静」(クリアな精神状態)と、「パーフェクトな瞑想」、というものだと判明した。

MUSEアプリは、WiFiでネットに繋がっていなくてもBluetooth接続だけで新しいセッションが実行できること、さらに過去のデータを見返すだけならBluetoothセッションすら不要であること、も確認できた。 まずまず初日の最初の体験としては、十分な成果なので、これはさっそく午後のゼミでは、誰かにやらせてみよう(^_^;)。 こうなると、いよいよBluetooth+OSCで生の脳波データを受取りたくなるが、残念ながら1限も終わり、たぶん今日はまとまった時間が取れないので、明日以降の挑戦となりそうだ。

・・・そして2-3限の卒制の企画書審査学科会議を経て、4限のゼミでは、 このように あれこれと進めた。 サクラクレパス90周年記念限定90色クレパスセットのお披露目に続いて、3回生の「総合演習I」企画書に向けてのミーティングを進め、さらに4回目となるMUSE体験を学生に見せたが、ちゃんと瞑目したにも関わらず、上のようになんと「鳥」が一度も出ない、という強烈なストレス下である事が判明した(^_^;)。 2限続いた学科会議がストレスだったのか、ゼミ生の企画書案がショボくてストレスだったのか、原因は不明であるがあまりに違う結果となった。

その後、まるで「ウイルス博物館」(^_^;)のようにウイルスとスバイウェアの巣窟となっていて「CPU=1%」の性能しか出ない、という石井さんのWindowsパソコンを前に杉浦さんが奮闘したり、この後期の制作に関する打合せをして今日はオシマイとなった。 ゼミの続きは金曜日、2限の石井さんアポ、3限のプログラミング講座である。 明日の木曜日は午後に教授会が予定されているが、午前に空き時間があるので、なんとかMUSEとMaxとの通信を実験してみたい。

2015年10月22日(木)

いよいよ週の後半になってきた。 昨日は自宅にMUSEとiPadを持ち帰って、3回にわたって自分の脳波を計測してみた。 興味として「お酒を飲んだら脳波はどうなる?」という口実で(^_^;)、いつもの家飲みである。 そのスクリーンショットがiPadに17枚も溜まっているので、まずは以下のように朝イチで、いちいち1本ずつその画像を添付したメイルを自分に送ってお仕事Macに取り込むところからスタートした。

まず最初の計測は、帰宅してちょっとした午後7時過ぎ、夕食前にちゃんと瞑目してリラックスした、以下のデータである。 クルマを運転して帰宅したところで、基本的に脳は活性状態にあるらしく、3分間で平静状態は計52秒間、29%のリラックスであり、2回だけ「鳥」は鳴いたものの、ご褒美のハンコは何も無かった。(^_^;)

次の計測はそこから約2時間後、夕食とともに500ml(alc.5%)の発泡酒を美味しくいただき、さらに500ml(alc.8%)のチューハイをいただいた頃であり、脳波バンドの弱いテンションに反発して、こめかみあたりの血流がドクドクと流れているのを体感できる状態である(^_^;)。 予想では脈拍ドクドクでも、酔ってリラックス出来ているのでは・・・という事だったが、以下のようにリラックス期間は44%になり、「鳥」も4回、鳴いてくれた。 ご褒美ハンコは2個で、「1分あたり少なくとも1回は鳥が鳴いた」というのと「40%以上のリラックス」というものである。

そして最後の計測はもう眠くなって寝る前(なんせ起床が朝5時前だった(^_^;))の23時前、チューハイで飲み干して十分に酔った状態である。 なんと以下のようにリラックス51%、「鳥」も10回。鳴いてくれて、ご褒美ハンコは「1分あたり2回以上、鳥が鳴く南アフリカのエデンの園」と「50%以上の良好なリラックス」というものだった。 結論として、酩酊状態でも脳波計測は問題なく、出来そうだ(^_^)。

ちなみにこの後で、ウチの奥さんにMUSEを装着してもらって実験したところ、最初の「MUSEが脳波を認識」のグラフで、円グラフの下半分の電気的信号としてはそこそこ早期に脳波を計測確認したものの、これまで取り込んだ僕の脳波パターンと著しく異なるためか、「My Data」と認識するための円グラフの上半分の図形がなかなか塗りつぶされなかった。 さすがにユーザ登録された個人的傾向をちゃんとチェックしているようである。 そして脳波バンドの接触が甘かったためか、3分のセッションの最後あたりで「計測エラー。このデータを破棄しますか?」とやられたので破棄した。 まぁ、1件だけ他と著しく違うデータをMy Dataに並べておくとなんだか精神異常者っぽいので(^_^;)、これは正解かもしれない。

・・・そして午前中ずっと悪戦苦闘した結果、午後の会議会議会議の前に、なんと上のように、とりあえずMaxでMUSEからのデータストリームを受け取ることに成功した(^_^)。 ただしデータ・プロトコルを解析して意味のある情報を抽出するのはこれからであるが、とりあえずBluetoothの障壁を突破した。 それもなんと、OSCを使わずに・・・である。

こうなれば、いよいよ焦点は上の Protocols のページという事になる。 今日は掘り下げる時間がないので、明日以降に攻略するための情報を整理しておくことにした。 このページにあるのは以下の3項目であり、この全てを直接、Maxでマネジメントしてやればいいのだ。

MUSEの動作には大きく2つの種類のモードがあり、その第一は「Configuring Muse」ということで、 Serial Commands で定義されるASCIIコマンド/メッセージでMUSEの内部状態を知ったり設定を変更できる。 例えば、周囲の電源ハムノイズを除去するフィルタについては、浜松や神戸で使う時には60Hzだが、東京で使う時には50Hzに変更しないと、まったく使えたものじゃなくなる。

そしてメインのモードは上の図のように遷移する「Data streaming from Muse to the client」であり、ここに、 Data Streaming Protocol が関係してくることになる。 文字で書けば以下のような流れである。 上のMax画面ではちょっと適当にやっていた事が、上の図でようやくスッキリしてきた(^_^)。

  1. Stop the data stream(in case it happens to be streaming already)
  2. Do a version handshake
  3. Load a preset
  4. Send other configuration messages(such as changing the EMI filtering based on region of the world)
  5. Request Muse status
  6. From this status a data stream parser should be configured
  7. Start data streaming
  8. Stream data and parse it
  9. Stop the data stream when it is no longer needed
そして、具体的なデータストリームの中身が、 Bluetooth Packet Structure に記述されている、というわけである。 これをきちんとparseしてやれば、compressedされた脳波でも、生の脳波でも、筋電や加速度でも、パッテリ残量でも、なんでも取得できるようである。 とりあえずの入口が開いただけなのに、なんともこの解析作業に没頭する今後が一気に楽しみになってきたが、今日はここまでである。

2015年10月23日(金)

いよよいよ今週も最終日である。 今日は2限にゼミの石井さんの企画書アポ、3限にはゼミ有志が集う「マブン・プログラミング講座」があり、さらに4-5限は、意欲あるメディア造形学科最後の2回生が多数、受講してくれた「サウンドデザイン演習」で、いよいよ電子工作キットに続いて「USBキーボードをバラして、解析して、改造・活用する」というところに突入する。

そこで1限しか時間がなかったが、なんとか上のように、MUSEからストリーム転送モードで届くデータパケットを分類するところまで出来た。 ストリームの先頭データは10進で「192」か「255」である、というのは昨日のうちに判明していたが、今日は「192」に続くパケットとして、上のように最大で「1」から「21」までの21種類があり、それぞれの伝送密度にはかなりの違いがある、というところまで判明した。 これを Bluetooth Packet Structure に従ってparseする、というところに進んでいくのはこの週末以降だが、実は明日の土曜日にはまたまたマラソンカラオフ(*^o^*)があり、来週月曜日には京都芸大のワークショップ1日目に行くので、ちょっと先になるかもしれない。 とりあえずYouTube動画は以下である。

YouTube

・・・とまとめていたところに、京都芸大の高橋先生からのメイルが届き、「来週の月曜のワークショップのことで、お詫びのご連絡です。学園祭と教室展が目前のため、２６日は、学生の参加が見込めません。大変恐縮ですが、１０月２６日に関して、授業開催を見送ります。こちらからお願いしたにもかかわらず、体制がととのわず申し訳ありません」とのこと(^_^;)。 まぁ、今回は日帰りで宿も切符も取っていないし、講習のWeb資料は日曜に作る予定だったので、まったく実害は無い。 2回目として予定している11月9日に1日コースとして行いましょう、と返信した。 これでMUSEのために来週月曜が使える、というのは、逆に「収穫」である。(^_^)

そして2限には、水曜日のゼミでどうしようもなくウイルス/スパムに感染している事が判明したパソコンをちゃんとHDDフォーマット再生して持参した石井さんが元気にやってきた。 企画書を書き、スキャン画像を加工するために、とりあえずIllustratorを体験利用するためにダウンロードしての作業が始まり、その裏で、僕は上のようにスケッチ帳の20枚の画像をスキャナで取り込んで彼女のUSBメモリに入れる、という下請け作業(^_^;)に従事した。 しかし、絵心のある学生というのは素晴らしいなぁ(^_^)。

・・・そして3限は このように なり、さらに4限には このように なった。 まずまず充実の午後である。(^_^)

2015年10月25日(日)

手元のメモによれば、今月は10/8に29曲、10/18に23曲、そして昨日10/24に34曲、と快調にマラソンを走破してきたようであるが、果たして来月はどうなるだろうか(^_^;)。 今日は休養日ということで、午前にはなんと藤井天帝解説で渡辺明が阿部健治郎に負ける、という瞬間に立ち会ってしまった。 今夜の夕食は「ビフテキ」、と昼前から決まったというのは珍しいが、検索するとさっそく「ビフテキ使い阿部のビフテキな手で勝ちきった」などと出たので、今後、ちょっと流行るかもしれない。

なんせ生産性の低い休養日なので、MUSEを装着して遊びたい気持ちをグッと堪えて、まず このページ と このページ をチラッと眺めてみたが、これはなかなか厄介かもしれない。 上のような図があったが、脳波トレーニングのアプリをiPhoneで走らせるために、Bluetoothのパケットをかなり小さくしつつ多量の脳波データを伝送するために、「脳波は筋電と違ってゆっくりしか変化しない」という特性を最大限に生かして、もの凄い変態的なプロトコルで圧縮している模様である。 おそらくは、このデータを簡単に使われないように、敢えてこのような複雑なことをしていると思われるが、これはちょっと燃えてきた(^_^;)。

2015年10月26日(月)

さて、新しい週となり、阿部5段に倣った昨夜の豪華ビフテキパワーでいよいよMUSE攻略だ。 明日の締め切りに向けて3回生の「総合演習I」の企画書案が続々と届いてコメント返信しているが、2限にゼミの前澤さんのアポが入っているだけで、時間は十分にある。

上のパッチは前回のパッチを受け継いで今日の作業のスタートであるが、

  • このページ に従ってMUSEに送っているコマンドを整理しておくと、以下である。
      • まずコマンド「h」でホールト(停止)にする
      • コマンド「v 2」でバージョンを指定
      • コマンド「g 407C」で電源フィルタを60Hzに設定 (50Hzであれば408C)
      • コマンド「s」でストリーミングパケットの送出開始
      • コマンド「k」を10秒以内の間隔で送り続けるとストリーミングを続ける(生き続ける)
    前回の実験結果として、MUSEから届くストリーミング・パケットには、先頭データが「192」と「255」の2種類がある、という事だった。 これを上のようなパッチで、255で始まるパケットをunpackしてparseしてみると、続く3データが必ず「255」「170」「85」となっていて、その次に必ず「192」が来た。 ここで このページ から、これが16進で「FF」「FF」「AA」「55」の同期パケットである、と判明した。

    そこで上のように、同期パケットを暖かく無視するようにルーティングして、全てのパケットは「192」から始まるものだけ、とスッキリした。 こうやって解析しながら1枚1枚、攻略していくというのは最高のゲームであり、これが、僕が学生のように、誰かが作ってその決められた箱庭の中だけでうろうろする、いわゆる一般の「ゲーム」というものをここ30年間、まったくした事がない(興味がない)理由なのだ。(^_^)

    このページ によれば、「192=0xC0」以外にも、Type Nibbleとしては以下のようなものが定義されている。 そこで上のように調べてみたが、どうも何も届かなかった。 defaultでは、MUSEは「Compressed EEG」パケットだけを送るらしい。

      • 0xF - First nibble of sync packet
      • 0xE - Uncompressed EEG
      • 0xD - Error Flags
      • 0xC - Compressed EEG
      • 0xB - Battery
      • 0xA - Accelerometer
      • 0x9 - DRL/REF
      • 0x0 - Invalid

    こうなると、いよいよ このページ の この図 の出番となる。 とりあえず上のように、たくさん届いているであろうデータをunpackしてparseしてみると、相当にデータが並んでいて、さらにそのデータ変化には濃淡がある、と判明した。 できれば生の脳波データ「EEG Data - 64 samples」に行きたいが、まずは最初の5バイトに圧縮された脳波データが入っていそうなので、これを攻めてみる事にした。

    このページ によれば、Compressed EEG Packetでは、ヘッダに続く5バイトのデータに、10ビット制度の4チャンネルのEEG情報が置かれているという。 これに続く2バイトはその後のデータ長のようなので、まずは上のようにスッキリと「後ろのデータを無視」して、この先頭7バイトを対象としよう。

    そして上は、 このページ の「Headers are bitwise big-endian」というのを一瞥して作ってみたパッチだが、これは残念ながら間違いだった(^_^;)。 すぐ後に、「10-bit bitpacked samples are both bitwise and bytewise little-endian.」とあったのだ。 さらに 「Each sample’s lower bits are the upper bits of the first byte, and its upper bits are the lower bits of the second byte. The first sample uses the first two bytes, and the last sample uses the last two bytes.」 という。なんじゃこりゃ(^_^;)。 これは今まで遭遇したことのない変態的なフォーマットであり、紙に書いてあれこれ悩んでいるところで1限が終って、アポを入れていた前澤さんが研究室にやってきて、ここで中断となった。

    そして昼休みから再開した。 普通の「big-endian」でなく「little-endian」、つまり最上位ピットと最下位ビットの入るデータの位置が逆になっているので、4チャンネル分の10ビットデータに変換するパッチは上のようになった。 ただし、まだまだここから このページ の記述は、いよいよ変態的に続くのである(^_^;)。

    データ圧縮のアルゴリズムの概要は大きく2段階であり、以下であるという。 まず、隣接するサンプルデータの絶対値を扱うのでなく、 Golomb coding (ロスレスの可変長データ圧縮)のアルゴリズムで前後のデータの差分をとる。 Golomb codingデータの平均を表すために「sample-delta」という可変長データの概念を用いる。 そして、この差分データが大き過ぎた場合に丸めるために Quantization (クウォンタイズ-量子化ノイズを乗せて急激な変動を抑える)をかけるという。 そして、ここから このページ には、以下のように延々とアルゴリズム(手法)とエンコード法が記述されている。

      • Differencing Method
      • Encoding Sample-Deltas
      • Computing the Quotient
      • Encoding the Quotient
      • Computing the Remainder
      • Encoding the Remainder
      • Encoding the Sign
      • Quantization
    ここでいささかウンザリして手が止まったが、その次の項目「Implementation - Parsing Compressed EEG Packets」が このページ の最後なのだった。

    そして、ここからまたまた この図 と似たことが書かれている。 つまりは、上記の面倒な圧縮アルゴリズムは、「生データ」を転送するためのものであり、ごく簡易には、要するに先頭5バイト(10ビット×4チャンネル)で、およその脳波の擬似的な情報を転送している・・・というようにも読めてきた(^_^;)。 そしてとりあえず、この10ビットデータをそのままmultisliderで表示させてみると、なんだか上のように波形が出ていて、目をむいたりこめかみに力を入れたりすると、明らかに対応して変化しているではないか。

    そして、この先頭5バイト(10ビット×4チャンネル)だけをなんとかしてみよう、と上のように、データのスケーリング4ビットと「Median」(中央値?)を乗算した、つまり擬似的な浮動小数点形式のような感じにダイナミックレンジを稼いでいるらしいデータを表示してみた。 なんせ今日は研究室に自分しかいないので、目を瞑って安静にした状態はもう手慣れたものなので、Webカメラをjitterで表示しつつ、リアルタイムに4チャンネルの「脳波っぽい」波形とともに表示したものをスクリーン録画してみたのが、以下である。

    YouTube

    アップロードした動画を見てみないと、自分が瞑目してリラックスしている時にどうかはまだ不明だが、なんとなく体感としては「これ、MUSEで脳波が取れてるんじゃね??」という状態である。 ツールを使ってOSC経由で脳波データを取得する、というのが王道だとすれば、Max6/Max7のserial機能の発展のお陰で、ただserialのポートを指定するだけでMUSEのデータが取れてしまった(コマンドもちゃんと送れた)、というのは、ゲリラ的な邪道であるかもしれないが、しかしなかなかの収穫である。 この日記は「postGainer日記」だったのでだいぶ遠くに来てしまったように見えるが、postGainerの基本はArduinoとのやりとりをFirmata/maxuinoを使わずに直接、Maxのserialでやってしまう、という事だったので、今回の面白い進展は、まさにこの延長上にあったのである。(^_^)

    • 2015年10月27日(火)

    昨日の進展から、今日はいよいよOSCのMuseIOだ・・・と朝6時半には研究室に出て来たが、ほとんど進めることが出来ない1日となった。 ゼミ3回生からの「総合演習I」企画書が届き、コメントを返して修正往復などしたが、無事に石井さん前澤さん馬ブンさん3人の企画書が出揃った。これでたぶん明日の企画審査学科会議は大丈夫である(^_^)。

    そして、新デザイン学部のWebサイトに全教員の作品ポートフォリオを載せる、というデータ回収用USBメモリが研究室のドアポケットに届いていた。 いつかどこかでやらないといけないお仕事だが、遂に先頭の日比谷先生から、来た(^_^;)。 そこで午前中(10時半から12時半までは、2ヶ月に一度の緑内障の検査のため外出)から午後までかかって、なんとか12件のデータをまとめてUSBメモリに入れて、古田先生のドアに届けて、 こんなページ に手抜きでまとめたら、もうグッタリである。

    それでも何とか気を取り直して、MuseIOからOSCで情報をゲットして・・・と挑戦しかけた。 そしてたスグに判ったのは、「OSC」ではなくて「OSC風なプロトコル」という事だった。 OSCはUDPだが、MUSEのはTCPだったので、ウンともスンとも言わないのである。(;_;) そこで上のように、諦めてMaxを使わずにMUSEをBluetooth接続して、MuseIOからMuseLibに、とりあえず3軸加速度センサのデータと、たぶん昨日も扱った、圧縮された4チャンネルの脳波データを表示してみた。 以下がYouTubeである。

    YouTube

    そんなこんなで今日はオシマイ、あとはアカペラである。 明日からどのように進めるか、TCPということでMaxのOSCが駄目だとすると、今のところ次の作戦は無い。

    2015年10月28日(水)

    昨日は結局、碧風祭が直前ということもあり、多くのメンバーの欠席連絡を受けてアカペラはお休みとなった。 今週の木金あたりは学生もハロウィン体制らしいし、ぼちぼち、来週の碧風祭に向けて、学内が浮き足立ってきたような月末である。 この週末は日本音楽即興学会大会への発表参加で神戸に行くが、「10月31日のハロウィンの晩の三宮」というのはちょっと面白いかもしれない。

    そして、照岡さんから届いたメイルに返信したところで、突然フト、上のツールMuseLABの画面を思い出した。 既にこのツールで実験していたが、「TCP」の下に「UDP」というボタンがあるものの、これを押しても梨の礫だったのだ。 しかし考えてみれば、メニューにあるのなら設定できるのでは・・・と MuseIOのページ のいちばん下、 このページ から、なんと以下のような嬉しい情報を発掘した。 「osc.tcp」というのが指定できるとすれば、これを「osc.udp」とオプション指定してMuseIOを起動すれば、出て来るパケットはUDPとなって、つまりはMaxが「udpreceive」で受けれ取れる、普通のOSCになってしまうのでは、という見立てである。(^_^)

    そしてここからは早かった。 今日は2-3限に、メディア造形学科3回生の「メディア造形総合演習I」の企画書審査学科会議があり、その後の4限にゼミ、さらに5限が院生・杉浦さんの特論なので、1限しか時間が無いのだが、なんとその1限の始まる朝9時には、以下のように、今度は正々堂々とUDP-OSCでMuseIOからのパケットを受け取って、その中の圧縮された4チャンネルの脳波データと、3軸の加速度センサデータを奇麗に受け取って表示するMaxパッチが完成してしまった。

    そして以下が、脳波データはちょっと振り切れているが(スケーリングは自在に拡大縮小できるのでまったく問題ナシ)、3軸の加速度センサ情報がうまく取れている・・・という様子のYouTubeである。

    YouTube

    これはかつて25年前ぐらい、千里中央のイメージラボで、尺八演奏家の志村哲さんにあれこれセンサを取り付けて進めていた「竹管の宇宙」で、志村さんの後頭部にジャイロセンサを取り付けて「首振り」をセンシングしていたのに比べて、あまりにスムースで奇麗なデータである。 それがMUSEからBluetoothで飛んできて、MuseIOからOSCでMaxに届いている、というのは美しい世界である。 これで少なくとも、「首振り演奏楽器」はMUSEで楽勝で出来てしまう事になった。(^_^)

    そして最後の仕上げに、上のようにターミナルから入力するMuseIOのオプション付きコマンドをUnixシェルスクリプト(実質はたった1行!)として書き出し、この拡張子を「.sh」から「.command」にして、実行権限を与えるために「chmod 755」とした。 これによって、「ターミナルを起動する」→「コマンド記述ファイルをテキストエディタで開いてコピー」→「ターミナルにペーストして実行」というステッが、上のようにこのアイコンを叩くだけで設定できるようになった。 これは「ダブルMyo」の時にXcodeで作ったものよりも簡単だが、使い手としてはほぼ同等になった。(^_^)

    ここで1限が終りかけたので、午後のゼミまでの間に、上のようにMUSEと2個のMyoをまとめて充電しておくことにした。 この風景はなかなかに怪しいし、このあたりで、夏に作った「お触り楽器」を含めて、「怪しいパフォーマンス」の道具が勢揃いしてきた感じなので、ちょっと何か、きちんと作品にまとめてみたくなってきた。 もはやMUSEはリラックス用の脳波センサではなくて、優れた「表情/首振りセンサ」(顔面筋電/頭部加速度センサ)として活用できる、という確信に変わってきた。(^_^;)

    2-3限の学科会議が終って、午後4-5限のゼミは このように 盛り上がって、皆んな、あれこれ、それぞれの宿題を確認できた。 石井さんはゼミ中にサラサラと僕の横顔を描いて、 このように 研究室ページのトップ絵に1枚、追加してくれた。(^_^)

    2015年10月30日(金)

    昨日は午前に医者に(1-2カ月に一度の薬をもらいに)行き、午後はTOYOTAの人が来て3時間みっちりのMaxプログラミング講座をして、夕方に以下のように今年は1組だけ研究室にハロウィンが来て、早目に帰宅して床屋に行って、終ってしまった(^_^;)。

    しかし、TOYOTAの人とやっていて「宿題」をもらったので、MacBookAirを持ち帰り、日本シリーズでホークスが優勝するのを見ながら、なんと素敵なMaxパッチを完成させてしまった(^_^)。 そして今朝、研究室に出て来てちょっと修正してTOYOTAに送ったのが、以下のパッチである。

    これは、多数のセンサからのデータが刻々と届くイメージの「疑似データ生成パッチ」から3つの変化データ(0〜255)がパックされたメッセージとして送られるとして、これを「1つのウインドウにまとめて表示する」というものである。 画面左側に3つ縦に並んでいるように、Maxのmultisliderオブジェクトでpoint scroll(ここではreverse point scroll)とすれば、刻々と時間的に変化するデータを簡単にモニタ表示できる。 そしてその右にあるように、multisliderのスライダー数を3と指定すると、1個のグラフでパックされたデータをまとめて表示してくれるが、3つのデータはそれぞれ上下3段に分割された範囲で表示される。 やりたい事は、「3つのデータを同じY軸のもとで混在させたい」、つまりデータの上下関係が交錯すれば、グラフが交錯したり重なったりして欲しい、という仕様なのである。

    ここで思い出したのが、IAMASの赤松さんがだいぶ昔に開発・公開していた、WiiリモコンのBluetooth情報を取得する「aka_wiiremote」というオブジェクトで、たしかその中では3色でXYZの3軸の加速度を同時に重ねて表示していたのである。 しかし昨日これを開いてみると、multisliderでなくて、lcdオブジェクトに直接、線分の起点と終点と色の座標を送る、という「もろ描画」だった事が判明して、そこでのlcdスクリーンの大きさは固定なのだった。 そこで、これを自在なサイズで表示する、というのが、宿題となっていたが、昨夜+今朝のちょっとした作業で、 このようなパッチ としてそこそこ美しく完成したのである。

    YouTube

    3限のゼミは このように 盛り上がった。 そして4-5限の「サウンドデザイン演習」の後半では、メディア造形学科の伝統をメディア造形学科最後の学生に伝えた。 あとは彼等がどのように来年の碧風祭に立ち向かってくれるか、ひたすら期待し続ける1年間がここに始まったのだ。 その後、 JASMIM2015のプレゼン を1時間ほどでやっつけて帰宅した。

    2015年10月31日(土)

    世間はハロウィーンらしいが関係なく、朝に大学に出て速攻で プレゼン を改訂し、バスで浜松駅に行って新幹線で新大阪へ、そして新快速で芦屋に行き鈍行に乗り換えて六甲道、そこからバスで神戸大学神経発達科学部に行って、午後からの「日本音楽即興学会(JASMIM」大会の会場である。 今年のテーマは明日の特別講演 : アラン・タリー「即興とウェルビーイング」ということで、テーマはWell Beingであり、僕の発表のタイトルも「バイオフィードバック楽器演奏とウェルビーイング」として発表申し込みした後で、Wikipediaで「Well-Being」を調べる・・・というパターンになったが、実質はこのところの発表と同じ路線である(^_^;)。 今日と明日のプログラムは以下である。 
    日本音楽即興学会第7回大会プログラム

10月31日（土）
12:00-14:00 受付
13:00-13:50 総会（学会会員のみ出席）
14:00-14:10 開会挨拶
14:10-14:40 研究発表１ 西田治「大学教養教育におけるグループ即興演奏の取組み - その意義と可能性」
14:45-15:15 研究発表２ 大類朋美「クラシック音楽家にとっての即興演奏の学習とアウトリーチコンサートへの活用の可能性」
15:20-15:50 研究発表３ 真都山みどり「即興からのパフォーマンス・クリエイション
	〜AAF主催［サウンドパフォーマンス・プラットフォーム］上演作品創作の検証〜」
16:05-17:05 ワークショップ１ 岡崎香奈「創造的音楽療法における臨床音楽について」
17:15-17:45 研究発表４ 長嶋洋一「バイオフィードバック楽器演奏とウェルビーイング」
17:50-18:20 研究発表5 寺内大輔、橋本知久「集団即興演奏の進行を司る役割のあり方」
18:30-21:00 交流会

11月1日（日）
10:00-10:30 研究発表6 猪野純「音楽療法における即興演奏学習法試案〜即興演奏のスコア（総譜）化の試み〜」
10:35-11:05 研究発表7 久保田 翠「イメージの生成を遮断する記譜の可能性について  - クリスチャン・ウォルフの図形楽譜による演奏 -」
11:10-12:10 ワークショップ２ 那須仁「４弦楽器・一五一会の活用方法について」
13:10-15:10 特別講演 アラン・タリー「即興とウェルビーイング」
15:30-17:30 ラウンドテーブル「即興とウェルビーイング」
	ファシリテーター：若尾裕（神戸大学特任名誉教授）
	パネリスト：アラン・タリー（ニューヨーク大学） 岡崎香奈（神戸大学准教授）
		阪上正巳（国立音楽大学教授・精神科医師） 沼田里衣（神戸大学研究員）
17:40-17:50 閉会挨拶
    どうやら明日の特別講演では来場者が多いので机が無くなるとのことで、机の上にパソコンを置いてさらにあれこれ機材を広げて内職できるのも今日だけらしい(^_^;)。今回はタプルMyoのデモ、そして「うにうに」はせっかくなので、SingleUniUniの試作で宮本さんに渡したものと、宮本さんバージョンと、そしてMultiUniUni(お触り楽器)のデモをしてみよう、という作戦である。 やればMUSEも出来るのだが、とりあえずは温存のつもりである。 以下、自分の発表前にある発表について、簡単に感想をメモしていこう。

    1件目の西田治「大学教養教育におけるグループ即興演奏の取組み - その意義と可能性」は、全学的な教養教育で即興音楽演奏体験をしてみる、という面白い発表である。 おずおずと始めた色々な学生が「音楽観が変わった」というところに行く、というのは素晴らしい。 SUACの文化芸術総合演習(という科目は無くなったのか・・・(^_^;))で、こういうのをやるべきだったのではないか、と思った。 学生の反応として、毎回アイスブレイクを入れる事の必要性、参加者を恥ずかしさから解放するために「暗くする」事が重要・・・というのはおおいに参考となった。

    2件目の大類朋美「クラシック音楽家にとっての即興演奏の学習とアウトリーチコンサートへの活用の可能性」というのは、アウトリーチコンサートという用語の定義(解説)が無かったので最初ちょっとピンと来なかったが、どうやらクラシックなどのようにかしこまってコンサートホールで行うのでない、小学校や公共施設などの地域に根ざした場で、ちゃんとした音楽家がちゃんとした音楽を提供する、というものらしい。 そして、このような姿勢で活動する音楽家はティーチングアーティストというらしい。 演劇的要素で、状況を演出するジングルやSEを即興で提示すると子供が反応する、というのは面白いが、音大の学生はやはり即興は出来ないようである(^_^;)。

    けっこう合間に内職時間があると判明してきたので、片耳だけiPodのイアホンを入れて、細々とMUSEのための音源を模索(試行錯誤)しつつのセッションである。 3件目の真都山みどり「即興からのパフォーマンス・クリエイション〜AAF主催［サウンドパフォーマンス・プラットフォーム］上演作品創作の検証〜」は、愛知県芸術劇場での作品公演の紹介・解説(メイキング)であった。 しかし、他人のことはあまり言えないものの(^_^;)、どうしてこうシリアスに即興をするアーティストの即興公演は、子供が泣いたり逃げたりしそうなものになってしまうのか、というのは永遠の課題である。 「即興的にステージ上を動いて誰か2人と触れたら◯◯の音を発声する」などのルールで、IAMASの三輪さんの「アルゴリズム・パフォーマンス」と原理的には通じる手法であるものの、どうしてここまで三輪さんの作品の面白さと怪しさが無くなってしまうのだろうか・・・という反面教師としてはなかなかに考えさせられた。 後日の水野みか子さんのレビューとかを紹介する、というのはこの世界の手法なのだろうか。

    続いて1時間にわたって、ワークショップ１ 岡崎香奈「創造的音楽療法における臨床音楽について」があった。 冒頭、ザワついていた会場を鎮めるために参加者に名目させて、ドリアンのスケールをピアノで弾いて、あとは5度だけ鳴らしたピアノに参加者が自由にスケール音を選んで歌っていい・・・という、いい感じの即興合唱からスタートした。 アメリカ人のポール・ノードフ博士とイギリス人のクライブ・ロビンス博士が開発した、即興音楽を使った音楽療法についての紹介であった。 もともと「音楽療法」というのは歴史があると思うが、主たる対象は発達障害などの子供、というところが主流であるようだ。 これとともに、高齢化社会は認知症の高齢者(ある意味で子供還りした老人は同じかも)も主対象として注目されているのだろう。 たしかに予稿によれば、音楽療法の対象は、「発達障害児・者、認知症高齢者、精神障害者、脳梗塞や交通事故の後遺症患者、昏睡患者、緩和ケアやホスピスの入所者、健常成人など」の症例研究が行われているという。 健常成人まで含めたら、なんらかのストレスを感じている(Well-Beingを欠いている)現代人の全てが対象となるとすれば、これは非常に意義のある仕事だろう。 ビデオで見せてもらった、どうにも社会性を欠いた青年が立派に即興ジャズセッションをするまで変貌した、という事例はとても感動的だった。 実際のレッスンで、音楽的/感覚的な固定観念を破壊するという意味で、複数の調性のスケールを同時に歌うというのは面白かった。

    ・・・そして僕の発表も無事に終わったが、上の写真は座長であるRAKASU PROJECT.さんに写真を撮ってもらったものである。 他の写真は ここ にある。 初めは見せるつもりは無かったが、つい勢いでMUSEも紹介してしまった(^_^;)。

    研究発表の5件目、寺内大輔、橋本知久「集団即興演奏の進行を司る役割のあり方」は、CMF2015で行ったワークショップの事例報告であった。 集団即興演奏においては、無政府状態を避けるために、何らかのリーダーが重要だが、これが「指揮者」という独裁者になってしまっては即興にならない。 この発表では、「プロンプター」と「コンダクター」と「ゲリラ」の役割りについて、そして「コブラ」と「コンダクション」というパフォーマンス形態の違いについて考察していた。 その後、ホテルを取った三宮に向かってみると、10月31日ということで以下のようにハロウィンで盛り上がっていた。

    YouTube

    2015年11月1日(日)

    火曜日にマラソンを控えているので昨夜は大人しく軽ーく飲み歌いしただけでちゃんと寝て、神戸大学神経発達科学部での、朝10時からの「日本音楽即興学会(JASMIM」大会の会場である。 今日は午前に研究発表2件とワークショップ1件、午後に特別講演があり、その後のラウンドテーブルの前で脱出して浜松に帰る予定である。

    研究発表の6件目、猪野純「音楽療法における即興演奏学習法試案〜即興演奏のスコア（総譜）化の試み〜」には予稿からちょっと期待していたのだが、前半のサーベイ的な報告が長かったのはプチ残念である。 即興演奏のスコア化、と言いながら、要するに音楽療法の記録ビデオからピアニストの即興演奏パートをわざわざ採譜して、そのタイムラインにクライアント(自閉症時Kerlくん)の振る舞い、セラビスト(歌うピアニスト)、コ・セラビスト(楽器を指差して気付かせる)の対応などを吹き出しとテキストにより記述している、というあまりにシンプルなものである。 どうやら、これを見てロールプレイして、音楽的な分析や音楽療法を学ぶ学生の教育に利用しよう、ということらしい。 そこそこ寝た筈なのに眠くなった。(^_^;)

    7件目の久保田 翠「イメージの生成を遮断する記譜の可能性について - クリスチャン・ウォルフの図形楽譜による演奏 -」は、ジョン・ケージの弟子であるというクリスチャン・ウォルフ氏の図形楽譜の紹介、というものである。 中身はComputer Musicの世界のアルゴリズム作曲の歴史から見れば、ごくごく初歩的なものであり、インプリメントしてやってみたい、という新しいアイデアは何も無かった。

    午前の最後のワークショップ２ 那須仁「４弦楽器・一五一会の活用方法について」は、「C-G-C-G」のオープンチューニングの4弦の小型のギター系楽器の体験コーナーであった。 BEGINが考案したというこの楽器の話はどこかで知っていたが、実際に触れたのは初めてだった。 ただし、中古のMartin Guitarのオーナーである身としては、やはりちょっと物足りなかったが、高齢者施設などでの即興音楽療法的な応用では、色々と活用できそうである。 大人のサイズで12万円、子供用の小型で4万円とのことで、ちょっと買うという展開にはなりそうもない。(^_^;)

    特別講演にたくさんの人が集まってきた昼休みには上のように、MUSEで鳴らす「脳波/表情筋サウンド」の試作に向けての実験をチラッと開始した。 そしてこれまでJASMIM大会でおそらく最大の聴衆が集まったところで、NYUのノードフ・ロビンズ音楽療法センター長のアラン・ケリー博士による特別講演「即興とウェルビーイング」が始まった。 以下は、あらかじめプレゼンのスライドを事務局が全て翻訳して予稿集に入れてくれた資料からの手打ちと、まさに即興的に進めたプレゼンのアラン・ケリー博士の言葉から、これはイタダキ、というフレーズをアトランダムに並べた貴重なメモである。

    非常に充実した特別講演は10分押しで、ノンストップに130分間の幸せな時間であった。 中には昼食後ということで居眠りしている人もいたが、けっこうクリアな発音の英語で逐次通訳を待たずに中身も取れたし、これまでのJASMIM大会で最大の収穫となった。 そして最後のラウンドテーブル「即興とウェルビーイング」をパスしてバス停に走り、無事に六甲道→新大阪、と乗り継いで、ここは浜松に向かう新幹線「ひかり」の車中である。

    遠方という言い訳のもと、松山のFIT2015と札幌のEC2015はいずれも「前泊」「後泊」パターンだったが、今回の神戸はきっちり1泊ということで、2日とも会場までキャリーバッグをごろごろと引きずり、けっこう疲れた出張となったが、この音楽的収穫は疲れを飛ばしてくれた(・・・と思っているだけで明日あたりにダメージが出るかも)。 これで、年内に残る出張は、来週月曜日の京都日帰り(京都芸大ワークショップ)、今月中旬の沖縄(リハ工学カンファレンス→湘南で模擬授業)、今月末の大阪1泊の基礎心理学会、来月初旬の東京1泊の音知学会、となったが、最後の2件はいずれも発表の無い聴講参加(お勉強モード)なので、ちょっと気楽である。 ただし、ここらでいよいよ「次」に向けて、BF関係のツールを作って実験を始める必要がある、とここで自戒的にメモしておこう。

    明日からの週は週末の碧風祭に向けて、講義曜日も変則的、金曜日は全学休講ということで水曜日のゼミだけであり、楽しみと言えば11/3(祝)に、アカペラの有志3人とまたまた9時間マラソンカラオケである。 今日のワークショップの「一五一会」を弾いて、久しぶりにまたギターが弾きたくなってきたので、マーチンの弦も新品に換えてみよう。 なお、今回の神戸ツアーの模様は ここ に置いた。 ここまででHTMLが197kBとなったので、「postGainer日記(1)」はここらを区切りとして、次は postGainer日記(2) としていこう。

    → postGainer日記(2)

    「日記」シリーズ の記録