インタラクティブプロダクト演習(長嶋担当回)(参考)「サウンドデザイン」の関連領域
- 話題メモ
- 初日ガイダンス担当分(2022.10.06)
- 長嶋担当回の目標「インタラクティブプロダクト(システム)の本質」を理解する
- 造形 - 鑑賞用プロダクト - ※インタラクティブじゃない
- からくりプロダクト(可動部品あり) - ヒトの力、重力
- からくり人形(動力源あり) - ぜんまい、ゴム、圧縮空気
- ロボット人形(モーター駆動) - 電池(電気エネルギー)
- ラジコン人形 - 電池+リモコン制御(有線/無線)
- 電子回路によるstandaloneシステム - 触れると光が点滅、触れると音が出る・・・
- マイコン内蔵システム - 高度な処理を実現 - Arduino、LEGOマインドストーム
- パソコン・タブレット・スマホ - 閉じたコンピュータシステム
- パソコン+インターフェース --- 外界とやりとりして高度な処理を実現
- 長嶋担当回(2週)で紹介すること
- 「新楽器」について考えてみよう
- これまで長嶋がデザインし作曲・公演してきた「新楽器」の事例紹介
- 長嶋が大会委員長としてSUACで開催した
NIME2004(新楽器の国際会議)の事例 Guthman Musical Instrument Competitionから考えよう - Macを使おう
- "Max8"で出来ること(の一部)
- 「触ると音が出る」システム(楽器?)の作り方
- 「Arduino」で広がる世界
- インスタレーションへの可能性
- パフォーマンスへの可能性
- 「インタラクティブプロダクト演習」で過去に長嶋が応援した課題作品例
※ 具体的な紹介(写真、メイキング、プレゼン、デモYouTube動画)は SUACインスタレーション(4) または SUACインスタレーション(5) の中にありますので参照してください
- 最終合評2017
- 木村作品
- 清水作品
- 宮本作品
- 大隈作品
- 最終合評2018
- オーケストラBOX (立松美紗樹)
- プレシ音 (柴田頼人)
- テクノキッチン (尾方航)
- 最終合評2019
- エンドレスサウンド (持田侑菜)
- 音してブロック (吉田紫穂)
- 最終合評2020
- 理子の焼肉 (提坂理子)
- こだまくん (永井里緒)
- 最終合評2021
- 世界キーボード (清水秋月)
- 音で読む絵本 (法月はるね)
- いつでも雨傘 ( 橋本菜々)
- 最終合評2022
この年は作品制作支援2回生ナシ(領域変更してきた3回生2人が今年、履修中)- SUACインスタレーション(4)
- SUACインスタレーション(5)
- 手元にある楽器/音具からまず6つを紹介
- (音遊び玩具)1
- 標準的な価格 - ヤフオクで約千円
- 楽器の背景的な知識 - 乳児が初めて「触れる」「鳴らす」を体験して遊ぶ玩具
- 体験（操作）方法 - 左から(ボールを潰すと音が出る、取っ手を引っ張ると戻る時に音が出る、ボタンを押すと電子音が鳴る、ダイヤルを回すと音が出る、球体を回すと音が出る)
- (音遊び玩具)2
- 標準的な価格 - ヤフオクで約千円
- 楽器の背景的な知識 - 乳児が初めて「触れる」「鳴らす」「光る」を体験して遊ぶ玩具
- 体験（操作）方法 - ボタンを押すと光って電子音が鳴る、太鼓になっている面を叩く、組み合った歯車を回すと音が出る、(無いけど)穴の形に適合したパーツを入れると穴の側面にあるスイッチが押されて電子音が鳴る
- ハンドロールピアノ(改造版)
- 標準的な価格 - 約1万円
- 楽器の背景的な知識 - 昔からある「ゴム製の鍵盤シートの電子楽器」で、使用しない時に鍵盤シートをくるくる丸めて収納できる。「へこまない鍵盤」(弾いた感じがしない)とゴムの触感という体験のために提供。なお、このゴムは導電ゴムではなくて内部にPCキーボードと同じシートスイッチがある
- 体験（操作）方法 - 本来は電源を入れて弾くだけ。ただしこれは改造版(詳しくは こちらを参照 )のため、ACアダプタを差し込む(電源スイッチ無し)。改造したMIDIコネクタから演奏している鍵盤情報がコンピュータに送られる
- 3Dプリンタで制作された「万能楽器用吹き口」(写真の青いプラスチックの笛じゃない2本のもの)
- 標準的な価格 - 無料
- 楽器の背景的な知識 - 2016に参加したNIME2016(新楽器/新インターフェースの国際会議)の ワークショップ で行われた「3Dプリンタで楽器を作る」で、オーガナイザが参加者に配布したものに、もっとも簡単な伸縮パイプを付けたもの。詳細は こちらを参照
- 体験（操作）方法 - ただ吹く。パイプ部分はホースとか何でも差し込んでOK。その様子は こちらを参照
- こえピアノ
- 標準的な価格 - 1480円(『小学一年生』ふろく)
- 楽器の背景的な知識 - 『小学一年生』2017年５月号の付録にサンプラーが付いた・・・と話題になったもの。スイッチをキーボードにすると普通の単音電子楽器(一応の減衰音)だが、スイッチをマイクにするとマイクボタンを押した時の声をサンプリングして鍵盤で異なるピッチで再生できるという画期的なもの。このアイデアをインスタレーション作品に発展させた例としては伊熊千晶「食音植物」がある。残念ながらYouTube記録動画は無いが、 FLASHプレゼン や、以下の写真を参照されたい。
- 体験（操作）方法 - スイッチをキーボードにすると普通の単音電子楽器(一応の減衰音)。スイッチをマイクにするとマイクボタンを押した時の声をサンプリングして鍵盤で異なるピッチで再生する
- Tibetan Bell
- 標準的な価格 - ウイーンの「蚤の市」で35ユーロ
- 楽器の背景的な知識 - 楽器というより宗教儀式(仏具)。チベット由来で、高見さんの紹介したTibetan Bowlと同様に「棒で擦って共鳴させて音を出し瞑想する」ための道具。こちらでなくTibetan Bowlにアイデアを得た、友人の研究者Atau Tanakaの2002年のNIME論文は こちら であり、実際にAtau TanakaがNIME2002のコンサートセッションで演奏している様子が こちら 。筋電センサで両手の動き(回転動作)を検出し、さらにボウルの振動センサで実際に擦って共鳴しているデータを検出しているが、実際のサウンドとグラフィクスはMaxで生成している
- 体験（操作）方法 - 取っ手を持って上向きにして、棒で上端の淵を外側から回転させていると、次第に共鳴して音が鳴ってくる。雑念があると音が大きくならない。決してバチのように叩かないこと。バチが当たる(^_^;)
- (今年から新たに)手元にある楽器/音具からさらに11種を紹介
- Kendang
- 標準的な価格 - 浜松まつりのフリーマーケットで2,500円
- 楽器の背景的な知識 - インドネシアの民族楽器(を模したお土産)
- 体験（操作）方法 - 叩けば鳴る
- この楽器に、接着/穴あけなどの加工を一切行わずに電子回路システムを纏わせた新楽器「CyberKendang」を製作した。詳しくは この学会発表 を参照されたい。 さらにこの楽器を使った作品公演の記録としては、SUAC MAFでの公演 ★ ★ ★ 、そしてNIME2007に採択されてニューヨーク大学での 公演の記録 がある。
- 癒しの音で気分を変えるサウンドボックス「俺の環境音」
- 標準的な価格 - サンコーレアモノショップ で3,980円
- 楽器の背景的な知識 - 10種類の環境音で日々の生活に変化をもたらすサウンドスピーカー。ライトも点灯する
- 体験（操作）方法 - ボタンを押すと鳴る
- "Mozzi"改造版「ミニ・グランドピアノ」
- 標準的な価格 - エレキット で3,520円の「ミニ・グランドピアノ[AW-865]」を全面的に改造
- 楽器の背景的な知識 - エレキットの[AW-865]のケースと鍵盤に相当するスイッチだけを利用して、本来の電子回路の部分は全て取り去り、Arduino Nanoを使って"Mozzi"によるFM音シンセサイザとして鳴らすように改造した。詳しくは Sketching日記(12) やメイキング ★ ★ ★ を参照のこと
- 体験（操作）方法 - 鍵盤を押すと鳴る
- バードコール
- 標準的な価格 - 1,500円ぐらい
- 楽器の背景的な知識 - 「バードコール」で検索すると色々出てくるが、軽くねじるだけで摩擦により小鳥の鳴き声を出せるおもちゃ。これは浜北の森林公園の売店で仕入れたお土産品
- 体験（操作）方法 - 摩擦を意識して回転させて擦ると鳴る
- 手回しオルゴール
- 標準的な価格 - 1万円ぐらい(小樽のオルゴールミュージアムのお土産品)
- 楽器の背景的な知識 - Diatonicの手回しオルゴール。専用のシートに専用のパンチで穴をあければオリジナル曲もアレンジ曲も自由自在。回転のコントロールの緩急で音楽のテンポ表現が自由自在。シートを逆方向に入れれば曲の最後から最初に向かって逆回しでき、シートの上下を反対に入れるとメジャーな響きがマイナーになったりする
- 体験（操作）方法 - シートを入れてハンドルを回転させると鳴る
- (紐に繋がれた大小の鈴)×3本
- 標準的な価格 - 浜松まつりのフリーマーケットで1本2,000円ぐらい
- 楽器の背景的な知識 - インドネシアのガムランで鳴らす??(不明)
- 体験（操作）方法 - 揺すればぶつかって鳴る
- 真鍮製の鈴
- 標準的な価格 - 海外(どこか)の蚤の市で15ユーロぐらい
- 楽器の背景的な知識 - 仏具??(不明)
- 体験（操作）方法 - 揺すれば鳴る
- 少女像のベル
- 標準的な価格 - リンツ(オーストリア)の蚤の市で20ユーロぐらい
- 楽器の背景的な知識 - クリスマス用??(不明)
- 体験（操作）方法 - 振れば鳴る
- 荒く連結された3つの小な鐘
- 標準的な価格 - 海外(どこか)の蚤の市で10ユーロぐらい
- 楽器の背景的な知識 - クリスマス用??(不明)
- 体験（操作）方法 - 振れば鳴る
- カナダの風鈴
- 標準的な価格 - カナダ・バンクーバーで35ドル
- 楽器の背景的な知識 - クリスマス用??(不明)
- 体験（操作）方法 - 揺すればぶつかって鳴る
- チベットの鐘 6種
- 標準的な価格 - 海外あちこちの蚤の市で30-50ユーロぐらい
- 楽器の背景的な知識 - 仏具??(不明)
- 体験（操作）方法 - 揺すればぶつかって鳴る
- 担当1回目(2022.12.01)
- 今週と来週は「マルチメディア室スタート」(遅刻厳禁)
- マルチメディア室の使い方
- 個人データ(Rドライブ)は保存されない
- データはUSBメモリ/HDDで持ち帰る
- 長嶋Webへのアクセス→「nagasm.org」から or SUACから
- ブラウザはFirefoxだと長嶋ページ内のYouTubeリンクでストップする → Chromeを使うこと
- 過去の「インタラクティブプロダクト演習」の最終合評の様子
- これまでの回と長嶋担当回と今後の回についての関係
- この科目はオムニバス(複数の教員が担当)
- オムニバス科目の美味しい生かし方
- 今週と再来週では長嶋から新しいトピック(Macによるサウンド生成など)を提供する
→これを自分のプロジェクトに活用してもOK
→知識として学んだ上で使用せずに自分の(アナログ)路線を進めてもOK- 前期「サウンドデザイン」を受講した学生にとっては「復習」の部分が大きい
- Max8入門 part1 - Maxを立ち上げて編集して終了する
- システム環境設定でサウンドを「内蔵スピーカ」にすると音が出る(ヘッドホン必要)
- Maxを立ち上げる
- 最初にMaxを起動しておけば、あとはMaxパッチ(拡張子maxpat)を叩けば開く
- Maxでは文字は「直接入力」にしておくこと(日本語NG)
- 「編集モード」と「実行モード」 ※ショートカット「Command+E」
- 「File」 → 「New Patcher」で新しいパッチ(Maxのプログラム)を作る ※キャンバスは真っ白(^_^)
※ショートカット「Command+C」「Commande+V」「Command+D」「Command+A」「Command+X」「Command+Z」「Command+W」はWindows等と同じ- パッチの保存「拡張子はmaxpat」→USBメモリ等へ ※ショートカット「Command+S」
- Maxの終了 ※ショートカット「Command+Q」
- 本日のサンプルパッチ
- Max8入門 part2 - "touchMIDI32"で何かサウンドを出してみよう
- システムの「オーディオMIDI設定」
- "touchMIDI32"を繋いでみると・・・
- 「notein」オブジェクトを叩いてMIDIポートとして"touchMIDI32"を指定する
- 内蔵音源を鳴らすシステムと結び付ける
- 人体が触れると32種類のノート情報が発生するセンサ - example_01
- 「音色」の数字と楽器名の対応
- 楽器音は「ノート」でピッチを与えるが、ピッチ感のない打楽器音は特別に発音設定される
- MIDIの10チャンネルは打楽器トラック専用(1〜9チャンネル、11〜16チャンネルは楽器トラック)
- 10チャンネルのノート番号と打楽器の対応
- パーカッション(MIDI 10ch)は簡易な効果音として活用できる - example_02
- 「楽器音」もその楽器の推奨音域から大きく外すと特殊な効果音のように使える
- 12等分平均律の何かの音がランダムに鳴る - example_03
- 何かの白鍵(Diatonic Scale)の音がランダムに鳴る - example_04
- 何かの黒鍵(Pentatonic Scale)の音がランダムに鳴る - example_05
- Max8入門 part3 - Max8を使って「インタラクティブブロダクト演習」の作品を使う場合の作戦
- Max8はフリーウェアではない
- ダウンロードしてインストールするのは「ちょっと待って!!!」
- 無料体験(Windows/Mac)は30日間だけ - メイルアドレスを登録すると、編集したパッチを保存もできる
- 学生がその後もパッチを保存するには、(1)アカデミック永久ライセンスを購入、(2)アカデミック・サブスク(1年間)登録 のいずれか
- (1)アカデミック永久ライセンスの購入は国内代理店でも米国の開発元でも可能
- (2)アカデミック・サブスク(1年間)登録は米国の開発元のみ可能
- マルチメディア室でMaxパッチを開発して完成させて、最終合評(2023.2.2)が近くなってからMax8をダウンロード/インストールする作戦
- 30日間の期限が切れても、パッチを変更/保存できないものの、パッチを走らせるのはいつでも可能
- 「インタラクティブブロダクト演習」の作品のために長嶋研究室のMax8の入ったMac(数台あり)を貸し出すのはちょっと無理です
- Max8入門 part4 - Maxプログラミングの方法
- オブジェクト(箱)同士を結ぶのがMaxプログラミング
- 最小限のオブジェクトだけで相当のことが出来る
- (整数)変数 - 入力にも出力にもなるs
- Maxの情報は「bang」と「データ」(数)と「メッセージ」(文字列)
- Maxのグレーのコードを情報が流れるのは「イベント」の時だけ
- Maxで絶対に禁止なのは「無限ループ」
- 鍵盤 - 入力にも出力にもなる
- 「delay」の連鎖で簡単なチャイムを作ってみよう
- 「正解」に使われる「ピンポン」を作ろう
- 「不正解」に使われる「ブッブーー」を作ろう
- 例題 - "touchMIDI32"に触れると「1:2」の確率で「ピンポン」(Good)と「ブッブーー」(Bad)が鳴るプログラム - example_06
- Max8入門 part5 - 生サウンドを使ってみよう
- サウンド信号処理の使い方 - まずはサンプリングしてみよう - example_07
- メモリにサンプリングした音響をサウンドファイル化する
- 再生速度を変える/逆再生する - だけでも遊べる
- サウンドファイルを再生する「sfplay~」- example_08
- トリッキーに再生する「groove~」- example_09
- 録音する場合は防音室で ※録音時に入ったノイズは消せない
- エフェクトをかける場合にはGarageBandなどを活用する
- 来週も「マルチメディア室スタート」(遅刻厳禁)
- 担当2回目(2022.12.08)
- 今週も「マルチメディア室」スタート、今日の中身は超「濃い」ですので堪能して下さい
- OMMF2022に行ってきました
- 展示発表した「音楽演奏コントローラ」(佐々木健輔)
- 展示発表した「FrogLIVE ~幻の4匹目~」(吉田彩) ★
- 展示発表した「インタラクティブプロダクト演習」課題作品「世界キーボード」(清水秋月)のdemo
- 長嶋の作った「新楽器」のデモ紹介(1) - 「光の絃」
- 長嶋の作った「新楽器」のデモ紹介(2) - 「Pella-min」
- 「エレキギター」にこだわる人々のデザインを考えてみよう
- 「ヤ◯ハ MIBURI」という伝説の黒歴史に学ぼう
- 海外の「身体動作」センサ研究から密かにアイデアを収集
- 両腕の「肩」・「肘」・「手首」の計6個の「曲げ」センサを開発
- 音階とポーズとの対応が強制的に決まっている → 演奏者は筋肉痛
- 数十万円の楽器なのに「単音」しか出ない
- 「ヤ◯ハ音楽教室の生徒が北朝鮮マスゲームのように全国でこの楽器を使う」という構想は完全に外れて数億円の赤字を出したという噂
- 実は高性能なセンサ部分からは0-5Vの連続電圧が綺麗に出ている
- 長嶋はセンサ部分の出力を切り離して「6チャンネル連続値MIDIセンサ」に改造
- この改造センサを活用した事例を2つ紹介 ※前述の神戸公演、SUAC学生による公演 ★
- ArduinoとMax8とを繋ぐ方法(1) - USBSerial接続
- ArduinoはAnalog/Digital入力をセンシングしてUSBシリアル出力する
- この出力はArduinoIDEのシリアルモニタで確認できる
- Max8はシリアル文字列を解釈してデータを抽出して利用する ★
- 後半は以下の話題(中級)を紹介します
- ArduinoとMax8とを繋ぐ方法(2) - Arduino2Max
- ArduinoとMax8とを繋ぐ方法(3) - Firmata+maxuino
- Mozziについて
- 来週12/15は「アコースティック発表会」
- 再来週12/22から「制作の週」
→長嶋サポートの学生は全体集合の後でそれぞれアポを入れて[ホワイトボードに記入]1106研究室(orマルチメディア室)に移動- ここで前半終了。不要な人は退出して自分のプロジェクトを進めてもOK
- ArduinoとMax8とを繋ぐ方法(2) - Arduino2Max
- 「ハンドシェーク」通信プロトコル
- ArduinoはUSBシリアル入力を常にモニタしている
- シリアル入力に"r"があるとArduinoはAnalog/Digital入力をセンシングしてUSBシリアル出力する
- この通信もArduinoIDEのシリアルモニタで確認できる
- Max8はシリアル文字列を解釈してデータを抽出して利用する
- 拡張すればMax8からArduinoにデータを送ることも可能(中級) ★
- ArduinoとMax8とを繋ぐ方法(3) - Firmata+maxuino
- 多チャンネルのリアルタイム入出力が実現可能
- Arduinoに「Firmata」を書き込む
- FirmataはMax8だけでなく、ほぼ全てのコンピュータ/処理系/言語に対応したオールマイティ
- Max8は「maxuino」ライブラリを使用してやりとりする
- 通信部分はJS記述された専用ライブラリがやってくれる(BlackBox)
- Max8側では「初期化」した後は単に「書き出す」・「読み込む」だけ
- Mozziについて
- 関連資料・リンク
(参考)長嶋担当科目の位置づけ
