インタラクティブプロダクト演習(長嶋担当回)
(参考)「サウンドデザイン」の関連領域
(参考)長嶋担当科目の位置づけ
- 話題メモ
- 初日ガイダンス担当分(2023.10.05)
- 長嶋担当回の目標「インタラクティブプロダクト(システム)の本質」を理解する
- 造形 - 鑑賞用プロダクト - ※インタラクティブじゃない
- からくりプロダクト(可動部品あり) - ヒトの力、重力
- からくり人形(動力源あり) - ぜんまい、ゴム、圧縮空気
- ロボット人形(モーター駆動) - 電池(電気エネルギー)
- ラジコン人形 - 電池+リモコン制御(有線/無線)
- 電子回路によるstandaloneシステム - 触れると光が点滅、触れると音が出る・・・
- マイコン内蔵システム - 高度な処理を実現 - Arduino、LEGOマインドストーム
- パソコン・タブレット・スマホ - 閉じたコンピュータシステム
- パソコン+インターフェース --- 外界とやりとりして高度な処理を実現
- 長嶋担当回(2週)で紹介すること
- 「新楽器」について考えてみよう
- これまで長嶋がデザインし作曲・公演してきた「新楽器」の事例紹介
- 長嶋が大会委員長としてSUACで開催したNIME2004(新楽器の国際会議)の事例
- Guthman Musical Instrument Competitionから考えよう
- Macを使おう
- "Max8"で出来ること(の一部)
- 「触ると音が出る」システム(楽器?)の作り方
- 「Arduino」で広がる世界
- インスタレーションへの可能性
- パフォーマンスへの可能性
- 「インタラクティブプロダクト演習」で過去に長嶋が応援した課題作品例
※ 具体的な紹介(写真、メイキング、プレゼン、デモYouTube動画)は
SUACインスタレーション(4)
または
SUACインスタレーション(5)
または
SUACインスタレーション(6)
の中にありますので参照してください
- 手元にある楽器から紹介
- 癒しの音で気分を変えるサウンドボックス「俺の環境音」
- 標準的な価格 -
サンコーレアモノショップ
で3,980円
- 楽器の背景的な知識 - 10種類の環境音で日々の生活に変化をもたらすサウンドスピーカー。ライトも点灯する
- 体験（操作）方法 - ボタンを押すと鳴る
- "Mozzi"改造版「ミニ・グランドピアノ」
- 標準的な価格 -
エレキット
で3,520円の「ミニ・グランドピアノ[AW-865]」を全面的に改造
- 楽器の背景的な知識 - エレキットの[AW-865]のケースと鍵盤に相当するスイッチだけを利用して、本来の電子回路の部分は全て取り去り、Arduino Nanoを使って"Mozzi"によるFM音シンセサイザとして鳴らすように改造した。詳しくは
Sketching日記(12)
やメイキング
★
★
★
を参照のこと
- 体験（操作）方法 - 鍵盤を押すと鳴る
- 手回しオルゴール
- 標準的な価格 - 1万円ぐらい(小樽のオルゴールミュージアムのお土産品)
- 楽器の背景的な知識 - Diatonicの手回しオルゴール。専用のシートに専用のパンチで穴をあければオリジナル曲もアレンジ曲も自由自在。回転のコントロールの緩急で音楽のテンポ表現が自由自在。シートを逆方向に入れれば曲の最後から最初に向かって逆回しでき、シートの上下を反対に入れるとメジャーな響きがマイナーになったりする
- 体験（操作）方法 - シートを入れてハンドルを回転させると鳴る
- ミュージック ポン・プー
- 標準的な価格 - 税込価格 ￥7,480
- 鈴木楽器の製品
- コロナでハーモニカが売れなくなったのでハーモニカのリードを活用すべく新開発
- 担当1回目(2023.11.30)
- 今週と来週は「マルチメディア室スタート」(遅刻厳禁)
- マルチメディア室の使い方
- 個人データ(Rドライブ)は保存されない
- データはUSBメモリ/HDDで持ち帰る
- 長嶋Webへのアクセス→「nagasm.org」から or SUACから
- ブラウザはFirefoxだと長嶋ページ内のYouTubeリンクでストップする → Chromeを使うこと
- 過去の「インタラクティブプロダクト演習」の最終合評の様子
- これまでの回と長嶋担当回と今後の回についての関係
- この科目はオムニバス(複数の教員が担当)
- オムニバス科目の美味しい生かし方
- 今週は長嶋から新しいトピック(Macによるサウンド生成など)を提供する
→これを自分のプロジェクトに活用してもOK
→知識として学んだ上で使用せずに自分の(アナログ)路線を進めてもOK
- 前期「サウンドデザイン」を受講した学生にとっては「復習」の部分がとても大きい
- 来週は関連の話題を提供して、後半は「Maxテーマを深める」か「解散して自分の制作テーマを検討する」の選択制にする予定
- こういうイベントがあります。参加歓迎
- 「発電バイモルフモジュール」について
- Max8入門 part1 - Maxを立ち上げて編集して終了する
- システム環境設定でサウンドを「内蔵スピーカ」にすると音が出る(ヘッドホン必要)
- Maxを立ち上げる
- 最初にMaxを起動しておけば、あとはMaxパッチ(拡張子maxpat)を叩けば開く
- Maxでは文字は「直接入力」にしておくこと(日本語NG)
- 「編集モード」と「実行モード」 ※ショートカット「Command+E」
- 「File」 → 「New Patcher」で新しいパッチ(Maxのプログラム)を作る ※キャンバスは真っ白(^_^)
※ショートカット「Command+C」「Commande+V」「Command+D」「Command+A」「Command+X」「Command+Z」「Command+W」はWindows等と同じ
- パッチの保存「拡張子はmaxpat」→USBメモリ等へ ※ショートカット「Command+S」
- Maxの終了 ※ショートカット「Command+Q」
- 本日のサンプルパッチ
- Max8入門 part2 - "touchMIDI32"で何かサウンドを出してみよう
- システムの「オーディオMIDI設定」
- "touchMIDI32"を繋いでみると・・・
- 「notein」オブジェクトを叩いてMIDIポートとして"touchMIDI32"を指定する
- 内蔵音源を鳴らすシステムと結び付ける
- 人体が触れると32種類のノート情報が発生するセンサ - example_01
- 「音色」の数字と楽器名の対応
- 楽器音は「ノート」でピッチを与えるが、ピッチ感のない打楽器音は特別に発音設定される
- MIDIの10チャンネルは打楽器トラック専用(1〜9チャンネル、11〜16チャンネルは楽器トラック)
- 10チャンネルのノート番号と打楽器の対応
- パーカッション(MIDI 10ch)は簡易な効果音として活用できる - example_02
- 「楽器音」もその楽器の推奨音域から大きく外すと特殊な効果音のように使える
- 12等分平均律の何かの音がランダムに鳴る - example_03
- 何かの白鍵(Diatonic Scale)の音がランダムに鳴る - example_04
- 何かの黒鍵(Pentatonic Scale)の音がランダムに鳴る - example_05
- Max8入門 part3 - Max8を使って「インタラクティブブロダクト演習」の作品を使う場合の作戦
- Max8はフリーウェアではない
- ダウンロードしてインストールするのは「ちょっと待って!!!」
- 無料体験(Windows/Mac)は30日間だけ - メイルアドレスを登録すると、編集したパッチを保存もできる
- 学生がその後もパッチを保存するには、(1)アカデミック永久ライセンスを購入、(2)アカデミック・サブスク(1年間)登録 のいずれか
- (1)アカデミック永久ライセンスの購入は国内代理店でも米国の開発元でも可能
- (2)アカデミック・サブスク(1年間)登録は米国の開発元のみ可能
- マルチメディア室でMaxパッチを開発して完成させて、最終合評(2024.2.1)が近くなってからMax8をダウンロード/インストールする作戦
- 30日間の期限が切れても、パッチを変更/保存できないものの、パッチを走らせるのはいつでも可能
- 「インタラクティブブロダクト演習」の作品のために長嶋研究室のMax8の入ったMac(数台あり)を貸し出すのはちょっと無理です
- Max8入門 part4 - Maxプログラミングの方法
- オブジェクト(箱)同士を結ぶのがMaxプログラミング
- 最小限のオブジェクトだけで相当のことが出来る
- (整数)変数 - 入力にも出力にもなるs
- Maxの情報は「bang」と「データ」(数)と「メッセージ」(文字列)
- Maxのグレーのコードを情報が流れるのは「イベント」の時だけ
- Maxで絶対に禁止なのは「無限ループ」
- 鍵盤 - 入力にも出力にもなる
- 「delay」の連鎖で簡単なチャイムを作ってみよう
- 「正解」に使われる「ピンポン」を作ろう
- 「不正解」に使われる「ブッブーー」を作ろう
- 例題 - "touchMIDI32"に触れると「1:2」の確率で「ピンポン」(Good)と「ブッブーー」(Bad)が鳴るプログラム - example_06
- Max8入門 part5 - 生サウンドを使ってみよう
- サウンド信号処理の使い方 - まずはサンプリングしてみよう - example_07
- メモリにサンプリングした音響をサウンドファイル化する
- 再生速度を変える/逆再生する - だけでも遊べる
- サウンドファイルを再生する「sfplay~」- example_08
- トリッキーに再生する「groove~」- example_09
- 録音する場合は防音室で ※録音時に入ったノイズは消せない
- エフェクトをかける場合にはGarageBandなどを活用する
- 来週も「マルチメディア室スタート」(遅刻厳禁)
- 担当2回目(2023.12.07)
- 今週も「マルチメディア室」スタート
- こんなイベントがあります。参加歓迎。スタッフ募集中
- 長嶋の作った「新楽器」のデモ紹介(1) - 「光の絃」
- 赤外線ビーム(切断)センサを13列*3段 -> MIDI出力
- メイキングの話と共に組み立てるところから見てみよう
- 実際に触ってみよう
- 作品公演での事例 - 1997年・神戸でのコンサート(演奏はピアノ科専攻学生) ※
★
★
★
- 作品公演での事例 - 2005年・バンクーバーでのコンサート(オリジナル筋電楽器と共に)
★
★
- もう一人のPerformerの身体動作については後述 ※
- これを活用したインスタレーション"Light Harp"の実演
★
- 長嶋の作った「新楽器」のデモ紹介(2) - 「Pella-min」
- 「テルミン」とは?
★
- 赤外線距離センサ8個のループを二重 + [ブルーLED→光センサ]*8個を左右に並べたテーブル、計32チャンネルのテルミン
- メイキングの話と共に組み立てるところから見てみよう
- 実際に触ってみよう
- 作品公演での事例 - 2009年・国立音大でのコンサート
★
★
- ロシア公演のため新versionを製作 - 2010年・エカテリンブルクでのコンサート
★
★
- 「エレキギター」にこだわる人々のデザインを考えてみよう
- 「電子楽器」と「電気楽器」との違い
- エレキギターは「電気楽器」
- 弦の振動はピックアップで拾ってアンプに行くのでボディの共鳴は不要
- なので「どんな形」でもOK → 目立った方が勝ち!!!
- YouTube動画を眺めてみよう
★
★
★
- 「ヤ◯ハ MIBURI」という伝説の黒歴史に学ぼう
- 海外の「身体動作」センサ研究から密かにアイデアを収集
- 両腕の「肩」・「肘」・「手首」の計6個の「曲げ」センサを開発
- 音階とポーズとの対応が強制的に決まっている → 演奏者は筋肉痛
- 数十万円の楽器なのに「単音」しか出ない
- 「ヤ◯ハ音楽教室の生徒が北朝鮮マスゲームのように全国でこの楽器を使う」という構想は完全に外れて数億円の赤字を出したという噂
- 実は高性能なセンサ部分からは0-5Vの連続電圧が綺麗に出ている
- 長嶋はセンサ部分の出力を切り離して「6チャンネル連続値MIDIセンサ」に改造
- この改造センサを活用した事例を2つ紹介 ※前述の神戸公演、SUAC学生による公演
★
- このイベントで紹介するインスタレーション
- 「PAWセンサ」について
- 宮本システム
- PAW-10
- PAW-8
- 実際に触ってみよう
- 後半は以下の話題(中級)を紹介するかもしれません
- ArduinoとMax8とを繋ぐ方法(1) - USBSerial接続
- ArduinoとMax8とを繋ぐ方法(2) - Arduino2Max
- ArduinoとMax8とを繋ぐ方法(3) - Firmata+maxuino
- Mozziについて
- 来週12/14は「アコースティック発表会」
- 再来週12/21から「制作の週」
→長嶋サポートの学生は全体集合の後でそれぞれアポを入れて[ホワイトボードに記入]1106研究室(orマルチメディア室)に移動
- ここで前半終了。不要な人は退出して自分のプロジェクトを進めてもOK
- ArduinoとMax8とを繋ぐ方法(1) - USBSerial接続
- ArduinoはAnalog/Digital入力をセンシングしてUSBシリアル出力する
- この出力はArduinoIDEのシリアルモニタで確認できる
- Max8はシリアル文字列を解釈してデータを抽出して利用する
★
- ArduinoとMax8とを繋ぐ方法(2) - Arduino2Max
- 「ハンドシェーク」通信プロトコル
- ArduinoはUSBシリアル入力を常にモニタしている
- シリアル入力に"r"があるとArduinoはAnalog/Digital入力をセンシングしてUSBシリアル出力する
- この通信もArduinoIDEのシリアルモニタで確認できる
- Max8はシリアル文字列を解釈してデータを抽出して利用する
- 拡張すればMax8からArduinoにデータを送ることも可能(中級)
★
- ArduinoとMax8とを繋ぐ方法(3) - Firmata+maxuino
- 多チャンネルのリアルタイム入出力が実現可能
- Arduinoに「Firmata」を書き込む
- FirmataはMax8だけでなく、ほぼ全てのコンピュータ/処理系/言語に対応したオールマイティ
- Max8は「maxuino」ライブラリを使用してやりとりする
- 通信部分はJS記述された専用ライブラリがやってくれる(BlackBox)
- Max8側では「初期化」した後は単に「書き出す」・「読み込む」だけ
- Mozziについて
- Mozziとは - 追加基板ナシでArduinoから色々なサウンド[単音]を出すライブラリ
- まずはこの音(FMサウンド)を体験しよう
- その音がArduino単体だけ(追加シールド無し、アンプも不要)で出る、というdemo
- Mozziの解説
★
関連資料・リンク