2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。
私の担当する部分のシステム構成は、映像側にMacBook2台（1台はBootCampでWinXP）とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。
見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったので
実際何をやっていたかを感想を交えて振り返ってみます
基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでした
後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。
今回は全てのソフトを、Max/MSP/Jitter かQuartz Composerで作成しています。
開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示
まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたｗ
ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。
やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思います
歌って踊る Motion Portrait さんの3Dのようなミクさん
ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのです
正直これを始めてみたときは、現代の技術ってすげーーと思いましたｗ
口パクもミクさんの歌声にあわせてやってくれます
後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。
このミクさん達に、曲によって背景を用意してあげてライブに登場させました
幕間劇や曲中の映像を流すためのソフト
今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるＰＶ的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。（上記画像は開発中のものです）
遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。
リアルタイムでお話するミクさん
今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。
通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべる
というある意味画期的なソフトです（笑
今回はゲストのデＰさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。
モザミクブラザーズに登場！ミクフレーズ
DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとＰＣのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。
これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですｗ
リアルタイムにメンバーと踊るSDキャラのミクさん
みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。
（写真は開発中のものです）
これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきました
Wiiリモコンでしゃべるミクさん
今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと（きまったフレーズだけど）会話ができるソフトです。
WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれました
リアルタイム映像とTwitterの最新ポストを3D空間上に表示
鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とＣＤジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。（ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。）
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを！とTwitterで呼びかけて、応援メッセージをいただきました。
若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがみなさんのご協力により映像がつくられました
といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったです
MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございました
さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。
コメント