We live Heartsnative!! の科学力！？の一部解説 #mosaiclive
2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。
私の担当する部分のシステム構成は、映像側にMacBook2台（1台はBootCampでWinXP）とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。
見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったので
実際何をやっていたかを感想を交えて振り返ってみます
基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでした
後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。
今回は全てのソフトを、Max/MSP/Jitter かQuartz Composerで作成しています。
開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示
まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたｗ
ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。
やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思います
歌って踊る Motion Portrait さんの3Dのようなミクさん
ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのです
正直これを始めてみたときは、現代の技術ってすげーーと思いましたｗ
口パクもミクさんの歌声にあわせてやってくれます
後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。
このミクさん達に、曲によって背景を用意してあげてライブに登場させました
幕間劇や曲中の映像を流すためのソフト
今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるＰＶ的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。（上記画像は開発中のものです）
遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。
リアルタイムでお話するミクさん
今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。
通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべる
というある意味画期的なソフトです（笑
今回はゲストのデＰさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ceed970b.jpeg)
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ce92970b.jpeg)
モザミクブラザーズに登場！ミクフレーズ
DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとＰＣのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。
これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですｗ
リアルタイムにメンバーと踊るSDキャラのミクさん
みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。
（写真は開発中のものです）
これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきました
Wiiリモコンでしゃべるミクさん
今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと（きまったフレーズだけど）会話ができるソフトです。
WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれました
リアルタイム映像とTwitterの最新ポストを3D空間上に表示
鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とＣＤジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。（ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。）
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを！とTwitterで呼びかけて、応援メッセージをいただきました。
若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがみなさんのご協力により映像がつくられました
といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったです
MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございました
さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。
| | 
| | 
Sweet internet site, super pattern, rattling clean and utilise genial.
投稿： Cleaning Services | 2020年1月13日 (月) 02:03
As I website possessor I believe the content material here is very wonderful, thank you for your efforts.
投稿： Carpet Cleaning | 2020年1月13日 (月) 22:13
Very interesting subject, regards for posting.
投稿： Chemical Etching by Qualitetch | 2020年1月15日 (水) 01:33
Wohh just what I was searching for, appreciate it for posting.
投稿： hackear whatsapp iphone gratis | 2020年1月16日 (木) 07:47
As I website possessor I think the content
here is really superb, thanks for your efforts.
投稿： organic handmade soaps online in india | 2020年1月16日 (木) 23:52
Thanks for the sensible critique. Me &
投稿： Youtube Oliver Isaacs | 2020年1月18日 (土) 03:23
Remarkable! Its genuinely awesome piece of writing, I have got much clear idea regarding from this
paragraph.
投稿： Sabung Ayam S128 Online | 2020年1月19日 (日) 09:52
This is very interesting, You're a very skilled
blogger. I've joined your feed and look forward
to seeking more of your excellent post. Also, I have
shared your site in my social networks!
投稿： Judi SV388 Online | 2020年1月19日 (日) 12:04
Wow, amazing weblog structure! How lengthy have you been blogging for?
you made running a blog glance easy. The full glance of your website is great, as well as the content!
投稿： Snow Plowing Cost | 2020年1月20日 (月) 03:23
Thank you for the sensible critique. Me and my neighbor were just preparing to do a little research about this.
We got a grab a book from our local library but I think I learned more clear from this post.
I am very glad to see such magnificent information being shared
freely out there.
投稿： Professional Tree Removal | 2020年1月20日 (月) 18:21
Sweet web site, super style and design, really clean and use friendly.
投稿： W88 Thai | 2020年1月22日 (水) 02:35
Hello There. I found your blog using msn. This is a
really well written article. I'll make sure to bookmark it and come back to read more of
your useful information. Thanks for the post.
I will certainly return.
投稿： w88 | 2020年1月22日 (水) 03:26
I like what you guys are up also. Such smart work and reporting!
Keep up the superb works guys I have incorporated you guys to my
blogroll. I think it will improve the value of my web site :
).
投稿： samsung galaxy s8 screen repair | 2020年1月23日 (木) 08:49
Hey There. I found your blog using msn. This is a very well written article.
I'll be sure to bookmark it and return to read more of
your useful information. Thanks for the post. I will definitely return.
投稿： Richmond Va Tree Service | 2020年1月23日 (木) 09:36
Regards for this post, I am a big big fan of this website would like to keep updated.
投稿： Whirlpool | 2020年1月24日 (金) 11:03
I?m not that much of a internet reader to be honest but your blogs really nice,
keep it up! I'll go ahead and bookmark your website to come back later on. Cheers
投稿： w88kub | 2020年1月24日 (金) 19:52
If some one needs to be updated with latest technologies after that he
must be go to see this web site and be up to date everyday.
投稿： w88th | 2020年1月26日 (日) 05:41
Wohh exactly what I was searching for, thank you for posting.
投稿： Agen SLot Online | 2020年1月26日 (日) 20:47
Wow, fantastic weblog structure! How lengthy have you been blogging for?
you made running a blog look easy. The entire look of your site is fantastic,
as smartly as the content!
投稿： Login Joker123 | 2020年1月26日 (日) 20:54
My coder is trying to convince me to move to .net from PHP.
I have always disliked the idea because of the costs. But he's tryiong none the less.
I've been using WordPress on numerous websites for about a year
and am concerned about switching to another platform.
I have heard great things about blogengine.net. Is there a way I can import
all my wordpress posts into it? Any help would be greatly appreciated!
投稿： Agen Slot Joker123 | 2020年1月27日 (月) 00:42
Very good written story. It will be supportive to everyone who
employess it, including yours truly :). Keep doing what you are doing -
looking forward to more posts.
投稿： Parvo | 2020年1月29日 (水) 05:35
I?m not that much of a internet reader to be honest
but your blogs really nice, keep it up! I'll go ahead and bookmark your site
to come back down the road. All the best
投稿： Agen Joker123 | 2020年1月31日 (金) 08:57
If some one wants to be updated with newest technologies afterward he must
be pay a visit this site and be up to date
all the time.
投稿： W88 | 2020年2月 1日 (土) 06:26
I like what you guys are up too. Such intelligent work and reporting!
Keep up the excellent works guys I have incorporated you guys to my blogroll.
I think it'll improve the value of my web site :).
投稿： ppc management for small business | 2020年2月 1日 (土) 06:43
Wow, awesome blog format! How long have you ever been blogging for?
you made blogging glance easy. The full look of your web site is fantastic, let alone the content material!
投稿： cheap nursery furniture | 2020年2月 1日 (土) 19:15