We live Heartsnative!! の科学力！？の一部解説 #mosaiclive
2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。
私の担当する部分のシステム構成は、映像側にMacBook2台（1台はBootCampでWinXP）とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。
見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったので
実際何をやっていたかを感想を交えて振り返ってみます
基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでした
後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。
今回は全てのソフトを、Max/MSP/Jitter かQuartz Composerで作成しています。
開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示
まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたｗ
ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。
やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思います
歌って踊る Motion Portrait さんの3Dのようなミクさん
ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのです
正直これを始めてみたときは、現代の技術ってすげーーと思いましたｗ
口パクもミクさんの歌声にあわせてやってくれます
後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。
このミクさん達に、曲によって背景を用意してあげてライブに登場させました
幕間劇や曲中の映像を流すためのソフト
今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるＰＶ的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。（上記画像は開発中のものです）
遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。
リアルタイムでお話するミクさん
今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。
通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべる
というある意味画期的なソフトです（笑
今回はゲストのデＰさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ceed970b.jpeg)
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ce92970b.jpeg)
モザミクブラザーズに登場！ミクフレーズ
DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとＰＣのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。
これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですｗ
リアルタイムにメンバーと踊るSDキャラのミクさん
みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。
（写真は開発中のものです）
これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきました
Wiiリモコンでしゃべるミクさん
今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと（きまったフレーズだけど）会話ができるソフトです。
WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれました
リアルタイム映像とTwitterの最新ポストを3D空間上に表示
鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とＣＤジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。（ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。）
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを！とTwitterで呼びかけて、応援メッセージをいただきました。
若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがみなさんのご協力により映像がつくられました
といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったです
MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございました
さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。
| | 
| | 
I visited many blogs but the audio quality for audio songs present
at this web site is genuinely superb.
投稿： 메이저놀이터추천 | 2019年11月 1日 (金) 21:52
What's up mates, how is everything, and what you would like to say concerning this post, in my view its in fact awesome
designed for me.
投稿： 더킹카지노 | 2019年11月 2日 (土) 13:48
Simply want to say your article is as surprising.
The clearness in your put up is just excellent and i could assume you are an expert in this subject.
Well with your permission allow me to grasp your feed to stay
up to date with coming near near post. Thank you 1,000,000 and please keep up the
rewarding work.
投稿： 더킹카지노 | 2019年11月 2日 (土) 16:02
You could definitely see your skills in the paintings you write.
The arena hopes for more passionate writers like
you who aren't afraid to mention how they believe. All the time go after
your heart.
投稿： 소셜그래프게임 | 2019年11月 3日 (日) 09:31
You can definitely see your enthusiasm in the work you write.
The arena hopes for more passionate writers like you who are not
afraid to say how they believe. At all times follow
your heart.
投稿： 안전공원 | 2019年11月 3日 (日) 11:09
You can certainly see your enthusiasm in the work you write.
The sector hopes for even more passionate writers like you who
are not afraid to say how they believe. Always follow your
heart.
投稿： 카지노사이트 | 2019年11月 3日 (日) 12:09
Simply desire to say your article is as amazing. The clearness in your publish is just great and
i can suppose you are an expert on this subject. Fine along with your permission let me to seize your feed to keep updated with coming near near post.
Thank you one million and please carry on the enjoyable work.
投稿： 부스타빗 | 2019年11月 3日 (日) 12:10
You can certainly see your enthusiasm in the paintings you write.
The arena hopes for more passionate writers like you who aren't afraid to
say how they believe. All the time follow your heart.
投稿： 그래프사이트 | 2019年11月 3日 (日) 15:32
Amazing! Its really awesome post, I have got much clear idea regarding from this paragraph.
投稿： software development outsourcing | 2019年11月 5日 (火) 00:52
If some one desires expert view about blogging and site-building
afterward i propose him/her to visit this web site, Keep up the good job.
投稿： game slot scr888 | 2019年11月 5日 (火) 04:35
Hello, I enjoy reading all of your post. I wanted to write a
little comment to support you.
投稿： detik inet | 2019年11月 7日 (木) 05:20
Awesome! Its actually remarkable piece of writing, I have got much clear idea on the
topic of from this piece of writing.
投稿： fence contractor | 2019年11月 7日 (木) 17:46
If some one wants expert view on the topic of blogging and site-building then i recommend him/her to visit this webpage,
Keep up the nice job.
投稿： jobs in yellowknife | 2019年11月 8日 (金) 04:50
Hello, constantly i used to check weblog posts here early
in the morning, for the reason that i enjoy to find out
more and more.
投稿： slot | 2019年11月 8日 (金) 16:50
I really appreciate this post. I have been looking everywhere for this!
Thank goodness I found it on Bing. You have made my day!
Thx again!
投稿： gothic cabinets | 2019年11月 9日 (土) 07:52
Amazing! Its really awesome article, I have got much
clear idea on the topic of from this post.
投稿： y2mate mp3 | 2019年11月10日 (日) 17:45
I genuinely enjoy looking through on this website,
it has got good content.
投稿： plagiarism checker free | 2019年11月13日 (水) 08:25
Excellent site. A lot of helpful info here. I'm sending it to some pals ans also sharing in delicious.
And naturally, thank you for your effort!
投稿： Magnetic Bracelet | 2019年11月14日 (木) 21:30
Pretty nice post. I just stumbled upon your blog and
wanted to say that I have truly enjoyed surfing around your blog posts.
In any case I'll be subscribing to your rss feed and I hope
you write again very soon!
投稿： Holistic Pain | 2019年11月15日 (金) 06:21
I'm really impressed with your writing skills as well
as with the layout on your weblog. Is this a paid theme
or did you customize it yourself? Either way keep up the excellent quality writing, it's rare to see a
great blog like this one these days.
投稿： Cross | 2019年11月15日 (金) 19:24
I adore foregathering useful info, this post
has got me even more info!
投稿： business consultant | 2019年11月15日 (金) 19:47
Thanks for this post, I am a big big fan of this website would like to go along updated.
投稿： SEO Malaysia | 2019年11月17日 (日) 11:54
Today, while I was at work, my sister stole my iphone and tested to see if it can survive a twenty five foot drop, just so
she can be a youtube sensation. My iPad
is now destroyed and she has 83 views. I know this is
completely off topic but I had to share it with someone!
投稿： Carma | 2019年11月19日 (火) 21:24
Hey there, I think your website might be having
browser compatibility issues. When I look at your blog site in Safari, it looks fine but when opening in Internet Explorer, it has some overlapping.
I just wanted to give you a quick heads up! Other then that, fantastic blog!
投稿： Canadian process serving | 2019年11月21日 (木) 04:35
Hello There. I found your blog the usage of msn. This is an extremely
smartly written article. I'll make sure to bookmark it and
come back to read more of your useful info. Thanks for the post.
I will definitely comeback.
投稿： Allan | 2019年11月22日 (金) 13:23