We live Heartsnative!! の科学力！？の一部解説 #mosaiclive
2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。
私の担当する部分のシステム構成は、映像側にMacBook2台（1台はBootCampでWinXP）とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。
見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったので
実際何をやっていたかを感想を交えて振り返ってみます
基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでした
後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。
今回は全てのソフトを、Max/MSP/Jitter かQuartz Composerで作成しています。
開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示
まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたｗ
ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。
やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思います
歌って踊る Motion Portrait さんの3Dのようなミクさん
ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのです
正直これを始めてみたときは、現代の技術ってすげーーと思いましたｗ
口パクもミクさんの歌声にあわせてやってくれます
後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。
このミクさん達に、曲によって背景を用意してあげてライブに登場させました
幕間劇や曲中の映像を流すためのソフト
今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるＰＶ的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。（上記画像は開発中のものです）
遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。
リアルタイムでお話するミクさん
今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。
通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべる
というある意味画期的なソフトです（笑
今回はゲストのデＰさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ceed970b.jpeg)
![[image]](http://hayase.lekumo.biz/photos/uncategorized/2014/03/19/6a0120a85ce28c970b0120a8c3ce92970b.jpeg)
モザミクブラザーズに登場！ミクフレーズ
DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとＰＣのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。
これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですｗ
リアルタイムにメンバーと踊るSDキャラのミクさん
みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。
（写真は開発中のものです）
これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきました
Wiiリモコンでしゃべるミクさん
今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと（きまったフレーズだけど）会話ができるソフトです。
WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれました
リアルタイム映像とTwitterの最新ポストを3D空間上に表示
鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とＣＤジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。（ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。）
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを！とTwitterで呼びかけて、応援メッセージをいただきました。
若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがみなさんのご協力により映像がつくられました
といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったです
MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございました
さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。
| | 
| | 
I really like it whenever people get together and share opinions. Great blog, stick with it!
投稿： http://www.jazz-standards.com/ | 2014年5月22日 (木) 04:14
Awesome article.
投稿： buy air max 90 | 2014年5月23日 (金) 07:32
I just like the valuable info you provide in your articles. I will bookmark your weblog and check again here frequently. I'm relatively sure I will be informed lots of new stuff right right here! Good luck for the following!
投稿： cheap nfl jerseys | 2014年7月14日 (月) 19:39
Magnificent web site. Lots of useful information here. I'm sending it to some buddies ans also sharing in delicious. And certainly, thanks to your effort!
投稿： cheap nike air max trainers | 2014年8月23日 (土) 10:48
each time i used to read smaller content which also clear their motive, and that is also happening with this paragraph which I am reading at this time.
投稿： payday loans | 2014年11月21日 (金) 22:03
Hi there, just became aware of your blog through Google, and found that it is truly informative. I'm gonna watch out for brussels. I will appreciate if you continue this in future. Many people will be benefited from your writing. Cheers!
投稿： Botas Ugg Baratas | 2014年11月22日 (土) 02:26
Thanks for every other excellent article. Where else may anyone get that kind of info in such a perfect method of writing? I've a presentation subsequent week, and I am on the search for such info.
投稿： Christian Louboutin Discount Shoes Authentic | 2014年11月22日 (土) 08:08
Hi there! Would you mind if I share your blog with my myspace group? There's a lot of folks that I think would really appreciate your content. Please let me know. Thank you
投稿： Cheap Nike Air Max 360 95 | 2015年4月12日 (日) 07:43
It's hard to find educated people on this topic, however, you seem like you know what you're talking about! Thanks
投稿： Air Max 90 | 2015年4月12日 (日) 13:36
Hi, I do believe this is a great blog. I stumbledupon it ;) I'm going to return yet again since I saved as a favorite it. Money and freedom is the greatest way to change, may you be rich and continue to guide other people.
投稿： Ray Ban Modello Aviator | 2015年4月16日 (木) 01:14
Excellent post. I absolutely love this site. Keep it up!
投稿： Milanuncios Air Max | 2015年4月17日 (金) 12:30
Hello there! This post could not be written much better! Reading through this post reminds me of my previous roommate! He always kept talking about this. I most certainly will send this post to him. Fairly certain he will have a very good read. Thanks for sharing!
投稿： Christian Louboutin Pigalle 120mm | 2015年4月18日 (土) 16:19
Howdy! I just want to offer you a big thumbs up for the excellent info you've got right here on this post. I am returning to your site for more soon.
投稿： Air Max 90 Fluo | 2015年6月15日 (月) 09:36
An impressive share! I have just forwarded this onto a friend who has been doing a little research on this. And he actually ordered me dinner simply because I discovered it for him... lol. So allow me to reword this.... Thanks for the meal!! But yeah, thanks for spending some time to discuss this matter here on your web page.
投稿： Louboutin Shop Online Outlet | 2015年6月16日 (火) 11:01
I get pleasure from, result in I discovered exactly what I was looking for. You have ended my 4 day lengthy hunt! God Bless you man. Have a great day. Bye
投稿： louboutin torino | 2015年6月16日 (火) 23:46
Hello! Do you know if they make any plugins to help with SEO? I'm trying to get my blog to rank for some targeted keywords but I'm not seeing very good results. If you know of any please share. Cheers!
投稿： Louboutin Online | 2015年6月18日 (木) 04:34
This text is invaluable. Where can I find out more?
投稿： christian louboutin outlet | 2015年6月19日 (金) 06:18
Thank you for the good writeup. It in fact was a amusement account it. Look advanced to far added agreeable from you! However, how could we communicate?
投稿： zapatos de tacon christian louboutin | 2015年6月22日 (月) 13:21
My coder is trying to convince me to move to .net from PHP. I have always disliked the idea because of the costs. But he's tryiong none the less. I've been using Movable-type on numerous websites for about a year and am concerned about switching to another platform. I have heard very good things about blogengine.net. Is there a way I can transfer all my wordpress content into it? Any help would be greatly appreciated!
投稿： Air Max Al Por Mayor | 2015年8月15日 (土) 15:06
An impressive share! I've just forwarded this onto a colleague who has been conducting a little research on this. And he actually bought me breakfast because I stumbled upon it for him... lol. So let me reword this.... Thank YOU for the meal!! But yeah, thanx for spending the time to discuss this topic here on your internet site.
投稿： Jordan Scarpe 2014 | 2015年8月17日 (月) 08:31
I could not resist commenting. Well written!
投稿： JuanCEckardt | 2016年6月19日 (日) 08:23
Howdy can you mind letting me know which hosting company you're utilizing?
I've loaded your blog in 3 totally different internet browsers and I have
to admit this blog loads a lot faster then most.
Could you recommend a great internet hosting provider in a reasonable price?
Kudos, I appreciate it!
投稿： BoyceYQuiett | 2017年1月 1日 (日) 05:44
Hey! Someone in my Facebook group shared this site with us so I came to check it out.
I'm definitely loving the information. I'm bookmarking and will
be tweeting this to my followers! Outstanding blog
and great design and style.
投稿： minecraft | 2019年3月25日 (月) 12:08
Can you tell us more about this? I'd like to
find out some additional information.
投稿： minecraft | 2019年4月29日 (月) 11:06
If you wish for to improve your knowledge just keep visiting this site
and be updated with the most recent news update
posted here.
投稿： Judith | 2019年9月24日 (火) 13:37