« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

I really liked this post i read your blog fairly often, and you're constantly coming out with some great stuff.
I shared this on my blog, and my followers loved it. I really admire the great work :)

Can I simply say what a comfort to find somebody that actually knows what
they are talking about on the net. You actually understand how
to bring an issue to light and make it important.
More people have to read this and understand this side of your story.

I was surprised that you aren't more popular because you surely have the gift.

I loved this post! i actually read your blog very often, and you're constantly coming out with a lot of great stuff.
I embedded this on my fb, and my followers adored it.
Keep up the good work :)

You actually make it seem so easy with your
presentation but I find this matter to be really something which I think I would never understand.
It seems too complex and very broad for me. I am looking forward for your next post, I will try to get the hang of it!

Very nice post. I simply stumbled upon your blog and wished
to say that I have really enjoyed browsing your weblog posts.
After all I'll be subscribing for your feed and I'm hoping you write again very soon!

This is very fascinating, You're an overly skilled blogger.
I have joined your rss feed and look ahead to in the
hunt for extra of your wonderful post. Also, I've shared your website in my social
networks

Hi, i think that i saw you visited my weblog thus i came to “return the favor”.I am trying to find things to
enhance my website!I suppose its ok to use a few of
your ideas!!

Hello There. I discovered your weblog using msn. This is a really smartly written article.
I will be sure to bookmark it and come back to learn extra of your useful info.
Thanks for the post. I will certainly return.

Everything is very open with a really clear explanation of the challenges.

It was definitely informative. Your site is useful.
Many thanks for sharing!

Hi, I do believe this is a great site. I stumbledupon it

I visited several blogs however the audio feature for audio songs existing at this web site is really fabulous.

I do not even understand how I ended up here, however I assumed this publish used to be good.
I don't recognize who you're however certainly you are going to a well-known blogger if you
happen to are not already. Cheers!

I do trust all of the concepts you have introduced for your post.

They're really convincing and can definitely work. Nonetheless, the posts are very brief for newbies.
Could you please lengthen them a little from subsequent
time? Thanks for the post.

I enjoy, lead to I found exactly what I was taking a look for.
You have ended my four day lengthy hunt!
God Bless you man. Have a nice day. Bye

I'm amazed, I have to admit. Rarely do I encounter a blog that's both equally
educative and engaging, and without a doubt, you've hit the
nail on the head. The issue is something not enough folks are speaking intelligently
about. I am very happy that I stumbled across this in my hunt
for something concerning this.

Definitely believe that which you said. Your favorite reason appeared to
be on the net the easiest thing to be aware of. I say to you, I definitely get irked
while people think about worries that they just do not know about.
You managed to hit the nail upon the top and also defined out
the whole thing without having side-effects , people could take a signal.
Will probably be back to get more. Thanks

I just like the helpful info you supply for your articles.
I will bookmark your blog and take a look
at again here frequently. I'm reasonably sure I'll be told many new stuff proper here!

Best of luck for the next!

Hi, i think that i noticed you visited my blog so i came to go back the choose?.I'm attempting to in finding things
to improve my web site!I guess its good enough to make use of a few of your
ideas!!

I know this if off topic but I'm looking into starting my own blog and was curious what all
is needed to get setup? I'm assuming having a blog like
yours would cost a pretty penny? I'm not very web smart so I'm
not 100% positive. Any recommendations or advice would be greatly appreciated.
Appreciate it

Good post. I learn something new and challenging on blogs I stumbleupon every day.
It's always interesting to read through articles from other writers and use something from their sites.

Hello There. I discovered your weblog the usage of msn. This is a very well written article.

I'll be sure to bookmark it and return to learn more of your helpful information. Thanks for the post.
I'll certainly return.

I've been browsing online greater than three hours as of late, yet I by no means
found any fascinating article like yours. It's lovely value sufficient for me.
In my opinion, if all website owners and bloggers made good content as you probably
did, the web will likely be much more useful than ever before.

I enjoy what you guys are usually up too.
Such clever work and coverage! Keep up the good works guys I've
added you guys to my blogroll.

always i used to read smaller articles or reviews that
as well clear their motive, and that is also happening with this paragraph which
I am reading now.

Hi there, just became alert to your blog through Google, and
found that it's really informative. I'm going to watch out
for brussels. I'll appreciate if you continue this in future.
Many people will be benefited from your writing. Cheers!

コメントを投稿

アクセスランキング

Powered by Six Apart