« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

I'm very happy to uncover this web site.
I wanted to thank you for your time just for this wonderful
read!! I definitely savored every little bit of
it and i also have you book marked to check out new things in your website.

It's amazing to go to see this web site and reading the
views of all colleagues on the topic of this post,
while I am also zealous of getting know-how.

I've been browsing online more than 4 hours today, yet I
never found any interesting article like yours.

It's pretty worth enough for me. Personally, if all webmasters and bloggers made good content as you did, the net will be
much more useful than ever before.

No matter if some one searches for his vital thing, therefore he/she desires
to be available that in detail, thus that thing is maintained over here.

Hello, after reading this awesome article i am too delighted to share my know-how here with colleagues.

Great goods from you, man. I have have in mind your stuff previous to
and you're just too great. I really like what you have acquired here, really like what you are saying
and the best way by which you are saying it. You're making it entertaining and you
continue to care for to keep it smart. I can't wait to read much more from you.
This is actually a great website.

Aw, this was an extremely good post. Spending some time and
actual effort to produce a superb article… but
what can I say… I hesitate a whole lot and never seem
to get nearly anything done.

Great website you have here but I was wondering if you knew of any user
discussion forums that cover the same topics talked about
here? I'd really like to be a part of group where I can get opinions from other knowledgeable
individuals that share the same interest. If you have any suggestions,
please let me know. Cheers!

Hello to every single one, it's actually a pleasant for me to pay a visit this web site, it consists of precious Information.

magnificent points altogether, you just won a brand new
reader. What could you suggest about your submit
that you simply made a few days ago? Any certain?

It's nearly impossible to find knowledgeable people
on this topic, however, you seem like you know what you're talking about!

Thanks

I think everything said was actually very reasonable.
But, consider this, suppose you typed a catchier post title?

I ain't suggesting your content is not good., but what if
you added a title that grabbed people's attention? I mean hayaseblog : We live Heartsnative!!
の科学力!?の一部解説 #mosaiclive is a little
boring. You might look at Yahoo's front page and watch how
they create news titles to grab viewers to click. You might try adding a video or a picture or two to grab people
interested about everything've got to say. In my
opinion, it might bring your blog a little bit more interesting.

hey there and thank you for your info – I've
certainly picked up something new from right here.
I did however expertise several technical issues using this web site, as I experienced to reload the website many times previous to I
could get it to load correctly. I had been wondering
if your hosting is OK? Not that I am complaining, but sluggish loading instances times
will very frequently affect your placement in google and can damage
your quality score if ads and marketing with Adwords.
Anyway I'm adding this RSS to my e-mail and can look out for
a lot more of your respective fascinating content.

Ensure that you update this again soon.

Generally I do not read article on blogs, however I would like to say that this write-up very forced me to check out and do so!
Your writing taste has been amazed me. Thank
you, quite nice post.

Hi, I do think this is an excellent web site. I stumbledupon it

In fact no matter if someone doesn't be aware
of afterward its up to other people that they will assist, so
here it takes place.

Very nice post. I just stumbled upon your
blog and wished to say that I've truly enjoyed surfing around your blog posts.
In any case I will be subscribing to your feed and I hope you write again soon!

If some one needs expert view on the topic of blogging then i propose
him/her to go to see this website, Keep up the fastidious job.

I am curious to find out what blog system you're utilizing?
I'm experiencing some small security issues with my latest website and I'd like to
find something more secure. Do you have any recommendations?

Article writing is also a excitement, if you
be familiar with after that you can write otherwise it is
complicated to write.

Wow, incredible weblog structure! How lengthy have you ever been blogging for?
you make running a blog look easy. The total glance of your web site is wonderful, let alone the
content!

Hi I am so happy I found your website, I really found you by error, while I
was looking on Google for something else, Anyways I am here now and would just like to say thanks a lot for a tremendous post
and a all round thrilling blog (I also love the theme/design), I don’t have time to go through it all at the
moment but I have saved it and also added your RSS
feeds, so when I have time I will be back to read a great deal more,
Please do keep up the superb b.

Hi there! Would you mind if I share your blog with my twitter group?
There's a lot of people that I think would really appreciate
your content. Please let me know. Cheers

Appreciate the recommendation. Let me try
it out.

I enjoy reading through an article that can make
people think. Also, thanks for permitting me to comment!

コメントを投稿

アクセスランキング

Powered by Six Apart