« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

I really like it whenever people get together and share opinions. Great blog, stick with it!

Awesome article.

I just like the valuable info you provide in your articles. I will bookmark your weblog and check again here frequently. I'm relatively sure I will be informed lots of new stuff right right here! Good luck for the following!

Magnificent web site. Lots of useful information here. I'm sending it to some buddies ans also sharing in delicious. And certainly, thanks to your effort!

each time i used to read smaller content which also clear their motive, and that is also happening with this paragraph which I am reading at this time.

Hi there, just became aware of your blog through Google, and found that it is truly informative. I'm gonna watch out for brussels. I will appreciate if you continue this in future. Many people will be benefited from your writing. Cheers!

Thanks for every other excellent article. Where else may anyone get that kind of info in such a perfect method of writing? I've a presentation subsequent week, and I am on the search for such info.

Hi there! Would you mind if I share your blog with my myspace group? There's a lot of folks that I think would really appreciate your content. Please let me know. Thank you

It's hard to find educated people on this topic, however, you seem like you know what you're talking about! Thanks

Hi, I do believe this is a great blog. I stumbledupon it ;) I'm going to return yet again since I saved as a favorite it. Money and freedom is the greatest way to change, may you be rich and continue to guide other people.

Excellent post. I absolutely love this site. Keep it up!

Hello there! This post could not be written much better! Reading through this post reminds me of my previous roommate! He always kept talking about this. I most certainly will send this post to him. Fairly certain he will have a very good read. Thanks for sharing!

Howdy! I just want to offer you a big thumbs up for the excellent info you've got right here on this post. I am returning to your site for more soon.

An impressive share! I have just forwarded this onto a friend who has been doing a little research on this. And he actually ordered me dinner simply because I discovered it for him... lol. So allow me to reword this.... Thanks for the meal!! But yeah, thanks for spending some time to discuss this matter here on your web page.

I get pleasure from, result in I discovered exactly what I was looking for. You have ended my 4 day lengthy hunt! God Bless you man. Have a great day. Bye

Hello! Do you know if they make any plugins to help with SEO? I'm trying to get my blog to rank for some targeted keywords but I'm not seeing very good results. If you know of any please share. Cheers!

This text is invaluable. Where can I find out more?

Thank you for the good writeup. It in fact was a amusement account it. Look advanced to far added agreeable from you! However, how could we communicate?

My coder is trying to convince me to move to .net from PHP. I have always disliked the idea because of the costs. But he's tryiong none the less. I've been using Movable-type on numerous websites for about a year and am concerned about switching to another platform. I have heard very good things about blogengine.net. Is there a way I can transfer all my wordpress content into it? Any help would be greatly appreciated!

An impressive share! I've just forwarded this onto a colleague who has been conducting a little research on this. And he actually bought me breakfast because I stumbled upon it for him... lol. So let me reword this.... Thank YOU for the meal!! But yeah, thanx for spending the time to discuss this topic here on your internet site.

I could not resist commenting. Well written!

Howdy can you mind letting me know which hosting company you're utilizing?
I've loaded your blog in 3 totally different internet browsers and I have
to admit this blog loads a lot faster then most.
Could you recommend a great internet hosting provider in a reasonable price?
Kudos, I appreciate it!

Hey! Someone in my Facebook group shared this site with us so I came to check it out.
I'm definitely loving the information. I'm bookmarking and will
be tweeting this to my followers! Outstanding blog
and great design and style.

Can you tell us more about this? I'd like to
find out some additional information.

コメントを投稿

アクセスランキング

Powered by Six Apart