« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

This site was... how do you say it? Relevant!! Finally I've found something that helped me.
Thanks!

Thanks for some other magnificent article. Where else could anyone get that type of info in such an ideal means of writing?
I've a presentation subsequent week, and I'm on the look for such info.

I like the helpful info you provide in your articles. I will bookmark
your weblog and check again here frequently. I'm quite certain I'll learn many new stuff right here!
Good luck for the next!

Greetings! I know this is somewhat off topic but I was wondering which blog platform
are you using for this website? I'm getting sick and tired of Wordpress because I've had issues with hackers and I'm looking at options for
another platform. I would be great if you could point me in the
direction of a good platform.

Thanks for another wonderful article. The place else
may anybody get that kind of info in such a perfect
method of writing? I've a presentation subsequent week, and I am on the look for such info.

Everything is very open with a really clear explanation of the issues.
It was definitely informative. Your site is very useful.

Thank you for sharing!

Hello! I'm at work surfing around your blog from my new iphone 3gs!
Just wanted to say I love reading through your blog and look forward to all your posts!
Keep up the excellent work!

Good day! I simply would like to give you a
huge thumbs up for your excellent info you've got here on this post.
I will be coming back to your blog for more soon.

WOW just what I was looking for. Came here by searching for car park barriers

Hi, its fastidious paragraph on the topic of media print, we all understand media is a impressive
source of facts.

Just want to say your article is as surprising.
The clearness in your post is just nice and i
could assume you're an expert on this subject.
Fine with your permission let me to grab your feed
to keep updated with forthcoming post. Thanks a million and please
carry on the rewarding work.

Quality articles is the main to attract the users to pay a quick visit the web site, that's what this website is providing.

I do trust all the concepts you've offered in your post. They are really convincing and
can certainly work. Nonetheless, the posts are too brief for starters.
May just you please extend them a little from subsequent time?

Thank you for the post.

I've been surfing online more than three hours today, yet I by no means
found any interesting article like yours.
It's lovely price sufficient for me. In my
opinion, if all web owners and bloggers made excellent content material
as you probably did, the internet will be a lot more useful than ever before.

Hey There. I found your blog using msn. This is a really well written article.
I will make sure to bookmark it and come back to read more of your useful information. Thanks for the post.
I'll definitely return.

What's up everyone, it's my first pay a quick visit at this web site, and
paragraph is actually fruitful for me, keep up posting these types of
articles.

Excellent way of describing, and good paragraph to get facts concerning my presentation subject matter, which i am going to deliver in school.

Hey there would you mind letting me know which webhost you're
working with? I've loaded your blog in 3 completely different internet browsers and I must say
this blog loads a lot faster then most. Can you recommend a good hosting provider at a reasonable price?
Thanks a lot, I appreciate it!

I used to be recommended this blog through my cousin. I am now not positive whether this submit
is written by him as no one else realize such detailed approximately my difficulty.

You are incredible! Thank you!

Simply desire to say your article is as astonishing.
The clearness in your publish is just great and that i could
suppose you are an expert in this subject.
Fine with your permission allow me to grab your RSS feed to keep up to date with forthcoming post.
Thanks 1,000,000 and please continue the gratifying work.

I've been browsing online greater than 3 hours lately, yet I never found any
interesting article like yours. It's pretty price sufficient
for me. In my opinion, if all web owners and bloggers made
just right content material as you did, the net can be a lot more
useful than ever before.

Very nice post. I just stumbled upon your weblog and wanted to
mention that I've really loved browsing your weblog posts.
After all I will be subscribing to your rss feed and I'm hoping you write again very soon!

With havin so much content do you ever run into
any issues of plagorism or copyright infringement?
My blog has a lot of unique content I've either authored
myself or outsourced but it appears a lot of it is popping
it up all over the internet without my permission. Do you
know any techniques to help stop content from being stolen? I'd genuinely appreciate it.

Hey! Do you know if they make any plugins to safeguard against hackers?
I'm kinda paranoid about losing everything I've worked hard
on. Any tips?

Hello colleagues, how is all, and what you desire to say about this post,
in my view its actually remarkable in favor of me.

コメントを投稿

アクセスランキング

Powered by Six Apart