« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

I?m not that much of a internet reader to be honest but your blogs
really nice, keep it up! I'll go ahead and bookmark your website to come back in the future.
Cheers

I am really impressed with your writing skills
and also with the layout on your blog. Is this a paid theme
or did you modify it yourself? Either way keep up the excellent quality writing,
it is rare to see a nice blog like this one these days.

You are a very smart individual!

You are a very capable individual!

I leave a response when I especially enjoy a post on a site or if
I have something to contribute to the discussion. Usually
it is caused by the sincerness displayed in the article
I read. And after this article hayaseblog :
We live Heartsnative!! の科学力!?の一部解説 #mosaiclive.
I was actually excited enough to write a commenta response

You can definitely see your enthusiasm in the article you
write. The world hopes for even more passionate writers like you who aren't
afraid to mention how they believe. All the time follow your heart.

Some really excellent posts on this internet site,
regards for contribution.

I leave a response each time I like a post on a site or if I have something to add to the conversation. It is triggered by the passion communicated in the article I read.
And on this article hayaseblog : We live Heartsnative!! の科学力!?の一部解説 #mosaiclive.
I was actually excited enough to post a thought :-) I do have some questions for you
if it's okay. Could it be only me or do some of the responses appear as if they are written by brain dead people?
:-P And, if you are writing on other social sites, I
would like to follow you. Could you list all of your communal sites like
your Facebook page, twitter feed, or linkedin profile?

Hello friends, how is the whole thing, and what you want to say regarding this post, in my
view its truly awesome in support of me.

You are a very clever individual!

Keep this going please, great job!

thank you for this post, I am a big fan of this
website would like to keep updated.

I comment whenever I especially enjoy a post on a website or I have something to add to the discussion. It is caused by the fire displayed in the
article I looked at. And on this article hayaseblog :
We live Heartsnative!! の科学力!?の一部解説 #mosaiclive.
I was moved enough to drop a thought :-P I do have a few questions for you if you tend not to mind.
Could it be only me or does it look like like some of these responses come across like they are left by brain dead folks?
:-P And, if you are writing on other social sites, I would like to keep up with anything
new you have to post. Could you list every one
of your shared pages like your twitter feed, Facebook page or linkedin profile?

magnificent points altogether, you simply won a
logo new reader. What could you recommend in regards to your submit that you just made a few days in the
past? Any positive?

What's up mates, how is all, and what you would
like to say on the topic of this post, in my view its really amazing in support of
me.

Some truly wonderful blog posts on this website,
appreciate it for contribution.

Very well written information. It will be supportive to anybody who usess it, as well
as myself. Keep up the good work - i will definitely read more posts.

If some one needs to be updated with newest technologies then he must
be pay a visit this web site and be up to date daily.

If some one needs expert view concerning running a blog then i advise him/her to go to
see this webpage, Keep up the fastidious job.

Wohh just what I was searching for, thanks for posting.

You are a very smart individual!

Oh my goodness! Incredible article dude! Thanks, However
I am encountering troubles with your RSS. I don't know why I can't join it.
Is there anybody else having identical RSS issues?
Anybody who knows the answer will you kindly respond? Thanx!!

At this time it looks like BlogEngine is the top blogging
platform available right now. (from what I've read) Is that what
you're using on your blog?

I truly appreciate this post. I have been looking all over
for this! Thank goodness I found it on Bing. You've made my day!
Thank you again!

Howdy would you mind sharing which blog platform you're using?
I'm looking to start my own blog soon but I'm having a hard time deciding between BlogEngine/Wordpress/B2evolution and Drupal.
The reason I ask is because your layout seems different then most blogs and I'm looking for something unique.
P.S Apologies for being off-topic but I had to ask!

コメントを投稿

アクセスランキング

Powered by Six Apart