« 設置完了 | メイン | MOSAIC.WAV: We Live Heartsnative!! ライブレポート情報 »

2010年2月24日 (水)

We live Heartsnative!! の科学力!?の一部解説 #mosaiclive

2/20に行われた We live Heartsnative!! で映像再生やらインタラクティブシステムやらを担当させていただきました。

写真
私の担当する部分のシステム構成は、映像側にMacBook2台(1台はBootCampでWinXP)とMacBookPro1台の合計3台、ステージ側に音関係用にMacBook1台でした。

見に来てくれた友人に「お前が何やってるか分からなかったけど楽しかった」という感想をもらったのでcoldsweats01実際何をやっていたかを感想を交えて振り返ってみます


基本的には、メインのスクリーンの映像の表示は全てやりました。失敗すると進行にモロ影響がでるので結構ドキドキでしたcatface

後は、元々参加型のインタラクティブ作品を作っていたのもあって、何かしら参加型ができたらなーというのもありました。

今回は全てのソフトを、Max/MSP/JitterQuartz Composerで作成しています。

 

開場から開演までと終了後のスクリーン上で Twitter リアルタイム表示

まず、開場するとお客さんが入場し、開演までちょっと時間があるのですが、そこでスクリーンにこんな感じにメッセージを表示してTwitterにポストしてもらいました。
HeartsnativeOpeningTwitter - Viewer

実際には、#mosaiclive というハッシュタグをつけて投稿されたメッセージがほぼリアルタイムに表示されるという状態になるので、それに気づいたお客さんがネタ的投稿をしてそれを見て開場が盛り上がる、、といった面白い状況になりましたw

ほぼ同じ仕組みをライブ終了後にも、スクリーンに表示しました。

やっぱり参加型だと、想像を越えて楽しんでもらえるなーといつも思いますcatface

 歌って踊る Motion Portrait さんの3Dのようなミクさん

ライブ中にサイドのパネルとは別に歌って踊るミクさんが登場したのですが、これは Motion Portraitさんの技術によって2Dの画像から作成されていたのですsign03

 写真(3) 

正直これを始めてみたときは、現代の技術ってすげーーと思いましたw

口パクもミクさんの歌声にあわせてやってくれますnote 

後、ねんどろいど版のミクさんもいましたが、こちらも同じ技術で1枚の写真から作られてます。

このミクさん達に、曲によって背景を用意してあげてライブに登場させましたhappy02

幕間劇や曲中の映像を流すためのソフト

今回はメインスクリーン全部担当ということで、幕間劇から曲中に流す口パクもあるPV的な映像、歌詞の表示される映像を流す必要があったのですが、とある事情で音とシンクさせることができず、タイミング的にシビアなものもあったりと普通の再生プレイヤーでは無理でした。

MoviePlayerForMosaic
そこで、自分が使いやすいように機能を追加した再生プレイヤーを作りました。(上記画像は開発中のものです)

遅れた場合に少し再生速度をあげて、また通常に戻して、、といったことができるように工夫しています。

リアルタイムでお話するミクさん

今回の個人的目玉に、リアルタイムでお話をするミクさんを登場させるという試みがありました。

通称ミクタイプと呼んでまして、これはローマ字入力で文字を打つと、若干棒読みだけどミクさんがしゃべるkaraokeというある意味画期的なソフトです(笑

今回はゲストのデPさんとcosMoさんと会話するということで、2バージョン作りました。実際の会話は楽しい脚本を書いてくれたライターさんにやっていただきました。

  • [image]-1
  • [image]
[image]

モザミクブラザーズに登場!ミクフレーズ

DSやiPhoneなどガジェットで演奏するモザミクブラザーズの演奏の中で、みーこさんが鍵盤のキーボードとPCのキーボードが一体となったものでミクのボーカルを演奏しているのですが、このソフトウェアの部分も作りました。

これは演奏する方がタイミングなどシビアで、みーこさんがすごかったですw

リアルタイムにメンバーと踊るSDキャラのミクさん

みーこさんの発案で小さいみくさんを一緒にライブ映像で登場させるというものがあったので、カメラの映像とGifアニメのイラストをリアルタイムに合成できるアプリを作成しました。

写真(2)

 (写真は開発中のものです)

これは、原因がよくわからないバグがあって表示におかしな部分がありましたが、ライブ前日になんとか解消してうまくいきましたsmile

Wiiリモコンでしゃべるミクさん

今回はかやもりさんが利用していたのですが、Wiiリモコンでミクさんと(きまったフレーズだけど)会話ができるソフトです。

WiiリモコンでBluetooth接続なので、もっとも心配な部分ではありましたが無事最後まできちんと動いてくれましたsign01

リアルタイム映像とTwitterの最新ポストを3D空間上に表示

鶴田さん登場後の曲で使ったのですが、リアルタイムの映像とCDジャケット写真やロゴなどをキューブ上に写し、#mosaiclive のハッシュタグのつぶやきをリアルタイムに表示しました。(ライブ中は携帯禁止なので、開演時やその前に発言していただいたものも表示しました。)

RssMOSAICnico4 - Viewer
この直前に、ライブに来ることができなかった皆さんにも、今から会場のスクリーンに表示されるからメッセージを!とTwitterで呼びかけて、応援メッセージをいただきました。

若干ライブ会場にいるお客さんの中でもつぶやいている人がいたようですがcoldsweats01みなさんのご協力により映像がつくられましたsign03

といった感じで個人的にも盛りだくさんで、いろいろあったけどいやーほんと楽しかったですnote

MOSAIC.WAVのお二人、関係者のみなさん、会場やネット上から参加していただいた皆さん、ありがとうございましたsign03

さらに技術的なことは、いずれ自分の忘備録も兼ねて別のブログに書くと思いますので、興味がありましたらチェックしていただければと思います。

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/658785/32149413

We live Heartsnative!! の科学力!?の一部解説 #mosaicliveを参照しているブログ:

コメント

Hi there! I could have sworn I've been to this blog before but after checking through some of the post I realized it's new to me.
Anyhow, I'm definitely glad I found it and I'll be bookmarking and checking back frequently!

Hello, I would like to subscribe for this webpage to take latest updates, therefore where
can i do it please assist.

Hi friends, pleasant paragraph and good urging commented here, I am really enjoying by these.

great issues altogether, you just won a brand new reader.
What may you suggest in regards to your publish that you made some days ago?
Any sure?

Its such as you read my mind! You appear to understand so much about this,
like you wrote the e book in it or something. I think that you can do with some %
to force the message home a bit, however instead of that, that is
wonderful blog. An excellent read. I will definitely be back.

Good day very nice website!! Man .. Beautiful .. Amazing ..

I'll bookmark your website and take the feeds additionally?
I'm happy to seek out numerous useful info right here within the post, we want work out
extra techniques on this regard, thanks for sharing.
. . . . .

It's truly a nice and helpful piece of information. I'm glad that
you just shared this helpful information with us. Please stay us
informed like this. Thank you for sharing.

Hello there, I discovered your web site by way of Google at the same time as searching for a similar topic,
your website came up, it appears great. I've bookmarked it in my google bookmarks.

There's definately a great deal to find out about this issue.
I love all the points you made.

Hurrah! After all I got a blog from where I be able to
truly take helpful data regarding my study and knowledge.

I know this if off topic but I'm looking into starting my own blog and was wondering
what all is needed to get setup? I'm assuming having a blog like yours would cost a pretty penny?
I'm not very internet savvy so I'm not 100% positive. Any recommendations or advice would be
greatly appreciated. Kudos

It's actually a cool and useful piece of information. I'm satisfied that you
simply shared this useful info with us. Please stay
us informed like this. Thanks for sharing.

Hello my friend! I want to say that this post is amazing,
great written and include almost all important infos.
I would like to look extra posts like this .

I really appreciate this post. I've been looking everywhere for
this! Thank goodness I found it on Bing. You have made my day!
Thx again!

I truly appreciate this post. I've been looking everywhere for this!
Thank goodness I found it on Bing. You have made my day!
Thank you again!

fantastic issues altogether, you simply gained a brand new reader.
What could you recommend in regards to your publish that you simply made a few
days ago? Any certain?

Keep on writing, great job!

I drop a comment whenever I like a article on a site or I have something to contribute to the discussion. It's triggered by the
passion communicated in the post I browsed. And on this post hayaseblog : We live Heartsnative!!
の科学力!?の一部解説 #mosaiclive. I was actually moved enough to leave a thought :-P I
actually do have 2 questions for you if it's allright.
Is it simply me or does it give the impression like a few of the comments look like written by brain dead people?

:-P And, if you are posting on additional online sites,
I would like to keep up with you. Would you list the complete
urls of your shared sites like your twitter feed, Facebook page or linkedin profile?

Keep up the excellent work, I read few blog posts
on this internet site and I think that your blog is very interesting and has got lots
of great information.

I leave a leave a response when I appreciate a article on a site or
I have something to valuable to contribute to the
discussion. Usually it is triggered by the passion communicated in the post I read.
And on this article hayaseblog : We live Heartsnative!!
の科学力!?の一部解説 #mosaiclive. I
was excited enough to write a thought :-) I do have a couple of questions
for you if it's okay. Could it be just me or do some
of these comments look like they are left
by brain dead people? :-P And, if you are writing on other sites, I'd like to follow you.
Could you list the complete urls of all your shared sites like your linkedin profile, Facebook page or
twitter feed?

You are a very bright individual!

Hi, always i used to check blog posts here in the
early hours in the morning, because i enjoy to learn more and
more.

Hey Ι know this is օff topic butt I was wondering if you knew of any widgets
I сould add to my Ƅⅼog that automatically tweet my neѡest twitter updates.
I've bеen looking fօr a plug-in like this for quіte some time and
was hoping maybe you would hɑve some experience with something like thiѕ.

Pleasе lеt me know if you run іnto anytһing. I
truly enjoy reading your blog ɑnd I look foгward to your new updates.

I leave a response when I appreciate a article on a site
or I have something to contribute to the
conversation. It's triggered by the sincerness displayed in the post I browsed.
And on this post hayaseblog : We live Heartsnative!!
の科学力!?の一部解説 #mosaiclive.
I was actually excited enough to drop a thought :
) I do have a couple of questions for you if it's okay.

Is it simply me or does it appear like a few of the comments appear like coming from
brain dead visitors? :-P And, if you are writing on additional online social sites, I would like to follow anything fresh you have to post.

Would you list all of your communal sites like your linkedin profile, Facebook page
or twitter feed?

You could definitely see your enthusiasm within the paintings
you write. The arena hopes for even more passionate writers such as you who aren't afraid to say how they believe.
At all times go after your heart.

コメントを投稿

アクセスランキング

Powered by Six Apart