昨今、私たちの生活や社会を革新していく技術として注目が集まるXR※（クロスリアリティ）技術。このXR技術をはじめとしたテクノロジーの最前線を体感し、最新の製品やソリューション、新たなビジネス展開を紹介する「第4回 XR総合展 夏」が、2024年7月3日〜5日の3日間、東京ビッグサイトにて開催されました。

IMAGICA GROUPは、グループ会社のロボット、ピクス、IMAGICA EEX、フォトロンの4社と合同で「第4回 XR総合展 夏」にブース出展し、大型LEDでのXRデモンストレーションと、グループ各社の個別展示ではこれまで手掛けた実績とともに、映像制作を幅広くサポートするサービス・ソリューションをご紹介しました。

今回は展示レポートとして前編・後編の2回にわけて、グループ各社のインタビューを交えながらIMAGICA GROUP展示ブースの様子をお届けします。

大型LEDでのXRデモンストレーション！
テーマは「IMAGICA MAGIC！」

ブース壁一面に設置した大型LEDでは、マジシャンに扮したプレゼンターが、空間に浮かぶモニターをタッチしたり、スクロールするごとに映像やCGが瞬時に飛び出す、リズミカルなXR演出を実演。まさにマジシャンが、驚きと感動の「MAGIC」を披露するようなライブパフォーマンスで、来場者の皆さまに、IMAGICA GROUPをご紹介しました。

XRデモンストレーションは、企画から制作・実装まで、当社グループの各社が担当。ロボットがシナリオおよび構成を担当し、IMAGICAエンタテインメントメディアサービスがリアルタイム合成のCGを制作。そのCGデータを、フォトロンが実装することで完成しました。

このXRデモンストレーションを映像システム・技術で支えるフォトロンは、放送・プロ映像機器のシステムインテグレータとして、放送業界のシステム運用を幅広くサポートしています。

技術のご紹介とポイント

【フォトロン】3Dリアルタイムグラフィックスシステム「Vizrt」とマーカレストラッキングシステム「Pixotope Camera Tracking」

デモンストレーションを制御するシステムは、世界中の放送局で使われ多数の実績を誇る3Dリアルタイムグラフィックスシステム「Vizrt（ビズアールティ）」と「Pixotope camera tracking （ピクソトープカメラトラッキング）」を使用。この二つのシステムを組み合わせ、XR空間をさらに拡張したインタラクティブな演出を実現しました。

今回のデモンストレーションでは、被写体（人物）とCGをリアルタイム、かつシームレスに融合することが重要です。それを実現するため、「Pixotope Camera Tracking」を用いてカメラ映像から特徴点を抽出して3次元化を行います。そのデータをリアルタイムCGエンジンの「Vizrt」システムに取り込み、被写体（人物）とCGの位置関係を正確に重ね合わせリアルタイム合成を行います。

これまで被写体とCGを合成するには、床にセンサーを敷いたり、被写体のあらゆる部位に“しるし”（マーカー）をつけるなど、大がかりな事前準備が必要でしたが、この「Pixotope Camera Tracking」システムを活用することでトラッキング（追跡・分析）にかかる作業を簡略化できるようになりました。

IMAGICA MAGIC！演出のポイント

ひとつの演出として、プレゼンターの背景（ブルーバック）にタッチパネルを追加。タッチパネルが目立たないよう、パネルの画面全体をブルーにし、クロマキーで消す処理を行いました。プレゼンターが実際にタッチパネルに触れながら、CGの動きを操作していくことで、XR空間で自然な動きが実現しました。
今回のデモンストレーションでは、プレゼンターの動作のトラッキング、背景とアクションCGの合成にかかる制作期間は、1週間ほどで対応しています。会期中もご来場いただいた皆さまにデモンストレーションを披露しながら、現場スタッフがCGのデザインパターンを増やしていくなど、少しずつ改良していきました。

プレゼンターが杖を振りかざすと、光のグラフィックが放たれる演出を行いました。これは杖の先端にピンクのボールを取り付け、そのカメラ映像からリアルタイムで画像解析による識別を行い位置計算をして「Vizrt」へ情報を送っています。ブルースクリーンと補色の関係にあるピンクを使用することで、ボールを認識しやすくするという点も工夫しました。

また、先端のボールを地面に近づけると、バーチャルセット上の地面に光が映し出されるという演出を施すことで、よりリアルな空間演出も実現しました。

主に映画やドラマなどのポストプロダクション作業を担当しているIMAGICAエンタテインメントメディアサービスのVFX/CGデザイナーにも、リアルタイム合成でのCG制作過程について、お話を伺ってみました。

CG合成の見どころは？｜IMAGICAエンタテインメントメディアサービス

プレゼンターが杖を振るアクションをきっかけに、箱型のCGが連なり飛び出していくことで、ブルーバックの現実世界から、ボックスに囲まれた仮想世界へと切り替わる部分です。演出の流れを知っていながらも、実際に会場で見たときに鳥肌が立ちました。

映画・ドラマの映像制作との違いと、苦労したところは
映画・ドラマ等の映像制作では、撮影済みの素材に後処理で合成する、いわゆるポスプロ作業が多く、作業を始める時点では既に決まっているカメラの構図や映り込む演者の見た目と動きに合わせてCG を作成していくことができます。

しかし、今回のようなリアルタイム合成となると、ドアをひとつ作るにしても展示ブースでのカメラワーク、プレゼンターの身長と、扉の回転軸の位置など、様々な要素をあらかじめ想定して制作しなくてはなりませんでした。カメラの動きによっては、扉の側面や裏側も作り込まなければなりませんし、プレゼンターの身長にあわせてドアの高さを調整しなければなりません。

そういう点では、プリビズ※やインカメラVFX※ の仕込みに近い部分があり、現実世界との整合性をとるのに苦労しました。
試行錯誤し大変な作業ではありましたが、結果的には新鮮で良い勉強になりました。

後編では、ロボット、ピクス、IMAGICA EEXの展示内容をご紹介します。
最後までお読みいただきありがとうございました。

参考URL
リアルタイムオンエアグラフィックスシステム 「Vizrt」
https://www.photron.co.jp/service/videosolution/products/vizrt/
カメラトラッキングシステム 「Pixotope Camera Tracking」
https://www.photron.co.jp/service/videosolution/products/pixotope_camera_tracking/