ドライビングシミュレータをもっとリアルに

自動車の開発現場では、エンジン・トランスミッションなどの動力性能評価や振動騒音評価などを目的として、実験室内で実際の車両を用いてテストコースや一般路の走行模擬試験を行うのにシャシダイナモメータが使われます。東陽テクニカ 技術研究所では、トルクベクタリングや自動運転などの新しい技術開発を加速させるためにシャシダイナモメータの制御および周辺技術の研究・開発をしています。
従来のシャシダイナモメータはステアリングを操舵することはできず、直線走行しか模擬できません。これに対し、当社が販売するハブ結合式シャシダイナモメータシステム「ROTOTEST® Energy™」はステアリングを操舵できることが大きな特長ですが、たとえステアリングを操舵できても前方にターゲットとなるコース路面がなければ、テストドライバーは操舵することはできません。つまり実際のテストコース環境を再現することが必要です。
そこで実際のテストコースを再現するために簡易型のCG（コンピュータグラフィックス）型ドライビングシミュレータを検討しました。CG型ドライビングシミュレータは使い勝手は良かったのですが、絶対的に現実感が不足していました。テストドライバーは車両フィーリングも大切にしますので現実感が乏しいことは大きな問題です。
議論する中で「実際の風景を撮影したビデオを再生してはどうか？」というアイデアが出ました。そこで実際に撮影を行い、CG型ドライビングシミュレータと比較してみると圧倒的に高い現実感が得られました。さらに走行速度に合わせてビデオの再生速度を変化させるとさらに効果が高まりました。これらの検証を行った上で、画像処理を得意とする岩根研究所に効果を確認してもらい「Real Video Drive Player」の共同開発がスタートしました。

ドライビングシミュレータ用実写映像再生ソフトウェア「Real Video Drive Player」は、専用の360度カメラで撮影した走行映像をステアリング操作やアクセル・ブレーキ操作に連動させて再生できるソフトウェアです。実写映像を使用しているので、従来のフルCGを使ったドライビングシミュレータと比べて低コストで高いリアリティと没入感を得られます。

図 1「Real Video Drive Player」操作画面

従来のフルCGのドライビングシミュレータでは、道路環境を構築するために交差点や、ビル、信号機等の3Dモデルを作成する必要があり、その工程に長い時間を費やすことになります。一方「Real Video Drive Player」ではその工程は不要です。360度カメラで撮影した動画を専用のアプリケーションで解析するだけで済み、目的とするシミュレーション環境を短期間で構築することができます。
また「Real Video Drive Player」は岩根研究所独自の画像解析技術によって、実写映像でありながらフルCGのドライビングシミュレータのように自由な視点移動を可能にしています。さらに撮影時に発生した映像の揺れを打ち消した滑らかな映像をリアルタイムに生成することで、3D酔いの症状を緩和します。

「Real Video Drive Player」は、刻々と変化する車速とステアリング操舵角から車両の位置と姿勢を予測し、最適な実写映像のフレーム選択・表示処理をリアルタイムに行います。

「車速連動」の実現

撮影時の移動速度とは関係なく、アクセル・ブレーキ操作と連動した任意の速度で映像を再生できます。
撮影にはフレームレート30FPSのカメラを使用しているので、シミュレーション時も同等以上のスピードで画像を更新しなければなりません。つまり、以下の一連の処理を33ミリ秒以内に完了させる必要があります。

車両位置の推定→フレーム選択→画像ファイルの読み込み→画像のデコード→描画

開発初期の段階で「画像ファイルの読み込み」と「画像のデコード」がボトルネックとなりました。
これを解決するため、目的のフレームの画像を高速に取り出せるよう、撮影した映像を予め１フレームごとに独立した画像ファイルとして外部記憶装置に保存しています。
そして「画像のデコード」に要する時間を短縮するために画像ファイルを圧縮テクスチャ形式にしています。
さらに外部記憶装置として高速に目的のファイルを読み出せるSSD（Solid State Drive）などを使用することによって、撮影時の走行速度以上であれば定常的に30FPS以上の頻度で画像を更新することができます。

「自由視点移動」の実現

事前に撮影した映像の中に、期待する視点の位置から撮影したフレームが存在するとは限りません。「Real Video Drive Player」では、期待する視点の位置に最も近いフレームの画像を加工することによって、撮影時の位置とは異なる視点から見た映像を動的に生成しています。これにより「自由視点移動」が可能になります。
もともと「自由視点移動」はステアリング操舵に応じて車線変更できる機能として開発しましたが、開発してみると予測もしていなかった効果がありました。この機能を使うと運転者の視点位置を簡単に変更できるのです。例えば、右ハンドルの視点位置を左ハンドルへ、乗用車の視点位置をトラックの視点位置へ。従来、運転者の視点位置の仕様違いで都度現地へ出張して検証していた作業を一度の撮影で済ませることができます。
360度カメラで撮影した映像は単なる2次元画像であり、ある一点からしか正しいパースペクティブ（遠近感）が成立しません。視点移動の効果を与えるためには2次元画像のすべてのピクセルに奥行きを与える必要があります。
「Real Video Drive Player」は、3Dプロジェクションマッピングのように、立体的な仮想スクリーンに“ある瞬間”の実写映像を投影することによって2次元画像に奥行きを与え、立体感のある映像を生成します。この処理をユーザーの操作に連動してリアルタイムで行うことによって視点移動の効果を与えます。また、この仮想スクリーンは道路形状を示す3Dモデルで「Real Video Drive Player」によって自動的に作成されます。

図 2「Real Video Drive Player」によって自動生成された仮想スクリーンに実写映像を投影した結果

ただし、仮想スクリーンに正しく実写映像を投影するためには正確な投影位置と投影方向を知る必要があります。それには岩根研究所が有するCV（カメラベクトル）技術が不可欠となります。

CV技術は、岩根研究所が特許を持つ「Real Video Drive Player」のキーテクノロジーです。本技術を用いることによって、実映像を用いた高い現実感と視点移動などの自由度の両立が可能となります。
映像を撮影しカメラの位置(X,Y,Z)と姿勢(θx,θy,θz) を全フレームについて取得することで、様々な映像の加工を実現します。カメラの位置と姿勢を持つ「CV映像」は、いつでも三次元化が可能なため、映像の中で測量する、映像の中にCGを合成する、というように、映像をあたかもCGであるかのように扱うことができます。
「CV映像」は全周囲動画映像を自動的に解析することによって作成されます。そのため、映像との親和性が高く、実際のCV値の精度以上に映像とCGとのズレが抑えられます。さらに、撮影装置も非常にシンプルで扱いやすく、データ処理時間も短いという特長があります。

図 3 複数のフレームで複数の特徴点をトラッキングし、カメラの位置と姿勢を高精度に求める

前述の仮想スクリーンもCV値から路面の形状を推定して作られたものであり、360度カメラで撮影した二次元の映像を三次元化したと言えます。

株式会社 岩根研究所について

IWANEの企業コンセプトは「地球に愛されていることを実感し、地球を愛する」 人と地球にとってよりフレンドリーな技術開発を志向し、より革新的な製品を世の中に送り出しています。
岩根研究所 Webサイト：http://www.iwane.com/