JP2009265915A - シミュレーション装置及びプログラム - Google Patents

Abstract

【課題】センサの検出データに基づく画像処理のアルゴリズムを容易に検証する。
【解決手段】シミュレーション装置は、仮想環境を３次元で描画するための３次元環境データに基づいて、仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成部２と、仮想環境の状態を検出するカメラの特性を設定するカメラ特性設定部３と、２次元環境データ生成部２により生成された２次元環境データと、カメラ特性設定部３により設定されたカメラの特性と、に基づいて、カメラが仮想環境の状態を検出したときの検出データを生成する画像変換部４と、画像変換部４により生成された検出データを取り込み、取り込まれた検出データに基づいて所定の画像処理を行う画像処理プログラム実行部５と、を備えている。
【選択図】図１

Description

本発明は、シミュレーション装置及びプログラムに関する。

車載型予防安全システムを開発する場合、仮想環境を忠実に再現し、その中でどのようなセンサやアルゴリズムが適用できるかを評価する必要があるものの、正確に評価するのは非常に困難である。従来、センサを開発した場合、そのセンサを実際の車両に搭載して使用することでそのセンサを評価していた。また、画像処理アルゴリズムを検証する場合、実データを計測してから検証を行っていた。しかし、このように評価・検証することは、時間的にも金銭的にもコストが非常にかかる問題があった。

そこで、仮想環境をドライバの視点で描画した画像を用いて人間の視行動を解析する技術が提案されている（特許文献１及び２を参照）。特許文献１には、仮想ドライバの知覚ミス、認識ミス、判断ミスによって交通事故が発生する場合に、演算すべき車両台数が増加してもハードウェアに対する負荷の増加が少なくてすむような交通流シミュレーション装置が開示されている。具体的には、特許文献１の技術は、位置情報を基にターゲットとなる移動体から見て死角となる位置関係にある物体を除去することによって移動体上のエージェントの知覚を模擬し、その情報に基づいて移動体を操作する。

また、特許文献２には、周辺状況の認知状態や判断を考慮して交通シミュレーションを行う交通シミュレーション装置が開示されている。具体的には、特許文献２の技術は、ドライバの認識（存在認識度、認識速度等）、判断（対向車の有無や衝突するかの判断）、操作（ブレーキ操作またはアクセル操作）を演算し、これらに基づいて各車両の挙動量を演算することで、交通をシミュレーションする。
特開２００７−４７９７２号公報 特開２００７−７２８０９号公報

特許文献１及び２の技術は、上述したように人間の視行動を観測するにとどまり、シミュレーション映像を生成するための対実環境プログラムに対しては何ら定義していない。また、仮想環境の映像を生成する映像生成装置が貧弱な場合、忠実に評価を行うことができず、その効果を検証できない問題もある。そのため、センサから得られるデータを忠実に模擬し、このデータを対実環境処理アルゴリズムの検証のために利用したいとの要請がある。また、センサの仕様を決定する際にも、様々なパラメータをどのように決定すればよいかを評価する技術も望まれている。

本発明は、上述した課題を解決するために提案されたものであり、センサの検出データに基づく画像処理のアルゴリズムを容易に検証できるシミュレーション装置及びプログラムを提供することを目的とする。

請求項１の発明であるシミュレーション装置は、仮想環境を３次元で描画するための３次元環境データに基づいて、前記仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、前記検出データ生成手段により生成された検出データを取り込む取込手段前記取込手段により取り込まれた検出データに基づいて所定の画像処理を行う画像処理手段と、を備えている。

請求項２の発明は、請求項１に記載のシミュレーション装置であって、前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する。

請求項３の発明は、コンピュータを、仮想環境を３次元で描画するための３次元環境データに基づいて、前記仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、前記検出データ生成手段により生成された検出データを取り込む取込手段前記取込手段により取り込まれた検出データに基づいて所定の画像処理を行う画像処理手段と、して機能させるためのシミュレーションプログラムである。

請求項１及び３の発明によれば、検出データ生成手段により生成された検出データを取り込む取込手段と、取込手段により取り込まれた検出データに基づいて所定の画像処理を行う画像処理手段と、を備えることで、検出データを用いて画像処理手段に所定の画像処理を実行させることができるので、画像処理手段のアルゴリズムを容易に検証することができる。

請求項２の発明によれば、センサ特性として、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定することにより、撮像装置の特性を考慮した画像処理手段のアルゴリズムを容易に検証することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。上記シミュレーション装置は、照明デバイスによって光が照射された仮想環境をセンサが検出したときの映像を生成して表示する。本実施形態では、照明デバイスとして仮想移動体（例えば仮想車両）のヘッドライト、センサとして仮想車両に搭載され車両前方を撮像するカメラを例に挙げて説明する。

上記シミュレーション装置は、仮想環境を走行する仮想車両のヘッドライトの照明パラメータを設定する照明設定部１と、仮想車両が走行する環境映像の３次元環境データ等に基づいて２次元環境データを生成する２次元環境データ生成部２と、カメラの特性を示すカメラ特性を設定するカメラ特性設定部３と、２次元環境データにカメラ特性に応じた画像変換処理を行う画像変換部４と、画像処理プログラムを実行する画像処理プログラム実行部５と、画像を表示する画像表示部６と、を備えている。

照明設定部１は、照明パラメータとして、光の広がりに対して３次元の軸方向に調整するための幾何学的な放射パラメータ（例えば放射角θ［ｒａｄ］）と、光の色を示す色温度などの光学的な放射パラメータ（例えば色温度Ｋ［度］）を設定する。また、幾何学的な放射パラメータとして、放射の偏りを表す係数もある。

図２（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。同図（Ａ）に示すような通常のガウス分布ではなく、同図（Ｂ）に示すような偏りを持った放射が行われる。

ｘ，ｙ，ｚの各軸方向へのバイアスのかけ方として、以下のものがある。

式（１）〜（３）は、照射方向［ｘ，ｙ，ｚ］に対してそれぞれ係数を掛け合わせることを示している。このように偏りなどのパラメータを設定することで、より忠実な照明の設計支援が可能となる。また、式（１）〜（３）はそれぞれ所定の範囲のみ適用してもよい。例えば、ｘ軸方向では区間［ｘ１，ｘ２］で式（１）を適用し、ｙ軸方向では区間［ｙ１，ｙ２］で式（２）を適用し、ｚ軸方向では区間［ｚ１，ｚ２］で式（３）を適用してもよい。

２次元環境データ生成部２は、仮想環境の３次元環境データ、仮想環境の照度パラメータ（昼や夜などの時間帯に応じた照度を示すパラメータ、霧などの気象現象に応じた照度を示すパラメータ等）、及び照明設定部１で設定された照明パラメータを用いて、リアルタイムで仮想環境を描画して２次元環境データを生成する。

ここでは、実際の車両が走行する環境の映像を忠実に再現した３次元環境データを使用するのが好ましい。これにより、カメラの感度、及びカメラの検出結果を用いた画像処理プログラムを正確に評価することができる。

なお、２次元環境データ生成部２は、フォトンマッピング法、レイトレーシング法等の公知のレンダリング技術を用いることができる。このとき、照明設定部１で設定された照明パラメータは、フォトンマッピング法の場合はフォトンの散布に適用され、レイトレーシング法の場合はレイの生成に適用される。

カメラ特性設定部３は、幾何学的なノイズや光学的なノイズを表すカメラ特性を設定する。幾何学的なゆがみは、画素の座標ｍ＝（ｘ，ｙ）に対して３次元位置Ｍ（ｘ，ｙ，ｚ）とすると、式（４）で表される。

但し、Ｒは回転座標系におけるカメラの回転、ｔは回転座標系の原点に対するカメラの位置を表す。また、式（４）のＡは次の式（５）の通りである。

ａ，ｂは画素の縦方向及び横方向のそれぞれの大きさであり、カメラの素子の大きさ（例えばＣＣＤ素子の大きさ）に比例したパラメータである。ｕ，ｖは縦方向及び横方向のそれぞれの画像の中心、ｒは画像のゆがみを表す係数である。

光学的なノイズとしては、ガンマ特性、ホワイトバランス、絞り、シャッタースピードなどのパラメータがある。ガンマ特性はゆがみを表す係数ｒによって輝度が非線形に変化する。ホワイトバランスは環境の色温度に基づいて算出されたパラメータである。絞りはカメラレンズに届く光の量に関する係数であり、輝度を抑える働きがある。シャッタースピードは光を取り込む時間を表し、その時間内の光量を加算した値である。特に、シャッタースピードと絞りは実写に近い画像を生成する上で重要であり、通常のＣＧ画像では得られない写実性を模擬するのに有効である。

ここで、３次元環境データの画素の輝度をＹ＝［Ｒ，Ｇ，Ｂ］、求めるべき２次元環境データの画素の輝度をｙ＝［ｒ，ｇ，ｂ］とすると、ガンマ特性は式（６）、ホワイトバランスは式（７）、絞りは式（８）、シャッタースピードは式（９）となる。

画像変換部４は、２次元環境データ生成部２で生成された２次元環境データに対して、カメラ特性設定部３で設定されたカメラ特性に応じた画像変換処理を行う。例えば、画像変換部４は、２次元環境データの各画素（ｘ，ｙ）に対して式（４）及び（５）に基づく変換処理を行ったり、２次元環境データの各画素の輝度値に対して式（６）〜（９）に基づく変換処理を行ったりする。なお、画像変換部４は、式（４）〜（９）のすべての変換処理を行う必要はなく、任意の式を用いてもよい。

画像処理プログラム実行部５は、画像処理プログラムを実行するためのインタフェース群を定義しており、簡単な数行のコードをそのプログラム上に記述することで画像変換部４からのデータを得ることができる。画像処理プログラム実行部５は、例えば、インタフェース群に
get(image)
のコードが記述されると、画像変換部４で処理された２次元環境データを取り込むことができる。なお、上記コードは一例に過ぎず、画像変換部４で生成されたデータを取り込むコードであれば、コードの内容は特に限定されるものではない。

画像処理プログラム実行部５は、例えばカメラの仕様、カメラ特性等が決定された２次元環境データを取得し、その２次元環境データを用いて画像処理プログラムを実行する。ここで、画像処理プログラムは、カメラで撮像された映像に基づいて所定の処理を行うものであり、例えば、障害物を検出する障害物検出プログラム、走行車線を検出する走行車線検出プログラム、他車両の光送信装置から送信された光信号を受信する光信号受信プログラム等があり、特に限定されるものではない。

画像表示部６は、画像変換部４で処理された画像を表示し、又は画像処理プログラム実行部５で実行された画像を表示する。これにより、ユーザは、画像表示部６に表示された画像を確認することにより、カメラの感度、画像処理プログラムの性能等を評価することができる。

以上のように、第１の実施形態に係るシミュレーション装置は、画像処理プログラム実行部５のインタフェース群に予め所定の定義文を挿入しておくだけで、仮想車両に搭載されたカメラが検出した画像を画像処理プログラムに取り込むことが可能になる。これにより、今まで時間的なコストがかかっていた画像処理プログラム実行部５の検証、つまり対実環境処理アルゴリズムの検証をすばやく行うことができる。

また、上記シミュレーション装置は、この処理に必要となるセンサの仕様策定や設計に関してカメラ特性設定部３で設定することができるので、仮想環境中の様々なパラメータを容易に設定することができる。

なお、本実施形態では、センサがカメラである場合を例を挙げて説明したが、その他、レンジファインダ、レーザレーダ装置であってもよい。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。第２の実施形態では、第１の実施形態で説明した２次元環境データ生成部２の構成について説明する。

図３は、第３の実施形態に係る２次元環境データ生成部２の構成を示すブロック図である。

２次元環境データ生成部２は、仮想環境の中を仮想移動体が移動する様子をグラフィックスで再現するための映像をリアルタイムで生成するものであり、３次元環境データに基づいて環境を再現する環境再現部１０と、前フレームと現在フレームとの差分画像についてレンダリングする差分レンダリング部２０と、を備えている。

（環境再現部１０の構成）
環境再現部１０は、例えば図示しない環境データ生成装置で生成された３次元環境データを用いて、フォトンマッピング法により移動体周辺の環境を再現する。なお、環境再現部１０としては、例えばグラフィック・プロセッシング・ユニット（ＧＰＵ：Graphics Processing Unit）が用いられる。ＧＰＵは、膨大なベクトルベータを高速に処理可能なグラフィックハードウェアであり、流体シミュレーションと非常によく適合する。

ここでは、環境中で反射・吸収を繰り返す粒子であるフォトンが使用される。また、環境中の物体は三角形ポリゴンで生成されているものとし、すべてのポリゴンとフォトンとの衝突が判定される。

なお、ＧＰＵは、データを画像として保存し、１回の演算で最大１億画素の演算が可能であるため、約３０００万ポリゴンのデータを１回で演算できる。この数だけあれば十分な画質の環境を提供できる。

環境再現部１０は、２パスのレンダリング方式であるフォトンマッピング法を用いて、１パス目にフォトンを散布する演算処理を行うフォトン散布演算部１１と、２パス目にフォトンを回収する演算処理を行うフォトン回収演算部１２と、を備えている。

フォトン散布演算部１１は、環境データにより特定される環境において、環境内にある光源から位置情報（ｘ，ｙ，ｚ）を有するフォトンを散布する演算処理を行う。フォトンは、散布されると、境内の物体でランダムに反射・吸収を繰り返し、ある物体上で衝突・停留する。そして、フォトン散布演算部１１は、散布された各々のフォトンを追跡し、各フォトンの状況をフォトンマップに格納する。

フォトンマップは、対象となるフォトンについて、停留した物体上の３次元位置情報（ｘ，ｙ，ｚ）、入射方向、フォトンの出力（ＲＧＢ形式）、詳細度、探索距離、反射係数、反射係数などの情報を有している。

フォトン回収演算部１２は、散布された各々のフォトンを回収して照度を計算する。具体的には、フォトン回収演算部１２は、カメラ（定められた視点）からランダムに視線追跡を行い、３次元環境データを用いて、視線が到達する物体表面上の３次元位置情報を求める。そして、フォトン回収演算部１２は、物体表面上の各々の位置（画素）において、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。

フォトン回収演算部１２は、例えばフォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。これにより、光の直接照射・間接照射、影落ち度などが考慮された照度が得られる。そして、フォトン回収演算部１２は、すべての画素について照度Ｐを演算する。

なお、環境再現部１０は、最初のフレームに対して上述の処理を行い、２フレーム以降では所定の更新タイミングのときに上述の処理を行うとよい。

（差分レンダリング部２０の構成）
差分レンダリング部２０は、移動体の移動演算処理を行う移動体演算部２１と、フォトンを検索するフォトン検索部２２と、照度を計算する照度計算部２３と、合成処理を行う合成処理部２４と、を備えている。

移動体演算部２１は、フレームが変わるごとに、移動体の３次元形状データ、移動方向データ、移動速度データに基づいて、移動体の位置を更新する。

フォトン検索部２２は、移動体演算部２１の演算処理に基づいて移動体がどの程度移動したかを検出し、前フレームに対する現在フレームにおいて、移動体が移動することによって出現する３次元位置のフォトン、隠蔽される３次元位置のフォトンを検索する。

なお、前フレームとは、現在フレームの直前（１つ前）にあるフレームであってもよいし、現在フレームより前にあるフレームであって環境再現部１０により処理のされたフレームであってもよい。

そして、フォトン検索部２２は、検索した各々のフォトンについて、元の位置Ｐ（ｘ，ｙ，ｚ）から単位ベクトルｄ
ｄ＝［１／（ｘ^２＋ｙ^２＋ｚ^２）^１／２］×（ｘ，ｙ，ｚ）
に対して追跡を行う。このベクトルが物体と衝突すると、その部分のフォトンの位置情報が更新される。更新される位置情報をＰ’（ｘ’，ｙ’，ｚ’）とすると、次の式が成り立つ。

Ｐ’（ｘ’，ｙ’，ｚ’）＝ａ×ｄ＋Ｐ（ｘ，ｙ，ｚ）
この式は、前フレームで停留していた位置Ｐから、フォトンが放射された単位ベクトル方向ｄにａだけ引き伸ばす処理を意味する。その結果、フォトンが他の物体に衝突するかが計算される。

すなわち、フォトン検索部２２は、新たに出現する又は隠蔽されるフォトンを検索すると、それらのフォトンを再度追跡し、それらのフォトンが停留したときに各フォトンについてのフォトンマップ（位置情報、入射方向、フォトンの出力（ＲＧＢ形式）、反射係数など）を更新する。この場合では、フォトンの位置情報が更新されるだけでなく、フォトンの出力（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色情報）、その他のパラメータも更新される。

照度計算部２３は、視線が到達する物体表面上であって、移動体の移動により新たに現れる位置又は隠蔽される位置の３次元位置情報を求め、その各々の位置（画素）において、フォトン検索部２２で検索された各フォトンの新たなフォトンマップを用いて、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。すなわち、照度計算部２３は、移動体の移動により新たに現れる位置又は隠蔽される位置において、フォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。

合成処理部２４は、環境再現部１０により演算された照度Ｉと、照度計算部２３により演算された照度Ｉとを合成する。具体的には、合成処理部２４は、移動体の移動により新たに現れる位置又は隠蔽される位置については、照度計算部２３により演算された照度Ｉを使用し、移動体の移動があっても変化のない位置については、環境再現部１０により演算された照度Ｉを使用して、現在のフレーム画像全体の照度を演算する。

図４（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。フォトンの差分画像については差分レンダリング部２０がレンダリング処理を行い、その他の部分については環境再現部１０がレンダリング処理を行う。このとき、フォトンは１０万〜２０万個使用される。これは、通常の粒子シミュレーションに比べると、１０％ほどの量である。

なお、差分レンダリング部２０による差分計算による映像の更新は誤差が蓄積するおそれがある。そこで、差分レンダリング部２０のバックグランド処理として、環境再現部１０が通常のフォトンマッピング法を用いてフォトンの散布及び回収の演算処理を行うとよい。

図５は、バックグランド処理の更新タイミングを示す図である。なお、数値“１”のときが更新タイミングを示す。同図に示すように、差分レンダリング部２０による差分処理の更新に対して、環境再現部１０によるバックグランド処理の更新は遅くなっている。よって、バックグランド処理の更新が行われると、その次の差分更新のタイミングでフォトンの位置が更新される。

また、上記の処理は、光の影響が所定のサンプリング間隔（例えば１０ｍｓ）では劇的に変化することがない状況を前提にしており、雷などのフラッシュ現象の場合は対象外である。フラッシュ現象の場合は、別途画像ベースのアルゴリズムで処理を行えばよい。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

本発明の実施の形態に係るシミュレーション装置の構成を示すブロック図である。 （Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。 第２の実施形態に係る２次元環境データ生成部の構成を示すブロック図である。 （Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。 バックグランド処理の更新タイミングを示す図である。

符号の説明

１ 照明設定部
２ ２次元環境データ生成部
３ カメラ特性設定部
４ 画像変換部
５ 画像処理プログラム実行部
６ 画像表示部

Claims (3)

1. 仮想環境を３次元で描画するための３次元環境データに基づいて、前記仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
   前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
   前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
   前記検出データ生成手段により生成された検出データを取り込む取込手段と、
   前記取込手段により取り込まれた検出データに基づいて所定の画像処理を行う画像処理手段と、
   を備えたシミュレーション装置。
2. 前記センサ特性設定手段は、撮像装置の幾何学的なゆがみ、光学的ノイズの少なくとも１つの特性を設定する
   請求項１に記載のシミュレーション装置。
3. コンピュータを、
   仮想環境を３次元で描画するための３次元環境データに基づいて、前記仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
   前記仮想環境の状態を検出するセンサの特性を設定するセンサ特性設定手段と、
   前記２次元環境データ生成手段により生成された２次元環境データと、センサ特性設定手段により設定されたセンサの特性と、に基づいて、前記センサが前記仮想環境の状態を検出したときの検出データを生成する検出データ生成手段と、
   前記検出データ生成手段により生成された検出データを取り込む取込手段と、
   前記取込手段により取り込まれた検出データに基づいて所定の画像処理を行う画像処理手段と、
   して機能させるためのシミュレーションプログラム。

Images