JP2010221810A - 視認支援評価装置及びプログラム - Google Patents

Abstract

【課題】視認支援によるドライバの視認性を客観的に評価する。
【解決手段】視認支援評価装置は、視認支援によって照明された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成部２と、生成された２次元環境データに対して、ドライバの視認特性に応じた画像処理を行う画像処理部４と、画像処理された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、対象部分の視認性を評価する視認性評価部５と、を備えている。
【選択図】図１

Description

本発明は、視認支援評価装置及びプログラムに関する。

従来、ドライバの視覚を支援することで車両運転の安全性を向上させる様々な視覚支援装置が提案されている（例えば特許文献１を参照）。特許文献１の視覚支援装置は、可視光画像データと赤外光画像データとに基づいてドライバが視認できない視認不可能領域を抽出し、視認不可能領域で障害物を検出した場合に、この障害物に対してヘッドライトの配光パターンを変化させることで、障害物に対するドライバの視認性の向上を図っている。

特開２００７−２６３７０４号公報

車両運転の安全性を向上させるためには、視覚支援装置がどの程度ドライバの視認性向上に役立っているか評価する必要がある。しかし、現状では、視覚支援装置を評価するものが存在していないため、その視覚支援装置がどの程度安全性の向上に寄与しているかを検証することができない。

本発明は、上述した課題を解決するために提案されたものであり、視認支援によるドライバの視認性を客観的に評価できる視認支援評価装置及びプログラムを提供することを目的とする。

本発明に係る視認支援評価装置は、視認支援によって照明された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、前記２次元環境データ生成手段により生成された２次元環境データに対して、ドライバの視認特性に応じた画像処理を行う画像処理手段と、前記画像処理手段により画像処理された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価する視認性評価手段と、を備えている。

上記発明によれば、２次元環境データに対してドライバの視認特性に応じた画像処理を行い、画像処理された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価することにより、シミュレーションによりドライバの視認性を客観的に評価することができる。

本発明に係る視認支援評価装置は、視認支援によって照明された環境を検出して２次元環境データを生成する環境検出手段と、環境検出手段により生成された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価する視認性評価手段と、を備えている。

上記発明によれば、視認支援によって照明された環境を環境検出手段で検出し、検出された環境の２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価することにより、環境検出手段から検出された画像から、ドライバの視認性を客観的に評価することができる。

本発明に係る視認支援評価装置及びプログラムは、ドライバの視認性を客観的に評価することができる。

本発明の第１の実施形態に係る視認支援評価装置の構成を示すブロック図である。 （Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。 視認性評価ルーチンを示すフローチャートである。 視認性が評価されるシーンにおけるシーン全体の画像Ａ及び切り出された画像Ｂの一例を示す図である。 本発明の第２の実施形態に係る視認支援評価装置の構成を示すブロック図である。 第３の実施形態に係る２次元環境データ生成部２の構成を示すブロック図である。 （Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。 バックグランド処理の更新タイミングを示す図である。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る視認支援評価装置の構成を示すブロック図である。

第１の実施形態に係る視認支援評価装置は、仮想環境で視認支援されながら仮想車両を運転するドライバの視覚特性をシミュレーションし、そのシミュレーション結果に基づいてドライバの視認性を評価するものである。本実施形態では、仮想環境に光を照射する照明デバイスとして仮想車両のヘッドライトを例に挙げて説明する。

上記視認支援評価装置は、仮想環境を走行する仮想車両のヘッドライトの照明パラメータを設定する照明設定部１と、仮想車両が走行する環境映像の３次元環境データ等に基づいて２次元環境データを生成する２次元環境データ生成部２と、ドライバの視覚特性を設定する視覚特性設定部３と、を備えている。

さらに、視認支援評価装置は、２次元環境データ生成部２で生成された２次元環境データにドライバの視覚特性に応じた画像変換処理を行う画像処理部４と、画像処理部４により画像処理された画像データに基づいてドライバの視認性を評価する視認性評価部５と、を備えている。なお、視認支援評価装置は、警報出力の点を除き、所定のプログラムがインストールされたコンピュータによっても実現可能である。

照明設定部１は、照明パラメータとして、光の広がりに対して３次元の軸方向に調整するための幾何学的な放射パラメータ（例えば放射角θ［ｒａｄ］）と、光の色を示す色温度などの光学的な放射パラメータ（例えば色温度Ｋ［度］）を設定する。また、幾何学的な放射パラメータとして、放射の偏りを表す係数もある。

図２（Ａ）は偏りのない放射を示す図であり、（Ｂ）は偏りのある放射を示す図である。同図（Ａ）に示すような通常のガウス分布ではなく、同図（Ｂ）に示すような偏りを持った放射が行われる。

ｘ，ｙ，ｚの各軸方向へのバイアスのかけ方として、以下のものがある。

式（１）〜（３）は、照射方向［ｘ，ｙ，ｚ］に対してそれぞれ係数を掛け合わせることを示している。このように偏りなどのパラメータを設定することで、より忠実な照明の設計支援が可能となる。また、式（１）〜（３）はそれぞれ所定の範囲のみ適用してもよい。例えば、ｘ軸方向では区間［ｘ１，ｘ２］で式（１）を適用し、ｙ軸方向では区間［ｙ１，ｙ２］で式（２）を適用し、ｚ軸方向では区間［ｚ１，ｚ２］で式（３）を適用してもよい。

２次元環境データ生成部２は、仮想環境の３次元環境データ、仮想環境の照度パラメータ（昼や夜などの時間帯に応じた照度を示すパラメータ、霧などの気象現象に応じた照度を示すパラメータ等）、及び照明設定部１で設定された照明パラメータを用いて、リアルタイムで仮想環境を描画して２次元環境データを生成する。ここでは、実際の車両が走行する環境の映像を忠実に再現した３次元環境データが使用されるのが好ましい。

なお、２次元環境データ生成部２は、フォトンマッピング法、レイトレーシング法等の公知のレンダリング技術を用いることができる。このとき、照明設定部１で設定された照明パラメータは、フォトンマッピング法の場合はフォトンの散布に適用され、レイトレーシング法の場合はレイの生成に適用される。

視覚特性設定部３は、オペレータの操作に従って、ドライバの視覚特性を特定するための係数ａ，ｂを設定する。なお、係数ａ，ｂは、実験により予め求められたものである。

画像処理部４は、２次元環境データ生成部２で生成された画像データに対して、視覚特性設定部３で設定されたドライバの視覚特性を考慮した画像処理を行う。ここでは、視覚特性設定部３は、ドライバが注視している箇所を基点にしてその周囲の輝度がぼやけていく視覚特性を再現する処理を行う。

具体的には、画像処理部４は、ドライバの視力をＲ、輝度をＩとすると、式（４）に示すガウス関数を用いて、２次元環境データ生成部２で生成された画像データの各々の画素（ｘ，ｙ）の輝度をぼけさせる。

なお、画像処理部４により行われるドライバの視覚特性に応じた画像処理は、式（４）に示すような中心から周辺へのボケ処理に限らず、距離に応じたボケ処理であってもよい。

視認性評価部５は、画像処理部４で生成されたドライバの視覚特性が反映された画像を用いて、ドライバの視認性を評価する。ここでは、次の視認性評価ルーチンが実行される。

図３は、視認性評価部５で実行される視認性評価ルーチンを示すフローチャートである。ステップＳ１では、視認性評価部５は、例えばパターンマッチングを行って、シーン全体の画像Ａから認識させたい画像Ｂを切り出し、画像Ａと画像Ｂのそれぞれの濃度共起行列の差を算出する。

図４は、視認性が評価されるシーンにおけるシーン全体の画像Ａ及び切り出された画像Ｂの一例を示す図である。

濃度共起行列とは、ある画素（ｘ，ｙ）の輝度ｉに対して、距離ｄだけ離れた他の画素の輝度ｊとの組合せをカウントした行列である。ここでは、濃度共起行列をＳ（ｉ，ｊ｜ｄ）と表す。そして、例えば２値画像を考えた場合、画素（０，０）の濃度が１、（１，０）の濃度が０と仮定すると、
Ｓ（１，０｜１）＝１
となる。このような各画素の組合せの数をカウントした濃度共起行列Ｓ（ｉ，ｊ｜ｄ）は、その画像の特徴を表すものとして以下のように用いられる。

図４の場合、シーン全体の画像Ａと、画像Ａから切り出された歩行者である画像Ｂと、がどの程度異なるかが判定される。ここでは、視認性評価部５は、画像Ａの濃度共起行列Ｓ_Ａ（ｉ，ｊ｜ｄ）と、画像Ｂの濃度共起行列Ｓ_Ｂ（ｉ，ｊ｜ｄ）とを用いて、以下の式（５）を演算する。

この差Ｅ｛Ｓ（ｄ）｝の絶対値が大きければ、画像Ａと画像Ｂとに差があることになる。

ステップＳ２では、視認性評価部５は、ステップＳ１で算出された濃度共起行列の差Ｅ｛Ｓ（ｄ）｝が閾値以上であるか否かを判定し、閾値以上である場合はステップＳ１に戻り、閾値以上でない場合はステップＳ３に進む。

ここでは、差Ｅ｛Ｓ（ｄ）｝が閾値以上である場合は、画像Ａと画像Ｂの特徴が大きく異なっているので、ドライバは歩行者である画像Ｂを認知しやすい。そこで、ステップＳ１に戻って、次の新たな画像に対してステップＳ１以降の処理が行われる。

また、差Ｅ｛Ｓ（ｄ）｝が閾値以上である場合は、画像Ａと画像Ｂの特徴は大きく異なっていない。しかし、フレームの前後で画像が変化すると、ドライバは対象を認知しやすくなることがある。そこで、ステップＳ３以降の処理が行われる。

ステップＳ３では、視認性評価部５は、フレーム間の濃度共起行列の差を算出する。具体的には、視認性評価部５は、ステップＳ１で用いた画像の１フレーム前の画像を用いて、ステップＳ１と同様にして、式（２）を演算する。そして、視認性評価部５は、ステップＳ１で求めたＥ｛Ｓ（ｄ）｝と、１フレーム前の画像から求められたＥ｛Ｓ（ｄ）｝との差ΔＥを算出して、ステップＳ４に進む。

ステップＳ４では、視認性評価部５は差ΔＥが閾値以上であるかを判定し、閾値以上である場合はステップＳ１に戻り、閾値以上でない場合はステップＳ５に進む。

ここでは、差ΔＥが閾値以上である場合は、現在のフレーム画像の特徴とその１つ前のフレーム画像の特徴が大きく異なっているので、ドライバはフレームの前後間で歩行者である画像Ｂを認知しやすい。そこで、ステップＳ１に戻って、次の新たな画像に対してステップＳ１以降の処理が行われる。

一方、差ΔＥが閾値以上でない場合は、ドライバは、同一フレーム内で歩行者である画像Ｂを認知しにくく、更に、フレームの前後間でも画像Ｂを認知しにくい。そこで、次のステップＳ５の処理が行われる。

ステップＳ５では、視認性評価部５は、ドライバは歩行者である画像Ｂを認知しにくい状態であるので、警報装置から警報を出力する。そして、本ルーチンが終了する。なお、警報出力の例としては、スピーカによる警報音の出力、モニタによる警報画像の表示、ハンドルや座席による振動などが挙げられる。

以上のように、第１の実施形態に係る視認支援評価装置は、視認支援として、例えば外部環境の障害物に光が照射された場合をシミュレーションした２次元環境データを生成し、この２次元環境データに対してドライバの視覚特性を反映させる画像処理を行う。

そして、上記視認支援評価装置は、画像処理済みの画像全体の濃度共起行列と、画像全体のうちの対象となる部分の濃度共起行列と、を用いて対象部分が認知されやすいかを判定するので、客観的にドライバの視認性を評価することができる。

また、上記視認支援評価装置は、同一フレームの濃度共起行列だけでなく、他のフレームの濃度共起行列を用いて対象部分が認知されやすいかを判定するので、同一画面だけでは認知されにくい場合でも、時間的なパターン変化を考慮することで、より客観的にドライバの視認性を評価することができる。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。

図５は、本発明の第２の実施形態に係る視認支援評価装置の構成を示すブロック図である。第２の実施形態に係る視認支援評価装置は、外界センサ１１の視認性を評価するものである。すなわち、視認支援評価装置は、外部環境についての２次元環境データを生成する外界センサ１１と、外界センサ１１により生成された２次元環境データに対してドライバの視認性を評価する視認性評価部５と、を備えている。なお、視認性評価部５は、警報出力の点を除き、所定のプログラムがインストールされたコンピュータによっても実現可能である。

外界センサ１１は、視覚支援によって光が照らされた外部環境を検出し、その検出結果を示す２次元環境データを視認性評価部５に供給する。なお、外界センサ１１としては、例えば、外部環境からの光に応じて２次元環境データを生成する撮像装置が該当する。そして、視認性評価部５は、外界センサ１１からの２次元環境データに対して、第１の実施形態と同様に、図３に示す視認性評価ルーチンを実行する。

これにより、第２の実施形態に係る視認支援評価装置は、視覚支援によって光が照らされた外部環境において、外界センサ１１により生成された２次元環境データに対しても、客観的な視認性評価を行うことができる。

［第３の実施形態］
つぎに、本発明の第３の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。第３の実施形態では、第１の実施形態で説明した２次元環境データ生成部２の具体的な構成について説明する。

図６は、第３の実施形態に係る２次元環境データ生成部２の構成を示すブロック図である。

２次元環境データ生成部２は、仮想環境の中を仮想移動体が移動する様子をグラフィックスで再現するための映像をリアルタイムで生成するものであり、３次元環境データに基づいて環境を再現する環境再現部１０と、前フレームと現在フレームとの差分画像についてレンダリングする差分レンダリング部２０と、を備えている。

（環境再現部１０の構成）
環境再現部１０は、例えば図示しない環境データ生成装置で生成された３次元環境データを用いて、フォトンマッピング法により移動体周辺の環境を再現する。なお、環境再現部１０としては、例えばグラフィック・プロセッシング・ユニット（ＧＰＵ：Graphics Processing Unit）が用いられる。ＧＰＵは、膨大なベクトルベータを高速に処理可能なグラフィックハードウェアであり、流体シミュレーションと非常によく適合する。

ここでは、環境中で反射・吸収を繰り返す粒子であるフォトンが使用される。また、環境中の物体は三角形ポリゴンで生成されているものとし、すべてのポリゴンとフォトンとの衝突が判定される。

なお、ＧＰＵは、データを画像として保存し、１回の演算で最大１億画素の演算が可能であるため、約３０００万ポリゴンのデータを１回で演算できる。この数だけあれば十分な画質の環境を提供できる。

環境再現部１０は、２パスのレンダリング方式であるフォトンマッピング法を用いて、１パス目にフォトンを散布する演算処理を行うフォトン散布演算部１１と、２パス目にフォトンを回収する演算処理を行うフォトン回収演算部１２と、を備えている。

フォトン散布演算部１１は、環境データにより特定される環境において、環境内にある光源から位置情報（ｘ，ｙ，ｚ）を有するフォトンを散布する演算処理を行う。フォトンは、散布されると、境内の物体でランダムに反射・吸収を繰り返し、ある物体上で衝突・停留する。そして、フォトン散布演算部１１は、散布された各々のフォトンを追跡し、各フォトンの状況をフォトンマップに格納する。

フォトンマップは、対象となるフォトンについて、停留した物体上の３次元位置情報（ｘ，ｙ，ｚ）、入射方向、フォトンの出力（ＲＧＢ形式）、詳細度、探索距離、反射係数、反射係数などの情報を有している。

フォトン回収演算部１２は、散布された各々のフォトンを回収して照度を計算する。具体的には、フォトン回収演算部１２は、カメラ（定められた視点）からランダムに視線追跡を行い、３次元環境データを用いて、視線が到達する物体表面上の３次元位置情報を求める。そして、フォトン回収演算部１２は、物体表面上の各々の位置（画素）において、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。

フォトン回収演算部１２は、例えばフォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。これにより、光の直接照射・間接照射、影落ち度などが考慮された照度が得られる。そして、フォトン回収演算部１２は、すべての画素について照度Ｐを演算する。

なお、環境再現部１０は、最初のフレームに対して上述の処理を行い、２フレーム以降では所定の更新タイミングのときに上述の処理を行うとよい。

（差分レンダリング部２０の構成）
差分レンダリング部２０は、移動体の移動演算処理を行う移動体演算部２１と、フォトンを検索するフォトン検索部２２と、照度を計算する照度計算部２３と、合成処理を行う合成処理部２４と、を備えている。

移動体演算部２１は、フレームが変わるごとに、移動体の３次元形状データ、移動方向データ、移動速度データに基づいて、移動体の位置を更新する。

フォトン検索部２２は、移動体演算部２１の演算処理に基づいて移動体がどの程度移動したかを検出し、前フレームに対する現在フレームにおいて、移動体が移動することによって出現する３次元位置のフォトン、隠蔽される３次元位置のフォトンを検索する。

なお、前フレームとは、現在フレームの直前（１つ前）にあるフレームであってもよいし、現在フレームより前にあるフレームであって環境再現部１０により処理のされたフレームであってもよい。

そして、フォトン検索部２２は、検索した各々のフォトンについて、元の位置Ｐ（ｘ，ｙ，ｚ）から単位ベクトルｄ
ｄ＝［１／（ｘ^２＋ｙ^２＋ｚ^２）^１／２］×（ｘ，ｙ，ｚ）
に対して追跡を行う。このベクトルが物体と衝突すると、その部分のフォトンの位置情報が更新される。更新される位置情報をＰ’（ｘ’，ｙ’，ｚ’）とすると、次の式が成り立つ。

Ｐ’（ｘ’，ｙ’，ｚ’）＝ａ×ｄ＋Ｐ（ｘ，ｙ，ｚ）

この式は、前フレームで停留していた位置Ｐから、フォトンが放射された単位ベクトル方向ｄにａだけ引き伸ばす処理を意味する。その結果、フォトンが他の物体に衝突するかが計算される。

すなわち、フォトン検索部２２は、新たに出現する又は隠蔽されるフォトンを検索すると、それらのフォトンを再度追跡し、それらのフォトンが停留したときに各フォトンについてのフォトンマップ（位置情報、入射方向、フォトンの出力（ＲＧＢ形式）、反射係数など）を更新する。この場合では、フォトンの位置情報が更新されるだけでなく、フォトンの出力（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色情報）、その他のパラメータも更新される。

照度計算部２３は、視線が到達する物体表面上であって、移動体の移動により新たに現れる位置又は隠蔽される位置の３次元位置情報を求め、その各々の位置（画素）において、フォトン検索部２２で検索された各フォトンの新たなフォトンマップを用いて、カメラに届く照度をその位置にあるフォトンの数及びフォトンマップの情報を用いて演算する。すなわち、照度計算部２３は、移動体の移動により新たに現れる位置又は隠蔽される位置において、フォトンの数をＮ、その場所の反射係数をＰとすると、
Ｉ＝Ｎ・Ｐ
で表される照度Ｉを演算する。

合成処理部２４は、環境再現部１０により演算された照度Ｉと、照度計算部２３により演算された照度Ｉとを合成する。具体的には、合成処理部２４は、移動体の移動により新たに現れる位置又は隠蔽される位置については、照度計算部２３により演算された照度Ｉを使用し、移動体の移動があっても変化のない位置については、環境再現部１０により演算された照度Ｉを使用して、現在のフレーム画像全体の照度を演算する。

図７（Ａ）は前フレームを示す図、（Ｂ）は移動体（自動車）が移動することによってフォトンが隠される部分及び移動体で隠れていた部分を示す図、（Ｃ）はフォトンの差分部分を示す図、（Ｄ）は移動体が移動した後の現在フレームを示す図である。フォトンの差分画像については差分レンダリング部２０がレンダリング処理を行い、その他の部分については環境再現部１０がレンダリング処理を行う。このとき、フォトンは１０万〜２０万個使用される。これは、通常の粒子シミュレーションに比べると、１０％ほどの量である。

なお、差分レンダリング部２０による差分計算による映像の更新は誤差が蓄積するおそれがある。そこで、差分レンダリング部２０のバックグランド処理として、環境再現部１０が通常のフォトンマッピング法を用いてフォトンの散布及び回収の演算処理を行うとよい。

図８は、バックグランド処理の更新タイミングを示す図である。なお、数値“１”のときが更新タイミングを示す。同図に示すように、差分レンダリング部２０による差分処理の更新に対して、環境再現部１０によるバックグランド処理の更新は遅くなっている。よって、バックグランド処理の更新が行われると、その次の差分更新のタイミングでフォトンの位置が更新される。

また、上記の処理は、光の影響が所定のサンプリング間隔（例えば１０ｍｓ）では劇的に変化することがない状況を前提にしており、雷などのフラッシュ現象の場合は対象外である。フラッシュ現象の場合は、別途画像ベースのアルゴリズムで処理を行えばよい。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

１ 照明設定部
２ ２次元環境データ生成部
３ 視覚特性設定部
４ 画像処理部
５ 視認性評価部
１１ 外界センサ

Claims (6)

1. 視認支援によって照明された仮想環境を２次元で描画するための２次元環境データを生成する２次元環境データ生成手段と、
   前記２次元環境データ生成手段により生成された２次元環境データに対して、ドライバの視認特性に応じた画像処理を行う画像処理手段と、
   前記画像処理手段により画像処理された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価する視認性評価手段と、
   を備えた視認支援評価装置。
2. 視認支援によって照明された環境を検出して２次元環境データを生成する環境検出手段と、
   環境検出手段により生成された２次元環境データの画像全体と、当該画像全体のうちの対象部分の画像と、のそれぞれの特徴量に基づいて、前記対象部分の視認性を評価する視認性評価手段と、
   を備えた視認支援評価装置。
3. 前記視認性評価手段は、前記画像全体の濃度共起行列と、前記対象部分の画像の濃度共起行列との差である第１の値に基づいて、前記対象部分の視認性を評価する
   請求項１または請求項２に記載の視認支援評価装置。
4. 前記視認性評価手段は、前記第１の差に基づいて前記対象部分の視認性が低いと評価された場合に、前記画像全体と異なるフレームの画像全体の濃度共起行列と、前記異なるフレームの前記対象部分の画像の濃度共起行列との差である第２の値を演算し、前記第１及び第２の値の差に基づいて、前記対象部分の視認性を評価する
   請求項３に記載の視認支援評価装置。
5. コンピュータを、請求項１に記載の視認支援評価装置の２次元環境データ生成手段、画像処理手段、視認性評価手段として機能させるための視認支援評価プログラム。
6. コンピュータを、請求項２に記載の視認支援評価装置の視認性評価手段として機能させるための視認支援評価プログラム。