JP5741195B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両周辺監視装置に係り、特に実空間を対象とした画像処理を実行する車両周辺監視装置に関する。

車両には、運転を支援するために、車両周辺監視装置を搭載しているものがある。この車両周辺監視装置としては、例えば、車両後部に取り付けられた撮像手段（バックアイカメラ）の画像等を表示手段（モニタ）に表示させて、運転者の運転を支援するものがある。
このような車両後方を撮像手段により監視する車両周辺監視装置においては、画像上の接近車の位置と実空間の位置との相関を取って評価する方法が有効である。
しかしながら、撮像手段の視野を広く取ると、画像が歪むために、校正が困難となり、接近車の位置や形状を認識・検出するのが難しくなる問題が生じる。

特開２０１０−２１８２２６号公報 特開平８−８３３４５号公報 特許第３３５１３４０号公報 特開２００２−１６３６５７号公報 特開平８−３０７９２号公報

特許文献１に係る計測マップ生成装置及び走行環境確認装置は、広角レンズを有する撮像手段（バックカメラ）の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものである。
特許文献２に係る移動物体検出方法は、画像から得られた移動ベクトルに基づいて移動物体を検出し、また、接近物体の有無を判定するものである。
特許文献３に係るオプティカルフロー式後方情報検出装置は、オプティカルフローの大きさの平均値を移動物体の接近の危険度を示す代表値として、そのオプティカルフローの大きさの平均値の大きさから移動物体の接近状態を判定するものである。
特許文献４に係る画像認識装置、画像認識方法およびそのプログラムを格納した記録媒体は、画像中に新規にオプティカルフローが発生した領域を新規のテンプレート画像として抽出するテンプレート抽出部を備え、オプティカルフローを利用してテンプレート画像の取得領域を物体の領域に合わせて動的に補正するものである。
特許文献５に係る移動物体検出方法は、ブロックマッチチングによりオプティカルフローを算出する際に、画像中の背景に周期的な構造物が存在する場合でも、移動物体のみのオプティカルフローを抽出可能とするものである。

ところで、従来、駐車支援装置の撮像手段のような歪みをもつ広視野の撮像手段においては、実空間位置・画像平面上の位置関係を構成する方法、及び校正結果をまとめた計測マップを使用するものがある。
しかし、一般的に、画像処理の際には、輝度変化の影響の他、ノイズによる画質への影響、路面や対象物の面肌等の不要なテクスチャを除去するために、対象画素周辺のデータを平均化するデジタルフィルタ処理が使用される。
また、近年、コンピュータ性能の向上により、対象物の検出に際し、同様に、周辺の画素からなるデータ群の分散等を基にした技術（ＨＡＲＲＩＳオペレータ（特徴量検出法）、ＫＬＴ法）等を使用する機会が増してきている。
このような処理の場合、一般に、周辺画素を１群とするデータ（以下「テンプレート」という）の取り扱いは、画面に対して一様に２次元画素寸法で定義されるため、屋外で使用する撮像手段等と対象との間隔（車間距離）が多々異なる場合においては、必要な情報を取り逃すおそれがある。
よって、最適なテンプレートサイズの決定に関しては、距離に基づく指標及び３次元の実寸に基づく定義が必要であると考えられる。
しかしながら、特に、後方駐車支援の撮像手段等に広角レンズのレンズ収差による画像歪み等の影響が存在するため、距離に関する基準の取得が困難となり、テンプレートサイズの定義には、さらに検討の余地があった。

そこで、この発明の目的は、実寸と相関性の高いテンプレートサイズを設定することができ、その結果、良好な画像処理結果を得ることができ、また、不必要に大きいテンプレートサイズを設定することがないため、計算量の増加を防ぐことができる車両周辺監視装置を提供することにある。

この発明は、広角レンズを有する撮像手段を設け、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、この仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、この記憶手段に記憶された表示サイズから一つの画素の周辺画素を一群のデータとして画像処理を行うためのテンプレートサイズを設定するテンプレートサイズ設定手段と、このテンプレートサイズ設定手段により設定されたテンプレートサイズを用いて前記撮像手段により撮像された画像を処理する画像処理手段とを備える制御手段を設けたことを特徴とする。

この発明の車両周辺監視装置は、実寸と相関性の高いテンプレートサイズを設定して良好な画像処理結果を得ることができ、また、不必要に大きいテンプレートサイズを設定することがないため、計算量の増加を防ぐことができる。

図１は車両周辺監視装置のシステムブロック図である。（実施例） 図２は７×７テンプレートの構成を示す図である。（実施例） 図３は入力画像を示す図である。（実施例） 図４はＳＯＢＥＬエッジ検出画像を示す図である。（実施例） 図５は３×３テンプレート平均化フィルタの入力画像画質補正を示す図である。（実施例） 図６は７×７テンプレート平均化フィルタの入力画像画質補正を示す図である。（実施例） 図７は切断面高さＹｃｏｎｓｔの投影図である。（実施例） 図８（Ａ）は、Ｘ計測マップを画像に重ねた図である。図８（Ｂ）は、Ｚ計測マップを画像に重ねた図である。（実施例） 図９（Ａ）は、基準高さ位置でスライスしたイメージ図である。図９（Ｂ）は、対象フローと対象外フローとを示した図である。（実施例） 図１０は仮想円盤（球体）の第１の定義モデル図である。（実施例） 図１１は仮想円盤（球体）の表示例を示す図である。（実施例） 図１２は仮想円盤（球体）の第２の定義モデル図である。（実施例） 図１３（Ａ）は手順４における仮想円盤（球体）の変換操作のイメージ図である。図１３（Ｂ）は手順５における仮想円盤（球体）の変換操作のイメージ図である。図１３（Ｃ）は手順６における仮想円盤（球体）の変換操作のイメージ図である。（実施例） 図１４（Ａ）は８ｂｉｔ分解能のＸ計測マップの図である。図１４（Ｂ）は８ｂｉｔ分解能のＺ計測マップの図である。（実施例） 図１５は８ｂｉｔ計測マップに対応したデータテーブルの図である。（実施例） 図１６は画像サイズに対応した拡張データテーブルの図である。（実施例） 図１７は拡張データテーブルによる平均化フィルタの図である。（実施例） 図１８は補完済み拡張データテーブルの図である。（実施例） 図１９は補完拡張データテーブルによる平均化フィルタの図である。（実施例） 図２０は処理フローを示す図である。（実施例） 図２１は図２０のデジタルフィルタリング作業時の説明図である。（実施例） 図２２はオフセットアドレステーブルの例を示す図である。（実施例） 図２３は半径データ２で５×５テンプレート（上下左右２マス）を適用したフィルタリングを行った場合を示す図である。（実施例） 図２４は高さ位置別のフィルタ効果の適応度を示す図である。（実施例） 図２５（Ａ）は３×３の円形オペレータの図である。図２５（Ｂ）は３×３の方形オペレータの図である。（実施例） 図２６（Ａ）は５×５の円形オペレータの図である。図２５（Ｂ）は５×５の方形オペレータの図である。（実施例）

この発明は、良好な画像処理結果を得ること、また、計算量の増加を防ぐ目的を、実寸と相関性の高いテンプレートサイズを設定したり、不必要に大きいテンプレートサイズを設定することをなくするようにして実現するものである。

図１〜図２６は、この発明の実施例を示すものである。
図１において、１は車両に搭載される車両周辺監視装置である。
この車両周辺監視装置１は、広角レンズ２を有して車両後方を撮像する撮像手段３と、入力側で撮像手段３に連絡した制御手段４と、この制御手段４の出力側に連絡した表示手段５とを備える。
撮像手段３は、車両に取り付けたカメラ等の機器からなり、車両周辺を撮像する。
表示手段５は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなり、撮像手段３により撮像された画像等を表示する。

制御手段４は、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、この仮想ブロックが画像上に表示されるサイズを記憶する記憶手段６と、この記憶手段６に記憶された表示サイズから一つの画素の周辺画素を一群のデータとして画像処理を行うためのテンプレートサイズを設定するテンプレートサイズ設定手段７と、このテンプレートサイズ設定手段７により設定されたテンプレートサイズを用いて撮像手段３により撮像された画像を処理する画像処理手段８とを備える。
これにより、実寸と相関性の高いテンプレートサイズを設定することができ、その結果、良好な画像処理結果を得ることができ、また、不必要に大きいテンプレートサイズを設定することがないため、計算量の増加を防ぐことができる。

記憶手段６に記憶される表示サイズは、画像上の画像位置と実空間座標と対応させた計測マップを用いて算出され、前記画像上の画素位置と前記実空間座標との位置相関が取れるものを計測マップ有効範囲とし、計測マップ無効範囲では該計測マップ無効範囲と前記計測マップ有効範囲との境界座標の表示サイズデータで補完される。
これにより、画像上の全範囲にわたって、実寸と相関性の高いテンプレートサイズを設定することができ、その結果、良好な画像処理結果を得ることができ、また、不必要に大きいテンプレートサイズを設定することがないため、計算量の増加を防ぐことができる。

また、記憶手段６に記憶される表示サイズは、前記仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とする。
これにより、表示サイズを記憶するのにデータ量を小さくできるため、記憶手段６のメモリ容量を削減することができ、計算効率を向上させることができる。

更に、記憶手段６に記憶される表示サイズは、前記仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の直径とし、この直径が奇数の場合にはテンプレートを方形とし、前記直径が偶数の場合にはテンプレートを円形とする。
これにより、表示サイズを近似円盤の直径とし、直径が奇数の場合と偶数の場合とでテンプレート形状を変えるため、表示サイズを近似円盤の半径とする場合よりも画像処理の精度を上げることができる。

画像処理手段８は、テンプレートサイズ設定手段７により設定されたテンプレートサイズに基づいて画像フィルタリングを実行する。
これは、特に、画像フィルタリングに有効である。

この実施例においては、以下に述べるように、実空間上に想定した仮想ブロックにより実際の３次元スケールとその画像平面上での表示サイズに対応したテンプレート処理を行う。
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
一般的に画像処理の際には、輝度変化の影響の他、ノイズによる画質への影響、路面や対象物の面肌等の不要なテクスチャを除去するために、対象の画素周辺のデータを使用し、平均化処理等を行うデジタルフィルタ処理が使用される。
また、近年のコンピュータ等の演算性能の向上により、対象物の検出に際し、同様に周辺画素からなるデータ群の分散等を基にした技術（ＨＡＲＲＩＳオペレータ（特徴量検出法）、ＫＬＴ法）等を使用する場合にもテンプレートを単位とする処理が行われる。
例として、デジタルフルィルタとして、最も一般的である平均値フィルタを取り上げる。
この平均値フィルタにおいては、入力画像の注目画素について、その位置を（Ｕ、Ｖ）、輝度値に対してＰ（Ｕ、Ｖ）、周辺画素を１群とするデータ（以下「テンプレート」という）サイズを、Ｎ×Ｎサイズと代数で示すと、テンプレート単位での画質補正では、下記の［数１］で計算した値で注目画素Ｐ（Ｕ、Ｖ）を置き換える操作を行う。
図２に示すように、例えば、７×７テンプレートの構成では、中心のマスが着目画素であって、この着目画素の周りが周辺画素となる。

例えば、図３に示すような入力画像を取り上げる。そして、この図３の入力画像へＳＯＢＥＬ等のエッジ検出フィルタ処理を加えた場合、路面テクスチャの影響で、図４に示すように、目的外の小エッジが出力される等で好ましくない影響が生じる。よって、事前に平均化フィルタによる画質改善等の作業を施しておくことが望まれる。
３×３テンプレート及び７×７テンプレートにて画素を事前に平均値平均化フィルタにより改善した画像を、図５、図６に示す。図５では、３×３テンプレート平均化フィルタによる入力画像画質補正を示す。図６では、７×７テンプレート平均化フィルタによる入力画像画質補正を示す。
但し、例に挙げた画像の場合、次のような課題が見受けられる。
３×３テンプレートでは、画質改善効果が弱い。
７×７テンプレートでは、画質改善効果は強くなるが、遠方に映る後続車等ではテクスチャ情報が失われるためピンボケ画像となり必要な情報・形状特性を得られなくなり、また、計算量が増える。更に、必要でない画素部分（背景や遠方に小さく映る対象等）に対して７×７サイズで計算を行うと、計算量の増加と共に、上述のピンボケの両問題が発生するため、特に課題となる。
このように通常のテンプレート単位のデジタルフィルタ処理では、画面に対し一様に２次元画像サイズで設定したテンプレートを計算単位に使用するため、屋外で広範囲を捉えた撮像手段を使用する場合等、監視対象と撮像手段の相対距離（車間距離）が多々異なる対象を扱うため、離れた位置にある対象の必要な情報を取り逃すおそれがある。よって、最適なテンプレートサイズの決定に間しては、３次元での相対距離や位置関係及び実際の３次元スケールに対応した最適なテンプレートサイズを設定にするための指標が必要であると考えられる。
しかしながら、特に、後方駐車支援の撮像手段等で頻繁に使用される広角レンズを持つ仕様では、入力画像にはレンズ収差による画像歪み等が関与する等の課題が存在するため、距離に関する基準の取得が通常困難となる。よって、任意の画素位置において実空間と相関のとれた最適なテンプレート選択には、さらに検討の余地があった。

以下に、この解決手段について述べる。
上述したように、画像をデジタルフィルタ処理により最適に補正を行うためには、対象との実空間３次元上での相対位置・距離を計測した上で、設定した実空間スケールと相間のとれた最適なサイズのテンプレートを選択し切り替える手法が望ましい。
しかしながら、従来の手法では、広角レンズのレンズ収差歪を含む画像では、画像上の画素位置と実空間の対応が困難である。
そのため、先ず、実空間３次元上での相対位置・距離の計測作業で行き詰る。
従来、広角レンズを使用した後方確認システムの障害認識方法では、計測マップ手法により、歪みを持つ広角レンズを含めて表示される画面上での画素位置と実空間座標の関係を円滑に相関づけることができる手法を得ている。よって、撮像手段と対象の位置・距離の関係についての課題は、解決できた。
次に、必要とする３次元の実空間スケールと相関の取れたテンプレートサイズ定義手段を取り上げる。
後方車両接近監視システムにあっては、近距離にある車両全体のスケールを画像上で１つのテンプレートで取り扱うよう対応するのは非常に計算コストが高く、さらに、歪みの影響等により認識等に及ぼす変形の度合いが増加することが伺え、非効率的であると考えた。
よって、今回対象とするテンプレートに相当する実空間スケールを、車両のある１部位程度のそれ程大きくない範囲へ着目して作業を進める。例えば、路面等の荒れを考慮する場合、同一部位を指す場合の実空間上のスケールを５〜３０ｃｍ程度と設定しても路面等の荒れたテクスチャヘの対応が取れるテンプレートを入手できると予測される。
続いて、計測マップと同じ分解能を持つデータテーブルを用意し、撮像手段の校正情報や計測マップと照らし合わせながら、実空間上で任意に設定したスケールの物体（部位）が計測マップ上の任意な実空間位置［Ｘ、Ｙｃｏｎｓｔ、Ｚ］に存在するものと仮想定義し、物体が画面上に表示されるサイズを計算処理により求めた上で、その表示サイズを最適なテンプレートサイズとしてデータテーブル上へ記録する。
実際にフィルタリング処理で使用する際には、注目画素位置［Ｕ、Ｖ］に対応するデータテーブル登録値を参照しならがら読み取った登録テンプレートサイズで処理を、円滑に切り替えできるよう対処する。

次いで、実空間位置に相関するテンプレートサイズで設定する方法を説明する。
１、カメラキャリブレーションの実施
先ず、システム構築時に使用する撮像手段をキャリブレーションして校正情報を取得する。
使用する撮像手段が広角レンズを有する場合、レンズ歪みによる画像の変形を考慮した歪みパラメータも計算する。レンズ歪みを考慮したキャリブレーションは、広角レンズを使用した後方確認システムの障害認識方法と略同様に実施されるため、ここでは、その説明を省略する。
これは、例えば、下記の［数２］〜［数７］で示される。

上記の［数２］〜［数７］の式において、各パラメータは、以下の通りである。
［Ｕｄ、Ｖｄ］：入力画像上の画素位置（歪あり）
［Ｘｃｄ、Ｙｃｄ］：イメージプレーン上のカメラ座標位置（歪あり）
［Ｘｃｍ、Ｙｃｍ］：イメージプレーン上のカメラ座標位置（歪なし）
［Ｘｗｍ、Ｙｃｏｎｓｔ、Ｚｗｍ］：実空間上のワールド座標位置 Ｙｃｏｎｓｔについては後述
［ｒｎｎ、ｔｎ］：実空間上⇔カメラ座標系変換パラメータ（位置・姿勢変換情報）
［ｎｎ］：ひずみパラメータ
［ｐｎ］：対数ひずみパラメータ
［Ｒｃｍ］：イメージプレーン上、原点からの距離
［Ｒｃｋ］：イメージプレーン上、原点からの距離。近似モデル式を対数近似と通常近似で切り替える。

２、切断面高さＹｃｏｎｓｔでの計測マップの作成
撮像手段からの入力画像は２次元（Ｕ、Ｖ）であるため、そのままでは実空間の３次元パラメータ（Ｘ、Ｙ、Ｚ）を全て特定することはできない。
よって、拘束条件として、高さ方向で実空間での規定高さＹ位置を定める。この位置を「切断面高さＹｃｏｎｓｔ」と称呼する。この切断面高さＹｃｏｎｓｔと実空間のＸＺ位置の入力画面上での関係を、図７に示す。
同手法にて、Ｙｃｏｎｓｔ＝０の位置で、画像上の座標［Ｕｄ、Ｖｄ］に対応する実空間座標［Ｘｗｍ、Ｙｗｍ＝０、Ｚｗｍ］の座標系に対するＸＺ位置データの分布を計測マップとして定義する。計測マップと入力画像の対応については、図８（Ａ）、（Ｂ）に例を示す。
図８（Ａ）は、Ｘ計測マップを画像へ重ねたものである。
図８（Ｂ）は、Ｚ計測マップを画像へ重ねたものである。
また、図９（Ａ）、（Ｂ）には、基準高さ位置Ｙでスライスしたイメージを示す。また、図９（Ｂ）では、対象フローと対象外フローとを示す。

３、仮想球体の定義
次に、登録するテンプレートサイズの計算作業に取り掛かる。
実空間上の［Ｘｗｍ、Ｙｃｏｎｓｔ、Ｚｗｍ］座標と画面上の［Ｕｄ、Ｖｄ］との位置相関が取れるのは、設定したＹｃｏｎｓｔに対する計測マップが有効である画像範囲である。
よって、各計測マップ上の［Ｘｗｍ、Ｙｃｏｎｓｔ、Ｚｗｍ］位置に仮想的に設定した球体（図１０の円形で示す）が存在している状況を想定し、想定した仮想球体が画像上で表示される場合の仮想球体が画面上に表示されるサイズを計算する。
球体は撮像手段に対して正投影されるため、図１０の楕円の円周とその内部で示される円形として映る。
よって、画面上の表示では、図１１に示すように、略円盤型に表示される。
この実施例では、上述したように、テンプレートサイズに対する実スケールとの相関を車両部位単位で着目した５〜３０ｃｍ程度と設定したので、半径５ｃｍの球体を仮定し取り扱う。
また、ここで、仮想的に設定する物体を球体と定義したのは、ローカライズされた際、形状と表示に関わる偏重性を最も低く抑えられるためである。また、球体の場合、表示サイズの計算を後述の仮想円盤による代理計算で推定する際、回転に関する姿勢や形状維持に都合が良い。

４、仮想円盤の設定方法の実施例
仮想球体の画面上での投影サイズを求める。
実際に仮想球体を両面に描画し、その画素数から表示サイズを求めても構わないが、ここでは、上述したように、仮想球体が画面上で撮像手段に正対する仮想円盤として表示されることを利用し、直接表示サイズを計算するのではなく、仮想円盤の表示面積の計算を利用して表示サイズを求める。

以下に、計算手順について説明する。
手順１
先ず、カメラ座標系原点（レンズ焦点）位置をワールド座標系へ変換する。
カメラ座標系原点（レンズ焦点）位置は、［Ｘｃｍ、Ｙｃｍ、Ｚｃｍ］＝［Ｘｃｄ、Ｙｃｄ、Ｚｃｄ］＝［０、０、０］であるので、カメラ座標系原点のワールド系座標を［Ｘｗｃ、Ｙｗｃ、Ｚｗｃ］とすると、その位置は、上式の［数２］〜［数７］より、下記の［数８］、［数９］のように求めることができる。

レンズ焦点位置は、イメージプレーン上の中心となるのでレンズ歪の有無に関わらず、上記の座標変換式が適用できる。

手順２
次に、その計算対象となる、任意のある仮想球体の中心位置を、実空間上で［Ｘｐ、Ｙｐ、Ｚｐ］と定める。
［Ｘｐ、Ｙｐ、Ｚｐ］は、使用する計測マップの分解能に依存する実空間座標であり、計測マップ上で示される［Ｘ、Ｚ］位置の有限個の組み合わせの内の一つを指す。
［Ｘｗｃ、Ｙｗｃ、Ｚｗｃ］から［Ｘｐ、Ｙｐ、Ｚｐ］へのベクトル［Ｖｅｃｗｘ、Ｖｅｃｗｙ、Ｖｅｃｗｚ］を求める。
図１２には、仮想円盤（球体）の定義モデル図を示す。

手順３
上記の手順２で求めた［Ｖｅｃｗｘ、Ｖｅｃｗｙ、Ｖｅｃｗｚ］を上記の［数２］〜［数７］によりワールド座標系からカメラ座標系へ変換し、さらに、単位ベクトル［ｅＶｅｃｃｘ、ｅＶｅｃｃｙ、ｅＶｅｃｃｚ］へ変換してベクトル方向を計算する。
続いて、カメラ座標系にて、カメラ座標系原点（レンズ焦点）周りに、単位ベクトル［ｅＶｅｃｃｘ、ｅＶｅｃｃｙ、ｅＶｅｃｃｚ］について座標系３次元軸まわりの各回転角度［θｃ、φｃ、ψｃ］を求める。
本処理では、後述する手順４で定義する円盤をカメラ座標系で回転させる場合の前処理を行っている。
後述する手順４で示されるような単位ベクトル［１、０、０］に垂直な円盤については、Ｘｃ軸周りの回転と面積変化とは完全に独立する（どれだけθｃ回転しても、表示面積は変化しない）。よって、θｃ＝０．０（固定）と設定することができる。
θｃ＝０とした場合、回転変換より［ｅＶｅｃｘ、ｅＶｅｃｙ、ｅＶｅｃｚ］と［θｃ、φｃ、ψｃ］との関係は、下記の［数１０］の形で、容易に求まる。

よって、下記の［数１１］のように、［φｃ、ψｃ］を求めることができる。

この［数１０］、［数１１］において、角度［θｃ、φｃ、ψｃ］がカメラ座標系で原点、すなわち撮像手段から見た仮想球体を示す姿勢角度となる。

手順４
次に、カメラ座標原点位置に立ち戻り、半径ｒで初期姿勢角度を、角度［θｃ０、φｃ０、ψｃ０］＝［０、０、０］とする仮想円盤を設定する。
この実施例では、この半径ｒに対して、例えば、５ｃｍを適応する。
仮想円盤の円周上の点を３６０度／Ｎ分割して、各円周上の分割点［Ｘｃ１、Ｙｃ１、Ｚｃ１］〜［Ｘｃｎ、Ｙｃｎ、Ｚｃｎ］位置を、［数１２］のように求める。

この場合、分割点数Ｎは任意とする。Ｎの数が大きい程、精度は向上するが、計算量が増加する。但し、当該処理を他のマップやデータテーブルの作成等、開発段階のオフライン処理に適用するのであれば、計算量の増加は、大きな障害とはならない。

手順５
各円周上のＮ点の座標を、カメラ座標原点周りに、角度［θｃ、φｃ、ψｃ］回転変換する。
［Ｘｃｉ、Ｙｃｉ、Ｚｃｉ］→回転変換→［Ｘｃｉθ、Ｙｃｉφ、Ｚｃｉψ］

手順６
［Ｘθｃｉθ、Ｙｃｉφ、Ｚｃｉψ］で求まった各頂点を、仮想円盤の各座標に対して、上式の［数２］〜［数７］の計算によりカメラ座標系［Ｘｃｉθ、Ｙｃｉφ、Ｚｃｉψ］からワールド座標系［Ｘｗｉθ、Ｙｗｉφ、Ｚｗｉψ］に変換する。
さらに、上記の手順２で得た［Ｖｅｃｗｘ、Ｖｅｃｗｙ、Ｖｅｃｗｚ］で実空間上をシフト移動させ、実空間ワールド座標系での仮想円盤の頂点［Ｘｗｍｉθ、Ｙｗｍｉφ、Ｚｗｍｉψ］へ変換する。
［Ｘｗｍｉθ、Ｙｗｍｉφ、Ｚｗｍｉψ］は、下記の［数１３］のように求められる。

図１３には、上記の手順４〜手順６における仮想円盤（球体）の変換操作のイメージを示す。

手順７
［Ｘｗｍｉθ、Ｙｗｍｉφ、Ｚｗｍｉψ］の全Ｎ点を、上式の［数２］〜［数７］の透視座標変換により３次元空間座標から広角レンズの２次元画像平面上［Ｕｄ_１ 、Ｖｄ_１ ］〜［Ｕｄ_Ｎ 、Ｖｄ_Ｎ ］に投影変換する。

手順８
画面上の投影点［Ｕｄ_１ 、Ｖｄ_１ ］〜［Ｕｄ_Ｎ 、Ｖｄ_Ｎ ］に囲まれた領域について、表示面積Ａを求める。
上述したように、表示面積Ａは実際に画像に［Ｕｄ_１ 、Ｖｄ_１ ］〜［Ｕｄ_Ｎ 、Ｖｄ_Ｎ ］で囲まれた領域を描画し、標準画素数から求めることもできるが、円盤内部に相当する位置を計算し、円盤全体を描画する作業、描画後の描画点数をカウントする作業を計測マップの有効範囲内で全ての画素に対して適用する処理は、負荷が大きく実用性が低い。
そこで、以下のように仮想円盤をＮ角形と見立てて、ヘロンの公式等を利用しＮ角形を構成するＮ−１個の３角形の面積を求め総和をとることで、近似的に表示面積Ａを取得する方法を採用する。
先ず、［Ｕｄ_１ 、Ｖｄ_１ ］〜［Ｕｄ_Ｎ 、Ｖｄ_Ｎ ］と同様に、仮想円盤中心の［Ｘｐ、Ｙｐ、Ｚｐ］に関して投影座標変換を行い、画像平面上の位置［Ｕｄ_０ 、Ｖｄ_０ ］を求める。
［Ｕｄ_０ 、Ｖｄ_０ ］と［Ｕｄｉ、Ｖｄｉ］、［Ｕｄ（ｉ＋１）、Ｖｄ（ｉ＋１）］の隣り合う２頂点で囲まれる３角形に着目する。
［Ｕｄ_０ 、Ｖｄ_０ ］、［Ｕｄｉ、Ｖｄｉ］、［Ｕｄ（ｉ＋１）、Ｖｄ（ｉ＋１）］の３点を結ぶそれぞれの辺［ａｉ、ｂｉ、ｃｉ］を、下記の［数１４］で求める。

そして、［Ｕ_１ 、Ｖ_１ ］〜［Ｕ_Ｎ 、Ｖ_Ｎ ］まで繰り返し 実行してヘロンの面積公式で求めた各分割三角形の面積総和により仮想円盤の画面上での表示面積Ａを、下記の［数１５］で求める。

この場合、［Ｕｄ_０ 、Ｖｄ_０ ］あるいは［Ｕｄ_１ 、Ｖｄ_１ ］〜［Ｕｄ_Ｎ 、Ｖｄ_Ｎ ］の一部が表示画面外に変換されるときは、該当辺を画面の枠との交点でクリップし、画面の隅とクリップ点とで囲まれる領域を計算する。
そして、全ての点が画面外に変換されるとき、三角形が一つも形成されないような位置は、表示面積Ａを零（０）でクリップし無効扱いとする。
求めた表示面積Ａは、［ｐｉｘｅ１^２ ］の次元を持つ値である。表示面積Ａは、距離［Ｘｐ、Ｙｃｏｎｓｔ、Ｚｐ］に対する規定スケールの仮想ブロック（今回は５ｃｍの仮想球体）を良好に相関づけた有効な指標である。
この登録サイズＡを計測マップと同じ分解能を持つデータテーブルを準備し記録する。 例えば、８ｂｉｔ計測マップならＸ、Ｚで、２５６×２５６サイズのデータテーブルを用意する。また、仮想円盤の表示サイズは、計測マップの有効範囲（図１４（Ａ）、図１４（Ｂ）で示す）でしか計算できない。
よって、８ｂｉｔ計測マップの場合は、Ｘが±１２７、Ｚが０〜２５６分解能のデータテーブルサイズとなる。
図１４には、Ｘ計測マップ、Ｚ計測マップを示し、無効領域（計測マップでは実空間位置を測定できない領域）が存在している。
図１５には、８ｂｉｔ計測マップに対応したデータテーブルを示し、登録した仮想円盤表示サイズを輝度で表現し、色が明るい画素位置程、登録半径サイズが大きく（車間距離＝近）、暗部（輝度が０値）の位置は、遠すぎて半径１以下になった領域、あるいは、近すぎて計測不可となった領域を示す。

上記のデータテーブル上の表示サイズＡについては、距離情報Ｘ、Ｚの位置は計測マップの分解能に沿ったものであり、画面表示の際には、図１４で示す有効エリアにしか使用できない。そのままフィルタ処理を適用してしまうと、無効領域と有効領域とで全く画質の異なる画像に改質されてしまう。
図１６には、画像サイズに対応した拡張データテーブルを示し、登録した仮想円盤表示サイズを輝度で表現したものである。
図１７には、拡張データテーブルによる平均化フィルタを示し、図１５で無効（輝度が０値）となった仮想円盤表示サイズ未登録位置で、フィルタリング効果が得られず、処理可能・不能領域で処理ムラが発生していることが分かる。
データテーブルを計測マップ分解能に沿ったサイズから画像サイズヘ拡張する。拡張の際は、画像の［Ｕ、Ｖ］座標に相当する計測マップ［Ｘ、Ｚ］を取得し、［Ｘ、Ｚ］により参照したデータテーブル上の仮想球体表示サイズ値を拡張データテーブル上ヘコピーする。無効領域については、有効領域との境界に位置する登録データを用いて穴埋め補完する。この一貫した手順を踏まえることで、画面と同じサイズの拡張データテーブルを構築できる。
図１８には、補完済み拡張データテーブルを示し、図１６での拡張データテーブルの無効箇所を補完している。
図１９には、補完拡張データテーブルによる平均化フィルタを示し、全域でフィルタリング効果が発揮され、処理ムラの発生を回避可能となる。

次いで、実際のフィルタリングに関する表示面積Ａを登録したマップの運用方法を、図２０のフローチャートで示す。
この図２０では、拡張データテーブルの作成までと、実際のフィルタリング処理を示した例を示す。
図２０に示すように、先ず、カメラキャリブレーションを実施し、カメラパラメータを取得し（Ｓ０１）、Ｘ、Ｚ半径マップを作成し（（図８（Ａ）、図８（Ｂ）参照）、マップ対応画素位置の仮想球体表示サイズを計算し（Ｓ０２）（図１１参照）、データテーブルを作成し、仮想球体表示サイズ登録計測マップ分解能サイズ（例えば８ｂｉｔ ２５６×２５６）とし（Ｓ０３）（図１５参照）、そして、拡張データテーブルを作成し、仮想球体表示サイズ登録画面サイズ（例えば、ＶＧＡ ６４０×４８０）とし（Ｓ０４）（図１８参照）、デジタルフィルタリング作業をし、図２１に示すように、中心の着目画素を基点に、矢印の順番に沿って周辺画素データで補完する。そして、使用した補完データの総数が拡張データテーブルに登録した球の表示面積Ａと等価になった時点（Ａ＝ｉ×ｊ個）で、補完データの追加を終了し、着目画素のデータを確定する（Ｓ０５）。

５、半径マップの作成
仮想円盤の大きさを示す場合、上記の表示面積Ａではなく、表示面積Ａと同等サイズの近似円盤として取り扱い、表示面積Ａの代わりに近似円盤による近似半径を拡張データテーブル上に登録することで、さらに、次のようなメリットを得ることができる。
登録した近似半径を利用したテンプレートサイズ決定を行うことで、実スケールとの対応のとれたテンプレートを取得できる。デジタルフィルタ型の各種画像処理をテンプレート単位の操作で実施できるため、計算効率が向上する。
また、あらかじめ検出した半径ｒの全ての組み合わせに対してテンプレートを用意し、半径ｒに応じた参照のためのオフセットアドレステーブル（図２２参照）を用意しておくことで、さらに、作業効率を向上できる。
図２２には、オフセットアドレステーブルの例（画像サイズ 幅６４０ 高さ４８０）を示し、注目画素のＸ、Ｙ座標に対するオフセットを加えることで、計算手順を効率化できる。
例えば、図２３に示すように、画素［ｊ、ｉ］位置に登録されている半径データが「２」ならば、５×５テンプレート（上下左右２マス）を適用したフィルタリングを行う。周囲の画素参照の際に、各画素のアドレス計算には、図２２のＵＶオフセット値を参照すれば、効率化できる。

拡張データテーブルヘの登録サイズを「Ａの平方根」レベルで削減できるため、メモリ削減・低コスト化に有効である。
近似半径Ｒａｄ［Ｘｐ、Ｙｃｏｎｓｔ、Ｚｐ］の計算方法を、下記の［数１６］に示す。

表示面積Ａの代わりに、半径ｒを登録した拡張データテーブルを、以降「半径マップ」と呼称する。
デジタルフィルタリングで処理を行う場合は、半径マップより参照した半径を上下左右に持つテンプレートを利用する。
半径マップと登録半径によるテンプレートサイズの調整で処理を実行する方が、上記の拡張周辺データと仮想球体表示サイズに対するスパイラルな移動を行う計算よりも運用が容易であるため、利便性を向上できる。
高さ方向を規定した位置で対象物の位置情報を推定するシステムについては、対象物の測定高さが規定高さに近い場合は、半径マップに登録された値を基に表示サイズを推定し、フィルタリング処理に使用するカーネルのサイズを切り替えることで、車間距離に対応したより効果的なフィルタ効果を得ることができる。
ところで、規定高さから外れた対象物の部位や背景等の物体に誤った感度のフィルタが設定されることとなり、作業への課題となるおそれも考えられる。
例えば、図２４に示すＡ点においては、基準高さ付近の部位は、仮想球体より求めた半径サイズに対応した適切なフィルタリング効果を得ることができるので、表面荒れ等の影響を緩和したマッチング探索処理を行うことができる。
しかし、図２４に示すＢ点においては、基準高さから外れた部位は、適切なフィルタリング効果を得ることはできない（例えば、特微量が失われたぼやけた形状になる）。
よって、探索は基本高さ付近の部位を注視した形で実施されるので、図２４のＢ点の位置はノイズとして処理される候補と考えられる。元々、何度か取り上げてきた計測マップのように規定高さに位置する対象に着目して検知・抽出するシステムでは、規定高さから外れた部位の情報はそもそも位置の特定が困難な対象として処理対象外として取り扱う。
このため、フィルタ操作した画像上でＡ→Ｂ点までの輝度変化が急激なものではなく一定の連続性が保てていれば、マッチング処理に間する影響は小さく、「広角レンズを使用した後方確認システムの障害認識方法」による車両検出手段等へ十分応用できる。

変形例１
ガウシアンフィルタ（荷重平均フィルタ）への展開（第一）
定義した仮想球体スケールの単位で表面に存在するテクスチャをフィルタリングにより除去し平滑化する場合、除去対象となる表面のテクスチャのバラツキを画像上の輝度の分散として捉えれば、平均化フィルタだけではなく、ガウシアンフィルタ等による荷重平均フィルタへの応用も可能である。
例えば、半径マップの半径登録値を２倍した直径を、±分散範囲として扱い、ガウシアンフィルタを作成する。
半径ｒのテンプレートに対応した荷重平均フィルタに関する補正操作と荷重係数に関わる式を、下記の［数１７］〜［数１９］に示す。

上記の式において、σはガウス分布による分散値で対象となる仮想球面スケールの表面粗さを示し、実験的に取得した固定値を使用する。
また、Ｋは、ｗ（ｊ、ｉ）総和によるＰ（Ｕ、Ｖ）への補正項（浮動小数表記の際は不要Ｋ＝１．０）である。
更に、荷重平均係数ｗ（ｊ、ｉ）については、毎回計算を行わずに対応できるよう（１＋２・ｒ^２ ）個のテーブルを事前に作成し、テンプレート計算時の位置（ｊ、ｉ）に応じて参照する方式が効率的である。

変形例２
ガウシアンフィルタ（加重平均フィルタ）への展開（第二）
上記の変形例１では、分散値σを固定し、テンプレートのサイズを半径マップからの取得値により変化させ、荷重平均処理を行う手法を提言した。
この変形例２では、操作するためのカーネルサイズを固定し、分散値σを半径マップからの取得値により変更する手段を取り上げる。つまり、分散値の範囲が実空間スケールで表した仮想球体表面に存在するテクスチャであると仮定して操作を行うと言い換えることができる。
車間距離が短くなり表示が大きくなるもの程、表面のテクスチャに対する解像度が向上するためばらつきが大きくなると解釈する。この場合のガウシアン荷重平均フィルタに間する補正処理と荷重係数に関わる式を、下記の［数２０］〜［数２２］に示す。

ここで、Ｋは、ｗ（ｊ、ｉ）総和によるＰ（Ｕ、Ｖ）への補正項（浮動小数表記の際は不要Ｋ＝１．０）である。

また、τ（ｒ（Ｕ、Ｖ））は、分散値を示す。また、分散値ｒは半径マップから参照した半径ｒ（Ｕ，Ｖ）に依存する。
荷重平均係数ｗ（ｊ、ｉ）については、毎回計算を行わずに対応できるよう（ｉ×ｊ）×ｒ個のテーブルを事前に作成し、半径マップｒの値に応じて係数参照する方式が効率的である。

応用例１
ＳＵＺＡＮオペレータヘの円形オペレータの応用
画像上の特徴点抽出手法の中にＳＵＺＡＮオペレータと呼ばれる円形カーネルを使用した手法が一般的に知られている。よって、半径マップからテンプレートを作成する作業にならって、円形のマスクを作成し、ＳＵＺＡＮオペレータに適用することで、車間距離や実スケールに沿った特徴点検出処理を行うことができる。

応用例２
ＨＡＲＲＩＳオペレータ・ＬＵＣＡＳ＆ＫＡＮＡＤＥオプティカルフロー
画像上の特徴点抽出手法の中に、ＨＡＲＲＩＳオペレータと呼ばれる手法が一般的に知られている。
また、画像上の特徴点の移動成分の計測手法中に関して、ＬＵＣＡＳ＆ＫＡＮＡＤＥオプティカルフローと呼ばれる手法が一般的に知られている。
ＨＡＲＲＩＳオペレータやＬＵＣＡＳ＆ＫＡＮＡＤＥオプティカルフロー処理操作には、精度向上のため重み係数として、しばしばガウシアンフィルタが採用される。このガウシアンフィルタ係数についても、上記の変形例１、２で定義した手法により距離に応じて切り替えたガウシアンフィルタを採用し、距離やスケールに応じたフィルタの切り分けを行うことで、検出性能を向上することができる。また、言うまでもなく、取り扱うデータ群（周辺画素）の数を半径マップ登録値で切り替えることで、精度を向上することができる。

応用例３
その他フィルタヘの展開（ＬＯＧフィルタ他、ＤＯＧ法、ＳＨＩＦＴ法ＳＵＲＦ法、ＣＡＮＮＹ法）
ＬＯＧ（ＬＡＰＲＡＣＩＡＮ ｏｆ ＧＡＵＳＳＩＡＮ）法については、荷重平均と２次微分を同時に実施するデジタルフィルタである。ＬＯＧに距離と実スケールを考慮したフィルタの選択適応も有効であると判断される。その補正係数式のみ抜粋する。
上記の変形例２に相当するＬＯＧフィルタは、下記の［数２３］で表わされる。

ここで、Ｋは、ｗ（ｊ、ｉ）総和によるＰ（Ｕ、Ｖ）への補正項（浮動小数表記の際は不要Ｋ＝１．０）である。

変形例３に相当するＬＯＧフィルタは、下記の［数２４］で表わされる。

ここで、Ｋは、ｗ（ｊ、ｉ）総和によるＰ（Ｕ、Ｖ）への補正項（浮動小数表記の際は不要Ｋ＝１．０）である。

ＬＯＧフィルタは、ゼロクロス判定等の極値判定法を併用しエッジ検出や特徴点検出を行うための画像改質手法であるが、計算負荷が高く、しばしば異なる分散値を使用したガウシアンフィルタによる荷重平均画像の差分値により代理演算を行うＤＯＧ（ＤＯＧ＝Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ）法が代用される。当然ＤＯＧでは、ガウシアンフィルタによる荷重平均演算を使用するため変形例１あるいは変形例２に沿って距離やスケールに応じた補正切り替え手法が有効に機能すると考えられる。
つまり、変形例１ではσの値を、変形例２では計算基準となるテンプレートのサイズを調整しＤＯＧで使用する画像を作成する。また、荷重平均操作を元画像と元画像を等倍縮小した画像に適用し、それぞれサイズの違う画像同士の倍率について考慮しながらＤＯＧ処理を行うピラミッドＤＯＧ操作に基づいたＳＩＦＴ法、ＳＵＲＦ法等の特徴点検出手法に関する用例がコンピュータ性能の向上に伴い近年増加しているが、これらの処理についても有効性が予測される。また、ＣＡＮＮＹエッジアルゴリズムの中にもゼロクロス判定は応用されており、その他アルゴリズムを考慮しても、半径マップの適用範囲は広いと考えられる。

変形例３
直径マップと円形カーネルマスク設定による精度向上方法
半径マップに登録された半径よりテンプレートを作成する。
この場合、半径ｒを上下左右方向に持つテンプレートは、奇数倍で増加するサイズで表現されることとなり、感度調整について若干その精度が劣化する。
拡張データテーブル内に登録するデータサイズは倍増するが、登録データを半径から直径データヘと置き換え、さらに、次の手順でテンプレートとテンプレート内部の計算カーネルを切り替えることで、よりきめ細かい作業を行うことができる。
直径データからテンプレートを作成する場合に、奇数の直径のケースと偶数の直径のケースで再現するためのテンプレート情報を独立して確保する。
半径ｒに基づくテンプレートは、通常奇数サイズとなる。よって、直径マップに登録された値が奇数の場合は、通常の方形テンプレートをデータロードして作業を行う。
直径マップに登録された値が偶数の場合は、１つ上の奇数テンプレートサイズでテンプレートを確保し、内部の計算カーネルの形状を円形となる形式で登録しておき、利用する周辺のデータについて参照総数を調整する。円形の内部カーネルについては、上記の応用例１のＳＵＺＡＮオペレータを参考できる。
直径マップ登録値が「２」の場合は、図２５（Ａ）に示すように、３×３テンプレートで円形の内部計算カーネルを使用しフィルタリングを行う。
直径マップ登録値が「３」の場合は、図２５（Ｂ）に示すように、３×３テンプレートで方形の内部計算カーネルを使用しフィルタリングを行う。
直径マップ登録値が「４」の場合は、図２６（Ａ）に示すように、５×５テンプレートで円形の内部計算カーネルを使用しフィルタリングを行う。
直径マップ登録値が「５」の場合は、図２６（Ｂ）に示すように、５×５テンプレートで方形の内部計算カーネルを使用しフィルタリングを行う。
一方、直径マップ登録値が「１」以下の場合は、フィルタリング操作をせず、元のデータをそのまま使用する。

即ち、この実施例においては、歪みを持つ広角レンズについて、カメラキャリブレーションによりカメラパラメータを取得し、計測マップのＸ，Ｚ位置を作成し、各画素位置に対応した３次元位置情報を取得し、画面に映り込む対象の画素位置からテンプレートを切り替えるための距離の指標を取得し、さらに、入力画像と同じサイズのデータテーブルを用意する（＝計測マップサイズも同様）。そして、各画素位置に対し、仮想的に規定の３次元寸法に基づく仮想ブロックの設定方法を定義する。例えば、半径３０ｃｍの球体等である。
そして、計測マップで定義した各画素位置（ＸＹＺ座標）について、この仮想ブロックを仮想設定し、カメラパラメータにより画面上へ描画する。その表示サイズを元にテンプレートのサイズを決定する。
この例の場合、３０ｃｍの球体が、画面上に映し出される場所により１ｐｉｘｅ１になったり、１０ｐｉｘｅ１になったりすることで、テンプレートのサイズを切り替えられる。そのサイズは、モデルの実寸サイズに応じて設定されたものであるので、理想的な最適テンプレートサイズ切り替え手段と高い相関を持つ選択手段をえることができる。また、上記のキャリブレーションを広角レンズに基づく手法で行うことで、レンズ収差を持つ撮像手段による画像へも適用できる。
上記の用意したデータテーブル上の対応する画素位置に、上記のサイズを定義する。計測マップ有効範囲について、全ての画素についてデータテーブルヘ指標を記録する。
この計測マップの無効範囲については、有効範囲との境界に沿ったデータで補完しテーブルを完成する。
この場合、テーブルヘの登録指標を仮想ブロックの表示サイズ値から、サイズ・領域形状に基づく近似円盤に見立てた近似半径として登録すること（半径マップ）で、テーブルの実メモリサイズの削減ができ、また、実際の画像フィルタリング処理に際して、より円滑に行うことができる。
球体を仮想モデルに利用する効果について補足する。半径マップに対して、例えば、仮想球体の半径を単位円（１ｍ等）と設定しておくことにより、実際に、５０ｃｍの仮想球体サイズを基準とした処理を行う際に、ゲイン１／２を加えることで、代替処理が可能となる。この場合、偏重性の少ない球体をモデルに使用したことで、他の形状モデルを使うよりも発生する誤差を少なくする効果が期待される。

なお、この発明の変形例としては、半径マップを応用した１次方向（直線方向）偏重性の探索によるノイズ耐性の強い高速白線検出アルゴリズム、半径マップを応用したオプティカルフロー探索が可能である。

この発明の車両周辺監視装置は、各種運転支援技術に適用できる。

１ 車両周辺監視装置
２ 広角レンズ
３ 撮像手段
４ 制御手段
５ 表示手段
６ 記憶手段
７ テンプレートサイズ設定手段
８ 画像処理手段

Claims (5)

1. 広角レンズを有する撮像手段を設け、各実空間座標位置に予め設定された３次元寸法の仮想ブロックを想定し、この仮想ブロックが画像上に表示されるサイズを記憶する記憶手段と、この記憶手段に記憶された表示サイズから一つの画素の周辺画素を一群のデータとして画像処理を行うためのテンプレートサイズを設定するテンプレートサイズ設定手段と、このテンプレートサイズ設定手段により設定されたテンプレートサイズを用いて前記撮像手段により撮像された画像を処理する画像処理手段とを備える制御手段を設けたことを特徴とする車両周辺監視装置。
2. 前記記憶手段に記憶される表示サイズは、画像上の画素位置と実空間座標と対応させた計測マップを用いて算出され、前記画像上の画素位置と前記実空間座標との位置相関が取れるものを計測マップ有効範囲とし、計測マップ無効範囲では該計測マップ無効範囲と前記計測マップ有効範囲との境界座標の表示サイズデータで補完されることを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記記憶手段に記憶される表示サイズは、前記仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の半径とすることを特徴とする請求項１又は請求項２に記載の車両周辺監視装置。
4. 前記記憶手段に記憶される表示サイズは、前記仮想ブロックが画像上に表示されるサイズと同等サイズの近似円盤の直径とし、この直径が奇数の場合にはテンプレートを方形とし、前記直径が偶数の場合にはテンプレートを円形とすることを特徴とする請求項１又は請求項２に記載の車両周辺監視装置。
5. 前記画像処理手段は、
   前記テンプレートサイズ設定手段により設定されたテンプレートサイズに基づいて画像フィルタリングを実行することを特徴とする請求項１〜請求項４のいずれか１項に記載の車両周辺監視装置。
   

Images