JP2008097444A - 画像処理装置 - Google Patents

Abstract

【課題】 複数の画像に誤差が生じた場合であっても、相対水平面に対する共通平面の傾斜角度を小さくして、所定の範囲内に収めることができる画像処理装置を提供する。
【解決手段】 画像処理装置１においては、カメラ２で取得された画像を俯瞰画像に変換し、前俯瞰画像Ｉｔ−１として画像一時保管部１３に保管する。また、この俯瞰画像と共通する共通領域を含む画像を取得し、俯瞰画像Ｉｔに変換する。前俯瞰画像Ｉｔ−１と俯瞰画像Ｉｔとから共通平面を導出して両画像を比較する。共通平面を導出する際、両画像間で対応する１組の対応点を複数抽出し、１組の対応点を通る直線と相対水平面とがなす傾斜角度が許容傾斜角度以下である対応点を４点選択する。これらの４つの対応点に基づいて共通平面を導出する。
【選択図】 図３

Description

本発明は、画像処理装置に係り、特に、撮像した画像から、共通平面、たとえば地面を導出することができる画像処理装置に関する。

たとえば、車両の周囲を撮像手段で撮像して得られる画像に基づいて車両の周囲における高さが低いか高いかを検出することにより、周囲の障害物や側溝などを認識することが求められている。このような画像処理を行うには、車両の周囲における高さを求めるにあたり、その基準となる地面などの共通平面を求めることが要求される。このような共通平面を求める技術として、特開２００４−９４７０７号公報（特許文献１）に開示されたステレオ画像による平面推定方法がある。

この平面推定方法では、撮像装置で撮像されたステレオ画像における基準画像から複数の特徴点を抽出し、各特徴点について参照画像中の対応点を探索する対応付け処理を行い、視差を求める。この各特徴点について視差および画像上の座標点に基づいて他の特徴点との対比を行い、当該特徴点が道路（平面）示す点か道路上の物体を示す点かを判別する。そして、物体を示すと判別された特徴点を除いた残りの特徴点から道路の三次元位置を算出して共通平面を導出するものである。
特開２００４−９４７０７号公報

ところで、このような共通平面を導出する際には、たとえば共通平面が相対水平面に対して所定の角度以下の範囲に収まることが求められる。しかし、上記特許文献１に開示された発明では、撮像装置で撮像されたステレオ画像から、特徴点を抽出し、物体を示すと判別された特徴点を除いた残りの特徴点から道路の三次元位置を算出して共通平面を導出する平面推定を行っている。このため、ステレオ画像（複数の画像）を取得する撮像装置の分解能等に起因して誤差が生じる場合、この誤差によって共通平面を導出する際の精度が低くなってしまい、結果として共通平面が相対水平面に対して大きく傾斜してしまうことがあるという問題があった。

そこで、本発明の課題は、撮像した画像に誤差が生じた場合であっても、相対水平面に対する共通平面の傾斜角度を小さくして、所定の範囲内に収めることができる画像処理装置を提供することにある。

上記課題を解決した本発明に係る画像処理装置は、少なくとも一部が共通する共通領域を異なる複数の位置から撮像した複数の画像を取得する画像取得手段と、画像取得手段で取得された複数の画像間で対応する対応点を複数抽出する対応点抽出手段と、対応点に検出誤差が見込まれる際、画像内における１組の対応点を通る直線と相対水平面とがなす傾斜角度が、共通平面に対する予め設定された許容傾斜角度以下となるか否かを判定する傾斜角度判定手段と、複数の対応点から得られる複数の１組の対応点を通る複数の直線のすべてについて、相対水平面との傾斜角度が許容傾斜角度以下となる判定された場合に、複数の対応点に基づいて共通平面を導出する共通平面導出手段と、を備えるものである。

本発明に係る画像処理装置においては、対応点における検出誤差が見込まれる際、画像内における１組の対応点を通る直線と相対水平面とがなす傾斜角度が、共通平面に対する予め設定された許容傾斜角度以下となるか否かを判定する。そして複数の対応点から得られる複数の１組の対応点を通る複数の直線のすべてについて、相対水平面との傾斜角度が許容傾斜角度以下となる判定された場合に、複数の対応点に基づいて共通平面を導出する。このように、１組の対応点を結んだ直線と相対水平面とのなす傾斜角度が許容傾斜角度以下となる場合に共通平面を導出することから、撮像した画像における対応点に誤差が生じた場合であっても、相対水平面に対する共通平面の傾斜角度を小さくして、所定の範囲内に収めることができる。

ここで、１組の対応点間の距離を求める対応点距離算出手段と、傾斜角度判定手段における判定基準に基づき、１組の対応点についての対応点間の距離しきい値を算出する距離しきい値算出手段と、を備え、傾斜角度判定手段は、１組の対応点間の距離と、対応点間の距離しきい値とを比較する態様とすることができる。

このように、１組の対応点についての対応点間の距離しきい値を算出し、１組の対応点間の距離と、対応点間の距離しきい値とを比較することにより、傾斜角度が許容傾斜角度以下となるか否かを簡素な演算によって判定することができる。

さらに、傾斜角度判定手段は、対応点において見込まれる検出誤差が最大検出誤差であるときの傾斜角度について判定する態様とすることができる。

このように、検出誤差が最大検出誤差であることにより、確実に相対水平面に対する共通平面の傾斜角度を確実に所定の範囲内に収めることができる。

本発明に係る画像処理装置によれば、撮像した画像に誤差が生じた場合であっても、相対水平面に対する共通平面の傾斜角度を小さくして、所定の範囲内に収めることができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態における画像処理装置１は、センサ情報取込部１１、俯瞰図作成部１２、画像一時保管部１３、対応点候補抽出部１４、対応点選択部１５、共通平面導出部１６、画像視点変換部１７、および物体高さ判断部１８を備えている。さらに、画像処理装置１には、カメラ２（２Ｆ，２Ｒ，２Ｌ，２Ｂ）および情報出力部３が接続されており、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂから出力された画像に基づいて、カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂの周囲における高低を検出する。

前方カメラ２Ｆは、図２に示すように、車両Ｓの前方中央のフロントグリル部分に取り付けられており、車両Ｓの前方を撮像している。また、右方カメラ２Ｒは、車両Ｓの右ドア位置、左方カメラ２Ｌは車両Ｓの左ドア、後方カメラ２Ｂは車両Ｓのリアトランクカバーにそれぞれ取り付けられて、車両Ｓの右方、左方、および後方をそれぞれ撮像している。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれいわゆる魚眼カメラなどの広視野カメラからなり、それぞれのカメラ２Ｆ，２Ｒ，２Ｌ，２Ｂで撮像領域ＥＦ，ＥＲ，ＥＬ，ＥＢを撮像可能とされている。カメラ２Ｆ，２Ｒ，２Ｌ，２Ｂは、それぞれ撮像して得られた画像を画像処理装置１におけるセンサ情報取込部１１に出力する。

画像処理装置１におけるセンサ情報取込部１１では、カメラ２から出力された画像を取り込み、俯瞰図作成部１２に出力する。俯瞰図作成部１２では、これらのカメラ２から出力された画像の各画素の輝度を検出し、空白の俯瞰図にマッピングすることにより、俯瞰図を作成する。

俯瞰図作成部１２は、作成した俯瞰図を画像一時保管部１３および対応点候補抽出部１４に出力する。画像一時保管部１３は、俯瞰図作成部１２から出力された俯瞰図（俯瞰画像）を一時的に記憶して保管するとともに、前回に保管した俯瞰画像を対応点候補抽出部１４の読み出し要求に応じて出力する。対応点候補抽出部１４は、画像一時保管部１３に保管された俯瞰画像を俯瞰図作成部１２から出力された際に、画像一時保管部１３に保管された俯瞰画像を読み出す。ここで読み出す俯瞰画像は、俯瞰図作成部１２から出力された俯瞰画像の１つ前に作成され一時保管された一時保管画像（以下「前俯瞰画像」という）である。対応点候補抽出部１４は、俯瞰図作成部１２から出力された俯瞰画像および画像一時保管部１３から読み出した前俯瞰画像を比較して、対応点候補を抽出する。対応点候補抽出部１４は、抽出した対応点候補を対応点選択部１５に出力する。

対応点選択部１５は、対応点候補抽出部１４から出力された対応点候補の中から、画像の比較に用い易い対応点を選択する。対応点選択部１５は、選択した対応点を含む俯瞰画像および前俯瞰画像を共通平面導出部１６に出力する。共通平面導出部１６は、対応点選択部１５から出力された対応点候補、俯瞰画像および前俯瞰画像に基づいて共通平面を導出する。

ここで、選択された対応点を通る直線と相対水平面とのなす傾斜角度が許容傾斜角度以下であるとなる選択点が４点選択されていた際には、選択した対応点を含む共通平面、俯瞰画像、および前俯瞰画像を画像視点変換部１７に出力する。また、選択された対応点を通る直線と相対水平面とのなす傾斜角度が許容傾斜角度を超える場合には、対応点選択部１５に対して、選択点の選択をやり直させる。画像視点変換部１７では、共通平面導出部１６から出力された前俯瞰図の画像を視点変換して視点変換画像を生成し、俯瞰図の視点と同一視点となるようにする。画像視点変換部１７は、俯瞰画像、視点変換画像、および各対応点を物体高さ判断部１８に出力する。

物体高さ判断部１８では、画像視点変換部１７から出力された俯瞰画像、視点変換画像、および各対応点に基づいて、車両の周囲における物体の高さを判断する。物体高さ判断部１８は、物体の高さを判断したら、物体の高さに応じた彩色を施した俯瞰画像を生成し、情報出力部３に出力する。情報出力部３は、たとえば画像を表示するディスプレイからなり、物体高さ判断部１８から出力された俯瞰画像を表示する。

次に、本実施形態に係る画像処理装置の処理手順について説明する。図３は、本実施形態に係る画像処理装置の処理手順を示すフローチャート、図４は、図３に続く処理手順を示すフローチャートである。

図３に示すように、本実施形態に係る画像処理装置１においては、センサ情報取込部１１において、カメラ２から出力された画像を取得する（Ｓ１）。次に、俯瞰図作成部１２において、カメラ２で撮像された画像を視点変換して俯瞰画像を生成する（Ｓ２）。俯瞰画像を生成する際には、図５に示すように、カメラ２から出力された魚眼画像の視点を平面視する上方からの視点に視点変換し、下記の手順で俯瞰画像Ｉｔを作成する。

まず、図５に示すカメラ（仮想カメラ）２αの仮想視点Ｏ_ｃから、仮想スクリーン（本発明の基準平面となる水平面に相当する）Ｋまでの距離Ｚ_ｖを下記（０）式によって求める。

Ｚ_ｖ＝Ｗ／{２tan（Ω／２）} ・・・（０）
ここで、Ｗ：作成する俯瞰図の横幅（Ｐｉｘｅｌ）
Ω：投影視野角度（ｄｅｇ）

次に、仮想スクリーンの像点（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）から魚眼画像座標値（ｕ_ｐ，ｖ_ｐ）を算出する（Ｓ２）。そのため、まず下記（１）式〜（３）式によって、各座標を（Ｘ_ｓｅ，Ｙ_ｓｅ，Ｚ_ｓｅ）を求め、これらの座標から、下記（４）式によって魚眼画像座標値（ｕ_ｐ，ｖ_ｐ）を算出する

ただし、 Ｌ：魚眼画像の半径
ｆ（）：魚眼カメラ特性係数

それから、これらの座標を下記（５）式および（６）式によって、水平面を見る方向へアフィン変換する。

ただし、 λ：カメラ向き横角度（ｄｅｇ）
ξ：カメラ向き縦角度（ｄｅｇ）
ω：カメラ向き回転角度（ｄｅｇ）

これらの計算を各カメラから出力された画像における各画素について行い、俯瞰画像を生成する。

俯瞰図作成部１２は、俯瞰画像を生成したら、生成した俯瞰画像を画像一時保管部１３および対応点候補抽出部１４に出力する。画像一時保管部１３では、俯瞰図作成部１２から出力された俯瞰画像Ｉｔを一時的に記録して保管する（Ｓ３）。また、対応点候補抽出部１４は、俯瞰図作成部１２から俯瞰画像Ｉｔが出力された際に、画像一時保管部１３に一時的に保管されている前俯瞰画像Ｉｔ−１を読み出す（Ｓ４）。

それから、対応点候補抽出部１４では、俯瞰図作成部１２から出力された俯瞰画像Ｉｔおよび画像一時保管部１３から読み出した前俯瞰画像Ｉｔ−１を比較し、探索範囲を設定する（Ｓ５）。探索範囲としては、相対水平面が必ず存在する領域、たとえば車両の近傍数メートルの探索可能範囲を予め設定しておき、俯瞰画像Ｉｔおよび前俯瞰画像Ｉｔ−１における探索可能範囲のうちの共通する共通領域を探索範囲として設定する。また、カメラ２による撮像をたとえば２０ｍｓごとに行うことにより、車両Ｓが通常速度で走行する場合に、俯瞰画像Ｉｔおよび前俯瞰画像Ｉｔ−１が重複する範囲を異なる複数の位置から撮像した画像を取得することができる。この重複する範囲である共通領域を探索範囲として設定する。

続いて、探索範囲内において、対応点候補を抽出する（Ｓ６）。対応点候補の抽出では、たとえばハリスオペレータやラプラシアン・オブ・ガウシアンフィルタなどの特徴部抽出処理を利用して特徴点を抽出する。これらの抽出法により、ステップＳ５で設定した探索範囲内において抽出された特徴点に対して、俯瞰画像Ｉｔと前俯瞰画像Ｉｔ−１との間で対応点候補を抽出する。対応点候補を抽出する際には、特徴点の周辺の小領域（たとえば３×３画素、５×５画素、７×７画素）の間の相関値を求め、最高値となる相関値をもつ点がお互い同士の組だけを抽出し、抽出された２点を対応点候補とする。相関値の導出には、たとえば正規化相関によるテンプレートマッチングや差分総和などのパターン認識技術を用いることができる。あるいは、俯瞰画像の元となる画像を撮像した時刻ｔと、前俯瞰画像の元となる画像を撮像した時刻ｔ−１との間隔Δｔが微小であると仮定して、オプティカルフローを用いて対応点候補を抽出することもできる。

対応点候補を抽出したら、対応点選択部１５において、俯瞰画像Ｉｔ内から４点以上の多数の対応点候補を無作為に抽出する（Ｓ６）。対応点選択部１５は、抽出した対応点の中から４つの対応点Ｐ１、Ｐ２、Ｐ３、Ｐ４を選択し（Ｓ７）、選択した対応点Ｐ１、Ｐ２、Ｐ３、Ｐ４を共通平面導出部１６に出力する。なお、これらの対応点候補は、俯瞰画像Ｉｔではなく、前俯瞰画像Ｉｔ−１内から抽出する態様とすることもできる。

共通平面導出部１６では、出力された４つの対応点から共通平面を導出するが、対応点を撮像したカメラ２には、ある程度の検出誤差が見込まれる。この検出誤差が大きくなると、共通平面が相対水平面に対して大きく傾斜してしまい、周囲の物体を精度よく検出することが困難となることが想定される。そこで、ここでは、４点の対応点候補を正式に採用するか否かについての検討を行う。そのため、まず、出力された４つの対応点Ｐ１、Ｐ２、Ｐ３、Ｐ４について、２つの対応点を１組とした６組の対応点に対する相対距離しきい値Ｔｈ１２，Ｔｈ１３，Ｔｈ１４，Ｔｈ２３，Ｔｈ２４，Ｔｈ３４を、その対応点の位置とカメラ２の分解能から導出する（Ｓ８）。

相対距離しきい値の導出は次のようにして行う。ここで、対応点Ｐ１、Ｐ２についての相対距離しきい値Ｔｈ１２の導出について図６を参照して説明する。ここでの説明における各記号は、それぞれ以下の意味である。
Ｌ_１：時刻ｔのカメラ位置から点Ｐ１までの水平距離
Ｌ_２：時刻ｔのカメラ位置から点Ｐ２までの水平距離
ｒ１：点Ｐ１における距離分解能
ｒ２：点Ｐ２における距離分解能
ｈ_ｃ:カメラの設置高さ
Ｈ１：第一傾斜平面
Ｈ２：第二傾斜平面
ＲＬ：相対水平面
α_１：点Ｐ１と点Ｐ２とで最大誤差を持ったときの第一傾斜平面Ｈ１の相対水平面ＲＬに対する傾き
α_２：点Ｐ１と点Ｐ２とで最大誤差を持ったときの第二傾斜平面Ｈ２の相対水平面ＲＬに対する傾き
Ｂ：時刻ｔと時刻ｔ−１とでカメラが移動した距離
ｄ_１２：点Ｐ１と点Ｐ２との間の相対距離

図６に示すように、点Ｐ１における距離分解能ｒ１は、下記（７）式で表すことができる。ここで、カメラ２が移動した距離は、車速×Δｔで表すことができる。この分解能は、時刻ｔと時刻ｔ−１とのカメラのステレオ視原理に基づいて求められる。
ｒ１＝（Ｂ^２＋Ｌ_１ ^２）tanδθ／Ｂ−Ｌ_１tanδθ ・・・（７）
ただし、δθ：カメラ視野／垂直画角

同様に、点ｐ２における距離分解能ｒ２は、下記（８）式で表すことができる。
ｒ２＝（Ｂ^２＋Ｌ_２ ^２）tanδθ／Ｂ−Ｌ_２tanδθ ・・・（８）

また、点Ｐ１および点Ｐ２における高さ方向の分解能Ｇ_１，Ｇ_２は、それぞれ下記（９）式および（１０）式によって求めることができる。
Ｇ_１＝ｒ_１sin（β_１） ・・・（９）
Ｇ_２＝ｒ_２sin（β_２） ・・・（１０）
ただし、β_１＝tan^−１（ｈ_ｃ／Ｌ_１）、β_２＝tan^−１（ｈ_ｃ／Ｌ_２）

このとき、点Ｐ１と点Ｐ２とが最大誤差を持ったときに算出できる平面は、図６に示す第一傾斜平面Ｈ１と第二傾斜平面Ｈ２とがある。このうち、カメラ２に対して距離が近い点Ｐ１から遠ざかる方向に持った誤差に対応する第二傾斜平面Ｈ２の相対水平面ＲＬに対する最大傾斜α_２の方が、第一傾斜平面Ｈ１の相対水平面ＲＬに対する最大傾斜α_１よりも大きくなっている。

そこで、第二傾斜平面Ｈ２の相対水平面ＲＬに対する最大傾斜α_２を導出すると、第二傾斜平面Ｈ２の相対水平面ＲＬに対する最大傾斜α_２は、下記（１１）式によって求めることができる。
tanα_２＝（Ｇ_１＋Ｇ_２）／（ｄ_１２−ｒ_２cos（β_２）−ｒ_１cos（β_１）） ・・・（１１）

ここで、傾斜平面に対しては、許容傾斜角度である傾斜しきい値αが予め設定されている。この傾斜しきい値αは、検出対象の高さ等によって適宜設定する。本実施形態における傾斜しきい値αの設定手順について、図７を参照して説明する。ここでは、検出対象の最低高さ位置にある物体として縁石ＥＳを設定し、この縁石ＥＳより高い位置にある物体を車両Ｓからの最大距離Ｌａの位置で検出可能とする設定としている。

縁石ＥＳの高さをＨｍｉｎとして、縁石ＥＳの高さ以下とすることにより、縁石ＥＳより高い位置にある物体を車両Ｓからの最大距離Ｌａの位置で検出可能とできる。ここでは、さらに余裕を持たせて、縁石ＥＳの高さＨｍｉｎの半分の高さＨｍｉｎ／２を基準として、傾斜しきい値αを設定すると、傾斜しきい値αは、（１２）式で求めることができる。
α＝tan^−１（Ｈｍｉｎ／２Ｌａ） ・・・（１２）

上記（１２）式によって傾斜しきい値αを設定できる。具体的な例として、車両Ｓからの最大距離Ｌａを２（ｍ）、縁石ＥＳの高さをＨｍｉｎ＝１０（ｃｍ）とすると、傾斜しきい値α≒１．４（ｄｅｇ）となる。

この傾斜しきい値αを用いて、第二傾斜平面Ｈ２の相対水平面ＲＬに対する最大傾斜α_２が傾斜しきい値αより小さくなるか否かの判断として、下記（１３）式によって点Ｐ１，Ｐ２に対応する相対距離しきい値Ｔｈ１２を求める。また、下記（１４）式によって、点Ｐ１と点Ｐ２との間の相対距離ｄ_１２を求める。
Ｔｈ１２＝ｒ_１cos（β_１）＋ｒ_２cos（β_２）＋（Ｇ１＋Ｇ２）／tanα ・・・（１３）
ｄ_１２＝Ｌ_２−Ｌ_１ ・・・（１４）

こうして、点Ｐ１と点Ｐ２についての相対距離しきい値Ｔｈ１２および相対距離ｄ_１２を求めたら、相対距離ｄ_１２が相対距離しきい値Ｔｈ１２よりも大きいか否かを判断する（Ｓ９）。

以後、同様の手順によって点Ｐ１と点Ｐ３、点Ｐ１と点Ｐ４、点Ｐ２と点Ｐ３、点Ｐ２と点Ｐ４、および点Ｐ３と点Ｐ４についても相対距離しきい値Ｔｈ１３、Ｔｈ１４、Ｔｈ２３、Ｔｈ２４、Ｔｈ３４、および相対距離ｄ_１３、ｄ_１４、ｄ_２３、ｄ_２４、ｄ_３４を求める。それから、それぞれ対応する相対距離ｄｉが相対距離しきい値Ｔｈｉよりも大きいか否かを判断する（Ｓ９）。

その結果、すべての対応する２点について、相対距離ｄｉが相対距離しきい値Ｔｈｉよりも大きいと判断された場合には、選択された４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を正式な対応点として採用する（Ｓ１０）。一方、相対距離ｄｉが相対距離しきい値Ｔｈｉ以下であると判断された場合には、ステップＳ７に戻って対応点選択部１５において対応点候補から４点の対応点を選択し直し、ステップＳ１０の条件を満たすまでステップＳ７〜ステップＳ９の工程を繰り返す。

他方、相対距離しきい値Ｔｈ１２を求めることなく、傾斜しきい値を直接用いることもできる。この場合には、第二傾斜平面Ｈ２の相対水平面ＲＬに対する最大傾斜α_２が小さくなるように、α≧α_２、すなわちtanα≧tanα_２（α＜π／２）の条件式を満たすか否かを判断する。そして、すべての対応する２点について、tanα≧tanα_２（α＜π／２）の条件式を満たすと判断された場合には、選択された４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を正式な対応点として採用する

こうして、４点Ｐ１、Ｐ２、Ｐ３、Ｐ４を正式に採用したら、共通平面ホモフラフィ行列を導出する（Ｓ１１）。共通平面ホモグラフィの導出は、下記の手順で行われる。まず、図８に示すように、ある任意の平面Ｈ上にある点Ｐ１〜Ｐ４のいずれかである点Ｐを第１カメラの視点Ｃ１および第２カメラの視点Ｃ２で見たときにそれぞれのカメラ座標がｐ１（ｕ_１，ｖ_１）、ｐ２（ｕ_２，ｖ_２）であったとする。このとき、両座標の関係は、下記（１５）式で表すことができる。また、共通平面のホモグラフィ行列を（１６）式に示す。

ここで、ホモグラフィ行列Ｈは３×３の行列であることから、平面Ｈ上に存在する点のそれぞれの画像への投影点の画像座標の組はすべて上記（１６）式で表すことができる。言い換えると、平面上にある点は、その平面のホモグラフィ行列がわかっていれば、ステレオ画像の一方の画像点からもう一方の画像上の対応点の位置が決定できることになる。したがって、ホモグラフィ行列Ｈは、三次元空間内で同一平面上にある４点の画像上での対応がわかれば、直接に求めることができる。

いま、３次元空間内におけるある平面に存在するｎ個の点について、図９に示すように、２つの画像間で対応が与えられているとする。ここで、第１カメラで第１点Ｐ１および第２点Ｐ２を見た際の第１画像における１番目の点Ｐ１１および２番目の点Ｐ１２の座標をそれぞれｐ１１（ｕ_１１，ｖ_１１）、ｐ１２（ｕ_１２，ｖ_１ｉ２）とする。また、第２カメラで第１点Ｐ１および第２点Ｐ２を見た際の第２画像における１番目の点Ｐ１１および２番目の点Ｐ１２の座標をそれぞれｐ１１（ｕ_１１，ｖ_１１）、ｐ１２（ｕ_１２，ｖ_１１２）とする。

これを一般化して第１カメラで撮像した第１画像におけるｉ番目の点の座標を（ｕ_１ｉ，ｖ_１ｉ）とし、第２カメラで撮像した第２画像におけるｉ番目の点の座標を（ｕ_２ｉ，ｖ_２ｉ）とする。さらに、この点についての上記（１５）式の定数αをα_１とおくと、上記（１５）式は下記（１７）式のように表すことができる。

この（１７）式を変形すると、下記（１８）式のようになる。

さらに、第１画像と第２画像との間でｎ個の対応が取れている場合には、上記（１８）式は下記（１９）式のように表すことができる。
ＢＪ＝０ ・・・（１９）

ここで、上記（１９）式における行列Ｊにおける任意の１つの要素を１とおいて、線形方程式の最小二乗法によって上記（１９）式を解いていく。このとき、Ｊ＝０という意味にない解を避けるために、｜Ｊ｜^２＝１とした上で、その下でのｍｉｎ｜ＢＪ｜^２の最小化問題として捉えることにより、解は行列Ｂ^ＴＢの最小固有値に対応する固有ベクトルとして与えられる。こうして共通平面ホモグラフィ行列を導出することができる。

共通平面ホモグラフィ行列を導出したら、画像視点変換部１７において、導出した共通平面ホモグラフィ行列によって、前俯瞰画像Ｉｔ−１を変換し（Ｓ１２）、変換俯瞰画像Ｉｔ′を作成する。ここで作成される変換俯瞰画像Ｉｔ′は、いわば時刻ｔ−１における画像を変換して時刻ｔの画像を推測したものとなる。いま、図１０（ａ）に前俯瞰画像Ｉｔ−１の模式図、（ｂ）に俯瞰画像Ｉｔの模式図、（ｃ）に変換俯瞰画像Ｉｔ′の模式図をそれぞれ示す。図１０からわかるように、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′とを比較すると、相対水平面ＲＬの位置は一致している。これに対して、相対水平面ＲＬ以外の位置は一致せずにずれが生じており、たとえば物体Ｍの位置は俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との間では、ずれている。

また、適切な対応点を使わずに不適切なホモグラフィ行列を用いて前俯瞰画像を変換してしまった場合には、図１１（ａ）に示す前俯瞰画像Ｉｔ−１、図１１（ｂ）に示す俯瞰画像Ｉｔに対して、前俯瞰画像Ｉｔ−１から変換俯瞰画像を作成すると、図１１（ｃ）に示すように、変換俯瞰画像Ｉｔ′では画像がぼやけてしまう。このような画像が変換俯瞰画像として得られた場合には、不適切なホモグラフィ行列による変換であるとしてたとえば対応点の選定をやり直す態様とすることができる。

図１０に示した俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との関係に戻り、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′の間におけるずれを検出するために、両俯瞰画像の局所領域がどのように変化しているのかを調べる。そのために、物体高さ判断部１８において、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′との間の局所移動ベクトルを導出する（Ｓ１３）。

局所移動ベクトルを導出するために、図１２（ａ）に示すように、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′とを重畳させた重畳画像を生成する。この図１２（ａ）に示す重畳画像では、俯瞰画像Ｉｔの画像を破線で、変換俯瞰画像Ｉｔ′の画像を一点鎖線でそれぞれ示している。図１２（ａ）に示す重畳画像において、まず変換俯瞰画像Ｉｔ′における局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂを選択する。これらの局所領域は適宜選択することができるが、たとえば周囲の領域と大きく輝度が異なる領域を選択することができる。

変換俯瞰画像Ｉｔ′における局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂを選択したら、俯瞰画像Ｉｔにおけるこれらの局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂに対応する対応局所領域ＸｔＡ，ＸｔＢを導出する。対応局所領域ＸｔＡ，ＸｔＢを導出する際には、たとえば正規化相関によるテンプレートマッチングや差分総和などのパターン認識技術を用いることができる。また、時刻ｔと時刻ｔ１−との間隔Δｔが微小であると仮定して、オプティカルフローを用いて対応局所領域ＸｔＡ，ＸｔＢを導出することもできる。

こうして局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂに対応する対応局所領域ＸｔＡ，ＸｔＢを抽出したら、局所領域Ｘｔ−１Ａ，Ｘｔ−１Ｂから対応局所領域ＸｔＡ，ＸｔＢに対する移動ベクトルＶｉＡ，ＶｉＢを局所移動ベクトルとしてそれぞれ求める。

局所移動ベクトルを求めたら、物体高さ判断部１８において、物体高さ判断を行う（Ｓ１４）。物体高さ判断部１８では、局所移動ベクトルの移動量に基づいて、相対水平面ＲＬであるか、相対水平面ＲＬより高い立体物であるか、あるいは相対水平面ＲＬよりも低い溝や下り段差などであるかを判断する。具体的には、局所移動ベクトルの移動量の絶対値が所定のしきい値を超えるか否かを判定し、所定のしきい値を超えないと判定した場合には、相対水平面ＲＬにあると判定する。

また、局所移動ベクトルの移動量が所定のしきい値を超えると判定した場合には、水平面に対する高低を判定し、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡは水平面より低い位置にあると判定した場合には「側溝または下り段差」であると判定する。一方、局所領域Ｘｔ−１Ａと対応局所領域ＸｔＡは水平面より低い位置にあると判定した場合には、「立体物」であると判定する。

こうして、局所位置の水平面に対する高さを判定したら、判定した高さ情報を俯瞰図に記録する（Ｓ１５）。この高さ情報に基づいて、俯瞰図の高さ情報を完成させる。ここで完成された俯瞰図は、たとえば図１３に示すようになる。この俯瞰図では、「相対水平面」「側溝・下り段差」「立体物」の領域に分けた色付表示を行っている。このような色付表示を行うことにより、「相対水平面」「側溝・下り段差」「立体物」について強調表示を行うことができる。

こうして俯瞰図を完成させたら、完成した俯瞰図を情報出力部３に出力し（Ｓ１６）、ディスプレイなどで表示したり、他の装置に情報提供を行ったりする。

このように、本実施形態に係る画像処理装置においては、共通平面を導出するにあたり、複数のカメラで撮像された画像から得られる画像について、１組の対応点を通る直線と相対水平面ＲＬとがなす傾斜角度が、予め設定された共通平面に対する許容傾斜角度以下となるか否かを判定する。そして、１組の対応点を結んだ直線のすべてについて、相対水平面ＲＬとの傾斜角度が許容傾斜角度以下となる判定された場合に、複数の対応点に基づいて共通平面を導出する。このように、１組の対応点を結んだ直線と相対水平面ＲＬとのなす傾斜角度が許容傾斜角度以下となる場合に共通平面を導出することから、複数の画像に誤差が生じた場合であっても、相対水平面ＲＬに対する共通平面の傾斜角度を小さくして、所定の範囲内に収めることができる。また、選択された２点間の距離と距離しきい値とを比較して相対水平面ＲＬとの傾斜角度が許容傾斜角度以下となるか否かを判定しているので、その演算を簡素なものとすることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では車両にカメラを搭載して車両の移動に伴って複数の画像を取得しているが、カメラを移動させる移動手段や撮像する撮像者などがカメラを移動させて複数の画像を取得する態様とすることができる。

また、上記実施形態では、２点を結んだ直線から相対距離しきい値を求め、２点の距離が相対距離しきい値と２点間の距離とを比較しているが、２点を結んだ直線の相対水平面に対する角度と、傾斜しきい値αとを比較し、２点を結んだ直線の相対水平面に対する角度が傾斜しきい値αを超える場合に、対応点を選択しなおす態様とすることもできる。

本発明の実施形態に係る画像処理装置のブロック構成図である。 車両におけるカメラの設置位置およびカメラからの撮像範囲を平面視する模式図である。 本実施形態に係る画像処理装置の処理手順を示すフローチャートである。 図３に続く処理手順を示すフローチャートである。 仮想カメラの設定位置を説明する模式図である。 相対距離しきい値を算出する際に用いる位置関係を説明する説明図である。 傾斜しきい値を設定する際に用いる位置関係を説明する説明図である。 ２つのカメラ位置から同一点を見た場合の状態を説明する模式図である。 ２つのカメラ位置から２つの同一点を見た場合の状態を説明する模式図である。 （ａ）は、時刻ｔ−１の前俯瞰画像Ｉｔ−１を示す図、（ｂ）は時刻ｔの俯瞰画像Ｉｔを示す図、（ｃ）は、前俯瞰画像Ｉｔ−１を変換した変換俯瞰画像Ｉｔ′を示す図である。 （ａ）は、時刻ｔ−１の前俯瞰画像Ｉｔ−１を示す図、（ｂ）は時刻ｔの俯瞰画像Ｉｔを示す図、（ｃ）は前俯瞰画像Ｉｔ−１を変換に失敗した変換俯瞰画像Ｉｔ′を示す図である。 （ａ）は、俯瞰画像Ｉｔと変換俯瞰画像Ｉｔ′を重畳させた重畳画像を示す図、（ｂ）は、その重畳画像における局所移動ベクトルを説明する図である。 画像内における領域の高さ関係を示す画面の図である。

符号の説明

１…画像処理装置、２（２Ｒ，２Ｂ，２Ｌ，２Ｆ）…カメラ、３…情報出力部、１１…センサ情報取込部、１２…俯瞰図作成部、１３…画像一時保管部、１４…対応点候補抽出部、１５…対応点選択部、１６…共通平面導出部、１７…画像視点変換部、１８…物体高さ判断部。

Claims (3)

1. 少なくとも一部が共通する共通領域を異なる複数の位置から撮像した複数の画像を取得する画像取得手段と、
   画像取得手段で取得された複数の画像間で対応する対応点を複数抽出する対応点抽出手段と、
   対応点に検出誤差が見込まれる際、画像内における１組の対応点を通る直線と相対水平面とがなす傾斜角度が、共通平面に対する予め設定された許容傾斜角度以下となるか否かを判定する傾斜角度判定手段と、
   複数の対応点から得られる複数の１組の対応点を通る複数の直線のすべてについて、相対水平面との傾斜角度が許容傾斜角度以下となる判定された場合に、複数の対応点に基づいて共通平面を導出する共通平面導出手段と、
   を備えることを特徴とする画像処理装置。
2. １組の対応点間の距離を求める対応点距離算出手段と、
   傾斜角度判定手段における判定基準に基づき、１組の対応点についての対応点間の距離しきい値を算出する距離しきい値算出手段と、を備え、
   傾斜角度判定手段は、１組の対応点間の距離と、対応点間の距離しきい値とを比較する請求項１に記載の画像処理装置。
3. 傾斜角度判定手段は、対応点において見込まれる検出誤差が最大検出誤差であるときの傾斜角度について判定する請求項１または請求項２に記載の画像処理装置。

Images