JP2010016805A - 画像処理装置、運転支援システム、及び画像処理方法 - Google Patents

Abstract

【課題】運転者が視認しやすい運転支援用画像を生成する画像処理装置を提供する。
【解決手段】車両に搭載されたカメラ２の撮像画像をカメラ２から取得し、前記撮像画像上にガイドを重畳するガイド重畳部（ガイドライン描画位置補正部１３及び合成部１４）と、前記撮影画像に含まれ得る特定領域を検出する特定領域検出部（立体物検出部１１）とを備え、前記特定領域検出部によって前記特定領域が検出された場合、前記ガイド重畳部が、前記ガイドの描画位置を補正することにより、前記特定領域上には前記ガイドを重畳しないことを特徴とする画像処理装置。
【選択図】図１

Description

本発明は、車両に搭載されたカメラ（以下、車載カメラともいう）の撮影画像を用いて運転支援用画像を生成する画像処理装置、当該画像処理装置を備えた運転支援システム、及び車載カメラの撮影画像を用いて運転支援用画像を生成する画像処理方法に関する。

近年の安全意識の高まりに伴って、カメラを搭載した車両が増加している。車両にカメラを搭載し、車両周辺の肉眼やミラー越しでは死角となる部分を表示することは運転者の安全支援に有用である。

従来、車載カメラの撮影画像を用いて車両の周辺を表示する表示方法として、車載カメラの撮影画像にガイド（あらかじめ設定した路面上の距離指標）を重畳した画像を表示する表示方法が知られている。このような表示方法は、ガイドにより運転者が障害物（例えば、車両の存在する路面より高さのある立体物や車両の存在する路面より低い部分）までの距離を視認し易くなるため、車両の駐車支援などに有効である。また、立体物の高さに応じたガイドを表示する表示方法も提案されている（特許文献１及び特許文献２参照）。これらの表示方法では、複数の高さのガイドを描画することで、立体物と自車両のバンパ高さなどとの距離把握を容易にしている。また、トレーラーの連結支援用ガイドを表示する表示方法として、対象トレーラーに取り付けたテンプレートが車載カメラの撮影画像内に存在するときのみガイドを表示する表示方法も提案されている（特許文献３参照）。

特開２００２−３１４９９１号公報 特開２００４―５６２１９号公報 特開２００５−１１２００４号公報

車載カメラの撮影画像にガイドを重畳した画像を表示する従来の表示方法では、ガイドを常に表示するため、車載カメラの撮影画像中の立体物に対してガイドが重なって描画されてしまう（図１８（ａ）及び（ｂ）参照）。ガイドラインは、例えば、車両の右端の延長線、車両の左端の延長線、車両の後端から０．５ｍの位置を示す線、車両の後端から１．０ｍの位置を示す線、及び車両の後端から２．０ｍの位置を示す線によって構成されている。図１８（ａ）では、車両の後端から１．０ｍの位置を示す線（ガイドライン）が立体部である自転車と重なっており、車両の右端の延長線、車両の左端の延長線、及び車両の後端から２．０ｍの位置を示す線（ガイドライン）が立体部である塀と重なっている。図１８（ｂ）では、車両の右端の延長線、車両の左端の延長線、車両の後端から１．０ｍの位置を示す線、及び車両の後端から２．０ｍの位置を示す線（ガイドライン）が立体部である塀と重なっている。尚、図１８（ａ）において、斜線で埋められた線分は路面上に互いに描かれた白線を表している。

このように本来路面上の距離指標であるガイドが路面でない部分に描画されてしまうと、運転者にとって煩わしい表示となる。

本発明は、上記の状況に鑑み、運転者が視認しやすい運転支援用画像を生成する画像処理装置、当該画像処理装置を備えた運転支援システム、及び運転者が視認しやすい運転支援用画像を生成する画像処理方法を提供することを目的とする。

上記目的を達成するために本発明に係る画像処理装置は、車両に搭載された撮像装置の撮像画像を前記撮像装置から取得し、前記撮像画像上にガイドを重畳するガイド重畳部と、前記撮影画像に含まれ得る特定領域を検出する特定領域検出部とを備え、前記特定領域検出部によって前記特定領域が検出された場合、前記ガイド重畳部が、前記特定領域上には前記ガイドを重畳しないようにする。

前記特定領域は、例えば、前記車両の存在する路面より高さのある立体物としてもよく、前記車両の存在する路面より低い部分としてもよい。

前記特定領域検出部によって前記特定領域が検出された場合、前記特定領域上に警告表示図を重畳する警告表示図重畳部を備えるようにしてもよい。

上記目的を達成するために本発明に係る運転支援システムは、車両に搭載された撮像装置と、表示装置と、前記撮像装置の撮像画像に画像処理を施して前記表示装置に出力する上記いずれかの構成の画像処理装置とを備えるようにする。

上記目的を達成するために本発明に係る画像処理方法は、車両に搭載された撮像装置の撮像画像を前記撮像装置から取得する取得ステップと、前記撮影画像に含まれ得る特定領域を検出する検出ステップと、前記撮像画像上にガイドを重畳する重畳ステップとを有し、前記検出ステップにおいて前記特定領域が検出された場合、前記重畳ステップにおいて前記特定領域上には前記ガイドを重畳しないようにする。

本発明によると、路面上の距離指標であるガイドを特定領域上には重畳しないので、運転支援に必要最小限のガイドとなり、運転者が視認しやすい運転支援用画像を得ることができる。

本発明の第１実施形態に係る運転支援システムの構成を示すブロック図である。 図１の運転支援システムが車両に搭載された状態を示す図である。 本発明の第１実施形態に係る運転支援システムの画像処理装置が実行する処理を示すフローチャートである。 時刻ｔ１及びｔ２の撮影画像を表す図である。 単眼カメラの映像から立体物を検出する方法の一例を示すフローチャートである。 撮影画像上の特徴点と当該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。 カメラ座標系と撮像面の座標系と世界座標系との関係を示す図である。 時刻ｔ１及びｔ２の鳥瞰図画像を表す図である。 鳥瞰図画像上の特徴点と当該特徴点の時刻ｔ１−ｔ２間の移動ベクトルを表す図である。 カメラ移動情報を座標系で表現した図である。 時刻ｔ１−ｔ２間でのフレーム間差分画像を表す図である。 図１１の差分画像に対して２値化処理を施すことで得られる２値画像を表す図である。 立体領域を抽出した画像を表す図である。 本発明の第１実施形態での運転支援用画像の例を表す図である。 本発明の第２実施形態に係る運転支援システムの構成を示すブロック図である。 本発明の第２実施形態での運転支援用画像の例を表す図である。 本発明の第３実施形態に係る運転支援システムの構成を示すブロック図である。 従来の運転支援用画像の例を表す図である。 本発明の第４実施形態での運転支援用画像の例を表す図である。

本発明の実施形態について図面を参照して以下に説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る運転支援システムの構成を示すブロック図である。図１の運転支援システムは、カメラ２の撮影画像を用いて運転支援用画像を生成して表示装置３に出力する画像処理装置１Ａと、カメラ２と、表示装置３とを備えている。カメラ２には、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。
また、表示装置３には、例えば液晶モニターが用いられる。

画像処理装置１Ａは、カメラ２の撮影画像から立体物を検出する立体物検出部１１と、カメラ２の車両取り付け位置などのパラメータからガイドラインの描画位置を求めるガイドライン描画位置決定部１２と、立体物検出部１１の検出結果に基づいてガイドラインの描画位置を補正するガイドライン描画位置補正部１３と、カメラ２の撮影画像とガイドラインとの合成画像である運転支援用画像を生成して表示装置３に出力する合成部１４とを備えている。

図２は、図１の運転支援システムが車両に搭載された状態を示す図である。画像処理装置１Ａ及び表示装置３は車両４の車室内に配置されており、例えば、車両４の運転席付近に設置される。また、カメラ２は車両４の後部に取り付けられ、その取り付け位置から斜め下方向を撮像する。

図３に示すフローチャートを参照して画像処理装置１Ａが実行する処理について説明する。はじめにカメラ２から撮像画像を取得する（ステップＳ１）。例えば、時刻ｔ１の撮影によって得られた撮影画像（以下、単に、時刻ｔ１の撮影画像ともいう）と、時刻ｔ２の撮影によって得られた撮影画像（以下、単に、時刻ｔ２の撮影画像ともいう）とを取得する。また、時刻ｔ１の後に時刻ｔ２が訪れるものとし、時刻ｔ１−ｔ２間において、車両４が移動しているものとする。従って、時刻ｔ１と時刻ｔ２とで路面の見え方が異なる。

今、図４（ａ）に示す画像１１０が時刻ｔ１の撮影画像として取得され、図４（ｂ）に示す画像１２０が時刻ｔ２の撮影画像として取得されたものとする。時刻ｔ１及びｔ２において、カメラ２の視野には、路面上に互いに平行に描かれた第１及び第２の白線と、第１及び第２の白線間に位置する直方体状の立体物αと、が含まれていたとする。図４（ａ）において、斜線で埋められた線分１１１及び１１２は画像１１０内における第１及び第２の白線であり、図４（ｂ）において、斜線で埋められた線分１２１及び１２２は画像１２０内における第１及び第２の白線である。図４（ａ）において、画像上の立体物１１３は画像１１０内における立体物αであり、図４（ｂ）において、画像上の立体物１２３は画像１２０内における立体物αである。

続くステップＳ２では、立体物検出部１１が、カメラ２から取得した撮像画像を用いて立体物を検出する。ここで、単眼カメラの映像から立体物を検出する方法の一例を図５に示すフローチャートを参照して以下に説明する。

ステップＳ２０１において、時刻ｔ１の撮影画像から特徴点が抽出される。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂、立体物の端部や汚れなどを想定している。

ステップＳ２０１に続くステップＳ２０２において、時刻ｔ１の撮影画像と時刻ｔ２の撮影画像を対比し、公知のブロックマッチング法や勾配法を用いて、時刻ｔ１−ｔ２間における撮影画像の座標上のオプティカルフローを求める。オプティカルフローは複数の移動ベクトルの集まりであり、ステップＳ２０２で求められるオプティカルフローには、ステップＳ２０１にて抽出された特徴点の移動ベクトルも含まれている。２つの画像間における着目した特徴点の移動ベクトルは、その２つの画像間における着目した特徴点の移動の向き及び大きさを表す。尚、移動ベクトルは、動きベクトルと同義である。

ステップＳ２０１において複数の特徴点が抽出され、ステップＳ２０２において複数の特徴点の夫々の移動ベクトルが求められるが、ここでは、説明の具体化のため、その複数の特徴点に含まれる２つの特徴点について注目する。この２つの特徴点は、第１及び第２の特徴点から成る。

図６に、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を、時刻ｔ１の撮影画像に重畳して示す。図６において、点１３１及び点１３２は、時刻ｔ１の撮影画像から抽出された第１及び第２の特徴点を表している。第１の特徴点は第１の白線の端点であり、第２の特徴点は立体物αの上面に位置する立体物αの端点である。図６に示す時刻ｔ１の撮影画像には、第１の特徴点の移動ベクトルＶ_A1及び第２の特徴点の移動ベクトルＶ_A2も示されている。移動ベクトルＶ_A1の始点は点１３１に合致し、移動ベクトルＶ_A2の始点は点１３２に合致する。

ステップＳ２０２に続くステップＳ２０３では、時刻ｔ１及びｔ２の撮影画像を、夫々、鳥瞰図画像に変換する。

以下、透視投影変換によって鳥瞰図画像を生成する手法について図７を参照して説明する。

図７は、カメラ座標系ＸＹＺと、カメラ２の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_w Ｚ_w を含む世界座標系Ｘ_w Ｙ_w Ｚ_w との関係を示している。座標系Ｘ_buＹ_buは、撮像画像が定義される座標系である。

カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系Ｘ_buＹ_buは、Ｘ_bu軸及びＹ_bu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘ_w Ｚ_wは、Ｘ_w 軸及びＺ_w軸を座標軸とする二次元の座標系である。世界座標系Ｘ_w Ｙ_w Ｚ_wは、Ｘ_w軸、Ｙ_w軸及びＺ_w軸を座標軸とする三次元の座標系である。

以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系Ｘ_buＹ_bu、２次元地面座標系Ｘ_w Ｚ_w及
び世界座標系Ｘ_w Ｙ_w Ｚ_w を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。

カメラ座標系ＸＹＺでは、カメラ２の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸がとられ、撮像面Ｓの縦方向にＹ_buがとられている。

世界座標系Ｘ_w Ｙ_w Ｚ_w では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏ_w とし、地面と垂直な方向にＹ_w 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w 軸がとられ、Ｘ_w 軸およびＹ_w 軸に直交する方向にＺ_w 軸がとられている。

Ｘ_w軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である
。Ｚ_w軸とＺ軸との成す鈍角の角度は、傾き角度Θと一致する。ｈ及びΘの値は予め設定
され、画像処理装置１Ａに与えられる。

カメラ座標系ＸＹＺにおける画素の座標値を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。世界座標系Ｘ_w Ｙ_w Ｚ_wにおける画素の座標値を（ｘ_w ，ｙ_w ，ｚ_w ）と表記する。ｘ_w、ｙ_w
及びｚ_wは、夫々、世界座標系Ｘ_w Ｙ_w Ｚ_wにおける、Ｘ_w軸成分、Ｙ_w軸成分及びＺ_w軸成
分である。二次元座標系Ｘ_w Ｚ_wにおける画素の座標値を（ｘ_w ，ｚ_w ）と表記する。ｘ_w及びｚ_wは、夫々、二次元座標系Ｘ_w Ｚ_wにおける、Ｘ_w軸成分及びＺ_w軸成分であり、それらは世界座標系Ｘ_w Ｙ_w Ｚ_wにおけるＸ_w軸成分及びＺ_w軸成分と一致する。撮像面Ｓの座
標系Ｘ_buＹ_buにおける画素の座標値を（ｘ_bu，ｙ_bu）と表記する。ｘ_bu及びｙ_buは、夫
々、撮像面Ｓの座標系Ｘ_buＹ_buにおける、Ｘ_bu軸成分及びＹ_bu軸成分である。

カメラ座標系ＸＹＺの座標値（ｘ，ｙ，ｚ）と世界座標系Ｘ_w Ｙ_w Ｚ_w の座標値（ｘ_w ，ｙ_w ，ｚ_w ）との間の変換式は、次式（１）で表される。

ここで、カメラ２の焦点距離をＦとする。そうすると、撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu ）と、カメラ座標系ＸＹＺの座標値を（ｘ，ｙ，ｚ）との間の変換式
は、次式（２）で表される。

上記式（１）及び（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_w Ｚ_w の座標値（ｘ_w ，ｚ_w ）との間の変換式（３）が得られる。

また、図７には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系Ｘ_auＹ_auを定義する。鳥瞰図座標系Ｘ_auＹ_auは、Ｘ_au軸及びＹ_au軸を座標軸とする二次元の座標系である。鳥瞰図画像座標系Ｘ_auＹ_auにおける画素の座標値を（ｘ_au，ｙ_au ）と表
記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標値（ｘ_au，ｙ_au ）によって表される。ｘ_au及びｙ_au は、それぞれ鳥瞰図画座標系Ｘ_auＹ_auにおけるＸ_au軸成分及びＹ_au軸成分である。

鳥瞰図画像は、実際のカメラの撮影を介して得られた撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれている。

地面と一致する、二次元座標系Ｘ_w Ｚ_wが定義される平面は、鳥瞰図画像座標系Ｘ_auＹ_auが定義される平面と平行である。従って、二次元座標系Ｘ_w Ｚ_wから仮想カメラの鳥瞰図画像座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元座標系Ｘ_w Ｚ_wの座標値（ｘ_w ，ｚ_w ）と鳥瞰図
画像座標系Ｘ_auＹ_auの座標値（ｘ_au，ｙ_au ）との間の変換式は、次式（４）で表される
。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、投影面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）を、鳥瞰図画
像座標系Ｘ_auＹ_auの座標値（ｘ_au，ｙ_au ）に変換するための次式（７）が得られる。

投影面Ｓの座標系Ｘ_buＹ_buの座標値（ｘ_bu，ｙ_bu）は、投影画像における座標値を表
すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。

即ち、式（７）に従って、撮影画像の各画素の座標値（ｘ_bu，ｙ_bu ）を鳥瞰図画像座
標系の座標値（ｘ_au，ｙ_au ）に変換することにより、鳥瞰図画像を生成することができ
る。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。

実際には、式（７）に従って、撮影画像上の各画素の座標値（ｘ_bu，ｙ_bu ）と鳥瞰図
画像上の各画素の座標値（ｘ_au，ｙ_au ）との対応関係を示すテーブルデータを作成して
おき、これをメモリ（不図示）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換する透視投影変換を行うようにする。勿論、撮影画像が得られる度に、透視投影変換演算を行って鳥瞰図画像を生成するようにしてもよい。また、ここでは透視投影変換によって鳥瞰図画像を生成する手法について説明を行ったが、透視投影変換によって撮影画像から鳥瞰図画像を得るのではなく、平面射影変換によって撮影画像から鳥瞰図画像を得るようにしても構わない。

時刻ｔ１及びｔ２の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１及び時刻ｔ２の鳥瞰図画像と呼ぶ。図８（ａ）及び（ｂ）に示される画像２１０及び２２０は、夫々、図４（ａ）及び（ｂ）の画像１１０及び１２０に基づく、時刻ｔ１及びｔ２の鳥瞰図画像を表す。図８（ａ）において、斜線で埋められた線分２１１及び２１２は画像２１０内における第１及び第２の白線であり、図８（ｂ）において、斜線で埋められた線分２２１及び２２２は画像２２０内における第１及び第２の白線である。図８（ａ）において、画像上の立体物２１３は画像２１０内における立体物αであり、図８（ｂ）において、画像上の立体物２２３は画像２２０内における立体物αである。

ステップＳ２０３（図５参照）に続くステップＳ２０４では、ステップＳ２０１において時刻ｔ１の撮影画像から抽出された特徴点と、ステップＳ２０２にて算出された移動ベクトルと、を鳥瞰図座標上にマッピングする（換言すれば、投影する）。図９は、時刻ｔ１及びｔ２の鳥瞰図画像を重ね合わせた画像２３０に、マッピングされた特徴点及び移動ベクトルを重畳して示した図である。但し、図９では、図示の煩雑化防止のため、時刻ｔ２の鳥瞰図画像における第１及び第２の白線を点線で示し、時刻ｔ２の鳥瞰図画像における立体物αの外形を波線で示している。

図９において、点２３１及び２３２は、夫々、鳥瞰図座標上にマッピングされた、時刻ｔ１における第１及び第２の特徴点である。図９において、ベクトルＶ_B1及びＶ_B2は、夫々、鳥瞰図座標上にマッピングされた、第１及び第２の特徴点の移動ベクトルである。移動ベクトルＶ_B1の始点は点２３１に合致し、移動ベクトルＶ_B2の始点は点２３２に合致する。点２４１及び２４２は、夫々、移動ベクトルＶ_B1及びＶ_B2の終点を表している。

ステップＳ２０４に続くステップＳ２０５では、車両４の移動に伴うカメラ２の移動に関する情報（以下、カメラ移動情報という）を用いて時刻ｔ１の鳥瞰図画像を補正する。車両移動情報は、例えば、次のようにして得ることができる。

時刻ｔ１及びｔ２の鳥瞰図画像での或る地面対応特徴点の座標を、夫々、（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）と表すと、或る地面対応特徴点の移動ベクトルは次式（１１）のようになる。

（ｆ_x ｆ_y）^T＝（ｘ₂ ｙ₂）^T−（ｘ₁ ｙ₁）^T …（１１）
時刻ｔ１−ｔ２間のカメラ移動情報を図１０の座標系で表現すると、時刻ｔ１及びｔ２の鳥瞰図画像での或る地面対応特徴点の関係として、次式（１２）が得られる。但し、θはカメラ２の回転角度、Ｔ_x、Ｔ_yは、夫々、カメラ２のｘ方向移動量、カメラ２のｙ方向移動量である。

ここで、θが微小であるとき（車両４が低速で移動する場合、又は、カメラ２のフレームサンプリングレートが高い場合）、cosθ＝１、sinθ＝θと近似することができるので、上記式（１２）は次式（１３）となる。

上記式（１１）を上記式（１３）に代入して整理すると、次式（１４）となる。

θ（ｙ₁ −ｘ₁）^T−（Ｔ_x Ｔ_y）^T＋（ｆ_x ｆ_y）^T＝０ …（１４）
ここで、（ｆ_x ｆ_y）^Tと（ｙ₁ −ｘ₁）^Tは移動ベクトル計算時に得られ、θと（Ｔ_x
Ｔ_y）^Tは未知数である。上記式（４）から、２つの地面対応特徴点についてその位置（ｘ₁ ｙ₁）^Tとその移動ベクトル（ｆ_x ｆ_y）^Tの情報があれば、上記未知数を計算することができる。

そこで、時刻ｔ１の鳥瞰図画像での２つの地面対応特徴点座標を（ｘ₁₂ ｙ₁₂）^Tと（
ｘ₁₁ ｙ₁₁）^Tとし、対応する移動ベクトルを（ｆ_x1 ｆ_x1）^Tと（ｆ_x2 ｆ_y2）^Tとする
と、上記式（１４）から、次式（１５）及び（１６）が得られる。

θ（ｙ₁₁ −ｘ₁₁）^T−（Ｔ_x Ｔ_y）^T＋（ｆ_x1 ｆ_y1）^T＝０ …（１５）
θ（ｙ₁₂ −ｘ₁₂）^T−（Ｔ_x Ｔ_y）^T＋（ｆ_x2 ｆ_y2）^T＝０ …（１６）
上記式（１５）と（１６）との差をとると、次式（１７）が得られる。

そして、上記式（１７）より、次式（１８）及び（１９）が得られる。

θ＝（ｆ_x2−ｆ_x1）／（ｙ₁₁−ｙ₁₂） …（１８）
θ＝（ｆ_y2−ｆ_y1）／（ｘ₁₂−ｘ₁₁） …（１９）
そこで、上述した拘束式（上記式（１５）、（１６）、（１８）及び（１９））を用いて、下記の手順で地面対応特徴点を選択する。

（i）抽出した特徴点群の中から、特徴点の画像上の距離が或る閾値以上離れている２
つの特徴点を抽出する。

（ii）両特徴点の移動ベクトルの方向とサイズに差が或る閾値以上あれば、（i）に戻
る。

（iii）両特徴点の位置と移動ベクトルの情報を上記式（１８）及び（１９）に代入し
、結果をθ₁とθ₂とする。Δθ＝｜θ₁−θ₂｜が設定した閾値より大きい場
合、（i）に戻る。

（iv）（iii）で計算したθ₁とθ₂をそれぞれ上記式（１５）及び式（１６）に代入
し、その結果を、（Ｔ_x1 Ｔ_y1）^Tと（Ｔ_x2 Ｔ_y2）^Tとする。

（Ｔ_x1−Ｔ_x2）²＋（Ｔ_y1−Ｔ_y2）²が設定した閾値より大きい場合は（i）に戻
る。

（v） 選択した２つの特徴点を地面対応特徴点と判断し、各地面対応特徴点の移動量
の平均をカメラ移動情報とする。

このようにして得られたカメラ移動情報、即ちカメラ回転量θ及びカメラ並進移動量Ｔ_x、Ｔ_yを用いて、上記式（１３）に従って、時刻ｔ１の鳥瞰図画像を時刻ｔ２の鳥瞰図画像と路面の見え方が同じになる鳥瞰図画像（以下、参照画像という）に変換する。

ステップＳ２０５（図５参照）に続くステップＳ２０６では、参照画像と時刻ｔ２の鳥瞰図画像の差分を取ることで、図１１に示すｔ１−ｔ２間でのフレーム間差分画像を得る。そして、ステップＳ２０６に続くステップＳ２０７では、その差分画像に対して、あらかじめ閾値を設置し、２値化処理を行う。図１２は２値化処理後の画像を表している。さらに、ステップＳ２０７に続くステップＳ２０８では、図１２の２値化画像に対して、小領域除去処理と領域結合処理をして、立体物領域を抽出する。図１３の白抜き枠で囲まれた部分が抽出された立体物領域である。なお、上述した図５のフローチャートの処理を行う際に用いられる各種閾値は立体物検出部１１内のメモリ（不図示）にあらかじめ格納しておくとよい。

ここで、図３に戻り、ステップＳ２より後の処理について説明する。ステップＳ３では、ガイドライン描画位置決定部１２が、ガイドラインの描画位置を求める。ガイドラインの描画位置はカメラ２の車両取り付け位置などのパラメータから予め求めることができるので、ガイドライン描画位置決定部１２内のメモリ（不図示）にガイドラインの描画位置データをあらかじめ格納しておき、ステップＳ３ではメモリに格納されているそのデータを読み出すようにしてもよい。ガイドラインは、例えば、車両４の右端の延長線、車両４の左端の延長線、車両４の後端から０．５ｍの位置を示す線、車両４の後端から１．０ｍの位置を示す線、及び車両４の後端から２．０ｍの位置を示す線によって構成される。尚、カメラ２の車両取り付け位置がずれたためにカメラ２の撮像画像とガイドラインの描画位置とにずれが生じた場合のずれの修正や調整を容易にするために、鳥瞰図画像のパラメータに関してキャリブレーションを行った後、鳥瞰図画像及び鳥瞰図画像用ガイドラインの描画位置においてずれの修正や調整を行いその修正結果や調整結果がカメラ２の撮像画像とガイドラインの描画位置との位置関係に反映されるようにするとよい。例えば、図１の運転支援システムに入力部を設けた構成とし、カメラ２の撮像画像を鳥瞰図画像に変換し、鳥瞰図画像を表示している状態において、ユーザによるパラメータ変更操作によって図７及び上記式（１）のパラメータｈ或いはΘのキャリブレーションを行った後、ユーザによる回転操作及び水平移動操作によって鳥瞰図画像と鳥瞰図画像用ガイドラインの描画位置とのずれが無くなるように、ユーザによる回転操作に従って入力部から出力される信号に基づく回転量だけ当該鳥瞰図画像を回転させた画像（以下、回転処理済鳥瞰図画像という）を生成し、ユーザによる水平移動操作に従って入力部から出力される信号に基づく水平方向移動量だけ当該回転処理済鳥瞰図画像を水平方向に移動させた画像（以下、回転・水平移動処理済鳥瞰図画像という）を生成するようにする。このときの回転量を鳥瞰図画像の回転量としてガイドライン描画位置決定部１２内のメモリに記憶するとともに、当該回転量からこの鳥瞰図画像に対応するカメラ２の撮像画像を出力する際の回転量も導出し、カメラ２の撮像画像の回転量としてガイドライン描画位置決定部１２内のメモリに記憶する。また、このときの水平方向移動量を鳥瞰図画像の水平方向移動量としてガイドライン描画位置決定部１２内のメモリに記憶するとともに、当該水平方向移動量からこの鳥瞰図画像に対応するカメラ２の撮像画像を出力する際の水平方向移動量も導出し、カメラ２の撮像画像の水平方向移動量としてガイドライン描画位置決定部１２内のメモリに記憶する。

ステップＳ３に続くステップＳ４では、ガイドライン描画位置補正部１３が、ステップＳ２で検出した立体物領域とガイドラインの描画位置との重なりを判定する。具体的には、ガイドラインの描画位置が、ステップＳ２で検出した立体物領域に含まれるか否かを、ガイドラインの描画位置の画素毎に判定する。

ステップＳ４に続くステップＳ５では、ガイドライン描画位置補正部１３が、ガイドラインの描画位置の画素であって立体物領域に含まれない画素のみをガイドラインの描画位置の画素とする補正を行う。

ステップＳ５に続くステップＳ６では、合成部１４が、補正後のガイドラインの描画位置に基づいて、ガイドラインとカメラ２の撮像画像とを合成する。そして、ステップＳ６に続くステップＳ７では、合成部１４が、その合成画像を運転支援用画像として表示装置３に出力する。表示装置３によって表示される運転支援用画像の例を図１４（ａ）及び（ｂ）に示す。従来の運転支援用画像である図１８（ａ）及び（ｂ）とは異なり、図１４（ａ）及び（ｂ）では立体物と検出される自転車、塀にはガイドラインが重畳されていない。尚、図１４（ａ）において、斜線で埋められた線分は路面上に互いに描かれた白線を表している。このように、あらかじめ設定した路面上の距離指標であるガイドラインが立体物上には重畳しないことにより、運転支援に必要最小限のガイドラインとなり、運転者が視認しやすい運転支援用画像を表示装置３に表示させることができる。
＜第２実施形態＞
図１５は、本発明の第２実施形態に係る運転支援システムの構成を示すブロック図である。図１５の運転支援システムは、カメラ２の撮影画像を用いて運転支援用画像を生成して表示装置３に出力する画像処理装置１Ｂと、カメラ２と、表示装置３とを備えている。画像処理装置１Ｂは、第１実施形態での画像処理装置１Ａに警告表示図描画位置決定部１５を追加した構成であるため、この追加構成によって第１実施形態と相違する点についてのみ説明を行う。

第２実施形態では、図３のフローチャートのステップＳ５とステップＳ６との間に、警告表示描画位置決定部１５が、ステップＳ２で検出した立体物領域上にマーキングなどの警告表示図が重なるように、警告表示図の描画位置を決定する。そして、ステップＳ６では、合成部１４が、ガイドラインとカメラ２の撮像画像に加えて、マーキングなどの警告表示図も合わせて合成する。

第２実施形態においても第１実施形態と同様に、あらかじめ設定した路面上の距離指標であるガイドラインが立体物上に重畳されないので、ガイドラインと立体物領域上の警告表示図とが重ならない（図１６参照）。従来の運転支援用画像である図１８（ａ）及び（ｂ）とは異なり、図１６（ａ）及び（ｂ）では立体物と検出される自転車、塀にはガイドラインが重畳されていない、また、立体物と検出される自転車、塀に網掛けのマーキングが重畳されている。尚、図１６（ａ）において、斜線で埋められた線分は路面上に互いに描かれた白線を表している。このようにガイドラインと立体物領域上の警告表示図とが重ならないので、煩雑な表示にならない。従って、ガイドラインの表示と警告表示図の表示とを両立することができる。
＜第３実施形態＞
図１７は、本発明の第３実施形態に係る運転支援システムの構成を示すブロック図である。図１７の運転支援システムは、カメラ２の撮影画像及び立体物検出センサ５の検出結果を用いて運転支援用画像を生成して表示装置３に出力する画像処理装置１Ｃと、カメラ２と、表示装置３と、立体物検出センサ５とを備えている。立体物検出センサ５としては、例えば、ミリ波レーダやレーザレーダなどを利用することができる。画像処理装置１Ｃは、第１実施形態での画像処理装置１Ａから立体物検出部１１を取り除きその代わりに立体物領域検出部１６を設けた構成であるため、この構成変更によって第１実施形態と相違する点についてのみ説明を行う。

第３実施形態では、図３のフローチャートのステップＳ２において、立体物領域検出部１６が、立体物検出センサ５の検出結果に基づいてカメラ２の撮影画像中の立体物領域を検出する。立体物検出センサによる立体物検出は、カメラ画像処理による立体物検出に比べて一般的に距離精度が高いため、第３実施形態では第１実施形態に比べて立体物の検出精度を向上することができる。

尚、第３実施形態と第１実施形態を組み合わせること、即ち、立体物検出センサによる立体物検出とカメラ画像処理による立体物検出画像処理とを併用することも可能である。また勿論、第３実施形態と第２実施形態を組み合わせることも可能である。
＜第４実施形態＞
本発明の第４実施形態に係る運転支援システムの構成は、図１５に示す本発明の第２実施形態に係る運転支援システムの構成と同様である。ただし、第２実施形態と第４実施形態では警告表示描画位置決定部１５の動作が異なる。

第２実施形態では図３のフローチャートのステップＳ５とステップＳ６との間に、警告表示描画位置決定部１５が、ステップＳ２で検出した立体物領域上にマーキングなどの警告表示図が重なるように、警告表示図の描画位置を決定するステップを設ける。そして、ステップＳ６では、合成部１４が、ガイドラインとカメラ２の撮像画像に加えて、マーキングなどの警告表示図も合わせて合成している。

これに対して、第４実施形態では、図３のフローチャートのステップＳ５とステップうＳ６の間に、警告表示描画位置決定部１５が、ステップＳ２で検出した立体物領域のうち特定の立体物領域（本実施形態では塀の領域）を立体物領域の形状等に基づいて抽出し、その抽出した特定の立体物領域と非立体物領域との境界の少なくとも一部に警告ライン１７が重なるように、警告ライン１７の描画位置を決定するステップを設ける。そして、ステップＳ６では、合成部１４がガイドラインとカメラ２の映像画像に加えて、警告ライン１７も合わせて合成している。これにより、本実施形態の運転支援用画像は、図１９（ａ）及び図１９（ｂ）のようになる。警告ライン１７は、例えば、一般的な警告色である赤色のラインにするとよい。

尚、本実施形態では、カメラ画像処理による立体物検出画像処理を採用したが、カメラ画像処理による立体物検出処理に代えて上述した第３実施形態の立体物検出センサによる立体物検出とカメラ画像処理による立体物検出画像処理とを併用してもよい。
＜変形等＞
上述した実施系では、ガイドとして線状のガイドラインを用いたが、ガイドは他の形状であってもよい。

カメラ画像処理による立体物検出では、例えば、図５のステップＳ２０７における２値化処理の閾値の設定により、所定の高さ以下の立体物を立体物として検出しないようにすることができる。また、立体物検出センサによる立体物検出では、例えば、センシング方向の設定により、所定の高さ以下の立体物を立体物として検出しないようにすることができる。

また、上述した実施形態では、路面より高さのある立体物を検出したが、カメラ画像処理による立体物検出や立体物検出センサによる立体物検出の手法は路面より低い部分を検出する場合にも適用することができるので、路面より高さのある立体物の検出に代えて又はこれと併せて、路面より低い部分（土手や側溝などのように自車両の存在する路面より低い部分）の検出を行うようにし、路面より低い部分にガイドを重畳させないようにしてもよい。

また、上述した実施形態において、画像処理装置のブロック内メモリ（立体物検出部１１内のメモリやガイドライン描画位置決定部１２内のメモリ）をブロック毎に個別に設けるのではなく、複数のブロックでメモリを共有する構成にしても構わない。

１Ａ 画像処理装置
２ カメラ
３ 表示装置
４ 車両
５ 立体物検出センサ
１１ 立体物検出部
１２ ガイドライン描画位置決定部
１３ ガイドライン描画位置補正部
１４ 合成部
１５ 警告表示図描画位置決定部
１６ 立体物領域検出部
１７ 警告ライン

Claims (8)

1. 車両に搭載された撮像装置の撮像画像を前記撮像装置から取得し、前記撮像画像上にガイドを重畳するガイド重畳部と、
   前記撮影画像に含まれ得る特定領域を検出する特定領域検出部とを備え、
   前記特定領域検出部によって前記特定領域が検出された場合、前記ガイド重畳部が、前記特定領域上には前記ガイドを重畳しないことを特徴とする画像処理装置。
2. 前記特定領域が前記車両の存在する路面より高さのある立体物である請求項１に記載の画像処理装置。
3. 前記特定領域が前記車両の存在する路面より低い部分である請求項１又は請求項２に記載の画像処理装置。
4. 前記特定領域検出部によって前記特定領域が検出された場合、前記特定領域上に警告表示図を重畳する警告表示図重畳部を備える請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記特定領域検出部によって前記特定領域が検出された場合、前記特定領域と前記特定領域ではない領域との境界上の少なくとも一部に警告ラインを重畳する警告ライン重畳部をさらに備える請求項１〜４のいずれか1項に記載の画像処理装置。
6. 車両に搭載された撮像装置と、
   表示装置と、
   前記撮像装置の撮像画像に画像処理を施して前記表示装置に出力する請求項１〜５のいずれか１項に記載の画像処理装置とを備えることを特徴とする運転支援システム。
7. 車両に搭載された撮像装置の撮像画像を前記撮像装置から取得する取得ステップと、
   前記撮影画像に含まれ得る特定領域を検出する検出ステップと、
   前記撮像画像上にガイドを重畳する重畳ステップとを有し、
   前記検出ステップにおいて前記特定領域が検出された場合、前記重畳ステップにおいて前記特定領域上には前記ガイドを重畳しないことを特徴とする画像処理方法。
8. 前記検出ステップにおいて前記特定領域が検出された場合、前記特定領域と前記特定領域ではない領域との境界上の少なくとも一部に警告ラインを重畳する警告ライン重畳ステップをさらに有する請求項７記載の画像処理方法。

Images