JP2010128795A - 障害物検出装置 - Google Patents
障害物検出装置 Download PDFInfo
- Publication number
- JP2010128795A JP2010128795A JP2008302808A JP2008302808A JP2010128795A JP 2010128795 A JP2010128795 A JP 2010128795A JP 2008302808 A JP2008302808 A JP 2008302808A JP 2008302808 A JP2008302808 A JP 2008302808A JP 2010128795 A JP2010128795 A JP 2010128795A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- dimensional object
- unit
- converted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】立体物全体の画像を正確に抽出する障害物検出装置を構成する。
【解決手段】第1位置で撮影された第1画像を、第1射影変換部3において上方の視点から見下ろす像となる第1変換画像に変換し、第1位置から車両が移動した位置で撮影された第2画像を、第1画像と同様に第2射影変換部において第2変換画像に変換する。第1変換画像を、第1位置から第2位置まで車両が移動した際に予測される第1予測画像に変換し、かつ、対応する位置から更に所定量だけ変位させる位置補正部5を備え、第1予測画像と第2変換画像とから差分を取り、この差分に基づいて立体画像を抽出する立体物領域抽出部6を備えた。
【選択図】図12
【解決手段】第1位置で撮影された第1画像を、第1射影変換部3において上方の視点から見下ろす像となる第1変換画像に変換し、第1位置から車両が移動した位置で撮影された第2画像を、第1画像と同様に第2射影変換部において第2変換画像に変換する。第1変換画像を、第1位置から第2位置まで車両が移動した際に予測される第1予測画像に変換し、かつ、対応する位置から更に所定量だけ変位させる位置補正部5を備え、第1予測画像と第2変換画像とから差分を取り、この差分に基づいて立体画像を抽出する立体物領域抽出部6を備えた。
【選択図】図12
Description
本発明は、障害物検出装置に関し、詳しくは、車載カメラによって撮影された車両周辺の画像から鳥瞰画像を生成する技術に関する。
上記のように構成された障害物検出装置と関連する技術として特許文献1には、異なる位置で撮影された車両周囲の画像を路面に投影変換することで路面投影像を作成し、また、路面以外の物体の領域を抽出し、路面投影画像に重ね合わせ、差を求めることにより、路面外物体の領域を抽出する処理形態が記載されている。更に、この特許文献1では、路面外の物体の領域の輪郭を物体に由来するものと、投影の歪みによるものとに分類し、投影像から変換された画像に、その領域の輪郭を付加することで車両の周囲の状況を分かり易くする点が記載されている。
この特許文献1では、車両や人物のように高さ成分を有する立体物では、高さが高いほど、その物体を投影した画像の歪みが大きくなる不都合があり、鳥瞰画像とした場合には、実在の物体との対応が困難になることから、立体物を見やすく表示している。
車載カメラで車両の周囲を撮影しモニタに表示する際の表示形態として、特許文献1に記載されるもののよう車載カメラで撮影された画像を路面に投影した投影像を生成し、この投影像をモニタに表示することも考えられる。このように表示される画像は、鳥瞰画像やトップビューとして説明されることも多く、その画像が車両の上方の視点から撮影されたもとなることから、車両の周囲の状況を把握しやすくすると云う良好な面もある。
このように車載カメラの画像を変換することで鳥瞰画像を生成するものでは、立体物も路面上に存在する表示形態となることから、特許文献1に記載されるように立体物を抽出して表示することにより、立体物の位置を容易に把握できるようにしている。
鳥瞰画像を生成する処理を考えた場合、複数の車載カメラを用いるものより1つの車載カメラを用いるものの方がコスト面で安価となる。また、1つの車載カメラを用い、車両の移動に伴い車載カメラで複数回撮影を行い、複数の画像のうちの2つの画像から生成した変換画像の差分から立体物を抽出する処理も考えられる。
つまり、2つの画像から路面に射影した像となる射影変換画像を生成し、先に撮影された画像に対応した射影変換画像に基づいて次の画像が撮影されたタイミングにおける斜里変換画像を予測して作り出す。この予測によって作り出した射影変換画像と、後に撮影された画像から生成した射影変換画像との差分を取ることにより、2つの撮影位置で撮影した画像における視差に対応する形態で立体物の領域を抽出することも考えられるのである。
このような処理では、道路標識の支柱のように縦方向の寸法が大きい立体物が存在する場合、2つの射影変換画像における支柱の上端位置の変位量が大きいことから、この上端位置の特定を容易に行える反面、支柱の下端位置の変位が小さいため、この下端位置の特定精度が低くなることが考えられる。また、この下端位置は、路面上の障害物の位置そのものを意味することになるため、車両の周辺を監視して運転者に障害物の存在を報知するシステム(車両と障害物の距離が比較的近い)においては、この下端位置の特定精度が低くなることは、車両と障害物の接触・衝突の可能性が高まってしまうことを意味する。
本発明の目的は、立体物全体の画像の抽出を正確に行い得る障害物検出装置を合理的に構成する点にある。
本発明の特徴は、車両の周辺を撮影する車載カメラにより第1位置において撮影された撮影画像を第1画像として受け取る第1画像受取部と、前記第1画像を撮影した位置から前記車両が所定の移動量を経た第2位置において前記車載カメラにより撮影された撮影画像を第2画像として受け取る第2画像受取部と、前記第1画像を略垂直方向の視点から見下ろす像となる第1変換画像に射影変換する第1射影変換部と、前記第2画像を前記視点から見下ろす像となる第2変換画像に射影変換する第2射影変換部と、前記第1変換画像を、前記第1位置から第2位置まで車両が移動した際に予測される第1予測画像に変換すると共に、前記第2変換画像に対する前記第1予測画像の対比位置を、対応する位置から所定量だけ変位させる位置補正部と、前記対比位置における前記第2変換画像と前記第1予測画像との差分に基づいて、立体物が存在する領域を抽出する立体物領域抽出部とを備えている点にある。
この構成により、第1射影変換部が第1画像を第1変換画像に変換し、第2射影変換部が第2画像を第2変換画像に変換する。次に、位置補正部が第1変換画像から第1予測画像を生成し、第2変換画像と対比させ、この対比位置における第2変換加増と第1予測画像とから差分を取ることにより、第1予測画像と第2変換画像とにおいて路面に対応する領域のデータが消滅し、立体物が存在する領域の抽出が可能となる。このような処理を行う場合に、第1予測画像を対応する位置から所定量だけ変位させることにより、第1予測画像と第2変換画像とを適正に対応する対比位置で差分を取った場合と比較して、視差に対応する変位量が小さい部位における差分も確実に取得し、立体物全体の抽出を実現する。その結果、立体物全体の画像の抽出を正確に行い得る障害物検出装置が合理的に構成された。
本発明は、前記車両の移動距離を検出する移動距離検出部を備え、前記位置補正部は、前記移動距離検出部で検出される前記第1位置と第2位置との間の移動距離に基づいて前記第1予測画像を生成すると共に、前記車両の移動方向を前記変位の方向に設定しても良い。この構成によると、例えば、車両の前面に備えた車載カメラにより車両の前進時に撮影した画像に含まれる立体物の下端位置を明瞭にすることが可能になる。特に、抽出された立体物は路面上に存在する障害物と捉え得るものであり、立体物の下端位置が明瞭になることは、車両から障害物までの距離を正確にすることになり、結果として、障害物と車両との接触や衝突の回避を容易にする。
以下、本発明の実施形態を図面に基づいて説明する。本発明の障害物検出装置は、例えば、駐車支援装置や運転支援装置などに利用される。図1及び図2は、障害物検出装置が搭載される車両30の基本構成を示したものである。運転席に備えられたステアリングホイール24は、パワーステアリングユニット33と連動し、回転操作力を前輪28fに伝えて車両30の操舵を行う。前輪28fは本発明の操舵輪に相当する。車体前部にはエンジン32と、このエンジン32からの動力を変速して前輪28fや後輪28rに伝えるトルクコンバータやCVT等を有する変速機構34とが配置されている。車両30の駆動方式(前輪駆動、後輪駆動、四輪駆動)に応じて、前輪28f及び後輪28rの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル26と、前輪28f及び後輪28rのブレーキ装置31を介して前輪28f及び後輪28rに制動力を作用させるブレーキペダル27とが並列配置されている。
運転席の近傍のコンソールの上部位置には、モニタ20(表示装置)が備えられている。モニタ20は、バックライトを備えた液晶式のものである。モニタ20には、感圧式や静電式によるタッチパネルも形成されており、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されている。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ20には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両30にナビゲーションシステムが搭載される場合、モニタ20はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ20は、プラズマ表示型のものやCRT型のものであっても良く、スピーカはドアの内側など他の場所に備えられても良い。
ステアリングホイール24の操作系にはステアリングセンサ14が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー25の操作系にはシフト位置センサ15が備えられ、シフト位置が判別される。アクセルペダル26の操作系にはアクセルセンサ16が備えられ、操作量が計測される。ブレーキペダル27の操作系にはブレーキセンサ17が備えられ、操作の有無などが検出される。
また、移動距離センサとして、前輪28f及び後輪28rの少なくとも一方の回転量を計測する回転センサ18が備えられる。本実施形態では、後輪28rに回転センサ18が備えられた場合を例示している。尚、移動距離については、変速機構34において、駆動系の回転量から車両30の移動量を計測するようにしてもよい。また、車両30には本発明の障害物検出装置として機能する鳥瞰画像生成装置の中核となるECU(electronic control unit)10が配置されている。
車両30の後部には、車両30の後方を撮影するカメラ12が備えられている。カメラ12は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ12は、広角レンズを備えており、例えば左右約140度程度の画角を有している。カメラ12は、略水平方向の視点を有して、車両30の後方の情景を撮影可能に設置されている。カメラ12は、車両30の後方に向けて例えば30度程度の俯角を有して設置され、概ね後方8m程度までの領域を撮影する。撮影された画像は、ECU10に入力される。
鳥瞰画像生成装置(ECU10)は、図3に示すように、略水平方向からの視点を有するカメラ12によって撮影された画像を、略垂直方向から見下ろす視点を有するカメラ12Aによって撮影された画像へと変換する。図4は、カメラ12によって撮影された画像の一例である。図5は、略垂直方向から見下ろす視点を有するカメラ12Aによって撮影された画像へと変換された画像の一例である。変換された画像は、いわゆる鳥瞰画像である。図5において、左下、右下には、画像データが存在しないことによる空白域が生じている。
まず、鳥瞰画像を生成する際に立体物を特定する原理について説明する。立体物の特定には、以下に示す効果が利用される。まず、視差が生じている2枚の画像の一方から、鳥瞰画像の一種であるGPT(ground plane transformation )画像を生成し、他方の画像の視点からのGPT画像を予測して、生成したGPT画像を位置補正する。次に、他方の画像からGPT画像を生成して、一方の画像から生成され、位置補正されたGPT画像との差分を取ると、立体物が抽出される。視差を生じる2枚の画像は、複数の異なるカメラにより撮影された画像でもよいし、同一のカメラを移動させて撮影された画像であってもよい。
以下、同一のカメラを移動させた場合を例として説明する。図6は、カメラ12から略水平方向に撮影された撮影画像I(IA、IB)の一例である。図7は、図6の撮影画像I(IA、IB)を視点変換して得られたGPT画像A(又はB)の一例である。図6に示すように、車両30の周辺には、ほぼ直方体の立体物40が存在する。この立体物40が立体物ではなく路面上に存在する「模様」だとすれば、撮影画像上において遠方へ行ってもその横幅がほぼ一定であることから、遠方へ行くほど広い幅を有する「模様」が路面上に描かれていることとなる。従って、図6に示す撮影画像IA(I)を視点変換して生成されたGPT画像Aは、図7に示すように、車両30から遠方へ行くほど広い幅を持った「模様」として立体物を表現する。図7に示すように、直方体の立体物は台形状に表現される。
図8は、上述した立体物抽出原理を示す説明図である。図8では、GPT画像上における立体物を便宜上、台形で示している。図8において台形aは、視差が生じている2枚の撮影画像Iの内の一方の撮影画像IAのGPT画像Aにおける立体物40である。本例では、同一のカメラを移動させて視差を生じさせる場合を例としているので、台形aは、カメラ12が移動する前における第1の仮想視点から見た立体物40を示している。ここで、第1の仮想視点とは、図3に示したように、カメラ12が仮想的にカメラ12Aに位置にあったと仮定した場合の略垂直方向から見下ろす視点である。撮影画像IAじゃ、本発明の第1画像に相当し、GPT画像Aは本発明の第1変換画像に相当する。
台形bは、視差が生じている2枚の撮影画像Iの内の他方の撮影画像IBのGPT画像Bにおける立体物40である。つまり、台形bは、カメラ12がΔLだけ移動した後における第2の仮想視点から見た立体物40を示している。そして、台形a’は、移動前の第1の仮想視点から見たGPT画像Aから、カメラ12がΔLだけ移動した場合を予測して得られた立体物40、即ち第2の仮想視点から見た立体物40を示している。撮影画像IBは、本発明の第2画像に相当し、BPT画像は本発明の第2変換画像に相当する。また、台形a’を含むGPT画像は本発明の第1予測画像に相当する。台形bと台形a’との差分を取ると、差分として残った画素は、視差を生じさせる立体物40が存在する位置に対応する。このようにして、立体物40の存在する領域を抽出することができる。
図9は、図6に示すような撮影画像Iから得られたGPT画像から立体物40の存在する領域(立体物領域R)を抽出する例を示す説明図である。図8に基づいて上述したように、カメラ12が移動する前のGPT画像A(第1変換画像の一例)に対してΔLの位置補正を施したGPT画像A’(第1予測画像)と、カメラ12がΔLだけ移動した後のGPT画像B(第2変換画像)との差分を取って、差分画像Sが得られる。差分画像Sにおいて、エッジを抽出すると、図9に示すように、e1〜e4の4辺からなる台形状の領域が、立体物領域Rとして抽出される。
尚、第1予測画像としてのGPT画像A’は、第1変換画像としてのGPT画像Aを撮影した後に、第2変換画像としてのGPT画像A’を撮影するまでに車両30が移動した際に、第1変換画像から予測される画像である。
ここで、辺e3と辺e4は、台形の上底及び下底に相当する。辺e1と辺e2とは、台形の上底及び下底以外の2辺、即ち、脚に相当する辺である。辺e1と辺e2とは、光学中心Cにおいて交差する。即ち、立体物領域Rは、平行しない2辺e1及びe2が光学中心Cにおいて交差する台形状に抽出される。上記例においては、立体物40が直方体であったので、立体物領域Rと、立体物40とは略一致するものであった。しかし、立体物40が直方体ではなく、任意の形状であっても、台形状の立体物領域Rが抽出される。
図10は、立体物領域Rを抽出する他の例を示す説明図である。本例において、立体物40は理解を容易にするために、星形形状である。光学中心Cから放射状に延びる点線の内、差分を取ることによって立体物40として検出された画素を通る最も右側及び左側の2線が、立体物領域Rにおける平行しない2辺e1及びe2となる。また、車両30に最も近い側において立体物40として検出された画素を通る直線の内、2辺e1とe2との中央を通る放射線CLと直交する直線が、立体物領域Rにおける平行な2辺の内の一方の辺e3(上底)となる。そして、車両30に最も遠い側において立体物40として検出された画素を通る直線の内、放射線CLと直交する直線又は辺e3に平行な直線が、立体物領域Rにおける平行な2辺の内の他方の辺e4(下底)となる。
図11は、立体物領域Rを抽出するさらに別の例を示す説明図である。立体物領域Rにおける平行しない2辺e1及びe2を設定する方法については、図10に基づいて上述したものと同様であるので説明を省略する。本例では、車両30に最も近い側において立体物40として検出された画素を通る直線の内、光軸CXと直交する直線が、立体物領域Rにおける平行な2辺の内の一方の辺e3(上底)となる。そして、車両30に最も遠い側において立体物40として検出された画素を通る直線の内、光軸CXと直交する直線又は辺e3に平行な直線が、立体物領域Rにおける平行な2辺の内の他方の辺e4(下底)となる。このように、立体物40がどのような形状であったとしても良好に台形状の立体物領域Rを抽出することができる。つまり、立体物領域Rは、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。
尚、上述したΔLは車両30の実際の移動量に対応するものであって良く、移動する以前に設定される値であっても良い。従って第1予測画像A’は、車両30の実際の移動量ΔLに基づいて第1変換画像が位置補正された画像でも良く、仮定された所定の移動量に基づいて第1変換画像が位置補正された画像でも良い。
これまで説明は、立体物40が存在する領域を抽出する基本的は処理を明らかにするものである。しかしながら、図8に示す処理では、立体物40の下端の位置の変位量が小さいため差分も小さくなり、この下端位置の特定精度が低くなる傾向にあり立体物全体の抽出を正確に行えない。この不都合を解消するため本発明では、GPT画像B(第2変換画像の一例)とGPT画像A’(第1予測画像)との対比位置を対応する位置から所定量だけ変位させ、この対比位置において差分を取る処理が行われる。本発明の処理を実現する制御構成と、立体物40を抽出する処理とを以下に説明する。
図12は、ECU10を中核とする本発明に係る鳥瞰画像生成装置(障害物検出装置の一例)の構成例を模式的に示すブロック図である。同図に示すように、鳥瞰画像生成装置(ECU10)は、第1画像受取部1と、第2画像受取部2と、第1射影変換部3と、第2射影変換部4と、位置補正部5と、立体物領域抽出部6と、射影歪補正部7と、自車位置演算部8(移動距離検出部の一例)と、重畳部9と、画像制御部11との各機能部を有して構成されている。更に、第1射影変換部3と位置補正部5とで第1射影変換ユニットU1が構成されている。
ECU10は、例えば、マイクロコンピュータなどによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。
第1画像受取部1は、略水平方向の第1の視点を有して車両30の周辺を撮影するカメラ(車載カメラ)12により第1位置において撮影された撮影画像Iを第1画像IAとして受け取る機能部である。第2画像受取部2は、第1画像IAを撮影した位置から車両30が所定の移動量ΔLを経た第2位置においてカメラ12により撮影された撮影画像Iを第2画像IBとして受け取る機能部である。画像制御部11は、第1画像受取部1と第2画像受取部2とが撮影画像を受け取るタイミングを設定する。
第1射影変換部3は、第1画像IAを略垂直方向からの第2の視点から見下ろす像となる第1変換画像Aに射影変換する機能部である。第2射影変換部4は、第2画像IBを第2の視点から見下ろす像となる第2変換画像Bに射影変換する機能部である。
1つの手法として、第1射影変換部3は、車両30の移動量を検出する自車位置演算部8(移動距離検出部)の検出結果に基づいて、第1変換画像Aを第2位置における第1予測画像A’に補正する。また、別の手法として第1射影変換部3は、車両30が所定の移動量だけ移動したと仮定した位置を第2位置として、第1変換画像Aを第2位置における第1予測画像A’に補正しても良い。この場合、第2画像受取部2は、車両30の移動量を検出する自車位置演算部8が、車両30が所定の移動量だけ移動したことを検出した際に、第2画像IBを受け取ると好適である。第2画像受取部2が第2画像IBを受け取るタイミングは、画像制御部11によって制御される。
位置補正部5は、車両30の移動量を検出する移動検出部13の検出結果に基づいて、第1変換画像Aを、第1位置から第2位置まで車両30が移動した際に予測される第1予測画像A’に変換すると共に、第2変換画像Bに対する第1予想画像A’の対比位置を、対応する位置から所定量だけ変位させる補正する機能部である。
立体物抽出する処理において、図13(a)に示すように、第1予測画像A’と第2変換画像Bとを対応する位置関係で対比させた(重ね合わせた)場合、第1予測画像A’において立体物40が存在する台形の第1領域pと、第2変換画像Bにおいて立体物が存在する台形の第2領域qとは、下端の辺が一致する位置関係となる。この位置関係で対比させて差分により生成した立体物40の差分画像は、図14(a)に示すように、下端が少し不明瞭になる。尚、第2変換画像Bに対して予測された位置における第1予測画像A’を重ね合わせる位置を「対応する位置」と称しており、本発明では、この対応する位置を基準にして第1予測画像A’を所定量だけ変位させた位置が差分を取るための対比位置に設定される。
これに対して、この位置補正部5においては、図13(b)に示すように車両30の移動方向に対応する方向(同図では上下方向)で対応する位置から所定量Δsだけ変位させることで、差分を求めた際の立体物40の下端の領域を明確にして立体物40の全体形状を適正に抽出できるものにしている。この位置関係で対比させて差分により生成した差分画像は、図14(b)に示すように下端が明瞭になる。
このように、立体物40を抽出する処理として(立体物領域抽出部6での処理)、適正は対比位置での差分に基づく立体物40の画像と、対応する位置から第1予測画像A’を所定量Δsだけ変位させた対比位置での差分に基づく立体物40の画像の下端位置を明瞭にする。特に、これらの画像を2値化して比較した場合には、図15(a)に示すように画像を変位させないものと比較して、図15(b)に示すように画像を変位させた立体物40の輪郭が明瞭になることが理解できる。
自車位置演算部8は、ステアリングセンサ14、シフト位置センサ15、アクセルセンサ16、ブレーキセンサ17、回転センサ18等の各種センサによる検出結果を受けて、車両30の移動量や位置を演算する機能部である。上記各種センサ14〜18や、自車位置演算部8は、本発明の移動検出部13に相当する。尚、自車位置演算部8は、ECU10とは別のECUや制御装置等に含まれ、演算結果のみがECU10に入力される構成であってもよい。
立体物領域抽出部6は、第1予測画像A’と第2変換画像Bとの差分に基づいて、立体物40が存在する立体物領域Rを、平行しない2辺(e1及びe2)が光学中心Cにおいて交差する台形状に抽出する機能部である。
前述したように第1予測画像A’と第2変換画像Bとの対比位置が対応する位置から変位しているので、この立体物領域抽出部6で抽出される立体物40の像は明瞭なものとなる。
射影歪補正部7は、第2変換画像Bにおける立体物領域Rの画像を光学中心Cの方向へ縮小して射影歪補正画像(図17に示す符号B’)に補正する機能部である。重畳部9は、第2変換画像B上における立体物領域Rの中で縮小後の立体物40の画像が存在する領域以外の領域にマスク処理を施したり、立体物40の存在を報知する報知表示(図19に示す符号M)を重畳させる機能部である。これら、射影歪補正部7及び重畳部9の有する機能の詳細については、後述する。
以下、射影歪と、その補正方法について説明する。図16は、射影歪を補正する原理を示す説明図である。図17は、射影歪を補正した後の射影歪補正画像B’の一例である。図18は、射影歪補正画像B’にマスク処理を施した画像の一例である。図19は、射影歪補正画像B’に報知表示Mを重畳した画像の一例である。
図7に示すように、視点変換後のGPT画像Bにおける立体物40は、大きな歪みを有している。そこで、視認性を向上させるべく、射影歪補正部7は、図16に示すように、GPT画像B(第2変換画像)における立体物領域Rの画像を光学中心Cの方向へ縮小して、図17に示すような射影歪補正画像B’に補正する。立体物40は、図16に示すように、光学中心Cの側の一辺e3、即ち立体物40が路面に接する位置である下端位置を基準として、光学中心Cの方向(下端方向)へ縮小される。ここでは、比例配分によって縮小する例を示しているが、その他の縮小方法を用いてもよい。この補正の結果、図17に示すように、立体物40の像に対する違和感が低減される。
但し、立体物領域Rの中で圧縮後の立体物40の領域以外に相当する領域Gには、元の歪みのある画像が残っている。このままでは、立体物40の像に対して違和感を軽減させた効果が限定的となる可能性がある。そこで、例えば、立体物領域Rの外側の近傍の背景色によって、領域Gを塗りつぶすと良い。マスクされる領域Gは、立体物40の背景であるから、カメラ12による撮影画像Iに現れない部分である。また、この領域Gは、いわゆる、死角領域よりも、立体物40の方が車両30に近い側にあるので、死角領域がマスクされても問題とはならない。
あるいは、図18に示すように、領域Gが目立ちにくくなるように、ハーフトーン処理を施してマスクすると好適である。例えば、暖色系の色によってハーフトーン効果を施した場合には、立体物40の陰に入って死角となる領域を目立たせて注意を促す効果が得られる。つまり、領域Gが死角であることを、穏やかに報知して利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると、視認性がよい。一方ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角であるkとを報知することができる。
また、立体物40が存在することを積極的に報知するようにしても好適である。図19に示すように、領域Gに重なるように、メッセージで成る報知表示Mを重畳させてもよい。このようなメッセージで成る報知表示Mを重畳させることによって、元の歪みのある画像が残っていても、注目されることなく、違和感を低減させることが可能となる。歪みのある画像が残る領域Gは、立体物40の背景に隠れたいわゆる死角である。従って、カメラ12による撮影画像Iに含まれておらず、無理に画像を表示させる必要のない領域でもある。このような理由から、この領域Gにメッセージを重畳させると、報知表示Mにより必要な画像が隠されることがなく好適である。報知表示Mが任意の場所に重畳されると、立体物40以外の例えば路面上の道路標識などを隠してしまう可能性が生ずる。しかし、立体物40の背景であって、画像を表示させる必要のない領域Gも報知表示Mを重畳させることによって、利用者に対して鳥瞰画像及び報知表示Mの双方を視認性良く示すことができる。このような報知表示Mの重畳、上記マスク処理や塗りつぶし処理は、上述した重畳部9によって実施される。
〔実施形態の効果〕
このように本発明によると、カメラ12で撮影された画像データを鳥瞰画像としてモニタ20に表示する際には、カメラ12で撮影された画像に立体物40が含まれる場合でも、その立体物40の全体の形状を明瞭にすることで、立体物40が存在する位置をモニタ20から適正に把握できる。
このように本発明によると、カメラ12で撮影された画像データを鳥瞰画像としてモニタ20に表示する際には、カメラ12で撮影された画像に立体物40が含まれる場合でも、その立体物40の全体の形状を明瞭にすることで、立体物40が存在する位置をモニタ20から適正に把握できる。
特に、抽出された立体物40は路面上に存在する障害物と捉え得るものであり、立体物40の下端位置が明瞭になることは、車両30から障害物(立体物40)を検出し、その障害物までの距離を画像処理により高い精度で取得できるものとなる。このような理由から、車両30から立体物40(障害物)までの距離を画像処理によって取得し、取得した距離が設定値より小さい値に達した場合に、ブザーを作動させる処理や、合成された人の言葉で障害物に接近している情報をスピーカから出力する処理を行うように障害物検出装置を構成しても良い。
つまり、本発明の障害物検出装置は、カメラ12で撮影された画像をモニタ20に表示する処理を必ずしも行う必要はなく(画像をモニタ20に表示する処理と障害物の検出と並行して行っても良い)、カメラ12で撮影した画像から障害物を検出し、画像処理により車両30から立体物40(障害物)までの正確な距離を特定し、障害物に車両30が接触することや衝突する可能性があると判断できる場合には、ブザーや、合成された人の言葉で成る音声により障害物に接近していることを運転者に報知することにより、車両30と障害物との接触を未然に回避する操作を促すことも可能となる。
また、立体物40を抽出する処理として、複数のカメラを用いるのではなく1つのカメラ12で撮影した2つの画像の画像処理によって行うので、カメラを複数備える必要は無い。しかも、立体物40が存在する位置を抽出するための処理も特別の処理のプロセスを設定するのではなく、第1予測画像A’と第2変換画像Bとの対比位置の設定を変更することで済み、処理速度を低下させることもない。
1 第1画像受取部
2 第2画像受取部
3 第1射影変換部
4 第2射影変換部
5 位置補正部
6 立体物抽出部
8 移動距離検出部(自車位置演算部)
12 車載カメラ
30 車両
IA 第1画像
IB 第2画像
A 第1変換画像
A’ 第1予測画像
B 第2変換画像
2 第2画像受取部
3 第1射影変換部
4 第2射影変換部
5 位置補正部
6 立体物抽出部
8 移動距離検出部(自車位置演算部)
12 車載カメラ
30 車両
IA 第1画像
IB 第2画像
A 第1変換画像
A’ 第1予測画像
B 第2変換画像
Claims (2)
- 車両の周辺を撮影する車載カメラにより第1位置において撮影された撮影画像を第1画像として受け取る第1画像受取部と、
前記第1画像を撮影した位置から前記車両が所定の移動量を経た第2位置において前記車載カメラにより撮影された撮影画像を第2画像として受け取る第2画像受取部と、
前記第1画像を略垂直方向の視点から見下ろす像となる第1変換画像に射影変換する第1射影変換部と、
前記第2画像を前記視点から見下ろす像となる第2変換画像に射影変換する第2射影変換部と、
前記第1変換画像を、前記第1位置から第2位置まで車両が移動した際に予測される第1予測画像に変換すると共に、前記第2変換画像に対する前記第1予測画像の対比位置を、対応する位置から所定量だけ変位させる位置補正部と、
前記対比位置における前記第2変換画像と前記第1予測画像との差分に基づいて、立体物が存在する領域を抽出する立体物領域抽出部とを備えている障害物検出装置。 - 前記車両の移動距離を検出する移動距離検出部を備え、前記位置補正部は、前記移動距離検出部で検出される前記第1位置と第2位置との間の移動距離に基づいて前記第1予測画像を生成すると共に、前記車両の移動方向を前記変位の方向に設定している請求項1記載の障害物検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302808A JP2010128795A (ja) | 2008-11-27 | 2008-11-27 | 障害物検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302808A JP2010128795A (ja) | 2008-11-27 | 2008-11-27 | 障害物検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010128795A true JP2010128795A (ja) | 2010-06-10 |
Family
ID=42329142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008302808A Pending JP2010128795A (ja) | 2008-11-27 | 2008-11-27 | 障害物検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010128795A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012144053A1 (ja) * | 2011-04-21 | 2012-10-26 | トヨタ自動車株式会社 | 車両用周辺障害物表示装置及び車両用周辺障害物表示方法 |
US9104920B2 (en) | 2012-10-30 | 2015-08-11 | Hyundai Motor Company | Apparatus and method for detecting obstacle for around view monitoring system |
JP2019016308A (ja) * | 2017-07-10 | 2019-01-31 | 株式会社Zmp | 物体検出装置及び方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163259A (ja) * | 2005-12-13 | 2007-06-28 | Dainippon Screen Mfg Co Ltd | 差分比較検査方法および差分比較検査装置 |
JP2008048094A (ja) * | 2006-08-14 | 2008-02-28 | Nissan Motor Co Ltd | 車両用映像表示装置及び車両周囲映像の表示方法 |
JP2008089574A (ja) * | 2006-09-05 | 2008-04-17 | Dainippon Screen Mfg Co Ltd | 画像処理装置、データ処理装置、パラメータ調整方法、およびプログラム |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
-
2008
- 2008-11-27 JP JP2008302808A patent/JP2010128795A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007163259A (ja) * | 2005-12-13 | 2007-06-28 | Dainippon Screen Mfg Co Ltd | 差分比較検査方法および差分比較検査装置 |
JP2008048094A (ja) * | 2006-08-14 | 2008-02-28 | Nissan Motor Co Ltd | 車両用映像表示装置及び車両周囲映像の表示方法 |
JP2008089574A (ja) * | 2006-09-05 | 2008-04-17 | Dainippon Screen Mfg Co Ltd | 画像処理装置、データ処理装置、パラメータ調整方法、およびプログラム |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012144053A1 (ja) * | 2011-04-21 | 2012-10-26 | トヨタ自動車株式会社 | 車両用周辺障害物表示装置及び車両用周辺障害物表示方法 |
US9104920B2 (en) | 2012-10-30 | 2015-08-11 | Hyundai Motor Company | Apparatus and method for detecting obstacle for around view monitoring system |
JP2019016308A (ja) * | 2017-07-10 | 2019-01-31 | 株式会社Zmp | 物体検出装置及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5067632B2 (ja) | 鳥瞰画像生成装置 | |
JP5190712B2 (ja) | 障害物検出装置 | |
US8514282B2 (en) | Vehicle periphery display device and method for vehicle periphery image | |
JP5003946B2 (ja) | 駐車支援装置 | |
EP2818363B1 (en) | Camera device, camera system, and camera calibration method | |
US10467789B2 (en) | Image processing device for vehicle | |
WO2011007484A1 (ja) | 運転支援装置、運転支援方法及びプログラム | |
JP2010130646A (ja) | 車両周辺確認装置 | |
JP2012076483A (ja) | 駐車支援装置 | |
JP2010184607A (ja) | 車両周辺表示装置 | |
JP2009083764A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2017520133A (ja) | 車両周辺イメージ生成装置および方法 | |
JP4797877B2 (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
JP2012105090A (ja) | 駐車支援装置 | |
JP2017159687A (ja) | 駐車領域表示システム及びそれを用いた自動駐車システム | |
JP2010264945A (ja) | 駐車支援装置、駐車支援方法及び駐車支援プログラム | |
JP2016110501A (ja) | 画像生成装置 | |
JP2010183234A (ja) | 描画装置 | |
JP2008114691A (ja) | 車両周辺監視装置および車両周辺監視映像表示方法 | |
JP2010128795A (ja) | 障害物検出装置 | |
JP2009230225A (ja) | 車両用周囲監視装置 | |
JP2013062692A (ja) | 車載カメラの較正装置及び方法 | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP5077286B2 (ja) | 車両周辺画像表示装置 | |
JP2010064646A (ja) | 車両周辺監視装置および車両周辺監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130117 |