JP2018124678A - 障害物検出装置、障害物検出方法および障害物検出プログラム - Google Patents
障害物検出装置、障害物検出方法および障害物検出プログラム Download PDFInfo
- Publication number
- JP2018124678A JP2018124678A JP2017014748A JP2017014748A JP2018124678A JP 2018124678 A JP2018124678 A JP 2018124678A JP 2017014748 A JP2017014748 A JP 2017014748A JP 2017014748 A JP2017014748 A JP 2017014748A JP 2018124678 A JP2018124678 A JP 2018124678A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- road surface
- image
- captured
- comparison image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】障害物の検出精度を向上させること。【解決手段】実施形態に係る障害物検出装置は、生成部と、変換部と、算出部と、変更部と、検出部とを備える。生成部は、車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する。変換部は、撮像装置の視点位置に基づいて生成部によって生成されたオプティカルフローを路面座標に投影することで路面ベクトルへ変換する。算出部は、変換部によって変換された路面ベクトルの大きさの分散値を算出する。変更部は、算出部によって算出された分散値に基づいて生成部がオプティカルフローの生成に用いた比較画像を変更する。検出部は、変更部によって変更された比較画像に基づく路面ベクトルから障害物を検出する。【選択図】図1B
Description
本発明は、障害物検出装置、障害物検出方法および障害物検出プログラムに関する。
従来、車両上で撮像された撮像画像から障害物を検出する障害物検出装置がある。かかる障害物検出装置は、撮像画像のオプティカルフローに基づいて障害物との相対的な位置関係を算出する(例えば、特許文献1参照)。
しかしながら、従来の障害物検出装置では、オプティカルフローを正しく生成できない場合があり、かかる場合に、障害物との相対的な位置関係が正しく算出されず、障害物の検出精度が低下するおそれがあった。
本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置、障害物検出方法および障害物検出プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る障害物検出装置は、生成部と、変換部と、算出部と、変更部と、検出部とを備える。生成部は、車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する。変換部は、前記撮像装置の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する。算出部は、前記変換部によって変換された前記路面ベクトルの大きさの分散値を算出する。変更部は、前記算出部によって算出された前記分散値に基づいて前記生成部が前記オプティカルフローの生成に用いた前記比較画像を変更する。検出部は、前記変更部によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する。
本発明に係る障害物検出装置、障害物検出方法および障害物検出プログラムによれば、障害物の検出精度を向上させることができる。
以下、添付図面を参照して、実施形態に係る障害物検出装置、障害物検出方法および障害物検出プログラムについて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
まず、図1Aおよび図1Bを用いて実施形態に係る障害物検出方法の概要について説明する。図1Aは、障害物検出装置の搭載例を示す図である。図1Bは、障害物検出方法の概要を示す図である。
図1Aに示すように障害物検出方法を実行する障害物検出装置1は、車両Cに搭載される。また、撮像装置10であるカメラは、車両Cの後部に設けられ、車両Cの後方を撮像する。
また、図1Bでは、撮像装置10の視点位置10aから撮像された撮像画像Pおよび座標平面Rを示している。視点位置10aは、車両Cにおける撮像装置10の取り付け位置に対応する。座標平面Rは、路面の位置に対応しており、直交座標(以下、路面座標という)で表される仮想平面である。
実施形態に係る障害物検出方法では、撮像装置10によって撮像された撮像画像Pのうち、基準画像Pbと、基準画像Pbの後に撮像された比較画像Pcとから同一の特徴点を結んだベクトルであるオプティカルフローFを生成する。そして、障害物検出方法では、オプティカルフローFを路面座標に投影して変換された路面ベクトルVを用いて障害物200の検出を行う。
ここで、実施形態に係る障害物検出方法では、基準画像Pbと比較画像Pcとを撮像する間の車両Cの移動距離、すなわち、視点位置10aの視点間距離に基づいて障害物200との位置関係を算出する。
かかる視点間距離は、路面の特徴点から得られる路面ベクトルVに対応する。通常、撮像画像Pには、路面を表示する部分が最も多く含まれるため、路面に対応する路面ベクトルVが最も多く含まれる。
そのため、実施形態に係る障害物検出方法では、路面ベクトルVについて大きさに関するヒストグラムを作成し、かかるヒストグラムにおいて分布が最も多い値に基づいて視点間距離を算出する。
このとき、オプティカルフローFが正しく生成されていれば、路面ベクトルVの大きさに関するヒストグラムの分散値は小さい値となる。
一方、オプティカルフローFが正しく生成されていなかった場合、ヒストグラムにバラつきが生じ、かかる分散値は大きい値となる。すなわち、路面ベクトルVの大きさに関する分散値は、オプティカルフローFの確からしさの尺度となる。
ここで、オプティカルフローFが正しく生成されない要因の1つとして、視点間距離が大きすぎて、基準画像Pbおよび比較画像Pcの間で、同一の特徴点を正しく結ぶことができなかったことが考えられる。
そこで、実施形態に係る障害物検出方法では、上記した分散値に基づいて視点間距離を変更する、すなわち、比較画像Pcを変更することとした。例えば、図1Bに示す時刻t1に撮像された基準画像Pbと、時刻t3に撮像された比較画像Pc1とに基づく分散値が所定値よりも大きかったとする。この場合、比較画像Pcを変更することで視点間距離を短くする。
具体的には、実施形態に係る障害物検出方法では、比較画像Pcを比較画像Pc1が撮像された時刻t3よりも前の時刻t2に撮像された比較画像Pc2へ変更する。
つまり、基準画像Pbおよび比較画像Pcが撮像された時間間隔を短くする。これにより、基準画像Pbおよび比較画像Pcにおける変化量を小さくすることができ、精度が高いオプティカルフローFを生成することが可能となる。
したがって、実施形態に係る障害物検出方法によれば、オプティカルフローFをより正確に生成することができ、上記の分散値を小さくすることができる。そして、実施形態に係る障害物検出方法では、かかるオプティカルフローFから変換された路面ベクトルVに基づいて障害物200を検出する。
つまり、実施形態に係る障害物検出方法によれば、障害物200の検出精度を向上させることができる。
ところで、実施形態に係る障害物検出方法では、上記した分散値が大きい場合に、比較画像Pcのコントラスト比を調整することで分散値を小さくすることもできる。この点の詳細については、図4Aを用いて後述する。
また、実施形態に係る障害物検出方法では、上記した分散値が後述の目標値Vbよりも小さい場合、すなわち、オプティカルフローFの生成の精度が高い場合に、視点間距離を大きくするように比較画像Pcを変更することもできる。この点の詳細については、図4Cを用いて後述する。
次に、図2を用いて実施形態に係る障害物検出装置1の構成について説明する。図2は、障害物検出装置1のブロック図である。なお、図2に示すように、障害物検出装置1は、撮像装置10、車両制御装置50および表示装置51に接続される。
撮像装置10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備えた車載カメラであり、例えば車両C後方の様子を撮像する位置に設けられる。
また、撮像装置10は、魚眼レンズ等の広角レンズを備えており、車両Cの周囲を広範囲に撮像することが可能である。なお、撮像装置10は、車両C後方を撮像する場合に限らず、車両Cの前方や側方を撮像する位置に設けられてもよい。
車両制御装置50は、障害物検出装置1から出力される情報に基づいてPCS(Pre-crash Safety System)やAEB(Advanced Emergency Braking System)などの車両制御を行う。
表示装置51は、例えば、液晶パネルを備え、障害物検出装置1から出力される情報を表示する。例えば、表示装置51は、撮像画像Pや、撮像画像Pに含まれる障害物200を囲った枠画像を表示する。
障害物検出装置1は、制御部2および記憶部3を備える。制御部2は、画像取得部21と、生成部22と、変換部23と、算出部24と、変更部25と、検出部26と、調整部27とを備える。記憶部3は、画像情報31を記憶する。
制御部2は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Desk Drive)、入出力ポートなどを有するコンピュータや各種回路を含む。
コンピュータのCPUは、例えば、ROMに記憶された各種プログラムを読み出して実行することによって、制御部2の画像取得部21、生成部22、変換部23、算出部24、変更部25、検出部26および調整部27として機能する。
また、制御部2の画像取得部21、生成部22、変換部23、算出部24、変更部25、検出部26および調整部27の少なくともいずれか一つまたは全部をASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成することもできる。
また、記憶部30は、たとえば、ROM、RAMおよびHDDに対応する。ROM、RAMおよびHDDは、画像情報31や各種プログラムの情報等を記憶することができる。なお、制御部2は、有線や無線のネットワークで接続された他のコンピュータや可搬型記憶媒体を介して画像情報31や各種情報を取得することとしてもよい。
制御部2の画像取得部21は、撮像装置10から所定の周期(例えば、1/30秒周期)で時間的に連続して撮像画像Pを取得する。画像取得部21は、取得した撮像画像Pを画像情報31として記憶部3に記憶させるとともに、生成部22へ出力する。
記憶部3の画像情報31は、撮像画像Pが時系列に並べて記憶された情報である。画像情報31は、画像取得部21によって最新の撮像画像Pが記憶されると、時間的に最も古い撮像画像Pから順次削除して更新される。
生成部22は、画像取得部21が取得した撮像画像PからオプティカルフローFを生成する。具体的には、まず、生成部22は、画像情報31の中から基準画像Pbを調整部27を介して取得し、基準画像Pbから特徴点を抽出する。
生成部22は、例えばソベルフィルタ等の既知の手法を特徴点の抽出処理に用いることができる。また、生成部22は、画像情報31から基準画像Pbの後に撮像された比較画像Pcを取得し、比較画像Pcから特徴点を抽出する。
つづいて、生成部22は、基準画像Pbおよび比較画像Pcから抽出した特徴点に基づいてオプティカルフローFを生成し、変換部23へ出力する。
生成部22は、例えば勾配法であるLucas-Kaneda法やHorn-Schunk法といった等の既知の手法によってオプティカルフローFを生成することができる。なお、生成部22は、勾配法に限らず、ブロックマッチング法によってオプティカルフローFを生成してもよい。
変換部23は、撮像装置10の視点位置10aに基づいて生成部22によって生成されたオプティカルフローFを路面座標に投影することで路面ベクトルVへ変換する。
変換部23は、車両Cにおける撮像装置10の取り付け高さおよび取り付け俯角によって設定される視点位置10aを仮想視点に変換することで、オプティカルフローFの撮像画像Pにおける座標を路面座標へ変換する。
より詳細には、変換部23は、撮像画像Pを等距離射影方式により変換した平面を取り付け俯角だけ回転させることで、オプティカルフローFを路面座標系である座標平面Rの路面ベクトルVへ変換する。また、変換部23は、変換した路面ベクトルVを算出部24へ出力する。
算出部24は、変換部23によって変換された路面ベクトルVの大きさの分散値および視点間距離を算出する。ここで、図3Aおよび図3Bを用いて算出部24による処理内容について説明する。図3Aおよび図3Bは、算出部24による処理の具体例を示す図である。
なお、図3Aは、撮像画像Pと座標平面Rとの対応関係を模式的に示し、図3Bは、路面ベクトルVの大きさに関するヒストグラムを示す。また、図3Bでは、横軸を路面ベクトルVの大きさ(例えば、1mm間隔)とし、縦軸を路面ベクトルVの個数としている。
算出部24は、図3Aに示す撮像画像Pの下側の領域P1に対応する座標平面Rの下側に領域R1に対応する路面ベクトルVについて路面ベクトルVの大きさの分散値を算出する。換言すると、座標平面Rにおける領域R1以外を路面ベクトルVの大きさの分散値の算出対象から除外する。
これは、撮像画像Pにおいて領域P1以外には、路面以外の物体が写り込みやすく、かかる物体によって路面ベクトルVの大きさにバラつきが生じるおそれがあるためである。
このため、算出部24は、例えば、路面ベクトルVの初期座標が領域R1内にある路面ベクトルVのみを対象として分散値の算出処理を行う。
これにより、算出部24は、障害物200の影響を低減した分散値を算出することができ、視点間距離の算出精度を向上させることができる。
なお、図3Aに示す領域P1や領域R1は、一例であって、これに限定されるものではなく、任意に変更することができる。また、領域R1の下端は、撮像画像Pの下端と一致している必要はなく、かかる下端から任意の幅を持たすことにしてもよい。
また、領域P1の形状も矩形である必要はなく、円形や三角形など他の形状とすることにしてもよい。また、領域P1や領域R1を設けず、全ての路面ベクトルVから分散値を算出することにしてもよい。
続いて、図3Bを用いて分散値および視点間距離の算出処理について説明する。まず、算出部24は、上記の領域R1の路面ベクトルVの大きさに関してヒストグラムを作成する。
上記したように、路面ベクトルVのヒストグラムにおいて個数が最も多くなる値が基準画像Pbおよび比較画像Pcにおける視点間距離に対応する。同図に示す例では、算出部24は、路面ベクトルVの大きさの最も個数が多くなる距離D8を視点間距離として算出する。
また、オプティカルフローFの確からしさは、路面ベクトルVの大きさの分散値から求めることができる。このため、算出部24は、かかるヒストグラムから標準偏差を用いて路面ベクトルVの大きさの分散値を算出する。
そして、算出部24は、算出した分散値および視点間距離と、変換部23から入力された路面ベクトルVとを含む路面ベクトル情報を変更部25へ出力する。
図2の説明に戻り、制御部2の説明を続ける。制御部2の変更部25は、算出部24から入力される分散値に基づいて生成部22がオプティカルフローFの生成に用いた比較画像Pcを変更する。
ここで、分散値が大きくなった理由として、視点間距離に加えて、撮像画像Pにおいて被写体の輪郭が鮮明でなかった場合が考えられる。かかる場合、生成部22による特徴点の抽出精度が低下し、オプティカルフローFの確からしさが低下する。
このため、変更部25は、算出部24が算出した分散値が基準値Va(例えば、50)よりも大きかった場合、調整部27へ比較画像Pcのコントラスト比の調整を指示する。
調整部27は、かかる指示に基づいて記憶部3の画像情報31から生成部22がオプティカルフローFの生成に用いた比較画像Pcを取得し、かかる比較画像Pcのコントラスト比を調整し、生成部22へ出力する。
ここで、図4Aおよび図4Bを用いて変更部25および調整部27による処理について説明する。図4Aは、コントラスト比と、分散値の関係の一例を示す図である。なお、同図では、縦軸を分散値とし、横軸をコントラスト比としている。
調整部27は、比較画像Pcのコントラスト比を例えば、1倍から1.5倍の間において10段階で調整し、変更部25の指示に基づいてコントラスト比を1段階ずつあげて生成部22へ出力する。
同図に示す例では、コントラスト比Cr1が初期値(コントラスト比1倍)に対応する。調整部27は、変更部25の指示に従って比較画像Pcのコントラスト比をコントラスト比Cr1からコントラスト比Cr2へ調整し、生成部22へ出力する。
生成部22は、基準画像Pbと比較画像Pcとに基づいてオプティカルフローFを生成し、変換部23および算出部24は、上記した処理を繰り返し行う。
そして、変更部25は、例えば、今回の分散値と、前回の分散値とが略一定だった場合、または、今回の分散値が、前回の分散値よりも小さい場合に、比較画像Pcのコントラスト比の調整を調整部27へ再度指示する。
調整部27は、かかる指示を受けて比較画像Pcのコントラスト比をコントラスト比Cr2からコントラスト比Cr3へ調整する。そして、変更部25は、今回の分散値が基準値Va(例えば、50)を下回った場合に、かかる分散値を最適なコントラスト比として設定する。
もしくは、変更部25は、今回の分散値が前回の分散値よりも大きくなった時点で前回のコントラスト比を最適なコントラスト比として設定する。そして、調整部27は、例えば、次にコントラスト比が変更されるまで撮像画像Pをかかるコントラスト比で調整する。
同図に示す例では、変更部25は、コントラスト比Cr3を最適なコントラスト比として設定し、白丸で示すコントラスト比Cr5以降の処理を省略することができる。
これにより、コントラスト比に基づく、オプティカルフローFの劣化を排除することができる。なお、調整部27は、コントラスト比を全て調整(Cr1〜Cr10)し、変更部25は、かかる調整結果に基づいて最適なコントラスト比を設定することにしてもよい。
なお、ここでは、調整部27が、撮像画像Pのコントラスト比が高くなるように調整する場合について説明したが、調整部27は、コントラスト比が低くなるように調整(例えば、0.5倍〜1倍の間)することもできる。
これは、撮像画像Pに影などのノイズが混入していた場合、生成部22は、かかるノイズを特徴点として抽出し、かかるノイズの特徴点からオプティカルフローFを生成したおそれがあるためである。
このため、調整部27は、コントラスト比が低くなるように調整することで、生成部22によるオプティカルフローFの生成の際に、ノイズの影響を受けにくくすることができる。また、調整部27は、コントラスト比以外に、比較画像Pcの色調、明度、シャープネス等の各種パラメータを調整することにしてもよい。
次に、図4Bおよび図4Cを用いて変更部25による比較画像Pcの変更処理について説明する。図4Bおよび図4Cは、基準画像Pbと、比較画像Pcとの関係を示す図である。図4Bおよび図4Cでは、時刻t1に撮像された撮像画像Pを基準画像Pbとし、時刻t4に撮像された撮像画像Pが現在の比較画像Pc3である場合を示している。
まず、図4Bを用いて視点間距離を短くする場合について説明する。変更部25は、現在の比較画像Pc3に基づく分散値が基準値Va以上である場合に、画像情報31から現在の比較画像Pc3よりも1つ前に撮像された比較画像Pc2へ変更するように調整部27へ指示する。
これにより、調整部27は、比較画像Pc2を上記したコントラスト比に調整して生成部22へ出力し、生成部22、変換部23および算出部24は、上記した処理を繰り返す。
そして、変更部25は、分散値が最少となった時点または、分散値が基準値Va以下となった時点で、路面ベクトルVを検出部26へ出力する。これにより、基準画像Pbおよび比較画像Pc間の視点間距離を短くすることができ、オプティカルフローFの生成精度を向上させることができる。
また、変更部25は、分散値が最少となった時点で現在の比較画像Pcを基準画像Pbへ変更するように生成部22へ指示する。これにより、制御部2では、比較画像Pcを基準画像Pbとした次回の障害物検出処理を開始することとなる。
ところで、変更部25は、視点間距離が大きくなるように比較画像Pcの変更を指示することもできる。そこで、図4Cを用いて視点間距離を大きくする場合の処理の具体例について説明する。
変更部25は、分散値が目標値Vb(例えば、30)以下であった場合、比較画像Pcを視点間距離が短くなる向きに変更していないことを条件として、現在の比較画像Pc3よりも後に撮像された比較画像Pc4へ変更するように調整部27へ指示する。
そして、変更部25は、今回の分散値が、前回の分散値よりも大きくなった時点で、前回の分散値の路面ベクトルVを検出部26へ出力する。これにより、分散値が良好である場合、すなわち、オプティカルフローFの生成精度が高い場合に、視点間距離を大きくすることができる。
これは、視点間距離を大きくすると、後述する検出部26による障害物200の検出精度が向上するためである。具体的には、検出部26は、視点間距離と、路面ベクトルVとを比較することで障害物200を検出する。
このとき、視点間距離を大きくすると、路面ベクトルVも相対的に大きくなる。このため、視点間距離と路面ベクトルVとの比較が容易になり、障害物200の検出精度が向上する。
このように、変更部25は、分散値が目標値Vbよりも大きい場合に、視点間距離が大きくなるように調整部27へ指示することができる。これにより、障害物200の検出精度を向上させることができる。
ところで、視点間距離は、大きすぎると分散値が低下しやすく、小さすぎると、障害物200の検出精度が低下するおそれがある。このため、変更部25は、視点間距離が例えば、10mm〜500mmの範囲から逸脱する場合に、かかる範囲に収まるように比較画像Pcを変更する。
これにより、視点間距離を適切な値に設定することができ、障害物200の検出精度を確保することができる。
図2の説明に戻り、制御部2の説明を続ける。検出部26は、変更部25から入力される路面ベクトルVに基づいて障害物200を検出する。ここで、図5を用いて検出部26による障害物200の検出処理について説明する。
図5は、検出部26による障害物200の検出処理を説明する図である。図5には、路面である座標平面Rから撮像装置10の視点位置10aまでの高さHAと、障害物200の高さHと、高さHAおよび高さHの差分である高さHBを示している。
ここでは、車両Cが距離D1だけ障害物200に近づいたものとし、算出部24が、視点間距離を距離D1として算出したものとする。かかる場合に、高さがある障害物200の頂点の特徴点に対応する路面ベクトルVcは、幾何学的関係から距離D1よりも長い距離D2として算出される。
このため、検出部26は、視点間距離よりも大きい路面ベクトルVに対応する特徴点を障害物200として検出することができる。次に、検出部26は、障害物200として検出した特徴点のうち、路面ベクトルVの終点の座標が所定値よりも小さい路面ベクトルVを抽出する。
そして、検出部26は、かかる路面ベクトルVに対応する特徴点を車両Cに接触する可能性がある障害物200として図2に示した車両制御装置50や表示装置51へ出力する。
このように、検出部26は、視点間距離が適切に補正された路面ベクトルVに基づいて障害物200を検出する。これにより、障害物200の検出精度を向上させることができる。
ところで、例えば、空き缶など、障害物200の高さが低い場合、車両Cの走行の妨げとならない場合がある。このため、検出部26は、接触する可能性がある障害物200のうち、所定値(例えば、10cm)以上の高さを有する障害物200のみを選択して車両制御装置50や表示装置51へ出力することもできる。
ここで、検出部26による高さHの算出方法について説明する。図5に示す、高さHAおよび高さHBは、三角比の関係により、HA:HB=D2:D1となる。高さHBは、HA−Hであるため、障害物200の高さHを示す数式は、H=HA−(HA×D1)/D2となる。なお、高さHA、距離D1および距離D2は、既知であるため、これらを上記式に代入すると障害物200の高さHを求めることができる。
次に、図6を用いて実施形態に係る障害物検出装置1が実行する処理手順について説明する。図6は、実施形態に係る障害物検出装置1が実行する処理手順を示すフローチャートである。なお、かかる処理手順は、制御部2によって繰り返し実行される。
まず、画像取得部21は、撮像画像Pを取得する(ステップS101)。続いて、生成部22は、基準画像Pbおよび比較画像PcからオプティカルフローFを生成する(ステップS102)。
次に、変換部23は、オプティカルフローFを路面ベクトルVへ変換し(ステップS103)、算出部24は、視点間距離および分散値を算出する(ステップS104)。
続いて、変更部25は、分散値が基準値Vaより大きいか否かを判定する(ステップS105)。ここで、変更部25は、分散値が基準値Va以下の場合(ステップS105,No)、分散値が目標値Vbよりも小さいか否かを判定する(ステップS106)。
そして、分散値が目標値Vb以上の場合(ステップS106,No)、検出部26は、路面ベクトルVに基づいて障害物200を検出し(ステップS107)、処理を終了する。
一方、分散値が基準値Vaよりも大きい場合(ステップS105,Yes)、変更部25は、比較画像Pcのコントラスト比を最適化済みか否かを判定する(ステップS108)。
ここで、コントラスト比を最適化済みである場合(ステップS108,Yes)、変更部25は、視点間距離が小さくなる向きに比較画像Pcを変更し(ステップS109)、制御部2は、ステップS102以降の処理を繰り返す。
一方、コントラスト比を最適化済みでない場合(ステップS108,No)、調整部27は、比較画像Pcのコントラスト比を調整し(ステップS110)、制御部2は、ステップS102以降の処理を繰り返す。
なお、ここでは、コントラスト比を調整し、分散値が基準値Va以下となった場合に、ステップS109の処理を省略する場合について示したが、コントラスト比を調整し、分散値が基準値Vaを下回った場合であっても、ステップS109の処理を行うことにしてもよい。
また、変更部25は、分散値が目標値Vbより小さい場合(ステップS106,Yes)、視点間距離が小さくなる向きに比較画像Pc変更済みか否かを判定する(ステップS111)。
制御部2は、比較画像Pcを変更済みである場合(ステップS111,Yes)、ステップS107の処理へ移行し、処理を終了する。一方、変更部25は、比較画像Pcを変更済みでない場合(ステップS111,No)、今回の分散値は前回の分散値より小さいか否かを判定する(ステップS112)。なお、後述するステップS113の処理を行っていない場合、ステップS112の処理は省略される。
そして、変更部25は、今回の分散値が前回の分散値より小さい場合(ステップS112,Yes)、視点間距離が大きくなる向きに比較画像Pcを変更し(ステップS113)、制御部2は、ステップS102以降の処理を繰り返す。
一方、今回の分散値が前回の分散値以上である場合(ステップS112,No)、検出部26は、前回の路面ベクトルVに基づいて障害物200を検出し(ステップS107)、処理を終了する。
上述したように、実施形態に係る障害物検出装置1は、生成部22と、変換部23と、算出部24と、変更部25と、検出部26とを備える。生成部22は、車両Cに搭載された撮像装置10によって撮像された撮像画像Pのうち、基準画像Pbと、当該基準画像Pbの後に撮像された比較画像PcとからオプティカルフローFを生成する。
変換部23は、撮像装置10の視点位置10aに基づいて生成部22によって生成されたオプティカルフローFを路面座標に投影することで路面ベクトルVへ変換する。
算出部24は、変換部23によって変換された路面ベクトルVの大きさの分散値を算出する。変更部25は、算出部24によって算出された分散値に基づいて生成部22がオプティカルフローFの生成に用いた比較画像Pcを変更する。検出部26は、変更部25によって変更された比較画像Pcに基づく路面ベクトルVから障害物200を検出する。したがって、実施形態に係る障害物検出装置1によれば、障害物200の検出精度を向上させることができる。
なお、上述した実施形態では、車両制御装置50が障害物検出装置1による障害物200の検出結果に基づいて車両Cを制御する場合について説明したがこれに限定されるものではない。すなわち、車両制御装置50は、例えば、ミリ波レーダなどを備えた他の障害物検出装置の検出結果を併用して車両Cを制御することにしてもよい。これにより、車両制御装置50は、より確実に危険を回避することが可能となる。
また、障害物検出装置1の生成部22が、変更部25の指示に基づいて基準画像Pbおよび比較画像PcからオプティカルフローFを生成する場合について示したが、これに限定されるものではない。
生成部22は、基準画像Pbと、複数の比較画像PcとのオプティカルフローFを算出しておき、変更部25は、かかる複数のオプティカルフローFに基づく分散値から最適な路面ベクトルVを選択するようにしてもよい。
また、障害物検出装置1は、分散値に基づいて撮像装置10の撮像間隔(いわゆる、フレームレート)を調整し、基準画像Pbおよび比較画像Pcの視点間距離を調整することにしてもよい。
また、障害物検出装置1は、最新の撮像画像Pを基準画像Pbとし、当該基準画像Pbより前に撮像された撮像画像Pを比較画像Pcとして視点間距離を調整することにしてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
1 障害物検出装置
22 生成部
23 変換部
24 算出部
25 変更部
26 検出部
27 調整部
200 障害物
P 撮像画像
Pb 基準画像
Pc 比較画像
F オプティカルフロー
V 路面ベクトル
22 生成部
23 変換部
24 算出部
25 変更部
26 検出部
27 調整部
200 障害物
P 撮像画像
Pb 基準画像
Pc 比較画像
F オプティカルフロー
V 路面ベクトル
Claims (7)
- 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成部と、
前記撮像装置の視点位置に基づいて前記生成部によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換部と、
前記変換部によって変換された前記路面ベクトルの大きさの分散値を算出する算出部と、
前記算出部によって算出された前記分散値に基づいて前記生成部が前記オプティカルフローの生成に用いた前記比較画像を変更する変更部と、
前記変更部によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出部と
を備えることを特徴とする障害物検出装置。 - 前記算出部は、
前記撮像画像における下側の領域に対応する前記路面ベクトルについて前記分散値を算出すること
を特徴とする請求項1に記載の障害物検出装置。 - 前記変更部は、
前記分散値が基準値より大きい場合に、前記比較画像を当該比較画像よりも前に撮像された前記撮像画像へ変更すること
を特徴とする請求項1または2に記載の障害物検出装置。 - 前記分散値が前記基準値より大きい場合に、前記比較画像のコントラスト比を調整する調整部
をさらに備えること
を特徴とする請求項3に記載の障害物検出装置。 - 前記変更部は、
前記基準値よりも低い目標値よりも前記分散値が小さい場合に、前記比較画像を当該比較画像よりも前に撮像された前記撮像画像へ変更していないことを条件として前記比較画像を当該比較画像よりも後に撮像された前記撮像画像へ変更すること
を特徴とする請求項3または4に記載の障害物検出装置。 - 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成工程と、
前記撮像装置の視点位置に基づいて前記生成工程によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換工程と、
前記変換工程によって変換された前記路面ベクトルの大きさの分散値を算出する算出工程と、
前記算出工程によって算出された前記分散値に基づいて前記生成工程が前記オプティカルフローの生成に用いた前記比較画像を変更する変更工程と、
前記変更工程によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出工程と
を含むことを特徴とする障害物検出方法。 - 車両に搭載された撮像装置によって撮像された撮像画像のうち、基準画像と、当該基準画像の後に撮像された比較画像とからオプティカルフローを生成する生成手順と、
前記撮像装置の視点位置に基づいて前記生成手順によって生成された前記オプティカルフローを路面座標に投影することで路面ベクトルへ変換する変換手順と、
前記変換手順によって変換された前記路面ベクトルの大きさの分散値を算出する算出手順と、
前記算出手順によって算出された前記分散値に基づいて前記生成手順が前記オプティカルフローの生成に用いた前記比較画像を変更する変更手順と、
前記変更手順によって変更された前記比較画像に基づく前記路面ベクトルから障害物を検出する検出手順と
をコンピュータに実行させることを特徴とする障害物検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017014748A JP2018124678A (ja) | 2017-01-30 | 2017-01-30 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017014748A JP2018124678A (ja) | 2017-01-30 | 2017-01-30 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124678A true JP2018124678A (ja) | 2018-08-09 |
Family
ID=63108940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017014748A Pending JP2018124678A (ja) | 2017-01-30 | 2017-01-30 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018124678A (ja) |
-
2017
- 2017-01-30 JP JP2017014748A patent/JP2018124678A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112689135B (zh) | 投影校正方法、装置、存储介质及电子设备 | |
US8717414B2 (en) | Method and apparatus for matching color image and depth image | |
US9609355B2 (en) | Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
US9344695B2 (en) | Automatic projection image correction system, automatic projection image correction method, and non-transitory storage medium | |
JP2013033206A (ja) | 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム | |
JP2012177676A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2013197918A5 (ja) | ||
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP5612915B2 (ja) | 移動体検出装置及び移動体検出方法 | |
US11620732B2 (en) | Multi-projection system, image projection method and projector | |
US9202128B2 (en) | Image adjusting apparatus and method, and image stabilizing apparatus including the same | |
CN110996082A (zh) | 投影调节方法、装置、投影仪及可读存储介质 | |
TWI451184B (zh) | 焦距調整方法與相關影像擷取裝置 | |
JP4962304B2 (ja) | 歩行者検出装置 | |
US8988534B2 (en) | Characterizing point checking region setting apparatus and method, and image stabilizing apparatus including the same | |
JPWO2013186994A1 (ja) | 投射型投影装置、光防眩方法、および光防眩用プログラム | |
TW202038185A (zh) | 影像的修正方法及其裝置 | |
JP2018124678A (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
US20150213585A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JPWO2017090097A1 (ja) | 車両用外界認識装置 | |
US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6351364B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム |