JP2008028857A - 障害物検出システム、及び障害物検出方法 - Google Patents
障害物検出システム、及び障害物検出方法 Download PDFInfo
- Publication number
- JP2008028857A JP2008028857A JP2006201094A JP2006201094A JP2008028857A JP 2008028857 A JP2008028857 A JP 2008028857A JP 2006201094 A JP2006201094 A JP 2006201094A JP 2006201094 A JP2006201094 A JP 2006201094A JP 2008028857 A JP2008028857 A JP 2008028857A
- Authority
- JP
- Japan
- Prior art keywords
- area
- search
- parallax
- obstacle
- reverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、障害物の誤検出を防止できる障害物検出システム、及び障害物検出方法を提供する。
【解決手段】所定の特徴量を有する領域を候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定する。第1の探索範囲内に順方向探索領域を特定し、候補領域と順方向探索領域との第1の相関値を算出する。第1の相関値が高い相関を示す順方向探索領域が存在する場合、一の画像データ中に第2の探索範囲を特定し、第2の探索範囲内に逆方向探索領域を特定し、順方向探索領域と逆方向探索領域との第2の相関値を算出する。第2の相関値が高い相関を示す逆方向探索領域が存在する場合、視差及び逆視差が略一致するときに、障害物を検出したと判断する。
【選択図】図6
【解決手段】所定の特徴量を有する領域を候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定する。第1の探索範囲内に順方向探索領域を特定し、候補領域と順方向探索領域との第1の相関値を算出する。第1の相関値が高い相関を示す順方向探索領域が存在する場合、一の画像データ中に第2の探索範囲を特定し、第2の探索範囲内に逆方向探索領域を特定し、順方向探索領域と逆方向探索領域との第2の相関値を算出する。第2の相関値が高い相関を示す逆方向探索領域が存在する場合、視差及び逆視差が略一致するときに、障害物を検出したと判断する。
【選択図】図6
Description
本発明は、車両の外部を撮像する複数の撮像装置が撮像した画像データに基づいて、検出された障害物の視差を算出して、車両との相対位置を検出する障害物検出システム、及び障害物検出方法に関する。
自動車等の車両に周辺を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を検出して、運転手に障害物の存在を通知する障害物検出システムが開発されている。
例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる候補領域を抽出し、ステレオ視により該候補領域までの距離及び方向を算出することにより、障害物の存在する位置を検出している。
パターンマッチングは、検出対象となる障害物に固有の標準パターンと候補領域との相関値を算出し、相関値が略一致する候補領域を検索する。画像のすべての領域に対して検索処理を実行する演算処理負荷を軽減するべく、例えば非特許文献1では、画像中から順次相関値が略所定の閾値を越えた候補領域が存在するか検索し、算出した相関値が所定の閾値を越えた候補領域が検索された時点で検索処理を終了して、画像中にて対応する障害物を検出したものと判断している。
「正規化相関演算の単調関数化による高速テンプレートマッチング」、電子情報通信学会論文誌 D−II、Vol.J83−D−II、No.9、pp.1861−1869、2000年9月
「正規化相関演算の単調関数化による高速テンプレートマッチング」、電子情報通信学会論文誌 D−II、Vol.J83−D−II、No.9、pp.1861−1869、2000年9月
上述した従来の障害物検出システムでは、画像中に検出対象となる障害物が少ない場合、又は複数存在している場合であっても、それらが隣接せずに離れて配置されている場合、大きさが相違している場合等には、対応する候補領域を容易に検索することができ、障害物までの距離及び方向を正確に推算することができる。しかし、画像中に検出対象となる障害物が複数存在し、隣接している場合、大きさが酷似している同一種類の障害物である場合等には、異なる候補領域を誤って検索することにより、障害物までの距離及び方向を正確に推算することができないという問題点があった。
例えば類似した歩行者が二人並んで存在する画像である場合に、右側の歩行者に相当する画像中の候補領域について視差を検索したとき、視差の検索順序によっては、左側の歩行者に相当する画像を対応する候補領域として検索する。この場合、実際に対応する障害物ではないことから検証のために算出した視差と逆視差とが相違し、先の視差算出が誤った対応付けにより得られた、又は障害物ではないものと判断される。したがって、実際に存在する障害物であるにもかかわらず、障害物までの距離を正しく算出することができない。
また、相関値に基づく検索処理による演算処理負荷を軽減した場合であっても、視差及び逆視差の算出には相当の演算処理負荷がかかる。したがって、過去の障害物の移動遷移をトラッキングしておくことにより、視差及び逆視差の検索処理範囲を限定することが可能となり、誤対応による誤った視差算出の可能性を低減させることができ、少しでも演算処理負荷を軽減することができる。
本発明は、斯かる事情に鑑みてなされたものであり、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、誤って障害物を検出することなく、障害物までの距離及び方向を正確に推算することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。
上記目的を達成するために第1発明に係る障害物検出システムは、車両の周辺を撮像する複数の撮像装置と、該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、前記検出装置は、前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出する候補領域抽出手段と、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定する第1の探索範囲特定手段と、該第1の探索範囲特定手段で特定した第1の探索範囲内に、視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定する順方向探索領域特定手段と、前記候補領域と前記順方向探索領域との間の視差を算出する視差算出手段と、前記候補領域と前記順方向探索領域との第1の相関値を算出する第1の相関値算出手段と、算出された第1の相関値が第1の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断する第1の判断手段と、該第1の判断手段で第1の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第2の探索範囲を特定する第2の探索範囲特定手段と、該第2の探索範囲特定手段で特定した第2の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定する逆方向探索領域特定手段と、前記順方向探索領域特定手段で特定した順方向探索領域と前記逆方向探索領域との間の逆視差を算出する逆視差算出手段と、前記順方向探索領域と前記逆方向探索領域との第2の相関値を算出する第2の相関値算出手段と、算出された第2の相関値が第2の閾値(≧第1の閾値)よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断する第2の判断手段と、該第2の判断手段で第2の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断する第3の判断手段とを備え、前記第3の判断手段で略一致すると判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする。
また、第2発明に係る障害物検出システムは、第1発明において、前記第3の判断手段で一致しないと判断した場合、他の画像データ中にて、前記第1の判断手段で第1の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する手段と、一の画像データ中にて、前記第2の判断手段で第2の閾値(≧第1の閾値)よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する手段とを備え、前記第3の判断手段で略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定するようにしてあることを特徴とする。
また、第3発明に係る障害物検出システムは、第1又は第2発明において、前記候補領域ごとに映像フレーム単位で算出された視差を記憶する手段と、前記候補領域抽出手段で抽出した候補領域の、前映像フレームで算出された視差を読み出す手段とを備え、読み出された視差近傍でのみ他の画像データ中にて探索範囲を特定し、前記第1の判断手段にて第1の相関値が第1の閾値より高い相関を示す順方向探索領域が存在するか否かを判断するようにしてあることを特徴とする。
また、第4発明に係る障害物検出方法は、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定し、特定された第1の探索範囲内に、算出された視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定し、前記候補領域と前記順方向探索領域との間の視差を算出し、前記候補領域と前記順方向探索領域との第1の相関値を算出し、算出された第1の相関値が第1の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断し、第1の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第2の探索範囲を特定し、特定された第2の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定し、特定された順方向探索領域と前記逆方向探索領域との間の逆視差を算出し、前記順方向探索領域と前記逆方向探索領域との第2の相関値を算出し、算出された第2の相関値が第2の閾値(≧第1の閾値)よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断し、第2の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断し、略一致すると判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする。
第1発明、及び第4発明では、車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する。複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定する。特定された第1の探索範囲内に、算出された視差の大きい順に移動して候補領域との相関値を算出する順方向探索領域を特定する。候補領域と順方向探索領域との間の視差を算出し、候補領域と順方向探索領域との第1の相関値を算出し、算出された第1の相関値が第1の閾値より高い相関を示す順方向探索領域が存在する場合、該順方向探索領域に基づいて、一の画像データ中に第2の探索範囲を特定する。特定された第2の探索範囲内に、逆視差の大きい順に移動して順方向探索領域との相関値を算出する逆方向探索領域を特定する。特定された順方向探索領域と逆方向探索領域との間の逆視差を算出し、順方向探索領域と逆方向探索領域との第2の相関値を算出し、算出された第2の相関値が第2の閾値(≧第1の閾値)よりも高い相関を示す逆方向探索領域が存在する場合、候補領域と順方向探索領域との視差、及び順方向探索領域と逆方向探索領域との逆視差が略一致しているか否かを判断する。略一致すると判断した場合、候補領域にて障害物を検出したと判断する。これにより、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。
第2発明では、視差と逆視差とが一致しないと判断した場合、他の画像データ中にて、第1の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する。また、一の画像データ中にて、第2の閾値(≧第1の閾値)よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する。視差と逆視差とが略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定する。このようにすることで、誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。
第3発明では、候補領域ごとに映像フレーム単位で算出された視差を記憶しておき、抽出された候補領域が前フレームでも候補領域として抽出されていたか否かを、トラッキング処理等に基づいて判定する。前フレームで候補領域として抽出されていたと判定された場合、該候補領域につき前フレームで算出された視差を読み出す。読み出された視差近傍について順方向探索範囲を特定し、限定された範囲内についてのみ、第1の相関値が第1の閾値より大きい候補領域が存在するか否かを判断する。このようにすることで、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、逆視差の算出処理を行うことなく視差画像中の障害物が対応している障害物であることを担保することができ、演算処理負荷を軽減することが可能となる。
本発明によれば、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、候補領域の探索処理を継続して実行することができ、正しい候補領域が探索されるまで探索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に存在する障害物までの距離を算出する場合を例として説明する。
図1は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、走行中に周辺の画像を撮像する遠赤外線撮像装置1、1を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置1、1は、波長が7〜14マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置1、1で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある検出装置3へ送信される。
検出装置3は、遠赤外線撮像装置1、1の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。
図2は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング(micromachining)技術を用いた酸化バナジウムのボロメータ型、BST(Barium−Strontium−Titanium)の焦電型等の赤外線センサを用いている。画像撮像部11は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部12へ送信する。
信号処理部12は、LSIであり、画像撮像部11から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ13へ記憶する。なお、画像データを画像メモリ13へ一時記憶することは必須ではなく、映像出力部14を介して直接検出装置3へ送信しても良いことは言うまでもない。
映像出力部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して検出装置3に映像データを出力する。
図3は、本発明の実施の形態に係る障害物検出システムの検出装置3の構成を示すブロック図である。映像入力部31aは、遠赤外線撮像装置1、1から映像信号の入力を行う。映像入力部31aは、遠赤外線撮像装置1、1から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部31bは、映像ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部31cは車載LANケーブル6を介してブザー、スピーカ等の警報装置5に対して合成音等の出力信号を送信する。
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、映像入力部31aを介して遠赤外線撮像装置1、1から入力された画像データを記憶する。RAM331は、演算処理の途上で生成したデータ及び推算した障害物の時系列的位置データを記憶する。また、RAM331は、検出された障害物ごとに算出された視差も、フレーム単位で時系列的に記憶しておく。
画像処理を行うLSI33は、画像メモリ32に記憶された画像データを映像フレーム単位で読み出し、遠赤外線撮像装置1、1から取得した画像データに基づいて、障害物に固有の標準的な特徴量を算出する。LSI33は、一又は複数の特徴量が所定の条件を具備している領域を候補領域として抽出し、基準となる遠赤外線撮像装置1、例えば右に設置してある遠赤外線撮像装置1から取得した画像データ中の候補領域に基づいて高い相関値が得られる視差を算出する。
一方、LSI33は、例えば左に設置してある遠赤外線撮像装置1から取得した画像データ中の候補領域に基づいて逆視差を算出して、両者が一致するか否かを判断する。LSI33が一致しないと判断した場合には、視差が誤っているものと判断し、再度視差の検索を行い、上述の処理を繰り返す。LSI33が一致すると判断した場合には、候補領域に障害物が存在するものと判断し、対象物までの距離及び方向を三角測量の原理に基づいて算出する。
図4は、左右に設置してある遠赤外線撮像装置1、1で撮像した画像の一例を示す図である。図4(a)は左に設置してある遠赤外線撮像装置1で撮像された画像の一例を、図4(b)は右に設置してある遠赤外線撮像装置1で撮像された画像の一例を、それぞれ示している。図4に示すように歩行者が二人並んで撮像されている場合、候補領域間の相関値算出の順序に応じて、例えば右に設置してある遠赤外線撮像装置1で撮像された画像中の領域41、すなわち並んで撮像されている右側の歩行者を示す領域が先に候補領域として検出される。
領域41を基礎として、左に設置してある遠赤外線撮像装置1で撮像された画像の中から対応する領域を検索する。この場合、右に設置してある遠赤外線撮像装置1で撮像された画像中の領域41の画像中の位置を始点とし、その周辺領域へと順次検索幅を広げていく。
したがって、従来の障害物検出システムでは、本来は左に設置してある遠赤外線撮像装置1で撮像された画像中の領域43を対応する領域として検出するべきところ、先に領域42(斜線部)が検出される。この場合、領域42が検出された時点で検索処理は打ち切られ、視差及び逆視差を算出して両者を比較する。検出された領域42は、並んで撮像されている左側の歩行者を示す領域であり、領域41とは対応していない。したがって、領域41に基づく視差と領域42に基づく逆視差とは値が相違しており、障害物までの正確な距離及び方向を推算することができない。そして、相違していると判断した時点で障害物を検出していないと判断される。しかし、実際には歩行者が存在することから、安全の観点からこのような誤検出は回避する必要があった。
そこで本実施の形態では、領域42が検出された時点での検索処理の進捗状態に関する情報、例えば画面上に表示されている画像のどの位置で領域42が検出されたかを示す画像上の座標値を記憶しておく。そして、領域41に基づく視差と領域42に基づく逆視差とが相違していると判断した場合、記憶してある座標値を始点として検索処理を継続して実行する。このようにすることで、歩行者等の形状が類似しており、特に遠赤外線撮像装置1で撮像された画像上では区別することが困難である障害物が並んで存在する場合であっても、演算処理負荷を増加させること無く、視差を算出することが可能な障害物を検出することができる。
LSI33での詳細な処理について以下に説明する。図5及び図6は、本発明の実施の形態に係る障害物検出システムの検出装置3のLSI33の障害物検出処理の手順を示すフローチャートである。
LSI33は、画像メモリ32に記憶してある画像データを読み出し(ステップS501)、読み出した一方の画像データにて特徴量を抽出する(ステップS502)。抽出される特徴量は特に限定されるものではなく、例えば二値化処理、エッジ抽出、コーナ抽出等、候補領域を特定することができる特徴量であれば何でも良い。なお、一方の画像データの特徴量を抽出することに限定されるものではなく、特徴量によっては複数の画像データにて特徴量を抽出しても良い。
なお、検出する対象物が人間であると特定されている場合等には、使用する特徴量としては、人間の標準的な温度分布、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
LSI33は、抽出された特徴量に基づいて、一方の遠赤外線撮像装置1で撮像された画像データ中にて、抽出された特徴量が所定の条件、すなわち検出すべき対象物に固有の条件を具備している領域が存在するか否かを判断する(ステップS503)。LSI33が、所定の条件を具備している領域が存在しないと判断した場合(ステップS503:NO)、LSI33は、障害物が存在しないものと判断し(ステップS504)、処理を終了する。LSI33が、所定の条件を具備している領域が存在すると判断した場合(ステップS503:YES)、LSI33は、該領域を他方の遠赤外線撮像装置1で撮像された画像に対する相関値検索の候補領域として設定する(ステップS505)。
LSI33は、設定した一の候補領域に基づいて、相関値検索する順方向探索範囲の初期位置を特定する(ステップS506)。画像のどこからどのような順序で検索するかは特に限定されるものではない。相関値検索処理の演算処理負荷を考慮した場合、一方の遠赤外線撮像装置1で撮像された画像中にて、所定の条件を具備する領域として検出された領域の画像中の座標値と同一の座標値から、他方の遠赤外線撮像装置1で撮像された画像に対する相関値検索処理を実行することが好ましい。
しかし、車両との衝突の危険性を検出するという用途を鑑みれば、より危険な状態に対して、時間的な余裕の少ない、自車両に近接している対象物から先に検索し、危険な障害物の存在が検出された場合、該障害物よりも遠方の障害物に対する検出処理を省略することも可能である。したがって、安全性を確保しつつ演算処理負荷を低減させることが可能な方法を採用することがより好ましい。
また、順方向探索範囲は、障害物の検出処理において、動作対象としたい距離区間に応じて、カメラ間距離、カメラ焦点距離、画素ピッチ等の撮像装置パラメータから、検出対象距離区間に相当する視差として導出し、画像データ上での座標範囲として設定することが好ましい。
LSI33は、候補領域と、該候補領域に対応する順方向探索範囲内の探索領域との相関値を算出する(ステップS507)。順方向探索範囲内で特定する探索領域は、より衝突の危険性が高い、順方向探索範囲にて最も視差が大きい座標から順に視差が小さい座標へ向かって特定することが好ましい。
なお、LSI33が、候補領域と順方向探索範囲内の探索領域とで相関値Rを算出する場合、相関値Rは正規化相互相関等の相関値演算手法を用いて算出される。もちろん、相関値演算手法は、正規化相互相関に限定されるものではなく、SAD(輝度差の総和)、SSD(輝度差の二乗和)等、相関を算出することが可能な手法であればなんでも良い。
LSI33は、候補領域と順方向探索範囲内の探索領域との間の相関値が第1の閾値より高い相関を示す領域が存在するか否かを判断し(ステップS508)、LSI33が、第1の閾値より相関が高いと判断された探索領域が存在しないと判断した場合(ステップS508:NO)、LSI33は、全ての順方向探索範囲につき相関値の算出が終了したか否かを判断する(ステップS509)。LSI33が、全ての順方向探索範囲につき相関値の算出が終了したと判断した場合(ステップS509:YES)、LSI33は、当該候補領域に対する探索処理を終了する。
LSI33が、未算出である探索範囲が存在すると判断した場合(ステップS509:NO)、LSI33は、順方向探索範囲内にて次の探索位置を設定し(ステップS510)、処理をステップS507へ戻して上述した処理を繰り返す。
LSI33が、第1の閾値より相関が高いと判断された探索領域が存在すると判断した場合(ステップS508:YES)、LSI33は、高い相関が得られた左に設定された遠赤外線撮像装置1上の探索領域に基づいて、右に設置された遠赤外線撮像装置1上に逆方向探索範囲を特定し、相関が高いと判断された探索領域に基づいて、相関値検索する逆方向探索範囲の初期位置を特定する(ステップS511)。なお、画像のどこからどのような順序で検索するかは特に限定されるものではない。
LSI33は、相関が高いと判断された探索領域と、逆方向探索範囲内に設定した探索領域との相関値を算出する(ステップS512)。ここで、逆方向探索範囲は、順方向探索範囲を特定した場合と同様、動作の対象とする距離区間に応じて特定することが好ましい。逆方向探索範囲内に設定する探索領域についても、順方向探索範囲と同様に、近距離の障害物に相当する大きい視差側から、遠距離の障害物に相当する小さい視差側へ、順に処理することが好ましい。
LSI33は、相関が高いと判断された探索領域と、逆方向探索範囲内の探索領域との間の相関値が第2の閾値(探索≧第1の閾値)より高い相関を示す領域が存在するか否かを判断し(ステップS513)、LSI33が、相関値が第2の閾値(≧第1の閾値)より高い相関を示す領域が存在すると判断した場合(ステップS513:YES)、LSI33は、順方向探索で算出する視差と、逆方向探索で算出する視差(以下、逆視差という)とが略一致するか否かを判断する(ステップS514)。
LSI33が、視差と逆視差とが略一致すると判断した場合(ステップS514:YES)、LSI33は、障害物を正しく検出したものと判断し、当該視差を、右に設置した遠赤外線撮像装置1の候補領域に対する視差算出履歴情報としてRAM331に記録し(ステップS515)、障害物を検出した旨の信号を送出する(ステップS516)。
具体的には、LSI33は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置4又は警報装置5へ出力する。表示装置4では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置5では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。
LSI33が、第2の閾値より相関が高いと判断された探索領域が存在しないと判断した場合(ステップS513:NO)、及び視差と逆視差とが略一致しないと判断した場合(ステップS514:NO)、LSI33は、全ての逆方向探索範囲につき相関値の算出が終了したか否かを判断する(ステップS517)。LSI33が、全ての逆方向探索範囲につき相関値の算出が終了したと判断した場合(ステップS517:YES)、LSI33は、処理をステップS510へ戻し、上述した処理を繰り返す。
LSI33が、未算出である探索範囲が存在すると判断した場合(ステップS517:NO)、LSI33は、逆方向探索範囲内にて次の探索位置を設定し(ステップS518)、処理をステップS512へ戻して上述した処理を繰り返す。
以上のように本実施の形態によれば、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であり、視差と逆視差とが一致しない、すなわち誤った候補領域を検索したときであっても、領域の検索処理を継続して実行することができ、正しい候補領域が検索されるまで検索処理を行うことが可能となる。したがって、障害物の視差を正確に算出することができ、障害物までの距離及び方向を正確に推算することが可能となる。
なお、候補領域を抽出した時点で、該候補領域の移動遷移を追従する処理(いわゆるトラッキング処理)を実行することにより、遠赤外線撮像装置1、1で撮像された画像にて特徴量が所定値より大きい領域が抽出された場合、過去に算出された同一障害物と想定される候補領域が有する視差算出履歴情報を事前に取得しておくことにより、順方向探索範囲を絞り込むことができ、逆視差を算出することによる検証処理を省略することができる。
すなわち検出装置3は、検索の履歴情報として、例えば候補領域の代表点である重心座標値の移動履歴をRAM331にトラッキング情報として記憶する。トラッキング情報には、検出された障害物の位置、大きさ、視差等がフレーム単位で時系列的に記憶されている。図7は、トラッキング情報を用いる場合の、LSI33の処理手順を示すフローチャートである。
LSI33は、設定された候補領域に基づいて、RAM331に記憶してある前フレームでの視差算出履歴情報をトラッキング情報として読み出し(ステップS701)、トラッキング情報に含まれる視差、自車両の速度等に基づいて、推定される障害物が包含されるように、相関値検索する順方向探索範囲の初期位置を特定する(ステップS702)。画像のどこからどのような順序で検索するかは特に限定されるものではない。例えばトラッキング情報に含まれる座標履歴に基づいて、現フレームでの画像における推定座標を算出して、順方向探索範囲の中心点を初期位置としても良い。
いずれにしても、過去の視差値、その他のトラッキング情報を用いて、現フレームの画像にて該障害物が撮像されていると推定される画面上の座標値を定め、該座標値の近傍にのみ探索範囲を設定している。現在の位置の推定方法については、移動ベクトルを用いて算出することが好ましいが、特に限定されるものではなく、例えば単純な直線近似等であっても良い。
LSI33は、候補領域と、該候補領域に対応する順方向探索範囲内の探索領域との相関値を算出する(ステップS703)。順方向探索範囲内で特定する探索領域は、より衝突の危険性が高い、探索範囲にて最も視差が大きい座標から順に視差が小さい座標へ向かって特定することが好ましい。
LSI33は、候補領域と順方向探索範囲内の探索領域との間の相関値が第1の閾値より高い相関を示す領域が存在するか否かを判断し(ステップS704)、LSI33が、第1の閾値より相関が高いと判断された探索領域が存在しないと判断した場合(ステップS704:NO)、LSI33は、全ての順方向探索範囲につき相関値の算出が終了したか否かを判断する(ステップS705)。LSI33が、全ての順方向探索範囲につき相関値の算出が終了したと判断した場合(ステップS705:YES)、LSI33は、当該候補領域に対する探索処理を終了する。
なお、トラッキング情報に基づいて設定された探索範囲は、従来の方法で設定する探索範囲よりも一般に狭いことから、対応する領域が検出できなかった場合、従来の方法により順方向の探索範囲を設定し、まだ探索していない領域についてのみ再度探索処理を行っても良い。
LSI33が、未算出である探索範囲が存在すると判断した場合(ステップS705:NO)、LSI33は、順方向探索範囲内にて次の探索位置を設定し(ステップS706)、処理をステップS703へ戻して上述した処理を繰り返す。
LSI33が、第1の閾値より相関が高いと判断された探索領域が存在すると判断した場合(ステップ704:YES)、LSI33は、当該候補領域のトラッキング情報として、高い相関を得られた領域に相当する視差をRAM331に記録し(ステップS707)、逆視差の算出等の確認処理を行うことなく、障害物を検出した旨の信号を送出する(ステップS708)。
具体的は、LSI33は、歩行者等の障害物の存在を検出した旨を示す信号を表示装置4又は警報装置5へ出力する。表示装置4では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置5では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。
このようにすることで、過去の障害物の移動遷移をトラッキングしておくことにより、画像中に検出対象となる障害物が複数存在して隣接している場合、大きさが酷似している同一種類の障害物である場合等であっても、逆視差の算出処理を行うことなく視差画像中の障害物が対応している障害物であることを担保することができ、演算処理負荷を軽減することが可能となる。
なお、上述した実施の形態では、検出装置3のLSI33が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
1 遠赤外線撮像装置
3 検出装置
4 表示装置
5 警報装置
31a 映像入力部
31b 映像出力部
31c 映像出力部
32 画像メモリ
33 LSI
331 RAM
3 検出装置
4 表示装置
5 警報装置
31a 映像入力部
31b 映像出力部
31c 映像出力部
32 画像メモリ
33 LSI
331 RAM
Claims (4)
- 車両の周辺を撮像する複数の撮像装置と、
該複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備え、複数の撮像装置で撮像された画像に基づいて障害物を検出する障害物検出システムにおいて、
前記検出装置は、
前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出する候補領域抽出手段と、
一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定する第1の探索範囲特定手段と、
該第1の探索範囲特定手段で特定した第1の探索範囲内に、視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定する順方向探索領域特定手段と、
前記候補領域と前記順方向探索領域との間の視差を算出する視差算出手段と、
前記候補領域と前記順方向探索領域との第1の相関値を算出する第1の相関値算出手段と、
算出された第1の相関値が第1の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断する第1の判断手段と、
該第1の判断手段で第1の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第2の探索範囲を特定する第2の探索範囲特定手段と、
該第2の探索範囲特定手段で特定した第2の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定する逆方向探索領域特定手段と、
前記順方向探索領域特定手段で特定した順方向探索領域と前記逆方向探索領域との間の逆視差を算出する逆視差算出手段と、
前記順方向探索領域と前記逆方向探索領域との第2の相関値を算出する第2の相関値算出手段と、
算出された第2の相関値が第2の閾値(≧第1の閾値)よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断する第2の判断手段と、
該第2の判断手段で第2の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断する第3の判断手段と
を備え、
前記第3の判断手段で略一致すると判断した場合、前記候補領域にて障害物を検出したと判断するようにしてあることを特徴とする障害物検出システム。 - 前記第3の判断手段で一致しないと判断した場合、他の画像データ中にて、前記第1の判断手段で第1の閾値より高い相関を示す順方向探索領域を、順次繰り返し特定する手段と、
一の画像データ中にて、前記第2の判断手段で第2の閾値(≧第1の閾値)よりも高い相関を示す逆方向探索領域を、順次繰り返し特定する手段と
を備え、
前記第3の判断手段で略一致すると判断するまで順次繰り返し順方向探索領域及び逆方向探索領域を特定するようにしてあることを特徴とする請求項1記載の障害物検出システム。 - 前記候補領域ごとに映像フレーム単位で算出された視差を記憶する手段と、
前記候補領域抽出手段で抽出した候補領域の、前映像フレームで算出された視差を読み出す手段と
を備え、
読み出された視差近傍でのみ他の画像データ中にて探索範囲を特定し、
前記第1の判断手段にて第1の相関値が第1の閾値より高い相関を示す順方向探索領域が存在するか否かを判断するようにしてあることを特徴とする請求項1又は2記載の障害物検出システム。 - 車両の周辺を撮像する複数の撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記複数の撮像装置で撮像された画像データにて、所定の特徴量を有する領域を障害物が存在する候補領域として抽出し、
一の画像データにて抽出された候補領域に基づいて、他の画像データ中に第1の探索範囲を特定し、
特定された第1の探索範囲内に、算出された視差の大きい順に移動して前記候補領域との相関値を算出する順方向探索領域を特定し、
前記候補領域と前記順方向探索領域との間の視差を算出し、
前記候補領域と前記順方向探索領域との第1の相関値を算出し、
算出された第1の相関値が第1の閾値より高い相関を示す前記順方向探索領域が存在するか否かを判断し、
第1の閾値より高い相関を示す順方向探索領域が存在すると判断した場合、前記順方向探索領域に基づいて、一の画像データ中に第2の探索範囲を特定し、
特定された第2の探索範囲内に、逆視差の大きい順に移動して前記順方向探索領域との相関値を算出する逆方向探索領域を特定し、
特定された順方向探索領域と前記逆方向探索領域との間の逆視差を算出し、
前記順方向探索領域と前記逆方向探索領域との第2の相関値を算出し、
算出された第2の相関値が第2の閾値(≧第1の閾値)よりも高い相関を示す前記逆方向探索領域が存在するか否かを判断し、
第2の閾値よりも高い相関を示す逆方向探索領域が存在すると判断した場合、前記候補領域と前記順方向探索領域との視差、及び前記順方向探索領域と前記逆方向探索領域との逆視差が略一致しているか否かを判断し、
略一致すると判断した場合、前記候補領域にて障害物を検出したと判断することを特徴とする障害物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006201094A JP2008028857A (ja) | 2006-07-24 | 2006-07-24 | 障害物検出システム、及び障害物検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006201094A JP2008028857A (ja) | 2006-07-24 | 2006-07-24 | 障害物検出システム、及び障害物検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008028857A true JP2008028857A (ja) | 2008-02-07 |
Family
ID=39119025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006201094A Pending JP2008028857A (ja) | 2006-07-24 | 2006-07-24 | 障害物検出システム、及び障害物検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008028857A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872546A (zh) * | 2010-05-06 | 2010-10-27 | 复旦大学 | 一种基于视频的过境车辆快速检测方法 |
CN112580746A (zh) * | 2020-12-29 | 2021-03-30 | 武汉中海庭数据技术有限公司 | 一种众包数据多道路片段的连续划分方法与装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152914A (ja) * | 1993-11-26 | 1995-06-16 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JP2005062910A (ja) * | 2002-07-02 | 2005-03-10 | Honda Motor Co Ltd | 画像認識装置 |
-
2006
- 2006-07-24 JP JP2006201094A patent/JP2008028857A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152914A (ja) * | 1993-11-26 | 1995-06-16 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JP2005062910A (ja) * | 2002-07-02 | 2005-03-10 | Honda Motor Co Ltd | 画像認識装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872546A (zh) * | 2010-05-06 | 2010-10-27 | 复旦大学 | 一种基于视频的过境车辆快速检测方法 |
CN112580746A (zh) * | 2020-12-29 | 2021-03-30 | 武汉中海庭数据技术有限公司 | 一种众包数据多道路片段的连续划分方法与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4177826B2 (ja) | 画像処理装置および画像処理方法 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP5964108B2 (ja) | 物体検出装置 | |
KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
JP5760090B2 (ja) | 生体認識装置 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
KR102372296B1 (ko) | 영상 기반 주행 차로 판단 장치 및 방법 | |
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
JP2008026998A (ja) | 障害物位置算出システム、及び障害物位置算出方法 | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
EP1897751B1 (en) | Driving assist system for a vehicle | |
JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
JP2007139564A (ja) | 障害物検出システム、障害物検出方法及びコンピュータプログラム | |
JP2005285011A (ja) | 人間認識システム、及び画像処理装置 | |
JP2008028857A (ja) | 障害物検出システム、及び障害物検出方法 | |
EP2669849B1 (en) | Object detecting device and object detecting method | |
JP2011134119A (ja) | 車両周辺監視装置 | |
JP2009230229A (ja) | 物体検出装置 | |
JP2007317128A (ja) | 移動距離検出装置及び移動距離検出方法 | |
JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
JP2008146132A (ja) | 画像検出装置、プログラム及び画像検出方法 | |
JP2020087233A (ja) | 認識処理装置、認識処理方法及びプログラム | |
US9430707B2 (en) | Filtering device and environment recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110816 |