JP2004257924A

JP2004257924A - Object detector

Info

Publication number: JP2004257924A
Application number: JP2003050536A
Authority: JP
Inventors: Masabumi Tsuji; 正文辻
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2004-09-16
Anticipated expiration: 2023-02-27
Also published as: JP3988657B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detector for drastically reducing throughput in template matching used for detecting an object. <P>SOLUTION: This object detector is equipped with: a thermal image acquisition means 11 such as an infrared camera; a visible image acquisition means 12 such as a visible camera, a candidate area extraction means 13 for extracting a high-temperature area and a middle-temperature area as candidate areas having temperature information and positional information based on temperature information on a thermal image; a candidate area setting means 14 for setting a detection area in a visible image acquired based on the positions of the extracted candidate areas; a template selection means 15 for selecting optimum one from among templates given temperature information; and an object detection means 16 for detecting an object by performing template matching by using the template selected by the selection means 15 with respect to the set detection area. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、電子式のカメラにより撮像された映像から対象物を検出する対象物検出装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開平１１−４４５３３号公報
【特許文献２】特開２００２−９８７６４号公報。
【０００３】
例えば車両に搭載され、車両走行時の自車両の挙動計画に影響を及ぼす先行車や歩行者などの対象物の検出に関する技術に関して、レーザレーダ等の測距センサと、可視カメラ等の画像センサとを備えた対象物検出装置で、測距センサによる測距データに基づいて、対象物の存在位置を仮決めして、仮決めした領域で可視画像中から対象物を検出することで、検出処理時の計算負荷を減少させるという研究が広く行われている。
例えばレーダとカメラとを備え、カメラが捉えた画像から、自動制動などのために前方車両との車間距離を推定する装置に関するものとして、上記特許文献１、２に記載されるものがある。これらの装置は、レーザレーダが前方車両までの車間距離を検出している間に、当該前方車両の一部をテンプレートとして記憶し、レーザレーダが前方車両までの車間距離を検出できなくなったら、ＣＣＤカメラで捉えた画像の中に、テンプレートに最も類似する画像領域を相関処理によって求め、その中心の位置までの距離を車間距離として推定するものである。これらの装置に共通していることは、レーザレーダが前方車両までの車間距離を検出できなくなる前の測距データに応じて、ＣＣＤカメラで捉えた画像中に前方車両を検出する領域を設定して、その領域内をテンプレートマッチング等の手法を用いて探索し、前方車両の詳細な位置を検出するというものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、測距を目的としたレーザレーダ等のアクティブセンサを用いた場合には、路側に設けられたデリニエータ（反射板。図５（ａ）の符号２２参照）等が存在する場合、これらのデリニエータも測距されてしまうので、本来不要な領域であるデリニエータに相当する候補領域も処理対象領域として設定されてしまうため、パターンマッチングなどの検出処理量が増えてしまう。
本発明の目的は、対象物の検出に用いるテンプレートマッチングでの処理量を低減できる対象物検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明の対象物検出装置は、熱画像取得手段と、可視画像取得手段と、熱画像の温度情報に基づいて候補領域を抽出する候補領域抽出手段と、候補領域の位置に基づいて可視画像に検出領域を設定する候補領域設定手段と、候補領域の温度情報に基づいて温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段と、検出領域に対してテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段とを備える構成になっている。
【０００６】
【発明の効果】
本発明によれば、対象物の検出に用いるテンプレートマッチングでの処理量を低減できる対象物検出装置を提供することができる。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態について図面に基づいて詳細に説明する。
図１は本発明の一実施の形態の対象物検出装置の構成ブロック図、図２は図１の対象物検出装置の機能ブロック図、図３（ａ）、（ｂ）は本実施の形態に係る熱画像取得手段および可視画像取得手段の取付け位置を示す平面図および側面図、図４は本実施の形態における処理の流れを示すフローチャート、図５（ａ）〜（ｃ）は本実施の形態において取得された可視画像の一例を示す図、図６は本実施の形態のテンプレート選択処理の流れを示すフローチャートである。
【０００８】
本実施の形態の対象物検出装置は、図１に示すように赤外線カメラ１、可視カメラ２、マイクロコンピュータ３から構成され、外部出力装置として車両制御装置４、警報装置５、ディスプレイ６が接続されている。
人体温度に代表される波長領域に感度のある赤外線カメラ１は、図３に示すように車幅方向中央の、車両のバンパまたはグリル内に、レンズの光軸と車両中心線とのパン角、チルト角がパン角１、チルト角１となるように取り付けられ、車両進行方向前方の道路を撮像する。また、ＣＣＤやＣＭＯＳなどの撮像素子を用いたカメラに代表される可視カメラ２は、車幅方向中央の、車室内のフロントウィンドウ上部に、レンズの光軸と車両中心線とのパン角、チルト角がパン角２、チルト角２となるように取り付けられ、車両進行方向前方の道路を撮像する。この場合、赤外線カメラ１と可視カメラ２の取付け角度であるパン角とチルト角は、パン角１＝パン角２＝０、チルト角１＝チルト角２となるように設置することが望ましい。
【０００９】
図１に示すように、マイクロコンピュータ３は、赤外線カメラ１により撮像された熱画像（温度情報を有する）から候補領域として、該熱画像内における高温領域および中温領域の位置とこれら候補領域の代表温度を抽出する。そして、抽出された候補領域の位置に基づいて、可視カメラ２により撮像された可視画像、すなわち濃淡画像または色画像（カラー画像）内に検出対象物を探索する検出領域を設定し、抽出された候補領域の温度に応じてテンプレートを選択して、設定された検出領域内で対象物の有無とその詳細な位置を検出する。
車両制御装置４は、マイクロコンピュータ３からの出力結果に基づいて、ステアリングやアクセルやブレーキ等の制御を行うものである。また、警報装置５は、マイクロコンピュータ３からの出力信号に基づいて、歩行者の有無や衝突危険性などの警報を発する装置である。さらに、ディスプレイ６は、検出結果の先行車や歩行者の位置を表示するための表示装置である。
【００１０】
なお、図２は本実施の形態の対象物検出装置を機能的に表現した図であり、図２の機能ブロックと、図１に示すハードウェアとして表現したものとを対比させると、赤外線カメラ１が熱画像取得手段１１、可視カメラ２が可視画像取得手段１２、マイクロコンピュータ３が候補領域抽出手段１３、候補領域設定手段１４、テンプレート選択手段１５および対象物検出手段１６にそれぞれ相当する。また、テンプレート選択手段１５は、テンプレート候補選択手段１５１、特徴量抽出手段１５２、およびテンプレート決定手段１５３から構成される。これらの詳細は後述する。
【００１１】
次に、図４に基づきマイクロコンピュータ３による手順を説明する。
まず、ステップ１（Ｓ１）において、処理に必要なパラメータの初期設定を行う。
次に、ステップ２（Ｓ２）において、赤外線カメラ１（図１参照。以下同様）により車両進行方向前方を撮像して、熱画像を処理領域に取り込む。ここで、赤外線カメラ１は、検出対象物として人体を含めて考える場合には、８〜１２μｍの遠赤外線波長域に感度を有するものであれば良い。
そして、ステップ３（Ｓ３）において、可視カメラ２により車両進行方向前方を撮像して、可視画像を処理領域に取り込む。ここで、可視カメラ２は、撮像素子としてＣＣＤやＣＭＯＳを用いているもので良く、また、白黒カメラでもカラーカメラでも構わない。可視画像は、白黒カメラを使う場合は濃淡画像、カラーカメラを使う場合は色画像である。本実施の形態では、可視カメラ２として、色情報が取得できるカラーカメラを用いた場合について説明する。なお、ステップ２（Ｓ２）およびステップ３（Ｓ３）の順序は、ステップ間の間隔が短ければ、どちらが先でも構わない。また、場合によっては両方を並列に処理してしまうことも可能である。
【００１２】
次に、ステップ４（Ｓ４）では、ステップ２（Ｓ２）で得られた熱画像から候補領域を抽出する。すなわち、対象物の特徴を表す温度領域を塊として抽出する。本実施の形態においては、検出対象物を先行車および歩行者（人物）として説明するものとする。これ以外のものを検出の対象とする場合には、その対象が有する温度情報を特徴量として、それぞれ本ステップにおいて処理対象に加えればよい。まず、先行車の場合は、マフラー領域が１００℃程度の高温になることを利用して、熱画像中から例えば８０℃以上の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。一方、歩行者の場合は、露出している顔の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度情報を有する領域を探索して、その領域の位置情報と温度情報を検出する。ここで、各領域で検出される結果のうち、位置情報としては例えば塊の重心座標位置とすればよく、温度情報としては例えば塊の平均温度とすればよい。
そして、ステップ５（Ｓ５）では、ステップ４（Ｓ４）で得られた各領域の位置情報と温度情報を対応付けした位置および温度リストを作成して以降の処理に進む。
次に、ステップ６（Ｓ６）では、ステップ５（Ｓ５）で作成したリストに基づいて、検出対象である先行車や歩行者の特徴量を示す温度情報が抽出されているかどうかを判定する。リスト内に対象物の候補が一つも抽出されていない場合には、今回の赤外線カメラ１による撮像画像の中には検出対象である先行車や歩行者が存在しないものと判断して、次回の処理のためにステップ２（Ｓ２）に戻る。一方、リスト内に対象物の候補が一つ以上抽出されている場合には次のステップ（Ｓ７）に進んで、可視画像中からの対象物の検出を行う。
そして、ステップ７（Ｓ７）では、ステップ５（Ｓ５）で作成したリストに基づいて、対象物の検出処理を行う検出領域を可視画像中に設定する。可視カメラ２により取得された可視画像の一例を図５（ａ）に示す。この例は、自車両が道路上に引かれた白線２１で区画された走行車線を走行している場面である。対象物になり得るものとしてデリニエータ２２、歩行者２３および先行車２４が撮像されている。そして、ステップ４（Ｓ４）およびステップ５（Ｓ５）で抽出された候補領域が、図５（ｂ）に示すように高温領域３０および中温領域３１であれば、本ステップでは、候補領域の位置をリストの位置情報から、候補領域の大きさをリストの温度情報から判断して、可視画像中にそれぞれ設定する。このようにして、先行車存在候補領域２６および歩行者存在候補領域２７を検出領域としてそれぞれ設定する。
【００１３】
次に、ステップ８（Ｓ８）では、ステップ７（Ｓ７）で設定した検出領域について、テンプレートマッチング処理に用いるテンプレートを選択する。このテンプレート選択処理について、図６を用いて説明する。
まず、ステップ８０１（Ｓ８０１）において、図４のステップ５（Ｓ５）で作成したリストの温度情報に基づいて、以降の処理で用いるためのテンプレート候補を選択する。具体的には、その候補領域の平均温度情報±ΔＴの範囲内の値を持つテンプレートを一つの候補領域内での対象物検出に用いるテンプレート候補とするものである。図５（ｂ）に示す高温領域３０の平均温度が例えば１００℃、中温領域３１の平均温度が例えば２８℃、所定値であるΔＴを例えば３℃であるとする。先行車存在候補領域２６に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が１００±３℃となる。ただし、高温部分については、通常の走行環境内では特殊な存在であるため、あらかじめ例えば８０℃以上の領域をテンプレートとして選択しても良い。一方、歩行者存在候補領域２７に用いるテンプレートとして選択されるのは、テンプレートがもつ温度情報が２８±３℃となる。高温部分については、外気温の影響を受けること等を考えると、同一の物体でも所定の範囲では温度が変化することを考慮する必要がある。また、今回の例では中温情報を有する対象物を歩行者としているが、例えば動物（犬等）と区別するためには、本ステップで動物のテンプレートも候補として選択される。
次に、ステップ８０２（Ｓ８０２）において、ステップ７（Ｓ７）で設定された検出領域毎に、可視画像から特徴量として濃度情報（濃淡情報）および色情報を抽出する。例えば白黒カメラの場合は、濃度情報のみになるが、濃度情報から平均濃度値や濃度ヒストグラムのピークを有する濃度値、またはエッジ情報を利用して、検出領域内の対象物の大きさや種類を推定できる特徴量を抽出するようにすればよい。また、例えばカラーカメラの場合は、濃度情報に加えて色情報が得られるので、検出領域内に先行車のテールランプに相当する赤い領域が存在するかどうか等を抽出するようにすればよい。
そして、ステップ８０３（Ｓ８０３）において、ステップ８０１（Ｓ８０１）およびステップ８０２（Ｓ８０２）の結果に基づいて、可視画像中に設定された検出領域毎に最適なテンプレートを決定する。本ステップにより、図５（ｃ）に示すように、先行車存在候補領域２６については車両テンプレート２８が選択され、歩行者存在候補領域２７については人テンプレート２９が選択され、以降の処理でこの選択されたテンプレートを用いて、可視画像中でテンプレートマッチング処理を行う。
【００１４】
すなわち、図４のステップ９（Ｓ９）では、ステップ８（Ｓ８）で選択されたテンプレートを用いて、可視画像中でテンプレートマッチング処理を行い、各検出領域内での最終的な対象物の有無およびその位置を検出する。ステップ８（Ｓ８）において、図５（ｃ）に示すように、前述のごとく先行車存在候補領域２６については車両テンプレート２８が選択され、歩行者存在候補領域２７については人テンプレート２９が選択されている。本ステップでは、先行車存在候補領域２６から先行車２４を検出する場合には、車両テンプレート２８を用いて、先行車存在候補領域２６と車両テンプレート２８での濃度値（濃淡値）の相関演算によって先行車の有無とその詳細な位置を検出する。また、歩行者存在候補領域２７から歩行者２３を検出する場合には、歩行者存在候補領域２７と人テンプレート２９での濃度値の相関演算によって歩行者の有無とその詳細な位置を検出する。本実施の形態では、テンプレートマッチング処理時にテンプレートマッチング処理を濃度値での相関演算で行っているが、本発明はこれに限定するものではなく、例えばエッジ画像をテンプレートとして持っておき、この相関値で最終的な対象物の有無とその位置を検出するようにしても構わない。
【００１５】
次に、ステップ１０（Ｓ１０）では、ステップ５（Ｓ５）で作成されたリストにある領域の全てに対して検出処理が行われたかどうかを判定する。リストにある領域全ての処理が終了していなければ、処理領域を切り替えるために、ステップ７（Ｓ７）に戻り、検出領域の設定を行う。リストにある領域全ての処理が終了していれば、それまでの処理結果を出力するために次のステップへ進む。
最後に、ステップ１１（Ｓ１１）では、外部に接続されている機器に対して検出結果を出力して、次回以降の処理を行うためにステップ２（Ｓ２）へ戻る。具体的には、例えばステアリングやアクセルやブレーキ等の制御を行うために、本処理の検出結果を図１の車両制御装置４に出力する。また、例えば歩行者の有無や衝突危険性などの警報を発するため、本処理の検出結果を警報装置５に出力する。さらに、例えば検出結果の先行車や歩行者の位置を表示するために、本処理の検出結果をディスプレイ６に出力する。
【００１６】
以上のように、本実施の形態では、撮像された映像から対象物を検出する対象物検出装置において、図１、図２に示したように、熱画像を取得する赤外線カメラ１等の熱画像取得手段１１と、可視画像を取得する可視カメラ２等の可視画像取得手段１２と、熱画像取得手段１１により取得された熱画像の温度情報に基づいて、温度情報と位置情報を有する高温領域である候補領域を抽出する候補領域抽出手段１３と、候補領域抽出手段１３により抽出された候補領域の位置に基づいて、可視画像取得手段１２により取得された可視画像に検出領域を設定する候補領域設定手段１４と、候補領域抽出手段１３により抽出された候補領域の温度情報に基づいて、温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段１５と、候補領域設定手段１４により設定された検出領域に対して、テンプレート選択手段１５により選択されたテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段１６とを備えるという構成になっている。
このような構成によれば、熱画像から検出対象物が存在する場所を仮決めして、熱源が存在する領域に限定して可視画像からの検出処理を行うので、測距センサを用いた場合の測距データに基づいた場合に比べて、道路構造物であるデリニエータ等の影響を排除することができる。そのため、可視画像でのパターンマッチング処理に有する処理量を低減することが可能である。また、温度情報を利用することにより可視画像に設定された検出領域内に存在する対象物の種類を特定できるため、同じ領域に対して複数のパターンを用いたパターンマッチング処理を行う必要がなくなるので、処理時間を大幅に低減することが可能である。すなわち、温度情報によって対象物が存在する領域と対象物の種類を簡単な方法で特定できるものであり、自車両の行動計画に影響を与える障害物である対象物、特に先行車や歩行者等の検出の際に、対象物が有する特徴量である熱情報を利用することでデリニエータ等の道路構造物等の不要な対象を可視画像からの検出対象領域に設定してしまうことを回避できるため、可視画像からの処理に要する処理量を低減することが可能な対象物検出装置を提供することができる。
つまり、前述のごとく、従来の装置では、測距を目的としたレーザレーダ等のアクティブセンサを用いた場合には、デリニエータ等の道路構造物が存在する場合、これらの物も測距されてしまうので、本来不要な領域であるデリニエータに相当する候補領域も処理対象領域として設定されてしまうため、パターンマッチングなどの検出処理量が増えてしまう。また、距離データだけでは障害物の種類までは特定できないため、各候補領域に対して、異なるテンプレートを合わせてみる必要があるため、処理量が増えてしまうという問題があったが、本実施の形態の装置では、これらの問題を解決することができる。
【００１７】
また、本実施の形態では、図２に示したように、テンプレート選択手段１５は、候補領域抽出手段１３により抽出された候補領域の温度情報に基づいて、温度情報が予め決めた所定の範囲内であるテンプレートをテンプレート候補として選択するテンプレート候補選択手段１５１と、候補領域設定手段１４により設定された検出領域において、可視画像取得手段１２により取得された可視画像から、濃度情報や色情報等の特徴量を抽出する特徴量抽出手段１５２と、特徴量抽出手段１５２により抽出された特徴量に基づいて、テンプレート候補選択手段１５１により選択されたテンプレート候補から特定のテンプレートを決定するテンプレート決定手段１５３とを備えるという構成になっている。
このような構成によれば、熱情報だけでなく可視領域で得られる濃度情報や色情報等の特徴量を利用するようにしているので、似たような熱情報を有するテンプレート候補、例えば人と犬等の中から、設定された検出領域毎に最適なテンプレートを選び出すことが可能な対象物検出装置を提供することができる。
【００１８】
また、本実施の形態では、熱画像取得手段１１である赤外線カメラ１および可視画像取得手段１２である可視カメラ２は、図３に示したように、車両の進行方向前方を撮像し、光軸を同じ方向に合わせて車両に搭載されているという構成になっている。
このような構成によれば、異なる撮像系間の位置関係の対応付けが簡単にできるため、位置合わせ時の計算を簡略化することが可能な対象物検出装置を提供することができる。
【００１９】
また、本実施の形態では、可視画像取得手段１２は、熱画像取得手段１１により撮像する領域の少なくとも一部分の領域を撮像するという構成になっている。
このような構成によれば、検出領域を設定するための基準となる空間が、最終的に対象物の有無とその位置を検出する可視画像よりも広いため、可視画像全体を無駄なく検出対象とすることが可能な対象物検出装置を提供することができる。
つまり、本実施の形態では、上記のような効果があるので、先行車や歩行者の存在を検出する際の計算量を大幅に低減させることが可能となる対象物検出装置を提供することができる。
以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の一実施の形態の対象物検出装置のシステム構成を示す図である。
【図２】本発明の一実施の形態の機能ブロック図である。
【図３】本発明の一実施の形態の熱画像取得手段および可視画像取得手段の取付け位置を示す平面図および側面図である。
【図４】本発明の一実施の形態の処理の流れを示すフローチャートである。
【図５】本発明の一実施の形態の処理状態の一例を示す図である。
【図６】本発明の一実施の形態のテンプレート選択処理の流れを示すフローチャートである。
【符号の説明】
１…赤外線カメラ
２…可視カメラ
３…マイクロコンピュータ
４…車両制御装置
５…警報装置
６…ディスプレイ
１１…熱画像取得手段
１２…可視画像取得手段
１３…候補領域抽出手段
１４…候補領域設定手段
１５…テンプレート選択手段
１６…対象物検出手段
２１…白線
２２…デリニエータ
２３…歩行者
２４…先行車
２６…先行車存在候補領域
２７…歩行者存在候補領域
２８…車両テンプレート
２９…人テンプレート
３０…高温領域
３１…中温領域
１５１…テンプレート候補選択手段
１５２…特徴量抽出手段
１５３…テンプレート決定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object detection device that detects an object from an image captured by an electronic camera.
[0002]
[Prior art]
[Patent Document 1] JP-A-11-44533 [Patent Document 2] JP-A-2002-98764.
[0003]
For example, with regard to technology related to detection of objects such as preceding vehicles and pedestrians that are mounted on the vehicle and affect the behavior plan of the own vehicle when running the vehicle, distance measurement sensors such as laser radar and image sensors such as visible cameras Tentatively determines the location of the object based on the distance measurement data from the distance measurement sensor, and detects the object from the visible image in the tentatively determined area to perform detection processing. Research on reducing the computational load of time has been widely performed.
For example, Patent Literatures 1 and 2 disclose a device that includes a radar and a camera, and that estimates an inter-vehicle distance to a preceding vehicle for automatic braking or the like from an image captured by the camera. These devices store a part of the preceding vehicle as a template while the laser radar detects the inter-vehicle distance to the vehicle in front, and when the laser radar cannot detect the inter-vehicle distance to the vehicle in front, a CCD is used. In the image captured by the camera, an image region most similar to the template is obtained by correlation processing, and a distance to the center position is estimated as an inter-vehicle distance. What is common to these devices is that, based on the distance measurement data before the laser radar cannot detect the inter-vehicle distance to the preceding vehicle, an area for detecting the preceding vehicle is set in the image captured by the CCD camera. Then, the area is searched using a technique such as template matching, and the detailed position of the preceding vehicle is detected.
[0004]
[Problems to be solved by the invention]
However, when an active sensor such as a laser radar for distance measurement is used, if there is a delineator (reflector; see reference numeral 22 in FIG. 5A) provided on the road side, these delinators are used. Since the distance is also measured, a candidate area corresponding to a delineator, which is essentially unnecessary, is also set as a processing target area, and the amount of detection processing such as pattern matching increases.
An object of the present invention is to provide an object detection device that can reduce the amount of processing in template matching used for object detection.
[0005]
[Means for Solving the Problems]
In order to solve the above problem, the object detection device of the present invention includes a thermal image acquiring unit, a visible image acquiring unit, a candidate region extracting unit that extracts a candidate region based on temperature information of the thermal image, and a candidate region extracting unit. Candidate area setting means for setting a detection area in the visible image based on the position; template selection means for selecting an optimal template from templates to which temperature information has been added based on the temperature information of the candidate area; And an object detecting means for detecting an object by performing template matching using a template.
[0006]
【The invention's effect】
According to the present invention, it is possible to provide an object detection device capable of reducing the amount of processing in template matching used for object detection.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a configuration block diagram of an object detection device according to an embodiment of the present invention, FIG. 2 is a functional block diagram of the object detection device of FIG. 1, and FIGS. FIG. 4 is a plan view and a side view showing the mounting positions of the thermal image acquiring means and the visible image acquiring means. FIG. 4 is a flowchart showing the flow of processing in the present embodiment. FIGS. 5 (a) to 5 (c) show the present embodiment. FIG. 6 is a flowchart showing a template selection process according to the present embodiment.
[0008]
As shown in FIG. 1, the object detection device according to the present embodiment includes an infrared camera 1, a visible camera 2, and a microcomputer 3, and a vehicle control device 4, an alarm device 5, and a display 6 are connected as external output devices. ing.
As shown in FIG. 3, an infrared camera 1 sensitive to a wavelength region represented by a human body temperature has a pan angle between an optical axis of a lens and a vehicle center line in a vehicle bumper or grill at a vehicle width direction center. The camera is mounted so that the tilt angle becomes the pan angle 1 and the tilt angle 1, and images a road ahead in the vehicle traveling direction. Further, a visible camera 2 typified by a camera using an image sensor such as a CCD or a CMOS has a pan angle, a tilt angle between an optical axis of a lens and a vehicle center line at an upper portion of a front window in a vehicle interior at a center in a vehicle width direction. The camera is mounted so that the angles are the pan angle 2 and the tilt angle 2, and images a road ahead in the vehicle traveling direction. In this case, it is desirable to set the pan angle and the tilt angle, which are the mounting angles of the infrared camera 1 and the visible camera 2, such that pan angle 1 = pan angle 2 = 0 and tilt angle 1 = tilt angle 2.
[0009]
As shown in FIG. 1, the microcomputer 3 determines the positions of the high-temperature region and the medium-temperature region in the thermal image and representatives of these candidate regions from the thermal image (having temperature information) captured by the infrared camera 1 as a candidate region. Extract the temperature. Then, based on the position of the extracted candidate region, a detection region for searching for a detection target is set in a visible image captured by the visible camera 2, that is, a grayscale image or a color image (color image), and the extracted detection region is extracted. A template is selected according to the temperature of the candidate area, and the presence or absence of the object and its detailed position are detected within the set detection area.
The vehicle control device 4 controls a steering, an accelerator, a brake, and the like based on an output result from the microcomputer 3. The alarm device 5 is a device that issues an alarm based on an output signal from the microcomputer 3 such as the presence or absence of a pedestrian or the danger of collision. Further, the display 6 is a display device for displaying the position of a preceding vehicle or a pedestrian as a result of the detection.
[0010]
FIG. 2 is a diagram functionally illustrating the object detection device according to the present embodiment. When comparing the functional block of FIG. 2 with the hardware shown in FIG. Denotes a thermal image acquiring unit 11, the visible camera 2 corresponds to a visible image acquiring unit 12, and the microcomputer 3 corresponds to a candidate region extracting unit 13, a candidate region setting unit 14, a template selecting unit 15, and an object detecting unit 16, respectively. The template selecting unit 15 includes a template candidate selecting unit 151, a feature amount extracting unit 152, and a template determining unit 153. Details of these will be described later.
[0011]
Next, a procedure by the microcomputer 3 will be described with reference to FIG.
First, in step 1 (S1), parameters required for processing are initialized.
Next, in step 2 (S2), the infrared camera 1 (see FIG. 1; the same applies hereinafter) captures an image of the front of the vehicle in the traveling direction, and captures a thermal image into the processing area. Here, when considering the human body as the detection target, the infrared camera 1 only needs to have a sensitivity in the far infrared wavelength range of 8 to 12 μm.
Then, in step 3 (S3), the visible camera 2 captures an image of the front of the vehicle in the traveling direction, and captures the visible image into the processing area. Here, the visible camera 2 may use a CCD or CMOS as an image sensor, and may be a monochrome camera or a color camera. The visible image is a grayscale image when using a monochrome camera, and a color image when using a color camera. In the present embodiment, a case where a color camera capable of acquiring color information is used as the visible camera 2 will be described. Note that the order of step 2 (S2) and step 3 (S3) does not matter as long as the interval between the steps is short. In some cases, both can be processed in parallel.
[0012]
Next, in step 4 (S4), candidate regions are extracted from the thermal image obtained in step 2 (S2). That is, the temperature region representing the feature of the object is extracted as a lump. In the present embodiment, the detection target will be described as a preceding vehicle and a pedestrian (person). In the case where a target other than this is to be detected, the temperature information of the target may be added to the processing target in this step as a feature amount. First, in the case of the preceding vehicle, a region having temperature information of, for example, 80 ° C. or more is searched from the thermal image by utilizing the fact that the muffler region is heated to about 100 ° C., and the position information and the temperature of the region are searched. Detect information. On the other hand, in the case of a pedestrian, a region having temperature information of, for example, about 30 ° C. is searched from the thermal image by utilizing the fact that the surface temperature of the exposed face becomes a medium temperature of about 30 ° C. The position information and temperature information of the area are detected. Here, among the results detected in each region, the position information may be, for example, the barycentric coordinate position of the lump, and the temperature information may be, for example, the average temperature of the lump.
Then, in step 5 (S5), a position and temperature list in which the position information of each region obtained in step 4 (S4) is associated with the temperature information is created, and the process proceeds to subsequent steps.
Next, in step 6 (S6), based on the list created in step 5 (S5), it is determined whether or not temperature information indicating the feature amount of the preceding vehicle or pedestrian to be detected has been extracted. If no candidate for an object is extracted in the list, it is determined that there is no preceding vehicle or pedestrian to be detected in the image captured by the infrared camera 1 at this time, and The process returns to step 2 (S2) for processing. On the other hand, if one or more object candidates have been extracted from the list, the process proceeds to the next step (S7) to detect the object from the visible image.
In step 7 (S7), based on the list created in step 5 (S5), a detection area for performing the object detection processing is set in the visible image. FIG. 5A shows an example of a visible image acquired by the visible camera 2. In this example, the vehicle is traveling on a traveling lane defined by a white line 21 drawn on a road. The delineator 22, the pedestrian 23, and the preceding vehicle 24 are imaged as potential objects. If the candidate regions extracted in step 4 (S4) and step 5 (S5) are the high temperature region 30 and the medium temperature region 31 as shown in FIG. 5B, in this step, the position of the candidate region is determined. From the position information of the list, the size of the candidate area is determined from the temperature information of the list, and is set in each visible image. In this way, the preceding vehicle presence candidate area 26 and the pedestrian presence candidate area 27 are set as detection areas.
[0013]
Next, in step 8 (S8), a template used for template matching processing is selected for the detection area set in step 7 (S7). This template selection process will be described with reference to FIG.
First, in step 801 (S801), template candidates to be used in the subsequent processing are selected based on the temperature information in the list created in step 5 (S5) of FIG. Specifically, a template having a value within a range of the average temperature information ± ΔT of the candidate area is set as a template candidate used for detecting an object in one candidate area. It is assumed that the average temperature of the high temperature region 30 shown in FIG. 5B is, for example, 100 ° C., the average temperature of the middle temperature region 31 is, for example, 28 ° C., and the predetermined value ΔT is, for example, 3 ° C. The temperature information of the template to be selected as the template used for the preceding vehicle presence candidate area 26 is 100 ± 3 ° C. However, since the high-temperature portion is special in a normal traveling environment, an area of, for example, 80 ° C. or higher may be selected in advance as a template. On the other hand, the temperature information of the template to be selected as the template used for the pedestrian presence candidate area 27 is 28 ± 3 ° C. Considering that the high temperature portion is affected by the outside air temperature, it is necessary to consider that the temperature of the same object changes within a predetermined range. In this example, the target having the medium temperature information is a pedestrian. However, in order to distinguish the target from an animal (such as a dog), an animal template is also selected as a candidate in this step.
Next, in step 802 (S802), for each detection area set in step 7 (S7), density information (shading information) and color information are extracted from the visible image as feature amounts. For example, in the case of a black-and-white camera, only the density information is used, but the size and type of the target object in the detection area are estimated from the density information using the average density value, the density value having the peak of the density histogram, or the edge information. What is necessary is just to extract the feature amount that can be obtained. In the case of a color camera, for example, color information can be obtained in addition to the density information. Therefore, it may be extracted whether or not a red area corresponding to the tail lamp of the preceding vehicle exists in the detection area.
Then, in step 803 (S803), an optimal template is determined for each detection area set in the visible image based on the results of steps 801 (S801) and 802 (S802). By this step, as shown in FIG. 5C, the vehicle template 28 is selected for the preceding vehicle presence candidate area 26, and the human template 29 is selected for the pedestrian presence candidate area 27, and this selection is performed in the subsequent processing. The template matching process is performed in the visible image using the template thus set.
[0014]
That is, in step 9 (S9) of FIG. 4, template matching processing is performed in the visible image using the template selected in step 8 (S8), and the presence or absence of the final target in each detection area is determined. The position is detected. In step 8 (S8), as shown in FIG. 5C, the vehicle template 28 is selected for the preceding vehicle presence candidate area 26, and the human template 29 is selected for the pedestrian presence candidate area 27, as described above. I have. In this step, when the preceding vehicle 24 is detected from the preceding vehicle presence candidate area 26, the vehicle template 28 is used to calculate the correlation between the preceding vehicle presence candidate area 26 and the density value (shade value) in the vehicle template 28. The presence of a preceding vehicle and its detailed position are detected. When detecting the pedestrian 23 from the pedestrian presence candidate area 27, the presence or absence of a pedestrian and its detailed position are detected by calculating the correlation between the pedestrian presence candidate area 27 and the density value in the person template 29. In the present embodiment, the template matching process is performed by the correlation operation using the density value during the template matching process. However, the present invention is not limited to this. For example, an edge image is provided as a template, and the correlation value is calculated. Then, the presence or absence of the final object and its position may be detected.
[0015]
Next, in step 10 (S10), it is determined whether or not the detection processing has been performed on all of the areas in the list created in step 5 (S5). If the processing of all the areas in the list has not been completed, the processing returns to step 7 (S7) to switch the processing area, and the detection area is set. If all the areas in the list have been processed, the process proceeds to the next step to output the processing results up to that point.
Finally, in step 11 (S11), the detection result is output to the externally connected device, and the process returns to step 2 (S2) in order to perform the subsequent processing. Specifically, for example, in order to control steering, an accelerator, a brake, and the like, the detection result of this processing is output to the vehicle control device 4 of FIG. In addition, the detection result of this processing is output to the alarm device 5 in order to issue an alarm such as the presence or absence of a pedestrian or the danger of collision. Further, for example, in order to display the position of the preceding vehicle or the pedestrian of the detection result, the detection result of this processing is output to the display 6.
[0016]
As described above, in the present embodiment, as shown in FIGS. 1 and 2, a thermal image of the infrared camera 1 or the like for acquiring a thermal image An acquiring unit 11; a visible image acquiring unit 12 such as a visible camera 2 for acquiring a visible image; and a high-temperature region having temperature information and position information based on the temperature information of the thermal image acquired by the thermal image acquiring unit 11. A candidate area extracting means for extracting a certain candidate area, and a candidate area setting for setting a detection area in the visible image acquired by the visible image acquiring means based on the position of the candidate area extracted by the candidate area extracting means. A template for selecting an optimal template from the templates to which the temperature information has been added, based on the temperature information of the candidate area extracted by the candidate area extracting means; Selection means 15 and object detection means 16 for detecting an object by performing template matching on the detection area set by candidate area setting means 14 using the template selected by template selection means 15. It is configured to be provided.
According to such a configuration, the location where the detection target is present is provisionally determined from the thermal image, and the detection process is performed from the visible image only in the region where the heat source is present. As compared with the case based on the distance measurement data, the influence of a road structure such as a delineator can be eliminated. Therefore, it is possible to reduce the amount of processing required for the pattern matching processing on the visible image. In addition, by using the temperature information, it is possible to specify the type of the object existing in the detection area set in the visible image, so that it is not necessary to perform the pattern matching processing using a plurality of patterns on the same area. In addition, the processing time can be significantly reduced. In other words, the area where the target object exists and the type of the target object can be identified by a simple method based on the temperature information, and the target object is an obstacle that affects the action plan of the own vehicle, particularly, a preceding vehicle, a pedestrian, or the like. By using heat information, which is the characteristic amount of the object, when detecting the object, it is possible to avoid setting an unnecessary object such as a road structure such as a delineator as a detection target area from the visible image. In addition, it is possible to provide an object detection device capable of reducing the amount of processing required for processing from a visible image.
In other words, as described above, in the conventional apparatus, when an active sensor such as a laser radar for distance measurement is used, if there is a road structure such as a delineator, these objects are also measured for distance. Therefore, a candidate area corresponding to a delineator, which is an unnecessary area, is also set as a processing target area, so that the amount of detection processing such as pattern matching increases. In addition, since it is not possible to specify the type of obstacle using only the distance data, it is necessary to match different templates to each candidate area, and there is a problem that the processing amount increases. These problems can be solved by the device of the embodiment.
[0017]
Further, in the present embodiment, as shown in FIG. 2, the template selecting unit 15 sets the temperature information within a predetermined range based on the temperature information of the candidate area extracted by the candidate area extracting unit 13. A template candidate selecting unit 151 for selecting a template as a template candidate, and features such as density information and color information from the visible image acquired by the visible image acquiring unit 12 in the detection region set by the candidate region setting unit 14. A feature amount extracting unit 152 for extracting an amount and a template determining unit 153 for determining a specific template from the template candidates selected by the template candidate selecting unit 151 based on the feature amounts extracted by the feature amount extracting unit 152. It is configured to be provided.
According to such a configuration, not only heat information but also feature amounts such as density information and color information obtained in a visible region are used, so template candidates having similar heat information, for example, It is possible to provide an object detection device capable of selecting an optimal template for each set detection area from a dog or the like.
[0018]
Further, in the present embodiment, the infrared camera 1 as the thermal image acquisition unit 11 and the visible camera 2 as the visible image acquisition unit 12 capture an image in front of the vehicle in the traveling direction, as shown in FIG. Are mounted on the vehicle in the same direction.
According to such a configuration, it is possible to easily associate the positional relationship between different imaging systems, so that it is possible to provide an object detection device capable of simplifying calculation at the time of alignment.
[0019]
Further, in the present embodiment, the visible image acquiring unit 12 is configured to capture an image of at least a part of the region captured by the thermal image acquiring unit 11.
According to such a configuration, the space serving as a reference for setting the detection area is finally wider than the visible image for detecting the presence / absence of the object and its position. It is possible to provide an object detecting device capable of performing the following.
That is, in the present embodiment, the above-described effects are provided, and therefore, it is possible to provide an object detection device capable of greatly reducing the amount of calculation when detecting the presence of a preceding vehicle or a pedestrian. it can.
The embodiments described above are described for facilitating the understanding of the present invention, but are not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
[Brief description of the drawings]
FIG. 1 is a diagram showing a system configuration of an object detection device according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of one embodiment of the present invention.
FIG. 3 is a plan view and a side view showing attachment positions of a thermal image acquisition unit and a visible image acquisition unit according to the embodiment of the present invention.
FIG. 4 is a flowchart showing a flow of processing according to the embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a processing state according to an embodiment of the present invention;
FIG. 6 is a flowchart illustrating a flow of a template selection process according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Infrared camera 2 ... Visible camera 3 ... Microcomputer 4 ... Vehicle control device 5 ... Warning device 6 ... Display 11 ... Thermal image acquisition means 12 ... Visible image acquisition means 13 ... Candidate area extraction means 14 ... Candidate area setting means 15 ... Template selection means 16 ... Object detection means 21 ... White line 22 ... Delinator 23 ... Pedestrian 24 ... Previous vehicle 26 ... Previous vehicle existence candidate area 27 ... Pedestrian existence candidate area 28 ... Vehicle template 29 ... Person template 30 ... High temperature area 31 ... Medium temperature area 151. Template candidate selecting means 152. Feature extracting means 153. Template determining means.

Claims

撮像された映像から対象物を検出する対象物検出装置において、
熱画像を取得する熱画像取得手段と、
可視画像を取得する可視画像取得手段と、
前記熱画像取得手段により取得された前記熱画像の温度情報に基づいて、候補領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段により抽出された前記候補領域の位置に基づいて、前記可視画像取得手段により取得された前記可視画像に検出領域を設定する候補領域設定手段と、
前記候補領域抽出手段により抽出された前記候補領域の温度情報に基づいて、温度情報を付加したテンプレートの中から最適なテンプレートを選択するテンプレート選択手段と、
前記候補領域設定手段により設定された前記検出領域に対して、前記テンプレート選択手段により選択されたテンプレートを用いてテンプレートマッチングを行うことにより対象物を検出する対象物検出手段と
を備えることを特徴とする対象物検出装置。In an object detection device that detects an object from a captured video,
Thermal image acquisition means for acquiring a thermal image,
A visible image acquiring means for acquiring a visible image,
A candidate region extracting unit that extracts a candidate region based on the temperature information of the thermal image acquired by the thermal image acquiring unit,
A candidate area setting unit configured to set a detection area in the visible image acquired by the visible image acquiring unit based on a position of the candidate area extracted by the candidate area extracting unit;
Template selection means for selecting an optimum template from templates to which temperature information has been added, based on the temperature information of the candidate area extracted by the candidate area extraction means,
An object detection unit that detects an object by performing template matching on the detection area set by the candidate area setting unit using a template selected by the template selection unit. Object detection device.

前記テンプレート選択手段は、
前記候補領域抽出手段により抽出された前記候補領域の温度情報に基づいて、温度情報が予め決めた所定の範囲内であるテンプレートをテンプレート候補として選択するテンプレート候補選択手段と、
前記候補領域設定手段により設定された前記検出領域において、前記可視画像取得手段により取得された前記可視画像から、特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量に基づいて、前記テンプレート候補選択手段により選択された前記テンプレート候補から特定のテンプレートを決定するテンプレート決定手段と
を備えることを特徴とする請求項１に記載の対象物検出装置。The template selecting means,
Template candidate selecting means for selecting, as a template candidate, a template whose temperature information is within a predetermined range based on the temperature information of the candidate area extracted by the candidate area extracting means,
In the detection region set by the candidate region setting unit, a feature amount extraction unit that extracts a feature amount from the visible image acquired by the visible image acquisition unit,
2. The apparatus according to claim 1, further comprising: a template determining unit configured to determine a specific template from the template candidates selected by the template candidate selecting unit based on the feature amounts extracted by the feature amount extracting unit. 3. Object detection device.

前記熱画像取得手段および前記可視画像取得手段は、
車両の進行方向前方を撮像し、
光軸を同じ方向に合わせて前記車両に搭載されていることを特徴とする請求項１または請求項２に記載の対象物検出装置。The thermal image acquisition means and the visible image acquisition means,
Image the front of the vehicle in the direction of travel,
The object detection device according to claim 1, wherein the object detection device is mounted on the vehicle with an optical axis aligned in the same direction.

前記可視画像取得手段は、
前記熱画像取得手段により撮像する領域の少なくとも一部分の領域を撮像することを特徴とする請求項１乃至請求項３のいずれかに記載の対象物検出装置。The visible image acquiring means,
The object detection apparatus according to claim 1, wherein an image of at least a part of an area to be imaged by the thermal image acquisition unit is imaged.