JP2006010652A - 物体検出装置 - Google Patents

Abstract

【課題】 静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することができる物体検出装置を提供する。
【解決手段】 物体検出装置１は、画像を撮像するカメラ１０，１１と、カメラ１０，１１により撮像された画像から歩行者の候補画像が含まれる探索領域を抽出し、探索領域の座標値、及び、探索領域に含まれる歩行者候補と歩行者との類似度に応じた探索領域の評価値を出力する検出部３０と、検出部３０から出力された探索領域の座標値に基づいて、探索領域を歩行者ごとに分別する分別処理部４２と、分別処理部４２により分けられた歩行者ごとの探索領域の座標値に対して評価値に応じた重み付き平均をとることにより、歩行者の位置を算出する代表値作成部４３とを備える。
【選択図】 図１

Description

本発明は、物体検出装置に関する。

カメラで撮影した画像から検出対象である物体（例えば、歩行者、自転車、車両など）を検出するときに複数の検出対象物体が画像上で重なっていることが有る。検出対象物体の数や検出対象物体それぞれの位置情報等が必要なときには、重複している各検出対象物体を分離して検出対象物体それぞれを個別に認識する必要がある。

このような検出結果の重複を除去する技術が特許文献１に記載されている。特許文献１記載の技術では、まず、入力画像データと、それより１つ前に入力された画像データとの差分がとられ、差分画像が生成される。さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像が加算され平均がとられる事によって、統合差分画像が得られる。統合差分画像は、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。統合差分画像が得られると、まず動き領域の有無が調べられる。動き領域がない場合には人物数がゼロとされる。動き領域がある場合、例えば統合差分画像上部領域における動き領域幅の最大値があるしきい値よりも小さいときは１人、大きいときには２人とされる。人物数が２人のときは、統合差分領域が２つの部分領域に分割される。なお３人以上検出された場合には、分割数が増やされる。
特開２０００−２２２５７６号公報

特許文献１記載の技術では、画像を人物の数に応じて分割する場合、ｍフレーム分の画像データを取得して処理する必要がある。したがって、１フレームのみの静止画像において抽出結果の重複を除去する場合には、特許文献１記載の技術を適用することができない。

本発明は、上記問題点を解消する為になされたものであり、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することができる物体検出装置を提供することを目的とする。

本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により分別された検出対象物体ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより、検出対象物体の位置を算出する物***置算出手段とを備えることを特徴とする。

本発明に係る物体検出装置によれば、例えば、複数の検出対象物体それぞれについて複数の検出対象物体候補が抽出された場合、まず、画像領域の座標値に基づいて、複数の画像領域に含まれる検出対象物体候補が同一の検出対象物体に対応するものであるか異なる検出対象物体に対応するものであるかが判断されることにより、複数の画像領域が検出対象物体ごとに分けられる。そして、同一の検出対象物体に属する画像領域の座標値が評価値に応じて重み付き平均されて検出対象物体の位置が算出される。そのため、画像上で重複している検出対象物体を分離すると共に、検出対象物体それぞれの位置を精度良く特定することが可能となる。

本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により検出対象物体ごとに分別された画像領域のうち評価値が最大である画像領域の座標値から検出対象物体の位置を算出する物***置算出手段とを備えることを特徴とする。

評価値が最大である画像領域の座標値から検出対象物体の位置を算出する場合、重み付き平均をとる場合と比較して、処理工数が低減されるので、処理を高速化することができる。

また、本発明に係る物体検出装置は、画像領域が複数抽出された場合、抽出された複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が複数であるか否かを判断する物体数判断手段をさらに備え、物体数判断手段によって検出対象物体の数が複数であると判断された場合に、分別手段が、複数の画像領域を検出対象物体ごとに分別することが好ましい。

この場合、複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が求められる。例えば、水平方向の偏差が所定値以下である場合には、検出対象物体が１つであると判断され、偏差が所定値より大きい場合には検出対象物体が複数あると判断される。そして、検出対象物体の数が複数である場合に、画像領域が検出対象物体ごとに分けられる。そのため、重複している検出対象物を効率良く分離することが可能となる。

本発明によれば、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

（第１実施形態）
まず、図１を用いて、第１実施形態に係る物体検出装置１の全体構成について説明する。図１は、第１実施形態に係る物体検出装置１の全体構成を示すブロック図である。物体検出装置１は、車両前方の風景を撮像して画像データを取得するカメラ（撮像手段）１０，１１と、該画像データに対して画像処理を施すことにより、例えば歩行者や車両などの物体を抽出し、その位置情報等を算出する物体検出用電子制御装置（以下「物体検出ＥＣＵ」という）１３とを備えている。以下、歩行者を検出対象物体として検出する場合を例にして説明する。

カメラ１０及びカメラ１１それぞれは、例えばＣＣＤカメラであり、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）に前方を向いて設置されている。両カメラの光軸は互いに平行（実質的に平行であればよい）で、かつ撮像面の水平軸が同一線上に揃うように配置されている。カメラ１０，１１それぞれは、車両前方の風景を撮像して画像データを取得する。カメラ１０，１１により取得された画像データは、物体検出ＥＣＵ１３に出力される。なお、カメラ１０，１１の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像を撮像することができる場所であれば、車体のどの位置に設けてもよい。

物体検出ＥＣＵ１３は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及び１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

物体検出ＥＣＵ１３は、カメラ１０，１１により取得された画像データから歩行者が存在する可能性の高い候補領域を取得する候補領域算出部２０、候補領域算出部２０で取得された候補領域において検出対象物体（歩行者）候補の抽出及び識別を行う検出部３０、検出部３０で抽出された歩行者候補の重複を除去する重複除去部４０、及び、重複除去部４０で認識された歩行者それぞれの位置情報等を出力する検出結果出力部５０とを備えて構成されている。

候補領域算出部２０は、カメラ１０，１１から入力された画像データに基づいて、歩行者が存在する可能性の高い画像上の候補領域（図４参照）の位置とカメラ１０，１１から該候補領域までの距離とを算出し、検出部３０に出力するものである。候補領域算出部２０は、距離計算部２１及び候補算出部２２を有して構成されている。

距離計算部２１は、カメラ１０から入力された画像データとカメラ１１から入力された画像データとの差異に基づいて自車両から画像上に撮像されている物体までの距離を算出する。物体までの距離の算出は、例えばステレオ視の画像データを用い、三角測量の原理で求めることができる。距離の算出方法の一例について簡単に説明する。

物体が自車の前方にいる場合、カメラ１０から得られた画像とカメラ１１から得られた画像とを重ね合わせると、物体が水平方向にずれた位置になる。そこで、片方の画像を１画素づつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。また、カメラ１０又は１１を構成するレンズの焦点距離をｆ，左右のカメラ１０，１１の光軸間の距離をＬ、画素ピッチをｄとすると、自車から物体までの距離Ｒは、次式により計算できる。
Ｒ＝（ｆ・Ｌ）／（ｎ・ｄ） ・・・（１）

候補算出部２２は、まず、距離計算部２１で算出された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ（例えば横幅）等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得する。取得された候補領域情報は検出部３０に出力される。

検出部３０は、探索領域（図４参照）の設定等を行う探索制御部３１、例えば画像データから特徴部分を抽出する特徴抽出部３２、及び歩行者パターンを用いて歩行者を抽出する歩行者検出部３３を有して構成されている。

探索制御部３１では、候補領域算出部２０により取得された候補領域それぞれにおいて歩行者を探索する探索領域が設定される。なお、探索領域は候補領域よりも小さく設定される。また、探査領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。さらに、探査領域が順次シフトされて、候補領域全域において歩行者の抽出が行われる。

特徴抽出部３２及び歩行者検出部３３では、設定された探索領域内において、歩行者候補のパターンによる抽出及び識別を行う。歩行者候補の抽出や識別には、例えば、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、テンプレートマッチングなどの技術が用いられる。

歩行者候補が抽出された探索領域（画像領域）の情報、及び、画像上の歩行者候補と歩行者パターンとの類似度に応じた評価値を含む検出データは、重複除去部４０に出力される。すなわち、検出部３０は抽出手段として機能する。なお、探索領域情報としては、例えば、自車両からの距離、境界線及び探索領域の左上と右下の座標値などが挙げられる。また、評価値は類似度が高いほど、すなわち歩行者である可能性が高いほど大きくなる。

ここで、カメラ１０，１１で撮像された画像と歩行者のパターンとを比較することにより歩行者を抽出するパターンマッチングでは、歩行者の画像が探索領域の中心に無い場合や、大きさの変動がある場合等を考慮して、そのような場合にも歩行者を検出することができるように調整されている。そのため、候補領域内において探査領域が順次シフトされ歩行者の抽出が行われた場合、同一の歩行者に対して複数の重複した検出結果が出力され得る。

重複除去部４０は、検出部３０から出力された同一歩行者の重複した抽出結果を除去すると共に、複数の歩行者に対する抽出結果の中で、画像上で重複している抽出結果をそれぞれ分離して認識するものである。重複除去部４０は、人数推定部４１、分別処理部４２、及び代表値作成部４３を有して構成されている。

人数推定部４１は、候補領域における歩行者の抽出結果に基づいて、当該候補領域に含まれる歩行者数を推定するものである。人数推定部４１では、評価値の上位データに対して、該上位データそれぞれの座標値の水平方向偏差と歩行者の横幅を基準にしたしきい値とに基づいて歩行者の人数が推定される。すなわち、人数推定部４１は、物体数判断手段として機能する。歩行者の推定結果は分別処理部４２に出力される。

分別処理部４２は、人数推定部４１により推定された歩行者数が複数である場合に、探索領域の座標値と歩行者の横幅とに基づいて、歩行者が抽出された探索領域情報等を歩行者ごとに分別する。すなわち、分別処理部４２は、分別手段として機能する。分別された結果は代表値作成部４３に出力される。

代表値作成部４３は、歩行者ごとに分けられた探索領域の座標値に対して、評価値に応じて重み付き平均をとることによって、歩行者の位置に対応した代表値を算出するものである。すなわち、代表値作成部４３は、物***置算出手段として機能する。算出された代表値は検出結果出力部５０に出力される。

検出結果出力部５０は、重複除去部４０の出力結果を運転者が必要とする形式に変換して出力するものである。

次に、図２、３を参照して、物体検出装置１の動作について説明する。図２は、物体検出装置１による歩行者抽出処理の処理手順を示すフローチャートである。図３は、物体検出装置１による重複除去処理の処理手順を示すフローチャートである。なお、本処理は所定時間毎に繰り返して実行される。始めに、図２を参照して、歩行者抽出処理について説明する。

ステップＳ１００では、候補領域算出部２０により取得された矩形の候補領域のうちの一つが選択される。続くステップＳ１０２では、ステップＳ１００で選択された候補領域内において、歩行者の抽出を行う矩形の探索領域が設定される。この探索領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。

ステップＳ１０４では、ステップＳ１０２で設定された探索領域において、画像データの特徴抽出が行われる。続くステップＳ１０６では、特徴抽出が行われた画像データに対してパターンマッチングが行われることにより、歩行者の抽出が行われる。そして、歩行者が抽出された探索領域の座標値及び類似度に応じた評価値等の検出データが作成される。

ステップＳ１０８では、選択された候補領域内における全探索領域において歩行者の抽出処理が終了したか否かについて判断が行われる。ここで、全探索領域で歩行者の抽出処理が終了している場合には、ステップＳ１１０に処理が移行する。一方、歩行者の抽出処理が行われていない探索領域がある場合には、ステップＳ１０２に処理が移行する。そして、ステップＳ１０２において、次の探査領域が設定され、ステップＳ１０４、Ｓ１０６の処理が実行される。ステップＳ１０４、Ｓ１０６の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このようにステップＳ１０２〜Ｓ１０８の処理が繰り返し実行されることにより、ステップＳ１００で選択された候補領域の全領域において歩行者の抽出処理が行われる。

ステップＳ１１０では、候補領域算出部２０により取得された全ての候補領域において歩行者の抽出処理が行われたか否かについての判断が行われる。ここで、全候補領域で抽出処理が終了している場合には本処理から一旦抜ける。一方、抽出処理が行われていない候補領域が残っている場合には、ステップＳ１００に処理が移行する。そして、ステップＳ１００において、次の候補領域が選択され、ステップＳ１０２〜Ｓ１０８の処理が実行される。ステップＳ１０２〜Ｓ１０８の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップＳ１００〜Ｓ１１０の処理が繰り返し実行されることにより、候補領域算出部２０により取得された全ての候補領域において歩行者の抽出処理が行われる。

次に、図３を参照して、重複除去処理について説明する。まず、ステップＳ２００では、重複除去処理が行われる候補領域が選択される。

続くステップＳ２０２では、選択された候補領域内の歩行者の人数が人数推定部４１により推定される。ここで、ステップＳ２０２において実行される人数推定のアルゴリズムについて説明する。

まず、選択されている候補領域内の検出データを評価値の大きい方から順番にソートする。次に、ソート後の上位ＮＵＭＢＥＲ＿ＨＩＧＨＶＡＬ＿ＤＡＴＡ個の検出データを取り出す。本実施形態では、ＮＵＭＢＥＲ＿ＨＩＧＨＶＡＬ＿ＤＡＴＡを１０とした。すなわち、歩行者の可能性が高い１０の検出データが取得される。次に、取得された検出データの探索領域の水平方向の偏差σｘを求める。判断基準値ｄｗを設定する。ここでｄｗとして、探索領域の横幅に所定値ＲＡＴＩＯ＿ＨＵＭＡＮ＿ＷＩＤＴＨを乗算した値を用いた。本実施形態では、判断基準値ｄｗがほぼ歩行者の横幅程度の大きさになるように、ＲＡＴＩＯ＿ＨＵＭＡＮ＿ＷＩＤＴＨの値を０．３３とした。これは、歩行者が隣接する場合、それぞれの歩行者の中心を通る線分間の距離が、人の幅程度になることを考慮したものである。そして、偏差σｘと判断基準値ｄｗとを比較し、σｘ≦ｄｗであれば、歩行者は一人であるとし、σｘ＞ｄｗの場合には歩行者が複数であると判断する。

次に、ステップＳ２０４では、ステップＳ２０２で推定された歩行者の数が一人であるか否かについての判断が行われる。ここで、歩行者の数が一人である場合には、ステップＳ２０８に処理が移行する。一方、歩行者の数が複数である場合には、ステップＳ２０６に処理が移行する。

歩行者が複数人であると判断された場合、ステップＳ２０６では、検出データを歩行者ごとに分別する分別処理が分別処理部４２により行われる。ここで、ステップＳ２０６において実行される分別処理のアルゴリズムについて説明する。

歩行者が抽出された探索領域の中心のｘｙ座標に応じて、例えばｉｓｏｄａｔａ（ｉｔｅｒａｔｉｖｅ ｓｅｌｆ ｏｒｇａｎｉｚｉｎｇ ｄａｔａ ａｎａｌｙｓｉｓ ｔｅｃｈｎｉｑｕｅｓ Ａ）アルゴリズム等を適用してクラスタリングを行うことにより、探索領域を歩行者ごとに分別する。

クラスタ中心と該クラスタに所属する探索領域との距離の偏差σを求める。偏差σのもっとも大きいクラスタについて、偏差σが例えば判断基準値ｄｗの１／２より大きければ、該クラスタは複数の人数を含んでいるとし、分割処理を行う。本実施形態において、しきい値をｄｗ／２としたのは、互いの距離が歩行者の横幅の約半分より離れている場合には、別々の歩行者であると判断するためである。

また、クラスタ中心間の距離を求め、最小の距離が、例えば、所定のしきい値ｄｗ／４より小さい場合には、同一のクラスタとみなして両クラスタを融合する。クラスタ中心間の距離が判断基準値ｄｗの１／４より小さい場合には、同一人物であると判断するためである。

新旧のクラスタ中心間の距離が１以下となったときにクラスタリングを終了する。本実施形態では、０．１となったときにクラスタリングを終了した。これは、クラスタ中心が画素値として動かなくなればよいとの考えに基づくものである。このようにして、複数の探索領域がクラスタごと、すなわち歩行者ごとに分別される。

次に、ステップＳ２０８において、代表値の算出が代表値作成部４３により行われる。ステップＳ２０８では、各歩行者に分別された探索領域うち評価値が上位の探索領域を対象にして、歩行者ごとの探索領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。

続くステップＳ２１０では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップＳ２００に処理が移行する。そして、ステップＳ２００において、次の候補領域が選択され、ステップＳ２０２〜Ｓ２０８の処理が実行される。ステップＳ２０２〜Ｓ２０８の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップＳ２００〜Ｓ２１０の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。

このように、物体検出装置１によれば、複数の歩行者それぞれについて歩行者画像を含む複数の探索領域が抽出された場合、まず、探査領域の座標値に基づいて、探査領域に含まれる歩行者が同一の歩行者に対応するものであるか異なる歩行者に対応するものであるかが判断されることにより、複数の探索領域が歩行者ごとに分けられる。そして、同一の歩行者に属する探索領域の座標値が評価値に応じて重み付き平均されて歩行者の位置が算出される。このように、画像上で重複している歩行者を分離することができるので、歩行者それぞれを認識することが可能となる。

また、本実施形態によれば、複数の探索領域の水平方向の偏差σｘに基づいて候補領域内の歩行者の数が求められる。そして、歩行者の数が複数である場合に、探索領域が歩行者ごとに分けられる。そのため、重複している歩行者を効率良く分離することが可能となる。

ここで、検出部３０による歩行者の抽出結果の一例を図４に示す。破線の矩形枠が候補領域であり、一点鎖線の矩形枠が探索領域である。図４に示されるように、一人の歩行者に対して複数の探索領域が検出されている。また、各探索領域が重複して検出されている。

重複除去部４０による重複除去結果の一例を図５に示す。図５に示されるように、重複して検出されていた各探索領域の重複が除去されている。以上のことから、本実施形態の有効性が確認された。

（第２実施形態）
次に、図６を用いて、第２実施形態に係る物体検出装置２の全体構成について説明する。図６は、第２実施形態に係る物体検出装置２の全体構成を示すブロック図である。なお、図６において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第１実施形態と異なるのは、代表値作成部４３に代えて代表値作成部４３Ａを備えている点である。その他の構成については、第１実施形態と同一又は同様であるので、ここでは説明を省略する。

代表値作成部４３Ａは、分別手段により歩行者ごとに分別された画像領域のうち評価値が最大である画像領域、すなわちもっとも類似度が高い画像データを含む画像領域の座標値から歩行者の位置を特定する。

本実施形態によれば、評価値が最大である画像領域の座標値から歩行者の位置が算出されるので、重み付き平均をとる場合と比較して、処理工数を低減することができる。その結果、処理を高速化することが可能となる。

重み付き平均は、画像領域の中心座標を用いて演算される。そのため、重み付き平均処理を行う前後で、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がある。本実施形態によれば、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がなく、検出データをそのまま代表値として出力することができる。

（第３実施形態）
次に、図７を用いて、第３実施形態に係る物体検出装置３の全体構成について説明する。図７は、第３実施形態に係る物体検出装置３の全体構成を示すブロック図である。なお、図７において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第１実施形態と異なるのは、分別処理部４２に代えて分別処理部４２Ａを備えている点である。その他の構成については、第１実施形態と同一又は同様であるので、ここでは説明を省略する。

分別処理部４２Ａは、探索領域の中心の座標値ｘ，ｙに、距離ｚ及び評価値ｖのいずれか一方又は双方を加えた検出データに基づいてクラスタリングを行うことにより、探索領域を歩行者ごとに分別するものである。

ただし、座標値ｘ，ｙ、距離ｚ、評価値ｖそれぞれは、値の取り得る範囲や分散等が異なるため、正規化する必要がある。座標値ｘ，ｙ及び距離ｚについては、例えば、次式により正規化することができる。
ｘ_ｎ＝（ｘ−ｍ_ｘ）／σ_ｘ ・・・（２）
ｙ_ｎ＝（ｙ−ｍ_ｙ）／σ_ｙ ・・・（３）
ｚ_ｎ＝（ｚ−ｍ_ｚ）／σ_ｚ ・・・（４）
ここで、ｍは平均値、σは標準偏差である。

また、評価値ｖについては、例えば、次式に示されるようなｌｏｇｉｓｔｉｃ関数を用いることにより、評価値ｖの定義域［０，∞）をｆの値域［０，１）の範囲に正規化することができる。
ｆ（ｘ）＝１／（１＋ｅ^−ｋｖ） ・・・（５）
ここで、ｋはｖの出力値に応じてｆの変化を決定するパラメータである。例えば、ｋ＝３とすることができる。

なお、クラスタリング処理は、上記ステップＳ２０６における処理と同一又は同様であるので、ここでは説明を省略する。

本実施形態によれば、探索領域の中心の座標値ｘ，ｙに、距離ｚや評価値ｖを加えたデータに基づいてクラスタリングがおこなわれるので、分別処理の精度を向上することが可能となる。

（第４実施形態）
次に、図８を用いて、第４実施形態に係る物体検出装置４の全体構成について説明する。図８は、第４実施形態に係る物体検出装置４の全体構成を示すブロック図である。なお、図８において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第１実施形態と異なるのは、カメラ１１に代えて自車両からの距離を測定する測距装置１２を備えている点、及び、距離計算部２１，候補算出部２２に代えてセンサ座標系候補算出部２３及び画像座標系候補対応部２４を備えている点である。その他の構成については、第１実施形態と同一又は同様であるので、ここでは説明を省略する。

測距装置１２は、自車両から、前方にある歩行者などの物体までの距離を測定するものであり、例えば、ミリ波レーダやレーザレーダ等が好適に用いられる。

センサ座標系候補算出部２３は、測距装置１２によって測定された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ（例えば横幅）等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得するものである。取得された候補領域情報は検出部３０に出力される。

画像座標系候補対応部２４は、センサの座標系とカメラの座標系の対応を取る処理を行うものである。

物体検出装置４によれば、測距装置１２によって自車両から歩行者までの距離を直接測定することができるので、ステレオカメラを用いた距離算出処理が不要となる。

（第５実施形態）
次に、図９を用いて、第５実施形態に係る物体検出装置５の全体構成について説明する。図９は、第５実施形態に係る物体検出装置５の全体構成を示すブロック図である。なお、図９において第１実施形態と同一又は同等の構成要素については同一の符号が付されている。

本実施形態が第１実施形態と異なるのは、人数推定部４１を備えていない点である。

図１０を参照して、物体検出装置３の動作について説明する。図１０は、物体検出装置５による重複除去処理の処理手順を示すフローチャートである。

ステップＳ３００では、重複除去処理が行われる候補領域が選択される。続くステップＳ３０２では、検出データを歩行者ごとに分別する分別処理が行われる。ステップＳ３０２における分別処理は、上記ステップＳ２０６における処理と同一であるので、ここでは説明を省略する。

続いて、ステップＳ３０４では、代表値の算出が行われる。ステップＳ３０４では、各歩行者に分別された検出データうち評価値が上位の検出データを対象にして、歩行者ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。

続くステップＳ３０６では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップＳ３００に処理が移行する。そして、ステップＳ３００において、次の候補領域が選択され、ステップＳ３０２，Ｓ３０４の処理が実行される。ステップＳ３０２，Ｓ３０４の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップＳ３００〜Ｓ３０６の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。

本実施形態では、人数推定処理が行われることなく、直接クラスタリングが行われる。本実施形態によれば、人数推定処理を省略することができるので、処理速度をより高速化することが可能になる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、物体検出装置１を構成する物体検出ＥＣＵ１３の各処理部の機能分担等は上記実施形態に限られるものではない。

また、上記実施形態の説明では物体検出装置１を車両に搭載した場合について説明したが、例えば、物体検出装置１をロボット等に搭載することもできる。さらに、屋内での人の検出や監視等に使用することもできる。

第１実施形態に係る物体検出装置の全体構成を示すブロック図である。 第１実施形態に係る物体検出装置による歩行者候補抽出処理の処理手順を示すフローチャートである。 第１実施形態に係る物体検出装置による重複除去処理の処理手順を示すフローチャートである。 検出部による歩行者抽出結果の一例を示す図である。 重複除去部による重複除去結果の一例を示す図である。 第２実施形態に係る物体検出装置の全体構成を示すブロック図である。 第３実施形態に係る物体検出装置の全体構成を示すブロック図である。 第４実施形態に係る物体検出装置の全体構成を示すブロック図である。 第５実施形態に係る物体検出装置の全体構成を示すブロック図である。 第５実施形態に係る物体検出装置による重複除去処理の処理手順を示すフローチャートである。

符号の説明

１…物体検出装置、１０，１１…カメラ、１２…測距装置、１３…物体検出ＥＣＵ、２０…候補領域算出部、３０…検出部、４０…重複除去部、４１…人数推定部、４２…分別処理部、４３…代表値作成部、５０…検出結果出力部。

Claims (3)

1. 画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
   前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
   前記分別手段により分別された前記検出対象物体ごとの前記画像領域の座標値に対して前記評価値に応じた重み付き平均をとることにより、前記検出対象物体の位置を算出する物***置算出手段と、を備えることを特徴とする物体検出装置。
2. 画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
   前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
   前記分別手段により前記検出対象物体ごとに分別された前記画像領域のうち前記評価値が最大である前記画像領域の座標値から前記検出対象物体の位置を算出する物***置算出手段と、を備えることを特徴とする物体検出装置。
3. 前記画像領域が複数抽出された場合、抽出された複数の前記画像領域の水平方向の偏差に基づいて前記検出対象物体の数が複数であるか否かを判断する物体数判断手段をさらに備え、
   前記分別手段は、前記物体数判断手段によって前記検出対象物体の数が複数であると判断された場合に、複数の前記画像領域を前記検出対象物体ごとに分別することを特徴とする請求項１又は２に記載の物体検出装置。

Images