JP2007064894A - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents

Abstract

【課題】画像内から確実に物体を検出することを課題とする。
【解決手段】この物体検出装置は、画像内の物体（例えば、歩行者）を検出するための手法として背景差分法（あるいは、フレーム間差分法）と顕著性算出法とを用いている。そして、背景差分法と顕著性算出法を使い分ける要因として画像内の距離に注目し、画像内に撮像された近距離の物体を検出するためには背景差分法を用い、また、画素値の変化が少なく背景差分法では検出されにくい遠距離の物体を検出するためには顕著性算出法を用いている。
【選択図】 図１

Description

この発明は、画像内に撮像されている物体を検出する物体検出装置、物体検出方法および物体検出プログラムに関する。

従来より、例えば、車両走行の障害となりうる物体を検出し、その物体との衝突を回避する技術が開発されてきている。そこで、そのような車両周辺にある障害物の候補となるような物体を検出するために、カメラなどを用いて車両周辺を撮像しておき、撮像した画像を処理する技術が存在する。その画像内に映し出された物体を検出する方法として背景差分法（あるいは、フレーム間差分法）というものがある。例えば、特許文献１（特開昭６１−１６２７０２号公報）では、現に入力されている画像（現画像）の各画素とその直前に入力されていた画像（直前画像）の各画素とを比較して差分を抽出する処理を行い、差分が抽出された領域に直前画像では見られなかった物体が存在するものとし、その物体が走行障害の候補になるものとして、画像内から検出する方法が開示されている。

ところで、このような方法を用いれば走行障害の候補となる物体を検出することはできるが、検出された物体がどのようなものであるかが未だ判明していない。そこで、このような背景差分法を用いて画像内から検出された走行障害の候補となる物体に対し、その物体が何であるかを、種々の物体判別手法を用いて物体判別を行っている。例えば、物体判別手法としては、パターンマッチング手法（例えば、特許文献２参照）やニューラルネットワーク（例えば、特許文献３参照）がある。そして、それらの物体判別手法により走行障害の候補である物体が特定の物体（例えば、歩行者）であると判別されると、その物体の衝突を避けるため種々の制御（例えば、車両制動制御）が行われる。

特開昭６１−１６２７０２号公報 特開昭５９−２２６９８１号公報 特開平６−２３１２５８号公報

ところで、上記した従来の技術は、以下に説明するように、背景差分法によって画像内から物体を検出できない場合があるという問題がある。

すなわち、上記した従来の技術である背景差分法では、画像内に映し出された遠方の物体を検出しにくいという問題がある。なぜなら、画像内に映し出された遠方の物体については、現画像の各画素と直前画像の各画素との間に変化が少なく、その差分を抽出しにくいからである。

さらに、背景差分法では、静止物体を検出できないという問題もある。なぜなら、直前画像内に撮像されている物体が静止し続けている場合には、現画像の各画素と直前画像の各画素との間に変化はなく、その差分を抽出することができないからである。

なお、車載用の監視カメラなどで撮像された画像内に映し出された物体をパターンマッチング手法によって判別する際に、その前段階処理として画像内に映し出された物体が占める領域を上手く絞り込むことができないのでは、物体判別が効率的に行えない結果、画像内の物体判別が間に合わない場合も考えられ、車両運転中に危険を予測し、いち早く危険を回避する上でも問題がある。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像内から確実に物体を検出することが可能な物体検出装置、物体検出方法および物体検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、画像内に撮像されている物体を検出する物体検出装置において、前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記手法規定情報は、前記画像内の所定の距離範囲内の領域では当該画像内の物体を検出する手法として背景差分法を用い、前記画像内の所定の距離範囲外の領域では当該画像内の物体を検出する手法として顕著性算出法を用いるように規定し、前記物体検出手段は、前記手法規定情報に基づき、前記画像内の所定の距離範囲内の領域では背景差分法を用いて当該画像内の物体を検出し、前記所定の距離範囲外の領域では顕著性算出法を用いて当該画像内の物体を検出することを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記手法規定情報は、前記画像内における自車走行線内の領域では、当該画像内の物体を検出する手法として顕著性算出法を用い、前記画像内における自車走行線外の領域では、当該画像内の物体を検出する手法として背景差分法を用いるように規定し、前記物体検出手段は、前記手法規定情報に基づき、前記画像内の自車走行線内の領域では顕著性算出法を用いて当該画像内の物体を検出し、前記画像内の自車走行線外の領域では背景差分法を用いて当該画像内の物体を検出することを特徴とする。

また、請求項４に係る発明は、上記の発明において、前記手法規定情報は、前記画像内における自車走行線内の領域では当該画像内の物体を検出する手法として顕著性算出法を用い、前記画像内における自車走行線外の領域であって、かつ所定の距離範囲内では当該画像内の物体を検出する手法として背景差分法を用い、前記画像内の自車走行線外の領域であって、かつ所定の距離範囲外では当該画像内の物体を検出する手法として顕著性算出法を用いるように規定し、前記物体検出手段は、前記手法規定情報に基づき、前記画像内における自車走行線内の領域では顕著性算出法を用いて当該画像内の物体を検出し、前記画像内における自車走行線外の領域であって、かつ所定の距離範囲内では背景差分法を用いて当該画像内の物体を検出し、前記画像内の自車走行線外の領域であって、かつ所定の距離範囲外では顕著性算出法を用いて物体を検出することを特徴とする。

また、請求項５に係る発明は、上記の発明において、前記画像において物体の検出を行う必要のない当該画像内の領域を規定した除外情報をさらに備え、前記物体検出手段は、前記除外情報に規定された領域以外から、前記手法規定情報に基づいて、前記画像内の物体を検出することを特徴とする。

また、請求項６に係る発明は、上記の発明において、画像内に撮像されている物体を検出する物体検出方法において、前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出工程と、を含んだことを特徴とする。

また、請求項７に係る発明は、上記の発明において、画像内に撮像されている物体を検出する方法をコンピュータに実行させる物体検出プログラムにおいて、前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出手順と、をコンピュータに実行させることを特徴とする。

請求項１、６および７の発明によれば、この物体検出装置は、画像内に撮像された物体を検出する手法（例えば、背景差分法や顕著性算出法）を所定の要因（例えば、画像内に撮像された近距離の物体を検出する場合、あるいは、遠距離の物体を検出する場合）に応じて使い分ける優先情報（例えば、優先テーブル）に基づいて物体の検出を行うので、画像内から確実に物体を検出することが可能となる。

また、請求項２の発明によれば、この物体検出装置は、画像内に撮像された物体を検出する手法を近い分ける要因として、画像内の距離範囲に注目し、画像内おける所定の距離範囲内の領域では背景差分法を用いて物体の検出を行い、画像内における所定の距離範囲外の領域では顕著性算出法を用いて物体の検出を行うので、遠距離の物体を上手く検出することができない背景差分法の弱点が顕著性算出法によって補強され、画像内から確実に物体を検出することが可能となる。

また、請求項３の発明によれば、この物体検出装置は、画像内に撮像された物体を検出する手法を使い分ける要因として、車両走行線に注目し、自車走行線内を撮像した画像内の領域については顕著性算出法を用いて物体の検出を行い、自車走行線外を撮像した画像内の領域については背景差分法を用いて物体の検出を行うので、静止物体を検出することができない背景差分法の弱点が顕著性算出法によって補強され、物体検出の必要性が高い自車走行線内を撮像した画像内から静止物体であっても確実に検出することが可能となる。

また、請求項４の発明によれば、この物体検出装置は、画像内に撮像された物体を検出する手法を近い分ける要因として、画像内の距離範囲および車両走行線に注目し、自車走行線内を撮像した画像内の領域については顕著性算出法を用いて物体判別を行い、所定の距離範囲内であって、かつ自車走行線外を撮像した画像内の領域については背景差分法を用いて物体の検出を行い、所定の距離範囲外であって、かつ自車走行線外を撮像した画像内の領域については顕著性算出法を用いて物体の検出を行うので、背景差分法の弱点が顕著性算出法によって補強され、画像内に撮像された遠方の物体や静止物体であっても確実に検出することが可能となる。

また、請求項５の発明によれば、この物体検出装置は、物体を検出する必要のない画像内の領域（例えば、図１に示すように、画像消失点から上の領域）を規定した除外情報（例えば、除外テーブル）に基づいて、その除外テーブルに規定された以外の領域から物体の検出を行うので、画像内からより早くかつ確実に物体を検出することが可能となる。

以下に添付図面を参照して、この発明に係る物体検出装置、物体検出方法および物体検出プログラムの実施例を詳細に説明する。なお、以下では、車載の撮像装置で撮像された画像内から物体を検出する場合について説明する。

以下の実施例１では、実施例１に係る物体検出装置の概要および特徴、物体検出装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。

［物体検出装置の概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る物体検出装置の概要および特徴を説明する。図１は、実施例１に係る物体検出装置の概要を説明するための図である。同図に示すように、実施例１に係る物体検出装置は、画像内に撮像されている物体を検出するものであるが、画像内から物体を検出する複数の手法を所定の要因（例えば、画像内から物体検出を行う距離範囲）に応じて使い分けて物体を検出する点に主たる特徴があり、これにより、画像内から確実に物体を検出できるようにしている。

この主たる特徴について簡単に説明すると、例えば、図１に示すように、この物体検出装置は、画像内の物体（例えば、歩行者）を検出するための手法として背景差分法（あるいは、フレーム間差分法）と顕著性算出法とを記憶している。背景差分法とは、現に入力されている画像における各画素とその直前に入力されていた画像における各画素とを比較して差分を抽出する処理を行い、画像内から候補物体（走行障害の候補となる物体）を検出する方法をいう。これによれば、微小な画素変化に左右されないので、過度に反応することを防止することができる。

また、顕著性算出方法とは、画像各部の明度や彩度、線方向等の部分的な変位量を各部の特徴として予め学習しておき、学習しておいたバックグラウンドには見られない顕著な特徴（例えば、線方向等）が現画像で現れているかどうかに基づいて候補物体が画像内に位置する領域を検出する方法をいう。これによれば、画素値の変化が少なくても、線方向（例えば、ベクトル）等で特異なものがあれば、顕著な特徴が現れているので、候補物体として検出できる。

そして、実施例１に係る物体検出装置では、背景差分法と顕著性算出法を使い分ける要因として画像内の距離に注目し、画像内に撮像された近距離の物体を検出するためには背景差分法を用い、また、画素値の変化が少なく背景差分法では検出されにくい遠距離の物体を検出するためには顕著性算出法を用いている。なお、画像内に物体が撮像され得ない（歩行者が出現し得ない）画像の消失点より上の領域については、物体検出を行う領域からあらかじめ除外する。

このように、この物体検出装置は、画像内に撮像された物体を検出する手法（例えば、背景差分法や顕著性算出法）を所定の要因（例えば、画像内に撮像された近距離の物体を検出する場合、あるいは、遠距離の物体を検出する場合）に応じて使い分けて物体の検出を行うので、画像内から確実に物体を検出することが可能となる。

［物体検出装置の構成（実施例１）］
次に、図２を用いて、実施例１に係る物体検出装置３０の構成を説明する。図２は、実施例１に係る物体検出装置３０の構成を示すブロック図である。同図に示すように、この物体検出装置３０は、ナビ部１１、レーダ部１２、前処理部１３、物体判別装置１４に接続される。また、物体検出装置３０は、記憶部３１と、制御部３２とから構成される。

このうち、ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を運転者に供給する。

レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波）を照射して、前方の車両や障害物との距離や速度、方向などを測定する手段である。前処理部１３は、撮像装置１０（例えば、可視光カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。

物体判別装置１４は、物体検出装置３０によって画像内から検出された物体の種類を個別に判別する装置である。例えば、あらかじめ所持したテンプレートを検出された物体に順次あてはめるテンプレートマッチング手法を用いた画像処理により、人であれば大人あるいは子供のいずれかまで判定する。なお、物体判別装置１４による処理結果は、衝突危険度判定部１５に送信される。

衝突危険度判定部１５は、物体検出装置３０および物体判別装置１４から受け付けた処理結果に基づいて、画像から検出された物体との衝突危険度を予測して判定する処理部である。例えば、物体検出装置３０によって画像内から検出された物体が歩行者であり、車両の近くを移動中である場合や、物体検出装置３０によって画像内から検出された物体が子供である場合には、衝突危険度は高いと判定する。また、物体検出装置３０によって画像内から検出された物体が歩行者であり、車両から離れた位置に静止中である場合には、衝突危険度は低いと判定する。なお、この衝突危険度判定部１５による処理結果は、車両制御部１６および報知制御部１７に送信される。

このうち、車両制御部１６は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、車両制御を行う処理部である。例えば、衝突危険度判定処理部１５から、物体検出装置３０によって画像内から検出された物体と衝突する危険度が高いという判定結果を受け付けた場合には、車両を停止する制御を行う（例えば、運転者がブレーキを踏まなくとも、自動的に車両制御に介入して安全に車両を停止させる）。また、衝突危険度判定処理部１５から、物体検出装置３０によって画像内から検出された物体と衝突する危険度が低いという判定結果を受け付けた場合には、車両を減速する制御または車両制御のアシスト（例えば、ブレーキのあそびを少なくして、車両の制動準備をする）を行う。

報知制御部１７は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、警告の報知を行う処理部である。例えば、衝突危険度判定処理部１５から、物体検出装置３０によって画像内から検出された物体と衝突する危険度が高いという判定結果を受け付けた場合には、車内通知部１８からアラーム音や音声などにより警告を報知する。また、衝突危険度判定部１５から、物体検出装置３０によって画像内から検出された物体と衝突する危険度が低いという判定結果を受け付けた場合には、車内通知部１８から音声や画像によって注意を促す。

車内通知部１８は、ナビ部１１や報知制御部１７からの情報を通知する手段であり、ディスプレイやスピーカなどで構成される。例えば、ディスプレイの一部を点滅させて運転者の注意を促したり、スピーカからメッセージやアラーム音を流すことにより運転者に対して警告を行ったりする。

物体検出装置３０の記憶部３１は、制御部３２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、手法規定テーブル３１ａと除外テーブル３１ｂとを備える。

このうち、手法規定テーブル３１ａは、画像内の物体を検出する複数の手法の使い分けに関する各種の情報を記憶する手段であり、具体的には、図３に例示するように、画像内に撮像された近距離の物体（例えば、画像内の各画素までの距離がＸｍ範囲内にある物体）については背景差分法を用い、遠距離の物体（例えば、画像内の各画素までの距離がＸｍ範囲外にある物体）については顕著性算出法を用いるように規定して構成される。

除外テーブル３１ｂは、物体検出を行わない画像内の領域を記憶する手段であり、具体的には、図４に例示すように、画像内に物体が撮像され得ない（歩行者が出現し得ない）画像の消失点より上の領域については、物体検出を行わない画像内の領域として規定して構成される。

物体検出装置３０の制御部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、物体検出部３２ａを備える。

この物体検出部３２ａは、画像内から物体の検出を行う処理部であり、具体的には、手法規定テーブル３１ａに基づいて、画像内に撮像された近距離の物体については背景差分法を用いて物体の検出を行い、遠距離の物体については顕著性算出法を用いて物体の検出を行う。また、除外テーブル３１ｂに基づいて、画像内における画像消失点から上の領域については物体検出を行わない。

［物体検出装置による処理（実施例１）］
次に、図５を用いて、実施例１に係る物体検出装置３０による処理を説明する。図５は、実施例１に係る物体検出装置の処理の流れを示すフローチャートである。同図に示すように、画像の入力を受け付けると（ステップＳ５０１肯定）、物体検出部３２ａは、画像内の各画素までの距離を把握する（ステップＳ５０２）。そして、各画素までの距離が所定の距離範囲内であれば（ステップＳ５０３肯定）、手法規定テーブル３１ａ（図３参照）に基づいて、背景差分法を用いて物体の検出を行う（ステップＳ５０４）。

一方、各画素までの距離が所定の距離範囲外であれば（ステップＳ５０３否定）、手法規定テーブル（図３参照）に基づいて、顕著性算出法を用いて物体の検出を行う（ステップＳ５０５）。そして、これらの検出結果を合成して物体判別装置１４に出力して次の画像入力を待つ（ステップＳ５０６）。なお、以上に説明した処理は画像の入力がある限り繰り返し行われ、画像の入力がなければ、物体検出装置３０は物体検出処理を終了する。なお、除外テーブル３１ｂ（図４参照）に基づいて、画像内における画像消失点から上の領域については物体検出を行わない。

［実施例１による効果］
上述してきたように、実施例１によれば、物体検出装置３０は、画像内に撮像された物体を検出する手法（例えば、背景差分法や顕著性算出法）を所定の要因（例えば、画像内に撮像された近距離の物体を検出する場合、あるいは、遠距離の物体を検出する場合）に応じて使い分けて物体の検出を行うので、画像内から確実に物体を検出することが可能となる。

また、実施例１によれば、物体検出装置３０は、画像内に撮像された物体を検出する手法を近い分ける要因として、画像内の距離範囲に注目し、画像内おける所定の距離範囲内の領域では背景差分法を用いて物体の検出を行い、画像内における所定の距離範囲外の領域では顕著性算出法を用いて物体の検出を行うので、遠距離の物体を上手く検出することができない背景差分法の弱点が顕著性算出法によって補強され、画像内から確実に物体を検出することが可能となる。

また、実施例１によれば、物体検出装置３０は、物体を検出する必要のない画像内の領域を規定した除外テーブルに基づいて、その除外テーブルに規定された以外の領域から物体の検出を行うので、画像内からより早くかつ確実に物体を検出することが可能となる。

さて、これまで実施例１に係る物体検出装置３０について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として、種々の異なる実施例を（１）〜（５）に区分けして説明する。

（１）車両走行線で物体検出手法の使い分け
上記の実施例では、画像内の所定の距離範囲内外で物体検出手法を使い分ける場合について説明したが、本発明はこれに限定されるものではなく、自車走行線の内外で物体検出手法を使い分けるようにしてよい。そこで、以下では、この場合の物体検出装置について説明する。

具体的には、この物体検出装置は、例えば、図７に例示するように、画像内から物体を検出する手法の使い分けを、自車走行線内の領域については顕著性算出法を用い、自車走行線外の領域については背景差分法を用いるように規定した手法規定テーブルを所持している。そして、この物体検出装置は、図６に示すように、前述の手法規定テーブルに基づいて、画像内に撮像された自車走行線内の領域については顕著性算出法を用いて物体検出を行い、自車走行線外の領域については背景差分法を用いて物体を検出する。

これにより、静止物体を検出することができない背景差分法の弱点が顕著性算出法によって補強され、物体検出の必要性が高い自車走行線内を撮像した画像内から静止物体であっても確実に検出することが可能となる。なお、車両走行線（レーン）は、画像内の輝度変化（エッジ）を追跡し、そこに線分があるか否かで検出を行う。

（２）距離範囲および車両走行線で物体検出手法の使い分け
上記の実施例では、画像内の所定の距離範囲内外で物体検出手法を使い分ける場合について説明したが、本発明はこれに限定されるものではなく、画像内の所定の距離範囲内外の領域および自車走行線の内外の領域で物体検出手法を使い分けるようにしてよい。そこで、以下では、この場合の物体検出装置について説明する。

具体的には、この物体検出装置は、例えば、図９に例示するように、画像内から物体を検出する手法の使い分けを、自車走行線内の領域については顕著性算出法を用い、自車走行線外かつ所定の距離範囲内の領域については背景差分法を用い、自車走行線外かつ所定の距離範囲外の領域については顕著性算出法を用いるように規定した手法規定テーブルを所持している。

そして、この物体検出装置は、図８に示すように、前述の手法規定テーブルに基づいて、画像内における自車走行線内の領域については顕著性算出法を用いて物体の検出を行い、自車走行線外の領域であって、かつ所定の距離範囲内（例えば、Ｘｍ内）の領域については背景差分法を用いて物体の検出を行い、自車走行線外の領域であって、かつ所定の距離範囲外（例えば、Ｘｍ外）の領域については顕著性算出法を用いて物体の検出を行う。これにより、背景差分法の弱点が顕著性算出法によって補強され、画像内に撮像された遠方の物体や静止物体であっても確実に検出することが可能となる。

（３）物体判別
上記の実施例において、画像内から複数の物体が検出された場合に、それらの物体についてのいずれから優先的に判別を行うかを、例えば、図１１に示すような優先テーブルに基づいて選択した上で、物体を判別する画像処理を行うようにしてもよい。なお、物体を判別する画像処理は、パターンマッチング手法による画像処理でもニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：神経回路網）による画像処理でもよい。

さらに、物体を判別する画像処理の手法としてパターンマッチング手法を用いた場合には、画像内から検出された物体までの距離に対応したテンプレートを選択して、そのテンプレートを検出された物体が画像内において位置する領域にあてはめて物体判別を行うようにしてもよい。そこで、以下では、これらの場合の物体検出装置について説明する。

この物体検出装置は、手法規定テーブル（図９参照）に基づいて、所定の要因ごとに物体検出手法を使い分けて画像内から物体を検出する。具体的には、例えば、図１０に例示するように、現フレーム画像内における自車走行線内の領域については顕著性算出法を用いて物体の検出を行い、自車走行線外の領域であって、かつ所定の距離範囲内の領域については背景差分法を用いて物体の検出を行い、自車走行線外の領域であって、かつ所定の距離範囲外の領域については顕著性算出法を用いて物体の検出を行う（図１０の（１）参照）。

次に、この物体検出装置は、現フレーム画像内から判別対象として検出された物体に対してラベリングを行う（図１０の（２）参照）。このラベリングは、図１１に例示するような優先テーブルに基づいて、現フレーム画像内から判別対象として検出された物体のうち距離の近いものから順に行う。例えば、１０ｍの位置に検出された物体には「１」とラベリングし、２０ｍの位置に検出された物体には「２」とラベリングする。

続いて、この物体検出装置は、現フレーム画像内から判別対象として検出された物体までの距離に対応したテンプレートを選択してあてはめることにより物体判別を行う（図１０の（３）参照）。具体的には、判別対象として検出された物体が現フレーム画像内おいて位置する領域に対して、先ほどのラベリング順にこれらのテンプレートをあてはめて物体判別を行う。例えば、ラベリングが「１」である物体については、その物体の検出位置である１０ｍに対応したテンプレートを選択し、画像内の領域にあてはめて物体判別を行う。また、ラベリングが「２」である物体については、その物体の検出位置である２０ｍに対応したテンプレートを選択し、画像内の領域にあてはめて物体判別を行う。

これにより、画像内から判別の対象となる複数の物体が検出された場合に、いずれの物体から優先的に判別を行うかを規定した優先テーブルに基づいて物体の判別を行うので、優先的に物体判別を行うべき画像内の領域からテンプレートをあてはめて物体判別を行うことができ、物体判別を効率的に行うことが可能となる。

また、画像内から判別の対象となる物体が検出され、その物体をパターンマッチング手法を用いて判別する場合に、その物体までの距離に対応させて選択したテンプレートをあてはめて物体の判別を行うので、物体までの距離に合わせてテンプレートを選択することなく、所持するテンプレートを順次あてはめて物体判別を行う場合に比べて、物体判別をより効率的に行うことが可能となる。このように、背景差分法と顕著性算出法の長所短所を生かし、これらの方法の距離に応じた使い分けを適宜歩行者検出のための仕様（要求精度）に応じて選択・組合せすればよい。

（４）装置構成
また、図２に示した物体検出装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、物体判別装置１４と物体検出装置３０を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体検出装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（５）物体検出プログラム
ところで、上記の実施例１で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例１と同様の機能を有する物体検出プログラムを実行するコンピュータの一例を説明する。図１２は、物体検出プログラムを実行するコンピュータを示す図である。

同図に示すように、物体検出装置としてのコンピュータ４０は、ＨＤＤ４１、ＲＡＭ４２、ＲＯＭ４３およびＣＰＵ４４をバス５０で接続して構成される。

そして、ＲＯＭ４３には、上記の実施例１に示した物体検出装置３０と同様の機能を発揮する物体検出プログラム、つまり、図１２に示すように、物体検出プログラム４３ａがあらかじめ記憶されている。なお、このプログラム４３ａは、図２に示した物体判別装置３０の各構成要素と同様、適宜統合または分散してもよい。なお、ＲＯＭ４３は、不揮発性の「ＲＡＭ」でもよい。

そして、ＣＰＵ４４が、このプログラム４３ａをＲＯＭ４３から読み出して実行することで、図１２に示すように、このプログラム４３ａは、物体検出プロセス４４ａとして機能するようになる。なお、このプロセス４４ａは、図２に示した物体検出部３２ａに対応する。

また、ＨＤＤ４１には、図１２に示すように、手法規定テーブル４１ａおよび除外テーブル４１ｂが設けられる。これらの手法規定テーブル４１ａおよび除外テーブル４１ｂは、図２に示した手法規定テーブル３１ａおよび除外テーブル３１ｂにそれぞれ対応する。そして、ＣＰＵ４４は手法規定テーブル４１ａおよび除外テーブル４１ｂから、手法規定データ４２ａおよび除外データ４２ｂをそれぞれ読み出してＲＡＭ４２に格納し、ＲＡＭ４２に格納された手法規定データ４２ａおよび除外データ４２ｂに基づいて物体検出処理を実行する。

なお、上記したプログラム４３ａについては、必ずしも最初からＲＯＭ４３に記憶させておく必要はなく、例えば、コンピュータ４０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ４０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ４０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ４０がこれらから各プログラムを読み出して実行するようにしてもよい。

また、上記の実施例では、物体検出を行う必要のない領域として画像消失点より上の領域を規定する場合（図１および図４参照）について説明したが、本発明はこれに限定されるものではなく、例えば、歩行者が出現し得ない空を撮像した画像内の領域などについても物体検出を行う必要のない領域として規定してもよい。これにより、画像内からより早く物体を検出することが可能となる。

また、上記の実施例では、車載の撮像装置で撮像された画像内の物体を検出する場合について説明したが、本発明はこれに限定されるものではなく、固定式の撮像装置（例えば、交差点に取り付けられた交通流監視カメラ）で撮像された物体を画像内から検出するようにしてもよい。また、規定情報としてテーブルを適用する場合について説明したが、本発明はこれに限定されるものではなく、予めそのような規定を組み込んだプログラム（フローチャート）を規定情報として適用するようにしてもよい。

以上のように、本発明に係る物体検出装置、物体検出方法および物体検出プログラムは、画像内に撮像されている物体を検出する場合に有用であり、特に、画像内から確実に物体を検出することに適する。

実施例１に係る物体検出装置の概要を説明するための図である。 実施例１に係る物体検出装置の構成を示すブロック図である。 実施例１に係る手法規定テーブルの構成例を示す図である。 実施例１に係る除外テーブルの構成例を示す図である。 実施例１に係る物体検出装置の処理の流れを示すフローチャートである。 実施例２に係る物体検出装置の異なる実施形態の概要を説明するための図である。 実施例２に係る手法規定テーブルの構成例を示す図である。 実施例２に係る物体検出装置の異なる実施形態の概要を説明するための図である。 実施例２に係る手法規定テーブルの構成例を示す図である。 実施例２に係る物体検出装置の異なる実施形態の概要を説明するための図である。 実施例２にかかる優先テーブルの構成例を示す図である。 物体検出プログラムを実行するコンピュータを示す図である。

符号の説明

１０ 撮像装置
１１ ナビ（ナビゲーション）部
１２ レーダ部
１３ 前処理部
１３ａ フィルタ部
１３ｂ 輪郭抽出部
１４ 物体判別装置
１５ 衝突危険度判定部
１６ 車両制御部
１７ 報知制御部
１８ 車内通知部
３０ 物体検出装置
３１ 記憶部
３１ａ 手法規定テーブル
３１ｂ 除外テーブル
３２ 制御部
３２ａ 物体検出部
４０ コンピュータ
４１ ＨＤＤ（Hard disk drive）
４２ ＲＡＭ（Random Access Memory）
４３ ＲＯＭ（Read Only Memory）
４４ ＣＰＵ（Central Processing Unit）
５０ バス

Claims (7)

1. 画像内に撮像されている物体を検出する物体検出装置において、
   前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、
   前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出手段と、
   を備えたことを特徴とする物体検出装置。
2. 前記手法規定情報は、前記画像内の所定の距離範囲内の領域では当該画像内の物体を検出する手法として背景差分法を用い、前記画像内の所定の距離範囲外の領域では当該画像内の物体を検出する手法として顕著性算出法を用いるように規定し、
   前記物体検出手段は、前記手法規定情報に基づき、前記画像内の所定の距離範囲内の領域では背景差分法を用いて当該画像内の物体を検出し、前記所定の距離範囲外の領域では顕著性算出法を用いて当該画像内の物体を検出することを特徴とする請求項１に記載の物体検出装置。
3. 前記手法規定情報は、前記画像内における自車走行線内の領域では、当該画像内の物体を検出する手法として顕著性算出法を用い、前記画像内における自車走行線外の領域では、当該画像内の物体を検出する手法として背景差分法を用いるように規定し、
   前記物体検出手段は、前記手法規定情報に基づき、前記画像内の自車走行線内の領域では顕著性算出法を用いて当該画像内の物体を検出し、前記画像内の自車走行線外の領域では背景差分法を用いて当該画像内の物体を検出することを特徴とする請求項１に記載の物体検出装置。
4. 前記手法規定情報は、前記画像内における自車走行線内の領域では当該画像内の物体を検出する手法として顕著性算出法を用い、前記画像内における自車走行線外の領域であって、かつ所定の距離範囲内では当該画像内の物体を検出する手法として背景差分法を用い、前記画像内の自車走行線外の領域であって、かつ所定の距離範囲外では当該画像内の物体を検出する手法として顕著性算出法を用いるように規定し、
   前記物体検出手段は、前記手法規定情報に基づき、前記画像内における自車走行線内の領域では顕著性算出法を用いて当該画像内の物体を検出し、前記画像内における自車走行線外の領域であって、かつ所定の距離範囲内では背景差分法を用いて当該画像内の物体を検出し、前記画像内の自車走行線外の領域であって、かつ所定の距離範囲外では顕著性算出法を用いて物体を検出することを特徴とする請求項１に記載の物体検出装置。
5. 前記画像において物体の検出を行う必要のない当該画像内の領域を規定した除外情報をさらに備え、
   前記物体検出手段は、前記除外情報に規定された領域以外から、前記手法規定情報に基づいて、前記画像内の物体を検出することを特徴とする請求項１に記載の物体検出装置。
6. 画像内に撮像されている物体を検出する物体検出方法において、
   前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、
   前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出工程と、
   を含んだことを特徴とする物体検出方法。
7. 画像内に撮像されている物体を検出する方法をコンピュータに実行させる物体検出プログラムにおいて、
   前記画像内に撮像されている物体を検出する複数の手法を所定の要因に応じて使い分けることを規定した手法規定情報と、
   前記手法規定情報に基づき、前記複数の手法を所定の要因に応じて使い分けて、前記画像内の物体を検出する物体検出手順と、
   をコンピュータに実行させることを特徴とする物体検出プログラム。

Images