JP4723934B2 - 対象物探索装置 - Google Patents

Description

本発明は、車両に設けられて、撮影画像から周囲の歩行者などを探索する対象物探索装置に関する。

車両には、夜間走行中などに、車両前方を撮影し、ヘッドライトの照射領域外の歩行者などをディスプレイに表示することにより、運転者の視覚支援を図る車両用撮像装置を搭載したものがある。この車両用撮像装置では、例えば、近赤外光を車両前方に照射し、歩行者などで反射した光（近赤外光）を撮像素子によって受光して、可視光画像の映像信号として出力する。この映像信号をディスプレイに表示することにより、暗闇の中の歩行者などをディスプレイに映し出して、運転者が認識可能となるようにしている。

このような車両用撮像装置では、歩行者などの動きを的確に表示するために、例えば、１０フレーム／秒以上で各フレーム画像の映像信号を出力するようにしており、これにより、歩行者などの対象物の相対的な動きをディスプレイに表示できるようにしている。

ところで、近赤外光を用いて車両前方を撮影すると、車両前方の各種の物体からの反射光が受光される。運転者の視覚支援を行うためには、その中から、歩行者などの対象物を正確に抽出して表示する必要があり、このためには、映像信号に対して画像処理を行って、対象物の位置及び大きさを検出する対照物の抽出を行う必要がある。

フレーム画像中から歩行者などの対象物を抽出するときに、対象物の位置や大きさがわかれば、対象物の有無のみを判断すればよいが、一般には、対象物の位置及び大きさは不明である。すなわち、歩行者の有無が不明であり、また、車両（カメラ）と歩行者の相対位置によってフレーム画像上での対象物の位置及び大きさが異なり、また、対象物と車両の相対位置が変化することにより、フレーム画像上での対象物の位置及び大きさも変化してしまう。

フレーム画像中からこのような対象物を抽出するためには、探索ウインドを設定し、フレーム画像全体を、探索ウインドでスキャンする方法がある。このときには、探索ウインドの大きさを変化させながらフレーム画像の全体をスキャンする必要があり、撮像装置から時系列的に出力される各フレーム画像のそれぞれに対して、対象物の探索処理を行うには、膨大な演算処理を必要とし、また、演算時間も長くなってしまう。

ここから、特定の対象物を探索するときの演算処理量の削減及び、処理時間の短縮を図る方法としては、近赤外光を用いる撮像手段に加えて、可視光を用いる撮像手段を設け、可視光画像から道路のレーンマーキングを検出し、検出したレーンマーキングに基づいて、探索領域を限定する方法が提案されている（例えば、特許文献１参照。）。

また、可視光を用いる撮像手段に換えて、レーザーレーダを設け、レーザーレーダによって対象物の距離及び方向を特定することにより、フレーム画像上での探査領域を限定するようにした提案がなされている（例えば、特許文献２参照。）。

すなわち、特許文献１、特許文献２では、可視光用の撮像手段やレーザーレーダを用いることにより、検索領域を限定することにより、探索のための演算量や処理時間の短縮を図るようにしている。
特開２００２−３６２３０２号公報 特開２００３−３０２４７０号公報

しかしながら、上記提案の何れにおいても、探索領域を限定するためには、近赤外光を用いた撮像手段に加え、可視光やレーザー光を用いた撮像手段が必要となってしまう。

また、レーザーレーダを用いる場合、レーザーレーダに検出されないものは、探索対象から外れてしまうという問題が生じる。

本発明は上記事実に鑑みてなされたものであり、表示のための撮像手段に加え、対象物の位置や大きさ等の検知のための撮像手段を別に設けることなく、効率的な探索処理を可能とすることにより、探索のための演算量や処理時間の短縮を図ることができる対象物探索装置を提案することを目的とする。

上記目的を達成するために本発明は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの小さい候補領域程長くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、を含む。

また、本発明の対象物探索装置は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの大きい候補領域程短くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、を含む。

この発明によれば、撮像手段によって時系列的に出力されるフレーム画像から対象物を探索する。

撮像手段によって撮像される対象物は、そこまでの距離が近いと大きいが、離れるほど小さくなる。また、距離が離れるほど、単位時間当たりの移動量が少なく写る。また、対象物を探索するときの候補領域は、対象物が遠いほど小さくて済む。

ここから、本発明では、距離の遠い対象物を探索するときには、候補領域のサイズを小さくすると共に、探索時間間隔を長くする。また、距離が近づくほど、対象物の探索に用いる候補領域のサイズを大きくすると共に探索時間間隔を短くする。フレーム画像を時系列的に出力するときの探索時間間隔は、フレーム画像のフレーム間隔に置き換えることができ、サイズの大きい候補領域に対しては、探索するフレーム間隔を短くするが、候補領域のサイズが小さくなるほど探索に用いるフレーム間隔を広くする。

これにより、時系列的に出力される各フレーム画像に対して、対象物の探索のための演算量の削減や、処理時間の短縮を図ることができる。

このような本発明の前記探索手段は、サイズの小さな前記候補領域の場合には第１の所定フレーム数毎に前記フレーム画像を探索し、サイズの大きな前記候補領域の場合には前記第１の所定フレーム数より少ない第２のフレーム数毎に前記フレーム画像を探索する。

また、本発明の前記撮像手段は、車速を検出する車速検出手段を備えた車両に設けられて該車両の前方を撮像し、前記探索手段は、前記車速検出手段により検出される車速が速い程前記候補領域ごとの前記探索時間間隔を短くして前記フレーム画像を探索する。

この発明によれば、探索時間間隔に応じてフレーム数を設定し、設定したフレーム数ごとに対応するサイズの候補領域を用いてフレーム画像から対象物の探索を行う。このときに、サイズの小さい候補領域に対しては、第１の所定フレーム数ごとに探索し、サイズの大きな候補領域に対しては、第１の所定フレーム数より少ない第２のフレーム数ごとに探索する。

また、車両に設けて前方の対象物を探索するときには、対象物が自車に接近する方向に相対移動する。このときの対象物の移動量は車速に影響することから、車速に応じて、車速が高くなるほど、探索時間間隔が短くなるように、探索領域ごとの探索時間間隔を換える。これにより、車両前方の対象物の的確な探索が可能となる。

さらに、本発明においては、探索に設ける候補領域のサイズの大きさを複数段階に設定し、設定した探索領域ごとにサイズに応じた探索時間間隔ないし探索するフレーム間隔であるフレーム数を設定し、核探索領域に対して設定したフレーム数ごとに対象物の探索を行うものであっても良い。

以上説明したように本発明によれば、時系列的に入力されるフレーム画像から対象物を探索して抽出するときに、異なる大きさの候補領域及び、候補領域の大きさに応じた検索時間間隔を設定し、設定に基づいた探索を行うことにより、各フレーム画像に対する探索のための演算量の削減、処理時間の短縮を図ることができるという優れた効果が得られる。

以下に図面を参照しながら本発明の実施の形態を説明する。図１には、本実施の形態に適用した車両用撮像システム１０の概略構成を示している。この車両用撮像システム１０は、撮像装置１２と、本発明を適用した探索装置として設けられて撮像装置１２から出力される映像信号に対して所定の画像処理を施す画像処理装置１４及び、画像処理装置１４から出力される映像出力に応じた画像を表示するディスプレイ１６を含んでいる。

この車両用撮像システム１０は、車両に設けられて、車両の前方を撮像して、車室内に設けているディスプレイ１６に表示することにより、運転者の視覚支援を図る。

撮像装置１２は、ライトユニット１８、カメラユニット２０を含んでいる。ライトユニット１８は、車両の前方へ向けて所定波長の光を発する。カメラユニット２０は、ＣＣＤ、ＣＭＯＳイメージセンサなどの撮像素子及び、入射される光を撮像素子上に結像する光学系（何れも図示省略）を含んでおり、車両前方側から入射される所定波長の光を受光する。

これにより、光学系によって撮像素子に結像された画像に応じた電気信号が得られえる。また、カメラユニット２０では、撮像素子から出力される電気信号に対してＡ／Ｄ変換、相関二重サンプリング、ゲインコントロールなどの各処理及び、所定のデジタル信号処理を施すことにより、１フレーム分の映像信号（フレーム画像の画像データ）を出力する。

また、撮像装置１２には、撮像制御部２２が設けられている。撮像制御部２２は、所定の同期信号及び露光制御信号を出力する。これにより、撮像装置１２では、ランプユニット１８及びカメラユニット２０の作動が制御されて撮像が行われる。また、撮像制御部２２では、カメラユニット２０から映像信号を時系列に出力するように制御している。このような撮像装置１２の基本的構成は、撮影画像に応じた映像信号を出力する公知の構成を適用することができる。

車両用撮像システム１０に用いる撮像装置１２では、所定波長の光として、赤外光のうちの近赤外光を用いることができる。このときには、ライトユニット１８が、車両前方へ向けて近赤外光を発し、カメラユニット２０が、例えば、近赤外光透過フィルタ等を用いるなどして、近赤外光の受光が可能となっていればよい。

これにより、撮像装置１２では、ランプユニット１８から照射した光が、車両前方の対象物で反射して、カメラユニット２０に入射されることにより、対象物が撮像される。このとき、近赤外光を用いることにより、夜間走行時に、ヘッドライトの照射領域外で、運転者の視認が難しい領域の撮像が可能となるようにし、車両用撮像システム１０では、この撮像装置１２によって撮像した画像を表示手段に表示することにより、運転者の視覚支援が可能となるようにしている。

なお、撮像手段として設けられる撮像装置としては、これに限らず、対象物が発する赤外線（遠赤外線）をカメラユニット２０で受光するものであってもよく、このときには、ランプユニット１８を不要（省略）することができる。また、撮像装置１２としては、近赤外光、遠赤外光などの赤外光に限らず、可視光による撮像を行うものであってもよく、このときには、可視光を発する投光手段を、必要に応じて設ければよく、以下では、光源種を特定せずに説明する。

フレーム画像を表示するディスプレイ１６としては、ＬＣＤ（液晶ディスプレイ）など、画像を直接又は間接的に表示する任意の表示手段を適用することができる。なお、撮像装置１２で近赤外光を用いた撮像を行うときには、ディスプレイ１６には、単色画像が表示される。なお、カメラユニット２０で可視光を受光するときには、ディスプレイ１６にカラー画像を表示してもよい。

一方、画像処理装置１４には、特定画像抽出部２４及び画像重畳部２６が設けられている。特定画像抽出部２４では、撮像装置１２からフレーム画像として入力される映像信号から、例えば、歩行者などの所定の対象物を抽出する。

図２（Ａ）及び図２（Ｂ）に示すように、撮像装置１２のカメラユニット２０は、例えば、車両２８のフロントシールドウインドの中央部上方に取り付けられ、車両２８の前方を撮像する。このときのカメラユニット２０の撮像範囲は、例えば、図２（Ａ）に示すように、垂直方向が垂直画角φ_Vの範囲であり、図２（Ｂ）に示すように、水平方向が水平画角φ_Hの範囲となる。

また、撮像装置１２では、このカメラユニット２０によって撮像を行うことにより、図３（Ａ）に示すごとにフレーム画像３０に応じた映像信号を出力する。

特定画像抽出部２４では、探索領域として所定サイズ（ウインドサイズ）の探索ウインド３２を設定し、この探索ウインド３２を、フレーム画像３０の横方向（水平方向、図３（Ａ）の矢印方向）及び縦方向（垂直方向）に、所定画素ずつずらすことによりスキャンし、探索ウインド３２内で、探索する対象物の有無を判定する。なお、この探索ウインド３２を用いた対象物の探索は、例えば、映像信号に対して二値化処理を施した画像データに対して、探索ウインド３２を、横方向に順に所定画素ずつ（例えば２画素ずつ）ずらしながらスキャンし、横方向に対して１列分のスキャンが終了すると、縦方向に所定画素（例えば２画素分）だけずらしてスキャンを行う。これを繰り返し、探索ウインド３２内に、対象物に近似した画像があるか否かを判定するなどの公知の手法を適用することができ、ここでは詳細な説明を省略する。

特定画像抽出部２４では、探索ウインド３２を用いたスキャンによって対象物を抽出すると、抽出した対象物のフレーム画像３２上の位置及び大きさを含めた画像データを生成し、生成した画像データを画像重畳部２６へ出力する。

画像重畳部２６は、撮像装置１２から入力されるフレーム画像の映像信号に、特定画像抽出部２４で生成した対象物の画像データを合成することにより、フレーム画像３２に対象物を重畳し、ディスプレイ１６へ出力する。

これにより、車両用撮像システム１０では、カメラユニット２０から出力されたフレーム画像３２上で、対象物が明確に示された画像がディスプレイ１６に表示される。

ところで、図１に示されるように、本実施の形態に適用した車両用撮像システム１０では、画像処理装置１４に探索設定部３４が設けられている。この探索設定部３４では、カメラユニット２０で撮像されて撮像装置１２から時系列的に入力されるフレーム画像３０（映像信号）を順にカウントし、カウント値に応じて、対象物の探索に用いる探索ウインド３２のウインドサイズを設定するようにしている。

前記した特定画像抽出部２４は、探索設定部３４で選択されたフレーム画像に対し、探索設定部３４で設定されたウインドサイズの探索ウインド３２を用いて対象物の探索処理を行うようにしている。

図４に示すように、探索する対象物を、歩行者としたときに（以下、対象物３６とする）、この対象物３６の大きさは、車両２８との距離に応じて変化し、車両２８に接近していれば、対象物３６が大きな画像となり、車両２８から離れるほど、フレーム画像３０上で小さくなる。

特定画像抽出部２４で、この対象物３６を的確に検出するためには、フレーム画像３０上の対象物３６の大きさ（ウインドサイズ）に応じた探索ウインド３２を用いる必要がある。

ここから、本実施の形態では、カメラユニット２０として、垂直画角φＶが１２．５７°の光学系、垂直方向の画素数が４２０画素の撮像素子を用いるときに、探索ウインド３２のウインドサイズとして縦方向の画素数（縦画素数）を複数段階に設定している。

このとき、図３（Ｂ）に示すように、最小サイズとして縦画素数を３２画素の探索ウインド３２ａを設定し、さらに、ウインドサイズ（縦画素数）を２０％ずつ大きくして、３２画素の探索ウインド３２ｂから、３８５画素の３２ｏまでの、１５の探索ウインド３２を設定している。すなわち、特定画像抽出部２４では、３２画素（探索ウインド３２ａ）、３８画素（探索ウインド３２ｂ）、４５画素、５４画素、６４画素、７６画素、９１画素、１０９画素（探索ウインド３２ｈ）、１３０画素、１５６画素、１８７画素、２２４画素、２６８画素、３２１画素（探索ウインド３２ｎ）及び、３８５画素の探索ウインド３２ｏのそれぞれを用いて、フレーム画像３０から対象物３６の抽出を行うことができるようになっている。なお、垂直画角φ、画素、探索ウインド３２のウインドサイズ、数等は、一例を示すものであり、上記数値に限定するものではない。

前記したごとく、カメラユニット２０によって対象物３６が撮像されるときの垂直画角である仰角φ（図４参照）は、車両２８と対象物３６との距離が短いと大きくなり、車両２８と対象物３６の距離が長いと小さくなる。

このとき、カメラユニット２０の撮像素子上では、対象物３６の大きさに応じて結像される画素数が変化し、対象物３６がディスプレイ１６上で小さく写るほど、縦画素数も少なくなる。

ここで、表１には、カメラユニット２０によって、高さHが１．６ｍの対象物３６を撮像するとき、ウインドサイズに設定している縦画素数に対する対象物３６との距離（ｍ）、垂直画角である仰角φ（°）を示している。

このように設定しているときに、探索ウインド３２ａで探索される対象物３６の距離は１０８ｍであり、そのときの仰角φは、０．８５°であり、探索ウインド３２ｏで探索される対象物３６の距離は９ｍとなる。

また、例えば、対象物３６が、探索ウインド３２ａ（縦画素数３２画素）で抽出されるときと、サイズが１サイズ大きい探索ウインド３２ｂ（縦画素数３８画素）で抽出されるときの距離差Δは、１７ｍとなる。表１には、距離差Δ（ｍ）として、探索ウインド３２のサイズを、１ステップ変化させたときの距離の差を示している。

一方、単位時間当たりに出力されるフレーム画像３０の数（フレーム数）が同じであれば、走行中の車両２８と対象物３６との間の距離の変化は、主として車両２８の走行速度が大きく起因する。

撮像装置１２では、フレーム画像３０を時系列的に出力するようにしており、このとき、フレーム画像３０の出力レートを３０フレーム／secとすると、フレーム間は３３msecとなる。

表２には、車両２８の速度ごとに、フレーム間（３３msec）での走行距離を示している。

表２に示すように、例えば、速度が４０（ｋｍ／ｈ）のときには、１フレーム分のフレーム画像３０が得られる間に、車両２８は、０．３７０３７（ｍ）移動し、対象物３６に接近する。

表１に示すように、対象物３６が、探索ウインド３２ａで抽出される位置から探索ウインド３２ｂで抽出される位置に移動したときには、距離差Δが１７ｍであることから、車両２８が１７ｍ走行したことになる。このとき、車両２８が、速度４０（ｋｍ／ｈ）で走行していれば、表２から、約４６フレーム分のフレーム画像３０が、撮像装置１２から出力されて、画像処理装置１４へ入力される。

また、探索ウインド３２の１ステップ分である６４画素の探索ウインド３２で抽出される位置（距離５４ｍ）から、７６画素の探索ウインド３２で検出される位置（距離４５ｍ）に、対象物３６が移動したときには、９ｍ移動したことになり、このとき、車両２８が、速度４０（ｋｍ／ｈ）で走行していると、約２４フレーム分のフレーム画像３０が、画像処理装置１４へ入力されることになる。

ここから、画像処理装置１４の探索設定部３４では、探索ウインド３２のそれぞれに対して、車速に応じて、探索時間間隔を設定している。このとき、探索ウインド３２が、１ステップ変化するまでの時間の約１／２を目安として探索時間間隔を設定し、この探索時間間隔に基づいて、探索に用いるフレーム間隔、すなわち何フレームごとに探索を行うかのフレーム数を設定している。

表３には、このときのフレーム数の設定の一例を示している。

探索設定部３４では、表３に示す設定を、例えば、車速と探索ウインドのサイズのマップとして記憶するようにしている。

また、図１に示すように、探索設定部３４には、車速センサ３８が接続している。この車速センサ３８は、例えば、車両２８（図１では図示省略）の車輪の回転数に応じた信号を出力し、探索設定部３４では、この車速センサ３８の出力から、車両２８の走行速度（車速）を判断するようにしている。

これにより、探索設定部３４では、車速に応じて、探索ウインド３２ごとに、探索時間間隔（又はフレーム数）を設定し、例えば、フレーム番号に、探索に用いる探索ウインド３２を設定するか、探索ウインド３２ごとに、探索を行うフレーム番号を設定する。

探索設定部３４では、撮像装置１２から入力されるフレーム画像３０の順番（番号）をカウントし、カウント値である順番に基づいて、フレーム画像３０ごとに対象物３６の探索に使用する探索ウインド３２のウインドサイズを設定し、特定画像抽出部２４は、この設定に基づいて対象物３６の抽出を行うようになっている。

これにより、画像処理装置１４では、探索ウインド３２のそれぞれに設定されたフレーム数ごとに周期的に対象物３６の探索を行うようにしている。

このように構成されている車両用撮像システム１０では、車両の図示しないイグニッションスイッチがオンされた状態で、図示しない電源スイッチがオンされることにより、ライトユニット１８の投光を制御しながら、カメラユニット２０によって車両２８の前方を撮像し、撮像したフレーム画像を時系列的に出力しながら、ディスプレイ１６に表示する。

このとき、車両用撮像システム１０に設けている画像処理部１４では、探索ウインド３２を用い、撮像装置１２から入力されるフレーム画像３２から、対象物３６を抽出すると、抽出した対象物３６の画像を、フレーム画像３０に重畳して、ディスプレイ１６に表示するようにしている。

これにより、車両用撮像システム１０では、車両２８の運転者が、ディスプレイ１６に表示された画像から、可視範囲を外れた領域内の歩行者などを的確に視認できるようにしている。

ところで、車両用撮像システム１０には、画像処理装置１４に探索設定部３４が設けられており、この探索設定部３４で、撮像装置１２から入力されるフレーム画像３０ごとに、対象物３６の探索を行うか否かと共に、探索を行うときに用いる探索ウインド３２のウインドサイズを設定するようにしている。

フレーム画像３０から対象物３６を抽出する特定画像抽出部２４では、探索設定部３４で設定されたフレーム画像３０に対して、探索設定部３４で設定された探索ウインド３２を用いた探索処理を行うことにより、対象物３６を抽出するようにしている。

ここで、図５を参照しながら、探索設定部３４での処理を説明する。このフローチャートは、車両用撮像システム１０の図示しない電源スイッチがオンされることにより実行され、電源スイッチがオフされるなどして、車両用撮像システム１０の作動が停止することにより終了する。

このフローチャートでは、ステップ１００で車速センサ３８によって検出する車両２８の速度（走行速度）を読み込むと、ステップ１０２では、前回と速度が変化したか否かを確認する。なお、本実施の形態では、車速を４０（ｋｍ／ｈ）、６０（ｋｍ／ｈ）、８０（ｋｍ／ｈ）及び１００（ｋｍ／ｈ）の４段階に設定しており、それぞれの段階での速度を基準速度又は中心速度として適用範囲を設定する。このとき、例えば、車速が４０（ｋｍ／ｈ）のレベルでは０〜５０（ｋｍ／ｈ）、６０（ｋｍ／ｈ）、８０（ｋｍ／ｈ）及び１００（ｋｍ／ｈ）のレベルでは、５０〜７０（ｋｍ／ｈ）、７０〜９０（ｋｍ／ｈ）及び９０（ｋｍ／ｈ）以上、などとして、前回の適用範囲をはずれたか否から車速が変化したか否かを判定するものであっても良く、また、これに限らず、探索ウインド３２が設定されている車速に応じた任意の判定方法を適用することができる。

ここで、車速が変化していると、ステップ１０２で肯定判定してステップ１０４へ移行し、検出した車速に応じた探索ウインド３２ごとの探索時間間隔から、探索時間間隔（フレーム間隔）を設定する。このとき、大きいウインドサイズの探索ウインド３２に対しては、探索時間間隔が短く設定され、ウインドサイズが小さくなるにしたがって、探索時間間隔が長くなるように設定される。

また、一つの探索ウインド３２に対しては、車速が早く（高く）なるにしたがって、探索時間間隔が短くなるように設定される。なお、実質的に車速の変化がないと判断されると、前回の設定がそのまま用いられる。

さらに、探索を行うときには、使用する探索ウインド３２が分散されるように設定されることが好ましい。例えば、車速が４０（ｋｍ／ｈ）のときには、２２４画素〜３８５画素の探索ウインド３２が、１フレームおきとなる。このときには、例えば、２２４画素と３８５画素の探索ウインド３２を奇数番目に設定し、２６８画素と３２１画素の探索ウインドを偶数番目に設定する。これにより、探索処理を分散させることができる。

一方、車両用撮像システム１０では、３０フレーム／secで、撮像装置１２からフレーム画像３０となる映像信号（以下、フレーム画像３０とする）が入力されるようになっており、ステップ１０６では、フレーム画像３０が入力されたか否かを確認し、フレーム画像３０が入力されるとステップ１０６で肯定判定してステップ１０８へ移行する。

このステップ１０８では、フレーム番号をカウントする。なお、このフレーム番号は、撮像装置１２から入力されるフレーム画像３０に、入力順に付与する。また、このフレーム番号は、装置がオンされたときにリセットされて、オフされるまでの間の通し番号であってもよく、また、車速の変化を検出したときや、所定の時間間隔又は、所定値に達したときにリセットされて、再カウントされるものであっても良い。

前記したように、探索設定部３４では、車速と探索ウインド３２のウインドサイズに基づいて、フレーム画像３０の順番ごとに探索ウインド３２が設定されるか、探索ウインド３２ごとに、探索を実行するフレーム番号が設定されており、次のステップ１１０では、フレーム画像３０のカウント番号から、探索に適用するウインドサイズ（探索ウインド３２）を設定する。

この後、ステップ１１２では、入力されたフレーム画像３０に対して、設定している探索ウインド３２を用いて対象物３６の探索処理を実行するように、特定画像抽出部２４に指示する。

特定画像抽出部２４では、この指示を受けて、該当フレーム画像３０に対して設定されているウインドサイズの探索ウインド３２を用いた探索処理を行う。これにより、対象物３６が抽出されたときには、その画像位置及び大きさの画像データを、画像重畳部２６へ出力する。

これにより、ディスプレイ１６には、対象物３６が明確となるフレーム画像３０が表示される。

このとき、縦画素数が多い大きいウインドサイズの探索ウインド３２で近い距離の対象物３６を探索するようにし、縦画素数が少ない小さいウインドサイズの探索ウインド３２で離れた対象物３６を検索するようにし、ウインドサイズの小さい探索ウインド３２に対しては、ウインドサイズの大きい探索ウインド３２に比べて探索時間間隔が長くなるようにしている。

これにより、全てのフレーム画像３０に対して、全ての探索ウインド３２を用いることなく、対象物３６の探索を行うので、探索を行うための演算量の削減、処理時間の短縮を図ることができる。

また、車速を検出して、車速が高いときには、車速が低いときに比べて、各ウインドサイズの探索ウインド３２の探索時間間隔を短くし、短い周期で対象物３６の探索を行うので、対象物３６及び対象物３６の動きを的確に把握できる画像をディスプレイ１６に表示することができ、運転者の視覚支援を行うときの適正を損ねることがない。

なお、以上説明した本実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、撮像装置として、車両用撮像システム１０に、画像処理装置１４及びディスプレイ１６を設けて説明したが、本発明は、時系列的に撮像されて出力されるフレーム画像から、対象物を抽出する任意の構成の画像処理装置に適用することができる。

また、本実施の形態では、車両２８に設けた車両用撮像システム１０に用いて説明したが、本発明は、これに限らず、撮像した映像信号をディスプレイ１６等の表示手段に表示しながら、画像処理を実行する任意の構成の撮像システムに適用することができる。

本実施の形態に適用した車両用撮像システムの概略構成図である。 （Ａ）は車両側方側から見た撮像装置での撮像範囲を示す概略図、（Ｂ）は車両上方側から見た撮像装置での撮像範囲を示す概略図である。 （Ａ）は探索ウインドを用いたフレーム画像上の探索を示す概略図、（Ｂ）は、探索に用いる探索ウインドを例示する概略図である。 対象物の撮像を示す車両側方側から見た概略図である。 探索するフレーム及び探索に用いる探索ウインドの設定の一例を示す流れ図である。

符号の説明

１０ 車両用撮像システム
１２ 撮像装置（撮像手段）
１４ 画像処理装置
１６ ディスプレイ
１８ ライトユニット（撮像手段）
２０ カメラユニット（撮像手段）
２２ 撮像制御部（撮像手段）
２４ 特定画像抽出部（探索手段）
２６ 画像重畳部
２８ 車両
３０ フレーム画像
３２ 探索ウインド（探索領域）
３４ 探索設定部（探索手段）
３６ 対象物

Claims (4)

1. 所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、
   予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの小さい候補領域程長くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、
   を含む対象物探索装置。
2. 所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列的に出力する撮像手段と、
   予め設定されたサイズの異なる複数の候補領域を用い、探索する前記フレーム画像の間隔とする探索時間間隔を、サイズの大きい候補領域程短くなるように前記候補領域ごとに設定し、前記候補領域ごとに前記探索時間間隔に応じた前記フレーム画像に対して候補領域のサイズに応じた大きさの前記対象物の画像を探索する探索手段と、
   を含む対象物探索装置。
3. 前記探索手段は、サイズの小さな前記候補領域の場合には第１の所定フレーム数毎に前記フレーム画像を探索し、サイズの大きな前記候補領域の場合には前記第１の所定フレーム数より少ない第２のフレーム数毎に前記フレーム画像を探索する請求項１又は請求項２記載の対象物探索装置。
4. 前記撮像手段は、車速を検出する車速検出手段を備えた車両に設けられて該車両の前方を撮像し、
   前記探索手段は、前記車速検出手段により検出される車速が速い程前記候補領域ごとの前記探索時間間隔を短くして前記フレーム画像を探索する請求項１から請求項３の何れか１項記載の対象物探索装置。

Images