JP5720380B2 - 物体検出方法、物体検出装置および物体検出プログラム - Google Patents

Description

本発明は、物体検出方法、物体検出装置および物体検出プログラムに関し、特に、道路上のダンボールや衣類といった落下物の存在を、検出波長の異なる複数のカメラを用いて撮影した画像の画像処理結果を統合することにより、高精度で検出することを可能とする物体検出方法、物体検出装置および物体検出プログラムに関する。

近年の自動車開発のキーワードとして、「安全・安心」がある。日本社会の高齢化に伴い、ドライバの高齢者人口が今後も増大していくのは避けられないが、判断力・注意力・体力の衰えた高齢者ドライバに対して、安全でかつ安心することができる運転をサポートすることは、自動車業界にとって強く望まれていることである。ここで、自動車にとっての安全・安心とは、交通事故の発生を回避するか、あるいは、交通事故が発生した場合にその損害を最小限に食い止めることと考えることができる。

自動車の高性能化や道路交通法の改正等により、交通事故死者数は平成９年の９,６４０人から平成１８年の６,３５２人へと着実に減少を続けているものの、負傷者数はほぼ横ばいであり、自動車の安全性に関してはさらなる向上が求められている。

自動車と人・モノとの衝突を回避するために必要な自動車周辺状況認識技術として、例えば、ミリ波レーダを用いた前方車両衝突回避システムや遠赤外線画像をカーナビゲーション画面に表示することによる夜間道路画像明瞭化システム、前方カメラを用いて白線を認識することによる車線逸脱警報システムなどが実用化されている。

これらのシステムは１台の車両で処理が完結する技術であるが、より高度な状況認識を実現するアプローチとして、車車連携技術、路車連携技術がある。車車連携技術においては、道路上を走行する各車両が互いに無線通信を行い、自車両の周辺状況を他車両に対して提供することによって、自車両のみでは把握することが困難な周辺状況の取得が可能となる。車車連携技術が実現することにより、例えば、死角から他車両が飛び出してくることによる出会い頭の衝突事故の回避が期待される。

また、路車連携技術においては、道路脇に設置したセンサを用いて、個々の車両の走行状態をモニタリングし、これらの走行情報を各車両に配信することが可能となる。路車連携技術が実現することにより、例えば、渋滞末尾の検出と通知とを実現することが期待される。また、路車連携技術において用いられるセンサの一つとしてカメラを用いることも想定されているが、カメラによって取得した道路画像から、個々の車両を検出し、その走行経路を追跡することによって、交差点内での右折車と直進車との衝突防止警告システムの構築も可能となる。

車両の安全走行の上で大きな障害となるものの一つに、道路上の落下物がある。特に、高速道路の場合、ダンボールやビニールシートといった落下物は、急ハンドルや急ブレーキの原因となり得るものであり、カメラを用いて撮影した画像の画像処理によって、これらの落下物の存在をドライバに早期に通知することが、非常に重要である。

これらの落下物の検出に求められる要件として大きなものに、昼夜、天候を問わずに、検出することができることが挙げられる。特に、照明光のない場所における夜間時の検出や、雨、雪等が降ったような環境下における検出等において、検出精度に著しい劣化のないことが、実運用上において非常に重要である。照明のない状況下で画像処理を行う方法としては、赤外カメラを使うことが考えられる。ただし、赤外カメラは熱分布を計測するものであり、道路表面と落下物との間に温度差がない場合には、赤外画像上には落下物が映らないことになる。

したがって、可視カメラと赤外カメラとを用いて同一箇所を撮影することによって、より広範囲の環境変動に対して画像処理を行うことが有効となる。特許文献１の特開２０１０-２０５５７号公報「画像処理装置および画像処理方法」に記載の技術は、夜間において赤外カメラと可視カメラとを用いて道路画像処理を行うものであり、検出対象は横断歩道等の道路上もしくはその近傍に存在する人物である。

道路上の物体としては、人物以外に車両も対象であり、エンジンやマフラーといった熱源を有する車両については、赤外カメラ画像において高輝度値を有する物体として観測され、また、可視カメラ画像においてもヘッドライトやテールランプといった発光体により、高輝度値を有する物体として観測される。一方、人物は、体温を有する熱源であるため、赤外カメラ画像上で高輝度値を有しているが、発光体を有していないので、可視カメラ画像上では高輝度値を有する物体として観測されることはない。

前記特許技術１においては、このような赤外カメラ画像および可視カメラ画像における車両と人物との観測結果の違いを利用して、夜間における人物検出を実現している。

また、特許文献２の特開２００４-３１２４０２号公報「道路監視システム、道路監視装置」に記載の技術は、赤外カメラ画像処理の結果と可視カメラ画像処理の結果とを、状況に応じて、論理和もしくは論理積を行うことによって統合するものである。すなわち、該特許文献２においては、昼夜の別、降雨の別といった周辺環境を判定する周辺環境判定モジュールを用いて、該周辺環境判定モジュールの出力に基づいて、赤外カメラ／可視カメラの画像処理結果に対して論理積（ＡＮＤ）か論理和（ＯＲ）かのいずれかの論理処理を行うことによって、環境変動に対しても検出精度が頑健な画像を出力することを可能としている。

一方、道路上の落下物を検出するに当たっては、道路上に存在する物体の中から、移動体に分類されるものを除外した結果を、落下物の候補と見なすことが考えられる。特許文献３の特開２００２-２６０１６６号公報「情報配信装置および情報配信システム」に記載の技術は、車両が存在しない道路画像(背景画像と称する)と入力画像との差分から物体を検出し、現時刻の入力画像と過去時刻の入力画像との差分から移動体を検出するものである。

特開２０１０−２０５５７号公報（第８−１２頁） 特開２００４−３１２４０２号公報（第４−６頁） 特開２００２−２６０１６６号公報（第３−６頁）

前記特許文献１に記載の技術は、夜間における人物検出を対象としたものであるため、昼間のように、車両がヘッドライトやテールランプを点灯させない状況下においては、赤外カメラ画像と可視カメラ画像との間で車両と人物との観測結果の相違は発生しなく、人物のみを検出することはできない。したがって、落下物についても、通常の場合は、発光体ではないという観点から、検出対象物を人物から落下物に置き換えて、前記特許文献１に記載の技術を適用しようとしても、昼夜の別には依存しない落下物の検出を可能とすることはできない。

また、前記特許文献２に記載の技術については、検出精度の環境変動に対する頑健性が周辺環境判定モジュールの精度に大きく依存する。例えば、該周辺環境判定モジュールに使用するセンサとしてカメラを用いた場合、特に、降雨か否かの判定は困難である。

何故ならば、赤外カメラ画像の場合、降雨時には、物体の表面温度が一様になるために画像のコントラストが低下するが、これは、真夏や真冬のように、外気温が特に高い、もしくは、特に低い環境下においても再現されるものであり、区別がつき難い。また、可視カメラを用いたとしても、雨滴のサイズ如何により画像中に観測されない場合も存在するし、路面の画素値に基づいて路面が濡れているか否かを判定しようとしても、画面全体が影になった場合との区別がつき難い。また、周辺環境判定モジュールにカメラとは別のセンサ(例えば降雨計)を利用するようにしても、雨量の閾値をどのように設定するかといった問題がある。

また、前記特許文献３に記載の技術は、検出方法の観点から見て、道路上の静止物を検出する技術に限られていて、渋滞等が原因で道路上において停車している車両や、なんらかの理由で駐車している車両と落下物とを区別することができない。

（本発明の目的）
本発明は、かかる事情に鑑みてなされたものであり、昼夜の時間帯や天候などの環境変動に如何に関わらず、道路上の落下物を高精度で検出することを可能とする物体検出方法、物体検出装置および物体検出プログラムを提供することを、その目的としている。

前述の課題を解決するため、本発明による物体検出方法、物体検出装置および物体検出プログラムは、主に、次のような特徴的な構成を採用している。

（１）本発明による物体検出方法は、カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出方法であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出ステップと、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出ステップと、前記第１物体存在判定ステップ、前記第１移動体検出ステップ、前記第１立体情報算出ステップ、前記第２物体存在判定ステップ、前記第２移動体検出ステップ、前記第２立体情報算出ステップそれぞれにおける処理結果を統合する特徴量統合ステップと、前記特徴量統合ステップにおける処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定ステップと、を少なくとも含んでいることを特徴とする。

（２）本発明による物体検出装置は、カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出装置であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出手段と、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出手段と、前記第１物体存在判定手段、前記第１移動体検出手段、前記第１立体情報算出手段、前記第２物体存在判定手段、前記第２移動体検出手段、前記第２立体情報算出手段それぞれにおける処理結果を統合する特徴量統合手段と、前記特徴量統合手段における処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定手段と、を少なくとも含んで構成されていることを特徴とする。

（３）本発明による物体検出プログラムは、少なくとも前記（１）に記載の物体検出方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする。

本発明の物体検出方法、物体検出装置および物体検出プログラムによれば、以下のような効果を奏することができる。

道路を撮影した画像に基づいて、道路上の物体に関する存在判定、移動体検出および立体情報算出を行うことにより、道路上で静止している落下物とそれ以外の走行中や停車中の車両等の物体との区別を行うことが可能になるとともに、検出波長の異なるカメラを複数台用いることによって、昼夜の時間帯や天候などの環境変動に如何に関わらず、より広範囲なシーンにおいて、落下物や移動体等の物体の検出をより確実に行うことが可能になる。

また、複数台のカメラによって取得した取得画像の特徴量を統合して、静止物体と移動物体とを判定する際に、落下物のサンプルを用いてあらかじめ学習済みの識別機を用いることも容易であり、雨量に対する閾値を設けて該閾値に応じて物体検出情報の統合方法を切り替えるといった複雑な方法を採用することなく、複数台のカメラの画像処理結果を統合することができるという重要な効果も得られる。

本発明による物体検出装置の第１の実施の形態の構成例を示すブロック構成図である。 図１の物体検出装置の第１物体存在判定手段および第２物体存在判定手段において物体の存在の有無を判定する取得画像上の領域を説明するための説明図である。 図１の物体検出装置の第１物体存在判定手段および第２物体存在判定手段の動作の一例を説明するための説明図である。 図１の物体検出装置の第１移動体検出手段および第２移動体検出手段の動作の一例を説明するための説明図である。 図１の物体検出装置の第１移動体検出手段および第２移動体検出手段の動作の図４とは異なる例を説明するための説明図である。 図１の物体検出装置の全体の処理の流れの一例を示すフローチャートである。 図６のフローチャートのステップＡ２，Ａ３の処理における詳細な流れを例示するためのフローチャートである。 本発明による物体検出装置の第２の実施の形態の構成例を示すブロック構成図である。 図８の物体検出装置の第１画像処理パラメータ調整手段および第２画像処理パラメータ調整手段の動作の一例を説明するための説明図である。

以下、本発明による物体検出方法、物体検出装置および物体検出プログラムの好適な実施の形態について添付図を参照して説明する。なお、以下の説明においては、本発明による物体検出方法および物体検出装置について説明するが、かかる物体検出方法をコンピュータにより実行可能な物体検出プログラムとして実施するようにしても良いし、あるいは、物体検出プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしても良いことは言うまでもない。

（本発明の特徴）
本発明の実施の形態の説明に先立って、本発明の特徴についてその概要をまず説明する。本発明は、従来技術の課題を解決するために、検出波長の異なる複数台例えば２台のカメラから画像を取得し、取得した各カメラ画像中の物体の存在判定、移動体検出、および、立体情報算出を、それぞれのカメラ画像に対して行い、得られたそれぞれの物体情報の特徴量を統合して、さらに、場合によっては、特徴量計算による次元圧縮を行った上で、あらかじめ機械学習済みの識別機に入力することによって、道路上の落下物を高精度で検出することを可能とすることを、主要な特徴としている。

より具体的には、本発明による物体検出装置においては、第１検出波長Ａのカメラを用いて道路画像を取得する第１画像取得手段と、第１検出波長Ａのカメラ画像から道路上の物体の有無を判定する第１物体存在判定手段と、第１検出波長Ａのカメラ画像から道路上の物体の運動状態を計測する第１移動体検出手段と、第１検出波長Ａのカメラ画像から道路上の物体の立体形状を計測する第１立体情報算出手段と、第２検出波長Ｂのカメラを用いて道路画像を取得する第２画像取得手段と、第２検出波長Ｂのカメラ画像から道路上の物体の有無を判定する第２物体存在判定手段と、第２検出波長Ｂのカメラ画像から道路上の物体の運動状態を計測する第２移動体検出手段と、第２検出波長Ｂのカメラ画像から道路上の物体の立体形状を計測する第２立体情報算出手段と、２台のカメラそれぞれのカメラ画像に対応する第１・第２物体存在判定手段、第１・第２移動体検出手段、第１・第２立体情報算出手段の処理結果を統合する特徴量統合手段と、特徴量統合手段による統合結果から得られる特徴量を用いて落下物の判定を行う落下物判定手段とを、少なくとも備えて構成されている。

（第１の実施の形態）
（第１の実施の形態の構成例）
次に、本発明による物体検出装置の第１の実施の形態の構成例について、まず、図１を用いて詳細に説明する。図１は、本発明による物体検出装置の第１の実施の形態の構成例を示すブロック構成図であり、検出波長が異なる複数台のカメラとして２台のカメラ（第１カメラ、第２カメラ）を用いている場合のブロック構成を例示している。

図１に示すように、本発明の第１の実施の形態における物体検出装置は、第１画像取得手段１、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４、第２画像取得手段５、第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８、特徴量統合手段９、および、落下物判定手段１０を少なくとも含んで構成されている。

第１画像取得手段１は、第１検出波長Ａとしてあらかじめ定めた或る検出波長の第１カメラによって撮影した道路の画像を取得する。第１物体存在判定手段２は、第１画像取得手段１で得られた取得画像から道路上の物体の存在を判定する。第１移動体検出手段３は、第１画像取得手段１で得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する。第１立体情報算出手段４は、第１画像取得手段１で得られた取得画像から道路上の物体の立体情報を算出する。

第２画像取得手段５は、第１カメラの第１検出波長Ａとは異なる第２検出波長Ｂとしてあらかじめ定めた検出波長の第２カメラによって撮影した道路の画像を取得する。第２物体存在判定手段６は、第２画像取得手段５で得られた取得画像から道路上の物体の存在を判定する。第２移動体検出手段７は、第２画像取得手段５で得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する。第２立体情報算出手段８は、第２画像取得手段５で得られた取得画像から道路上の物体の立体情報を算出する。

特徴量統合手段９は、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４、第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８の処理結果を統合して、総合的な特徴量を算出する。落下物判定手段１０は、特徴量統合手段９の統合結果から得られる特徴量を用いて落下物の判定を行う。

（第１の実施の形態の動作例）
次に、図１に示した物体検出装置の全体の動作について、その一例を説明する。図１の第１画像取得手段１においては、第１検出波長Ａの第１カメラを用いて道路画像を取得して、メモリに保存する。第１物体存在判定手段２においては、メモリにあらかじめ記憶されていた背景画像の微分と現時刻において第１画像取得手段１によって取得されたカメラ画像の微分との差分を求めることにより、道路上の物体の存在を判定する。

第１物体存在判定手段２の動作の一例について、図３を用いて詳細に説明する。図３は、図１の物体検出装置の第１物体存在判定手段２および第２物体存在判定手段６の動作の一例を説明するための説明図であり、道路上の物体の存在の有無を判定する物体存在判定方法の一例を示している。

図３において、図３（ａ）は、あらかじめ記憶されていた背景画像であり、道路上に車両や人物や落下物等が存在していない状況を第１カメラまたは第２カメラによって撮影して、第１画像取得手段１または第２画像取得手段５によって取得し、メモリにあらかじめ記憶している。第１物体存在判定手段２または第２物体存在判定手段６において、図３（ａ）の背景画像について、図３（ａ−１）に示した背景画像の原画像の各画素間の微分を求める微分画像化処理を行うと、図３（ａ−２）に示したように、輪郭のみが強調された画像が背景画像の微分画像として生成される。

一方、図３において、図３（ｂ）は、第１画像取得手段１または第２画像取得手段５によって現時刻において取得された取得画像であり、第１物体存在判定手段２または第２物体存在判定手段６において、背景画像の場合と同様に、図３（ｂ−１）に示した取得画像の原画像の各画素間の微分を求める微分画像化処理を行うと、図３（ｂ−２）に示したような取得画像の微分画像が生成される。図３（ｂ−１）の取得画像には、図３（ａ−１）の背景画像とは異なり、道路上に出現した車輌１００も撮影されているので、図３（ｂ−２）の取得画像の微分画像に示すように、図３（ａ−２）とは異なり、車輌の輪郭１００ａを含む微分画像が生成される。

しかる後、第１物体存在判定手段２または第２物体存在判定手段６において、図３（ａ−２）のような背景画像の微分画像と、図３（ｂ-２）のような現時刻の取得画像の微分画像との間の差分を求めることによって、図３（ｃ）に示すように、道路上に出現した車輌の輪郭１００ａを含む差分画像が得られる。つまり、図３（ｃ）の差分画像においては、図３（ｂ-１）の現時刻の取得画像の物体のうち、図３（ａ−１）の背景画像の原画像に存在していた物体は、差分処理によってすべて削除される。したがって、図３（ａ−１）の背景画像の原画像には存在していなかった物体のみについて、その輪郭が強調された画像が得られることになり、背景画像には存在していなかった物体として車輌の輪郭１００ａが示す物体を検出することができる。

第１物体存在判定手段２および第２物体存在判定手段６においては、図２に示すように、取得画像全体を、横・縦を分割数Ｍ・Ｎによって、画素数（ｍ×ｎ）の小領域からなる（Ｍ×Ｎ）個の領域に分割して、分割した領域単位で物体の存在を判定するようにしている。図２は、図１の物体検出装置の第１物体存在判定手段２および第２物体存在判定手段６において物体の存在の有無を判定する取得画像上の領域を説明するための説明図である。

第１検出波長Ａの第１カメラを用いて取得した道路画像における物体の存在を検出する第１物体存在判定手段２は、図３（ａ−２）、図３（ｂ−２）に示すような各微分画像を対象にして、分割した（Ｍ×Ｎ）個の領域のうち、落下物等の物体の検出を行うための注目領域（ｉ,ｊ）それぞれについて、背景画像の微分画像と現時刻の取得画像の微分画像との間で差分を（ｍ×ｎ）個の画素毎に算出することにより、物体の存在の有無を示す情報を生成して、次の式（１）に示すように、（ｍ×ｎ）次元のベクトルとして保存する。

次に、第１移動体検出手段３においては、第１検出波長Ａの第１カメラで撮影した道路画像について、メモリに記憶されていた過去時刻におけるカメラ画像の微分画像と現時刻において取得されたカメラ画像の微分画像との差分を取ることによって、現時刻の取得画像内に存在する移動体の検出を行う。移動体検出手段３の動作について、その一例を、図４、図５の説明図を用いて説明する。

図４は、図１の物体検出装置の第１移動体検出手段３および第２移動体検出手段７の動作の一例を説明するための説明図であり、移動物体を検出した場合について説明している。また、図５は、図１の物体検出装置の第１移動体検出手段３および第２移動体検出手段７の動作の図４とは異なる例を説明するための説明図であり、移動物体ではなく、静止物体を検出した場合について説明している。ここで、現時刻をＴ、過去時刻を１つ前の撮影タイミングの（Ｔ−１）であったものとする。

図４において、図４（ａ）に示す過去時刻ｔ＝（Ｔ−１）において取得した道路画像の微分画像には、車輌の輪郭１００ａが存在しているが、図４（ｂ）に示す現時刻ｔ＝Ｔにおいて取得した道路画像の微分画像には、図４（ａ）とは異なる位置に車輌の輪郭１００ｂが存在している。

つまり、走行している車輌１００を撮影している場合であり、図４（ｃ）に示すように、第１移動体検出手段３および第２移動体検出手段７において、図４（ａ）のような過去時刻ｔ＝（Ｔ−１）における取得画像の微分画像と、図４（ｂ）のような現時刻ｔ＝Ｔにおける取得画像の微分画像との間の差分を求めると、図４（ｃ）の差分画像に示すように、道路上を走行している車両の存在領域に有意な大きさの走行差分画像１００ｃが得られる。かくのごとく、図４（ｃ）の差分画像においては、走行差分画像１００ｃが存在しているので、現時刻ｔ＝Ｔにおいて取得した取得画像に存在する移動体を検出することになる。

一方、図５においては、図５（ａ）に示す過去時刻ｔ＝（Ｔ−１）において取得した道路画像の微分画像には、図４（ａ）の場合と同様に、車輌の輪郭１００ａが存在しているが、図５（ｂ）に示す現時刻ｔ＝Ｔにおいて取得した道路画像の微分画像においても、図５（ａ）と同一の位置に車輌の輪郭１００ａが存在している。つまり、静止している車輌１００を撮影している場合であり、図５（ｃ）に示すように、第１移動体検出手段３および第２移動体検出手段７において、図５（ａ）のような過去時刻ｔ＝（Ｔ−１）における取得画像の微分画像と、図５（ｂ）のような現時刻ｔ＝Ｔにおける取得画像の微分画像との間の差分を求めると、差分画像を全く得ることができないので、移動体の存在は検出されなかったことになる。

第１検出波長Ａの第１カメラを用いて取得した道路画像における移動体の存在を検出する第１移動体検出手段３は、図４（ａ）、図４（ｂ）や図５（ａ）、図５（ｂ）に示すような各微分画像を対象にして、分割した（Ｍ×Ｎ）個の領域のうち、移動体の検出を行うための注目領域（ｉ,ｊ）それぞれについて、現時刻の取得画像の微分画像とメモリに保存しておいた過去時刻の取得画像の微分画像との間で差分を（ｍ×ｎ）個の画素毎に算出することにより、移動体の存在の有無を示す情報を生成して、次の式（２）に示すように、（ｍ×ｎ）次元のベクトルとして保存する。

次に、第１立体情報算出手段４および第２立体情報算出手段８においては、単眼ステレオ法もしくは複眼ステレオ法を用いて、第１画像取得手段１および第２画像取得手段５それぞれによって取得した取得画像を対象にして、分割した（Ｍ×Ｎ）個の領域のうち、物体の立体情報の検出を行うための注目領域（ｉ,ｊ）それぞれについて、道路上の物体の立体情報を画素毎に算出して、次の式（３）に示すように、（３×ｍ×ｎ）次元のベクトルとして保存する。

ここで、式(３)において、ベクトルｃ_ｉ（ｉ＝１，２，…，ｍ×ｎ）は、画素iにおける３次元の立体情報であり、次の式（４）によって与えられる。

なお、第１立体情報算出手段４および第２立体情報算出手段８において、複眼ステレオ法を用いて、物体の立体情報を求める場合には、第１画像取得手段１および第２画像取得手段５は、それぞれの検出波長が同じ２台のカメラによって画像を取得する必要がある。

次に、第２画像取得手段５においては、第２検出波長Ｂの第２カメラを用いて道路画像を取得して、メモリに保存する。第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８においては、それぞれ、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４の場合と同様の処理を、第２画像取得手段５によって取得された取得画像を対象にして行う。なお、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４においては、前述したように、第１画像取得手段１によって取得された取得画像を対象にして処理を行っている。

第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８において処理した結果は、それぞれ、次の式（５）、式（６）、式（７）に示すように、前述した式（１）、式（２）、式（３）と同様の式からなる（ｍ×ｎ）次元のベクトル、（ｍ×ｎ）次元のベクトル、（３×ｍ×ｎ）次元のベクトルとして保存される。

次に、特徴量統合手段９においては、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４における処理結果である式(１)〜式(３)の各ベクトルが示す第１特徴ベクトルと、第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８における処理結果である式(５)〜式(７)の各ベクトルが示す第２特徴ベクトルとを統合した第３特徴ベクトルとして、次の式（８）をまず生成する。

ここで、式(８)が示す第３特徴ベクトルは、前記第１特徴ベクトルの末尾に前記第２特徴ベクトルを連結して生成する場合を示しており、Ｄ=１０×ｍ×ｎ次元のベクトルになるが、式（８）が示す第３特徴ベクトルに対して、Ｌ×Ｄ行列Ｐ(Ｌ＜Ｄ)を用いて、次の式（９）のような特徴行列変換の処理を行うことによって、第４特徴ベクトルとして、次元圧縮したＬ次元ベクトルＳ′を生成する。

さらに、Ｌ次元ベクトルＳ′の第ｋ成分Ｓ′_ｋに対して、あらかじめ設定した定数Ａ，Ｂを用いて、次の式（１０）のように、第ｋ成分が計算される正規化ベクトルＳ″_ｋを最終的な第４特徴ベクトルとして算出する。

次に、落下物判定手段１０においては、特徴量統合手段９において算出した最終的な第４特徴ベクトルの正規化ベクトルＳ″を入力として、落下物のサンプルを用いてあらかじめ機械学習を行った識別器を用いて、検出した物体が落下物であるか否かの識別を行い、該識別器の識別結果に基づいて落下物の判定を行う。例えば、線形識別器の場合には、識別器のパラメータである重みベクトルを

とし、バイアスをｂとすると、次の式（１１）にしたがって、関数ｇの値を計算する。

関数ｇの値の計算結果が正の場合には、取得した画像について落下物の存在の有無を調べる領域として対象にしていた注目領域（ｉ，ｊ）において、落下物が存在するものと判定する。

なお、前述した本第１の実施の形態における特徴量統合手段９において、特徴行列変換に用いる式(９)の射影行列Ｐは、事前に準備した落下物の画像サンプルを用いて、式（８）が示す第３特徴ベクトルに対して主成分分析を行い、固有値が大きい上位Ｌ個（Ｌ：正整数）に対応した固有ベクトルを並べることによって得られる行列を用いても良い。

また、前述した本第１の実施の形態における特徴量統合手段９において、最終的な第４特徴ベクトルとなる式(１０)の正規化関数Ｓ″_ｋとして、次の式（１２）で与えられるような線形関数を用いても良い。

ただし、Ｃ_１，Ｃ_２：定数

また、式(１)〜式(３)の各ベクトルが示す第１特徴ベクトルの各成分と式(５)〜式(７)の各ベクトルが示す第２特徴ベクトルの各成分との積を第３特徴ベクトルとして求め、求めた第３特徴ベクトルの各成分を入力として最終的な第４特徴ベクトルを算出するようにしても良い。

また、前述した本第１の実施の形態における落下物判定手段１０において、識別器として、多項式カーネルやガウシアン型カーネルを用いたＳＶＭ（Support Vector Machine）のような、非線形識別器を用いても良い。

次に、図６〜図７のフローチャートを参照して、第１の実施の形態の全体の動作例についてさらに詳細に説明する。図６は、図１の物体検出装置の全体の処理の流れの一例を示すフローチャートであり、図７は、図６のフローチャートのステップＡ２，Ａ３の処理における詳細な流れを例示するためのフローチャートである。

図６のフローチャートにおいて、ステップＡ１，Ａ９は、落下物の判定を行う対象とする注目領域を設定するステップであり、ステップＡ２が、第１カメラによって撮影して第１画像取得手段１によって取得した取得画像に対して第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４によって処理を行うステップであり、ステップＡ３が、第２カメラによって撮影して第２画像取得手段５によって取得した取得画像に対して第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８によって処理を行うステップである。

また、ステップＡ４〜Ａ６が、特徴量統合手段９によって処理を行うステップであり、ステップＡ７〜Ａ８が、落下物判定手段１０によって処理を行うステップである。

まず、図６のフローチャートにおいて、図２に示した取得画像全体のＭ×Ｎ個の領域のうち、落下物の存在の有無についてまだ判定を行っていない未実施領域の一つを、落下物判定処理を行う注目領域（ｉ，ｊ）として設定する（ステップＡ１）。

次いで、第１カメラによって撮影され、第１画像取得手段１によって取得されたデジタル取得画像について、設定した注目領域（ｉ，ｊ）に関する第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４の処理を行い、前述した式（１）、（２）、（３）のベクトルを計算して第１特徴ベクトルとして保存する（ステップＡ２）。同様に、第２カメラによって撮影され、第２画像取得手段５によって取得されたデジタル取得画像について、設定した注目領域（ｉ，ｊ）に関する第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８の処理を行い、前述した式（５）、（６）、（７）のベクトルを計算して第２特徴ベクトルとして保存する（ステップＡ２）。

しかる後、特徴量統合手段９において、ステップＡ２、ステップＡ３において計算された式（１）、（２）、（３）のベクトルおよび式（５）、（６）、（７）のベクトルを用いて、前述した式（８）によって定義される統合ベクトルを算出して第３特徴ベクトルとして保存する（ステップＡ４）。さらに、特徴量統合手段９において、ステップＡ４において算出された統合ベクトルに対して、前述した式（９）の演算を行うことによって、次元圧縮ベクトルを算出して第４特徴ベクトルとして保存する（ステップＡ５）。さらに、特徴量統合手段９において、ステップＡ５において算出された次元圧縮ベクトルに対して、前述した式（１０）の演算を行うことによって、正規化ベクトルを算出して最終的な第４特徴ベクトルとして保存する（ステップＡ６）。

次いで、落下物判定手段１０において、ステップＡ６において算出された正規化ベクトルを入力として、前述した式（１１）の関数ｇの値を計算し、関数ｇの値が正か否かを判定する（ステップＡ７）。関数ｇの値が正であった場合は（ステップＡ７のＹｅｓ）、ステップＡ８に進み、注目領域（ｉ，ｊ）を落下物が存在する領域と判定して、その旨を登録した後（ステップＡ８）、ステップＡ９に進む。一方、関数ｇの値が正ではなかった場合は（ステップＡ７のＮｏ）、注目領域（ｉ，ｊ）には落下物は存在していないものと判定して、ステップＡ９に進む。

ステップＡ９においては、注目領域（ｉ，ｊ）を落下物判定処理実施済みの領域に設定した後、図２に示した取得画像全体のＭ×Ｎ個の全領域について落下物判定処理を実施したか否かを判定し（ステップＡ９）、まだ未実施の領域が残っている場合は（ステップＡ９のＮｏ）、ステップＡ１に復帰して、次の注目領域（ｉ，ｊ）を抽出して、落下物判定処理を繰り返す。一方、全領域について落下物判定処理を実施した場合は（ステップＡ９のＹｅｓ）、図２のフローチャートの処理を終了する。

次に、図６のフローチャートのステップＡ２，Ａ３の処理の詳細な流れについて、図７のフローチャートを用いて説明する。図７のフローチャートにおいて、ステップＢ１〜Ｂ３が、第１物体存在判定手段２、第２物体存在判定手段６によって処理を行うステップであり、ステップＢ４〜Ｂ５が、第１移動体検出手段３、第２移動体検出手段７によって処理を行うステップであり、ステップＢ６〜Ｂ７が、第１立体情報算出手段４、第２立体情報算出手段８によって処理を行うステップであり、ステップＢ８が、現時刻において取得した取得画像の処理が終了したので、過去時刻の取得画像として過去画像バッファに登録するステップである。

なお、以下の説明においては、第１カメラによって撮影されて、第１画像取得手段１によって取得された取得画像に関する処理を行うステップＡ２について説明するが、第２カメラによって撮影されて、第２画像取得手段５によって取得された取得画像に関する処理を行うステップＡ３についても、対象とする取得画像が異なるだけであって、全く同様の処理を行っている。

第１カメラによって撮影され、第１画像取得手段１によって取得されたデジタル取得画像を対象にして、（Ｍ×Ｎ）個に分割した画素数（ｍ×ｎ）の領域のうち、今回の処理対象領域として注目する注目領域（ｉ，ｊ）を入力画像として、第１物体存在判定手段２に入力すると、第１物体存在判定手段２において、該入力画像の各画素間の微分を求める微分画像化処理を行うことによって、輪郭のみが強調された入力画像の微分画像を生成する（ステップＢ１）。

さらに、第１物体存在判定手段２において、車両や人物や落下物等が存在していない状況をあらかじめ撮影してメモリに保存している背景画像を取り出して、該入力画像と同一領域における各画素間の微分を求める微分画像化処理を行うことによって、輪郭のみが強調された背景画像の微分画像を生成する（ステップＢ２）。

しかる後、第１物体存在判定手段２において、ステップＢ１，Ｂ２それぞれにおいて生成した入力画像の微分画像と背景画像の微分画像との間の差分を求めて、求めた差分を用いて、前述した式（１）のベクトルを算出してメモリに保存する（ステップＢ３）。

次いで、第１移動体検出手段３において、現時刻の入力画像と同一の場所を過去時刻において撮影することにより取得してメモリに保存していた過去画像を取り出して、現時刻の入力画像と同一領域における各画素間の微分を求める微分画像化処理を行うことによって、輪郭のみが強調された過去画像の微分画像を生成する（ステップＢ４）。

しかる後、第１移動体検出手段３において、ステップＢ２，Ｂ４それぞれにおいて生成した現時刻の入力画像の微分画像と過去時刻の過去画像の微分画像との間の差分を求めて、求めた差分を用いて、前述した式（２）のベクトルを算出してメモリに保存する（ステップＢ５）。

次いで、第１立体情報算出手段４において、単眼ステレオ法または複眼ステレオ法のステレオ画像法に基づいて、入力画像の画素毎の分析を行うことによって、入力画像から物体の立体情報を生成する（ステップＢ６）。

しかる後、第１立体情報算出手段４において、ステップＢ６において生成した物体の立体情報を用いて、前述した式（３）のベクトルを算出してメモリに保存する（ステップＢ７）。

以上の処理を行うことによって、今回の入力画像の注目領域（ｉ，ｊ）に関する処理は終了するので、最後に、今回の入力画像として処理していた注目領域（ｉ，ｊ）を、過去時刻における入力画像として過去画像バッファに設定登録する（ステップＢ８）。

（第２の実施の形態）
（第２の実施の形態の構成例）
次に、本発明による物体検出装置の第２の実施の形態の構成例について、図８を用いて詳細に説明する。図８は、本発明による物体検出装置の第２の実施の形態の構成例を示すブロック構成図であり、図１の場合と同様、検出波長が異なる複数台のカメラとして２台のカメラ（第１カメラ、第２カメラ）を用いている場合のブロック構成を例示している。

図８に示すように、本発明の第２の実施の形態における物体検出装置は、第１画像取得手段１、第１物体存在判定手段２、第１移動体検出手段３、第１立体情報算出手段４、第２画像取得手段５、第２物体存在判定手段６、第２移動体検出手段７、第２立体情報算出手段８、特徴量統合手段９、落下物判定手段１０、第１画像処理パラメータ調整手段１１、および、第２画像処理パラメータ調整手段１２を少なくとも含んで構成されている。

図８に示す物体検出装置は、図１の物体検出装置に比して、第１画像処理パラメータ調整手段１１および第２画像処理パラメータ調整手段１２の２つの手段をさらに備えて構成されているが、その他の手段については、図１の物体検出装置と全く同様であるので、ここでの重複する説明は省略する。

第１画像処理パラメータ調整手段１１は、第１検出波長Ａとしてあらかじめ定めた或る検出波長の第１カメラによって撮影して、第１画像取得手段１によって取得された取得画像が不鮮明であった場合に、該取得画像に関する画像処理用の画像処理パラメータを調整する。第２画像処理パラメータ調整手段１２は、第１カメラの第１検出波長Ａとは異なる第２検出波長Ｂとしてあらかじめ定めた或る検出波長の第２カメラによって撮影して、第２画像取得手段５によって取得された取得画像が不鮮明であった場合に、該取得画像に関する画像処理用の画像処理パラメータを調整する。

（第２の実施の形態の動作例）
次に、図８に示した物体検出装置の全体の動作の一例について、図９を用いて説明する。なお、図８に示した物体検出装置は、前述したように、第１画像処理パラメータ調整手段１１および第２画像処理パラメータ調整手段１２以外の各手段については、第１の実施の形態における図１の物体検出装置と全く同一の動作を行うので、ここでの説明を省略し、第１画像処理パラメータ調整手段１１および第２画像処理パラメータ調整手段１２についてのみ説明する。図９は、図８の物体検出装置の第１画像処理パラメータ調整手段１１および第２画像処理パラメータ調整手段１２の動作の一例を説明するための説明図である。

図９においては、図９（ａ）に示すように、第１カメラとして可視カメラを用いて、照明がない夜間撮影時等に道路を撮影して第１画像取得手段１において取得した可視カメラ画像であり、該可視カメラ画像は、不鮮明な画像となっていて、かかる画像のみでは、落下物判定手段１０において、道路上に落ちている落下物２００を明確に判別することができない場合を示している。一方、図９（ｂ）に示すように、第２カメラとして赤外カメラを用いて、道路を撮影して第２画像取得手段５において取得した赤外カメラ画像は、可視カメラ画像に比し比較的鮮明であり、道路上に落ちている落下物２００を判別することが可能な画像が得られている状況にある場合を示している。

つまり、かくのごとき状況下にある場合に、図８の物体検出装置が、特徴量統合手段９において、図９（ａ）の可視カメラ画像と図９（ｂ）の赤外カメラ画像との双方の取得画像の特徴量を統合することによって、落下物判定手段１０において、図９（ｃ）に示すように、道路上に落ちている落下物２００を判別することができた場合について、第１画像処理パラメータ調整手段１１および第２画像処理パラメータ調整手段１２の動作の一例を、図９（ｄ）に示している。

図８の物体検出装置においては、第１画像取得手段１および第２画像取得手段５において取得された取得画像に関する処理結果として、図９（ｃ）に示すように、落下物判定手段１０における落下物判定情報として、道路上に落下物２００が落ちている旨の情報が得られたとしても、落下物の判定精度があらかじめ定めた閾値に達しているか否かを確認する動作を行っている。

落下物判定手段１０が、落下物の判定精度が前記閾値に達していないと判定した場合には、落下物判定手段１０から、第１画像処理パラメータ調整手段１１、第２画像処理パラメータ調整手段１２のうち、落下物２００の存在を判別することが困難であった不鮮明な取得画像側の画像処理パラメータ調整手段（本実施形態の場合は、可視カメラを用いて第１画像取得手段１において取得した可視カメラ画像側の第１画像処理パラメータ調整手段１１）に対して、画像調整用の指示が転送される。該画像調整用の指示には、落下物２００が存在している領域（Ｍ×Ｎ分割された画素数（ｍ×ｎ）の領域）を調整領域として指定する情報も含まれている。

該画像調整用の指示を受け取った画像処理パラメータ調整手段例えば第１画像処理パラメータ調整手段１１においては、図９（ｄ）に示すように、第１画像取得手段１において次フレームに取得した可視カメラ画像に対して、受け取った前記画像調整用の指示に含まれている調整領域２０（落下物２００が存在している領域）についてのみ、画像処理用の画像処理パラメータを調整した部分正規化処理を行うことによって、画像正規化のダイナミックレンジの調整を行う。この結果、落下物判定手段１０においては、落下物の判定精度が向上し、落下物２００の存在をより明確に判定することが可能になる。

（実施の形態の効果の説明）
以上に詳細に説明したように、本発明の実施の形態においては、以下のような効果を得ることができる。

道路を撮影した画像に基づいて、道路上の物体に関する存在判定、移動体検出および立体情報算出を行うことにより、道路上で静止している落下物とそれ以外の走行中や停車中の車両等の物体との区別を行うことが可能になるとともに、検出波長の異なるカメラを複数台用いることによって、昼夜の時間帯や天候などの環境変動に如何に関わらず、より広範囲なシーンにおいて、落下物や移動体等の物体の検出をより確実に行うことが可能になる。

また、複数台のカメラによって取得した取得画像の特徴量を統合して、静止物体と移動物体とを判定する際に、落下物のサンプルを用いてあらかじめ学習済みの識別機を用いることも容易であり、雨量に対する閾値を設けて該閾値に応じて物体検出情報の統合方法を切り替えるといった複雑な方法を採用することなく、複数台のカメラの画像処理結果を統合することができるという重要な効果も得られる。

（付記）
以上に、本発明に係る実施の形態について、詳細に説明したことからも明らかなように、前述の各実施の形態の一部または全部は、以下の各付記のようにも記載することができるが、本発明はかかる場合に限るものではないことは言うまでもない。

（付記１）カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出方法であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出ステップと、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出ステップと、前記第１物体存在判定ステップ、前記第１移動体検出ステップ、前記第１立体情報算出ステップ、前記第２物体存在判定ステップ、前記第２移動体検出ステップ、前記第２立体情報算出ステップそれぞれにおける処理結果を統合する特徴量統合ステップと、前記特徴量統合ステップにおける処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定ステップと、を少なくとも含んでいることを特徴とする物体検出方法。

（付記２）前記第１画像取得ステップによって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第１画像処理パラメータ調整手段と、前記第２画像取得ステップによって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第２画像処理パラメータ調整手段と、をさらに含んでいることを特徴とする付記１に記載の物体検出方法。

（付記３）前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像のそれぞれに関して、前記落下物判定ステップにおける落下物の判定結果として落下物が存在すると推定された画像領域に対して、前記第１画像処理パラメータ調整ステップおよび前記第２画像処理パラメータ調整ステップのそれぞれによって、画像処理用の画像処理パラメータを調整することを特徴とする付記２に記載の物体検出方法。

（付記４）前記第１物体存在判定ステップおよび前記第２物体存在判定ステップのそれぞれにおいて、物体が存在していない状態であらかじめ取得した背景画像の画素間の微分処理を行うことにより生成される背景画像の微分画像と、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像の画素間の微分処理を行うことにより生成される取得画像の微分画像と、の差分を用いて、物体の存在を判定することを特徴とする付記１ないし３のいずれかに記載の物体検出方法。

（付記５）前記第１移動体検出ステップおよび前記第２移動体検出ステップのそれぞれにおいて、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた現時刻の取得画像の微分画像と、それぞれによって得られた過去時刻の取得画像の微分画像と、の差分を用いて、移動物体を検出することを特徴とする付記１ないし４のいずれかに記載の物体検出方法。

（付記６）前記第１立体情報算出ステップおよび前記第２立体情報算出ステップのそれぞれにおいて、単眼ステレオ法または複眼ステレオ法を用いて、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像における物体の立体情報を算出することを特徴とする付記１ないし５のいずれかに記載の物体検出方法。

（付記７）前記特徴量統合ステップにおいて、前記第１物体存在判定ステップにおいて得られた物体存在判定結果、前記第１移動体検出ステップにおいて得られた移動物体検出結果、前記第１立体情報算出ステップにおいて得られた立体情報算出結果のそれぞれをベクトルによって表現した第１特徴ベクトルと、前記第２物体存在判定ステップにおいて得られた物体存在判定結果、前記第２移動体検出ステップにおいて得られた移動物体検出結果、前記第２立体情報算出ステップにおいて得られた立体情報算出結果のそれぞれをベクトルによって表現した第２特徴ベクトルと、の各成分を統合して第３特徴ベクトルを生成し、生成した前記第３特徴ベクトルに基づいて、落下物の判定に用いる特徴量として、第４特徴ベクトルを生成することを特徴とする付記１ないし６のいずれかに記載の物体検出方法。

（付記８）前記第１特徴ベクトルの末尾に前記第２特徴ベクトルを連結することにより前記第３特徴ベクトルを生成し、生成した前記第３特徴ベクトルに対して特徴行列変換を行うことによって、前記第４特徴ベクトルを生成することを特徴とする付記７に記載の物体検出方法。

（付記９）前記第３特徴ベクトルに対する特徴行列変換に用いる行列として、事前に準備した落下物の画像サンプルを用いた場合に得られる前記第３特徴ベクトルに対して主成分分析をあらかじめ行い、固有値が大きい上位Ｌ個（Ｌ：正整数）に対応した固有ベクトルを並べることによって得られる行列を用いることを特徴とする付記８に記載の物体検出方法。

（付記１０）前記落下物判定ステップにおいて、前記特徴量統合ステップにおいて得られた前記第４特徴ベクトルを入力として、落下物のサンプルを用いてあらかじめ機械学習を行った識別器を用いて、落下物か否かの識別を行い、該識別器の識別結果に基づいて落下物の判定を行うことを特徴とする付記７ないし９のいずれかに記載の物体検出方法。

（付記１１）カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出装置であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出手段と、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出手段と、前記第１物体存在判定手段、前記第１移動体検出手段、前記第１立体情報算出手段、前記第２物体存在判定手段、前記第２移動体検出手段、前記第２立体情報算出手段それぞれにおける処理結果を統合する特徴量統合手段と、前記特徴量統合手段における処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定手段と、を少なくとも含んで構成されていることを特徴とする物体検出装置。

（付記１２）前記第１画像取得手段によって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第１画像処理パラメータ調整手段と、前記第２画像取得手段によって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第２画像処理パラメータ調整手段と、をさらに含んで構成されていることを特徴とする付記１１に記載の物体検出装置。

（付記１３）前記第１画像取得手段および前記第２画像取得手段のそれぞれによって得られた取得画像のそれぞれに関して、前記落下物判定手段における落下物の判定結果として落下物が存在すると推定された画像領域に対して、前記第１画像処理パラメータ調整手段および前記第２画像処理パラメータ調整手段のそれぞれによって、画像処理用の画像処理パラメータを調整することを特徴とする付記１２に記載の物体検出装置。

（付記１４）前記第１物体存在判定手段および前記第２物体存在判定手段のそれぞれにおいて、物体が存在していない状態であらかじめ取得した背景画像の画素間の微分処理を行うことにより生成される背景画像の微分画像と、前記第１画像取得手段および前記第２画像取得手段のそれぞれによって得られた取得画像の画素間の微分処理を行うことにより生成される取得画像の微分画像と、の差分を用いて、物体の存在を判定することを特徴とする付記１１ないし１３のいずれかに記載の物体検出装置。

（付記１５）前記第１移動体検出手段および前記第２移動体検出手段のそれぞれにおいて、前記第１画像取得手段および前記第２画像取得手段のそれぞれによって得られた現時刻の取得画像の微分画像と、それぞれによって得られた過去時刻の取得画像の微分画像と、の差分を用いて、移動物体を検出することを特徴とする付記１１ないし１４のいずれかに記載の物体検出装置。

（付記１６）前記第１立体情報算出手段および前記第２立体情報算出手段のそれぞれにおいて、単眼ステレオ法または複眼ステレオ法を用いて、前記第１画像取得手段および前記第２画像取得手段のそれぞれによって得られた取得画像における物体の立体情報を算出することを特徴とする付記１ないし１５のいずれかに記載の物体検出装置。

（付記１７）前記特徴量統合手段において、前記第１物体存在判定手段において得られた物体存在判定結果、前記第１移動体検出手段において得られた移動物体検出結果、前記第１立体情報算出手段において得られた立体情報算出結果のそれぞれをベクトルによって表現した第１特徴ベクトルと、前記第２物体存在判定手段において得られた物体存在判定結果、前記第２移動体検出手段において得られた移動物体検出結果、前記第２立体情報算出手段において得られた立体情報算出結果のそれぞれをベクトルによって表現した第２特徴ベクトルと、の各成分を統合して第３特徴ベクトルを生成し、生成した前記第３特徴ベクトルに基づいて、落下物の判定に用いる特徴量として、第４特徴ベクトルを生成することを特徴とする付記１１ないし１６のいずれかに記載の物体検出装置。

（付記１８）前記第１特徴ベクトルの末尾に前記第２特徴ベクトルを連結することにより前記第３特徴ベクトルを生成し、生成した前記第３特徴ベクトルに対して特徴行列変換を行うことによって、前記第４特徴ベクトルを生成することを特徴とする付記１７に記載の物体検出装置。

（付記１９）前記第３特徴ベクトルに対する特徴行列変換に用いる行列として、事前に準備した落下物の画像サンプルを用いた場合に得られる前記第３特徴ベクトルに対して主成分分析をあらかじめ行い、固有値が大きい上位Ｌ個（Ｌ：正整数）に対応した固有ベクトルを並べることによって得られる行列を用いることを特徴とする付記１８に記載の物体検出装置。

（付記２０）前記落下物判定手段において、前記特徴量統合手段において得られた前記第４特徴ベクトルを入力として、落下物のサンプルを用いてあらかじめ機械学習を行った識別器を用いて、落下物か否かの識別を行い、該識別器の識別結果に基づいて落下物の判定を行うことを特徴とする付記１７ないし１９のいずれかに記載の物体検出装置。

（付記２１）
付記１ないし１０のいずれかに記載の物体検出方法を、コンピュータによって実行可能なプログラムとして実施していることを特徴とする物体検出プログラム。

以上、本発明の好適な実施形態の構成を説明した。しかし、かかる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることが、当業者には容易に理解できよう。

１ 第１画像取得手段
２ 第１物体存在判定手段
３ 第１移動体検出手段
４ 第１立体情報算出手段
５ 第２画像取得手段
６ 第２物体存在判定手段
７ 第２移動体検出手段
８ 第２立体情報算出手段
９ 特徴量統合手段
１０ 落下物判定手段
１１ 第１画像処理パラメータ調整手段
１２ 第２画像処理パラメータ調整手段
２０ 調整領域
１００ 車輌
１００ａ 車輌の輪郭
１００ｂ 車輌の輪郭
１００ｃ 走行差分画像
２００ 落下物

Claims (8)

1. カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出方法であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得ステップと、前記第１画像取得ステップによって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第１画像処理パラメータ調整ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出ステップと、前記第１画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出ステップと、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得ステップと、前記第２画像取得ステップによって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第２画像処理パラメータ調整ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出ステップと、前記第２画像取得ステップによって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出ステップと、前記第１物体存在判定ステップ、前記第１移動体検出ステップ、前記第１立体情報算出ステップ、前記第２物体存在判定ステップ、前記第２移動体検出ステップ、前記第２立体情報算出ステップそれぞれにおける処理結果を統合する特徴量統合ステップと、前記特徴量統合ステップにおける処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定ステップと、を少なくとも含んでいることを特徴とする物体検出方法。
2. 前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像のそれぞれに関して、前記落下物判定ステップにおける落下物の判定結果として落下物が存在すると推定された画像領域に対して、前記第１画像処理パラメータ調整ステップおよび前記第２画像処理パラメータ調整ステップのそれぞれによって、画像処理用の画像処理パラメータを調整することを特徴とする請求項１に記載の物体検出方法。
3. 前記第１物体存在判定ステップおよび前記第２物体存在判定ステップのそれぞれにおいて、物体が存在していない状態であらかじめ取得した背景画像の画素間の微分処理を行うことにより生成される背景画像の微分画像と、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像の画素間の微分処理を行うことにより生成される取得画像の微分画像と、の差分を用いて、物体の存在を判定することを特徴とする請求項１または請求項２記載の物体検出方法。
4. 前記第１移動体検出ステップおよび前記第２移動体検出ステップのそれぞれにおいて、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた現時刻の取得画像の微分画像と、それぞれによって得られた過去時刻の取得画像の微分画像と、の差分を用いて、移動物体を検出することを特徴とする請求項１ないし３のいずれかに記載の物体検出方法。
5. 前記第１立体情報算出ステップおよび前記第２立体情報算出ステップのそれぞれにおいて、単眼ステレオ法または複眼ステレオ法を用いて、前記第１画像取得ステップおよび前記第２画像取得ステップのそれぞれによって得られた取得画像における物体の立体情報を算出することを特徴とする請求項１ないし４のいずれかに記載の物体検出方法。
6. カメラによって撮影した画像に基づいて、存在する物体を検出する物体検出装置であって、第１の検出波長としてあらかじめ定めた検出波長の第１カメラにより撮影した画像を取得する第１画像取得手段と、前記第１画像取得手段によって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第１画像処理パラメータ調整手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第１物体存在判定手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第１移動体検出手段と、前記第１画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第１立体情報算出手段と、前記第１の検出波長とは異なる第２の検出波長としてあらかじめ定めた検出波長の第２カメラにより撮影した画像を取得する第２画像取得手段と、前記第２画像取得手段によって得られた取得画像に対する画像処理用の画像処理パラメータを調整する第２画像処理パラメータ調整手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の存在を判定する第２物体存在判定手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の移動状態を検出し、静止物体と移動物体とを判別する第２移動体検出手段と、前記第２画像取得手段によって得られた取得画像から道路上の物体の立体情報を算出する第２立体情報算出手段と、前記第１物体存在判定手段、前記第１移動体検出手段、前記第１立体情報算出手段、前記第２物体存在判定手段、前記第２移動体検出手段、前記第２立体情報算出手段それぞれにおける処理結果を統合する特徴量統合手段と、前記特徴量統合手段における処理結果として得られる特徴量を用いて、落下物の判定を行う落下物判定手段と、を少なくとも含んで構成されていることを特徴とする物体検出装置。
7. 前記第１画像取得手段および前記第２画像取得手段のそれぞれによって得られた取得画像のそれぞれに関して、前記落下物判定手段における落下物の判定結果として落下物が存在すると推定された画像領域に対して、前記第１画像処理パラメータ調整手段および前記第２画像処理パラメータ調整手段のそれぞれによって、画像処理用の画像処理パラメータを調整することを特徴とする請求項６に記載の物体検出装置。
8. 請求項１ないし５のいずれかに記載の物体検出方法を、コンピュータによって実行するための物体検出プログラム。

Images