JP2009301495A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】撮像画像に検出対象と一体となって写りこむ反射成分を効果的に除去し、撮像画像から対象を正しく検出することを可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置の制御部は、撮像装置から取得される画像データに基づき背景差分等により差分を求め（Ｓ２）、検出対象が写っている検出対象領域の候補として抽出する。抽出された候補の画像データにおける位置に基づき、検出対象までの距離を算出する（Ｓ３）。制御部は、算出した距離に基づき、抽出された候補の画像データにおける大きさが、検出対象領域が占めるべき領域の大きさとして妥当であるか否かを判定することにより反射成分を含むか否かを判定する（Ｓ４）。制御部は、反射成分を含む場合には境界を特定して除去する（Ｓ５）。
【選択図】図４

Description

本発明は、撮像装置により撮像された撮像画像に写る対象を検出するための画像処理装置に関する。特に、撮像画像に対象と一体となって写りこむ反射成分を効果的に除去し、撮像画像から対象のみを正しく検出することを可能とする画像処理装置及び画像処理方法に関する。

従来より、見通しの悪いＴ字路、十字路等の交差点での交通事故を防止するための交通制御システムが種々提案されている。特に、交差点近傍の路側に道路状況を上方から可視光波長帯にて撮像する撮像装置を設置し、撮像した画像を自動車へ送信することにより運転者に警告、注意を通知できるシステムが提案されている（例えば、特許文献１参照）。

また、撮像画像から自動車を検出するための前処理が行なわれる場合がある（例えば、特許文献２参照）。この場合、前処理として「背景差分」、「エッジ抽出」、「時間差分（フレーム差分）」、「オプティカルフロー」等の技術を利用し、撮像した画像内の自動車に相当する領域を判別している。
特開２００３−１０９１９９号公報 特開２００８−４６７６１号公報

自動車同士の衝突のみならず、自動車と自転車との衝突、自動車と人との衝突等の種々の交通事故を削減するため、更に高度な安全運転支援システムの実現が期待されている。具体的には、交差点における他の自動車、自転車、人、又は落下物の有無及び位置の情報を交差点に進入しようとする自動車へ送信する。そして、自動車側で受信する情報に基づき事故を回避するための制御を自動的に実行する。これにより事故を未然に防ぐことができ、更に被害を最小限に抑えることが期待される。この場合、撮像画像から対象物の有無のみならず、他の自動車、自転車、人、又は落下物等の検出対象の種類を夫々識別して検出することが必要となる。

撮像画像から検出対象の種類をも識別した上で検出するためには、撮像画像内の検出対象領域から、検出対象の種類毎に異なる特徴量を検知できるか否かの判断が有効である。例えば撮像画像内における検出対象領域の形状及び大きさを種類毎に特徴量として設定しておき、検出対象領域の形状及び大きさが設定されている形状及び大きさと一致するか否かによって検出対象の種類を識別することが可能である。

しかしながら、撮像画像に検出対象が写っている場合、検出対象の反射像も撮像画像に写りこむときがある。例えば、雨天時など路面が濡れた状態で車両、人などの検出対象を撮像した場合、路面に生じる検出対象の反射も撮像される。背景差分又は時間差分などの画像処理にて検出対象領域を抽出しようとする場合、反射成分を検出対象の一部として検出する可能性が高い。検出対象領域と反射成分との境目が明確に分離していない場合には一連の領域として抽出されるからである。この場合、検出対象領域のサイズを反射成分の大きさだけ大きく検出するので、検出対象の種類を誤って検出する可能性がある。

これに対し、撮像画像における平均の輝度値に基づき路面での反射があるか否かを判断し、反射があると判断できる場合に以下のような処理を行なって検出対象と反射成分との境界を特定する方法が行なわれている。この先行例ではまず、検出対象領域として抽出された範囲をエッジ処理して各水平方向ラインで輝度値を加算する。エッジ処理によりエッジが検出されるほど各水平ラインで加算される輝度値が高くなる。そして、画像の垂直方向に対する各水平方向ラインの合計輝度値の分布は検出対象自体及びその反射成分の両方でピークを有するとの仮定の基に、ピーク間にある輝度値の最小値に対応するラインを境界として特定している。

しかしながら上述の方法では、反射有無の判断、及び検出対象領域と反射成分領域との境界を精度良く特定することは難しい。
まず、先行例では撮像画像の平均輝度値と基準値とを比較し、路面での反射の有無を判断している。しかしながら、この方法で精度良く反射有無を判断することは困難である。晴天時と比較して雨天時における撮像画像は全体的に暗いことが多いが、撮像画像が全体的に明るくとも、局所的に残った水たまりによって反射が起こる場合もある。この場合、反射がないと判断されて境界を特定しないので、正しく検出対象領域を特定できない。
また、一般に路面の濡れ度合いは道路各部で異なっており、反射の強さも夫々異なる。濡れてはいるが水たまりにはなっていない路面部分では、反射成分で明確なエッジ輝度値のピークが存在しない場合もあり得る。先行例の方法では、検出対象自体及び反射成分の両方においてピークを有することを前提としている。したがって、反射成分があってもピークが存在していない場合には境界を特定することができない。

本発明は斯かる事情に鑑みてなされたものであり、撮像画像に検出対象の反射成分を含む場合でも、撮像画像に基づき対象を精度よく検出することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。

第１発明に係る画像処理装置は、撮像手段を備え、該撮像手段から得られる撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出手段と、該抽出手段が抽出した候補の撮像画像中における位置、前記候補の垂直方向及び水平方向の大きさ、並びに、予め記憶してある検出対象の大きさを示す寸法情報に基づき、前記候補が、前記検出対象の反射成分を含むか否かを判定する判定手段と、該判定手段が反射成分を含むと判定した場合、前記候補内の検出対象自体の領域、及び反射成分の領域間の境界を特定する特定手段と、該特定手段が特定した境界に基づき、前記候補から反射成分の領域を除去する手段と、反射成分を除去して得られる検出対象領域に基づき、検出対象を検出する手段とを備えることを特徴とする。

第２発明に係る画像処理装置は、前記特定手段は、撮像画像中におけるエッジ部を抽出するエッジ抽出処理手段と、前記抽出手段が抽出した候補の上端の、撮像画像における垂直方向の座標を特定する上端特定手段と、前記寸法情報に基づき、撮像画像中で検出対象領域が占めるべき垂直方向の大きさを求める手段と、前記上端特定手段が特定した座標から、求めた垂直方向の大きさの分だけ下方にある撮像画像における座標を特定する下端特定手段と、該下端特定手段が特定した座標から更に下方の複数の座標毎に、該座標を通る水平方向の帯領域内に含まれる各エッジ部のエッジ強度に基づき、前記帯領域のエッジ強度を示す指標値を求める手段と、該手段が求めた指標値の、垂直方向の各座標に対する分布曲線を求める手段と、求めた分布曲線における特徴点を特定する手段とを備え、特定した特徴点に対応する撮像画像における帯領域を、境界として特定するようにしてあることを特徴とする。

第３発明に係る画像処理装置は、前記下端特定手段は、前記上端特定手段が特定した座標に基づき、撮像手段から前記検出対象までの実空間における距離を算出する手段を更に備え、該手段が算出した距離及び前記寸法情報に基づき、実空間で撮像手段から前記距離に前記検出対象がある場合に撮像画像中で前記検出対象領域が占めるべき領域の下端の座標を特定するようにしてあることを特徴とする。

第４発明に係る画像処理装置は、前記判定手段は、前記抽出手段が抽出した候補の撮像画像中における位置に基づき、撮像手段から前記検出対象までの実空間における距離を算出する手段と、該手段が算出した距離及び前記抽出手段が抽出した候補の垂直方向の大きさに基づき、前記検出対象の実空間における大きさを算出する手段と、該手段が算出した大きさが前記寸法情報が示す実空間における大きさと対応するか否かを判断する手段とを備え、対応しないと判断した場合、前記候補は反射成分を含むと判定するようにしてあることを特徴とする。

第５発明に係る画像処理装置は、前記撮像手段の撮像範囲を、前記撮像手段と異なる角度から同時的に撮像する第２の撮像手段と、該第２の撮像手段が撮像した撮像画像から検出対象が写っている検出対象領域の候補を抽出する手段と、前記抽出手段が撮像手段から得られる撮像画像から抽出した検出対象領域の候補、及び前記第２の撮像手段により撮像された撮像画像から抽出した検出対象領域の候補を対応付ける手段と、該手段が対応付けた２つの候補の夫々の撮像画像中における位置を特定する手段と、２つの候補夫々が特定された位置間の差異に基づき、前記撮像手段又は前記第２の撮像手段から前記検出対象までの実空間における距離を算出する手段と、該手段が算出した距離、及び前記抽出手段が抽出した候補の垂直方向の大きさに基づき、検出対象の実空間における大きさを算出する手段と、該手段が算出した大きさが前記寸法情報が示す実空間における大きさと対応するか否かを判断する手段とを更に備え、対応しないと判断した場合、前記判定手段により反射成分を含むと判定するようにしてあることを特徴とする。

第６発明に係る画像処理装置は、検出対象は特定の検出対象であるか否かを判定する手段を更に備えることを特徴とする。

第７発明に係る画像処理装置は、前記特定の検出対象は人物であることを特徴とする。

第８発明に係る画像処理方法は、撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理を行なう方法において、前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出ステップと、該抽出ステップで抽出した候補の撮像画像中における位置、前記候補の垂直方向及び水平方向の大きさ、並びに、予め記憶してある検出対象の大きさを示す寸法情報に基づき、前記候補が、検出対象の反射成分を含むか否かを判定する判定ステップと、該判定ステップで反射成分を含むと判定した場合、前記候補内の検出対象自体の領域、及び反射成分の領域間の境界を特定する特定ステップと、該特定ステップが特定した境界に基づき、前記候補から反射成分を除去するステップと、反射成分を除去して得られる検出対象領域に基づき、検出対象を検出するステップとを含むことを特徴とする。

第９発明に係る画像処理方法は、前記特定ステップは、撮像画像中におけるエッジ部を抽出するエッジ抽出処理ステップと、前記抽出ステップで抽出した候補の上端の、撮像画像における垂直方向の座標を特定するステップと、前記寸法情報に基づき、撮像画像で検出対象領域が占めるべき垂直方向の大きさを求めるステップと、特定した座標から、求めた垂直方向の大きさの分だけ下方にある検出対象自体の下端に対応する撮像画像における座標を特定するステップと、特定した前記座標から更に下方の複数の座標毎に、該座標を通る水平方向の帯領域内に含まれる各エッジ部のエッジ強度に基づき、前記帯領域のエッジ強度を示す指標値を求めるステップと、該ステップが求めた指標値の、垂直方向の各座標に対する分布曲線を求めるステップと、求めた分布曲線における特徴点を特定するステップと、特定した特徴点に対応する撮像画像における帯領域を、境界として特定するステップとを含むことを特徴とする。

第１発明及び第８発明にあっては、撮像画像から検出対象に相当する領域の候補が抽出される。そして、抽出された領域候補の撮像画像における位置と、抽出された領域候補の縦横の大きさとに基づき、各候補領域が反射成分を含むか否かが判定手段により夫々判定される。判定手段による判定は以下の根拠による。検出対象の大きさにはその種類に応じた所定の範囲がある。したがって、検出対象領域の候補として抽出された領域の撮像画像中における位置に、実際に検出対象が写る場合には、検出対象領域が画像中に占めるべき縦横の大きさを必然的に決定できる。本発明ではこれを利用し、検出対象領域の撮像画像中における位置と、該位置に応じてあるべき大きさを示す寸法情報と、実際に抽出された領域の縦横の大きさとに基づき、反射成分が含まれているか否かが判定される。反射成分が含まれていると判定された場合、検出対象領域と反射成分の領域との境界が特定され、境界で区切られる反射成分の領域が除去される。

第２発明及び第９発明にあっては、第１発明及び第７発明における検出対象領域と反射成分の領域との境界の特定が以下のように行なわれる。撮像画像に対しエッジ処理が行なわれてエッジ部が抽出される。
そして、撮像画像における検出対象領域の候補の上端の座標が特定される。反射がある場合、検出対象の接地点付近を写した画像範囲では、反射成分の領域と検出対象領域とが一連となっている可能性が高く、下端は反射成分の領域の下端であって検出対象自体の領域の下端ではない場合がある。したがって、上端の座標を特定する。
特定された上端の座標の位置に、検出対象の頭部が位置して写されている場合に、検出対象領域が占めるべき大きさから検出対象自体の領域の下端に相当すべき座標が特定される。下端に相当すべき座標近傍に、検出対象自体の領域と反射成分との境界があると推定されるので、下端に相当すべき座標から垂直方向の下方へ向けて、複数の異なる座標夫々に対し、各座標を通る帯領域に含まれるエッジ部のエッジ強度を総合した指標値を求める。そして、指標値に基づき、エッジ強度が比較的弱まる帯領域を特定する。エッジ強度が比較的弱まる帯領域の特定は、水平方向に対するエッジ強度の指標値の分布曲線を求め分布曲線の特徴点を特定することによって為される。
下端に相当すべき座標、即ち境界が存在する可能性が高い部分から開始することにより、処理を軽くすると共に、検出対象領域内部に誤って境界を特定することを回避し、精度よく反射成分との境界を特定し、除去することが可能となる。

第３発明にあっては、検出対象領域の下端は以下のように特定される。まず、抽出手段により抽出された領域候補の上端に、検出対象の頭部の端が写る場合、その端の撮像画像における位置と、検出対象の種類とに応じて撮像手段からの距離を算出することが可能である。算出された距離に応じて検出対象領域が占めるべき大きさが求められ、上端の座標と求められた大きさとに基づき下端の座標を精度よく特定することが可能である。これにより境界を誤って特定することを回避し、境界を精度よく特定することができ、効果的に反射成分を除去することが可能である。

第４発明にあっては、抽出手段により抽出された検出対象領域の候補に反射成分の領域が含まれているか否かの判定が以下のように行なわれる。抽出された領域の候補の撮像画像中における大きさと、抽出された候補の撮像画像中の位置と、該位置から求められる撮像手段から検出対象までの実空間における距離とに基づき、検出対象の実空間における大きさが算出される。算出された実空間における大きさと検出対象の種類によって決まる寸法情報が示す大きさとが比較される、撮像画像中から検出対象領域の候補として抽出された領域から求められた実空間における大きさが、検出対象にとってあり得ない大きさである場合、反射成分の分だけ大きくなっている可能性が高いため、反射成分を含むと判定される。これにより、反射成分を含むか否かを精度よく判定することができる。

第５発明にあっては、同一範囲を同時的に、所定角度以上異なる角度で撮像する第２撮像手段が更に備えられ、異なる角度で撮像された撮像画像に基づき撮像手段から検出対象までの距離が算出される。そして、抽出された領域候補の夫々の撮像画像中における位置と距離とに基づき、検出対象の実空間における大きさが算出される。撮像画像中から検出対象領域の候補として抽出された領域から求められた実空間における大きさが、検出対象にとってあり得ない大きさである場合、反射成分の分だけ大きくなっている可能性が高いため、反射成分を含むと判定される。これにより、反射成分を含むか否かを精度よく判定することができる。

第６発明にあっては、検出対象が特定の検出対象であるか否かが判定される。これにより、検出対象を識別して検出することが可能となる。

第７発明にあっては、検出対象を人物とした場合は統計的に、垂直方向に対するエッジ強度の分布曲線の特徴点が明確となり易いことを利用する。これにより、撮像画像に人物の反射成分が写っている場合でも精度よく人物を検出することが可能となる。

本発明による場合、検出対象の背景からの反射成分を除去することができるので、検出対象領域を正確に検出することが可能である。これにより、検出対象を高精度に正しく識別することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点にいる人人物を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。

（実施の形態１）
図１は、実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図１中の１は、交差点を撮像する撮像装置と一体に構成される画像処理装置である。画像処理装置１は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置１と一体に構成されている撮像装置のレンズが交差点及びその近傍の範囲を俯瞰するように設置されており、画像処理装置１及び撮像装置は撮像装置のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。図１中の２は路側機であり、画像処理装置１と同様に路側の支柱に取り付けられている。画像処理装置１と路側機２とは通信線により接続されている。

画像処理装置１は、路側機２を介して無線通信によりデータを送受信することが可能である。例えば、図１中には２台の自動車が示されている。各自動車の車載器は、例えばＤＳＲＣ（Dedicated Short Range Communication）技術により路側機２との無線通信が可能に構成されている。

実施の形態１における安全運転支援システムでは、画像処理装置１が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置１が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等を検出する。そして、画像処理装置１は検出対象の情報を路側機２を介して各自動車に送信する。これにより各自動車では、路側機２を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。

このような安全運転支援システムを実現するために、画像処理装置１が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。

図２は、実施の形態１における安全運転支援システムを構成する画像処理装置１、路側機２、及び撮像装置３の内部構成を示すブロック図である。画像処理装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等を利用して各構成部を制御する制御部１０と、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ等の不揮発性のメモリを利用した記憶部１１と、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリを利用した画像メモリ１２と、撮像装置３からの画像信号を受け付ける画像取得部１３と、路側機２との通信を実現する通信部１４とを備える。

制御部１０は、内蔵するＲＯＭ（Read Only Memory）又は記憶部１１に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部１１は制御部１０に内蔵される構成としてもよい。制御部１０の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部１０内蔵のメモリに一時的に記憶される。

画像メモリ１２は、画像取得部１３により取得された画像データを記憶する。制御部１０は、画像取得部１３にて画像データを取得した場合に画像メモリ１２への書き込みを指示する。

画像メモリ１２は、制御部１０が内蔵するＲＡＭ（Random Access Memory）の一部の記憶領域であってもよい。また、記憶部１１又は画像メモリ１２は画像処理装置１の外部に設置され、画像処理装置１の制御部１０が読み書きが可能なように、画像処理装置１と接続されている構成としてもよい。また、後述にて説明する各処理は、画像メモリ１２に記憶されている画像データ、又はその複製に対して行なう。

画像取得部１３は撮像装置から出力される画像信号を受け付ける。画像取得部１３は、受け付けた画像信号から画像データを取り出し画像メモリ１２に記憶する。詳細には、画像取得部１３は制御部１０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ１２へ書き込む。

通信部１４は、路側機２との間を接続する通信線を介した情報の送受信を実現する。制御部１０は、画像処理によって得られた情報を通信部１４にて路側機２へ送信し、通信部１４にて路側機２からの情報を受信する。

路側機２は、ＣＰＵ又はＭＰＵを利用して各構成部を制御する制御部２０と、画像処理装置１との通信を実現する通信部２１と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部２２とを備える。

通信部２１は画像処理装置１の通信部１４と対応して情報の送受信が可能である。制御部２０は、通信部２１が画像処理装置１から送信された情報を受信した場合、通信部２１からの通知を受けてこれを受信する。

無線通信部２２は、ＤＳＲＣ技術の方式により無線通信が可能である。制御部２０は、通信部２２により画像処理装置１から受信した情報を無線通信部２２により各自動車の車載器へ送信する。なお、無線通信部２２は車載器へのＤＳＲＣ方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。

撮像装置３は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム（ＶＯｘ）、アモルファスシリコン、ＳＯＩ（Silicon on Insulator）ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、８μｍ〜１２μｍである。フィルターを備えて他の波長の光を遮断するようにしてもよい。

撮像装置３の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。撮像装置３の遠赤外線撮像素子の画素数は例えば３２０×２４０であり、１秒間に約３０フレームのレートで生成される画像の画像信号を出力する。

次に、上述のように構成される画像処理装置１の制御部１０が、撮像装置３から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。

制御部１０は、画像取得部１３にて取得した画像データから人物を検出する。具体的には制御部１０は画像データから人物の領域を抽出する。画像データに基づく人物の検出方法としては従来より種々の技術がある。実施の形態１では背景差分の方法を用いる構成とするが、一又は複数フレーム分前の画像データとの差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。

図３は、実施の形態１における画像処理装置１の記憶部１１に予め記憶されている背景の画像データの内容例を示す説明図である。なお、図３に示すような遠赤外線用の背景の画像データが記憶部１１に記憶してある。

図３に示すように、背景の画像データには固定物である路面が写っている。撮像装置３から取得される画像データと背景の画像データとの差分を算出することにより、人物領域候補が抽出される。

なお、画像処理装置１の設置位置、設置高さ、及び撮像装置３の俯角、画角に応じて撮像範囲は決定される。実施の形態１の場合、撮像装置３は交差点を俯瞰するように設置される。したがって画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図３中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における画像処理装置１からの距離を示している。例えば、図３中の一番下方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から２０ｍの距離に位置する。また、中央にある破線上に写る路面の一部は、画像処理装置１が設置される位置から５０ｍの距離に位置する。一番上方にある破線上に写る路面の一部は、画像処理装置１が設置される位置から１００ｍの距離に位置する。

そして、人物の大きさはある程度決まっており、概ね縦×横×高さが８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まるはずである。撮像装置３によって人物が撮像された場合、画像データ内の人物領域の大きさは、画像処理装置１から遠いほど小さく、近いほど大きくなる。そして、人物領域の画像データ中における大きさは、撮像装置３から人物までの実空間における距離、及び撮像装置の画角に応じて決まる。

したがって、画像処理装置１から所定の距離に位置する人物領域の画像データ内に占めるべき縦横の大きさを記憶部１１に記憶しておく。人物は上述のように８０ｃｍ×８０ｃｍ×２ｍ（身長）の体積以内に収まる。画像処理装置１から５０ｍの位置にいる人物が撮像装置３によって撮像された場合、人物の領域が占めるべき領域の大きさは、誤差を考慮して水平方向の大きさ（画素数）が１５ピクセル、垂直方向の大きさが３０ピクセル以内とする。

なお、人物領域として抽出した領域の画像データ内における位置が、記憶部１１に記憶されているサイズ情報に対応する所定の位置（例えば、５０ｍの距離の位置）とは異なる位置である場合、制御部１０は、差異に応じて人物領域が占めるべき水平方向及び垂直方向の大きさを算出する。例えば画像処理装置１から１００ｍの距離に対応する位置に、人物領域が位置する場合、所定の５０ｍの距離から２倍の距離であるので、占めるべき大きさは略半分となる。

このように、画像データ中の人物領域が占めるべき縦横の大きさを記憶部１１に予め記憶しておく。そして、制御部１０は人物領域として抽出した領域の縦横の大きさが、人物の領域が占めるべき領域の大きさの条件に合っているか否かに基づき、抽出した領域が人物領域として妥当か否かを判定する。例えば制御部１０は、人物領域として抽出した領域が画像処理装置１から５０ｍの距離に相当する画像データ中の位置にある場合、抽出した領域の水平方向の大きさ（画素数）が４５ピクセルであって、垂直方向の大きさが１０ピクセルであったときには人物の領域が占めるべき領域の大きさと合わないので妥当でないと判定する。

そして制御部１０は、抽出した領域が人物領域として妥当でないということは、人物領域として抽出した領域が反射成分を含んで縦方向に大きくなっていると判定する。

画像処理装置１の制御部１０は、上述のように記憶部１１に記憶されている情報を用いて以下に示す処理を行なう。図４は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理の手順の一例を示すフローチャートである。

制御部１０は、画像取得部１３へ指示信号を出力することにより、撮像装置３から出力される画像信号に基づく画像データを取得する（ステップＳ１）。なお、ステップＳ１における画像データの取得タイミングは任意である。例えば１秒等の一定時間毎に行なう構成としてもよいし、路側機２で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。

制御部１０は、撮像装置３から出力される画像信号からステップＳ１で画像取得部１３が取得した画像データと、記憶部１１に記憶してある遠赤外線用の背景の画像データとの差分データを算出する（ステップＳ２）。算出された差分データは、画像メモリ１２又は制御部１０内蔵メモリに一時的に記憶される。これにより、遠赤外線波長帯にて撮像する撮像装置３から得られる画像データから、背景の画像データには写っていない検出対象、即ち人物が存在する領域の候補が抽出される。

制御部１０は差分データを例えば以下のようにして算出する。制御部１０は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部１０は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す１ビット情報の二次元配列を、差分データとして算出する。なお、複数の連続する画素で真である場合以外、即ち、真である画素が連続しない場合は当該画素の１ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。

更に具体的には、制御部１０は取得した画像データの画素毎に、以下に示す式１に基づく演算を行なう。

ただし、式１におけるｆ（ｘ，ｙ）は、取得した画像データを構成する水平方向の位置ｘ及び垂直方向の位置ｙで特定される各画素の１ビット情報である。なお、水平方向の位置ｘは画像データの左端からの画素数であり、垂直方向のｙは画像データの上端からの画素数とする。Ｉ_x,yは取得した画像データにおけるｘ、ｙで特定される画素毎の輝度値である。Ｉ´_x,yは、背景の画像データにおけるｘ、ｙで特定される画素毎の輝度値である。ｔｈｒｅｓｈｏｌｄは任意の閾値である。

なお、式１に示すように差分データを算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。

そして制御部１０は、ステップＳ２で算出された遠赤外線画像データの差分位置、即ち人物領域候補の位置に基づき、画像処理装置１から検出対象の人物までの距離を算出する（ステップＳ３）。詳細には、制御部１０は、ステップＳ２で算出された差分データの連続領域に外接する矩形を特定し、特定した矩形を抽出された人物領域候補とする。そして、制御部１０は人物領域候補の下端の画像データ中における垂直方向の座標を特定する。人物領域の下端は人物の路面との接地点に対応する可能性が高いので、接地点に対応する座標を特定することにより、画像処理装置１から人物までの実空間における距離を算出することができるからである。差分データにおける差分値が所定値以上である画素の連続領域が複数ある場合には夫々の連続領域を人物領域候補とし、人物領域候補毎に距離を算出する。特定される下端の座標と実空間における距離との対応は、図３に示したように予め記憶してあるものに基づいて求める。これにより、演算処理が容易となる。

次に制御部１０は、ステップＳ３で算出した実空間における画像処理装置１から人物までの距離と、人物領域候補が画像データ中に占める領域の大きさとに基づき、検出対象領域候補、即ち人物領域候補が画像データ中に占める領域の大きさは妥当か否かを判定する（ステップＳ４）。これにより、ステップＳ２の差分データの算出により抽出された人物領域候補が、反射成分を含んでいるか否かが判定される。

詳細には、制御部１０は人物領域候補の水平方向及び垂直方向の画素数（ピクセル）が、人物領域が占めるべき大きさに対応するか否かを判定する。例えば、ステップＳ３で算出した距離が５０ｍであった場合、画像データ中において人物領域が占めるべき大きさは水平方向１５ピクセル、垂直方向３０ピクセルであった。誤差を夫々プラスマイナス２ピクセルとすると、人物領域候補の水平方向の大きさ（画素数）が１３ピクセル、垂直方向の大きさが２５ピクセルであった場合、制御部１０は、人物領域の大きさとして妥当であると判定する。制御部１０は、外接矩形の水平方向の大きさが１４ピクセル、垂直方向の大きさが３６ピクセルであった場合は、人物領域の大きさとして妥当でないと判定する。

制御部１０はステップＳ４において上述のように、人物領域候補の大きさが人物領域が占めるべき領域の大きさとして妥当か否かを判定した。したがって、差分データの算出により抽出された領域が人物以外の乗用車、自転車等の車両、又は落下物の領域であった場合も、ステップＳ４で妥当でないと判定される。実施の形態１では人物を特定の検出対象としている。したがってステップＳ４における判定では、制御部１０は背景差分の算出により抽出された人物領域候補の水平方向の大きさ又は縦横比に基づき、人物領域である可能性が高いか否かを判断する。そして制御部１０は、人物領域である可能性が高い場合のみに、人物領域の大きさとして妥当でない場合の処理を行なう。例えば、制御部１０はステップＳ３で算出した距離が５０ｍであった場合に、抽出された人物領域候補の水平方向の大きさが２０ピクセル以上であるときには人物領域である可能性は低いと判断する。制御部１０は、水平方向の大きさが１５ピクセル以下であっても縦横比が１：１であるときには人物領域である可能性は低いと判断する。

そして制御部１０は、ステップＳ４で妥当であると判定した場合（Ｓ４：ＹＥＳ）、ステップＳ３で求めた距離を含む、検出対象である人物の情報を通信部１４により送信し（ステップＳ６）、処理を終了する。

なお、ステップＳ４で制御部１０が、妥当ではないと判定できるものの人物領域である可能性が低いと判断した場合、ステップＳ６では以下のような処理を行なってもよい。制御部１０は、抽出された領域の大きさ又は縦横比から検出対象の種類、例えば乗用車、自転車等を識別し、その種類の情報を検出対象の情報に含めて送信してもよい。

制御部１０は、ステップＳ４で妥当でないと判定した場合（Ｓ４：ＮＯ）、抽出された人物領域候補が反射成分を含んでいる可能性が高いので反射成分を除去する処理を行なう（ステップＳ５）。そして制御部１０は、反射成分除去後に改めて算出し直された距離を含む、検出された人物の情報を通信部１４により送信し（Ｓ６）、処理を終了する。ステップＳ５における反射成分除去の処理及び改めて距離が算出し直される処理については後述にて詳細を説明する。

制御部１０は、抽出された人物領域候補が画像データ中に複数存在する場合、夫々の候補に対しステップＳ３からステップＳ６までの処理を行なう。

次に、ステップＳ５における反射成分除去の処理の詳細を説明する。図５は、実施の形態１における画像処理装置１の制御部１０が行なう反射成分除去処理の手順の一例を示すフローチャートである。

制御部１０は、人物領域候補と同一範囲を画像データから切り出し、当該範囲でエッジ抽出処理を行なう（ステップＳ５０１）。制御部１０は、例えばPrewittフィルタを用いてエッジ抽出処理を行なうが、勿論他の方法を用いる構成としてもよい。エッジ抽出処理により、エッジ部分（輪郭に相当する部分）の画素の輝度は高くなり、エッジ部分ではない画素の輝度は低くなる。

制御部１０は、画像データにおける人物領域候補の上端位置に基づき、画像処理装置１から検出対象の人物までの距離を再び算出する（ステップＳ５０２）。上述の図４のフローチャートにおいて制御部１０は、画像データにおいて抽出された人物領域候補の下端位置に基づいて距離を算出した。しかしながら、本処理手順は、抽出された人物領域には反射成分が含まれており、抽出された人物領域の下端は人物と路面との接地点に対応していない可能性が高いので、上端に基づいて距離を算出する。

ただし、交差点における異なる位置に人物が立っている様子を撮像して画像データを取得した場合、画像データにおける人物領域夫々の上端は人物の現実の身長の違いによって同じ垂直方向の座標に位置するときがある。そこで、撮像装置３の俯角を適宜調整して設置しておく。例えば、画像データの垂直方向に対応する方向に５０ｍ以上現実に離れて立っている人物の上端が画像データ中で一致しないようにしてあることが望ましい。詳細には、俯角は１５度から２５度までの範囲となるように調整してある。

次に制御部１０は、ステップＳ５０２で算出した距離に基づき、画像データにおける境界の探索を開始する垂直方向の座標を特定する（ステップＳ５０３）。制御部１０は、特定した座標から下方へ向けて探索を開始するにあたり、後述する条件を満たす座標の数を計数するためのカウンタをゼロにリセットする。

ここで、ステップＳ５０３の垂直方向の座標の特定処理の詳細を図６を参照して説明する。

図６は、制御部１０が人物領域候補内で、境界探索開始座標を特定する処理について示す説明図である。図６に示される矩形は、制御部１０が画像データから人物領域候補と同一範囲を切り出し、切り出し範囲にエッジ抽出処理を行なった場合の例を模式的に示している。斜線によるハッチングの密度が濃いほど輝度が低く、白い部分は輝度が高い部分を示している。これにより、人物の輪郭が輝度が高い部分で示されていることが判る。更に、切り出し範囲の下部には人物の反射成分と考えられる輝度の高い部分が含まれていることが判る。人間の目で見た場合には下部は反射成分であることを容易に判別することが可能であるが、制御部１０が反射成分を判別することは難しい。

制御部１０は、切り出し範囲の上端の画像データ中における位置に基づいて上述のステップＳ５０１で実空間における画像処理装置１から人物までの距離を算出し直した。制御部１０は、算出し直した距離に基づき、当該距離に人物がいる場合に撮像データ中での人物領域が占めるべき大きさを求める。具体的には、距離が５０ｍである場合の人物領域が占めるべき大きさが水平方向に１５ピクセル、垂直方向に３０ピクセルであった。算出し直した距離が１００ｍであった場合には例えば、水平方向に７．５ピクセル、垂直方向に１５ピクセルとなるべきと算出できる。

制御部１０は、切り出し範囲の上端から人物領域が占めるべき垂直方向の大きさの分だけ下方の部分を、人物自体の領域と反射成分の領域との境界がある可能性が高い部分と認識する。ここで、画像ノイズにより人物領域の上端が一部欠落する場合、又は人間の身長差などを考慮し、制御部１０は、当該部分よりも垂直方向上方に所定量オフセットした座標Ｙ（画像データの下端からの画素数）を特定し、境界の探索を開始する座標（図中の探索開始座標）とする。前記オフセット量は固定値でもよいが、例えば抽出した人物領域の垂直方向の大きさに応じた割合で決定する構成としてもよい。

図５のフローチャートに戻り説明を続ける。次に制御部１０は、切り出した範囲内でステップＳ５０３で特定した座標から更に下方へ向けて、座標毎に同一水平位置の各画素のエッジ強度に基づき指標値を算出する（ステップＳ５０４）。詳細には、制御部１０は、切り出した範囲内における水平位置が同一の各画素（同一ライン上の各画素）のエッジ抽出処理後の輝度を取り出す。そして制御部１０は、取り出した輝度の内から上位数個（例えば、３つ）の輝度を選択し、選択した輝度の平均値を算出して指標値とする。指標値はライン毎に、エッジが鮮明なほど、そしてエッジが多いほど高い値となる。

次に制御部１０は、ステップＳ５０４で算出したエッジ強度の指標値は、境界であると判定するための条件を満たすか否かを判断する（ステップＳ５０５）。詳細には、制御部１０は、エッジ強度の指標値が垂直方向に１画素分上方、即ち一つ上のラインにおいて算出された指標値よりも減少しており、且つ減少幅が所定値よりも小さい場合に条件を満たすと判断する。

更に具体的には、制御部１０は各ラインの指標値に対し、以下に示す式２に基づく演算を行なう。

ただし、式２におけるＡｖｅ（Ｉ_y=n-1）は、一つ上のラインにおいて算出された指標値を示し、Ａｖｅ（Ｉ_y=n）は現在のラインにおいて算出した指標値である。ｙは座標、ｎは任意の数を示す。ｔｈｒｅｓｈｏｌｄは任意の閾値である。

制御部１０は、式２に示した条件を満たさないと判断した場合（Ｓ５０５：ＮＯ）、座標を垂直方向に下方へ移し、カウンタをゼロにリセットし（ステップＳ５０６）、次のラインについての判断を行なうために処理をステップＳ５０４へ戻す。

制御部１０は、式２に示した条件を満たすと判断した場合（Ｓ５０５：ＹＥＳ）、座標を垂直方向に下方へ移し、条件を満たす垂直方向の座標（ライン）の数を計数するためのカウンタを１加算する（ステップＳ５０７）。そして制御部１０は、処理を次へ進める。

次に制御部１０は、計数されたカウンタはＮ（例えば、２）以上であるか否かを判定する（ステップＳ５０８）。制御部１０は、カウンタがＮ未満であると判断した場合（Ｓ５０８：ＮＯ）、処理をステップＳ５０４へ戻して次のラインについての判断を行なう。ただし、前記の値Ｎは任意の閾値である。

制御部１０は、カウンタがＮ以上であると判断した場合（Ｓ５０８：ＹＥＳ）、カウンタの増加が開始された垂直方向の座標、即ち現在の垂直方向の座標よりもＮライン分上の座標を境界と特定する（ステップＳ５０９）。即ち、制御部１０は、ライン毎のエッジ強度を示す指標値は減少はしているものの減少幅がＮライン以上連続して所定値以下となった場合に、エッジ（輪郭）が最も曖昧なラインであると判断する。人物自体の領域と反射成分の領域との境界ではエッジが曖昧となることを利用し、エッジが最も曖昧なラインを境界とするためである。

そして制御部１０は、切り出した範囲におけるステップＳ５０９で境界と特定したラインよりも下方は反射成分の領域であるから除去し（ステップＳ５１０）、図４のフローチャートに示したステップＳ６へ処理を戻す。

図５のフローチャートに示した処理手順の最後に、境界としたラインの画像データにおける垂直方向の座標を人物と路面との接地点に対応する位置であるとして、制御部１０が改めて実空間における画像処理装置１から人物までの距離を算出するようにしてもよい。

図５のフローチャートに示した処理手順では、エッジ強度の弱まり方が鈍るラインを境界と特定する処理を行なった。これは、人物自体の領域と反射成分の領域の境界では、エッジ強度の指標値に以下の傾向があるという所見を得ているためである。具体的には昼間である場合、反射面が乱れている場合など、反射強度が弱い場合又は反射がないときには、境界付近でライン毎のエッジ強度の減少が停止する傾向がある。一方、夜間である場合、反射面が滑らかな場合など、反射強度が強いときには境界付近でライン毎のエッジ強度が増加に転じる傾向がある。したがって、ライン毎のエッジ強度の垂直方向に対する分布の分布曲線における変曲点、極小値に対応する点などの特徴点に相当するラインを境界とする。

更に、ステップＳ５０３の処理により、実空間における人物までの距離に基づいて境界探索開始座標を特定するのは、人物自体の領域内でもエッジ強度が弱まり、条件を満たすラインが特定される可能性があるのでこれを有効に回避するためである。

このように、ライン毎のエッジ強度の大きさを示す指標値を算出し、連続するラインで指標値の比較を行なうのみで上述の特徴点を求めることができるので、エッジ強度のピークの有無に依存せず、安定的に境界を特定することが可能となる。なお、反射がない場合であっても同様の処理によって人物自体の領域と路面の領域との境界を特定することができる。

次に、画像処理装置１の制御部１０による処理を具体例を示して説明する。図７は、実施の形態１における画像処理装置１の制御部１０が行なう画像処理結果の具体例を示す説明図である。図７（ａ）は、撮像装置３から画像取得部１３にて取得される画像データ、即ち遠赤外線画像データの内容例を模式的に示す。

図７（ａ）の遠赤外線画像データでは斜線によるハッチングが施された領域に示すように路面が写っている。画像データにおける中央右下付近には他の路面よりも輝度値が高い白抜きで示された領域がある。この輝度値が高い領域は人物領域であるとする。ただし、破線で囲まれる範囲は、路面が濡れている場合の路面からの反射成分である。

この場合、制御部１０が図４のフローチャートに示した処理を行ない、差分データを算出することにより、図中白抜きで示された領域が人物領域候補として抽出される。制御部１０は、抽出した人物領域候補の下端の画像データにおける垂直方向の位置に基づいて人物までの距離を算出する。このとき、下端は反射成分を含んだ下端であるために正確な値ではない。算出した距離に基づいて人物領域が占めるべき大きさを求め、差分データが占める領域の大きさは妥当か否かを判定する。図７（ａ）に示す例の場合、反射成分の分だけ領域が縦長となっている。したがって、制御部１０により妥当でないと判定される。

そこで制御部１０は、人物領域候補と同一の範囲を画像データから切り出して反射成分を除去する処理を行なう。図７（ｂ）は、図７（ａ）から抽出される人物領域候補と同一範囲の画像データに対してエッジ処理を行なった後の画像の拡大図である。白黒の階調は輝度の高低を示し、白い部分は輝度が高く、黒い部分は輝度が低いことを示す。人間の目で見た場合、左方向へ向かって歩行中の人物の輪郭を上半分に認識することが可能である。

制御部１０は、切り出された範囲の上端の画像データにおける位置から距離を算出し直す。そして制御部１０は、算出し直した距離に人物がいる場合の人物領域が占めるべき領域の垂直方向の大きさから境界である可能性が高い探索開始座標を特定する。そして制御部１０は、ライン毎に上位３つの輝度値の平均値を指標値として算出する。制御部１０は、指標値が減少し減少幅が所定値未満となったラインを境界として特定する。

図７（ｃ）は、図７（ｂ）に示す人物領域候補に対し、図５のフローチャートに示した処理手順を行なって得られるエッジ強度の垂直方向の分布を示すグラフ図である。横軸にエッジ強度（指標値）を示し、縦軸に人物領域候補の範囲における垂直方向の座標を示す。また縦軸は、図７（ｂ）に示す人物領域候補と対応している。なお、図７（ｃ）では説明を明確とするために、人物領域候補の範囲の垂直方向全体に対するエッジ強度の分布を示しているが、制御部１０は探索開始座標から下方、指標値が条件を満たすと判断するまでのみ指標値を算出する。

図７（ｃ）に示すように、人物自体の領域ではエッジ強度は比較的高く、境界へ向けてエッジ強度が減少している。そして、境界ライン付近でエッジ強度の減少の仕方が鈍っている。図７（ｃ）中の黒丸は、制御部１０が特定した境界に対応する特徴点である。図７（ｃ）では黒丸の特徴点よりも垂直方向に下方の部分ではピークが不明確である。しかしながら、図５のフローチャートに示したように制御部１０は、指標値が条件を満たす特徴点を境界とするのでピークが不明でも有効に境界を特定することが可能である。

このように、検出対象である人物が写っている人物領域候補として抽出された領域の画像データにおける位置から求められる、実空間における距離の情報に基づき、人物領域として妥当か否かを判定して反射成分が含まれるか否かを判定し、反射成分が含まれている場合であっても、距離の情報とエッジ強度の分布の傾向とから精度よく境界を特定することができる。

なお制御部１０は、境界を特定する際に、人物自体の下端であるべき座標を特定してから、エッジ強度の分布に基づいて境界を特定する構成としたことにより、境界を誤って特定することを回避して精度よく境界を特定することができる。これにより、効果的に画像データに写る反射成分を除去することができる点、優れた効果を奏する。

（変形例）
上述の実施の形態１における画像処理装置１は、人物領域候補に反射成分が含まれているか否かの判定の際、画像データにおける人物領域候補の位置で人物領域が占めるべき領域の大きさを求め、求めた大きさと実際に抽出された人物領域候補の大きさとを比較した。本発明では、抽出された人物領域候補の大きさから、実空間における人物の大きさを算出し、算出した大きさが人物の大きさとして妥当か否かによって反射成分を含むか否かを判定してもよい。

図８は、実施の形態１の変形例における画像処理装置１の制御部１０が行なう画像処理の手順の一例を示すフローチャートである。以下に示す処理手順の内、図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

制御部１０は、画像処理装置１から検出対象の人物までの実空間における距離を算出し（Ｓ３）、算出した距離に基づいて検出対象の人物の実サイズを算出する（ステップＳ７）。そして制御部１０は、式３により算出した実サイズが人物の大きさとして妥当であるか否かを判定する（ステップＳ８）。例えば制御部１０は、算出した実サイズが１．７ｍである場合には人物の大きさとして妥当であると判定するが、２．５ｍである場合には、妥当でないと判定する。

制御部１０は、実サイズが妥当であると判定した場合には（Ｓ８：ＹＥＳ）、検出対象である人物の情報を送信し（Ｓ６）、処理を終了する。一方制御部１０は、実サイズが妥当でないと判定した場合には（Ｓ８：ＮＯ）、反射成分を除去し（Ｓ５）、検出対象である人物の情報を送信し（Ｓ６）、処理を終了する。

ステップＳ７における人物の実サイズの算出について詳細を説明する。制御部１０は、画像データにおいて、ステップＳ３の詳細処理にて抽出された人物領域候補の垂直方向の高さＨ_o を画素数単位で求める。そして制御部１０は、ステップＳ３で算出された距離Ｄと、求めた高さＨ_o と、他の固定値とに基づいて人物の実空間における大きさ（実サイズ）Ｔを以下に示す式３に基づき算出する。

なお、式３におけるＨ_c は、画像データの垂直方向の画素数である。θ_v は撮像装置３の画角である。

図９は、実施の形態１の変形例における画像処理装置１の制御部１０が、人物の実空間における大きさを算出する原理を模式的に示す説明図である。図９（ａ）は、撮像装置３が設置される画像処理装置１の位置と、画像処理装置１による検出対象となる交差点中の人物の位置との関係を示している。図９（ｂ）は、画像処理装置１と人物とが図９（ａ）に示される位置関係にある場合に撮像装置によって撮像される画像データの内容例を模式的に示している。

なお、図９（ａ）に示す人の画像処理装置１からの距離Ｄは、上述の実施の形態１に示したように予め記憶部１１に記憶してある情報から求めた。具体的には、制御部１０は人に相当する領域として抽出された領域の下端の画像データにおける垂直方向の位置Ｙに対応付けて記憶してある実空間における画像処理装置１からの距離を求める。

ただし、画像データにおける垂直方向の位置Ｙと、撮像装置３を備える画像処理装置１からの距離Ｄとの関係は、図９（ａ）及び図９（ｂ）に示した画角θ_v 、画像データの垂直方向の画素数Ｈ_c に加え、撮像装置３を備える画像処理装置１が設置される高さｈ、撮像装置３の俯角φ_c を含む以下の式４に示す関係式により成立する。

式４を記憶部１１に記憶しておくことにより、制御部１０は検出対象領域（外接矩形）を特定した場合、領域の下端の画像データ中における垂直方向の座標Ｙを特定し、式４に基づいて実空間における、画像処理装置１から検出対象までの距離Ｄを算出してもよい。

なお、実施の形態１では式４に基づいて予め算出しておいた座標Ｙと、距離Ｄとの対応を記憶部１１に記憶しておき、特定される座標Ｙに対応する距離Ｄを記憶部１１から読み出すことによって実空間における所定位置からの距離を求めた。これにより、演算によらずに簡易に実空間における検出対象の位置（撮像装置３からの距離）を特定することができる。したがって、自動車へ検出対象の人物の情報として交差点内での実空間での位置情報を送信することができ、安全運転支援のために高精度な走行制御を実現することを可能とする。

（実施の形態２）
図１０は、実施の形態２における安全運転支援システムが設置されている車両の例を模式的に示す模式図である。図１０中の４，５は遠赤外線にて撮像を行なう第１撮像装置及び第２撮像装置である。図１０中の６は、画像処理装置であって車載ＬＡＮ７を介して自動車の走行制御の処理を行なう走行制御装置８に接続されている。また、第１及び第３撮像装置４，５は、信号線９を介して画像処理装置６に接続されている。

第１撮像装置４は自動車の先頭部の左側に前方へ向けて並設されている。第２撮像装置５は、自動車の先頭部の右側に前方へ向けて設置されている。第１及び第２撮像装置４，５は、略同一範囲を撮像範囲とし、同一画角での撮像が可能なように設置方向を調整してある。そして第１及び第２撮像装置４，５はいずれも、通信線９を介して画像処理装置６へ画像信号を出力することが可能に構成されている。

画像処理装置６は、第１及び第２撮像装置４，５から出力される画像信号から画像データを取得し、取得した画像データに基づいて人物を検出した場合、検出した事実と自動車から人物までの距離とを走行制御装置８へ車載ＬＡＮ７を介して送信する。走行制御装置８は、人物が検出された事実を受信した場合、人物までの距離に基づき、自動的にブレーキングを行なうべく指示する、又は車内外の緩衝装置を起動させる等の制御を行なうことが可能である。

図１１は、実施の形態２における安全運転支援システムを構成する第１及び第２撮像装置４，５及び画像処理装置６の内部構成を示すブロック図である。第１及び第２撮像装置４，５の構成の詳細は、実施の形態１における撮像装置３と同様であるので説明を省略する。

画像処理装置６は、制御部６０と、記憶部６１と、画像メモリ６２と、第１画像取得部６３及び第２画像取得部６４と、車載ＬＡＮ７を介した走行制御装置への情報の送信を実現する通信部６５とを備える。制御部６０、記憶部６１、画像メモリ６２の詳細は、実施の形態１における画像処理装置１の制御部１０、記憶部１１、画像メモリ１２と同様であるので詳細な説明を省略する。

第１画像取得部６３及び第２画像取得部６４は夫々、実施の形態１における画像処理装置１の画像取得部１３と同様に、受け付けた画像信号から画像データを取り出して画像メモリ６２に記憶する。詳細には、夫々制御部６０からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ６２へ書き込む。

通信部６５は、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＦｌｅｘＲａｙ（登録商標）等の車載ＬＡＮの規格に基づき情報を送受信する。制御部６０は、通信部６５により検出した人物の情報を走行制御装置へ送信する。

上述のように構成される実施の形態２における画像処理装置６は、第１及び第２撮像装置４，５から取得する画像データに対し、実施の形態１で示した画像処理手順と同様の処理を行なう。即ち、第１及び第２画像取得部６３，６４により画像データを同時的に取得して夫々差分データを算出して人物領域候補を抽出する。ただし、自動車に搭載される第１及び第２撮像装置４，５では、背景は走行中に随時変化するので背景差分ではなくフレーム差分を算出するようにすることが望ましい。

そして、実施の形態２における画像処理装置６の制御部６０は、第１撮像装置４と離れて設置された第２撮像装置５から取得される画像データ夫々から抽出された人物領域の、画像データにおける位置の差異に基づき、自動車の車体の先頭部から検出対象である人物までの距離を以下に説明する処理により算出する。

第２撮像装置５は、第１撮像装置４と同一画角となるように設置されているから、第１撮像装置４で撮像される人物を、第２撮像装置５でも撮像可能である。設置方向が異なるので、同一人物を撮像した撮像画像であっても、第２撮像装置５から得られる画像データにおける人物領域の位置は、第１撮像装置４から得られる画像データにおける人物領域の位置と異なる。人物からの光の入射角度が異なるからである。

制御部６０は、第１及び第２撮像装置４，５から出力される画像信号に基づく画像データを同時的に取得し、夫々フレーム差分を取って抽出した人物領域候補の形状又は位置等に基づく類似度により、夫々で抽出される人物領域候補を対応付ける。即ち、制御部６０は同一人物に対応して抽出される人物領域候補を対応付ける。制御部１０は、夫々の同一画角内での位置の差異を求める。位置の差異は入射角の差異であるから、当該入射角の差異、並びに第１及び第２撮像装置４，５間の距離に基づき人物までの実空間における距離を求めることが可能である。そして制御部１０は、実施の形態１で示した画像処理手順と同様に、距離情報に基づいて人物領域候補が反射成分を含むか否かを判定し、反射成分を含む場合にはこれを除去する。

このように、第１及び第２撮像装置４，５、並びに画像処理装置６を自動車に搭載する構成により、反射成分の有無判定に必要な検出対象の人物までの距離をステレオ視により精度よく算出することが可能となる。

上述の実施の形態１及び２では、撮像装置３並びに第１及び第２撮像装置は遠赤外線波長帯にて撮像する赤外線カメラを用いる構成とした。しかしながら本発明はこれに限らず、いずれも可視光波長帯又は近赤外線波長帯にて撮像するカメラを用いる構成としてもよい。いずれの場合も、撮像素子は路面による反射成分をも捉えるので、本発明に係る画像処理装置の制御部による処理を行なうことにより、有効に反射成分を除去することが可能となる。

また、実施の形態１においても実施の形態２における構成同様に、異なる角度からの撮像を行なう第３撮像装置を別途備え、ステレオ視によって実空間における距離を算出するようにしてもよい。

上述の実施の形態１及び２では、画像取得部１３又は第１及び２画像取得部６３，６４による画像の取得、並びに画像処理を制御部１０，６０が行なう構成とした。しかしながら本発明はこれに限らず、画像の取得処理及び画像処理を画像処理部分を分離した集積回路によって実現するように構成してもよい。特に、上述の実施の形態１及び２では図４、図５及び図８のフローチャートに示した処理手順を制御部１０が各構成部を制御して行なう構成とした。しかしながら、本発明に係る画像処理装置１は、フローチャートに示した各処理手順を行なうように設計された集積回路を更に集積した特定用途向けの回路（ＡＳＩＣ：Application Specific Integrated Circuit）を有する構成としてもよい。例えば、図４のフローチャートに示したステップＳ２に対応する差分データを算出する回路、図５及び図８のフローチャートに示したステップＳ５に対応する反射成分除去の処理を実現する回路、更に詳細には図５のフローチャートに示したステップＳ５０１に対応するエッジ抽出処理回路、ステップＳ５０３からステップＳ５０９までの処理に対応する境界特定回路等を組み合わせたＡＳＩＣを設計して用いることにより、各処理を高速に実行することができる。

更に、実施の形態１及び２は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による移動体の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯システム又は監視システム等、撮像画像に基づき対象を精度よく検出することが可能である。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

実施の形態１における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。 実施の形態１における安全運転支援システムを構成する画像処理装置、路側機、及び撮像装置の内部構成を示すブロック図である。 実施の形態１における画像処理装置の記憶部に予め記憶されている背景の画像データの内容例を示す説明図である。 実施の形態１における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。 実施の形態１における画像処理装置の制御部が行なう反射成分除去処理の手順の一例を示すフローチャートである。 制御部が人物領域候補内で、境界探索開始座標を特定する処理について示す説明図である。 実施の形態１における画像処理装置の制御部が行なう画像処理結果の具体例を示す説明図である。 実施の形態１の変形例における画像処理装置の制御部が行なう画像処理の手順の一例を示すフローチャートである。 実施の形態１の変形例における画像処理装置の制御部が、人物の実空間における大きさを算出する原理を模式的に示す説明図である。 実施の形態２における安全運転支援システムが設置されている車両の例を模式的に示す模式図である。 実施の形態２における安全運転支援システムを構成する第１及び第２撮像装置及び画像処理装置の内部構成を示すブロック図である。

符号の説明

１，６ 画像処理装置
１０，６０ 制御部
１１，６１ 記憶部
３ 撮像装置
４ 第１撮像装置
５ 第２撮像装置

Claims (9)

1. 撮像手段を備え、該撮像手段から得られる撮像画像に基づいて撮像範囲内にある対象を検出するための画像処理を行なう画像処理装置において、
   前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出手段と、
   該抽出手段が抽出した候補の撮像画像中における位置、前記候補の垂直方向及び水平方向の大きさ、並びに、予め記憶してある検出対象の大きさを示す寸法情報に基づき、前記候補が、前記検出対象の反射成分を含むか否かを判定する判定手段と、
   該判定手段が反射成分を含むと判定した場合、前記候補内の検出対象自体の領域、及び反射成分の領域間の境界を特定する特定手段と、
   該特定手段が特定した境界に基づき、前記候補から反射成分の領域を除去する手段と、
   反射成分を除去して得られる検出対象領域に基づき、検出対象を検出する手段と
   を備えることを特徴とする画像処理装置。
2. 前記特定手段は、
   撮像画像中におけるエッジ部を抽出するエッジ抽出処理手段と、
   前記抽出手段が抽出した候補の上端の、撮像画像における垂直方向の座標を特定する上端特定手段と、
   前記寸法情報に基づき、撮像画像中で検出対象領域が占めるべき垂直方向の大きさを求める手段と、
   前記上端特定手段が特定した座標から、求めた垂直方向の大きさの分だけ下方にある撮像画像における座標を特定する下端特定手段と、
   該下端特定手段が特定した座標から更に下方の複数の座標毎に、該座標を通る水平方向の帯領域内に含まれる各エッジ部のエッジ強度に基づき、前記帯領域のエッジ強度を示す指標値を求める手段と、
   該手段が求めた指標値の、垂直方向の各座標に対する分布曲線を求める手段と、
   求めた分布曲線における特徴点を特定する手段と
   を備え、
   特定した特徴点に対応する撮像画像における帯領域を、境界として特定するようにしてあること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記下端特定手段は、
   前記上端特定手段が特定した座標に基づき、撮像手段から前記検出対象までの実空間における距離を算出する手段を更に備え、
   該手段が算出した距離及び前記寸法情報に基づき、実空間で撮像手段から前記距離に前記検出対象がある場合に撮像画像中で前記検出対象領域が占めるべき領域の下端の座標を特定するようにしてあること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、
   前記抽出手段が抽出した候補の撮像画像中における位置に基づき、撮像手段から前記検出対象までの実空間における距離を算出する手段と、
   該手段が算出した距離及び前記抽出手段が抽出した候補の垂直方向の大きさに基づき、前記検出対象の実空間における大きさを算出する手段と、
   該手段が算出した大きさが前記寸法情報が示す実空間における大きさと対応するか否かを判断する手段と
   を備え、
   対応しないと判断した場合、前記候補は反射成分を含むと判定するようにしてあること
   を特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記撮像手段の撮像範囲を、前記撮像手段と異なる角度から同時的に撮像する第２の撮像手段と、
   該第２の撮像手段が撮像した撮像画像から検出対象が写っている検出対象領域の候補を抽出する手段と、
   前記抽出手段が撮像手段から得られる撮像画像から抽出した検出対象領域の候補、及び前記第２の撮像手段により撮像された撮像画像から抽出した検出対象領域の候補を対応付ける手段と、
   該手段が対応付けた２つの候補の夫々の撮像画像中における位置を特定する手段と、
   ２つの候補夫々が特定された位置間の差異に基づき、前記撮像手段又は前記第２の撮像手段から前記検出対象までの実空間における距離を算出する手段と、
   該手段が算出した距離、及び前記抽出手段が抽出した候補の垂直方向の大きさに基づき、検出対象の実空間における大きさを算出する手段と、
   該手段が算出した大きさが前記寸法情報が示す実空間における大きさと対応するか否かを判断する手段と
   を更に備え、
   対応しないと判断した場合、前記判定手段により反射成分を含むと判定するようにしてあること
   を特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
6. 検出対象は特定の検出対象であるか否かを判定する手段を更に備えること
   を特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記特定の検出対象は人物であることを特徴とする請求項６に記載の画像処理装置。
8. 撮像画像に基づき、撮像範囲内にある対象を検出するための画像処理を行なう方法において、
   前記撮像画像から検出対象が写っている検出対象領域の候補を抽出する抽出ステップと、
   該抽出ステップで抽出した候補の撮像画像中における位置、前記候補の垂直方向及び水平方向の大きさ、並びに、予め記憶してある検出対象の大きさを示す寸法情報に基づき、前記候補が、検出対象の反射成分を含むか否かを判定する判定ステップと、
   該判定ステップで反射成分を含むと判定した場合、前記候補内の検出対象自体の領域、及び反射成分の領域間の境界を特定する特定ステップと、
   該特定ステップが特定した境界に基づき、前記候補から反射成分を除去するステップと、
   反射成分を除去して得られる検出対象領域に基づき、検出対象を検出するステップと
   を含むことを特徴とする画像処理方法。
9. 前記特定ステップは、
   撮像画像中におけるエッジ部を抽出するエッジ抽出処理ステップと、
   前記抽出ステップで抽出した候補の上端の、撮像画像における垂直方向の座標を特定するステップと、
   前記寸法情報に基づき、撮像画像で検出対象領域が占めるべき垂直方向の大きさを求めるステップと、
   特定した座標から、求めた垂直方向の大きさの分だけ下方にある検出対象自体の下端に対応する撮像画像における座標を特定するステップと、
   特定した前記座標から更に下方の複数の座標毎に、該座標を通る水平方向の帯領域内に含まれる各エッジ部のエッジ強度に基づき、前記帯領域のエッジ強度を示す指標値を求めるステップと、
   該ステップが求めた指標値の、垂直方向の各座標に対する分布曲線を求めるステップと、
   求めた分布曲線における特徴点を特定するステップと、
   特定した特徴点に対応する撮像画像における帯領域を、境界として特定するステップと
   を含むことを特徴とする請求項８に記載の画像処理方法。