JP6162064B2 - 物体検知処理装置 - Google Patents

Description

本発明は、撮像画像を用いて車両等の物体を検知する装置に関する。

撮像装置による撮像画像に基づいて、車両等の物体を検知する技術が従来より知られている。例えば特許文献１には、撮像画像から抽出された水平エッジのなかから、直方体モデルで車両の外形状を近似した場合の車両の末尾の水平エッジ（車両背面の下辺に相当する水平エッジ）と、車両の背面の上辺に相当する水平エッジと、車両の屋根の前の辺に相当する水平エッジとの組を探索し、それらの水平エッジにより表現される直方体モデルの車両を検知する技術が記載されている。

特開２００９−２４５０４２号公報

特許文献１に記載されている技術は、道路に固定的に設置された撮像装置を使用するものであるが、例えば走行中の車両から、撮像画像を用いて前走車等の他車両を検知しようとする場合には、車両に撮像装置が搭載される。この場合、撮像装置による撮像画像には、車両以外の種々様々の物体（看板、標識板、構造物等）が写ることが多い。

このような状況で、特許文献１に見られる如き技術を使用して他車両を検知しようとした場合には、次のような不都合を生じやすい。

すなわち、特許文献１に見られる技術では、車両の外形の輪郭に相当する水平エッジを抽出できることを前提として、背面の上辺や屋根の前辺に相当する水平エッジを探索するようにしている。

しかるに、例えば車両に搭載された撮像装置により該車両の前方を撮像したような場合には、背景画像の影響等によって、特に、前方の他車両の背面の上辺に相当する水平エッジを明瞭に抽出できないような場合もある。また、前方の他車両の上側の画像には、看板や標識板等の画像も含まれやすい。

このため、他車両の背面の上辺とは異なる水平エッジが、車両の背面の上辺に相当する水平エッジとして検出されやすい。その結果、実際の他車両と異なるものが他車両として検知されたり、あるいは、該他車両を継続的に検知することが困難なものとなりやすい。

本発明はかかる背景に鑑みてなされたものであり、撮像画像から抽出される水平エッジを利用して、該撮像画像に写る車両等の所定種類の物体を高い信頼性で検知することができる物体検知処理装置を提供することを目的とする。

まず、本発明の基礎となる技術事項を説明しておく。撮像装置の撮像画像中に車両等の所定種類の物体の画像が写っている場合に、該撮像画像から水平エッジを抽出した場合、該物体の輪郭に相当する線が抽出されない場合であっても、複数の水平エッジが該物体の画像の箇所から抽出されることが多い。

例えば車両を背面側あるいは正面側から見た画像では、車両の上端の輪郭に相当する水平エッジ以外に、窓枠、ナンバープレート、バンパー、灯火器の枠等に相当する複数の水平エッジが抽出される場合が多い。

このように複数の水平エッジが画像から抽出され得る所定種類の物体にあっては、該物体の上端の輪郭に相当する水平エッジが抽出されるか否かによらずに、該物体の画像から抽出される水平エッジは、撮像画像の上下方向に、ある所定値以下のピッチ（該物体の高さに相当する間隔よりも小さいピッチ）、又は、ある所定値以上の密度で並ぶものとなる傾向がある。

本発明は、このような現象に着目してなされたものである。

すなわち、本発明の物体検知処理装置の１つの態様は、上記の目的を達成するために、撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、該複数の水平エッジのうちの前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの間の上下方向距離が所定値以下であるという第２ａ条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えることを第１態様の基本構成とする。

なお、本発明において、前記撮像画像の上下方向に並ぶ複数の水平エッジというのは、より詳しくは、該複数の水平エッジのうちのそれぞれが、他のいずれかの水平エッジと上下方向で重なり部分（撮像画像の横方向での位置が互いに同一となる部分）を有するようにして、前記撮像画像の上下方向に並ぶ複数の水平エッジのことを意味する。このことは、後述の発明でも同様である。

上記第１態様の基本構成によれば、前記物体認識手段は、前記水平エッジ抽出手段により抽出された複数の水平エッジのうち、前記第１条件及び第２ａ条件とを満たす水平エッジ群を、所定種類の同一物体の水平エッジ群として認識する。

すなわち、撮像装置から抽出された水平エッジのなかに、上下方向に並ぶ複数の水平エッジが存在する場合、当該複数の水平エッジにより構成される水平エッジ群（第１条件を満たす水平エッジ群）は、該水平エッジ群において、上下方向で互いに隣り合う各対の２つの水平エッジの間の上下方向距離が所定値以下であるという第２ｂ条件を満たすことを必要条件として、前記所定種類の同一物体の画像に対して抽出された水平エッジ群であると認識される。

この場合、同一物体の水平エッジ群として認識される水平エッジ群は、撮像画像における前記所定種類の物体の上端の輪郭に相当する水平エッジを含むことを必要とするものではない。従って、前記所定種類の物体の上端の輪郭に相当する水平エッジを含むか否かによらずに、前記第１条件及び第２ａ条件を満たす水平エッジ群が同一物体の水平エッジ群として認識される。

また、前記第２ａ条件に関する前記所定値を適切に設定しておくことで、前記所定種類の物体以外の画像から抽出される水平エッジが、第１条件及び第２ａ条件を満たす水平エッジ群に含まれてしまうのを極力回避できる。例えば、前記所定種類の物体が道路を走行する車両である場合、その上方に存在する看板、標識板等の画像に対応する水平エッジが第１条件及び第２ａ条件を満たす水平エッジ群に含まれてしまうのを極力回避できる。

よって、前記第１態様の基本構成によれば、撮像画像から抽出される水平エッジを利用して、該撮像画像に写る車両等の所定種類の物体を高い信頼性で検知することができる。

また、本発明の物体検知処理装置の他の１つの態様は、上記の目的を達成するために、撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、前記撮像画像の上下方向の所定範囲内における該水平エッジの密度が所定値以上であるという第２ｂ条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えることを第２態様の基本構成とする。

上記第２態様の基本構成によれば、前記物体認識手段は、前記水平エッジ抽出手段により抽出された複数の水平エッジのうち、前記第１条件及び第２ｂ条件とを満たす水平エッジ群を、所定種類の同一物体の水平エッジ群として認識する。

すなわち、撮像装置から抽出された水平エッジのなかに、上下方向に並ぶ複数の水平エッジが存在する場合、当該複数の水平エッジにより構成される水平エッジ群（第１条件を満たす水平エッジ群）は、撮像画像の上下方向の所定範囲内における該水平エッジの密度が所定値以上であるという第２ｂ条件を満たすことを必要条件として、前記所定種類の同一物体の画像に対して抽出された水平エッジ群であると認識される。

なお、上記水平エッジの密度は、撮像画像の上下方向の単位間隔当たりに含まれる該水平エッジの個数として表現することができる。

この場合、前記第１態様の基本構成と同様に、同一物体の水平エッジ群として認識される水平エッジ群は、撮像画像における前記所定種類の物体の上端の輪郭に相当する水平エッジを含むことを必要とするものではない。従って、前記所定種類の物体の上端の輪郭に相当する水平エッジを含むか否かによらずに、前記第１条件及び第２ｂ条件を満たす水平エッジ群が同一物体の水平エッジ群として認識される。

また、前記第２ｂ条件に関する前記所定値を適切に設定しておくことで、前記所定種類の物体以外の画像から抽出される水平エッジが、第１条件及び第２ａ条件を満たす水平エッジ群に含まれてしまうのを極力回避できる。例えば、前記所定種類の物体が道路を走行する車両である場合、その上方に存在する看板、標識板等の画像に対応する水平エッジが第１条件及び第２ｂ条件を満たす水平エッジ群に含まれてしまうのを極力回避できる。

よって、前記第２態様の基本構成によれば、撮像画像から抽出される水平エッジを利用して、該撮像画像に写る車両等の所定種類の物体を高い信頼性で検知することができる。

上記第１態様又は第２態様の基本構成では、前記第１条件における前記複数の水平エッジは、より具体的には、例えば３つ以上の水平エッジである（第１参考発明）。

これによれば、車両のように、その画像の内部に複数の水平エッジを有するような種類の物体を、より高い信頼性で検知することができる。

さらに、上記第１態様の基本構成では、前記物体認識手段は、前記水平エッジ群の最下端の水平エッジの左右の両端間の横方向範囲内に、該最下端の水平エッジの上側の他の水平エッジの中心の横方向位置が存在するという第３条件をさらなる条件として満たす水平エッジ群を前記所定種類の同一物体の水平エッジ群として認識するように構成されていることがより好ましい（第１発明）。このことは、上記第２態様の基本構成でも同様である（第２発明）。

かかる第１発明又は第２発明によれば、所定種類の同一物体の水平エッジ群として認識される水平エッジ群において、最下端の水平エッジの上側に存在する各水平エッジは、いずれも最下端の水平エッジと上下方向での重なり部分を有する。ただし、最下端の水平エッジの上側に存在する各水平エッジは、その一端側及び他端側の少なくともいずれか一方は、最下端の水平エッジよりも横方向にはみ出していてもよい。

このため、車両等、種々様々な形状を有する所定種類の物体の検知を行うことが可能となる。

また、前記第１態様の基本構成では、前記物体認識手段は、前記水平エッジ群の少なくとも１つの水平エッジに対応する実空間上の位置と前記撮像装置との間の距離を推定し、該距離の推定値が大きいほど、前記第２ａ条件における前記所定値を小さくするように、該距離の推定値に応じて前記所定値を可変的に設定するように構成されていてもよい（第２参考発明）。

同様に、前記第２態様の基本構成では、前記物体認識手段は、前記水平エッジ群の少なくとも１つの水平エッジに対応する実空間上の位置と前記撮像装置との間の距離を推定し、該距離の推定値が大きいほど、前記第２ｂ条件における前記所定値を大きくするように、該距離の推定値に応じて前記所定値を可変的に設定するように構成されていてもよい（第３参考発明）。

すなわち、物体の画像は、実空間での撮像装置と物体との距離が大きいほど小さくなる。そこで、第２参考発明又は第３参考発明の如く、前記水平エッジ群の少なくとも１つの水平エッジに対応する実空間上の位置と前記撮像装置との間の距離の推定値に応じて前記を推定し、該距離の推定値に応じて第２ａ条件における前記所定値、又は第２ｂ条件における前記所定値を可変的に設定する。

これにより、前記第２参考発明において、第１条件及び第２ａ条件を満たす水平エッジ群、あるいは、第３参考発明において第１条件及び第２ｂ条件を満たす水平エッジ群を、所定種類の物体の水平エッジ群として認識することの信頼性をより一層高めることができる。ひいては、該水平エッジ群による物体の検知の信頼性をより一層高めることができる。

なお、第２参考発明又は第３参考発明は、前記第１参考発明、あるいは、第１発明もしくは第２発明と組み合わせてもよい。

また、前記第１態様の基本構成では、前記物体認識手段は、前記水平エッジ群のうちの少なくとも１つの水平エッジの長さが短いほど、前記第２ａ条件における前記所定値を小さくするように、当該少なくとも１つの水平エッジの長さに応じて前記所定値を可変的に設定するように構成されていてもよい（第３発明）。

同様に、前記第２態様の基本構成では、前記物体認識手段は、前記水平エッジ群のうちの少なくとも１つの水平エッジの長さが短いほど、前記第２ｂ条件における前記所定値を大きくするように、当該少なくとも１つの水平エッジの長さに応じて前記所定値を可変的に設定するように構成されていてもよい（第４発明）。

すなわち、物体の画像は、実空間での撮像装置と物体との距離が大きいほど小さくなることに加えて、実空間での物体の横幅及び縦幅等のサイズが小さいほど小さくなる。そのため、実空間での撮像装置と物体との距離が大きいほど、あるいは、実空間での物体のサイズが小さいほど、基本的には、該物体に対応する水平エッジ群に含まれる水平エッジの長さ（撮像画像上での長さ）が短くなる。

そこで、第３発明又は第４発明の如く、前記水平エッジ群のうちの少なくとも１つの水平エッジの長さ（撮像画像における長さ）に応じて第２ａ条件における前記所定値、又は第２ｂ条件における前記所定値を可変的に設定する。

これにより、前記第３発明において、第１条件及び第２ａ条件を満たす水平エッジ群、あるいは、第４発明において第１条件及び第２ｂ条件を満たす水平エッジ群を、撮像装置からの物体の距離、あるいは、物体のサイズによらずに、所定種類の物体の水平エッジ群として認識することの信頼性をより一層高めることができる。ひいては、該水平エッジ群による物体の検知の信頼性をより一層高めることができる。

なお、第３発明又は第４発明における水平エッジの長さとしては、例えば前記第１条件を満たす（あるいは第１条件及び第３条件を満たす）複数の水平エッジのうちの最下端の水平エッジの長さを採用することが好適である。また、第３発明又は第４発明は、前記第１参考発明、あるいは、第１発明、あるいは、第２発明と組み合わせてもよい。

また、前記第１態様の基本構成では、前記所定種類の物体が例えば車両である場合、前記物体認識手段は、前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの上下方向位置が上方側であるほど、前記第２ａ条件における前記所定値を大きくするように、当該各対の２つの水平エッジの上下方向位置に応じて前記所定値を可変的に設定するように構成されていてもよい（第５発明）。

前記所定種類の物体が例えば車両である場合、該車両の窓の上下方向の幅が比較的大きい場合がある。このような場合であっても、第５発明によれば、当該所定種類の物体の水平エッジ群として認識される水平エッジ群に、該物体の画像内の水平エッジを極力含ませるようにすることができる。

なお、第５発明は、第１参考発明、あるいは、第１発明、あるいは、第２発明と組み合わせてもよい。

本発明の実施形態における物体検知処理装置のシステム構成を示す図。 図１に示す物体認識部の処理を示すフローチャート。 第１実施形態における図２のＳＴＥＰ３の処理の詳細を示すフローチャート。 図２のＳＴＥＰ２の処理で抽出される水平エッジの例を示す図。 第１実施形態における図２のＳＴＥＰ３の処理を説明するための図。 第２実施形態における図２のＳＴＥＰ３の処理の詳細を示すフローチャート。 第２実施形態における図２のＳＴＥＰ３の処理を説明するための図。

［第１実施形態］
本発明の第１実施形態を図１〜図５を参照して以下に説明する。

本実施形態の物体検知処理装置１は、道路を走行する車両１００に搭載されている。この物体検知処理装置１には、撮像装置２による撮像画像が該撮像装置２から入力される。そして、物体検知処理装置１は、撮像装置２から取得した撮像画像を用いて、撮像装置２の撮像領域に存在する他車両等の所定種類の物体を検知する処理を実行する。

撮像装置２は、単眼カメラ等により構成され、車両１００の周辺、例えば前方領域を撮像するように車両１００に搭載されている。この撮像装置２の撮像画像は、カラー画像及びモノトーン画像のいずれであってもよい。また、撮像装置２は、２台以上のカメラにより構成されるステレオカメラであってもよい。

物体検知処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットにより構成される。

この物体検知処理装置１は、実装されるプログラムにより実現される機能、あるいは、ハードウェア構成により実現される機能として、撮像装置２の撮像画像から、水平エッジを抽出する処理を実行する水平エッジ抽出部５と、抽出された水平エッジに基づいて、撮像画像中の所定種類の物体を認識する物体認識部６とを備える。

物体認識部６の認識対象の物体は、本実施形態では撮像装置２の撮像領域（車両１００の前方領域）に存在する他車両である。この物体認識部６は、水平エッジ抽出部５で抽出された複数の水平エッジから、所定の条件を満たす水平エッジ群を探索し、探索された個々の水平エッジ群を、同一の他車両の画像に対応するもの（１つの他車両の画像から抽出されたもの）として認識する処理を実行する。

なお、水平エッジ抽出部５及び物体認識部６は、それぞれ本発明における水平エッジ抽出手段、物体認識手段に相当する。

次に、物体検知処理装置１の処理を詳細に説明する。なお、以降の説明では車両１００を自車両１００ということがある。

物体検知処理装置１は、図２のフローチャートに示す手順で撮像装置２の撮像領域（自車両１００の前方領域）に存在する他車両を検知する。なお、図２のフローチャートは、物体検知処理装置１の制御処理周期毎の処理を示すものではなく、撮像画像を基に、最終的に他車両が検知されるまでの一連の手順を概略的に示している。

ＳＴＥＰ１において、物体検知処理装置１は、撮像装置２の撮像画像を取得する。そして、物体検知処理装置１は、ＳＴＥＰ２において、撮像画像から水平エッジを抽出する処理を水平エッジ抽出部５により実行する。

この水平エッジ抽出部５は、撮像画像の上下方向での画素値（例えば輝度値）の変化に基づいて、微分フィルタ等により水平エッジを抽出する。なお、撮像画像がカラー画像である場合には、輝度値の代わりに、色相もしくは彩度等に基づいて、あるいは、輝度値と、色相もしくは彩度とを併用して、水平エッジを抽出するようにしてもよい。水平エッジを抽出する手法は、種々様々の公知の手法を採用できる。

かかる水平エッジ抽出部５の処理により、図４に例示する如く複数の水平エッジＬineが抽出される。図４に示す例は、撮像装置２の撮像画像中に、自車両１００の前方に存在する３台の他車両２０１，２０２，２０３が写っている状況で抽出される水平エッジＬineの例を概略的に示している。

この場合、各他車両２０１，２０２，２０３のタイヤの接地箇所のライン（路面上のライン）、車体下端のライン、窓枠のライン、バンパーのライン、テールランプのライン、ナンバープレートのライン等、複数の水平エッジＬineが各他車両２０１，２０２，２０３の画像において抽出される。

このように撮像装置２の撮像画像中に他車両が写っている場合には、一般に、各他車両の画像において複数の水平エッジが抽出される。また、各他車両の画像において抽出される水平エッジの個数は、通常、３つ以上である。なお、撮像画像上の他車両の外形の輪郭における上端のライン（ルーフのライン）が水平エッジとして抽出されるとは限らない。例えば図４に示す如く、他車両２０１，２０２，２０３の画像の上端ののラインに相当する水平エッジが抽出されない場合もある。

次に、物体検知処理装置１は、物体認識部６の処理をＳＴＥＰ３から実行する。ＳＴＥＰ３では、物体認識部６は、水平エッジ抽出部５により抽出された水平エッジから車両候補の水平エッジ群を探索する。

上記車両候補の水平エッジ群は、撮像画像中の他車両の画像から抽出された可能性が比較的高いと推定される複数の水平エッジの集合である。

ＳＴＥＰ３の処理は、図３のフローチャートに示す如く実行される。具体的には、物体認識部６は、ＳＴＥＰ３−１において、水平エッジ抽出部５により抽出された水平エッジのうちの１つの水平エッジを基準の水平エッジLine(1)として選択する。

この場合、基準の水平エッジLine(1)は、抽出された水平エッジのうち、撮像画像の下端に最も近いもの（撮像画像における高さ位置が最も低いもの）から選択される。ただし、後述するＳＴＥＰ３−６の処理の次に再び実行されるＳＴＥＰ３−１の処理では、既に選択済の水平エッジ、あるいは、車両候補の水平エッジ群に含まれるものとされた水平エッジは、選択対象から除外される。

さらに、ＳＴＥＰ３−１では、物体認識部６は、車両候補の水平エッジ群に含まれる水平エッジの個数をカウントするためのカウント変数ｎの値を“１”に初期化する。

次いでＳＴＥＰ３−２において、物体認識部６は、水平エッジLine(n)（ｎ：現在のカウント変数ｎの値）の上側に、以下の条件Ａ，Ｂを満たす水平エッジLine(n+1)が在るか否かを判断する。なお、Line(n+1)は、水平エッジLine(n)の上側に存在する水平エッジのうちで最もLine(n)に近い水平エッジである。

条件Ａ：
水平エッジLine(n+1)の中心の横方向位置Cx(n+1)（撮像画像の横方向での位置）が、基準の水平エッジLine(1)の左端の位置ｓxと右端の位置ｅxとの間の範囲内の位置である。
条件Ｂ：
水平エッジＬine(n+1)と水平エッジLine(n)との間の上下方向距離Ｄ(n)（撮像画像の上下方向での距離）は所定値Ｄth以下である。

そして、ＳＴＥＰ３−２の判断結果が肯定的である場合（Line(n)の上側に条件Ａ，Ｂを満たす水平エッジLine(n+1)が存在する場合）には、物体認識部６は、ＳＴＥＰ３−３において、カウント変数ｎの値を“１”だけ増加させた後、ＳＴＥＰ３−２の処理を繰り返す。

この繰り返しによって、Line(1)の上側に、条件Ａ，Ｂを満たすようにして上下方向に並ぶ複数の水平エッジが存在する場合には、それらの水平エッジＬine(2)，Ｌine(3)，……が撮像画像の下方側から上方側に向かって順番に検出されていくこととなる。

ここで、上記条件Ｂにおける所定値Ｄthは、他車両の画像中で抽出される複数の水平エッジが上記条件Ｂを満たすこととなるように、あらかじめ実験等に基づいて設定された値である。該所定値Ｄthは、基本的には、自車両１００から（あるいは撮像装置２から）所定距離内の他車両が撮像画像中に写っている場合に、該他車両の画像の高さ（上下方向の幅）を超えないように設定される。

このため、撮像装置２の撮像画像中に写っている他車両（例えば図４に示した他車両２０２）の画像に対応して、図５に例示する如く７つの水平エッジＬine(1)〜Ｌine(7)（Ｌine(1)は、他車両２０２のタイヤの接地箇所のラインに相当する水平エッジ）が抽出されている場合には、最も下側の水平エッジＬine(1)がＳＴＥＰ３−１で基準の水平エッジＬine(1)として選択された場合に、Ｌine(2)〜Ｌine(7)がＳＴＥＰ３−２の処理により順番に検出される。

ＳＴＥＰ３−２の判断結果が否定的になった場合（Line(n)の上側に条件Ａ，Ｂを満たす水平エッジLine(n+1)が存在しない場合）には、物体認識部６は、次に、ＳＴＥＰ３−４において、カウント変数ｎの現在の値が３以上であるか否かを判断する。該カウント変数ｎの現在の値は、ＳＴＥＰ３−２に処理で検出された水平エッジと、基準の水平エッジＬine(1)とを合わせた個数を示している。

このＳＴＥＰ３−４の判断結果が肯定的である場合（ｎ≧３である場合）には、ｎ個の水平エッジＬine(1)〜Ｌine(n)が他車両の画像において抽出されたものである可能性が高い。この場合には、物体認識部６は、ＳＴＥＰ３−５の処理を実行する。

このＳＴＥＰ３−５では、物体認識部６は、ＳＴＥＰ３−２の処理の繰り返しによって検出された水平エッジＬine(2)〜Ｌine(n)と、基準の水平エッジＬine(1)とから成るｎ個（３個以上）の水平エッジＬine(1)〜Ｌine(n)を車両候補の水平エッジ群として決定する。また、この場合、物体認識部６は、基準の水平エッジＬine(1)を車両候補の下端の水平エッジとして決定する。すなわち、水平エッジＬine(1)は、他車両である可能性が高い車両候補の画像の最下端の位置のラインに相当するものとされる。

次いで、物体認識部６は、ＳＴＥＰ３−６の判断処理を実行する。このＳＴＥＰ３−６では、物体認識部６は、基準の水平エッジとして選択し得る選択対象の水平エッジが他に在るか否かを判断する。この判断は、既にＳＴＥＰ３−１で選択された水平エッジと、ＳＴＥＰ３−４で決定された水平エッジ群に含まれる水平エッジを除外して行われる。

そして、ＳＴＥＰ３−６の判断結果が肯定的である場合には、物体認識部６は、新たな車両候補の水平エッジ群を探索するために、ＳＴＥＰ３−１からの処理を繰り返す。

また、前記ＳＴＥＰ３−４の判断結果が否定的である場合（ｎ＜２である場合）は、基準の水平エッジＬine(1)の上側に条件Ａ，Ｂを満たす水平エッジが存在しないか、又は、条件Ａ，Ｂを満たす水平エッジが１つの水平エッジ゛Line(2)だけしか存在しない場合である。この場合には、水平エッジＬine(1)、あるいは、Ｌine(1)，Ｌine(2)は、他車両の画像において抽出されたものではない可能性が高い。

そこで、ＳＴＥＰ３−４の判断結果が否定的である場合には、物体認識部６は、ＳＴＥＰ３−５の処理を実行せずに、直ちに、前記ＳＴＥＰ３−６の判断処理を実行する。

以上の如く車両候補の水平エッジ群を探索する処理を実行することで、ＳＴＥＰ３−５で決定される車両候補の水平エッジ群は、撮像画像の上下方向に並ぶ複数の（本実施形態では３つ以上）の水平エッジＬine(1)〜Ｌine(n)を含むという条件（本発明における第１条件）と、該複数の水平エッジＬine(1)〜Ｌine(n)のうちの撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジＬine(i)，Ｌine(i+1)（ｉ＝１，２，…）の間の上下方向距離Ｄ(i)が所定値Ｄth以下であるという条件（本発明における第２ａ条件）と、水平エッジ群の最下端の水平エッジＬine(1)の左右の両端間の横方向範囲内に、該最下端の水平エッジＬine(1)の上側の他の水平エッジＬine(2)〜Ｌine(n)の中心の横方向位置（撮像画像の横方向での位置）が存在するという条件（本発明における第３条件）とを満たすものとなる。

図２の説明に戻って、物体認識部６は、ＳＴＥＰ３の処理によって、上記の如く車両候補の水平エッジ群が探索された場合には、次に、各水平エッジ群に対応する車両候補の追跡処理をＳＴＥＰ４で実行する。

この追跡処理では、各車両候補の水平エッジ群がＳＴＥＰ３の処理によって探索された時刻から所定時間後までの期間内で撮像装置２から所定の制御処理周期毎に得られる各撮像画像において、水平エッジ群に対応する車両候補の画像が含まれているか否かが画像間マッチング等の手法によって確認される。

そして、この追跡処理の実行後、物体認識部６は、ＳＴＥＰ５において、水平エッジ群に対応する車両候補の画像が実際の他車両であるか否かの車両認識判定を行う。この場合、ＳＴＥＰ４の追跡処理によって、水平エッジ群に対応する車両候補の画像が継続的に撮像画像中に含まれることが確認された場合には、物体認識部６は、該水平エッジ群に対応する車両候補の画像が実際の他車両の画像であると判定する。

また、ＳＴＥＰ４の追跡処理によって、水平エッジ群に対応する車両候補の画像が継続的に撮像画像中に含まれることが確認できなかった場合には、物体認識部６は、水平エッジ群に対応する車両候補の画像が実際の他車両の画像ではないと判定する。

以上により、撮像装置２の撮像領域に他車両が存在する場合には、撮像画像において撮像画像の水平エッジを利用して該他車両の存在が検知されることとなる。

かかる本実施形態によれば、撮像画像の上下方向に並ぶ３つ以上の水平エッジＬine(1)〜Ｌine(n)を含むという条件と、該複数の水平エッジＬine(1)〜Ｌine(n)のうちの撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジＬine(i)，Ｌine(i+1)（ｉ＝１，２，…）の間の上下方向距離Ｄ(i)が所定値Ｄth以下であるという条件と、水平エッジ群の最下端の水平エッジＬine(1)の左右の両端間の横方向範囲内に、該最下端の水平エッジＬine(1)の上側の他の水平エッジＬine(2)〜Ｌine(n)の中心の横方向位置が存在するという条件と満たす水平エッジ群を画像特徴として持つものとして、他車両の画像の存在が撮像画像中で認識される。

この場合、他車両の画像の輪郭の上端における水平エッジを特定する必要が無いので、他車両のものではない水平エッジを車両候補の水平エッジ群の構成要素として認識してしまうのを防止できる。

また、車両候補の水平エッジ群として決定される水平エッジ群は、基準の水平エッジＬine(1)を含めて３つ以上の水平エッジを含むことを必要とする。

また、車両候補の水平エッジ群として決定される水平エッジ群の各水平エッジは、種々様々な長さを取り得る。

従って、本実施形態によれば、撮像装置２の撮像領域に存在する他車両を、撮像画像から高い信頼性で検知することができる。

［第２実施形態］
次に、本発明の第２実施形態を図６及び図７を参照して説明する。なお、本実施形態は、物体認識部６によるＳＴＥＰ３の処理（車両候補の水平エッジ群を探索する処理）だけが第１実施形態と相違するものである。このため、本実施形態の説明では、第１実施形態と同一の事項については説明を省略する。

本実施形態では、ＳＴＥＰ３の処理は、図６のフローチャートに示す如く実行される。具体的には、物体認識部６は、ＳＴＥＰ３−１１において、水平エッジ抽出部５により抽出された水平エッジのうちの１つの水平エッジを基準の水平エッジLine(1)として選択すると共に、カウント変数ｎの値を“１”に初期化する。このＳＴＥＰ３−１１の処理は第１実施形態のＳＴＥＰ３−１の処理と同じである。

次いでＳＴＥＰ３−１２において、物体認識部６は、基準の水平エッジLine(1)を下端とする上下方向所定範囲内で、水平エッジLine(n)の上側に、前記第１実施形態で説明した条件Ａを満たす水平エッジLine(n+1)が在るか否かを判断する。

上記上下方向所定範囲は、図７に示す如く、その下端（基準の水平エッジLine(1)）から上端までの間隔が所定間隔ΔＨとなる範囲である。

そして、ＳＴＥＰ３−１２の判断結果が肯定的である場合（Line(n)の上側に条件Ａを満たす水平エッジLine(n+1)が在る場合）には、物体認識部６は、ＳＴＥＰ３−１３において、カウント変数ｎの値を“１”だけ増加させた後、ＳＴＥＰ３−１２の処理を繰り返す。

この繰り返しによって、前記上下方向所定範囲において、条件Ａを満たすようにして上下方向に並ぶ複数の水平エッジが存在する場合には、それらの水平エッジＬine(2)，Ｌine(3)，……が撮像画像の下方側から上方側に向かって順番に検出されていくこととなる。

ここで、上下方向所定範囲の間隔ΔＨは、基準の水平エッジLine(1)が他車両の画像の下端のライン（他車両のタイヤの接地箇所のライン）である場合に、ΔＨの間隔の上下方向所定範囲内に条件Ａを満たす水平エッジが複数検出されるように、あらかじめ実験等に基づいて設定された値である。

このため、図７に例示する如く、撮像装置２の撮像画像中に写っている他車両２０２の画像において、７つの水平エッジＬine(1)〜Ｌine(7)が抽出されている場合（第１実施形態ンにおける図５と同様の場合）には、最も下側の水平エッジＬine(1)がＳＴＥＰ３−１１で基準の水平エッジＬine(1)として選択された場合に、Ｌine(2)〜Ｌine(7)がＳＴＥＰ３−１２の処理により順番に検出される。

ＳＴＥＰ３−１２の判断結果が否定的になった場合（ΔＨの間隔の上下方向所定範囲内においてLine(n)の上側に条件Ａを満たす水平エッジLine(n+1)が存在しない場合）には、物体認識部６は、次に、ＳＴＥＰ３−１４において、カウント変数ｎの値が３以上であるか否かを判断する。

そして、ＳＴＥＰ３−１４の判断結果が肯定的である場合（ｎ≧３である場合）には、物体認識部６はさらに、ＳＴＥＰ３−１５において、上下方向所定範囲内で検出された水平エッジの密度（平均密度）が所定値αth以上であるという条件（以降、条件Ｃという）が成立するか否かを判断する。

ここで、上記水平エッジの密度は、撮像画像の上下方向の所定の単位間隔当たりの水平エッジの本数として表現される。従って、単位間隔をΔｈ（定数値）とおくと、上下方向所定範囲内で検出された水平エッジの本数ｎにΔｈ／ΔＨを乗じてなる値（＝ｎ・Δｈ／ΔＨ）が上下方向所定範囲内における水平エッジの密度（平均密度）となる。

例えば図７に示す例では、ΔＨの間隔の上下方向所定範囲内に、基準の水平エッジＬine(1)を含めて７つの水平エッジが検出される。この場合、該上下方向所定範囲における水平エッジの密度は、７・Δｈ／ΔＨとなる。なお、単位間隔Δｈの値は、任意に定めることができる。例えば、Δｈ＝１、あるいはΔｈ＝ΔＨ等とすることができる。

そして、ＳＴＥＰ３−１５における所定値αthは、他車両の画像中で抽出される複数の水平エッジの密度（平均密度）が、αth以上となるように、あらかじめ実験等に基づいて設定される。例えば、所定値αthを７・Δｈ／ΔＨより小さい値に設定しておけば、図７に示す例では、水平エッジＬine(1)〜Ｌine(7)の密度（＝７・Δｈ／ΔＨ）が、所定値αth以上となる。

なお、所定値αthを３・Δｈ／ΔＨ以上の値に設定した場合には、ΔＨの間隔の上下方向所定範囲内で検出される水平エッジの密度が所定値αth以上であれば、ＳＴＥＰ３−１４の判断結果も必ず肯定的となる。従って、この場合には、ＳＴＥＰ３−１４の判断処理は省略してもよい。

ＳＴＥＰ３−１４及び３−１５の判断結果が肯定的である場合（ｎ≧３で、且つ前記条件Ｃが成立する（水平エッジの密度≧αthとなる）場合）には、ｎ個の水平エッジＬine(1)〜Ｌine(n)が他車両の画像において抽出されたものである可能性が高い。この場合には、物体認識部６は、ＳＴＥＰ３−１６で、前記第１実施形態におけるＳＴＥＰ３−５と同じ処理を実行する。従って、ｎ個の水平エッジＬine(1)〜Ｌine(n)により構成される水平エッジ群が車両候補の水平エッジ群として決定される。

次いで、物体認識部６は、ＳＴＥＰ３−１７において、前記第１実施形態におけるＳＴＥＰ３−６と同じ判断処理を実行する。そして、その判断結果が肯定的である場合（基準の水平エッジとして選択し得る水平エッジが他に在る場合）には、ＳＴＥＰ３−１１からの処理が繰り返される。

また、ＳＴＥＰ３−１４及び３−１５のいずれかの判断結果が否定的である場合（ｎ＜３であるか、又は前記条件Ｃが成立しない場合）には、上下方向所定範囲内の水平エッジが少なすぎるので、該水平エッジが他車両の画像において抽出されたものではない可能性が高い。

そこで、ＳＴＥＰ３−１４及び３−１５のいずれかの判断結果が否定的である場合には、物体認識部６は、ＳＴＥＰ３−１６の処理を実行せずに、直ちに、前記ＳＴＥＰ３−１７の判断処理を実行する。

以上の如く車両候補の水平エッジ群を探索する処理を実行することで、ＳＴＥＰ３−１６で決定される車両候補の水平エッジ群は、撮像画像の上下方向に並ぶ複数の（本実施形態では３つ以上）の水平エッジＬine(1)〜Ｌine(n)を含むという条件（本発明における第１条件）と、上下方向所定範囲内における水平エッジの密度が所定値αth以上であるという条件（本発明における第２ｂ条件）と、水平エッジ群の最下端の水平エッジＬine(1)の左右の両端間の横方向範囲内に、該最下端の水平エッジＬine(1)の上側の他の水平エッジＬine(2)〜Ｌine(n)の中心の横方向位置（撮像画像の横方向での位置）が存在するという条件（本発明における第３条件）とを満たすものとなる。

本実施形態は、以上説明した事項以外は、第１実施形態と同じである。

かかる本実施形態によれば、撮像画像の上下方向に並ぶ３つ以上の水平エッジＬine(1)〜Ｌine(n)を含むという条件と、上下方向所定範囲内における水平エッジの密度が所定値αth以上であるという条件と、水平エッジ群の最下端の水平エッジＬine(1)の左右の両端間の横方向範囲内に、該最下端の水平エッジＬine(1)の上側の他の水平エッジＬine(2)〜Ｌine(n)の中心の横方向位置が存在するという条件とを満たす水平エッジ群を画像特徴として持つものとして、他車両の画像の存在が撮像画像中で認識される。

この場合、第１実施形態と同様に、他車両の画像の輪郭の上端における水平エッジを特定する必要が無いので、他車両のものではない水平エッジを車両候補の水平エッジ群の構成要素として認識してしまうのを防止できる。

また、車両候補の水平エッジ群として決定される水平エッジ群は、基準の水平エッジＬine(1)を含めて３つ以上の水平エッジを含むことを必要とする。

また、車両候補の水平エッジ群として決定される水平エッジ群の各水平エッジは、種々様々な長さを取り得る。

従って、本実施形態によれば、撮像装置２の撮像領域に存在する他車両を、撮像画像から高い信頼性で検知することができる。

［変形態様］
次に、以上説明した実施形態に関連する変形態様をいくつか説明する。前記第１実施形態では、前記条件Ｂに関する所定値Ｄthを一定値とした。

ただし、例えば、上下方向に隣り合う各対の水平エッジＬine(i)，Ｌine(i+1)（ｉ＝１，２，…）が、基準の水平エッジＬine(1)から離れているほど、水平エッジＬine(i)，Ｌine(i+1)の間の上下方向距離Ｄ(i)と比較する所定値Ｄthを大きくするようにしてもよい。例えば、水平エッジＬine(i)，Ｌine(i+1)のうちの下側の水平エッジＬine(i)（又は上側の水平エッジＬine(i+1)）と基準の水平エッジＬine(1)との間の上下方向距離が、所定値以上である場合には、該所定値よりも小さい場合よりもＤthを大きくするようにしてもよい。

このようにした場合には、他車両の背面の窓の上下方向の幅が比較的大きいような場合でも、該窓の上端及び下端の水平エッジを含むような水平エッジ群を探索することができる。

補足すると、前記第２実施形態によれば、他車両の背面の窓の上下方向の幅が比較的大きいような場合でも、該窓の上端及び下端の水平エッジを含むような水平エッジ群を探索することができる。

また、第１実施形態における前記条件Ｂに関する所定値Ｄth、あるいは、第２実施形態における前記条件Ｃに関する所定値αthは、水平エッジ群のうちのいずれかの水平エッジ（例えば基準の水平エッジＬine(1)）と撮像装置２との間の実空間での距離に応じて可変的に設定するようにしてもよい。

すなわち、実空間での他車両と自車両１００の撮像装置２との間の距離が遠いほど、撮像画像における他車両の画像が小さくなるので、該他車両の画像において抽出される水平エッジのピッチ（上下方向に隣り合う水平エッジ同士の間の間隔）が小さくなる。

このことを考慮して、上下方向に並ぶ複数の水平エッジが抽出されている場合に、いずれかの水平エッジ（例えば基準の水平エッジＬine(1)）に対応する実空間上の位置と撮像装置２（又は自車両１００）との間の距離を推定し、その距離の推定値が大きいほど、第１実施形態における前記条件Ｂに関する所定値Ｄthを小さくするように該距離の推定値に応じてＤthを可変的に設定する。

同様に、上記距離の推定値が大きいほど、第２実施形態における前記条件Ｃに関する所定値αthを大きくするように、該距離の推定値に応じてαthを可変的に設定する。

このようにすることで、車両候補の水平エッジ群として決定される水平エッジ群が、実際の他車両の画像に対応するものとして探索されることの信頼性をより一層高めることができる。

なお、上記距離の推定手法としては、撮像画像（単眼の撮像画像、又はステレオ画像）に基づく公知の手法を採用できる。あるいは、レーダ等の測距装置を使用して、上記距離を推定してもよい。

また、第１実施形態における前記条件Ｂに関する所定値Ｄth、あるいは、第２実施形態における前記条件Ｃに関する所定値αthは、水平エッジ群を構成し得るいずれかの水平エッジ、例えば基準の水平エッジＬine(1)の長さ（撮像画像上での長さ）に応じて可変的に設定するようにしてもよい。

すなわち、実空間での他車両と自車両１００の撮像装置２との間の距離が遠いほど、あるいは、実空間での他車両のサイズ（横幅及び縦幅）が小さいほど、撮像画像における他車両の画像が小さくなる。ひいては、該他車両の画像において抽出される水平エッジのピッチ（上下方向に隣り合う水平エッジ同士の間の間隔）が小さくなる。

そして、実空間での他車両と自車両１００の撮像装置２との間の距離が遠いほど、あるいは、実空間での他車両のサイズ（横幅及び縦幅）が小さいほど、該他車両に対応して抽出される水平エッジ群を構成する水平エッジの長さが短くなる。

そこで、上下方向に並ぶ複数の水平エッジが抽出されている場合に、いずれかの水平エッジ（例えば基準の水平エッジＬine(1)）の長さが短いほど、第１実施形態における前記条件Ｂに関する所定値Ｄthを小さくするように、当該水平エッジの長さに応じてＤthを可変的に設定する。

同様に、上下方向に並ぶ複数の水平エッジのうちのいずれかの水平エッジ（例えば基準の水平エッジＬine(1)）の長さが短いほど、第２実施形態における前記条件Ｃに関する所定値αthを大きくするように、当該水平エッジの長さに応じてαthを可変的に設定する。

このようにすることで、自車両１００から他車両までのの距離、あるいは、他車両のサイズによらずに、車両候補の水平エッジ群として決定される水平エッジ群が、実際の他車両の画像に対応するものとして探索されることの信頼性をより一層高めることができる。

また、以上説明した各実施形態では、本発明における所定の種類の物体として他車両を検知する場合を例にとって説明したが、他車両以外の物体を検知する場合でも本発明を適用できる。

また、撮像装置２は、車両１００にあらかじめ搭載された撮像装置２に限らず、運転者が携帯可能な撮像装置であってもよい。

１…物体検知処理装置、２…撮像装置、５…水平エッジ抽出部（水平エッジ抽出手段）、６…物体認識部（物体認識手段）。

Claims (5)

1. 撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、
   前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、
   該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、該複数の水平エッジのうちの前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの間の上下方向距離が所定値以下であるという第２ａ条件と、該複数の水平エッジのうちの最下端の水平エッジの左右の両端間の横方向範囲内に、該最下端の水平エッジの上側の他の水平エッジの中心の横方向位置が存在するという第３条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えることを特徴とする物体検知処理装置。
2. 撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、
   前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、
   該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、前記撮像画像の上下方向の所定範囲内における該水平エッジの密度が所定値以上であるという第２ｂ条件と、該複数の水平エッジのうちの最下端の水平エッジの左右の両端間の横方向範囲内に、該最下端の水平エッジの上側の他の水平エッジの中心の横方向位置が存在するという第３条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えることを特徴とする物体検知処理装置。
3. 撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、
   前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、
   該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、該複数の水平エッジのうちの前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの間の上下方向距離が所定値以下であるという第２ａ条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えており、
   前記物体認識手段は、前記水平エッジ群のうちの少なくとも１つの水平エッジの長さが短いほど、前記第２ａ条件における前記所定値を小さくするように、当該少なくとも１つの水平エッジの長さに応じて前記所定値を可変的に設定するように構成されていることを特徴とする物体検知処理装置。
4. 撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、
   前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、
   該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、前記撮像画像の上下方向の所定範囲内における該水平エッジの密度が所定値以上であるという第２ｂ条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えており、
   前記物体認識手段は、前記水平エッジ群のうちの少なくとも１つの水平エッジの長さが短いほど、前記第２ｂ条件における前記所定値を大きくするように、当該少なくとも１つの水平エッジの長さに応じて前記所定値を可変的に設定するように構成されていることを特徴とする物体検知処理装置。
5. 撮像装置から該撮像装置の周辺の撮像画像を取得し、該撮像画像を用いて物体を検知する処理を行う物体検知処理装置であって、
   前記撮像画像から水平エッジを抽出する水平エッジ抽出手段と、
   該水平エッジ抽出手段により複数の水平エッジが抽出された場合に、前記撮像画像の上下方向に並ぶ複数の水平エッジにより構成されるという第１条件と、該複数の水平エッジのうちの前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの間の上下方向距離が所定値以下であるという第２ａ条件とを満たす水平エッジ群を所定種類の同一物体の水平エッジ群として認識する物体認識手段とを備えており、
   前記所定種類の物体は車両であり、
   前記物体認識手段は、前記撮像画像の上下方向で互いに隣り合う各対の２つの水平エッジの上下方向位置が上方側であるほど、前記第２ａ条件における前記所定値を大きくするように、当該各対の２つの水平エッジの上下方向位置に応じて前記所定値を可変的に設定するように構成されていることを特徴とする物体検知処理装置。