JP4830604B2 - 物体検出方法および物体検出装置 - Google Patents

Description

本発明は、レーダやカメラなどのセンサを用いて物体を検出する物体検出装置に関する。

従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されている。これらの運転支援装置では、自車両の前方を走行する車両などの物体（障害物）を検出する物体検出装置が用いられている。

このような物体検出装置として、例えば、検出センサとしてカメラとレーダとを備え、カメラ画像で抽出した物体のエッジと、レーザレーダによる物体の検出情報とに基づいて車両であることを正確に検出および判定する技術が提案されている（例えば、特許文献１参照）。
特開２００５−１５７８７５号公報

しかしながら、上述の従来技術は、左右対称のリフレクタに基づいて「４輪車両」の特徴のみを検出対象としているため、４輪車両以外の種類の物体検出には適用できず、車両以外の物体も検出したいという要望に対応することができないという問題があった。

そこで、本発明は、車両以外の物体の検出を高い精度で行うことが可能な物体検出方法および物体検出装置を提供することを目的とする。

本発明は、上述事情に鑑みなされたもので、物体を判定する情報として、エッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも一つと、検出対象物の実速度と、を用い、これらに基づいて対象物の種類を判定する物体検出方法とした。

物体はその種類の違いにより、その形状の特性や動きの特性や実速度が異なる。そこで、本発明では、エッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも一つと、検出対象物の実速度とを用いることで、物体の種類の違いを高い精度で判定することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

この実施の形態の物体検出装置は、外界に存在する物体に関する情報を得る入力手段（１０）と、この入力手段（１０）から得られる前記情報に基づいて物体の検出を行う物体検出処理手段（ＣＵ）と、を備えた物体検出装置であって、前記入力手段（１０）に、少なくとも検出対象物体を撮像した画像情報を入力する手段（１）と、検出対象物体との距離情報を入力する手段（２）とが含まれ、前記物体検出処理手段（ＣＵ）が、検出対象物体との距離と、前記画像情報から算出したエッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも１つと、に基づいて対象物の種類を判定する物体種類判定処理を行うことを特徴とする。

図１〜図１２に基づいて本発明の最良の実施の形態の実施例１の物体検出装置について説明する。

実施例１の物体検出装置は、図１に示すように、車両ＭＢに搭載されており、入力手段としてカメラ１、レーダ２、車速センサ３と、物体検出処理手段としてのコントロールユニットＣＵとを備えている。

カメラ１は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ１としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）のカメラなどの輝度画像を撮像する輝度カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例１では、輝度カメラを用いている。

レーダ２としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例１では、レーザレーダを使用している。なお、レーザレーダの場合、検出物体の情報として、距離とレーザ光の反射強度とを得ることができる。また、ミリ波レーダの場合、検出物体の情報として、距離・電波の反射強度・車両ＭＢと検出物体との相対速度を得ることができる。

また、車速センサ３は、周知のセンサであり、車輪の回転速度に応じた信号を出力する。

コントロールユニットＣＵは、図２に示すように、カメラ１、レーダ２、車速センサ３を含む車載のセンサ群１０から信号を入力して、物体を検出し、さらにその種類を判定する物体検出処理を行うもので、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＣＰＵ（Central Processing Unit）などを備えた周知のものである。

図２は、このコントロールユニットＣＵにおいて物体検出処理を行う構成を機能的に表したもので、コントロールユニットＣＵは、メモリ１１と、物体存在判定処理部１２と、物体速度算出処理部１３と、物体種類判定処理部１４と、を備えている。

メモリ１１には、カメラ１が撮像した輝度画像情報と、レーダ２が検知した検波情報として、レーダ２の水平方向のスキャン分解能（角度）ごとに、各角度におけるレーダ２から物体までの距離とレーザ光の反射強度とが保存される。
なお、カメラ１で得られる輝度画像情報の一例を図３により説明する。
図３は、車両（自車両）ＭＢの前方に車両（他車両）ＡＢと人物（歩行者）ＰＥと道路構造物としての壁ＷＯとが存在する場合の画像の一例を示しており、これらがカメラ１の撮像面１ａにおいて同図（ｄ）に示す輝度画像情報として投影される。なお、図３において（ａ）は、横から見た状態を示し、（ｂ）は上から見た状態を示し、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示しており、他車両ＡＢにおいて図中ＭＰは高温として捉えられている部分（マフラ部分）を示している。

また、以下の説明において、検出対象物体としての車両ＡＢは、実施例１の物体検出装置が搭載された車両ＭＢと区別するために、他車両ＡＢと称し、かつ、車両ＭＢは自車両と称する。

図３では、カメラ１の路面への垂直投影点ＰＡから人物（歩行者）ＰＥの路面への垂直投影像における自車両ＭＢ側の端点ＰＦまでの距離をｚ、同様の他車両ＡＢまでの距離をｚｃ、点ＰＡと点ＰＦとのｘ軸方向の間隔をｘｓとしている。

そこで、基準座標をカメラ１のレンズ１ｂの中心を原点とすると、基準座標系における点ＰＦの位置は、（ｘｓ，−Ｈ，ｚ）と表され、撮像面１ａの画像上において点ＰＦが位置する座標（ｘｃ，ｙｃ）は、焦点距離ｆを用いて、下記の式（１）および式（２）の関係で表される。
ｘｃ＝ｘｓ・ｆ／ｚ ・・・（１）
ｙｃ＝−Ｈ・ｆ／ｚ ・・・（２）
輝度画像情報は、このようなｘ、ｙ、ｚ軸の座標ごとに、保存される。

次に、レーダ２による検波情報の一例を図４に示す。
図４は、図３で説明した検知例から時間が経過した後の検知例を示しており、（ａ）はその検知例の輝度画像情報を示し、（ｂ）はその検知例を上方から見た状態を示している。この図に示すように、自車両ＭＢの前方に存在する他車両ＡＢと人物（歩行者）ＰＥと壁（道路構造物）ＷＯとにおいて反射したレーザ光を検出することで、物体が存在することを検出できる。なお、図４（ｂ）において丸印で示したｑＰ，ｑＡ，ｑＷが、それぞれ各物体の計測点を示している。また、これら計測点ｑＰ，ｑＡ，ｑＷは、その丸印の大きさが後述する反射強度を表している。

そこで、メモリ１１では、反射波が観測された方位ごとに、計測点までの距離とその反射強度とが保存される。

次に、物体存在判定処理部１２について説明するが、まず、この物体存在判定処理部１２の判定に用いるエッジの検出方法と、エッジの方向、エッジの方向ベクトルの分散の求め方と、オプティカルフローの求め方を説明する。

すなわち、本実施例１では、カメラ１から得られる輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を抽出するエッジ検出処理と、方向ベクトルを抽出する方向ベクトル算出処理と、オプティカルフローを算出するオプティカルフロー処理と、が成される。

まず、エッジ検出処理と、エッジの方向の求め方を図５と図６を用いて説明する。
図５において（ａ）（ｂ）は縦エッジ検出用フィルタを示し、同図（ｃ）（ｄ）は横エッジ検出用フィルタを示している。なお、図５（ａ）〜（ｄ）に示すエッジ検出用フィルタは、黒がマイナス、白がプラスの値を持つものとし、詳細には、図５（ｅ）（ｆ）に示すように、エッジ検出用フィルタ内の数値合計値が０になるように値が設定されている。

エッジの検出は、これらのエッジ検出用フィルタを利用し、例えば検出領域内を１画素ずつ縦横にずらしてコンボリューション（たたみこみ（掛け合わせ））をとることで検出領域の全ての画素位置における縦エッジおよび横エッジの強さを算出する。

これらのエッジ検出用フィルタを用いたエッジ検出をさらに説明すると、図７の（ａ）は、他車両ＡＢが撮像された領域Ｒａｂのエッジ検出の様子を概念的に示している。この図において（ｅ）は横エッジ検出用フィルタを適用した例であり、同様に縦エッジ検出用フィルタを用いて同様の処理を行う。また、図７（ｂ）は壁ＷＯが撮像された領域のエッジの算出原理の説明図である。
例えば、画像上において縦エッジが存在する図７（ｇ）と（ｈ）の位置において、縦エッジ検出用フィルタと横エッジ検出用フィルタとでコンボリューションをとると、（ｇ）のの位置での縦エッジ検出用フィルタの値が大きくなるが、（ｈ）の位置での横エッジ検出用フィルタの値は０に近い値となる。また、（ｊ）のエッジのない位置では、縦横いずれのエッジ検出用フィルタを適用した場合も値は０に近い値となり。また、（ｉ）のような斜めのエッジを持つ部分では、縦エッジ検出用フィルタと横エッジ検出用フィルタとのいずれも値を持つが、（ｇ）の位置ほど大きくない値（絶対値でほぼ半分程度の値）となる。

このように、エッジ検出用フィルタを用いたエッジ検出では、エッジが存在しない位置では、縦横どちらのエッジ検出用フィルタのコンボリューション値も小さく、エッジが存在する位置では、そのエッジの傾きに近い方のエッジ検出用フィルタとのコンボリューション値が高くなる。そして、その縦横エッジ検出用フィルタとのコンボリューション値の絶対値の和がそのエッジの強さを示すことになる。

次に、画像上のエッジが存在する部分において、そのエッジの方向ベクトルを算出する方法の具体例を説明する。

前述したように、縦エッジでは縦エッジ検出用フィルタが高い値を示し、横エッジ部分では横エッジ検出用フィルタが高い値を示す。一方、斜めエッジの場合には、縦横両エッジ検出用フィルタとのコンボリューションが値を持つが、エッジが縦向きに近い傾きであれば、縦エッジ検出用フィルタの値の方が、横エッジ検出用フィルタの値よりも大きな値となる。

また、図７の（ｋ）の位置と（ｇ）の位置とにおけるコンボリューションを比較した場合、両者はプラスマイナスが逆になり、絶対値はほぼ同じ値となる。

図６は、このようなエッジの方向と、コンボリューション値のプラスマイナスおよび絶対値との関係を表している。例えば、図５の（ａ）（ｂ）に示した縦エッジ検出用フィルタと横エッジ検出用フィルタを用いて求めたコンボリューション値をＤｘ、Ｄｙとすると、エッジの角度は、ａｔａｎ（Ｄｘ／Ｄｙ）で算出可能である。すなわち、この計算を検出領域の各画素において行うことで、検出領域の細かなエッジの方向ベクトルを算出することができる。
また、上述したエッジ強度は、｜Ｄｘ＋Ｄｙ｜で求めることができる。
なお、後述する物体種類判定処理に用いるエッジの方向ベクトルの分散は、上述した方法で得られた各方向ベクトルについて、分散を算出することで得ることができる。

次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点（ｘｃ、ｙｃ）に表示された映像と、その映像がΔｔ秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。

このオプティカルフローについて、図４および図８を用いて具体的に説明する。
これらの図４および図８では、人物ＰＥが止まっている一方、他車両ＡＢが自車両ＭＢと同方向に前進している場合を示しており、図８は図４に示す時点からΔｔ秒後の状態を示している。また、両図において、（ａ）はカメラ１の画像であり、（ｂ）はレーダ２による検出領域を上方から見た状態を示している。

ここで図４において人物ＰＥを示す値ｘｃ１，ｙｃ１，ｈｃ１は、図８に示すΔｔ秒後には、前述した式（１）（２）において、分母となるｚの値だけが小さくなるため、自車両ＭＢの前進に伴って大きくなる。そこで、オプティカルフローの矢印は消失点ＶＰ（画像上の前方の無限遠点が撮像される点のことであり、カメラ１の光軸ＬＺを路面ＲＳと平行にした場合は、画像中心が消失点ＶＰとなる）から遠ざかる方向に長くなる。

同様に、壁ＷＯの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点ＶＰを中心としてそこから画像の外側に向く矢印となる。

そこで、図８の（ａ）に示す人物ＰＥのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。

一方、他車両ＡＢは、自車両ＭＢと等速運動をしていると仮定すると、距離関係が略一定で前述の式（１）（２）においてｚの値が変化しないため、オプティカルフローの長さは短くなる。

また、物体存在判定処理部１２では、レーダ２からの検波情報により物体の存在を判定するのにあたり、反射強度などを求める処理も行う。

この処理について説明すると、前述したように図８に示す計測点ｑＰ，ｑＡ，ｑＷの丸印の大きさは、反射強度の強さを示している。

一般にレーザレーダの場合は、表面が光を反射する物体(金板製看板や反射板)を検出すると強い反射強度が観測される。一般に車両（他車両ＡＢ）には、その後部に２個以上のリフレクタ（夜、光を照らすと光を効率よく反射するための反射板であり、夜間の視認性を助けるために取り付けられている）が設けられている。また、二輪車ＭＳにも、１個以上のリフレクタが必ず取り付けられている。また、路上でもカーブ上の側壁やセンターポールなどには、反射板が設けられている場合も多い。さらに、路上の道路標識や看板は、金板製であり、一般にレーザレーダの照射光をよく反射する。

それに対して、人物ＰＥや動物などの自然物は、反射効率は低い。そのため、図８（ｂ）に示す他車両ＡＢの計測点ｑＡにおいては、リフレクタに相当する位置から強い反射強度の計測点が観測されるため、丸印が大きく表示されている。それに対して、壁ＷＯや人物ＰＥの計測点ｑＰ，ｑＷでは、比較的低い反射強度で丸印も小さく表示されている。

そこで、レーダ２の強度分布を求める処理を行う。なお、１つの物体上の計測点は、図８に示すように、検出対象物ごとに塊となったグループ化が行われる。これらの計測点は強度情報をもっているので、グループ毎に、その物体の特徴を示す特徴量を求める。この特徴量としては、同じグループに属する計測点の反射強度についてその平均、分散、最大値を求めるとともに、計測点個数を求めるもので、これらは、後述する物体種類判定処理に用いられる。

なお、通常、同一の物体の反射強度は、距離が長くなるほど弱くなる。そこで、本実施例１では、反射強度値は、距離に応じた強度値として保存される。この手法としては、反射強度を距離ごとに求めるか、あるいは、あらかじめ基準となる距離を求めておき、（計測した距離／基準の距離）の４乗を乗算した値を保存する。ちなみに、反射強度は、ほぼ距離の４乗に比例して弱くなるという特徴を有していることから、このような値として保存する。

図２の物体存在判定処理部１２の説明に戻る。
この物体存在判定処理部１２では、カメラ１による輝度画像上方およびレーダ２による検波情報を利用して物体の存在を判定する。すなわち、輝度画像情報と検波情報との両方で物体の存在が確認された場合に、物体が存在すると判定する。また、輝度画像情報と検波情報とのいずれか一方のみの判定であっても、例えば、時系列的に連続して物体が検出される場合や、その物体を示すエッジ強度や反射強度の絶対値が大きい場合などには、物体が存在すると判定する。
具体的には、画像を用いた物体存在判定は、従来から提案されている処理を行う。本実施例１では、車両（他車両ＡＢ）、人物ＰＥ、二輪車ＭＳ、道路構造物（ＷＯ）を検出対象としており、これらの物体の存在を画像の上述のようにして得られた各エッジおよびオプティカルフローに基づいて判定する。

例えば、車両（他車両ＡＢ）は、ナンバプレート３１や屋根部３２に相当する横エッジに特徴を有する。そこで、それらの横エッジが時間的に連続して検出される領域を、物体が存在する領域と判定する。

また、人物（歩行者）ＰＥは、人物ＰＥの特徴である手足に相当する斜めもしくは縦向きの縦エッジが検出され、かつ、人物ＰＥの手足の運動周期でそれらが動くことが観測される領域を物体が存在する領域と判定する。

このように、物体存在判定処理部１２では、検出対象の特徴を有する領域を物体が存在する領域と判定する。

一方、レーダを用いた物体存在判定は、以下のように行う。
例えば、図４（ｂ）に示すように、物体が存在する場合、物体はある程度の大きさを有することから、各計測点ｑＰ，ｑＡ，ｑＷは、複数個が固まって検出される。そこで、同じ固まりとして検出される計測点ｑＰ，ｑＡ，ｑＷをグループ化することで、各物体（人物ＰＥ，他車両ＡＢ，壁ＷＯ）として捉えることができる。

さらに、本実施例１では、ノイズ成分を除去して物体の検出精度を向上させるために、これらの計測点ｑＰ，ｑＡ，ｑＷのグループを時系列的に観測し、ある一定時間以上、連続して同程度の大きさの物体が観測され続けた場合に、物体が存在すると判定する。

ここで、本実施例１では、ある一定時間として、時系列的にｎ回連続して観測される場合に、物体が存在すると判定するものとする。なお、ｎ回とは、ｎ＝２〜４回程度であり、これは、レーダ２がスキャンを行う周期をΔｔ秒とすると、２×Δｔ〜４×Δｔ秒間連続して検出され続けることを意味する。

さらに、上述の連続して計測される回数ｎは、条件により変化させてもよい。すなわち、上述の連続して計測される回数であるｎは、１つの計測点グループに含まれる計測点の個数が多い場合や、その強度が強い場合には、小さな値（例えば、ｎ＝２）に設定し、グループの計測点の個数が少ない場合や、強度が弱い場合には、大きな値（例えば、ｎ＝４〜６など）に設定することで、物体の存在判定精度をより確実にすることができる。

以上説明したように、物体存在判定処理部１２では、カメラ１からの輝度画像情報に基づく物体存在判定と、レーダ２からの検波情報に基づく物体存在判定が成され、輝度画像情報と検波情報との両方で、同じ方位に物体の存在判定が成された場合に、その方位に物体が存在すると判定される。

さらに、本実施例１では、輝度画像情報で存在すると判定された物体の相対速度と、検波情報で存在すると判定された物体の相対速度と、に基づいて互いの検出対象物が同じものであることを確認している。

すなわち、レーダ２では、物体までの距離が計測できていることから、その物体の相対速度は、その計測点との距離を時系列的に観測し、この距離の変化から求めることができる。例えば、図９は、ある物体を検出したときのその物体までの距離をプロットした図である。したがって、相対速度はこれらのプロットを結んだ線の傾き、つまり、同じ位置の計測点における、ある一定時間の距離変化／観測時間で求めることができる。

一方、輝度画像情報では、以下に説明するような算出を行う。
画像上に撮像されたある物体の大きさは、実際の距離に半比例するという関係がある。例えば、図３に示すように、実際の他車両ＡＢの幅をＷｃ、画像上の他車両ＡＢの幅をＷｃ０、カメラ１の焦点距離をｆ、カメラ１から他車両ＡＢまでの水平距離をｚｃとすると、下記の式（３）の関係が成り立つ。
Ｗｃ０＝Ｗｃ×ｆ／ｚｃ ・・・・（３）

ここで、検出対象との距離である他車両ＡＢとの距離ｚｃは、レーダ２により得ることができる。また、画像上の幅Ｗｃ０も画像上の処理により得ることができる。

したがって、他車両ＡＢの幅Ｗｃは、下記の式（４）で得ることができる。
Ｗｃ＝Ｗｃ０×ｚｃ／ｆ ・・・・（４）

そこで、本実施例１では、輝度画像情報に基づいて相対速度を求める場合には、物体が存在する領域から矩形の領域を抽出し、この抽出した矩形の領域に存在するエッジ間の距離に基づいて相対速度を算出する。

すなわち、検出対象が略平行なエッジを有している場合には、このエッジの間隔の変化に基づいて、相対速度を求める。また、エッジを有していない場合でも、検出対象に繰り返し模様やテクスチャなどが観測される場合には、観測される繰り返し模様やテクスチャの周波数成分により大きさ変化が求められる。

これを図１０〜図１２により説明する。
まず、エッジの間隔に基づいて相対速度を求める場合について説明する。
例えば、図１０に示す他車両ＡＢを例にとると、この場合、他車両ＡＢとして、画像上でエッジを有する領域である、ナンバプレート３１を含む領域Ｒｎｐを抽出する。この抽出した領域Ｒｎｐにおいて、エッジの間隔として、図１１に示すように、ナンバプレート３１の縦エッジの間隔寸法ｗｈ１やナンバプレート３１の下端とトランクリッド３３とで形成される横エッジの間隔ｗｗ１およびｗｗ２が観測される。

これらの間隔ｗｈ１，ｗｗ１，ｗｗ２は、上述したように、カメラ１との距離に反比例する。すなわち、図１１では、他車両ＡＢとの距離が（ａ）に示している状態から（ｂ）に示している状態へ近付いた状態を示している。このように、距離が変化すると、上記の各間隔ｗｈ１，ｗｗ１，ｗｗ２は、それぞれａｆｗｈ１，ａｆｗｗ１，ａｆｗｗ２に変化する。そこで、これらの間隔ｗｈ１，ｗｗ１，ｗｗ２の変化に基づいて距離の変化を求め、その変化に要した時間に基づいて、相対速度を求めることができる。

次に、周波数成分で相対速度を求める方法について説明する。
例えば、図１０の壁ＷＯのように、斜めのエッジの繰り返しが観測される場合、この壁ＷＯの一部を抽出した領域Ｒｗでは、図１１と同様に、（ａ）に示す状態から（ｂ）に示す状態へ近付いた場合、（ａ）の距離では繰り返しパターンの間隔が狭く観測されるのに対し、（ｂ）に示す距離が近付いた状態では繰り返しパターンの間隔が拡がる。

このような繰り返しパターンの間隔の変化は、領域Ｒｗにおけるエッジの周波数変化として得られる。そこで、エッジの繰り返しパターンの周波数成分を、ウエーブレット変換や画像のＦＦＴ変換（高速フーリエ変換）などにより求める。

一般に繰り返しパターンのようにエッジが多く存在する場合、何本も同じ種類のエッジがあると、エッジの組み合わせを間違える可能性が有り、前述したエッジ間隔の変化に基づく物体の大きさ変化を信頼性高く算出することが難しい。そこで、本実施例１では、エッジ間距離の短い繰り返しパターンについては、周波数ｆの変化を求め、その周波数がピークになる値の変化の逆数を観測することで、画像上の物体の大きさ変化、つまり、速度変化を観測することが可能となる。

次に、図２に戻り、物体速度算出処理部１３では、レーダ２からの検波情報と車速センサ３から得られる自車速度とに基づいて検出対象となる物体の速度を求める。すなわち、レーダ２の検波情報から物体との相対速度が得られている。そこで、この相対速度と自車速度とを加算することで、物体の実速度が算出される。

次に、物体種類判定処理部１４において行われる物体種類判定処理について説明する。
この物体種類判定処理では、物体の実速度Ｖｎと、エッジの方向ベクトル分散Ｅｖと、反射強度分散Ｂｒおよび反射強度と、に基づいて物体の種類の判定を行う。

すなわち、以下の（ａ１）〜（ａ４）に列挙する条件が満たされる場合には、走行中の他車両ＡＢと判定する。
（ａ１）物体の実速度Ｖｎが、あらかじめ設定された実速度しきい値Ｖｓ以上。
（ａ２）エッジの方向ベクトル分散Ｅｖが、あらかじめ設定されたベクトル分散しきい値Ｅｖｓ未満。
（ａ３）反射強度分散Ｂｒが、あらかじめ設定された強度分散しきい値Ｂｒｓ以上。
（ａ４）距離に応じた反射強度の最大値Ｒｍａｘがあらかじめ設定された最大反射強度しきい値Ｒｓ以上。
また、以下の（ｂ１）〜（ｂ５）の条件を満たす場合には、走行中の二輪車ＭＳと判定する。
（ｂ１）物体の実速度Ｖｎが、実速度しきい値Ｖｓ以上。
（ｂ２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。
（ｂ３）反射強度分散Ｂｒが、強度分散しきい値Ｂｒｓ以上。
（ｂ４）距離に応じた反射強度の最大値Ｒｍａｘが、最大反射強度しきい値ＭＲｓ以上。
（ｂ５）距離に応じた反射強度があらかじめ設定された反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが、あらかじめ設定された反射強計測点しきい値ＫＰｓ未満。

また、以下の（ｃ１）〜（ｃ３）の条件を満たす場合には、道路構造物（壁ＷＯなど）と判定する。
（ｃ１）物体の実速度が０。
（ｃ２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ未満。
（ｃ３）距離に応じた反射強度があらかじめ設定された反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが、あらかじめ設定された反射強計測点しきい値ＫＫｓ以上であるか、あるいは個数Ｋｎ＝０。なお、ＫＫｓ＞ＫＰｓである。

また、以下の（ｄ１）〜（ｄ４）条件を満たす場合には、人物（歩行者）ＰＥと判定する。
（ｄ１）物体の実速度Ｖｎが、実速度しきい値Ｖｓ未満。
（ｄ２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。
（ｄ３）距離に応じた反射強度の最大値Ｒｍａｘが、最大反射強度しきい値ＭＲｓ未満。
（ｄ４）距離に応じた反射強度が反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが０。

また、以上の条件を満たさないが、カメラ１の輝度画像情報とレーダ２の検波情報とにより物体が存在すると判定されたものは、その他の物体として処理する。

なお、以上の物体種類判定処理部における物体種類判定処理の流れを図１３のフローチャートに示している。このフローチャートにおいて、実速度しきい値Ｖｓは、人物ＰＥの歩行速度よりも速い速度（例えば、８ｋｍ／ｈ程度の速度）に設定されている。また、他のしきい値Ｅｖｓ，Ｂｒｓ，Ｒｓ，ＫＰｓは、それぞれ、実際の計測に基づいて最適値に設定されている。

以上説明したように、実施例１の物体検出装置では、まず、物体存在判定処理部１２において、カメラ１から得られた輝度画像情報に基づいて、物体の存在の有無を判定し、それと並列にレーダ２から得られた検波情報でも、物体の存在の有無が判定される。

そして、両判定において、同じ方位に物体が存在した場合、さらに、輝度画像情報上存在すると判定された物体の画像から算出された相対速度と、検波情報上存在すると判定された物体の検波情報から算出された相対速度と、に基づいて、同一物を検出していることが確認される。

その後、物体速度算出処理部１３では、存在すると確認された物体の実速度Ｖｎが算出される。

そして、物体種類判定処理部１４において、存在すると判定された物体の実速度Ｖｎと、この物体の、エッジの方向ベクトル分散Ｅｖと、反射強度ならびに反射強度分散Ｂｒと、に基づいて、物体の種類、すなわち、走行中の他車両ＡＢと、走行中の二輪車ＭＳ、と人物ＰＥと、道路構造物と、その他の物体とのいずれかが判定される。なお、物体種類判定処理部１４の判定結果は、運転支援装置などに出力される。

以上のように実施例１の物体検出装置では、物体の検出にあたり、物体存在判定処理部１２において、物体の存在判定を輝度画像情報と検波情報とのそれぞれで行い、両者で同方位に物体が存在すると判定した場合に、物体が存在すると判定するようにしたため、物体の検出精度を向上させることができる。しかも、この存在判定において、時系列的に観測して、ある時間以上連続して計測された場合に、物体が存在すると判定するようにしているため、ノイズによる誤検出を排除することができる。

加えて、本実施例１では、カメラ１の画像上存在すると判定された物体の相対速度と、レーダ２の検波情報により存在すると判定された物体の相対速度とを求め、両者が一致していることで、検出対象物が同一であることを確認するようにした。このため、画像上の物体の背景や、物体の隣に存在する他の物体を誤検出することがなく、検出精度をより高めることができる。

さらに、実施例１では、存在すると判定された物体について、物体種類判定処理部１４において、その種類を、「走行中の他車両ＡＢ」と「走行中の二輪車ＭＳ」と「人物ＰＥ」と「道路構造物（壁ＷＯ）」と「その他の物体」とに判定することができる。このため、「車両」のみを検出する物体検出装置と比較して、物体検出装置による検出データの利用の可能性や用途が拡がる。

しかも、物体種類判定処理部１４では、物体の種類の判定において、物体の実速度Ｖｎと、エッジの方向ベクトル分散Ｅｖと、反射強度分散Ｂｒと、反射強度と、を用いるようにした。これらは、上述の「走行中の車両（他車両ＡＢ）」と「走行中の二輪車ＭＳ」と「人物ＰＥ」と「道路構造物」の特徴を表しており、これらの種類の判別を高い精度で行うことができる。

すなわち、物体の実速度Ｖｎは、「走行中の車両（ＡＢ）」と「走行中の二輪車ＭＳ」が高いのに対して、「人物ＰＥ」と「道路構造物（ＷＯ）」は、低いか０であり、これらを区別するのに有効である。

また、エッジの方向ベクトル分散Ｅｖは、他車両ＡＢや道路構造物などの人工物は、形状の特徴として直線を多く有し、かつ、これらは一定形状を維持することが多いため、低い値となる傾向がある。一方、人物ＰＥは、自然物であり、形状の特徴として曲線が含まれ、かつ、手足が動いて形状が変更することから、エッジの方向ベクトル分散Ｅｖが、高い値となる傾向がある。なお、二輪車ＭＳは、人物ＰＥが乗車した場合、人物ＰＥの特徴を有しているので、エッジの方向ベクトル分散Ｅｖが、高い値になる傾向を有する。

また、反射強度および分散については、前述したように他車両ＡＢや二輪車ＭＳは、リフレクタを有するため、反射強度が高くなる傾向にあり、また、反射強度にバラツキが有ることから、反射強度分散も高くなる傾向にある。それに対し、人物ＰＥは、反射物が少なく、反射強度が低くなる傾向にある。道路構造物の場合、反射強度は、素材により異なり、例えば、金属製の看板などは、反射強度が高いが、コンクリートの壁や樹木などは、反射強度は低くなる。さらに、道路構造物は、壁ＷＯなどのように、面積が大きく、反射強度が高い計測点の数が多いか、あるいは逆に、反射強度が高い計測点の数が０となる。

以上のように、物体の種類により特徴が異なるもので、この種類の判定に、上述のように、物体の実速度Ｖｎと、エッジの方向ベクトル分散Ｅｖと、反射強度分散Ｂｒと、反射強度と、を用いることで、種類に応じた特徴を捉えて、高精度に物体の種類を判定することができる。

さらに、本実施例１では、物体種類判定処理部１４において物体の種類の判定に用いられるデータは、輝度画像情報上と検波情報上とで相対速度が一致した領域の情報が用いられている。このため、この種類判定に、判定対象の物体以外の、例えば背景や隣り合う物体などの情報が混入することを防止でき、精度の高い物体の種類の判定が可能となる。

次に、本発明の実施の形態の実施例２の物体検出装置について説明する。なお、この実施例２を説明するにあたり、前記実施例１と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。

この実施例２は、物体存在判定処理部１２における輝度画像情報の処理と、物体種類判定処理部１４における物体種類判定処理との内容が実施例１と異なる。

この実施例２では、物体存在判定処理部１２の物体存在に先立つエッジの方向ベクトル分散の算出において、２通りのエッジの方向ベクトル分散（第１の方向ベクトル分散）ＶＡおよびエッジの方向ベクトル分散（第２の方向ベクトル分散）ＶＢが算出される。

前者のエッジの方向ベクトル分散ＶＡは、エッジ強度が、あらかじめ設定されたしきい値以上のエッジのみに基づいて算出されたものである。すなわち、エッジ強度が、しきい値を越えるエッジの個数ＮＡを算出するとともに、これらのしきい値を越えたエッジのみに基づいてエッジの方向ベクトル分散ＶＡが算出される。

一方、後者のエッジの方向ベクトル分散ＶＢは、エッジ強度が、上記のしきい値未満のエッジのみに基づいて算出されたものであり、同時に、しきい値未満のエッジ個数ＮＢも算出される。

なお、上記しきい値は、人工物である車両において観測されるエッジ強度よりも低く、人物ＰＥを含む自然物において観測されるエッジ強度よりも高い値となるよう、実験結果に基づいて設定されている。

そして、物体種類判定処理では、車両（他車両ＡＢ）の判定には、エッジの方向ベクトル分散ＶＡを用い、人物ＰＥ（歩行者）の判定にはエッジの方向ベクトル分散ＶＢを用いる。具体的には、図１３の車両判定用のステップＳ２において、上記しきい値を越えるエッジの方向ベクトル分散ＶＡとエッジ分散しきい値Ｅｖｓとを比較する。また、人物判定用のステップＳ１０において、上記しきい値未満のエッジの方向ベクトル分散ＶＢとエッジ分散しきい値Ｅｖｓとを比較する。

これにより、他車両ＡＢや道路構造物の判定では、この他車両ＡＢや道路構造物の表面などにあるノイズなど、を取り除き、物体の輪郭や形状や内部が持つ（例えば、他車両ＡＢのバンパなど）その種類の物体全てが持つ特徴的なエッジの方向成分だけをノイズの影響を取り除いて抽出することができる。

このように、物体の種類を特徴づける方向成分だけを抽出可能となるため、より確実な種類判定が可能となる。

また、人物ＰＥや、人物ＰＥが乗車した二輪車ＭＳの場合、通常、形状が複雑であり、かつ、他車両ＡＢと比べると大きさが小さいため、人物ＰＥの周囲や、２本の手足の間から、その人物ＰＥの後方に存在する別の物体のエッジが画像での検出領域に含まれてしまう可能性が大きい。このため、人物ＰＥの全体が含まれる領域でエッジの方向ベクトルを求めると、その背景に存在する物体のエッジを含んでエッジの方向ベクトルを抽出してしまうおそれがある。そこで、しきい値未満のエッジのみを抽出することで、その背景に存在する人工物の可能性の強いエッジを排除して、人物ＰＥや二輪車ＭＳに乗車中の人物ＰＥの部分のエッジだけを抽出することが可能となる。

以上のように、実施例２では、エッジの方向ベクトル分散に基づく物体の種類の判定において、ノイズ成分を除去することができ、物体の種類判定精度を向上させることができる。

次に、本発明の実施の形態の実施例３の物体検出装置について説明する。なお、この実施例３を説明するにあたり、前記実施例１と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。

この実施例３は、物体種類判定処理部１４における物体の物体種類判定処理が実施例１と異なる。この実施例３の物体種類判定処理では、実速度Ｖｎを用いずに、輝度画像情報から得たエッジの方向ベクトル分散Ｅｖと、レーダ２の検波情報から得られた計測点の反射強度および距離を用いて、物体の種類の判別を行うようにした。

すなわち、実施例３では、以下の（ａ３１）〜（ａ３３）の条件が成立した場合に、他車両ＡＢと判定する。
（ａ３１）エッジの方向ベクトル分散Ｅｖが、あらかじめ設定されたベクトル分散しきい値Ｅｖｓ未満。
（ａ３２）反射強度分散Ｂｒが、あらかじめ設定された強度分散しきい値Ｂｒｓ以上。
（ａ３３）距離に応じた反射強度の最大値Ｒｍａｘがあらかじめ設定された最大反射強度しきい値Ｒｓ以上。

また、以下の（ｂ３１）〜（ｂ３４）の条件が成立した場合に、二輪車ＭＳと判定する。
（ｂ３１）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。
（ｂ３２）反射強度分散Ｂｒが、強度分散しきい値Ｂｒｓ以上。
（ｂ３３）距離に応じた反射強度の最大値Ｒｍａｘが、最大反射強度しきい値ＭＲｓ以上。
（ｂ３４）距離に応じた反射強度があらかじめ設定された反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが、あらかじめ設定された反射強計測点しきい値ＫＰｓ未満。

また、以下の（ｃ３１）（ｃ３２）の条件を満たす場合には、道路構造物（壁ＷＯなど）と判定する。
（ｃ３１）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ未満。
（ｃ３２）距離に応じた反射強度があらかじめ設定された反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが、あらかじめ設定された反射強度計測点しきい値ＫＫｓ以上であるか、あるいは個数Ｋｎ＝０。なお、ＫＫｓ＞ＫＰｓである。

また、以下の（ｄ３１）〜（ｄ３３）条件を満たす場合には、人物（歩行者）ＰＥと判定する。
（ｄ３１）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。
（ｄ３２）距離に応じた反射強度の最大値Ｒｍａｘが、最大反射強度しきい値ＭＲｓ未満。
（ｄ３３）距離に応じた反射強度が反射強度しきい値Ｒｓ以上である計測点の個数Ｋｎが０。

また、以上の条件を満たさないが、カメラ１の輝度画像情報とレーダ２の検波情報とにより物体が存在すると判定されたものは、その他の物体として処理する。

なお、以上の物体種類判定処理部１４における物体種類判定処理の流れを図１４のフローチャートに示している。

この実施例３では、実速度Ｖｎを算出しないようにしたことから、処理における演算量を減らして、判定速度を短縮できるとともに、構成を簡略化して、コストダウンを図ることができる。

また、他車両ＡＢおよび二輪車ＭＳについては、走行中か停止中かに関わらず検出することができる。

次に、図１５〜図１７により本発明の実施の形態の実施例４の物体検出装置について説明する。なお、この実施例４を説明するにあたり、前記実施例１と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。

実施例４は、図１５に示すように、検出対象物体を検出する手段としてカメラ１のみを用いた例である。

この実施例４では、コントロールユニットＣＵを機能的に表すと、図１６に示すように、メモリ４１１、物体存在判定処理部４１２、物体速度算出処理部４１３、物体種類判定処理部４１４を備えている。

メモリ４１１は、実施例１と同様に、カメラ１からの輝度画像情報が保存される。

物体存在判定処理部４１２は、実施例４では、カメラ１からの輝度画像情報のみに基づいて、物体の存在を判定する。この輝度画像情報による物体の存在の判定は、実施例１と同様に、エッジとオプティカルフローに基づいて行う。また、実施例１と同様に、このときエッジの方向ベクトル分散も算出される。

物体速度算出処理部４１３は、実施例４では、外部通信機器４１５からの速度情報を入力することで、物体の実速度Ｖｎを算出する。なお、外部通信機器４１５からの速度情報とは、例えば、車両間通信のような通信技術を利用して、他車両ＡＢや二輪車ＭＳから得る速度情報や、路上の速度検出機器から、路車間通信のような通信技術を利用して得られる速度情報などを指している。

さらに、実施例４では、外部からの速度の入力と並列に、他車両ＡＢと二輪車ＭＳについて、実施例１で示したエッジ間隔に基づいて実速度を算出している。そして、これら２種類の物体（他車両ＡＢおよび二輪車ＭＳ）に関しては、算出された実速度Ｖｎと外部通信機器４１５から得られた実速度Ｖｎとの照合による確認を行っている。

なお、輝度画像情報により実速度を求める物体の種類を限定しているのは、以下に述べる理由による。すなわち、エッジ間隔により速度を求める場合、実施例１では、レーダ２で計測された物体までの距離と、このエッジ間隔とに基づいて物体の実速度を算出している。それに対して、本実施例４では、レーダ２を有していないため、この距離を得ることができない。

そこで、実施例４では、既存の寸法が、画像上どのような寸法になっているかに基づいて、物体との距離を算出している。すなわち、本実施例４では、この既存の寸法として、他車両ＡＢおよび二輪車ＭＳのナンバプレート３１の寸法を用いている。

なお、ナンバプレート３１の検出は、例えば、他車両ＡＢでは、前述の図１０で説明したナンバプレート３１を含む領域Ｒｎｐの中から、ナンバプレート３１の縦横比である１：２と同一の縦横比の長方形を検出することで行う。ここで、縦横比が１：２の長方形の検出は、例えば、縦横エッジだけを検出するＨｏｕｇｈ変換により多数エッジを検出し、２本の縦エッジの組み合わせ間の距離と２本の横エッジの組み合わせ間の距離の比が一定して１：２である組み合わせを求めることで検出する。 なお、他の種類の物体の実速度Ｖｎについては、外部通信機器４１５から得られたもののみを用いる。

次に、物体種類判定処理部４１４では、物体の種類として、走行中の他車両ＡＢ、走行中の二輪車ＭＳ、道路構造物、人物ＰＥを判定する。

すなわち、実施例４では、以下の（ａ４１）（ａ４２）の条件が成立した場合に、他車両ＡＢと判定する。
（ａ４１）実速度Ｖｎが、あらかじめ設定された速度しきい値Ｖｓ以上。
（ａ４２）エッジの方向ベクトル分散Ｅｖが、あらかじめ設定されたベクトル分散しきい値Ｅｖｓ未満。

また、以下の（ｂ４１）（ｂ４２）の条件が成立した場合に、走行中の二輪車ＭＳと判定する。
（ｂ４１）実速度Ｖｎが、速度しきい値Ｖｓ以上。
（ｂ４２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。

また、以下の（ｃ４１）（ｃ４２）の条件が成立した場合に、道路構造物と判定する。
（ｃ４１）実速度Ｖｎが、速度しきい値Ｖｓ未満。
（ｃ４２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ未満。

また、以下の（ｄ４１）（ｄ４２）の条件が成立した場合に、人物ＰＥと判定する。
（ｄ４１）実速度Ｖｎが、速度しきい値Ｖｓ未満。
（ｄ４２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。

なお、以上の物体種類判定処理部４１４における物体種類判定処理の流れを図１７のフローチャートに示している。

このように、他車両ＡＢ、二輪車ＭＳ、道路構造物、人物ＰＥは、実速度Ｖｎとエッジの方向ベクトル分散Ｅｖとの特徴の組み合わせが異なることから、これら２つの要素のみで精度高く物体の種類の判別を行うことができる。

以上のように、実施例４では、物体に関する情報を得る入力手段として、カメラ１のみとしたため、全体構成の簡略化を図り、製造コストおよび車載重量を抑えることができる。また、物体の物体種類判定処理において、実速度Ｖｎとエッジの方向ベクトル分散Ｅｖとの２要素のみに基づいて物体の種類判定を行うため、処理の簡略化を図ることができ、これによっても、製造コストの抑制を図ることができ、かつ、処理時間の短縮化を図ることができる。

次に、図１８および図１９により本発明の実施の形態の実施例５の物体検出装置について説明する。なお、この実施例５を説明するにあたり、前記実施例１と同一ないし均等な部分については、図示を省略し、あるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。

実施例５は、実施例４の変形例であり、物体の物体種類判定処理における判定要素にエッジ強度、ならびにエッジの方向ベクトルのヒストグラムを加えるようにした例である。

ここで、エッジ強度は、実施例１で説明したように、｜Ｄｘ＋Ｄｙ｜で求めることができるもので、以下に、エッジの方向ベクトルのヒストグラムについて説明する。

物体を時系列的に追跡する場合、他車両ＡＢや道路構造物などの人工物体は形状を変化させないが、人物ＰＥのような非人工物体は、それ自体の形状を変化させる。

そこで、エッジの方向ベクトルのヒストグラムを求めると、図１８（ａ）において他車両ＡＢが含まれる領域Ｒａｂの時系列的なヒストグラムの分布は、同図（ｂ）に示すように分布の範囲が狭い。それに対して、同図（ａ）において非人工物である人物ＰＥが含まれる領域Ｒｐｅの時系列的なヒストグラムは、同図（ｃ）に示すように分布の範囲が広い。

このことから、実施例５では、物体の種類の判定を、エッジの強度と、エッジの方向ベクトル分散と、エッジの時系列的な変化度合いであるヒストグラム分布と、物体の実速度と、に基づいて行うようにしている。

すなわち、以下の（ａ５１）〜（ａ５４）の条件が成立した問いには、他車両ＡＢと判定する。
（ａ５１）実速度Ｖｎが、あらかじめ設定された速度しきい値Ｖｓ以上。
（ａ５２）エッジの方向ベクトル分散Ｅｖが、あらかじめ設定されたベクトル分散しきい値Ｅｖｓ未満。
（ａ５３）エッジ強度ＥＰｎが、あらかじめ設定された強度しきい値ＥＰｓ以上。
（ａ５４）エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも狭い。

また、以下の（ｂ５１）〜（ｂ５３）の条件が成立した場合に、走行中の二輪車ＭＳと判定する。
（ｂ５１）実速度Ｖｎが、速度しきい値Ｖｓ以上。
（ｂ５２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。

また、以下の（ｃ５１）〜（ｃ５３）の条件が成立した場合に、道路構造物と判定する。
（ｃ５１）実速度Ｖｎが、速度しきい値Ｖｓ未満。
（ｃ５２）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ未満。
（ｃ５３）エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも狭い。

また、以下の（ｄ５１）〜（ｄ５３）の条件が成立した場合に、人物ＰＥと判定する。
（ｄ５１）実速度Ｖｎが、速度しきい値Ｖｓ未満。
（ｄ５２）エッジ強度ＥＰｎが、あらかじめ設定された強度しきい値ＥＰｓ未満。
（ｄ５３）エッジの方向ベクトル分散Ｅｖが、ベクトル分散しきい値Ｅｖｓ以上。
（ｄ５４）エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも広い。

なお、以上の判定条件が成立しないものは、その他の物体と判定する。また、以上の物体種類判定処理部における物体種類判定処理の流れを図１９のフローチャートに示している。

以上のように、実施例５では、物体の種類判定において、実施例４の判定条件に、さらにエッジ強度ＥＰｖおよびエッジの方向ベクトルのヒストグラムを加えた。このため、人工物か否かがより明確になり、種類の判定精度を向上させることができる。すなわち、人工物は、形状が直線的であることが多いため、エッジ強度ＥＰｎが高いのに対し、人物ＰＥなどの自然物は、形状が曲線的で、エッジ強度ＥＰｎが弱くなる傾向がある。また、人工物は、一定の形状を保持していることが多いため、ヒストグラムの分布の範囲が狭いのに対し、人物ＰＥなどの自然物は、形状が変化するため、ヒストグラムの分布の範囲が広くなる傾向がある。したがって、物体の種類の判定要素に、エッジ強度ＥＰｎおよびエッジの方向ベクトルのヒストグラムを加えることにより、上述の人工物と自然物との違いを明確に判定することができ、種類の判定精度を向上させることができる。

以上、図面を参照して、本発明の実施の形態および実施例１ないし実施例５を詳述してきたが、具体的な構成は、この実施の形態および実施例１ないし実施例５に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、実施例１〜５では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。

また、実施例１では、物体存在判定処理部１２において、輝度画像情報に基づいて物体の存在の判定を行う場合に、エッジとオプティカルフローにより物体を検出する例を示したが、これに限定されず、例えば、検出対象物が決まっている場合は、その対象物を示すテンプレートマッチングで検出してもよい。あるいは、検出対象物の特徴をあらかじめ学習しておき、ニューラルネットワークなどの学習に基づいた検出手法を適用してもよい。

また、実施例１では、物体存在判定処理部１２において、検波情報に基づいて物体の存在を判定するのにあたり、ノイズ成分を除去して物体の検出精度を向上させるために、計測点ｑＰ，ｑＡ，ｑＷのグループを時系列的に観測し、ある一定時間以上、連続して同程度の大きさの物体が観測され続けた場合に、物体が存在すると判定する例を示した。このようにすることで、物体の存在判定精度を向上させることができるが、このような判定方法に限定されるものではなく、反射強度がしきい値以上の計測点は、即、物体が存在すると判定するようにしてもよい。この場合、判定に要する時間を短縮することができる。

また、実施例１では、物体存在判定処理部１２において、輝度画像情報と検波情報とのそれぞれで同方位に物体が存在すると判定された場合に、物体が存在すると判定するのに加え、輝度画像情報で存在すると判定された物体の相対速度と、検波情報で存在すると判定された物体の相対速度と、が一致するか否かで互いに存在すると判定された物体が同一物体であるか否かを確認している。このようにすることで、物体の存在の判定精度が極めて高くなるが、この確認は、必須ではなく、省略することができる。

さらに、物体存在判定処理部１２では、輝度画像情報と検波情報とのそれぞれで同方位に物体が存在すると判定された場合に、物体が存在すると判定するようにして、物体の検出精度を高めた例を示したが、これに限定されず、いずれか一方で所定以上の確実性を有して存在が認められた場合に、物体が存在すると判定するようにしてもよい。なお、確実性は、エッジ強度や反射強度の平均値あるいは最大値が所定値以上であることや、前述のように所定時間観測されることなどで判定することができる。

このようにいずれか一方で存在判定を行う場合、カメラ１により物体の検出精度が低下する濃霧時や豪雨時などにおいてもレーダ２により物体を検出することができ、このような外部環境の影響による検出精度の低下を抑制することができる。

本発明の実施の形態の実施例１の物体検出装置を搭載した車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。 本発明の実施の形態の実施例１の物体検出装置のコントロールユニットＣＵを機能的に表したブロック図である。 前記実施例１の物体検出装置におけるカメラ１の画像情報を説明する図であって、（ａ）は横から見た状態を示し、（ｂ）は上方から見た状態を示し、（ｃ）はカメラ１として赤外線カメラを用いた場合の赤外画像を示し（ｄ）カメラ１の撮像面１ａに投影された輝度画像を示している。 前記実施例１の物体検出装置における輝度画像情報と検波情報との比較例で、（ａ）は画像情報を示し、（ｂ）は検波情報による計測点を示している。 前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。 前記実施例１の物体検出装置におけるカメラ１の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、（ａ）は垂直エッジ成分算出用のフィルタを示し、（ｂ）は水平エッジ成分算出用のフィルタを示し、（ｃ）はエッジ強度とエッジ方向ベクトルとの関係を示している。 本発明の実施の形態の実施例１の物体検出装置によるエッジ検出の説明図で、（ａ）は他車両ＡＢの横エッジの検出例を示し、（ｂ）はエッジの算出原理を示している。 本発明の実施の形態の実施例１の物体検出装置によるオプティカルフローの説明図であり、（ａ）は図４の状態から時間が経過したときのオプティカルフローを示し、（ｂ）はそのレーダの距離検出の状態を示している。 本発明の実施の形態の実施例１の物体検出装置におけるレーダ２により相対速度を求める説明図である。 本発明の実施の形態の実施例１の物体検出装置において輝度画像情報により相対速度を求める場合の説明図である。 本発明の実施の形態の実施例１の物体検出装置においてエッジの間隔変化に基づいて相対速度を求める場合の説明図で、（ａ）は（ｂ）よりも距離が遠い場合を示している。 本発明の実施の形態の実施例１の物体検出装置において周波数成分の変化に基づいて相対速度を求める場合の説明図で、（ａ）は（ｂ）よりも距離が遠い場合を示している。 本発明の実施の形態の実施例１の物体検出装置の物体種類判定処理部１４における物体種類判定処理の流れを示すフローチャートである。 本発明の実施の形態の実施例３の物体検出装置の物体種類判定処理部１４における物体種類判定処理の流れを示すフローチャートである。 本発明の実施の形態の実施例４の物体検出装置を搭載した車両ＭＢを示す概略図であり、（ａ）は側方から見た図、（ｂ）は上方から見た図である。 本発明の実施の形態の実施例４の物体検出装置のコントロールユニットＣＵを機能的に表したブロック図である。 本発明の実施の形態の実施例３の物体検出装置の物体種類判定処理部４１４における物体種類判定処理の流れを示すフローチャートである。 本発明の実施の形態の実施例５の物体検出装置におけるエッジの方向ベクトルのヒストグラムの説明図であり、（ａ）は輝度画像情報を示し、（ｂ）は（ａ）における領域Ｒａｂの時系列的なヒストグラムを表し、（ｃ）は（ａ）における領域Ｒｐｅの時系列的なヒスとグラムを表している。 本発明の実施の形態の実施例５の物体検出装置の物体種類判定処理部４１４における物体種類判定処理の流れを示すフローチャートである。

符号の説明

１ カメラ（画像情報を入力する手段）
２ レーダ（距離情報を入力する手段）
１４ 物体種類判定処理部
４１４ 物体種類判定処理部
ＡＢ 車両（他車両）
ＣＵ コントロールユニット（物体検出処理手段）
ＭＳ 二輪車（物体）
ＰＥ 人物（物体）
ＷＯ 壁（物体）

Claims (12)

1. 外界に存在する物体に関する情報を用いて物体の検出を行う物体検出方法であって、
   検出対象物の実速度と、画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、に基づいて対象物の種類を判定するとともに、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、走行中の車両と判定する車両判定、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上の場合、乗車中の二輪車と判定する二輪車判定、
   物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、道路構造物と判定する道路構造物判定、
   物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトルの分散があらかじめ設定されたしきい値以上の場合、人物と判定する人物判定、
   の少なくとも一つの判定を用いて物体の種類を判定することを特徴とする物体検出方法。
2. 前記車両判定の条件に、前記エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
   前記道路構造物判定の条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
   前記人物判定の条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも広いことが含まれていることを特徴とする請求項１に記載の物体検出方法。
3. 外界に存在する物体に関する情報を用いて物体の検出を行う物体検出方法であって、
   検出対象物までの距離と、画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、検出波で走査した反射で得られる検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定するとともに、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である場合、車両と判定する車両判定と、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上であり、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、二輪車と判定する二輪車判定と、
   エッジの方向ベクトル分散がしきい値未満で、距離に応じた反射強度の最大値がしきい値以上である計測点の個数が車両の場合のしきい値よりも多く設定されたしきい値以上または０個である場合、道路構造物と判定する道路構造物判定と、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値以上であり、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が０個である場合、人物と判定する人物判定と、
   の少なくとも１つの判定を用いて物体の種類を判定することを特徴とする物体検出方法。
4. 前記エッジ方向ベクトル分散として、エッジ強度があらかじめ設定されたしきい値以上の部分で求められた第１の方向ベクトル分散と、エッジ強度があらかじめ設定されたしきい値未満の部分で求められた第２の方向ベクトル分散とが算出され、
   前記車両判定および道路構造物判定に、第１の方向ベクトル分散が用いられ、
   前記人物判定に、第２の方向ベクトル分散が用いられることを特徴とする請求項１〜３のいずれか１項に記載の物体検出方法。
5. 外界に存在する物体に関する情報を得る入力手段と、
   この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、
   を備え、
   前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体の速度情報を入力する手段とが含まれ、
   前記物体検出処理手段が、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、速度情報から得られた検出対象物の実速度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、
   前記物体種類判定処理に、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、走行中の車両と判定する車両判定処理と、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上の場合、乗車中の二輪車と判定する二輪車判定処理と、
   物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、道路構造物と判定する道路構造物判定処理と、
   物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトルの分散があらかじめ設定されたしきい値以上の場合、人物と判定する人物判定処理と、
   のうちの少なくとも１つの判定処理が含まれることを特徴とする物体検出装置。
6. 前記車両判定処理における車両判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
   前記道路構造物判定処理における道路構造物判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
   前記人物判定処理における人物判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも広いことが含まれていることを特徴とする請求項５に記載の物体検出装置。
7. 外界に存在する物体に関する情報を得る入力手段と、
   この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、
   を備え、
   前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体との距離情報を入力する手段とが含まれ、
   前記距離情報を入力する手段として、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報が含まれ、
   前記物体検出処理手段が、検出対象物体との距離と、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、前記検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、
   前記物体種類判定処理に、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である場合、車両と判定する車両判定処理と、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上であり、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、二輪車と判定する二輪車判定処理と、
   エッジの方向ベクトル分散がしきい値未満で、距離に応じた反射強度の最大値がしきい値以上である計測点の個数が車両の場合のしきい値よりも多く設定されたしきい値以上または０個である場合、道路構造物と判定する道路構造物判定処理と、
   エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が０個である場合、人物と判定する人物判定処理と、
   の少なくとも１つが含まれていることを特徴とする物体検出装置。
8. 外界に存在する物体に関する情報を得る入力手段と、
   この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、
   を備え、
   前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体との距離情報を入力する手段とが含まれ、
   前記距離情報を入力する手段として、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報が含まれ、
   前記物体検出処理手段が、検出対象物体との距離と、対象物との距離変化または画像上における物体の大きさ変化に基づいて算出した対象物の実速度と、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、前記検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、
   前記物体種類判定処理に、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値がしきい値以上である場合、走行中の車両と判定する車両判定処理と、
   物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、走行中の二輪車と判定する二輪車判定処理と、
   物体の実速度が０で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である計測点の個数が、車両の場合より多く設定されたしきい値以上または０個である場合、道路構造物と判定する道路構造物判定処理と、
   物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が０個である場合、人物と判定する人物判定処理と、
   の少なくとも１つが含まれていることを特徴とする物体検出装置。
9. 前記物体種類判定処理において、エッジ方向ベクトル分散として、エッジ強度があらかじめ設定されたしきい値以上の部分で求められた第１の方向ベクトル分散と、エッジ強度があらかじめ設定されたしきい値未満の部分で求められた第２の方向ベクトル分散とが算出され、
   前記車両判定処理および道路構造物判定処理に、第１の方向ベクトル分散が用いられ、
   前記人物判定処理に、第２の方向ベクトル分散が用いられることを特徴とする請求項５〜８のいずれか１項に記載の物体検出装置。
10. 前記物体検出処理手段は、前記物体種類判定処理を行う前に、物体が存在するか否かを判定する物体存在判定処理部を備え、
    この物体存在判定処理部は、画像情報に基づく第１の物体存在判定と、検波情報に基づく第２の物体存在判定を行い、それぞれの物体存在判定結果において同方位に物体が存在すると判定された場合に、最終的に物体が存在すると判定する物体判定処理を行うことを特徴とする請求項５〜９のいずれか１項に記載の物体検出装置。
11. 前記物体存在判定処理部は、第１の物体存在判定処理および第２の物体存在判定処理において、時系列的に観測を行い、あらかじめ設定された時間を超えて連続して物体が計測された場合に、物体が存在すると判定することを特徴とする請求項１０に記載の物体検出装置。
12. 前記物体存在判定処理部は、前記第１の物体存在判定処理および第２の物体存在判定処理において、画像情報と検波情報のそれぞれについて相対速度を求め、前記最終的な物体存在判定に、両者の相対速度が一致すると認められることが含まれ、
    前記物体種類判定処理部は、画像情報と検波情報とで相対速度が一致した領域の情報に基づいて物体種類判定処理を行うことを特徴とする請求項１０または請求項１１に記載の物体検出装置。

Images