JP2009192430A

JP2009192430A - 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム

Info

Publication number: JP2009192430A
Application number: JP2008035079A
Authority: JP
Inventors: Fuminori Taniguchi; 文則谷口; Masaru Otsuki; 賢大槻; Yuji Yokochi; 裕次横地
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-02-15
Filing date: 2008-02-15
Publication date: 2009-08-27
Anticipated expiration: 2028-02-15
Also published as: JP4753053B2

Abstract

【課題】レーダによる検出結果に基づいて、車両等の物体の種別を適切に判定することができる物体種別判定装置、方法、及び物体種別判定用プログラムを提供する。
【解決手段】物体種別判定装置は、レーダ２０により複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得手段１１と、取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出手段１２と、抽出された点列データが、方位角が増加又は減少するに従って、検出点のレーダ２０からの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識手段１３と、変位特性認識手段による認識結果に応じて、点列データが抽出された物体の種別を判断する種別判断手段１４とを備える。
【選択図】図１

Description

本発明は、レーダによる検出結果に基づいて物体の種別を判定する装置、方法、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、レーダによる検出結果に基づいて、例えば車両が走行する道路上及びその周囲に存在する物体を認識し、その認識結果に応じて、運転者への情報提示や車両の走行制御を行う技術が知られている（例えば、特許文献１を参照）。

特許文献１の物体種別判別装置は車両に搭載され、車両前方に電磁波を走査させ、その反射電磁波をもとに物体を複数の検出点の点列として検出する物体検出手段（スキャンニングレーザレーダ）による検出結果に、撮像手段（カメラ）により撮像された画像にエッジ検出処理を行った処理結果を組み合わせることで、物体の種別を判別している。具体的には、この物体種別判別装置では、物体検出手段により検出される点列で示される物体について、エッジ画像から得られる当該物体に対応するエッジが、車両の高さに相当する高さ位置よりも上方にある場合に、当該物体を車両の走行の妨げにならない物体と判別する。このとき、車両の高さは、カメラの取り付け位置、角度、光学系の倍率等のカメラパラメータに基づいて算出される。
特開２００３−４４９９５号公報

しかしながら、特許文献１の種別判別装置では、画像上に様々な物体が撮像されている場合や画像のコントラストが低い場合には、エッジ検出処理により物体のエッジが適切に得られず、レーダで検出された物体の種別の判別が適切に行われない可能性がある。

また、特許文献１では、カメラの姿勢が既知であることを仮定して車両の高さを算出しているが、車両等の移動体にカメラが搭載されている場合、ピッチング等によりカメラの姿勢が変化することとなるため、高さが精度良く算出されず、レーダで検出された物体の種別の判別が適切に行われないという問題がある。

本発明は、かかる背景に鑑みてなされたものであり、レーダによる検出結果に基づいて、車両等の物体の種別を適切に判定することができる物体種別判定装置、物体種別判定方法、及び該物体種別判定装置の処理をコンピュータに実行させる物体種別判定用プログラムを提供することを目的とする。

かかる目的を達成するために、レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する物体種別判定装置において、前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得手段と、前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出手段と、前記点列データ抽出手段により抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識手段と、前記変位特性認識手段による認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断手段とを備えることを特徴とする（第１発明）。

第１発明の物体種別判定装置では、レーダから照射された電磁波が周辺に存在する物体で反射し、この反射波により物体のレーダからの距離と方位角とが検出される。このとき、レーダにより複数の方位角に電磁波を照射し、検出点取得手段は、それぞれの方位角における物体の検出点を取得する。そして、点列データ抽出手段は、この検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する。物体には、例えば、人、車両、建築物等の様々な種別のものが含まれる。このとき、人等の生体は、一般に複雑な曲面体形状で構成されるのに対して、車両等の人工構造物は、複数の頂点を結ぶ直線の辺と、その辺に囲まれた面によって構成される多面体形状（特に、直方体形状）で構成されることが多い。

そこで、変位特性認識手段により、点列データが、方位角が増加又は減少するに従って、検出点のレーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する。すなわち、この変位特性を有することにより、点列データが抽出された物体の形状が、複数の直線とその頂点とを有することが把握される。したがって、このような変位特性を有する場合は、物体の表面形状が多面体形状であることを示すので、物体の種別が車両等の人工構造物の可能性が高い。よって、変位特性認識手段による認識結果に応じて、種別判断手段により、点列データが抽出された物体の種別を判断することができる。

また、第１発明の物体種別判定装置において、前記検出点取得手段は、前記検出点の位置を、前記レーダの前後方向と、該前後方向に直交する水平方向とで定まる座標平面に変換して取得し、前記変位特性認識手段は、前記座標平面上で、前記点列データ抽出手段により抽出された点列データから直線成分を抽出し、該直線成分が２以上抽出された場合に、該抽出された２つの直線成分が交点を有するとき、前記点列データが前記変位特性を有すると認識することが好ましい（第２発明）。

第２発明によれば、検出点の位置を座標変換して処理し、点列データから抽出された２つの直線成分が交点（直線成分を両辺とする頂点）を有するか否かに応じて、点列データが前記変位特性を有するか否かを簡易な処理で判断することができる。

また、第１又は第２発明の物体種別判定装置において、前記種別判断手段は、前記変位特性認識手段により前記点列データが前記変位特性を有すると認識された場合に、該点列データが抽出された物体が人工構造物であると判断することが好ましい（第３発明）。

第３発明によれば、車両等の人工構造物は直方体形状で構成されることが多いことから、種別判断手段は、点列データが前記変位特性を有すると認識された場合に、点列データが抽出された物体の種別が人工構造物であると判断することができる。

また、第１〜第３発明のうちいずれかの物体種別判定装置において、赤外線撮像手段と、前記赤外線撮像手段により撮像された赤外線画像から、前記変位特性を有する点列データにおいて、前記第１の状態から前記第２の状態に切り替わる検出点に対応する画像領域を特定する画像領域特定手段と、前記画像領域特定手段により特定された画像領域の輝度値が所定値以上か否かを判断する輝度情報判断手段とを備え、前記種別判断手段は、前記輝度情報判断手段の判断結果に基づいて、前記点列データが抽出された物体の種別を判断することが好ましい（第３発明）。

第３発明によれば、赤外線画像から、前記変位特性を有する点列データにおいて、第１の状態から第２の状態に切り替わる検出点（頂点）に対応する画像領域が特定される。このとき、例えば物体の種別が車両である場合、車両の四隅の近傍にはテールライト又はヘッドライトが配置されており、この車両の四隅は点列データから抽出される頂点近傍となる。そして、テールライトやヘッドライトの部分は温度が高いので、赤外線画像上でこれらのライトに対応する画像領域は輝度値が高くなる。そこで、輝度情報判断手段により、この画像領域の輝度値が所定値以上か否かを判断し、この判断結果に基づいて、種別判断手段により、点列データが抽出された物体の種別を判断することができる。

また、第４発明のうちいずれかの物体種別判定装置において、前記種別判断手段は、前記輝度情報判断手段により前記画像領域の輝度値が所定値以上と判断された場合に、前記点列データが抽出された物体が車両であると判断することが好ましい（第５発明）。

第５発明において、物体の種別が車両である場合、車両の四隅の近傍にはテールライト又はヘッドライトが配置されており、赤外線画像上でこれらのライトに対応する画像領域は輝度値が高くなることから、種別判断手段は、輝度情報判断手段により画像領域の輝度値が所定値以上と判断された場合に、点列データが抽出された物体の種別が車両であると判断することができる。

また、第１〜第５発明のうちいずれかの物体種別判定装置において、前記変位特性を有する点列データにおいて、前記第１の状態から前記第２の状態に切り替わる検出点での前記反射波の強度と、それ以外の検出点での該反射波の強度との差が所定レベル以上か否かを比較する反射強度比較手段を備え、前記種別判断手段は、前記反射強度比較手段による比較結果に基づいて、前記点列データが抽出された物体の種別を判断することが好ましい（第６発明）。

第６発明によれば、例えば物体の種別が車両である場合、車両の四隅の近傍にはテールライト又はヘッドライトが配置されており、この車両の四隅は前記変位特性を有する点列データにおいて、第１状態から第２状態に切り替わる検出点（頂点）近傍となる。そして、テールライトやヘッドライトの部分と、他の部分とでは、反射強度が異なる。そこで、反射強度比較手段により、頂点でのレーダの反射強度と、それ以外の検出点でのレーダの反射強度との差が所定レベル以上であるか否かを比較し、この比較結果に基づいて、種別判断手段により、点列データが抽出された物体の種別を判断することができる。

また、第６発明の物体種別判定装置において、前記種別判断手段は、前記反射強度比較手段による比較の結果、前記差が所定レベル以上と判断された場合に、前記点列データが抽出された物体が車両であると判断することが好ましい（第７発明）。

第７発明において、物体の種別が車両である場合、車両の四隅の近傍にはテールライト又はヘッドライトが配置されており、テールライトやヘッドライトの部分と、他の部分とでは、反射強度が異なることから、種別判断手段は、比較の結果、頂点での反射強度と、それ以外の検出点での反射強度との差が所定レベル以上と判断された場合に、点列データが抽出された物体の種別が車両であると判断することができる。

また、第１〜第７発明のうちいずれかの物体種別判定装置において、異なる時刻で前記検出点取得手段により取得される複数の検出点を参照して、該異なる時刻間で同一の物体であると想定される検出点についてオプティカルフローを算出するオプティカルフロー算出手段を備え、前記点列データ抽出手段は、前記オプティカルフロー算出手段により算出されたオプティカルフローに基づいて、同じ方向に同じ量だけ移動している検出点を、同一の物体であると想定される検出点として、前記点列データを抽出することが好ましい（第８発明）。

第８発明によれば、物体の種別が例えば車両等の人工構造物である場合、歩行者等である場合に比べて、物体の局所的な運動は少なく、物体は一体的に移動すると想定される。よって、同一の物体についての検出点は、それぞれ、この物体の重心移動と同じ方向に同じ量だけ移動すると考えられる。よって、点列データ抽出手段は、異なる時刻間で同一の物体であると想定される検出点について算出されるオプティカルフローに基づいて、同じ方向に同じ量だけ移動している検出点を、同一の物体のものであるとして点列データを抽出することができる。

また、第１〜第８発明のうちいずれかの物体種別判定装置において、車両に搭載され、該車両の周辺に存在する物体の種別を判定することが好ましい（第９発明）。

第９発明によれば、物体種別判定装置は車両に搭載され、レーダにより車両の周辺の物体を検出し、検出結果に基づいて、車両周辺の他車両等の人工構造物の種別を判定することができる。これにより、車両周辺の物体から他車両等の人工構造物を除外して歩行者等を検出し、その検出結果を、運転者への情報の提示や車両の制御に用いることができる。

次に、本発明の物体種別判定方法は、レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する物体種別判定方法であって、前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得ステップと、前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出ステップと、前記点列データ抽出ステップにより抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識ステップと、前記変位特性認識ステップによる認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断ステップとを備えたことを特徴とする（第１０発明）。

第１０発明の物体種別判定方法によれば、第１発明の物体種別判定装置に関して説明したように、変位特性認識ステップで、点列データから変位特性の有無を認識することで、物体の表面形状の特徴が把握できる。よって、変位特性認識ステップによる認識結果に応じて、種別判断ステップにより物体の種別を判断することで、レーダの検出結果から、車両等の物体の種別を適切に判断することができる。

次に、本発明の物体種別判定用プログラムは、レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する処理をコンピュータに実行させる物体種別判定用プログラムであって、前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得処理と、前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出処理と、前記点列データ抽出手段により抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識処理と、前記変位特性認識手段による認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１１発明）。

第１１発明の物体種別判定用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を、図１〜図５を参照して説明する。図１は、本実施形態による物体種別判定装置の機能ブロック図であり、図２は、図１の物体種別判定装置に備えたミリ波レーダ装置が送信するミリ波のビームを平面視で示す図であり、図３は、図１の物体種別判定装置における物体種別判定処理を示すフローチャートであり、図４は、図３の物体種別判定処理におけるレーダの検出結果に関する説明図であり、図５は、図３の物体種別判定処理におけるレーダの検出結果と処理画像の例である。

図１を参照して、本実施形態の物体種別判定装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。この画像処理ユニット１には、車両の前方の画像を撮像する撮像装置としての赤外線カメラ２と、ミリ波レーダ装置２０とが接続されている。また、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２により撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。赤外線カメラ２は、遠赤外線を検出可能なカメラであり、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。赤外線カメラ２は、本発明の赤外線撮像手段に相当する。

また、ミリ波レーダ装置２０は、自車両１０の前部で、赤外線カメラ２の上側に取り付けられている。ミリ波レーダ装置２０は、ミリ波のビームを自車両１０の前方に送信し、このミリ波の反射波（自車両１０の前方に存在する物体で反射されたミリ波）を受信する。そして、その受信した反射波を基に、自車両１０の前方に存在する物体を検出する。ミリ波レーダ装置２０は本発明のレーダに相当する。

図２は、ミリ波レーダ装置２０が送信するミリ波のビームを平面視で示している。図２を参照して、本実施形態におけるミリ波レーダ装置２０は、走査型のレーダ装置であり、図示のように、自車両１０の前方に送信するミリ波のビームＢＭを自車両１０の左右方向に走査する（ビームＢＭの方位角を一定角度づつ、自車両１０の左右方向に動かす）。なお、送信するミリ波のビームＢＭの強度は所定の一定強度である。

ここで、図２に示すラインＬ１，Ｌ２は、赤外線カメラ２の視野角（水平方向の視野角）の境界線を示しており、これらのラインＬ１，Ｌ２の間の領域が赤外線カメラ２の撮像領域である。そして、ビームＢＭの幅は、撮像領域よりも小さいが、その走査範囲はこの撮像領域を含むように設定されている。なお、ビームＢＭの上下方向の幅は、赤外線カメラ２の上下方向の視野角の範囲を含むように設定されている。

そして、ミリ波レーダ装置２０は、ビームＢＭを走査しながら（ビームＢＭの方位角を一定角度ずつ動かしながら）、各方位角へのビームＢＭの送信時に、上下方向に配列された図示しない複数の受信アンテナでミリ波の反射波を受信し、その受信した反射波のうちの所定の強度以上の反射波を基に、ビームＢＭの送信方向に存在する物体を検出する。この場合、ミリ波レーダ装置２０は、送信波（送信したミリ波）と受信波（受信したミリ波）との時間差を基に、ミリ波を反射した物体の自車両１０からの距離（ミリ波レーダ装置２０からの距離）を検出し、また、反射波を受信したときのビームＢＭの方位角を基に、物体の自車両１０に対する方位角を検出する。なお、ミリ波レーダ装置２０による、物体の距離や方位角の検出手法の詳細は公知であるので、本明細書での詳細な説明は省略する。

ミリ波レーダ装置２０は、上記の如く検出した物体の自車両１０からの距離を示すデータと、該物体の方位角を示すデータとを画像処理ユニット１に出力する。

画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２の出力（アナログ信号）が入力され、Ａ／Ｄ変換回路を介してデジタル信号に変換されると共に、ミリ波レーダ装置２０の検出データも入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の物体を検出する処理や、その検出した物体に関してスピーカ６や表示装置７を介して運転者に注意喚起（物体に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の物体種別判定用プログラムを含んでいる。

より詳しくは、画像処理ユニット１は、上記プログラムにより処理を実行させる機能として、検出点取得手段１１と、点列データ抽出手段１２と、変位特性認識手段１３と、種別判断手段１４と、画像領域特定手段１５と、輝度情報判断手段１６と、反射強度比較手段１７と、オプティカルフロー算出手段１８とを備える。各機能の詳細については以下で説明する。

次に、本実施形態の物体種別判定装置による作動（物体種別判定処理）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜１２の処理を繰り返して、物体種別判定処理を実行する。

まず、ＳＴＥＰ１で、画像処理ユニット１は、ミリ波レーダ装置２０の出力データを読み込む。この場合、読み込まれる出力データは、ミリ波レーダ装置２０で各ビームＢＭに対応して検出された物体の自車両１０からの距離と、自車両１０に対する方位角との検出データである。

次に、ＳＴＥＰ２で、画像処理ユニット１の検出点取得手段１１は、ミリ波レーダ装置２０による検出結果として、電磁波が照射されたそれぞれの方位角における物体の検出点を取得する。詳細には、検出点取得手段１１は、検出点の位置として、ミリ波レーダ装置２０により検出される物体の、自車両１０からの距離と、自車両１０に対する方位角との検出データとを、ミリ波レーダ装置２０の前後方向（自車両１０の前後方向）をＺ軸、該前後方向に直交する水平方向（自車両１０の車幅方向）をＸ軸とするＸＺ平面座標に座標変換して取得する。

ここで、図４に、ミリ波レーダ装置２０による検出結果から取得された検出点のデータを例示する。図４（ａ）に、自車両１０から前方を見た図を模式的に示す。図４（ａ）に示すように、自車両１０の前方には、他車両Ａと電柱Ｂと塀Ｃが存在する。このとき、ミリ波レーダ装置２０により検出された距離及び方位角から、図４（ｂ）に示すように、自車両１０の前後方向をＺ軸、自車両１０の車幅方向をＸ軸としたＸＺ平面上で、物体の検出点Ｐ_１〜Ｐ₁₀が取得される。検出点Ｐ_１〜Ｐ₅は他車両Ａ、検出点Ｐ₆は電柱Ｂ、検出点Ｐ₇〜Ｐ₁₀は塀Ｃで、送信したビームＢＭが反射した反射波の強度を基に検出された距離及び方位角から得られる検出点である。なお、図中の点線は、物体Ａ，Ｂ，ＣでのビームＢＭの反射点と座標平面上の検出点Ｐ_１〜Ｐ₁₀との関係を示している。

次に、ＳＴＥＰ３で、画像処理ユニット１のオプティカルフロー算出手段１８は、異なる時刻で取得された複数の検出点を参照して、該異なる時刻間で同一の物体についての検出点と想定される検出点についてオプティカルフローを算出する。これにより、検出点Ｐ_１〜Ｐ₁₀について、それぞれ、図４（ｂ）の矢印で示すように、各検出点Ｐ_１〜Ｐ₁₀の動きベクトルを示すオプティカルフローが算出される。

次に、ＳＴＥＰ４で、画像処理ユニット１の点列データ抽出手段１２は、算出されたオプティカルフローに基づいて、同一の物体についての検出点であると想定される検出点を抽出する。具体的には、算出されたベクトルの向きと大きさが同じ検出点を、同一の物体のものである検出点と判定する。なお、向きと大きさが「同じ」とは、検出誤差等を考慮して、向きと大きさが同じとみなせる所定範囲を指す。これにより、図５（ｂ）に示したように、検出点Ｐ_１〜Ｐ₅が同一の物体についての検出点であると想定される。そして、点列データ抽出手段１２は、同一の物体についての検出点と想定された検出点Ｐ₁〜Ｐ₅をグループ化し、点列データＱ_１として抽出する。

次に、ＳＴＥＰ５で、画像処理ユニット１の変位特性認識手段１３は、点列データの変位特性を算出する。以下では、図５に示す例を用いて説明する。図５には、自車両１０の前方に前走車Ｄが走行している場合を示す。図５（ａ）に示すように、ＳＴＥＰ１のミリ波レーダ装置２０による検出結果から、ＳＴＥＰ２で検出点Ｐ₁₁〜Ｐ₁₇が取得されている。そして、この検出点Ｐ₁₁〜Ｐ₁₇について、ＳＴＥＰ３で、図５（ａ）中に矢印で示すように、オプティカルフローが算出され、検出点Ｐ₁₁〜Ｐ₁₇が同じ向きと大きさであり、同一の物体のものである点列データＱ₂として抽出されている。

このとき、点列データＱ₂について、変位特性認識手段１３は、図５（ａ）に示すように、まず、点列データＱ₂の幅Ｗを算出する。また、変位特性認識手段１３は、点列データＱ₂から直線成分を抽出する。なお、点列データから直線成分を抽出する手法としては、ハフ変換や、最小２乗法による直線の当てはめ等の手法を用いることができる。これにより、点列データＱ₂から、検出点Ｐ₁₁〜Ｐ₁₄から直線成分Ｓ₁が抽出され、検出点Ｐ₁₄〜Ｐ₁₇から直線成分Ｓ₂が抽出される。そして、変位特性認識手段１３は、２つの直線成分Ｓ₁，Ｓ₂が抽出されているので、抽出された直線成分Ｓ₁，Ｓ₂の成す角度θを算出する。

次に、ＳＴＥＰ６で、変位特性認識手段１３は、ＳＴＥＰ５で算出された点列データＱ₂の変位特性から、点列データＱ₂が所定の変位特性を有するか否かを認識する。ここで、所定の変位特性は、点列データＱ₂が、方位角が増加又は減少するに従って、検出点のミリ波レーダ装置２０からの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる特性である。具体的には、変位特性認識手段１３は、点列データの幅Ｗが所定値Ｗ_th以上で、点列データから２以上の直線成分が抽出されて交点を有し、その角度θが所定値θ_th以上であるときに、点列データが所定の変位特性を有すると認識する。所定の変位特性を有することで、点列データが抽出された物体の表面が直方体形状を有することが把握される。また、所定値Ｗ_th，θ_thは、物体の種別が車両である場合に取り得る値から定められる。例えば、所定値Ｗ_thは、車幅（例えば1［m］70〜80［cm］程度）と車両の全長（例えば4〜5［m］）が取り得る値を含むように定められる。また、例えば、所定値θ_thは、車両の四隅の頂点（例えば60〜120［°］）が取り得る値を含むように定められる。

ＳＴＥＰ６の判断結果がＮＯ（点列データが所定の変位特性を有さない）の場合、ＳＴＥＰ１２に進み、画像処理ユニット１の種別判断手段１４は、点列データが抽出された物体の種別が車両でないと判断する。

一方、ＳＴＥＰ６の判断結果がＹＥＳ（点列データが所定の変位特性を有する）の場合、点列データが抽出された物体の表面が直方体形状を有するので、物体の種別が車両である可能性がある。この場合、ＳＴＥＰ７に進み、画像処理ユニット１は、赤外線カメラ２の出力信号である赤外線画像を取得する。取得された画像は、Ａ／Ｄ変換され、グレースケール画像として画像メモリに格納される。図５（ｂ）に、赤外線カメラ２により撮像された赤外線画像Ｉ₁の例を示す。

次に、ＳＴＥＰ８で、画像処理ユニット１の画像領域特定手段１５は、赤外線カメラ２により撮像された赤外線画像から、ＳＴＥＰ６で認識された変位特性を有する点列データにおいて、第１の状態から第２の状態に切り替わる検出点（頂点）に対応する画像領域を特定する。図５（ａ）に示す例では、検出点Ｐ₁₄が頂点であり、この検出点Ｐ₁₄に対応する画像領域として、図５（ｂ）に示すＲが特定される。

次に、ＳＴＥＰ９で、画像処理ユニット１の輝度情報判断手段１６は、ＳＴＥＰ８で特定された画像領域の輝度値Ｉが所定値Ｉ_th以上であるか否かを判断する。具体的には、輝度情報判断手段１６は、画像領域における各画素の輝度値の平均値、又は最大値が所定値Ｉ_th以上であるか否かを判断する。また、所定値Ｉ_thは、車両のテールライトやヘッドライトの部分の輝度値が取り得る値から定められる。

ＳＴＥＰ９の判断結果がＹＥＳ（輝度値Ｉが所定値Ｉ_th以上である）の場合、頂点に対応する画像領域の輝度値が高いことから、車両のテールライトやヘッドライトの部分である可能性が高い。よって、この場合、ＳＴＥＰ１１に進み、種別判断手段１４は、点列データが抽出された物体の種別が車両であると判断する。

ＳＴＥＰ９の判断結果がＮＯ（輝度値Ｉが所定値Ｉ_th未満である）の場合、ＳＴＥＰ１０に進み、画像処理ユニット１の反射強度比較手段１７は、頂点での反射強度とその他の検出点での反射強度との差ΔＫが所定レベルＫ_th以上であるか否かを判断する。なお、所定レベルＫ_thは、車両のテールライトやヘッドライトとその他の部分との反射強度の差が取り得る値から定められる。

ＳＴＥＰ１０の判断結果がＹＥＳ（反射強度の差ΔＫが所定レベルＫ_th以上）の場合、頂点とその他の検出点との反射強度の差が大きいことから、頂点が車両のテールライトやヘッドライトの部分である可能性が高い。よって、この場合、ＳＴＥＰ１１に進み、種別判断手段１４は、種別判断手段１４は、点列データが抽出された物体の種別が車両であると判断する。

ＳＴＥＰ１０の判断結果がＮＯ（反射強度の差ΔＫが所定レベルＫ_th未満）の場合、ＳＴＥＰ１２に進み、種別判断手段１４は、点列データが抽出された物体の種別が車両でないと判断する。

以上が、本実施形態の物体種別判定装置の画像処理ユニット１における物体種別判定処理である。この処理の結果、自車両の周辺に存在する物体が車両でないと判定された場合、例えば、画像処理ユニット１は、さらに、物体が歩行者であるか否かを判定して、歩行者であると判定された場合、スピーカ６と表示装置７とによる注意喚起を自車両の運転者に対して行う注意喚起処理を実行する。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の歩行者の画像を強調的に表示する。さらに、歩行者が存在することをスピーカ６から運転者に音声案内する。

本実施形態によれば、ミリ波レーダ装置２０による検出結果に基づいて、車両Ｄの種別を適切に判定することができる。そして、この判定結果を用いて、運転者への情報の提示や車両の制御等を適切に行うことができる。

なお、本実施形態では、ＳＴＥＰ６の変位特性による判断、ＳＴＥＰ９の画像領域の輝度値による判断、ＳＴＥＰ１０の反射強度の差による判断の３つの判断結果を組み合わせて物体の種別を判断するものとしたが、これらの３つの判断のうち１つ又は任意の２つの組み合わせにより、物体の種別を判断するものとしてもよい。

また、本実施形態では、検出点取得手段１１により検出点の位置を座標変換し、この変換されたデータを処理して物体の種別を判定するものとしたが、座標変換せず、物体の距離と方位角との検出データをそのまま用いて物体の種別を判定するものとしてもよい。

また、本実施形態では、レーダとしてミリ波レーダ装置２０を用いるとしたが、これ以外に、例えば超音波レーダやレーザレーダ等を用いるものとしてもよい。

本発明の第１実施形態による物体種別判定装置の機能ブロック図。図１の物体種別判定装置に備えたミリ波レーダ装置が送信するミリ波のビームを平面視で示す図。図１の物体種別判定装置における物体種別判定処理を示すフローチャート。図３の物体種別判定処理におけるレーダの検出結果に関する説明図。図３の物体種別判定処理におけるレーダの検出結果と処理画像の例。

符号の説明

２…赤外線カメラ（赤外線撮像手段）、１０…車両、１１…検出点取得手段、１２…点列データ抽出手段、１３…変位特性認識手段、１４…種別判断手段、１５…画像領域特定手段、１６…輝度情報判断手段、１７…反射強度比較手段、１８…オプティカルフロー算出手段、２０…ミリ波レーダ装置（レーダ）。

Claims

レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する物体種別判定装置において、
前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得手段と、
前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出手段と、
前記点列データ抽出手段により抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識手段と、
前記変位特性認識手段による認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断手段と
を備えることを特徴とする物体種別判定装置。
請求項１記載の物体種別判定装置において、
前記検出点取得手段は、前記検出点の位置を、前記レーダの前後方向と、該前後方向に直交する水平方向とで定まる座標平面に変換して取得し、
前記変位特性認識手段は、前記座標平面上で、前記点列データ抽出手段により抽出された点列データから直線成分を抽出し、該直線成分が２以上抽出された場合に、該抽出された２つの直線成分が交点を有するとき、前記点列データが前記変位特性を有すると認識することを特徴とする物体種別判定装置。
請求項１又は２記載の物体種別判定装置において、
前記種別判断手段は、前記変位特性認識手段により前記点列データが前記変位特性を有すると認識された場合に、該点列データが抽出された物体が人工構造物であると判断することを特徴とする物体種別判定装置。
請求項１〜３のうちいずれか記載の物体種別判定装置において、
赤外線撮像手段と、
前記赤外線撮像手段により撮像された赤外線画像から、前記変位特性を有する点列データにおいて、前記第１の状態から前記第２の状態に切り替わる検出点に対応する画像領域を特定する画像領域特定手段と、
前記画像領域特定手段により特定された画像領域の輝度値が所定値以上か否かを判断する輝度情報判断手段とを備え、
前記種別判断手段は、前記輝度情報判断手段の判断結果に基づいて、前記点列データが抽出された物体の種別を判断することを特徴とする物体種別判定装置。
請求項４記載の物体種別判定装置において、
前記種別判断手段は、前記輝度情報判断手段により前記画像領域の輝度値が所定値以上と判断された場合に、前記点列データが抽出された物体が車両であると判断することを特徴とする物体種別判定装置。
請求項１〜５のうちいずれか記載の物体種別判定装置において、
前記変位特性を有する点列データにおいて、前記第１の状態から前記第２の状態に切り替わる検出点での前記反射波の強度と、それ以外の検出点での該反射波の強度との差が所定レベル以上か否かを比較する反射強度比較手段を備え、
前記種別判断手段は、前記反射強度比較手段による比較結果に基づいて、前記点列データが抽出された物体の種別を判断することを特徴とする物体種別判定装置。
請求項６記載の物体種別判定装置において、
前記種別判断手段は、前記反射強度比較手段による比較の結果、前記差が所定レベル以上と判断された場合に、前記点列データが抽出された物体が車両であると判断することを特徴とする物体種別判定装置。
請求項１〜７のうちいずれか記載の物体種別判定装置において、
異なる時刻で前記検出点取得手段により取得される複数の検出点を参照して、該異なる時刻間で同一の物体であると想定される検出点についてオプティカルフローを算出するオプティカルフロー算出手段を備え、
前記点列データ抽出手段は、前記オプティカルフロー算出手段により算出されたオプティカルフローに基づいて、同じ方向に同じ量だけ移動している検出点を、同一の物体であると想定される検出点として、前記点列データを抽出することを特徴とする物体種別判定装置。
請求項１〜８のうちいずれか記載の物体種別判定装置において、
車両に搭載され、該車両の周辺に存在する物体の種別を判定することを特徴とする物体種別判定装置。
レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する物体種別判定方法であって、
前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得ステップと、
前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出ステップと、
前記点列データ抽出ステップにより抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識ステップと、
前記変位特性認識ステップによる認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断ステップと
を備えたことを特徴とする物体種別判定方法。
レーダにより周辺領域に電磁波を照射して該電磁波の反射波を受信し、該反射波による該周辺領域に存在する物体の検出結果に基づいて、該物体の種別を判定する処理をコンピュータに実行させる物体種別判定用プログラムであって、
前記レーダにより複数の方位角に電磁波を照射し、それぞれの方位角における物体の検出点を取得する検出点取得処理と、
前記取得された複数の検出点のうち、同一の物体についての検出点であると想定される検出点をグループ化して、点列データとして抽出する点列データ抽出処理と、
前記点列データ抽出手段により抽出された点列データが、前記方位角が増加又は減少するに従って、前記検出点の前記レーダからの距離が直線的に減少する第１の状態から直線的に増加する第２の状態に切り替わる変位特性を有するか否かを認識する変位特性認識処理と、
前記変位特性認識手段による認識結果に応じて、前記点列データが抽出された物体の種別を判断する種別判断処理と
を前記コンピュータに実行させる機能を有することを特徴とする物体種別判定用プログラム。