JP6200848B2 - 物体認識装置 - Google Patents

Description

本発明は、車両等の物体を認識する装置に関する。

撮像装置と、探査信号を用いて物体を検知する物体検知装置（レーダ等）とを併用して監視領域に存在する車両等の物体を認識する技術が従来より知られている。例えば特許文献１には、自車両の前方を撮像する車載カメラと、ミリ波レーダとを併用して自車両の前方に存在する障害物を認識する技術が記載されている。

この種の技術では、監視領域に存在する物体の種別、位置、方位等を精度よく認識し得るようにするために、レーダ等の物体検知装置により検出された物体が、撮像画像の撮像画像中のどの部分に写っているかを適切に特定する必要がある。

このため、例えば前記特許文献１には、車載カメラとミリ波レーダの軸ずれ量を推定し、推定した軸ずれ量に応じて車載カメラの撮像画像における物体の位置を補正する技術が提案されている。

この技術では、ミリ波レーダにより検知された物体の自車両からの距離及び方位角と、車載カメラの撮像画像に基づいて推定した物体の自車両からの距離及び方位角とを各々比較し、それぞれの差が所定値未満である場合に、物体の方位角の差の過去平均値を上記ずれ量として推定するようにしている。

特開２０１０−２４９６１３号公報

前記特許文献１に提案されている技術では、車載カメラとミリ波レーダの軸ずれ量を推定するために、ミリ波レーダにより検知された物体と同一の物体を車載カメラの撮像画像から探索し、その探索した画像に基づいて、該物体までの距離及び方位角を推定する必要がある。

この場合、上記探索のための演算処理負荷が大きなものとなりやすい。特に、上記軸ずれ量が比較的大きなものとなると、ミリ波レーダにより検知された物体と同一の物体を探索するための演算処理負荷が増大し、あるいは、該物体を探索することが困難となりやすい。

また、天候状態や外界の明るさ等の影響で、撮像画像から物体を探索することが困難となる状況も生じやすい。

本発明はかかる背景に鑑みてなされたものであり、撮像装置と物体検知装置とを備える物体認識装置において、物体検知装置により検知された物体を、撮像装置の撮像画像から認識するための処理を少ない演算処理負荷で適切に行うことを可能とする物体認識装置を提供することを目的とする。

本発明の物体認識措置は、かかる目的を達成するために、監視領域を撮像する撮像装置と、前記監視領域に探査信号を送信し、該探査信号を用いて該監視領域に存在する物体を検知する物体検知装置とを備え、該物体検知装置により検知された物体を前記撮像装置の撮像画像で認識する処理を実行する物体認識装置であって、
前記撮像装置の撮像画像から画素値変化を生じるエッジを抽出するエッジ抽出手段と、
前記物体検知装置により検知された物体の位置情報を用いて、前記撮像画像における該物体の画像投影領域の暫定位置である物体投影暫定位置を設定する物体投影暫定位置設定手段と、
前記エッジ抽出手段により抽出されたエッジから、前記物体検知装置により検知された物体の画像に対応するエッジの候補である候補エッジを選定し、当該選定した候補エッジの位置と前記物体投影暫定位置設定手段により設定された前記物体投影暫定位置との差に応じて決定した補正量だけ、前記物体投影暫定位置から補正してなる位置に、前記撮像画像における前記物体の画像の認識用の画像処理領域を設定する画像処理領域設定手段と、
該画像処理領域設定手段により設定された画像処理領域における画像処理を実行することにより前記撮像画像中の物体の画像を認識する物体画像認識手段とを備えることを基本構成とする。

かかる基本構成によれば、物体投影暫定位置設定手段により、前記撮像画像における該物体の画像投影領域の暫定位置である物体投影暫定位置を設定される。この場合、撮像装置の姿勢と物体検知装置の検知方向との相対関係のばらつき、あるいは変動等に起因して、物体投影暫定位置は、前記物体の実際の画像投影領域の位置からずれている場合がある。

また、前記撮像画像から、前記エッジ抽出手段よりエッジが抽出される。

ここで、撮像装置の撮像画像中に車両等の物体（撮像画像からの認識対象の物体）の画像が写っている場合に、該撮像画像からエッジを抽出した場合、該物体の画像から、複数のエッジが比較的密集して抽出される場合が多い。

例えば車両を背面側あるいは正面側から見た画像では、車両の上端の輪郭に相当する水平エッジ以外に、窓枠、ナンバープレート、バンパー、灯火器の枠等に相当する複数のエッジが抽出される場合が多い。

また、撮像画像中に物体の画像が鮮明に写っている場合だけでなく、天候や明るさ等の影響で該物体の画像がある程度不鮮明なものとなっていても、該物体の少なくとも一部のエッジが抽出されやすい。

従って、撮像画像から抽出されたエッジは、実際の物体の画像から抽出されたものとなる可能性が高い。

前記画像処理領域設定手段は、このことを利用して、前記物体投影暫定位置を補正した位置に画像処理領域を設定する。

すなわち、前記画像処理領域設定手段は、抽出されたエッジから、前記物体検知装置により検知された物体の画像に対応するエッジの候補である候補エッジを選定し、当該選定した候補エッジの位置と前記物体投影暫定位置との差に応じて決定した補正量だけ、前記物体投影暫定位置から補正してなる位置に前記画像処理領域を設定する。

これにより、撮像画像において、前記物体が実際に写っている箇所に前記画像処理領域を設定することを高い信頼性で行うことが可能となる。

なお、上記候補エッジは、前記物体投影暫定位置からの距離（撮像画像上での距離）等に応じて選定できる。

そして、前記物体画像認識手段は、前記画像処理領域設定手段により設定された画像処理領域における画像処理を実行することにより前記撮像画像中の物体の画像を認識する。

この場合、画像処理領域が上記の如く設定されているので、撮像画像中に認識対象の物体の実際の画像が写っている場合には、高い信頼性で該物体の画像を認識することが可能となる。

かかる基本構成によれば、エッジ抽出手段により抽出されたエッジを利用して、前記画像処理領域を設定するので、高負荷の画像処理演算等を必要とすることなく効率よく適切に画像処理領域を設定できる。しかも、天候や明るさ等の影響で物体の画像が鮮明になり難い場合であっても、高い信頼性で適切な画像処理領域を設定できる。すなわち、物体の実際の画像が該画像処理領域に含まれるように該画像処理領域を設定することを、高負荷の画像処理演算等を必要とすることなく、効率よく高い信頼性で行うことができる。

ひいては、物体検知装置により検知された物体を、撮像装置の撮像画像から認識するための処理を少ない演算処理負荷で適切に行うことが可能となる。

本発明は、上記基本構成に加えて、前記物体投影暫定位置設定手段は、前記物体検知装置により複数の物体が検知された場合に、該複数の物体のそれぞれに対応する前記物体投影暫定位置を設定するように構成される。そして、前記画像処理領域設定手段は、検知された各物体に対応して選定した前記候補エッジの位置と該物体に対応する前記物体投影暫定位置との差を示すベクトルを前記複数の物体のそれぞれについて算出し、該ベクトルのうち、方向及び大きさの少なくともいずれか一方が互いに近似する複数のベクトルから成るベクトル群に基づいて、前記複数の物体のそれぞれに対応する前記補正量を決定するように構成されていることを特徴とする（第１発明）。

なお、本発明において、方向及び大きさの少なくともいずれか一方が互いに近似する複数のベクトルというのは、該複数のベクトルの方向が互いに同一もしくはほぼ同一であるとみなすための所定の条件が成立するか、あるいは、該複数のベクトルの大きさが互いに同一もしくはほぼ同一であるとみなすための所定の条件が成立するか、あるいは、当該両条件が成立する複数のベクトルを意味する。

この場合、複数のベクトルの方向に関する所定の条件としては、例えば該複数のベクトルのうちの任意の二つのベクトルの方向の差が所定値以下であるという条件、あるいは、該複数のベクトルの方向の分散が所定値以下であるという条件を採用できる。

同様に、複数のベクトルの大きさに関する所定の条件としては、例えば該複数のベクトルのうちの任意の二つのベクトルの大きさの差が所定値以下であるという条件、あるいは、該複数のベクトルの大きさの分散が所定値以下であるという条件を採用できる。

また、上記各条件における所定値は、例えば実験等に基づいてあらかじめ設定しておくことができる。

上記第１発明によれば、前記複数の物体のそれぞれに対応して算出されるベクトルのうち、方向及び大きさの少なくともいずれか一方が互いに近似する複数のベクトルから成るベクトル群に基づいて前記補正量が決定される。このため、画像処理領域の適切な位置を決定する上で、好適な補正量を高い信頼性で決定できる。ひいては、物体認識手段による物体認識の信頼性をより一層高めることができる。

上記第１発明では、前記画像処理領域設定手段は、前記各物体に対応する前記候補エッジの位置と前記物体投影暫定位置との差を示すベクトルの大きさの値として、該候補エッジの位置と該物体投影暫定位置との間の間隔値を、前記物体検知装置により検知された当該物体の位置情報により示される前記撮像装置から当該物体への距離に応じて補正してなる値を用い、少なくとも当該補正後の大きさの値が互いに近似する複数のベクトルから成る前記ベクトル群に基づいて、前記複数の物体のそれぞれに対応する前記補正量を決定するように構成されていることが好ましい（第２発明）。

これによれば、前記補正量を決定するために、大きさが近似する複数のベクトルから成るベクトル群を使用する場合に、前記撮像装置からの前記物体の距離によらずに、前記補正量を決定するために適切な大きさのベクトル群を使用することが可能となる。ひいては、各物体に対応する画像処理領域の位置を決定する上で、好適な補正量を高い信頼性で決定できる。

上記第２発明では、より具体的には、前記各物体に対応する前記候補エッジの位置と前記物体投影暫定位置との差を示すベクトルの大きさの値は、前記撮像装置から当該物体への距離が大きいほど、大きくなるように前記間隔値を補正してなる値であることが好ましい（第３発明）。

これによれば、上記第２発明の効果を的確に実現できる。

また、前記第１〜第３発明では、前記画像処理領域設定手段は、前記ベクトル群を構成する複数のベクトルの加重平均のベクトルを算出し、該加重平均のベクトルの大きさ及び方向に応じて前記補正量を決定するように構成されていると共に、前記加重平均のベクトルを算出する処理において、前記ベクトル群を構成する各ベクトルに付加する重み係数を、該ベクトルに対応する物体について前記物体検知装置により検出された位置情報と、該ベクトルに対応する前記エッジの上側及び下側の少なくともいずれか一方側の領域におけるエッジの密集度合とのうちの少なくともいずれか一方に応じて決定するように構成されていることが好ましい（第４発明）。

これによれば、前記物体投影暫定位置と、実際の物体の画像が存在する位置との間の差（ずれ量）に応じたものとしての信頼性が相対的に高いベクトルに対する依存性が相対的に高くなるように前記加重平均のベクトルを算出することが可能となる。

このため、該加重平均のベクトルに基づいて決定される前記補正量の信頼性、ひいては、前記画像処理領域の設定位置の信頼性をより一層高めることができる。

本発明の実施形態における物体認識装置のシステム構成を示す図。 図１に示す物体投影暫定位置設定部、エッジ抽出部及び画像処理領域設定部の処理に関する説明図。 図１に示す画像処理領域設定部の処理を示すフローチャート。

本発明の一実施形態を図１〜図３を参照して以下に説明する。

本実施形態の物体認識装置１は、道路を走行する車両１００に搭載されている。この物体認識装置１は、撮像装置２と、レーダ３と、制御装置４とを備える。

撮像装置２は、単眼カメラ等により構成される。そして、撮像装置２は、車両１００（以降、自車両１００ということがある）の周辺の監視領域、例えば前方領域を撮像するように自車両１００に搭載されている。この撮像装置２の撮像画像は、カラー画像及びモノトーン画像のいずれであってもよい。また、撮像装置２は、２台以上のカメラにより構成されるステレオカメラであってもよい。

レーダ３は、本発明における物体検知装置に相当し、公知のミリ波レーダ等により構成される。そして、レーダ３は、上記監視領域（自車両１００の前方領域）に存在する監視対象の物体を検知し得るように自車両１００に搭載されている。監視対象の物体は、本実施形態では、自車両１００の前方に存在する他車両である。

このレーダ３は、上記監視領域に探査信号（ミリ波等）を送信し、該監視領域に存在する物体で反射される探査信号（反射信号）を受信する。そして、レーダ３は、受信した反射信号に基づいて、物体を検知する。さらに、レーダ３は、検知した物体の自車両１００からの距離及び方位を検出し、それらの検出値を該物体の位置情報として出力する。以降の説明では、レーダ３により検知された物体をレーダ検知物体ということがある。

制御装置４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットにより構成される。

この制御装置４は、実装されるプログラムにより実現される機能、あるいは、ハードウェア構成により実現される機能として、撮像装置２の空間的な姿勢を推定する撮像装置姿勢推定部１１と、撮像装置２の撮像画像におけるレーダ検知物体の画像投影領域の暫定位置である物体投影暫定位置を設定する物体投影暫定位置設定部１２と、撮像装置２の撮像画像から水平エッジを抽出するエッジ抽出部１３と、物体投影暫定位置設定部１２により設定された物体投影暫定位置の補正量を決定し、該補正量により物体投影暫定位置を補正してなる位置に物体認識用の画像処理領域を設定する画像処理領域設定部１４と、該画像処理領域における画像処理によって監視対象の物体（他車両）の画像を認識する物体画像認識部１５と、該監視対象の物体の位置（自車両１００に対する相対位置）を算出する物***置算出部１６とを備える。

なお、物体投影暫定位置設定部１２、エッジ抽出部１３、画像処理領域設定部１４、及び物体画像認識部１５は、それぞれ、本発明における物体投影暫定位置設定手段、エッジ抽出手段、画像処理領域設定手段、及び物体画像認識手段に相当する。

次に、制御装置４の処理を中心に、本実施形態の物体認識装置１の作動を説明する。

制御装置４は、所定の制御処理周期で撮像装置２の撮像画像を取得し、現在時刻から所定時間前までの撮像画像を図示しない画像メモリに記憶保持する。

そして、制御装置４は、これらの撮像画像を用いて、撮像装置姿勢推定部１１の処理を実行することで、撮像装置２の空間的な姿勢（ピッチ角、パン角、及びロール角により表される姿勢）を逐次推定する。

この場合、撮像装置姿勢推定部１１は、例えばＳＦＭ（Structure From Motion）という公知の手法を用いて、撮像装置２の姿勢を推定する。

また、制御装置４は、レーダ３の検知情報を所定の制御処理周期で取得する。該検知情報には、レーダ３が探査信号により検知した各物体（レーダ検知物体）の位置情報（自車両１００からの距離及び方位の検出値）が含まれる。

そして、制御装置４は、レーダ検知物体の位置情報と、撮像装置姿勢推定部１１により推定された撮像装置２の姿勢とを用いて、物体投影暫定位置設定部１２の処理を実行する。

具体的には、物体投影暫定位置設定部１２は、撮像装置姿勢推定部１１により推定された撮像装置２の姿勢と、レーダ３から取得した各レーダ検知物体の位置情報とが正しいと仮定して、該撮像装置２の姿勢の推定値とレーダ検知物体の位置情報とに基づいて、撮像装置２の撮像画像中で各レーダ検知物体の投影画像が存在すると推定される画像領域（画像投影領域）を設定する。

この場合、撮像装置２の姿勢の推定値と、各レーダ検知物体の方位の検出値とに基づいて、該レーダ検知物体が、撮像装置２から見て、どの方位に存在するかを推定できる。そして、撮像装置２から見たレーダ検知物体の方位と、該レーダ検知物体の距離の検出値とに基づいて、撮像画像中で各レーダ検知物体の投影画像が存在すると推定される画像領域を設定することができる。

このように設定される画像領域（画像投影領域）は、該画像領域内にレーダ検知物体の投影画像が実際に存在するか否かによらずに暫定的に（仮に）設定される領域であり、以降、暫定物体画像領域という。

本実施形態では、暫定物体画像領域は、例えば、図２に例示する如く方形状の領域として設定される。図示例では、レーダ３により３つのレーダ検知物体が検知された状況で、これらのレーダ検知物体にそれぞれ対応する３つの暫定物体画像領域２１ａ，２１ｂ，２１ｃが設定されている。

ここで、レーダ検知物体が自車両１００に近いほど（撮像装置２に近いほど）、該レーダ検知物体の投影画像は大きくなる。このため、本実施形態では、各暫定物体画像領域の上下方向及び横方向の幅は、該暫定物体画像領域に対応するレーダ検知物体の自車両１００からの距離が小さいほど（ひいては、撮像装置２からレーダ検知物体までの距離が小さいほど）、大きくなるように該距離の検出値（レーダ３による検出値）に応じて設定される。

例えば、図２に示す例では、暫定物体画像領域２１ａ，２１ｂ，２１ｃにそれぞれ対応するレーダ検知物体の距離の検出値の大小関係は、暫定物体画像領域２１ａ，２１ｂ，２１ｃの順番で小、中、大となっている。このため、暫定物体画像領域２１ａ，２１ｂ，２１ｃのそれぞれの上下方向及び横方向の幅は、図２に示す如く、暫定物体画像領域２１ａ，２１ｂ，２１ｃの順番で大、中、小となる。

なお、撮像装置２の姿勢の推定値と、各レーダ検知物体の距離及び方位の検出値とが精度よく実際の値に一致する場合には、上記の如く設定される暫定物体画像領域には、レーダ検知物体の画像が投影される。ただし、上記推定値あるいは検出値は、一般には誤差を有する。そして、その誤差に起因して、撮像画像におけるレーダ検知物体の実際の画像が暫定物体画像領域からずれた位置に存在する場合もある。

物体投影暫定位置設定部１２は、さらに、上記の如く設定した暫定物体画像領域の代表点の位置を、レーダ検知物体の画像投影領域の暫定位置として設定する。この場合、上記代表点としては、暫定物体画像領域の中心点、あるいは、暫定物体画像領域の下端の辺上の中央点等を採用することができる。

一例として、本実施形態では、暫定物体画像領域の下端の辺上の中央点が該暫定物体画像領域の代表点とされる。この場合、図２に例示する如く、各暫定物体画像領域２１ａ，２１ｂ，２１ｃの下端の辺上の中央点２１ap，２１bp，２１cpの位置（撮像画像上での画素位置）が、それぞれ、各暫定物体画像領域２１ａ，２１ｂ，２１ｃに対応するレーダ検知物体の画像投影領域の暫定位置として設定される。以降、このように設定されるレーダ検知物体の画像投影領域の暫定位置を、物体投影暫定位置という。

補足すると、本実施形態では、暫定物体画像領域は、方形状以外の形状（例えば楕円形状、台形状等）に設定するようにすることも可能である。

また、本実施形態では、撮像装置２の姿勢を撮像装置姿勢推定部１１により推定し、その姿勢の推定値を用いて暫定物体画像領域を設定するようにした。ただし、撮像装置２の姿勢（レーダ３の物体検知方向に対する相対姿勢）が一定であると見なして（一定であると仮定して）、レーダ検知物体の位置情報に基づいて、暫定物体画像領域を設定することも可能である。この場合には、撮像装置２の姿勢推定を省略してもよい。

また、制御装置４は、各制御処理周期で取得した撮像画像に対して前記エッジ抽出部１３の処理を実行する。この処理では、エッジ抽出部１３は、撮像画像の上下方向での画素値（例えば輝度値）の変化に基づいて、微分フィルタ等により水平エッジを抽出する。

なお、撮像画像がカラー画像である場合には、輝度値の代わりに、色相もしくは彩度等に基づいて、あるいは、輝度値と、色相もしくは彩度とを併用して、水平エッジを抽出するようにしてもよい。水平エッジを抽出する手法は、種々様々の公知の手法を採用できる。

かかるエッジ抽出部１３の処理により、例えば図２に例示する如く、複数の水平エッジ２２が抽出される。

ここで、撮像画像から抽出される水平エッジに関して補足すると、撮像装置２の撮像領域（監視領域）に存在する監視対象の物体としての他車両の画像が該撮像装置２の撮像画像中に写っている場合、一般に、各他車両のタイヤの接地箇所のライン（路面上のライン）、車体下端のライン、窓枠のライン、バンパーのライン、テールランプのライン、ナンバープレートのライン等、複数の水平エッジが各他車両の画像において抽出される。

従って、基本的には、水平エッジが上下方向に密集して並んでいるような箇所は、監視対象の他車両の画像が投影されている可能性が高い。

制御装置４は、次に、エッジ抽出部１３により抽出された水平エッジと、物体投影暫定位置設定部１２により設定された物体投影暫定位置とを用いて、画像処理領域設定部１４の処理を実行する。この処理では、水平エッジに関する上記の特性を利用して、物体認識用の画像処理領域が設定される。

この画像処理領域設定部１４の処理は、図３のフローチャートに示す如く実行される。

すなわち、画像処理領域設定部１４は、まず、ＳＴＥＰ１において、物体投影暫定位置設定部１２により設定された１つの暫定物体画像領域を選択する。

そして、画像処理領域設定部１４は、選択した暫定物体画像領域に関するＳＴＥＰ２〜４の処理（詳細は後述する）を実行した後、ＳＴＥＰ５において、未選択の暫定物体画像領域があるか否かを判断する。

このＳＴＥＰ５の判断結果が肯定的である場合には、画像処理領域設定部１４は、未選択の暫定物体画像領域のうちの一つをＳＴＥＰ１で新たに選択し、その選択した暫定物体画像領域に関するＳＴＥＰ２〜４の処理を実行する。

このようにして、画像処理領域設定部１４は、物体投影暫定位置設定部１２により設定された暫定物体画像領域のそれぞれを順次選択し、選択した各暫定物体画像領域毎に、ＳＴＥＰ２〜４の処理を実行する。

ＳＴＥＰ１で選択された各暫定物体画像領域に関するＳＴＥＰ２〜４の処理は、次のように実行される。ＳＴＥＰ２では、画像処理領域設定部１４は、エッジ抽出部１３により抽出された水平エッジのなかから、選択中の暫定物体画像領域に対応するレーダ検知物体の画像から抽出された可能性が高いと推察される１つ以上の水平エッジを、該暫定物体画像領域に対応する候補エッジとして選定する。

具体的には、画像処理領域設定部１４は、選択中の暫定物体画像領域に近い１つ以上の水平エッジを候補エッジとして選定する。

ここで、選択中の暫定物体画像領域に近い水平エッジ（候補エッジとして選定される水平エッジ）は、該水平エッジ上の代表点、例えば該水平エッジの中央点と、該暫定物体画像領域の代表点（前記物体投影暫定位置の点）との間の間隔（撮像画像上での間隔）が所定値以下となる水平エッジである。

当該所定値は、暫定物体画像領域に対応するレーダ検知物体の自車両１００からの距離（実空間での距離）が大きいほど小さくなるように、該距離に応じて設定される。

また、ＳＴＥＰ２の処理（候補エッジを選定する処理）では、上下方向に高い密集度合で並んでいる複数の水平エッジ（より詳しくは、例えば所定値以下のピッチ、あるいは、所定値以上の密度で上下方向に並ぶ複数の水平エッジ）は、１グループの水平エッジ群として取り扱われる。

なお、上記ピッチは、上下方向に隣り合う各対の水平エッジの間の上方方向間隔を意味する。また、上記密度は、上下方向の単位間隔当たりに含まれる水平エッジの個数を意味する。

各グループの水平エッジ群は、換言すれば、同一の他車両の画像から抽出されたものである可能性が高い水平エッジ群である。

そして、各グループの水平エッジ群のうちの一つの代表水平エッジだけが上記候補エッジの選定対象とされる。この場合、本実施形態では、一例として、各グループの水平エッジ群のうちの最下端の水平エッジが、上記候補エッジの選定対象の代表水平エッジとされる。

従って、ＳＴＥＰ２では、いずれかのグループの水平エッジ群の代表水平エッジと、いずれのグループにも属さない孤立した水平エッジとのうち、選択中の暫定物体画像領域に近い水平エッジが、候補エッジとして選定される。

例えば図２において、暫定物体画像領域２１ａがＳＴＥＰ１で選択されている場合、水平エッジ２２a1と水平エッジ２２a2とが候補エッジとして選定される。また、暫定物体画像領域２１ｂがＳＴＥＰ１で選択されている場合、水平エッジ２２b1と水平エッジ２２b2とが候補エッジとして選定される。また、暫定物体画像領域２１ｃがＳＴＥＰ１で選択されている場合、水平エッジ２２c1が候補エッジとして選定される。

補足すると、各グループの水平エッジ群のうちの代表水平エッジ（候補エッジの選定対象の水平エッジ）として、該水平エッジ群の最下端の水平エッジ以外の水平エッジ（例えば、最上端の水平エッジ、あるいは、最上端と最下端との間の中央もしくはほぼ中央の水平エッジ等）を採用してもよい。

次いで、ＳＴＥＰ３において、画像処理領域設定部１４は、選択中の暫定物体画像領域の代表点（物体投影暫定位置の点）から各候補エッジの代表点（中央点）に向かうベクトルである画像変位ベクトルを算出する。この画像変位ベクトルは、暫定物体画像領域の位置（物体投影暫定位置）と、各候補エッジの位置の差を示すベクトルの基礎となるベクトルである。

そして、ＳＴＥＰ３では、該画像変位ベクトルの大きさ（絶対値）及び方向（向き）が算出される。この場合、該画像変位ベクトルの大きさは、暫定物体画像領域の位置（物体投影暫定位置）と、各候補エッジの位置との間の間隔値に一致する。

図２には、各物体画像領域毎にＳＴＥＰ３で算出される画像変位ベクトルの例が示されている。この例では、暫定物体画像領域２１ａに対応して２つの画像変位ベクトル２３a1，２３a2が算出され、暫定物体画像領域２１ｂに対応して２つの画像変位ベクトル２３b1，２３b2が算出され、暫定物体画像領域２１ｃに対応して１つの画像変位ベクトル２３cが算出される。

次いで、ＳＴＥＰ４において、画像処理領域設定部１４は、各候補エッジに対応する画像変位ベクトルを、選択中の暫定物体画像領域に対応するレーダ検知物体の位置情報（詳しくは距離の検出値）に応じて規格化することで、規格化画像変位ベクトルを算出する。該規格化画像変位ベクトルは、画像変位ベクトルと同じ向きを有し、且つ、その大きさを、元の画像変位ベクトルの大きさからレーダ検知物体の距離の検出値に応じて補正してなるベクトルである。

具体的には、画像処理領域設定部１４は、選択中の暫定物体画像領域に対応するレーダ検知物体の距離の検出値と同じ距離位置（実空間での位置）の平面上（撮像装置２の撮像面に平行な平面上）に、画像変位ベクトルに対応する仮想的なベクトルが存在すると仮定して、該仮想的なベクトルを算出する。

この場合、該仮想的なベクトルを撮像画像上に投影したとき（該仮想的なベクトルを撮像装置２により撮像したときに）該撮像画像上に得られる像が画像変位ベクトルに一致するように、該仮想的なベクトルが算出される。

そして、この仮想的なベクトルにあらかじめ定められた所定の比例定数α（α：ゼロ以外の正の値）を乗じたベクトルが規格化画像変位ベクトルとして算出される。なお、比例定数αは、“１”でもよい。この場合、仮想的なベクトルが、そのまま規格化画像変位ベクトルとして決定される。

このように算出される規格化画像変位ベクトルは、元の画像変位ベクトルと同じ向きのベクトルである。そして、該規格化画像変位ベクトルは、元の画像変位ベクトルの大きさを一定とした場合、選択中の暫定物体画像領域に対応するレーダ検知物体の距離の検出値が大きいほど（換言すれば、撮像装置２からレーダ検知物体までの距離が大きいほど）、大きくなるように算出される。

このため、例えば図２に示す例では、暫定物体画像領域２１ａに対応する画像変位ベクトル２３a1，２３a2が、それぞれ、破線の矢印２４a1，２４a2で示す大きさの規格化画像変位ベクトルに変換されるとした場合、暫定物体画像領域２１ｂに対応する画像変位ベクトル２３b1，２３b2と、暫定物体画像領域２１ｃに対応する画像変位ベクトル２３cとは、それぞれ、より大きい規格化画像変位ベクトル２４b1，２４b2，２４cに変換される。

本実施形態では、上記の如く算出される規格化画像変位ベクトルの大きさが、暫定物体画像領域の位置（物体投影暫定位置）と、各候補エッジの位置の差を示すベクトルの大きさとして用いられる。

各暫定物体画像領域毎のＳＴＥＰ２〜４の処理は以上の如く実行される。

暫定物体画像領域のそれぞれについてのＳＴＥＰ２〜４の処理が完了すると、ＳＴＥＰ５の判断結果が否定的になる。この場合、画像処理領域設定部１４は、ＳＴＥＰ６からの処理を実行する。

ＳＴＥＰ６では、画像処理領域設定部１４は、前記の如く算出された規格化画像変位ベクトルのうち、大きさと方向とがそれぞれ近似する複数の規格化画像変位ベクトルにより構成されるベクトル群（以降、代表ベクトル群という）を統計的手法等を用いて選択する。この場合、該代表ベクトル群は、例えば、それに含まれる任意の二つの規格化画像変位ベクトルの相互の大きさの差と、方向の差とが各々所定値以下に収まるという条件を満たすように選択される。

なお、上記代表ベクトル群は、例えば、それに含まれる規格化画像変位ベクトルの大きさの分散と方向の分散とがそれぞれ所定値以下に収まるという条件を満たすように選択してもよい。

このように、大きさと方向とがそれぞれ同一もしくはほぼ同一であるとみなし得る（近似するとみなし得る）条件を満たす複数の規格化画像変位ベクトルがＳＴＥＰ６で代表ベクトル群として選択される。

例えば、図２に示す例では、規格化画像変位ベクトル２４a1，２４b1，２４cから成るベクトル群が代表ベクトル群としてＳＴＥＰ６で選択される。

次いで、ＳＴＥＰ７において、画像処理領域設定部１４は、代表ベクトル群の規格化画像変位ベクトルの加重平均（重み付き平均）のベクトル（以降、加重平均ベクトルという）を算出する。

この場合、暫定物体画像領域と、レーダ検知物体の実際の画像が存在する領域とのずれ量に応じたものとしての信頼性がより高いと考えられる規格化画像変位ベクトルの重み係数の値をより大きくするように、代表ベクトル群の各規格化画像変位ベクトルの重み係数（＞０）が決定される。

例えば、レーダ３による距離の検出値が相対的に小さいレーダ検知物体の暫定物体画像領域に対応する規格化画像変位ベクトルの方が、暫定物体画像領域とレーダ検知物体の実際の画像が存在する領域とのずれ量に応じたものとしての信頼性が相対的に高いと考えられる。

そこで、本実施形態では、レーダ３による距離の検出値が相対的に小さいレーダ検知物体の暫定物体画像領域に対応する規格化画像変位ベクトルの重み係数が、より大きい値となるように、代表ベクトル群の各規格化画像変位ベクトルの重み係数が決定される。そして、このように決定された重み係数を用いて、加重平均ベクトルが算出される。

例えば図２に示す例では、代表ベクトル群に属するものとなる規格化画像変位ベクトル２４a1，２４b1，２４cにかかる重み係数をそれぞれＷa、Ｗb、Ｗcとしたとき、Ｗa＞Ｗb＞Ｗc、且つ、Ｗa＋Ｗb＋Ｗc＝１となるように重み係数Ｗa、Ｗb、Ｗcが決定される。そして、Ｗa、Ｗb、Ｗcをそれぞれ規格化画像変位ベクトル２４a1，２４b1，２４cに乗じてなるベクトルを加算する（ベクトル量の加算演算を行う）ことにより、加重平均ベクトルが算出される。

補足すると、重み係数を、レーダ検知物体の距離の検出値に応じて決定する代わりに、例えば次のように決定してもよい。すなわち、前記水平エッジ群は、その密集度合が高いほど、監視対象の物体としての他車両の画像から抽出されたものの可能性が高い。このため、密集度合がより高い水平エッジ群で選定された候補エッジに対応する規格化画像変位ベクトルは、暫定物体画像領域とレーダ検知物体の実際の画像が存在する領域とのずれ量に応じたものとしての信頼性が高いと考えられる。

従って、例えば、代表ベクトル群の各規格化画像変位ベクトルに対応する候補エッジが属する水平エッジ群の密集度合が高いほど、該規格化画像変位ベクトルの重み係数を大きくするように、代表ベクトル群の各規格化画像変位ベクトルの重み係数を決定するようにしてもよい。

なお、本実施形態では、ＳＴＥＰ２で水平エッジ群から選定される候補エッジは、該水平エッジ群の最下端の水平エッジであるので、該水平エッジ群の密集度合は、結果的に、当該候補エッジの上側における水平エッジ群の密集度合となる。

ただし、候補エッジとして、例えば、水平エッジ群の最上端の水平エッジを選定した場合には、該水平エッジ群の密集度合は、該候補エッジの下側における水平エッジ群の密集度合となる。また、候補エッジとして、例えば、水平エッジ群の最上端と最下端との間の水平エッジを選定した場合には、該水平エッジ群の密集度合は、該候補エッジの上下の間隔内における水平エッジ群の密集度合となる。

次いで、ＳＴＥＰ８において、画像処理領域設定部１４は、上記の如く算出した加重平均ベクトルを用いて、各レーダ検知物体に対応する暫定物体画像領域の位置（物体投影暫定位置）の補正量を算出する。

具体的には、画像処理領域設定部１４は、加重平均ベクトルを前記比例定数αで除算してなるベクトルを、レーダ検知物体の距離の検出値に一致する距離位置の平面上に配置し、該ベクトルを撮像画像に投影したときに、該撮像画像中に得られるベクトルの大きさ及び方向を、物体投影暫定位置の補正量として算出する。これにより、加重平均ベクトルは、各レーダ検知物体の距離の検出値に対応する補正量に変換される。

次いで、ＳＴＥＰ９において、画像処理領域設定部１４は、各暫定物体画像領域を、ＳＴＥＰ８で算出した補正量だけずらす（撮像画像上でシフトする）ことにより、該暫定物体画像領域に対応するレーダ検知物体の画像を認識するための画像処理領域を設定する。

なお、画像処理領域は、本実施形態では、暫定物体画像領域と同じサイズの領域であるが、画像処理領域のサイズと、暫定物体画像領域のサイズとが若干異なっていてもよい。例えば画像処理領域の横方向又は縦方向の幅を、暫定物体画像領域よりも若干大きくしてもよい。

以上が、画像処理領域設定部１４の処理の詳細である。

制御装置４は、以上の如く画像処理領域設定部１４の処理を実行した後、物体画像認識部１５の処理を実行する。この物体画像認識部１５の処理では、撮像装置２の撮像画像中で上記の如く設定された画像処理領域において、画像パターンのマッチング処理等の画像認識処理を実行することで、該画像処理領域に、監視対象（認識対象）の物体としての他車両の画像が実際に存在しているか否かを認識する。

そして、制御装置４は、画像処理領域に他車両の画像が存在していることを認識した場合には、該他車両の画像と、前記撮像装置姿勢推定部１１で推定された撮像装置２の姿勢とを用いて、該他車両の実空間位置（自車両１００に対する相対位置）を算出する。なお、この場合、レーダ３によるレーダ検知物体の位置情報を、他車両の実空間位置の算出処理に適宜利用してもよい。

なお、物体画像認識部１５による他車両の認識結果と、物***置算出部１６による他車両の実空間位置の算出値とは、例えば、自車両１００と他車両との接触を避けるための制動制御あるいは警報制御等に利用される。

以上の如く制御装置４の処理が実行されることで、撮像装置２の撮像画像中でレーダ検地物体の画像が実際に存在する可能性が高い箇所に、画像処理領域を設定することを高い信頼性で行うことができると共に、その設定処理を少なく演算処理負荷で行うことができる。

このため、レーダ検知物体が監視対象の物体（本実施形態で他車両）であるか否かを撮像装置２の撮像画像から、大きな演算処理負荷を必要とすることなく、高い信頼性で効率よく認識することができる。

なお、以上説明した実施形態では、エッジ抽出部１３は、水平エッジだけを抽出するようにしたが、水平エッジ以外に、他車両の角の縦線、テールランプもしくはナンバープレートの縦線等に相当する垂直エッジを抽出するようにしてもよい。そして、候補エッジとして、垂直エッジを選定するようにしてもよい。

また、前記実施形態では、物体検知装置としてレーダ３を使用したが、本発明における物体検知装置は、例えば探査信号として音波を使用するものであってもよい。

また、前記実施形態では、監視対象の物体（撮像画像から認識しようとする認識対象の物体）を他車両とした場合の例を説明したが、本発明の対象とする物体は、他車両以外の物体（例えば静止立体物、路側物、壁、あるいは、パイロン等の道路規制物）であってもよい。

また、撮像装置２は、車両１００にあらかじめ搭載された撮像装置２に限らず、運転者が携帯可能な撮像装置であってもよい。

１…物体認識装置、２…撮像装置、３…レーダ（物体検知装置）、１２…物体投影暫定位置設定部（物体投影暫定位置設定手段）、１３…エッジ抽出部（エッジ抽出手段）、１４…画像処理領域設定部（画像処理領域設定手段）、１５…物体画像認識部（物体画像認識手段）。

Claims (4)

1. 監視領域を撮像する撮像装置と、前記監視領域に探査信号を送信し、該探査信号を用いて該監視領域に存在する物体を検知する物体検知装置とを備え、該物体検知装置により検知された物体を前記撮像装置の撮像画像で認識する処理を実行する物体認識装置であって、
   前記撮像装置の撮像画像から画素値変化を生じるエッジを抽出するエッジ抽出手段と、
   前記物体検知装置により検知された物体の位置情報を用いて、前記撮像画像における該物体の画像投影領域の暫定位置である物体投影暫定位置を設定する物体投影暫定位置設定手段と、
   前記エッジ抽出手段により抽出されたエッジから、前記物体検知装置により検知された物体の画像に対応するエッジの候補である候補エッジを選定し、当該選定した候補エッジの位置と前記物体投影暫定位置設定手段により設定された前記物体投影暫定位置との差に応じて決定した補正量だけ、前記物体投影暫定位置から補正してなる位置に、前記撮像画像における前記物体の画像の認識用の画像処理領域を設定する画像処理領域設定手段と、
   該画像処理領域設定手段により設定された画像処理領域における画像処理を実行することにより前記撮像画像中の物体の画像を認識する物体画像認識手段とを備えており、
   前記物体投影暫定位置設定手段は、前記物体検知装置により複数の物体が検知された場合に、該複数の物体のそれぞれに対応する前記物体投影暫定位置を設定するように構成され、
   前記画像処理領域設定手段は、検知された各物体に対応して選定した前記候補エッジの位置と該物体に対応する前記物体投影暫定位置との差を示すベクトルを前記複数の物体のそれぞれについて算出し、該ベクトルのうち、方向及び大きさの少なくともいずれか一方が互いに近似する複数のベクトルから成るベクトル群に基づいて、前記複数の物体のそれぞれに対応する前記補正量を決定するように構成されていることを特徴とする物体認識装置。
2. 請求項１記載の物体認識装置において、
   前記画像処理領域設定手段は、前記各物体に対応する前記候補エッジの位置と前記物体投影暫定位置との差を示すベクトルの大きさの値として、該候補エッジの位置と該物体投影暫定位置との間の間隔値を、前記物体検知装置により検知された当該物体の位置情報により示される前記撮像装置から当該物体への距離に応じて補正してなる値を用い、少なくとも当該補正後の大きさの値が互いに近似する複数のベクトルから成る前記ベクトル群に基づいて、前記複数の物体のそれぞれに対応する前記補正量を決定するように構成されていることを特徴とする物体認識装置。
3. 請求項２記載の物体認識装置において、
   前記各物体に対応する前記候補エッジの位置と前記物体投影暫定位置との差を示すベクトルの大きさの値は、前記撮像装置から当該物体への距離が大きいほど、大きくなるように前記間隔値を補正してなる値であることを特徴とする物体認識装置。
4. 請求項１〜３のいずれか１項に記載の物体認識装置において、
   前記画像処理領域設定手段は、前記ベクトル群を構成する複数のベクトルの加重平均のベクトルを算出し、該加重平均のベクトルの大きさ及び方向に応じて前記補正量を決定するように構成されていると共に、前記加重平均のベクトルを算出する処理において、前記ベクトル群を構成する各ベクトルに付加する重み係数を、該ベクトルに対応する物体について前記物体検知装置により検出された位置情報と、該ベクトルに対応する前記エッジの上側及び下側の少なくともいずれか一方側の領域におけるエッジの密集度合とのうちの少なくともいずれか一方に応じて決定するように構成されていることを特徴とする物体認識装置。

Images