JP6677474B2 - 周辺認識装置 - Google Patents

Description

本発明は、周辺認識装置に係り、特に遠距離検出用のセンサ部と広角かつ近距離検出用のセンサ部とに取り付けるのに適した周辺認識装置に関する。

近年、ステレオカメラを利用して立体物（三次元物体）を検出する画像処理装置が使用されている。

前記画像処理装置は、不審者の侵入やその他の異常を検出する監視システム、車の安全運転をサポートする車載システムのためのアプリケーションで使用される。

車載環境においては、例えば前方に位置する車両や歩行者、物体を検出するためのアプリケーションの要件を満たすために、物体の検出と距離計測を実現して、安全に操縦する方法を前もって見出す必要がある。

特許文献１に開示されている画像処理装置では、複数のカメラを使用し、遠距離と近距離に対する距離画像を組み合わせることでカメラから遠距離領域と近距離領域に存在する対象物までの距離を検出しており、その組み合わされた距離画像を使用する立体物検出機能によって、ハードウェアあるいはソフトウェアの規模を削減している。

特開２０１２−１０３１０９号公報

しかしながら、検出した物体のタイプ（種類）を認識する上記従来技術では、遠距離領域カメラによってカバーされる領域から近距離領域カメラによってカバーされる領域、又はその逆に対象物が移動する場合、その領域に入る候補物体に対して完全な物体認識を行う必要があり、物体認識処理の負荷が増大する。また、一般に、その境界領域では計測精度が低下するため、遠距離カメラや近距離カメラによってカバーされる領域から境界領域に移動してきた物体の非認識や誤認識の割合が増加するといった問題があった。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、遠距離センサや広角近距離センサによってカバーされる領域の一方から他方に移動する物体を認識する物体認識処理の負荷を抑制する共に、遠距離センサや広角近距離センサによってカバーされる領域から境界領域に移動してきた物体の非認識や誤認識の割合を低減することのできる周辺認識装置を提供することにある。

上記する課題を解決するために、本発明に係る周辺認識装置は、遠距離領域の状況データを取得するための第１センサ部と、前記第１センサ部より広角の検出領域を有すると共に、該検出領域における近距離領域の状況データを取得するための第２センサ部と、前記第１センサ部によって取得された状況データに基づき算出される３次元遠距離データに基づいて、遠距離領域に存在する物体の認識を行う遠距離物体認識部と、前記第２センサ部によって取得された状況データに基づき算出される３次元広角近距離データに基づいて、広角かつ近距離領域に存在する物体の認識を行う近距離物体認識部と、前記遠距離物体認識部と前記近距離物体認識部との間で物体に関する情報の伝達を行う情報連携部と、を備えることを特徴としている。

本発明の周辺認識装置によれば、遠距離用の第１センサ部と広角かつ近距離用の第２センサ部によってカバーされる領域の一方から他方に移動する物体を認識する物体認識処理の負荷を抑制できると共に、遠距離用の第１センサ部と広角かつ近距離用の第２センサ部によってカバーされる領域の一方（認識可能領域）から境界領域（検知可能領域）に移動してきた物体の非認識や誤認識の割合を低減することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る周辺認識装置の第１実施形態の内部構成を示すブロック図。 図１に示す各カメラによってカバーされる検出領域を示す平面図。 立体物マップの概要を示す図。 図１に示す周辺認識装置が装備された車両が交差点にいる状況を示す図であり、（Ａ）は、その俯瞰図、（Ｂ）は、車両前方の情景を示す図。 図１に示す周辺認識装置が装備された車両が交差点に進入する状況を順次示す俯瞰図であり、（Ａ）は、歩行者が遠距離認識可能領域に含まれる状況を示す図、（Ｂ）は、歩行者が検知可能領域に含まれる状況を示す図、（Ｃ）は、歩行者が近距離認識可能領域に含まれる状況を示す図。 図１に示す周辺認識装置による物体認識処理を説明したフローチャート。 本発明に係る周辺認識装置の第２実施形態の内部構成を示すブロック図。 図７に示す周辺認識装置が装備された車両が交差点にいる状況を示す俯瞰図であり、（Ａ）は、二輪車が遠距離認識可能領域に含まれる状況を示す図、（Ｂ）は、二輪車が検知可能領域に含まれる状況を示す図。 本発明に係る周辺認識装置の第３実施形態の内部構成を示すブロック図。 図９に示す周辺認識装置が装備された車両が幹線道路を走行する状況を順次示す俯瞰図であり、（Ａ）は、追い越し車線を走行する車両が近距離認識可能領域に含まれる状況を示す図、（Ｂ）は、追い越し車線を走行する車両が検知可能領域に含まれる状況を示す図、（Ｃ）は、追い越し車線を走行する車両が遠距離認識可能領域に含まれる状況を示す図。

以下、本発明に係る周辺認識装置の実施形態を図面を参照して説明する。なお、以下では、遠距離検出に適したカメラと広角かつ近距離検出に適したカメラとからなる一対の車載カメラを備えたステレオカメラ装置によって、遠距離検出用の第１センサ部と広角かつ近距離検出用の第２センサ部とが構成される場合について説明するが、前記第１センサ部や前記第２センサ部は、例えばレーダや超音波センサ等からなる検出装置によって構成してもよいことは勿論である。

＜第１実施形態＞
図１は、本発明に係る周辺認識装置の第１実施形態の内部構成を示すブロック図である。

図示するように、本実施形態の周辺認識装置１は、基本的に、同じ高さに設置された２台のカメラ（センサ部）１１ａ、１１ｂと、３次元距離画像生成部１２と遠距離物体認識部１３と近距離物体認識部１４とフィードバック部（情報連携部）１５とを有する物体認識部１８と、コントロールアプリケーション処理部１６とを備えている。

２台のカメラ１１ａ、１１ｂは、車両外部の状況データを取得すべく、例えば車両の前方へ向けて当該車両の略同じ位置に配置されており、カメラ１１ａは、遠距離検出に適したもの（すなわち、遠距離領域に存在する物体等の状況データを高精度で取得し得るもの）であり、カメラ１１ｂは、広角かつ近距離検出に適したもの（すなわち、カメラ１１ａと比較して広角の視野（検出領域）を有し、広角かつ近距離領域に存在する物体等の状況データを高精度で取得し得るもの）である（図２参照）。

３次元距離画像生成部１２は、カメラ（第１センサ部）１１ａによって得られた状況データに基づいて３次元遠距離データの算出を行うと共に、カメラ（第２センサ部）１１ｂによって得られた状況データに基づいて３次元広角近距離データの算出を行う３次元データ生成部として機能するものである。

具体的には、３次元距離画像生成部１２は、各カメラ１１ａ、１１ｂから受信した画像信号を使用してステレオマッチングを行い、図４（Ｂ）に示す領域１００ｄに係る遠距離に対する３次元距離画像と図４（Ｂ）に示す領域１００ｅに係る広角かつ近距離に対する３次元距離画像とを作成する。このステレオマッチングでは、相互に比較される２つの画像におけるそれぞれの予め決められた単位画像に対して、画像信号間の差が最小となる単位画像を決定する。すなわち、同じ対象物が映し出された領域を検出する。これにより、遠距離に対する３次元距離画像と広角かつ近距離に対する３次元距離画像とが構成される。なお、３次元距離画像は、実環境におけるカメラから対象物までの距離の値を持つ画像である。また、３次元距離画像生成部１２は、図４（Ｂ）に示す領域１００ｄに係る遠距離に対する画像（遠距離画像）と図４（Ｂ）に示す領域１００ｅに係る広角かつ近距離に対する画像（近距離画像）も作成する。

遠距離物体認識部１３は、第１領域としての遠距離領域に存在する物体の認識を行う第１物体認識部として機能するものであり、３次元距離画像生成部１２によって作成された遠距離に対する３次元距離画像と遠距離画像と（３次元遠距離データ）に基づいて画像中の立体物を認識する。次いで、遠距離物体認識部１３は、認識された立体物の情報をフィードバック部１５に送信する。

フィードバック部１５は、遠距離物体認識部１３と近距離物体認識部１４との間で物体に関する情報の伝達を行う情報連携部として機能するものであり、ここでは、遠距離物体認識部１３によって認識された立体物の情報を記録すると共に、格納された立体物の情報を近距離物体認識部１４に送信する。

ここで、フィードバック部１５は、遠距離物体認識部１３と近距離物体認識部１４とによって作成された物体認識情報を記録するために、図３に示すような、少なくとも立体物の種類と三次元物体の実環境における現在の位置と速度とを示す立体物マップ１５ａを備えることができる。

近距離物体認識部１４は、前記第１領域とは異なる第２領域としての広角かつ近距離領域に存在する物体の認識を行うと共に前記第１領域及び前記第２領域とは異なる第３領域としての検知可能領域（後述）に存在する物体の検知を行う第２物体認識部として機能するものであり、３次元距離画像生成部１２によって作成された近距離に対する３次元距離画像と近距離画像と（３次元広角近距離データ）に基づいて画像中の立体物を認識する。次いで、近距離物体認識部１４は、フィードバック部１５によって送信される認識済みの立体物の情報を読み出す。

コントロールアプリケーション処理部１６は、遠距離物体認識部１３と近距離物体認識部１４とによって認識された立体物に応じて、当該周辺認識装置１が搭載された車両によって実行されるコントロールアプリケーション（制御動作）を決定する。

次に、前記周辺認識装置１が車両の周囲を監視するためのシステムとして適用された場合について、図２、図４〜図６を参照してより具体的に説明する。

図２は、車両Ｖに搭載された各カメラ１１ａ、１１ｂの視野（検出領域１００ａ、１００ｂ）を示している。カメラ１１ａは、視野角度θａの検出領域１００ａを有しており、その検出領域１００ａの外側の領域（車両Ｖから所定距離だけ離れた領域）１０１ａが遠距離「認識可能領域」（第１領域）に設定されている。また、カメラ１１ｂは、視野角度θｂ（＞θａ）の検出領域１００ｂを有しており、その検出領域１００ｂの内側の領域（車両Ｖから所定距離までの領域）１０１ｂが広角かつ近距離「認識可能領域」（第２領域）に設定されており、その検出領域１００ｂの外側の領域（車両Ｖから所定距離だけ離れた領域）、特に、そのうちの前記した遠距離「認識可能領域」１０１ａの側方の領域１０１ｃが「検知可能領域（境界領域ともいう）」（第３領域）に設定されている。

なお、本明細書において、「認識可能」とは、物体（立体物）の種類（車両や二輪車、自転車、歩行者、ガードレール、信号、電柱など）、その物体の位置、その物体の速度などといった、物体に関する各種の情報を取得し得ることを意味しており、「検知可能」とは、例えば、物体（立体物）の種類に関する情報までは取得できないものの、その物体の位置、その物体の速度などの情報は取得し得ることを意味している。すなわち、前述の「検知可能領域」１０１ｃでは、広角かつ近距離「認識可能領域」１０１ｂより計測精度が低く、それゆえ、「検知可能領域」１０１ｃでは、物体認識が不可能となる可能性がある。

図４は、図１に示す周辺認識装置１が装備された車両Ｖが交差点にいる状況を示している。

図４（Ａ）は、歩行者ＰＡと歩行者ＰＢと車両ＶＡとが周辺認識装置１（の各カメラ１１ａ、１１ｂ）の視野にいる場合の俯瞰図であり、ここでは、車両ＶＡが遠距離「認識可能領域」１０１ａ、歩行者ＰＡが広角かつ近距離「認識可能領域」１０１ｂ、歩行者ＰＢが遠距離「認識可能領域」１０１ａから移動してきて「検知可能領域」１０１ｃにいる状況を示している。

また、図４（Ｂ）は、前述の状況を、各カメラ１１ａ、１１ｂによって取得された画像によって表示するように示しており、領域１００ｄは、遠距離「認識可能領域」１０１ａによってカバーされる領域、領域１００ｅは、広角かつ近距離「認識可能領域」１０１ｂと「検知可能領域」１０１ｃとによってカバーされる領域に対応している。なお、上記したように、領域１００ｅの歩行者ＰＡは広角かつ近距離「認識可能領域」にいるので、歩行者であると認識できるが、領域１００ｅの歩行者ＰＢは「検知可能領域」にいるので、カメラ１１ｂから得られる情報のみでは歩行者であるか否かを認識できない可能性がある。

図５は、図１に示す周辺認識装置１が装備された車両Ｖが交差点に進入する状況を順次示している。

図５（Ａ）に示すように、車両Ｖが交差点に近づくに従って歩行者Ｐ１、Ｐ２（車両Ｖに対して相対的に移動する物体である相対移動体）は遠距離「認識可能領域」１０１ａに入るので、その歩行者Ｐ１、Ｐ２は遠距離物体認識部１３によって（後述する図６に示すフローに従って）認識され、認識結果としての立体物情報（その立体物に関する情報）がフィードバック部１５に記録される。

次いで、図５（Ｂ）に示すように、車両Ｖが交差点に向かって移動し続けると、歩行者Ｐ１、Ｐ２は遠距離「認識可能領域」１０１ａから移動して「検知可能領域」１０１ｃに到達する。ここで、近距離物体認識部１４は、フィードバック部１５から送信される立体物情報を使用して遠距離物体認識部１３により記録された立体物の現在の位置を推定し、その推定結果と後述する図６に示す物体検出処理ステップＳ３の結果とを照合して、歩行者Ｐ１、Ｐ２の立体物情報を算出する。

次に、図５（Ｃ）に示すように、歩行者Ｐ１、Ｐ２が遠距離「認識可能領域」１０１ａから移動して広角かつ近距離「認識可能領域」１０１ｂに到達すると、近距離物体認識部１４は、フィードバック部１５から送信される立体物情報と後述する図６に示す物体検出処理ステップＳ３の結果を使用して、歩行者Ｐ１、Ｐ２の立体物情報を算出する。

図６は、図１に示す周辺認識装置１による物体認識処理、特に遠距離物体認識部１３及び近距離物体認識部１４のそれぞれによって実行される処理を説明したフローチャートである。

まず、物体認識前処理ステップＳ１では、３次元距離画像生成部１２によって生成された対応する３次元距離画像と領域画像とを処理する。なお、この処理方法は、従来知られた方法を適用し得るので、ここではその詳細な説明は割愛する。

次いで、フィードバックデータ受信ステップＳ２では、読み込み可能であればフィードバック部１５によって送信される立体物情報を読み出すと共に、物体検出処理ステップＳ３では、候補となる立体物の実環境における位置を算出する。

次に、物体データ存在確認ステップＳ４では、フィードバック部１５によって送信される立体物情報に、候補となる立体物に関する立体物情報が有るか否かを判断し、無いと判断した場合には、処理タイプ決定ステップＳ５で、候補となる立体物の特性に基づいて実行されるべき物体認識処理のタイプ（種類）を決定し、物体認識処理ステップＳ６で、処理タイプ決定ステップＳ５で決定された認識処理を実行して、少なくとも立体物の種類と現在の位置と速度とを含む立体物情報を生成する。

一方で、物体データ存在確認ステップＳ４で、フィードバック部１５によって送信される立体物情報に、候補となる立体物に関する立体物情報が有ると判断した場合には、認識可能テストステップＳ７で、候補となる立体物が「認識可能領域」にいるか否かを判断し、「認識可能領域」にいると判断した場合には、物体情報更新ステップＳ９で、フィードバック部１５から送信される立体物情報と物体検出処理ステップＳ３の結果（立体物の実環境における位置）を使用して、立体物情報を生成する。

一方、認識可能テストステップＳ７で、候補となる立体物が「認識可能領域」にいないと判断した場合には、現在位置推定ステップＳ８で、フィードバック部１５から送信される情報に情報がある立体物の現在の位置を算出し、その算出結果と物体検出処理ステップＳ３の結果（立体物の実環境における位置）とを照合し、物体情報更新ステップＳ９で、フィードバック部１５から送信される立体物情報と物体検出処理ステップＳ３の結果を使用して、立体物情報を生成する。

そして、物体情報記録ステップＳ１０では、物体認識処理ステップＳ６又は物体情報更新ステップＳ９で生成された立体物情報をフィードバック部１５に記録する。

このように、本実施形態の周辺認識装置１によれば、第１領域に存在する物体の認識を行う第１物体認識部と、第１領域とは異なる第２領域に存在する物体の認識を行うと共に第１領域及び第２領域とは異なる第３領域に存在する物体の検知を行う第２物体認識部と、を備え、情報連携部（フィードバック部）が、第１物体認識部と第２物体認識部との間で物体に関する情報の伝達を行う。具体的には、フィードバック部１５が遠距離物体認識部１３と近距離物体認識部１４との間で物体に関する情報の伝達を行うようになっており、伝達される情報には、遠距離物体認識部１３と近距離物体認識部１４とによって作成された物体認識情報が含まれ、その伝達される物体認識情報は、各カメラ（第１センサ部と第２センサ部）１１ａ、１１ｂによってカバーされる領域１０１ａ、１０１ｂ（図２参照）の一方から他方に物体が移動したか否かを決定するために使用される。そのため、伝達される物体認識情報に基づいて物体が認識されるので、遠距離物体認識部１３及び近距離物体認識部１４の一方もしくは双方（第１実施形態では、近距離物体認識部１４）の処理負荷を抑制することができる。

また、遠距離物体認識部１３と近距離物体認識部１４とによって作成された物体認識情報がフィードバック部１５に記録されるので、その物体認識情報は、各カメラ（第１センサ部と第２センサ部）１１ａ、１１ｂによってカバーされる領域１０１ａ、１０１ｂ（図２参照、「認識可能領域」）の一方から移動してきてその間の領域１０１ｃ（図２参照、「検知可能領域」）に存在する物体を認識するために使用される。そのため、「認識可能領域」から移動してきて「検知可能領域」に到達した物体の非認識や誤認識の割合を低減することができる。

すなわち、このような本第１実施形態の周辺認識装置１の構成及び動作により、対象物（相対移動体）が遠距離「認識可能領域」から移動してきて近距離「認識可能領域」に到達したときに、近距離物体認識部１４の負荷を抑制できると共に、遠距離「認識可能領域」から移動してきて「検知可能領域」に到達した対象物（相対移動体）の非認識や誤認識の割合を低減することができる。

＜第２実施形態＞
図７は、本発明に係る周辺認識装置の第２実施形態の内部構成を示すブロック図である。

図７に示す本第２実施形態の周辺認識装置１Ａは、図１に示す第１実施形態の周辺認識装置１に対し、物体行動予測部１７Ａを備えている点のみが相違しており、その他の構成はほぼ同じである。したがって、第１実施形態の周辺認識装置１と同じ構成には同様の符号を付してその詳細な説明を省略し、以下では、主に、相違点である物体行動予測部１７Ａについて説明する。

物体行動予測部１７Ａは、遠距離物体認識部１３Ａ及び近距離物体認識部１４Ａの一方もしくは双方によって生成された立体物情報（少なくとも立体物の種類と現在の位置と速度とを含む）から得られる対象物の特徴に応じて、その対象物が将来辿る実環境における経路の予測値を算出する。

コントロールアプリケーション処理部１６Ａは、遠距離物体認識部１３Ａと近距離物体認識部１４Ａとによって認識された立体物と共に物体行動予測部１７Ａによって予測された物体の行動に応じて、当該周辺認識装置１Ａが搭載された車両によって実行されるコントロールアプリケーション（制御動作）を決定する。

次に、前記周辺認識装置１Ａが車両の周囲を監視するためのシステムとして適用された場合について、図８を参照してより具体的に説明する。

図８は、図７に示す周辺認識装置１Ａが装備された車両Ｖが交差点に居て、車両Ｖのドライバが経路ＰＴ１を辿って右折しようとする状況を示している。

図８（Ａ）に示すように、この状況では、二輪車ＴＶ１（相対移動体）が遠距離物体認識部１３Ａによって認識され、それにより生成された立体物情報は、当該車両Ｖによって実行されるコントロールアプリケーションを決定するためにコントロールアプリケーション処理部１６Ａにより使用される立体物の経路ＰＴ２（図示例では、二輪車ＴＶ１が対向車線を直進する経路）を算出するために、物体行動予測部１７Ａにより用いられる。

また、図８（Ｂ）に示すように、二輪車ＴＶ１が遠距離「認識可能領域」１０１ａから移動してきて「検知可能領域」１０１ｃに到達したとすると、近距離物体認識部１４Ａは、フィードバック部１５Ａから送信される立体物情報を使用して、二輪車ＴＶ１の立体物情報を算出する。そして、それにより生成された立体物情報は、当該車両Ｖによって実行されるコントロールアプリケーションを決定するためにコントロールアプリケーション処理部１６Ａにより使用される立体物の経路ＰＴ３（図示例では、二輪車ＴＶ１が更に直進する経路）を算出するために、物体行動予測部１７Ａにより用いられる。

本第２実施形態の周辺認識装置１Ａにおいても、上述した第１実施形態の周辺認識装置１と同様、遠距離「認識可能領域」から移動してきて「検知可能領域」に到達した対象物（相対移動体）の非認識や誤認識の割合を低減することができる。

＜第３実施形態＞
図９は、本発明に係る周辺認識装置の第３実施形態の内部構成を示すブロック図である。

図９に示す本第３実施形態の周辺認識装置１Ｂは、図１に示す第１実施形態の周辺認識装置１に対し、遠距離物体認識部１３Ｂとフィードバック部１５Ｂ及び近距離物体認識部１４Ｂとフィードバック部１５Ｂが双方向で情報の授受を行う点が相違しており、その他の構成はほぼ同じである。したがって、第１実施形態の周辺認識装置１と同じ構成には同様の符号を付してその詳細な説明を省略し、以下では、主に、その相違点について説明する。

具体的には、本第３実施形態の周辺認識装置１Ｂでは、近距離物体認識部１４Ｂが、認識された立体物の情報をフィードバック部１５Ｂから読み出したり、フィードバック部１５Ｂに記録したりし、３次元距離画像生成部１２Ｂによって作成された近距離に対する３次元距離画像と近距離画像とに基づいて立体物を認識する処理にその情報を使用すると共に、遠距離物体認識部１３Ｂも、認識された立体物の情報をフィードバック部１５Ｂから読み出したり、フィードバック部１５Ｂに記録したりし、３次元距離画像生成部１２Ｂによって作成された遠距離に対する３次元距離画像と遠距離画像とに基づいて立体物を認識する処理にその情報を使用する。また、フィードバック部１５Ｂは、近距離物体認識部１４Ｂと遠距離物体認識部１３Ｂとによって認識された立体物の情報を記録すると共に、格納された立体物情報を近距離物体認識部１４Ｂと遠距離物体認識部１３Ｂとに送信する。

次に、前記周辺認識装置１Ｂが車両の周囲を監視するためのシステムとして適用された場合について、図１０を参照してより具体的に説明する。

図１０は、図９に示す周辺認識装置１Ｂが装備された車両Ｖが幹線道路を走行する状況を順次示している。

図１０（Ａ）に示すように、車両Ｖが走行する車線の隣りの追い越し車線を車両Ｖ１（相対移動体）が走行する場合（車両Ｖ１の速度は車両Ｖの速度より速い）、車両Ｖ１はまず近距離「認識可能領域」１０１ｂに入るので、その車両Ｖ１は近距離物体認識部１４Ｂによって（図６に示すフローに従って）認識され、認識結果としての立体物情報がフィードバック部１５Ｂに記録される。

次いで、図１０（Ｂ）に示すように、車両１が前方に移動し続けて、近距離「認識可能領域」１０１ｂから移動して「検知可能領域」１０１ｃに到達すると、近距離物体認識部１４Ｂは、フィードバック部１５Ｂから送信される立体物情報を使用して、近距離物体認識部１４Ｂにより記録された立体物の現在の位置を推定し、その推定結果と図６に示す物体検出処理ステップＳ３の結果とを照合して、車両Ｖ１の立体物情報を算出する。

次に、図１０（Ｃ）に示すように、車両Ｖ１が近距離「認識可能領域」１０１ｂから移動して遠距離「認識可能領域」１０１ａに到達すると、遠距離物体認識部１３Ｂは、フィードバック部１５Ｂから送信される立体物情報と図６に示す物体検出処理ステップＳ３の結果を使用して、車両Ｖ１の立体物情報を算出する。

なお、例えば、車両Ｖ１の速度が車両Ｖの速度より遅く、車両Ｖ１が遠距離「認識可能領域」１０１ａから移動して「検知可能領域」１０１ｃを通って近距離「認識可能領域」１０１ｂに到達する場合には、上記した第１実施形態と同様にして車両Ｖ１の立体物情報が算出されることになる（すなわち、遠距離物体認識部１３Ｂで生成された立体物情報を近距離物体認識部１４Ｂに引き継ぐ）。

本第３実施形態の周辺認識装置１Ｂにおいても、上述した第１実施形態の周辺認識装置１と同様、対象物（相対移動体）が近距離「認識可能領域」から移動してきて遠距離「認識可能領域」に到達したときに、遠距離物体認識部１３Ｂの負荷を抑制できると共に、近距離「認識可能領域」から移動してきて「検知可能領域」に到達した対象物（相対移動体）の非認識や誤認識の割合を低減することができる。

なお、上記した第１〜第３実施形態では、基本的に、対象物が遠距離「認識可能領域」から移動して「検知可能領域」を通って近距離「認識可能領域」に到達し、遠距離物体認識部で生成された立体物情報がフィードバック部を介して近距離物体認識部に伝達される場合と、対象物が近距離「認識可能領域」から移動して「検知可能領域」を通って遠距離「認識可能領域」に到達し、近距離物体認識部で生成された立体物情報がフィードバック部を介して遠距離物体認識部に伝達される場合について説明した。ただし、対象物が遠距離「認識可能領域」から移動して「検知可能領域」を通って再び遠距離「認識可能領域」に入る場合には、遠距離物体認識部で生成された立体物情報がフィードバック部から再び遠距離物体認識部に入力されて利用されてもよいし、対象物が近距離「認識可能領域」から移動して「検知可能領域」を通って再び近距離「認識可能領域」に入る場合には、近距離物体認識部で生成された立体物情報がフィードバック部から再び近距離物体認識部に入力されて利用されてもよい。また、対象物が遠距離「認識可能領域」から移動して「検知可能領域」に到達する段階においても、遠距離物体認識部で生成された立体物情報がフィードバック部を介して近距離物体認識部に伝達されることで、上記した本発明の効果を奏し得ることは当然である。

なお、本発明は上記した第１〜第３実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した第１〜第３実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

なお、上記した実施形態では、周辺認識装置１、１Ａ、１Ｂには、物体の検知及び認識が可能な認識可能領域と、物体を検知可能であるが認識不能な検知可能領域とがあることを説明した。一般的な周辺認識装置では、物体が認識可能領域に存在するときには認識（若しくは識別）を行うが、その物体が検知可能領域に移動してしまうと、もはや認識を行うことができない。ここで、物体の移動には、車両の移動によるものと、物体の移動によるものと、車両及び物体の双方の移動によるものとがあり得る。

このような相対移動体は、認識可能領域から検知可能領域に一旦移動しても認識可能領域に再度移動する場合があり、相対移動体が認識可能領域に再度移動した際に改めて認識処理を行うのでは、認識処理の負荷が大きくなるおそれや認識精度が低下するおそれがある。そこで、物体が認識可能領域から検知可能領域に相対移動した場合に、認識可能領域における過去の認識結果を利用することができれば、認識処理の負荷低減や認識精度向上を図ることができる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 周辺認識装置
１１ａ カメラ（第１センサ部）
１１ｂ カメラ（第２センサ部）
１２ ３次元距離画像生成部
１３ 遠距離物体認識部
１４ 近距離物体認識部
１５ フィードバック部（情報連携部）
１５ａ 立体物マップ
１６ コントロールアプリケーション処理部
１００ａ カメラ１１ａの検出領域
１００ｂ カメラ１１ｂの検出領域
１０１ａ 遠距離認識可能領域（第１領域）
１０１ｂ 広角かつ近距離認識可能領域（第２領域）
１０１ｃ 検知可能領域（第３領域）

Claims (6)

1. 遠距離領域の状況データを取得するための第１センサ部と、
   前記第１センサ部より広角の検出領域を有すると共に、該検出領域における近距離領域の状況データを取得するための第２センサ部と、
   前記第１センサ部によって取得された状況データに基づき算出される３次元遠距離データに基づいて、遠距離領域に存在する物体の認識を行う遠距離物体認識部と、
   前記第２センサ部によって取得された状況データに基づき算出される３次元広角近距離データに基づいて、広角かつ近距離領域に存在する物体の認識を行う近距離物体認識部と、
   前記遠距離物体認識部と前記近距離物体認識部との間で物体に関する情報の伝達を行う情報連携部と、を備え、
   前記遠距離物体認識部及び前記近距離物体認識部は、所定時間における認識結果としての前記物体に関する情報を前記情報連携部に記録し、
   前記遠距離物体認識部又は前記近距離物体認識部は、前記情報連携部から伝達された前記所定時間における前記物体に関する情報を使用して前記所定時間より後の現在の前記物体の位置を推定し、その推定結果と前記遠距離物体認識部又は前記近距離物体認識部の現在の認識結果とを照合し、前記情報連携部から伝達された前記所定時間における前記物体に関する情報と前記遠距離物体認識部又は前記近距離物体認識部の現在の認識結果としての前記物体に関する情報の両方を使用して、前記物体に関する情報を算出することを特徴とする周辺認識装置。
2. 前記情報連携部は、前記遠距離物体認識部と前記近距離物体認識部とによって作成された物体認識情報を記録するための、少なくとも立体物の種類と三次元物体の実環境における現在の位置と速度とを示す立体物マップを備えることを特徴とする請求項１に記載の周辺認識装置。
3. 前記情報連携部は、前記遠距離物体認識部から前記近距離物体認識部に、又は、前記近距離物体認識部から前記遠距離物体認識部に、物体に関する情報の伝達を行うことを特徴とする請求項１に記載の周辺認識装置。
4. 前記周辺認識装置における前記第１センサ部と前記第２センサ部とは、遠距離における検出と広角かつ近距離における検出とに適した一対のカメラからなるステレオカメラ装置で構成されており、
   前記ステレオカメラ装置から受信した画像信号を使用してステレオマッチングを行い、遠距離に対する３次元距離画像と広角かつ近距離に対する３次元距離画像とを作成する３次元距離画像生成部を備えることを特徴とする請求項１に記載の周辺認識装置。
5. 前記第１センサ部と前記第２センサ部とが車両に搭載されていることを特徴とする請求項１に記載の周辺認識装置。
6. 前記第１センサ部と前記第２センサ部とが搭載された前記車両によって実行される制御動作を決定するコントロールアプリケーション処理部を更に備えることを特徴とする請求項５に記載の周辺認識装置。

Images