JP2002269570A

JP2002269570A - 周辺認識装置

Info

Publication number: JP2002269570A
Application number: JP2001067671A
Authority: JP
Inventors: Katsuyasu Okubo; 勝康大久保
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2001-03-09
Filing date: 2001-03-09
Publication date: 2002-09-20

Abstract

(57)【要約】【課題】本発明は、周辺認識装置に関し、物体と対象
物との相対速度が大きくても、物体周辺に存在する対象
物を速やかにかつ確実に認識することを目的とする。【解決手段】ＣＣＤカメラ１４，１６の撮影した車両
前方の周辺環境を第１及び第２の画像データとしてＥＣ
Ｕ１２に供給する。第１及び第２の画像データのそれぞ
れについて対象物の輪郭を示すエッジ情報を抽出し、そ
の対象物の三次元座標を算出する。その三次元座標に基
づいてその対象物を単純な直方体にモデル化した対象物
モデルを仮想の三次元空間上に配置し、その対象物モデ
ルをその三次元位置の履歴データに基づいて移動させ
る。この際、対象物モデルの三次元位置を、その外郭線
とＣＣＤカメラ１４，１６による第１及び第２の画像デ
ータにおけるエッジ線との比較結果に基づいて修正す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、周辺認識装置に係
り、特に、撮影手段を用いて取得した自物体の周辺の環
境画像に基づいて周辺に存在する対象物を認識するうえ
で好適な周辺認識装置に関する。

【０００２】

【従来の技術】従来より、例えば特開平８−１１４４１
６号公報に開示される如く、移動体とその周辺に存在す
る既知対象物（自動車，障害物，建築物など）との三次
元的な位置関係を画像処理により検出する周辺認識装置
が知られている。この周辺認識装置は、撮影手段により
撮影された系列画像のうち連続する複数のフレームの画
像間で現れる二次元動ベクトルに基づいて移動体領域を
抽出し、その領域の二次元形状に基づいて対象物の三次
元位置姿勢を推定する。そして、その三次元位置姿勢
と、予め対象物の三次元構造がワイヤフレームによりモ
デリングされた形状データとに基づいて対象物の仮想実
画像を生成する。従って、上記従来の装置によれば、異
なる視点から見た対象物の三次元映像の生成を支障なく
行うことが可能となる。

【０００３】

【発明が解決しようとする課題】ところで、周辺認識装
置が例えば車両等の高速移動体に搭載される場合には、
周辺環境を認識するための処理スピードを高速化する必
要がある。しかしながら、上記従来の装置では、移動体
周辺に存在する対象物を三次元物体として認識するうえ
で、対象物の詳細な形状を特定する必要があり、また、
撮像手段の位置や姿勢を具体的に特定する必要がある。
このため、対象物の認識のための情報量が膨大であり、
認識処理の迅速化を図るうえでは限界があった。

【０００４】本発明は、上述の点に鑑みてなされたもの
であり、物体周辺に存在する対象物との相対速度が大き
くても、その対象物を速やかにかつ確実に認識すること
が可能な周辺認識装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的は、請求項１
に記載する如く、撮影手段を用いて物体周辺の環境画像
を取得する周辺画像取得手段を備え、前記周辺画像取得
手段により取得された環境画像に基づいて、物体周辺に
存在する対象物を認識する周辺認識装置において、前記
周辺画像取得手段により取得された物体周辺の環境画像
に含まれる対象物を簡易な形状にモデル化するモデル化
手段と、前記モデル化手段により前記対象物がモデル化
された対象物モデルを、該物体を座標中心とした環境モ
デル内に配置するモデル配置手段と、を備えることを特
徴とする周辺認識装置により達成される。

【０００６】本発明において、物体周辺の環境画像に含
まれる対象物は簡易な形状にモデル化され、そのモデル
はその物体を座標中心とした環境モデル内に配置され
る。かかる構成において、対象物がモデル化された後
は、その対象物モデルに基づいて対象物が認識される。
このため、本発明によれば、対象物の詳細な形状を特定
することなく対象物を認識するため、対象物の認識に要
する時間を短くすることができる。従って、物体と対象
物との相対速度が大きくても、物体周辺に存在する対象
物が速やかにかつ確実に認識される。

【０００７】また、上記の目的は、請求項２に記載する
如く、請求項１記載の周辺認識装置において、前記モデ
ル配置手段により前記対象物モデルが前記環境モデル内
に配置された後は、該環境モデル内における該対象物モ
デルを時系列位置履歴データに従って移動させる位置変
更手段を備えることを特徴とする周辺認識装置により達
成される。

【０００８】本発明において、対象物モデルが環境モデ
ル内に配置された後は、その対象物モデルは時系列位置
履歴データに従って移動される。すなわち、対象物モデ
ルの位置は、時系列位置履歴データに応じて変更され
る。このため、本発明によれば、対象物の詳細な形状を
特定することなく対象物を認識するため、対象物の認識
に要する時間を短くすることができる。従って、物体と
対象物との相対速度が大きくても、物体周辺に存在する
対象物が速やかにかつ確実に認識される。

【０００９】ところで、環境モデル内における対象物モ
デルが位置履歴データに従ってのみ移動するものとする
と、実際の対象物に対する対象物モデルの精度が低下
し、対象物の認識の正確性を確保することができないお
それがある。

【００１０】従って、請求項３に記載する如く、請求項
２記載の周辺認識装置において、前記位置変更手段によ
り移動された前記環境モデル内における前記対象物モデ
ルの位置を、前記周辺画像取得手段により取得される前
記環境画像中における該対象物の位置に基づいて補正す
る位置補正手段を備えることとしてもよい。

【００１１】また、請求項４に記載する如く、請求項２
記載の周辺認識装置において、物体周辺に存在する対象
物の位置を検出する対象物位置検出手段と、前記位置変
更手段により移動された前記環境モデル内における前記
対象物モデルの位置を、前記対象物位置検出手段により
検出された該対象物の位置に基づいて補正する位置補正
手段と、を備えることにより、周辺画像取得手段以外の
手段により検出される対象物の位置に基づいて対象物モ
デルの位置を補正することとしてもよい。

【００１２】また、環境モデル内における対象物モデル
の移動軌跡とその速度とが検出できれば、その対象物が
自物体にとって危険度の高い対象物であるか否かを判定
することが可能となる。

【００１３】従って、請求項５に記載する如く、請求項
２乃至４の何れか一項記載の周辺認識装置において、前
記環境モデル内において移動する前記対象物モデルの相
対速度ベクトルに基づいて、該対象物の危険度を判定す
る危険度判定手段を備えることとしてもよい。

【００１４】ところで、対象物を簡易形状の対象物モデ
ルを用いて認識する構成では、その対象物モデル内に実
際の対象物以外の余分な空間が含まれている。従って、
対象物モデルを用いた危険度判定手段により危険度が高
くなったと判定される場合には、より精度の高い危険度
判定を行うことが適切であり、そのためには、環境画像
中のその対象物について詳細な位置及び形状を把握する
ことが適切となる。

【００１５】従って、請求項６に記載する如く、請求項
５記載の周辺認識装置において、前記危険度判定手段に
より前記危険度が所定のしきい値を超えたと判定された
場合には、前記環境画像中における該対象物の詳細な形
状を認識することとしてもよい。

【００１６】また、物体と対象物との相対位置が変化し
た場合には、環境画像中における対象物の大きさが変化
する。対象物が自物体から遠い場合は、近い場合に比し
て、環境画像中における対象物が小さいため、画像にお
ける分解能は低く、対象物の形状寸法を正確に把握する
ことは困難である。一方、対象物が自物体から近い場合
は、環境画像中における対象物が大きいため、画像にお
ける分解能は高く、対象物の形状寸法を正確に把握する
ことができる。このため、環境モデル内に配置された対
象物モデルが遠い位置から自物体に近づいた際、その対
象物モデルの形状寸法が遠い位置で把握された形状寸法
のままに維持されるものとすると、分解能が異なるた
め、その形状寸法の誤差が大きくなる。

【００１７】従って、請求項７に記載する如く、請求項
１乃至６の何れか一項記載の周辺認識装置において、前
記モデル配置手段により前記対象物モデルが前記環境モ
デル内に配置された後、該対象物モデルの形状データ
を、前記周辺画像取得手段により取得された前記環境画
像における該対象物の外形に基づいて補正する形状デー
タ変更手段を備えることとしてもよい。

【００１８】

【発明の実施の形態】図１は、本発明の一実施例である
周辺認識装置１０の構成図を示す。本実施例において、
周辺認識装置１０は、例えば車両に搭載されており、車
両の前方で走行する前方車両や自車両周辺の障害物等の
対象物を認識する。周辺認識装置１０は、電子制御ユニ
ット（以下、ＥＣＵと称す）１２を備えており、ＥＣＵ
１２により制御される。

【００１９】ＥＣＵ１２は、ＣＣＤカメラ１４，１６が
接続された画像入力部１８，２０を備えている。ＣＣＤ
カメラ１４，１６は、車体前部の左右に配設されてお
り、それぞれ車体前部から車両前方に広がる所定領域内
の周辺環境を撮影する。ＣＣＤカメラ１４，１６は、両
撮像面が同一平面上に形成されるように車体に取付けら
れている。ＣＣＤカメラ１４，１６が撮影した所定領域
内の周辺環境の画像データは、それぞれＥＣＵ１２の画
像入力部１８，２０に供給される。画像入力部１８は、
ＣＣＤカメラ１４から車両前方の所定領域内の周辺環境
を画像情報として取得する。また、画像入力部２０は、
ＣＣＤカメラ１６から車両前方の所定領域内の周辺環境
を画像情報として取得する。

【００２０】画像入力部１８，２０は、それぞれ、取得
した画像データをアナログ量からデジタル量へ変換する
Ａ／Ｄ変換器、及び、その変換後のデジタル画像データ
を格納するメモリを有している。尚、以下では、画像入
力部１８がＣＣＤカメラ１４の出力信号に基づいて取得
した画像データを「第１の画像データ」と、画像入力部
２０がＣＣＤカメラ１６の出力信号に基づいて取得した
画像データを「第２の画像データ」と、また、第１及び
第２の画像データを総称する場合は「実画像データ」
と、それぞれ称す。

【００２１】画像入力部１８，２０は、画像認識部２２
の特徴抽出部２４に接続されている。特徴抽出部２４
は、画像入力部１８，２０がそれぞれデジタル量へ変換
した第１及び第２の画像データをそれぞれフィルタリン
グし、それらの画像データから車両等の対象物の輪郭を
示すエッジ情報をそれぞれ抽出する。画像認識部２２
は、比較部２６を備えている。比較部２６は、特徴抽出
部２４で抽出されたエッジ情報と、後述の移動予測部で
予測される仮想の三次元空間内における対象物モデルと
を比較する部位である。

【００２２】画像認識部２２は、また、モデル配置部２
８を備えている。モデル配置部２８は、比較部２６の比
較結果により、周辺認識装置１０が起動後初めて対象物
を認識する場合（すなわち、未知画像から対象物を認識
する場合）、又は、画像データに新たな対象物が含まれ
た場合に、特徴抽出部２４により抽出された両画像デー
タにおけるその対象物のエッジ情報に基づいて、後述す
る手法に従ってその対象物を単純な簡易立体形状にモデ
ル化した対象物モデルを生成すると共に、その対象物モ
デルを自己の車両を基準にして設定される仮想の三次元
空間内において適当な位置に配置する。

【００２３】画像認識部２２は、また、モデル修正部３
０を備えている。モデル修正部３０は、比較部２６の比
較結果により仮想三次元空間内における対象物モデルの
位置を修正する部位である。画像認識部２２は、モデル
データベース３２を有している。モデルデータベース３
２は、モデル配置部２８により対象物がモデル化された
場合、或いは、モデル修正部３０により対象物モデルの
位置が修正された場合にその対象物についての対象物モ
デルの形状データ及び仮想三次元空間における位置を記
憶する役割を有している。また、モデルデータベース３
２は、仮想三次元空間内において対象物モデルが移動し
た時系列的な位置履歴データを対象物の自己の車両に対
する相対位置として記憶する機能も有している。

【００２４】画像認識部２２は、また、移動予測部３４
を備えている。移動予測部３４は、モデルデータベース
３２に記憶された対象物モデルの時系列の位置履歴デー
タに基づいて、次時刻における対象物モデルの仮想三次
元空間内における位置を予測する。ＥＣＵ１２は、車両
状態検出部３６を備えている。車両状態検出部３６は、
車両に搭載された各種センサを用いて車両の加速度，速
度，操舵角等を検出し、車両挙動の変化量を検出する。
車両状態検出部３６は、上記した画像認識部２２の移動
予測部３４に接続されている。移動予測部３４は、車両
状態検出部３６の検出した車両挙動の変化量を考慮し
て、次時刻における対象物モデルの仮想三次元空間内に
おける位置を予測する。

【００２５】次に、図２及び図３を参照して、本実施例
においてモデル配置部２８が画像データから対象物モデ
ルを生成する生成手法について説明する。

【００２６】図２は、本実施例において画像データから
対象物モデルが生成される原理を表した図を示す。本実
施例においては、まず、画像認識部２２の取得した画像
データに対して、車両の所定位置Ｏを原点とした、車幅
方向軸（Ｘ軸）に平行に延びる車幅方向線、及び、その
Ｘ軸に対する直角方向軸（Ｙ軸）に平行に延びる前後方
向線を重ね合わせる。そして、例えば図２に示す如く、
画像認識部２２が取得した画像データにおけるエッジ情
報としてＸＹ平面上に楕円状（実際のＸＹ平面上では円
形）の閉曲面Ｓ（図２における斜線部）が形成されてい
る場合には、その閉曲面Ｓに外接する２本の車幅方向線
（すなわち、Ｙ_minとＹ_max）及び２本の前後方向線（す
なわち、Ｘ_minとＸ_max）を検出する。そして、接線Ｘ
_min，Ｘ_max，Ｙ_min，Ｙ_max同士が交わることにより形成
される長方形を、その閉曲面Ｓについてのモデルの外形
面として設定する。この際、モデルの外形は、閉曲面Ｓ
を内包するものとなる。尚、モデルの外形面として設定
される長方形Ｃは、接線Ｘ_mi _n，Ｘ_max，Ｙ_min，Ｙ_max同
士が交わることにより形成される長方形そのものである
必要はなく、その長方形よりも若干大きな、閉曲面Ｓを
完全に内包する長方形であってもよい。

【００２７】図３（Ａ）は、車両前方に円筒対象物４０
が存在する状況下においてＣＣＤカメラ１４，１６の撮
影する画像データを表した図を示す。また、図３（Ｂ）
は、図３（Ａ）に示す円筒対象物４０の対象物モデルを
モデル配置部２８が仮想三次元空間内に配置した状況下
でＣＣＤカメラ１４，１６が撮影すると予想される画像
データを表した図を示す。尚、図３（Ｂ）には、円筒対
象物４０が破線で、その円筒対象物４０の仮想三次元空
間内における対象物モデルが実線で、それぞれ示されて
いる。

【００２８】本実施例において、画像入力部１８，２０
が取得した第１及び第２の画像データに基づいて、ＸＹ
平面並びに鉛直方向軸（Ｚ軸）に平行な線を含むＹＺ平
面及びＺＸ平面についてそれぞれ、上記図２に示す手法
を用いて、対象物モデルの外形面として長方形を設定す
る。この際、第１の画像データにおいて設定される長方
形と、第２の画像データにおいて設定される長方形と
は、互いに三次元座標系において同等の大きさを有する
ものとする。ＸＹ，ＹＺ，ＺＸ平面の各座標系について
それぞれ対象物モデルの外形面としての長方形が設定さ
れると、Ｘ_min，Ｘ_max，Ｙ_min，Ｙ_max，Ｚ_min，Ｚ_maxの
６つの面を有する直方体が形成される。この形成された
直方体は、円筒対象物４０を内包するものとなる。例え
ば、第１及び第２の画像データがそれぞれ図３（Ａ）に
示す如きエッジ情報を構成している場合には、図３
（Ｂ）に示す如き直方体が形成され、円筒対象物４０を
覆うものとなる。この場合、円筒対象物４０を内包する
直方体を対象物モデルとして、その大きさ（すなわち、
幅，高さ，奥行きの寸法）及び自己の車両に対する三次
元位置（例えば図３において重心Ｐ）が特定される。

【００２９】本実施例において、上記の如く対象物モデ
ルとして直方体が生成され、その三次元位置が特定され
ると、その対象物モデルが、図３（Ｂ）に示す如く自己
の車両を基準にした仮想の三次元空間上において適当な
位置に配置され、その形状データおよび位置がモデルデ
ータベース３２に格納される。

【００３０】図４は、本実施例において対象物モデルを
仮想三次元空間上で移動させる手法を説明するための図
を示す。ＣＣＤカメラ１４，１６が撮影する画像データ
は、自車両と対象物との相対位置変化に応じて時系列的
に変化する。従って、対象物モデルを仮想三次元空間上
に配置した後、その空間上で移動させる必要がある。本
実施例においては、図４に示す如く、対象物モデルの三
次元位置の履歴データ（Ｐ_i-3〜Ｐ_i）に基づいて、次時
刻における対象物の位置Ｐ_i+1（すなわち、対象物と自
車両との相対位置）を推定し、推定された相対位置関係
が当該時刻に実現されるように対象物モデルを仮想三次
元空間上で移動させる。この際、対象物モデルは、ＣＣ
Ｄカメラ１４，１６が実際に撮影する画像データにかか
わらず移動することとなる。

【００３１】次に、推定した相対位置関係が実現される
ように対象物モデルが仮想三次元空間上で移動されるも
のとした状況下において、ＣＣＤカメラ１４，１６が撮
影すると予想される仮想的な二次元画像データを生成す
る（図３（Ｂ））。そして、その生成された仮想画像デ
ータとＣＣＤカメラ１４，１６が実際に撮影して得た実
画像データと比較した結果に基づいて、対象物モデルの
三次元位置を修正することにより、上記の如く推定され
た対象物と自車両との相対位置関係を修正・補正する。

【００３２】具体的には、まず、ＣＣＤカメラ１４，１
６のそれぞれについて、実画像データにおいて対象物を
現すエッジ線のすべてが、仮想画像データにおいて対象
物モデルとして現された直方体の外郭線で囲まれた領域
内に存在するか否かを判別する。ＣＣＤカメラ１４，１
６による実画像データの何れについても、エッジ線のす
べてが上記した対象物モデルによる領域内に存在する場
合には、対象物が移動後の対象物モデル内に内包される
と判断でき、対象物が少なくとも対象物モデルの三次元
位置よりも車両側には存在しないと判断できる。従っ
て、かかる場合には、上記の如く推定された対象物と自
車両との相対位置関係を修正・補正することなく、対象
物モデルを仮想三次元空間上で移動させる。

【００３３】図５は、図３に示す如く車両前方に円筒対
象物４０が存在する状況下、実画像データにおいて円筒
対象物４０を現すエッジ線の少なくとも一部が、仮想画
像データにおいて対象物モデルとして現された直方体の
外郭線で囲まれた領域内に存在しない状況を説明するた
めの図を示す。尚、図５において、実画像データにおい
て円筒対象物４０を現すエッジ線を破線で、仮想画像デ
ータにおいて対象物モデルとして現された直方体の外郭
線を実線で、それぞれ示す。

【００３４】一方、ＣＣＤカメラ１４，１６の少なくと
も何れか一方について、図５に示す如く、エッジ線の少
なくとも一部が上記した領域内に存在しない場合には、
円筒対象物４０が移動後の対象物モデルに内包されない
と判断でき、移動後における対象物モデルの三次元位置
が実際の対象物の移動による位置に合致しない、或い
は、円筒対象物４０の大きさが前回処理時から今回処理
時にかけて増大したと判断できる。

【００３５】本実施例において、実画像データにおける
エッジ線の少なくとも一部が仮想画像データにおける対
象物モデルの外郭線に囲まれる領域内に存在しないと判
断された場合には、まず、対象物モデルの大きさを維持
させた状態で、ＣＣＤカメラ１４，１６の双方につい
て、対象物モデルの三次元位置を、実画像データにおけ
るエッジ線のすべてが対象物モデルの外郭線に囲まれる
領域内に存在するように修正することにより、対象物モ
デルと自車両との相対位置関係を修正・補正する。その
結果、対象物モデルの三次元位置の修正により実画像デ
ータにおけるエッジ線のすべてが対象物モデルの外郭線
に囲まれる領域内に存在することとなった場合には、そ
の補正された相対位置関係が実現されるように対象物モ
デルを仮想三次元空間上で移動させる。

【００３６】一方、対象物モデルの三次元位置をどのよ
うに修正しても、実画像データにおけるエッジ線のすべ
てが対象物モデルの外郭線に囲まれる領域内に存在する
状況が実現されない場合には、例えば円筒対象物４０と
自車両とが速度変化により急速に接近したとして、或い
は、円筒対象物４０に形状変化が生じたとして、対象物
モデルの大きさ（すなわち、三次元的な寸法）を、実画
像データにおけるエッジ線のすべてが対象物モデルの外
郭線に囲まれる領域内に存在するように修正する。

【００３７】このように、本実施例において、対象物モ
デルは、仮想三次元空間上に配置された後は、自己の三
次元位置の履歴データに基づいてその仮想三次元空間上
で移動されると共に、実画像データにおける対応対象物
のエッジ線との比較結果に基づいて位置修正又は形状修
正される。この際、その対象物モデルの三次元位置は、
対象物の自車両に対する三次元位置として認識される。

【００３８】従って、本実施例においては、仮想三次元
空間上に対象物モデルが配置された後、対象物の自車両
に対する三次元位置を、ＣＣＤカメラ１４，１６の撮影
する第１及び第２の画像データから詳細に特定する必要
はなく、第１及び第２の画像データにおけるエッジ情報
を考慮した仮想三次元空間上の対象物モデルを用いて対
象物の三次元位置を認識する。この場合、対象物モデル
は、単純な簡易立体形状である直方体にモデル化されて
いる。このため、本実施例によれば、対象物の認識に要
する処理速度の向上を図ることができ、認識処理時間の
短縮化を図ることができ、その結果、自車両と対象物と
の相対位置関係が急速に変化する場合にも、その対象物
を速やかに認識することが可能となる。

【００３９】図６は、上記の機能を実現すべく、本実施
例においてＥＣＵ１２が実行する制御ルーチンの一例の
フローチャートを示す。図６に示すルーチンは、所定時
間ごとに繰り返し起動されるルーチンである。図６に示
すルーチンが起動されると、まずステップ１００の処理
が実行される。

【００４０】ステップ１００では、周辺認識装置１０が
起動された直後にあるか否かが判別される。その結果、
周辺認識装置１０が起動直後にある場合は、画像データ
上の対象物が未だ認識されたことがなく、モデルデータ
ベース３２に対象物モデルの情報が格納されていないの
で、まず、ＣＣＤカメラ１４，１６による第１及び第２
画像データから対象物モデルを仮想三次元空間内に配置
する必要がある。従って、かかる判別がなされた場合
は、次にステップ１０４の処理が実行される。一方、周
辺認識装置１０が起動直後にない場合は、モデルデータ
ベース３２に対象物モデルの情報が格納されているの
で、その情報を基にして対象物を認識することができ
る。従って、かかる判別がなされた場合は、次にステッ
プ１０２の処理が実行される。

【００４１】ステップ１０２では、対象物モデルの三次
元位置の履歴データに基づいて仮想三次元空間上に存在
するすべての対象物の次時刻における位置をそれぞれ推
定し、当該推定位置にすべての対象物モデルをそれぞれ
移動させる処理が実行される。尚、対象物の位置を推定
する際、車両に搭載された各種センサを用いて検出され
た加速度等についての状態変化量が考慮される。本ステ
ップ１０２の処理が終了すると、次にステップ１０４の
処理が実行される。

【００４２】ステップ１０４では、ＣＣＤカメラ１４，
１６を用いて画像入力部１８，２０において車両前方の
所定領域内の周辺環境をそれぞれ取得し、第１及び第２
の画像データをそれぞれＡ／Ｄ変換器によりデジタル量
へ変換した後にフィルタリングし、それらの画像データ
から車両等の対象物の輪郭を示すエッジ情報をそれぞれ
抽出する処理が実行される。

【００４３】ステップ１０６では、仮想三次元空間上に
配置された対象物モデルごとに、仮想画像データにおけ
る対象物モデルの外郭線と上記ステップ１０４で抽出さ
れた実画像データにおけるエッジ情報とを比較する処理
が実行されると共に、その比較結果に基づいて対象物モ
デルの仮想三次元空間上における位置を修正する処理が
実行される。

【００４４】ステップ１０８では、上記ステップ１０６
の処理結果として仮想三次元空間上におけるすべての対
象物モデルが適正に再配置され、実画像データにおいて
対象物モデルと対応しないエッジ情報が存在しないか否
かが判別される。その結果、否定判定がなされた場合
は、実画像データにおいて対象物モデルとして仮想三次
元空間に配置されていない物体が存在していると判断で
きるので、次にステップ１１０の処理が実行される。

【００４５】ステップ１１０では、第１及び第２の画像
データにおけるエッジ情報のうち数点分の情報に基づい
て新規物体をモデル化し、仮想三次元空間上に簡易立体
形状の対象物モデルを配置する処理が実行される。本ス
テップ１１０の処理が実行されると、以後、実画像デー
タに含まれた新規物体は仮想三次元空間上の対象物モデ
ルとして把握される。本ステップ１１０の処理が終了す
ると、次に上記ステップ１０６の処理が再び実行され
る。

【００４６】ステップ１１２では、仮想三次元空間上に
おける対象物モデルを、車両前方に存在する対象物とし
て認識すると共に、その認識結果を出力する処理が実行
される。本ステップ１１２の処理が実行されると、以
後、車両前方に存在する対象物は、仮想三次元空間上の
対象物モデルにより認識されることとなる。本ステップ
１１２の処理が終了すると、今回のルーチンは終了され
る。

【００４７】上記図６に示すルーチンによれば、対象物
モデルが仮想三次元空間上に配置された後は、自己の三
次元位置の履歴データに基づいて移動される対象物モデ
ルを車両前方に存在する対象物として認識することがで
きる。この場合、対象物の自車両に対する位置は、ＣＣ
Ｄカメラ１４，１６の撮影する第１及び第２の画像デー
タから詳細に特定する必要はない。このため、本実施例
によれば、対象物モデルが形成されている対象物を認識
するうえではその認識処理速度の向上を図ることがで
き、認識処理時間の短縮化を図ることができる。これに
より、対象物と自車両との相対位置関係が急速に変化す
る場合にも、その対象物が速やかに認識される。

【００４８】また、上記図６に示すルーチンによれば、
自己の三次元位置の履歴データに基づいて移動される対
象物モデルの位置を、その外郭線とＣＣＤカメラ１４，
１６により実画像データにおける対応対象物のエッジ線
との比較結果に基づいて修正することができる。この場
合には、対象物モデルの三次元位置が現実の対象物の位
置に近づくこととなるので、対象物の認識が正確に行わ
れることとなる。また、仮想画像データ上の対象物モデ
ルの外郭線と実画像データにおける対応対象物のエッジ
線との比較は容易に行うことが可能である。従って、本
実施例によれば、対象物を認識するうえで迅速性及び確
実性を確保しつつ、正確性の向上を図ることが可能とな
っている。

【００４９】また、本実施例において、対象物の認識
は、上記した如く、対象物モデルを用いて行われる。従
って、例えば車両の上下動に起因して対象物がＣＣＤカ
メラ１４，１６による第１及び第２の画像データに現れ
なくなっても、対象物モデルの三次元位置にのみ基づい
て対象物を認識することができる。このため、本実施例
によれば、ＣＣＤカメラ１４，１６による第１及び第２
の画像データの外乱等が生じても、対象物を認識できな
い事態を回避することができ、これにより、自車両と対
象物との相対位置関係が急速に変化する状況下でもその
対象物を速やかにかつ確実に認識することが可能とな
る。

【００５０】ところで、対象物が自車両に高速で近づい
てくる、或いは、自車両が静止対象物に高速で近づいて
いくこと等に起因して、仮想画像データ上で対象物モデ
ルが高速で自車両に近づく挙動を示す場合、具体的に
は、ＣＣＤカメラ１４，１６による第１及び第２の画像
データに対応する仮想画像データの何れか一方において
自車両との相対速度ベクトルを表す対象物モデルの位置
軌跡ベクトルがその画像データの下方中央近傍に高速で
向かう場合がある。かかる場合には、その対象物は自車
両にとって危険性の高い物体となるので、その状況を乗
員に知らせる、或いは、車両においてその危険を回避す
る操作を行うことが適切となる。

【００５１】そこで、本実施例においては、ＣＣＤカメ
ラ１４，１６による第１及び第２の画像データに対応す
る仮想画像データのそれぞれについて対象物モデルの位
置軌跡ベクトルを算出し、その位置軌跡ベクトルに基づ
いて仮想三次元空間上における対象物モデルの自車両に
対する危険度を判定する。対象物モデルの位置軌跡ベク
トルがその画像データの下方中央に高速で向かうほど、
自車両にとってその対象物の危険度は大きくなる。かか
る構成によれば、ＣＣＤカメラ１４、１６により実画像
データから詳細に対象物を認識することなく、仮想三次
元空間上における対象物モデルを用いて簡易に自車両に
とって危険度の高い対象物を検出することが可能とな
る。

【００５２】ところで、本実施例においては、対象物が
簡易形状の対象物モデルを用いて認識されるが、その対
象物モデル内には実際の対象物以外の余分な空間が含ま
れている。従って、対象物モデルを用いた危険度判定に
より危険度が高いと判定された場合には、精度良く危険
度判定を行うことが適切であり、そのためには、対象物
の詳細な位置及び形状を把握し、その詳細な位置や形状
に基づいて危険度を判定することが適切となる。

【００５３】すなわち、対象物モデルを用いて危険度の
高い対象物が存在すると判定される場合には、その後、
その対象物の詳細な位置及び形状を把握し、その対象物
の属性（例えば車両又は人）を特定することが適切とな
る。そこで、本実施例においては、対象物モデルの位置
軌跡ベクトルに基づいて検出された危険度が所定値を超
えた場合、ＣＣＤカメラ１４，１６の撮影した第１及び
第２の画像データから対象物の詳細な位置及び形状を特
定する。この場合には、特定された詳細な位置及び形状
から危険度の高い対象物の属性を把握することができ、
その後の処理（例えば、操舵操作）に取り入れることが
できる。

【００５４】また、本実施例において、車両がナビゲー
ション装置を搭載し、現位置で見ると予測される視界情
報をナビゲーション装置のデータベースから引き出すこ
とができる構成を有する場合には、その視界情報と仮想
画像データとを比較することにより、仮想三次元空間上
における対象物モデルが走行道路の近傍に建てられたビ
ルや陸橋，信号機等の固定物が化体したものであるか否
かを判定することができる。対象物モデルが固定物に係
るものである場合には、その固定物が自車両にとって危
険物になることはなく、その対象物モデルについては仮
想三次元空間上で移動させるための処理を行うことは不
要である。従って、かかる構成において、対象物モデル
が固定物に係るものであるか否かを判定することとすれ
ば、仮想三次元空間上における対象物モデルの処理速度
の向上を図ることができ、車両前方に存在する対象物の
認識を更に速やかに行うことが可能となる。

【００５５】また、かかる構成において、ナビゲーショ
ン装置のデータベースによる視界情報では現位置で見る
ことができると予想される対象物が、仮想三次元空間上
で対象物モデルとして設定されていない場合には、その
対象物を仮想三次元空間上に対象物モデルとして設定す
ることとしてもよい。この場合には、ＣＣＤカメラ１
４，１６による実画像データと、ナビゲーション装置の
データベースによる視界情報とが相互にリンクされるこ
ととなるので、対象物の認識精度の向上を図ることが可
能となる。

【００５６】尚、上記の実施例においては、ＣＣＤカメ
ラ１４，１６が特許請求の範囲に記載した「撮影手段」
に相当すると共に、ＥＣＵ１２が、画像入力部１８にお
いてＣＣＤカメラ１４，１６の撮影した第１及び第２の
画像データを取得することにより特許請求の範囲に記載
した「周辺画像取得手段」が、モデル配置部２８におい
て第１及び第２の画像データから三次元座標が算出され
た対象物を、それを覆う直方体形状を有する対象物モデ
ルにモデル化することにより特許請求の範囲に記載した
「モデル化手段」が、モデル配置部２８において対象物
モデルを自車両を基準にして設定される仮想三次元空間
内に配置することにより特許請求の範囲に記載した「モ
デル配置手段」が、それぞれ実現されている。

【００５７】また、上記の実施例においては、ＥＣＵ１
２が、モデル位置変更部３４において対象物モデルをそ
の三次元位置の履歴データに基づいて推定される位置に
移動させることにより特許請求の範囲に記載した「位置
変更手段」が、モデル位置変更部３４において位置履歴
データに基づいて推定された対象物モデルの三次元位置
をＣＣＤカメラ１４，１６による実画像データにおける
対応対象物のエッジ線に基づいて修正することにより特
許請求の範囲に記載した「位置補正手段」が、ＣＣＤカ
メラ１４，１６による第１及び第２の画像データに対応
する仮想画像データのそれぞれについて算出された対象
物モデルの位置軌跡ベクトルに基づいて仮想三次元空間
上における対象物モデルの自車両に対する危険度を判定
することにより特許請求の範囲に記載した「危険度判定
手段」が、それぞれ実現されている。

【００５８】ところで、上記の実施例においては、ＣＣ
Ｄカメラ１４，１６を車体前部に配設し、車両前方に広
がる視界を撮影することとしているが、ＣＣＤカメラ１
４，１６の配設位置はこれに限定されるものではなく、
車体後部や車体側部に配設することとしてもよい。ま
た、ＣＣＤカメラ１４，１６が車両に搭載されるものと
しているが、ロボット等の自立移動可能な移動体や、全
く移動しない固体物に搭載されるものとしてもよい。

【００５９】また、上記の実施例においては、ＣＣＤカ
メラ１４，１６の撮影した第１及び第２の画像データ上
に現れた対象物の外延に外接する６つの面を設定した後
で、その６つの面を有する直方体を構成することにより
対象物モデルを生成することとしているが、本発明はこ
れに限定されるものではなく、任意の大きさの直方体を
ＣＣＤカメラ１４，１６の撮影した第１及び第２の画像
データのそれぞれに当てはめた後で、両画像データにお
いて対象物を現すエッジ線のすべてが直方体の外郭線で
囲まれた領域内に存在するようにその直方体の三次元位
置及び大きさを設定することにより対象物モデルを生成
することとしてもよい。

【００６０】また、上記の実施例においては、対象物モ
デルの三次元位置をＣＣＤカメラ１４，１６の撮影した
実画像データにおけるエッジ情報に基づいて修正するこ
ととしているが、本発明はこれに限定されるものではな
く、例えばレーダセンサや超音波センサを用いて検出し
た自車両と対象物との距離、すなわち、対象物の自車両
に対する位置に基づいて修正することとしてもよい。こ
の場合、対象物モデルの三次元位置がＣＣＤカメラ１
４，１６の実画像データではなく、その他のセンサによ
り修正されるので、対象物の認識精度の向上を図ること
が可能となる。かかる構成においては、ＥＣＵ１２がそ
れらのセンサの出力信号に基づいて対象物の自車両に対
する位置を検出することにより請求項４に記載した「対
象物位置検出手段」が実現される。

【００６１】更に、上記の実施例においては、対象物モ
デルの大きさを実画像データにおける対応対象物のエッ
ジ線との比較結果に基づいて修正することとしている
が、以下の場合に修正することとしてもよい。すなわ
ち、対象物が自車両から遠くに位置する場合は、近くに
位置する場合に比して、実画像データ上における対象物
の大きさが小さく、この場合は、実画像データの分解能
が低いため、その対象物の大きさを正確に測定すること
は困難である。一方、対象物が自車両から近くに位置す
る場合は、実画像データ上における対象物の大きさが大
きく、この場合は、実画像データの分解能が高いため、
その対象物の大きさを正確に測定することが可能とな
る。このため、対象物モデルが遠い位置から自車両に近
づいた際、その対象物モデルの大きさが遠い位置で把握
された大きさのままに維持されていると、画像上の対象
物の大きさが分解能の向上により実際の大きさと異なっ
てくる場合がある。従って、かかる事態が生じた場合に
対象物モデルの大きさを実画像データにおけるエッジ情
報と比較し修正することとすれば、対象物の認識を精度
よく行うことが可能となる。この場合、ＥＣＵ１２が、
実画像データにおける対応対象物のエッジ情報に基づい
て対象物モデルの大きさを修正することにより特許請求
の範囲に記載した「形状データ変更手段」が実現され
る。

【発明の効果】上述の如く、請求項１及び２記載の発明
によれば、物体と対象物との相対速度が大きくても、物
体周辺に存在する対象物を速やかにかつ確実に認識する
ことができる。

【００６２】請求項３、４、及び７記載の発明によれ
ば、対象物を認識するうえで迅速性及び確実性を確保し
つつ、正確性の向上を図ることができる。

【００６３】請求項５記載の発明によれば、対象物モデ
ルを用いて自物体にとって危険度の高い対象物を検出す
ることができる。

【００６４】また、請求項６記載の発明によれば、危険
度の高い対象物が存在する場合に、その詳細な形状を把
握することができる。

【図面の簡単な説明】

【図１】本発明の一実施例である周辺認識装置の構成図
である。

【図２】本実施例において画像データから対象物モデル
が生成される原理を表した図である。

【図３】図３（Ａ）は、車両前方に円筒対象物が存在す
る状況下において左右のＣＣＤカメラがそれぞれ撮影す
る画像データを表した図を示す。また、図３（Ｂ）は、
図３（Ａ）に示す円筒対象物の対象物モデルが仮想三次
元空間内に配置された状況下で左右のＣＣＤカメラがそ
れぞれ撮影すると予想される画像データを表した図であ
る。

【図４】本実施例において対象物モデルを仮想三次元空
間で移動させる手法を説明するための図である。

【図５】図３に示す如く車両前方に円筒対象物が存在す
る状況下、実画像データにおいて円筒対象物を現すエッ
ジ線の少なくとも一部が、仮想画像データにおいて対象
物モデルとして現された直方体の外郭線で囲まれた領域
内に存在しない状況を説明するための図である。

【図６】本実施例において、対象物モデルから対象物を
認識すべく実行される制御ルーチンの一例のフローチャ
ートである。

【符号の説明】

１０周辺認識装置１２電子制御ユニット（ＥＣＵ）１４，１６ＣＣＤカメラ２２画像認識部

Claims

【特許請求の範囲】

【請求項１】撮影手段を用いて物体周辺の環境画像を
取得する周辺画像取得手段を備え、前記周辺画像取得手
段により取得された環境画像に基づいて、物体周辺に存
在する対象物を認識する周辺認識装置において、前記周辺画像取得手段により取得された物体周辺の環境
画像に含まれる対象物を簡易な形状にモデル化するモデ
ル化手段と、前記モデル化手段により前記対象物がモデル化された対
象物モデルを、該物体を座標中心とした環境モデル内に
配置するモデル配置手段と、を備えることを特徴とする周辺認識装置。
【請求項２】請求項１記載の周辺認識装置において、前記モデル配置手段により前記対象物モデルが前記環境
モデル内に配置された後は、該環境モデル内における該
対象物モデルを時系列位置履歴データに従って移動させ
る位置変更手段を備えることを特徴とする周辺認識装
置。
【請求項３】請求項２記載の周辺認識装置において、前記位置変更手段により移動された前記環境モデル内に
おける前記対象物モデルの位置を、前記周辺画像取得手
段により取得される前記環境画像中における該対象物の
位置に基づいて補正する位置補正手段を備えることを特
徴とする周辺認識装置。
【請求項４】請求項２記載の周辺認識装置において、物体周辺に存在する対象物の位置を検出する対象物位置
検出手段と、前記位置変更手段により移動された前記環境モデル内に
おける前記対象物モデルの位置を、前記対象物位置検出
手段により検出された該対象物の位置に基づいて補正す
る位置補正手段と、を備えることを特徴とする周辺認識装置。
【請求項５】請求項２乃至４の何れか一項記載の周辺
認識装置において、前記環境モデル内において移動する前記対象物モデルの
相対速度ベクトルに基づいて、該対象物の危険度を判定
する危険度判定手段を備えることを特徴とする周辺認識
装置。
【請求項６】請求項５記載の周辺認識装置において、前記危険度判定手段により前記危険度が所定のしきい値
を超えたと判定された場合には、前記環境画像中におけ
る該対象物の詳細な形状を認識することを特徴とする周
辺認識装置。
【請求項７】請求項１乃至６の何れか一項記載の周辺
認識装置において、前記モデル配置手段により前記対象物モデルが前記環境
モデル内に配置された後、該対象物モデルの形状データ
を、前記周辺画像取得手段により取得された前記環境画
像における該対象物の外形に基づいて補正する形状デー
タ変更手段を備えることを特徴とする周辺認識装置。