JP2007148835A - 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム - Google Patents

物体判別装置、報知制御装置、物体判別方法および物体判別プログラム Download PDF

Info

Publication number
JP2007148835A
JP2007148835A JP2005342950A JP2005342950A JP2007148835A JP 2007148835 A JP2007148835 A JP 2007148835A JP 2005342950 A JP2005342950 A JP 2005342950A JP 2005342950 A JP2005342950 A JP 2005342950A JP 2007148835 A JP2007148835 A JP 2007148835A
Authority
JP
Japan
Prior art keywords
image
unit
determination
vehicle
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005342950A
Other languages
English (en)
Inventor
Katsumi Sakata
克己 阪田
Junichi Sawada
純一 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2005342950A priority Critical patent/JP2007148835A/ja
Priority to US11/600,191 priority patent/US7817848B2/en
Publication of JP2007148835A publication Critical patent/JP2007148835A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】単眼で撮像された画像から効率的に物体を判別することを課題とする。
【解決手段】単眼カメラで撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体（ここでは、歩行者）を検出する（図１の（１）参照）。かかる物体検出によって判別対象となる候補物体が検出されると、検出された物体に対してニューラルネットワーク手法を適用して候補物体が歩行者であるかを判別する（図１の（２）参照）。さらに、上記した物体判別によって得られた判別結果の他に、レーダによって得られた物体に対する距離情報（車両から物体までの距離）を用いて、物体との衝突危険度を判定し、この判定結果に応じて車両制御や報知制御を行う（図１の（３）および（４）参照）。
【選択図】 図１

Description

この発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置、報知制御装置、物体判別方法および物体判別プログラムに関する。
従来より、車両走行の障害となる物体との衝突を回避すること等を目的として、車両から撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）の検出や判別を行う技術が知られている。例えば、特許文献１では、二つのカメラで撮像された一組のステレオ画像から判別対象の候補となる物体を検出し、その画像内における候補物体に対してニューラルネットワークの物体判別手法を適用して、候補物体が歩行者であるか等を判別する技術が開示されている。このニューラルネットワークでは、歩行者等の形状を学習させているので、多少歩行者等の形状が異なったとしても認識することができ、認識漏れを低減させることができる。
特表２００３−５０２７４５号公報
ところで、上記した従来の技術は、複数のカメラを用いることが前提となるので、一つのカメラを用いる手法に比較して、構造が複雑になり、製造コストが高くなるという課題がある。
一方、このような課題を解決するために、単眼カメラを用いて判別対象となる候補物体（例えば、歩行者）を検出する方法として背景差分法（現画像の画素値（輝度等）と前画像の画素値との差分から候補物体を検出する方法）が考えられるが、候補物体が静止している場合には現画像の画素値と前画像の画素値との差分を取ることができないため、候補物体を検出できない。また、単眼で撮像された画像（一つのカメラで撮像された画像）に対してニューラルネットワークの物体判別手法をそのまま適用するという手法も考えられるが、候補物体が存在する領域を特定せずに画像の全領域に対してニューラルネットワークの物体判別手法を適用したのでは、無駄に物体判別処理が行われることになり、処理効率が悪くなるという課題がある。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、単眼で撮像された画像から効率的に物体を判別することが可能な物体判別装置、報知制御装置、物体判別方法および物体判別プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段と、を備えたことを特徴とする。
また、請求項２に係る発明は、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出し、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する、ことを特徴とする。
また、請求項３に係る発明は、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段とを備えた物体判別装置からの判別結果に応じて警告報知を行うことを特徴とする。
請求項４に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、を備えたことを特徴とする。
また、請求項５に係る発明は、上記の発明において、前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする。
また、請求項６に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
また、請求項７に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
また、請求項８に係る発明は、上記の発明において、前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする。
また、請求項９に係る発明は、上記の発明において、前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする。
また、請求項１０に係る発明は、上記の発明において、前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする。
また、請求項１１に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、を含んだことを特徴とする。
また、請求項１２に係る発明は、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、をコンピュータに実行させることを特徴とする。
請求項１および２の発明によれば、撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出し、検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別するので、例えば、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。
請求項３の発明によれば、複数の背景画像に対して学習基底を生成して記憶しておき、記憶した学習基底と現に入力した背景画像とを比較し、残差を候補物体として検出する物体検出手段と、前記物体検出手段によって検出された候補物体に対して予め記憶しておいた特定のパターンと比較し、候補物体が特定の物体か否かを判別する物体判別手段とを備えた物体判別装置からの判別結果に応じて警告報知を行うので、効率的な物体判別結果に基づいて、警告の報知や車両制御を効率的に行うことが可能である。
請求項４、１１および１２の発明によれば、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
また、請求項２の発明によれば、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両制御を効率的に行うことも可能である。
また、請求項３の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
また、請求項４の発明によれば、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
また、請求項５の発明によれば、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両制御を行うなどができ、これによって、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
また、請求項６の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
また、請求項７の発明によれば、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。なお、以下では、歩行者を判別して車両を制御する場合の実施例を説明する。
以下の実施例１では、実施例１に係る物体判別装置の概要および特徴、物体判別装置の構成、物体判別装置による処理の流れを順に説明し、最後に実施例１による効果を説明する。
［物体判別装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る物体判別装置の概要および特徴を説明する。図１は、実施例１に係る物体判別装置の概要および特徴を説明するための図である。
実施例１に係る物体判別装置は、単眼カメラで撮像された画像に基づいて画像内で撮像されている物体（例えば、歩行者）を判別するとともに、判別結果に応じて報知制御や車両を行うことを概要とするものであるが、単眼で撮像された画像から効率的に物体を判別することを主たる特徴とするとともに、車両から物体までの距離に応じて警告報知や車両走行制御を的確に行うことにも特徴がある。
この概要および特徴を具体的に説明すると、この物体判別装置では、単眼カメラで撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体（ここでは、歩行者）を検出する（図１の（１）参照）。ここで、顕著性算出手法による物体検出とは、学習プロセスによって予め生成して記憶している学習基底に基づいて、入力画像に顕著な特徴が検出されるか否かによって行う物体検出をいう。
具体的には、まず、学習プロセスにおいて、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド、例えば、道路）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一オブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
また、物体検出は、撮像装置（例えば、単眼カメラ）から入力された入力画像から学習領域と同一のサイズ（例えば、２０×２０ピクセル）の処理領域を切り出す。続いて、入力画像から切り出した処理領域をＮ次元のベクトルとして扱い、学習基底で展開する（すなわち、特徴ベクトルとの内積を算出する）。そして、この展開によって得られたベクトルと処理領域内のベクトルとの残差を顕著な特徴（顕著性）として算出し、より顕著性の大きい部分を所定の物体（例えば、歩行者）が存在するであろう領域として検出する。
かかる物体検出によって判別対象となる候補物体が検出されると、この物体判別装置では、検出された物体（すなわち、その画像の領域）に対してニューラルネットワーク手法を適用して候補物体が歩行者であるかを判別する（図１の（２）参照）。ここで、ニューラルネットワーク手法による物体判別とは、人間の脳の構造を真似て作成した情報処理機構であり、人間の脳の中に張り巡らされた「ニューロン」と呼ばれる神経細胞の複雑な組合せ構造を応用したネットワークを構成することで、人間の得意とする物体判別を情報処理機構に取り入れて実現する方法である。具体的には、あらかじめ学習して記憶している物体のパターンと、画像内から、例えば、顕著性算出法によって検出された走行障害の候補となる物体の検出領域とを照らし合わせることによって、その物体が特定の物体（例えば、歩行者）であるか否か判別している。
このようなことから、実施例１による物体判別装置では、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができる。そして、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、上記した主たる特徴の如く、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
さらに、実施例１による物体判別装置では、図１に示すように、上記した物体判別によって得られた判別結果（例えば、「歩行者である」または「歩行者でない」でないという判別結果）の他に、レーダ（例えば、ミリ波レーダ、光レーダなど）によって得られた物体に対する距離情報（車両から物体までの距離）を用いて、物体との衝突危険度を判定し、この判定結果に応じて車両走行制御や報知制御を行う（図１の（３）および（４）参照）。
すなわち、例を挙げると、物体判別によって「歩行者でない」との判別結果が得られた場合には、衝突の危険度はないもの（レベル０）と判定して特に車両走行制御や報知制御は行わないが、物体判別によって「歩行者である」との判別結果が得られた場合には、画像における歩行者の足元（接地面）を認識し、その接地面から車両までの距離をレーダによって取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して歩行者を示す画像をモニタ（例えば、カーナビのモニタ）に出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定してブレーキ制御による速度減速を行い、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定してハンドル制御による衝突回避を行うなど、レーダによって得られた歩行者までの距離に応じた車両走行制御や報知制御を行う。このようなことから、実施例１による物体判別装置では、上記した特徴の如く、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
［物体判別装置の構成（実施例１）］
次に、図２および図３を用いて、実施例１に係る物体判別装置の構成を説明する。図２は、実施例１に係る物体判別装置の構成を示すブロック図であり、図３は、実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。
図２に示すように、この物体判別装置３０は、レーダ部１２、前処理部１３、報知制御部１５、車両制御部１６に接続される他、撮像装置（単眼カメラ）１０、ナビ部１１、車内通知部１４をこれらの周辺に配置する。また、物体判別装置３０は、記憶部３１と認識部３２とから構成される。
ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１４を介して運転者に供給する。
レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波レーダや光レーダなど）を照射して、前方の車両や障害物（例えば、歩行者）との距離や速度、方向などを測定する手段である。具体的には、この実施例１では、後述する衝突危険度判定部３２ｃから歩行者までの距離の測定指令を受け付けると、レーダ部１２は、歩行者から車両までの距離をレーダによって取得した後、衝突危険度判定部３２ｃにその距離情報（車両から歩行者までの距離）を送る。なお、レーダ部１２は、特許請求の範囲に記載の「照射手段」に対応する。
前処理部１３は、撮像装置１０（単眼カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。
車内通知部１４は、ナビ部１１や後述する報知制御部１５からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部１５からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。
報知制御部１５は、後述する衝突危険度判定部３２ｃからの判定信号を受け付けて、報知制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃから歩行者の存在を示す画像の出力を促す判定信号（例えば、危険度レベル１の判定信号）を受け付けた場合には、報知制御部１５は、状況に応じて、車内通知部１４に対し、例えば、歩行者の存在を示す画像の出力指令や音声による警告の出力指令を出力する。
車両制御部１６は、衝突危険度判定部３２ｃからの判定信号を受け付けて、車両走行制御を行う処理部である。具体的には、この実施例１では、衝突危険度判定部３２ｃからブレーキ制御を促す判定信号（例えば、危険度レベル２の判定信号）を受け付けた場合には、車両制御部１６は、車両走行状態に応じて、例えば、ブレーキ制御による速度減速指令を出力する。また、衝突危険度判定部３２ｃからハンドル制御を促す判定信号（例えば、危険度レベル３の判定信号）を受け付けた場合には、車両制御部１６は、同じく車両走行状況に応じて、例えば、ハンドル制御による衝突回避指令や車両制動制御によるプリクラッシュ指令を出力する。
物体判別装置３０の記憶部３１は、制御部３２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）である。そして、特に本発明に密接に関連するものとしては、学習基底記憶部３１ａ、判別パターン記憶部３１ｂおよび衝突危険度判定テーブル３１ｃを備える。
このうち、学習基底記憶部３１ａは、後述する物体検出部３２ａによる物体検出処理に必要な学習基底を記憶する記憶手段である。具体的には、特定の物体（例えば、歩行者）が存在しない同一のオブジェクト（バックグラウンド）が撮像されている複数の学習用画像を入力して学習領域を切り出す（例えば、２０×２０ピクセル）。続いて、この切り出した学習領域をＮ次元のベクトル（Ｎは画素値であり、例えば、２０×２０ピクセルであれば４００次元）として扱い、このＮ次元ベクトルからなる学習領域内について主成分分析を行って、特徴ベクトル（Ｎ次元ベクトルの主成分）を抽出する。そして、入力される全ての学習画像に対して特徴ベクトルの抽出を行って、同一のオブジェクトに対して共通する特徴ベクトル成分から学習基底を生成して記憶する。
判別パターン記憶部３１ｂは、後述する物体判別部３２ｂによる物体判別処理に必要な判別パターンを記憶する記憶手段である。具体的には、例えば、あらかじめ学習して歩行者についてのパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）を様々な条件（例えば、距離）に応じて記憶している。
衝突危険度判定テーブル３１ｃは、後述する衝突危険度判定部３２ｃによる衝突危険度判定処理に必要な判定テーブルを記憶する記憶手段である。具体的には、図３に例示するように、例えば、候補物体が「歩行者でない」場合には、その候補物体までの距離「ＡＬＬ」で危険度「０」、一方、候補物体が「歩行者である」場合には、その候補物体までの距離「３０ｍ以上」で危険度「レベル１」、距離「１０〜３０ｍ」で危険度「レベル２」、距離「１０ｍ未満」で危険度「レベル３」とする判定結果を規定して構成される。
物体判別装置３０の認識部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部である。そして、特に本発明に密接に関連するものとしては、物体検出部３２ａと、物体判別部３２ｂと、衝突危険度判定部３２ｃとを備える。なお、物体検出部３２ａは、特許請求の範囲に記載の「物体検出手段」に対応し、物体判別部３２ｂは、同じく「物体判別手段」に対応する。
このうち、物体検出部３２ａは、入力画像内から判別の対象となる物体（候補物体）を顕著性算出法によって検出する処理部である。具体的には、物体検出部３２ａは、学習基底記憶部３１ａから学習基底を読み出し、撮像装置１０から前処理部１３を介して受け付けた入力画像内に学習基底には見られない顕著な特徴（例えば、特異なベクトル）が現れている場合には、候補物体が存在するものとしてその領域を画像内から検出する。
物体判別部３２ｂは、物体検出部３２ａによって検出された候補物体をニューラルネットワークによって詳細に判別する処理部である。具体的には、物体判別部３２ｂは、あらかじめ学習して記憶している物体のパターン（例えば、全身、頭、足および肩などの組合せからなる歩行者のパターン）と、物体検出部３２ａによって判別の対象として検出された候補物体の存在する領域とを照らし合わせ、その物体が特定の物体（例えば、歩行者）であるか否かを判別する。
衝突危険度判定部３２ｃは、物体判別部３２ｂによる候補物体の判別結果等に基づいて、その物体との衝突危険度を判定し、車両走行制御や報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する処理部である。具体的には、衝突危険度判定部３２ｃは、物体判別部３２ｂから候補物体の判別結果を受け付けると、レーダ部１２に対してその候補物体までの距離を測定するように指令を送るとともに、衝突危険度判定テーブル３１ｃから衝突危険度判定テーブル（図３参照）を読み出す。そして、衝突危険度判定部３２ｃは、物体判別部３２ｂから受け付けた判別結果、レーダ部１２から得た候補物体までの距離および衝突危険度判定テーブルに基づいて衝突危険度を判定し、所定の危険度であると判定した場合には、車両制御部１６に車両走行制御を促すような判定信号を出力し、あるいは、報知制御部１５に報知制御を促すような判定信号を送る。
すなわち、例を挙げて説明すると、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者ではない」との判別結果を受け付けた場合には、衝突の危険度はないもの（レベル０）と判定し（図３参照）、特に車両制御部１６や報知制御部１５に対して車両走行制御や報知制御を促すような判定信号を出力しない。一方、衝突危険度判定部３２ｃは、物体判別部３２ｂから「歩行者である」との判別結果を受け付けた場合には、画像で認識された歩行者の位置から車両までの距離を測定するようにレーダ部１２に対して指令を送り、その距離を取得する。そして、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定して、歩行者の存在を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号（危険度レベル１の判定信号）を報知制御部１５に対して出力し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定して、ブレーキ制御による速度減速を促すような判定信号（危険度レベル２の判定信号）を車両制御部１６に対して出力し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定して、ハンドル制御による衝突回避を促すような判定信号（危険度レベル３の判定信号）を車両制御部１６に対して出力する。なお、衝突危険度判定部３２ｃは、特許請求の範囲に記載の「判定手段」に対応する。
なお、上記に示した衝突危険度判定テーブル３１ｃの構成はあくまで一例であり、例えば、候補物体が歩行者でない場合であっても衝突危険度を設定して、その危険度に応じた車両走行制御あるいは報知制御を促すような判定信号を出力するようにしてもよいし、候補物体までの距離に対応させている衝突危険度の設定を車両の走行速度に応じて自動的に更新（例えば、車両の速度が速い場合には衝突を回避できるように設定距離を長めに自動更新）するようにしてもよい。
［物体判別装置による処理（実施例１）］
続いて、図４を用いて、実施例１に係る物体判別装置による処理の流れを説明する。図４は、実施例１に係る物体判別装置による処理の流れを示すフローチャートである。
同図に示すように、画像の入力を受け付けると（ステップＳ４０１）、物体検出部３２ａは、顕著性（算出法）による物体検出を行う（ステップＳ４０２）。そして、入力画像内に判別の対象となる候補物体を検出した場合には（ステップＳ４０３肯定）、次に、物体判別部３２ｂは、ニューラルネットワークによる候補物体の判別を行う（ステップＳ４０４）。その結果、候補物体を歩行者と判別した場合には（ステップＳ４０５肯定）、続いて、衝突危険度判定部３２ｃは、歩行者までの距離を測定する（ステップＳ４０６）。具体的には、衝突危険度判定部３２ｃは、レーダ部１２に対して歩行者までの距離を測定するように指令を送る。
レーダ部１２から距離の測定結果を得て衝突危険度判定部３２ｃは、その距離に応じて危険度判定を行う（ステップＳ４０７）。具体的には、衝突危険度判定部３２ｃは、読み出した衝突危険度判定テーブル（図３参照）に基づいて、例えば、歩行者までの距離が遠い場合（例えば、３０ｍ以上である場合）には、衝突の危険度は低いもの（レベル１）と判定し、また、歩行者までの距離が中程度に近い場合（例えば、１０ｍ以上３０ｍ未満である場合）には、衝突の危険度は中程度（レベル２）と判定し、さらに、歩行者までの距離が極めて近い場合（例えば、１０ｍ未満である場合）には、衝突の危険度は高いもの（レベル３）と判定する。
そして、衝突危険度判定部３２ｃは、判定した危険度に応じて車両走行制御あるいは報知制御を促すような判定信号を報知制御部１５あるいは車両制御部１６に対して出力する（ステップＳ４０８）。具体的には、衝突危険度判定部３２ｃは、衝突の危険度は低いもの（レベル１）と判定した場合には、歩行者を示す画像のモニタ（例えば、カーナビのモニタ）への出力を促すような判定信号を報知制御部１５に対して出力し、この信号に基づいて報知制御部１５は車内通知部１４を介して画像を出力し、また、衝突の危険度は中程度（レベル２）と判定した場合には、ブレーキ制御による速度減速を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は速度減速を行い、さらに、衝突の危険度は高いもの（レベル３）と判定した場合には、ハンドル制御による衝突回避を促すような判定信号を車両制御部１６に対して出力し、この信号に基づいて車両制御部１６は衝突回避を行う。
ここでステップＳ４０３の説明に戻ると、入力画像内に判別の対象となる候補物体を検出しなかった場合には（ステップＳ４０３否定）、物体判別部３２ａは、次の画像入力を待つ。また、ステップＳ４０５の説明に戻ると、候補物体を歩行者と判別しなかった場合には（ステップＳ４０５否定）、衝突危険度判定部３２ｃは衝突危険度の判定を行わず、物体判別装置３０は処理を終了する。
［実施例１に効果］
上述してきたように、実施例１によれば、この物体判別装置３０は、単眼で撮像された画像に対して顕著性算出手法を適用して判別の対象となる物体を検出し、検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別するので、単眼で撮像された画像からも判別の対象となる物体（例えば、歩行者）を検出することができ、また、画像内の物体が静止していても判別の対象として検出することができ、さらに、画像内の物体が画素変化の少ない遠方の物体であっても判別の対象として検出することができ、このようにして検出された物体に対してニューラルネットワークの物体判別手法を適用することによって、単眼で撮像された画像に対して判別対象を検出することなくニューラルネットワークの物体判別手法をそのまま適用する手法に比較して、単眼で撮像された画像から効率的に物体を判別することが可能である。なお、予め保持する定形のパターンと検出された物体とを比較して物体判別を行うパターンマッチングでは、この定形のパターンに基づくものしか検出できないが、ニューラルネットワークによる物体判別では、定形パターンには存在しない曖昧な形状で検出された物体（例えば、歩行者）も判別することが可能である。
また、実施例１によれば、この物体判別装置３０は、顕著性算出手法を適用して検出された判別対象の物体に対してニューラルネットワークを適用して得られた判別結果に応じて、警告の報知および／または車両の制御を行うので、効率的な物体判別結果に基づいて、警告の報知や車両の制御を効率的に行うことも可能である。
また、実施例１によれば、この物体判別装置３０は、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離に応じて、警告の報知や車両の制御を行うので、精度が良い距離情報を利用して、例えば、車両から物体までの距離が近くなるに従って、画像による警告、音声による警告、ブレーキ制御による速度減速、ハンドル制御による衝突回避といった具合に、警告報知や車両制御を行うことができ、これによって、車両から物体までの距離に応じて警告報知や車両制御を的確に行うことも可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。
（１）画像から得られる物体までの距離も利用して車両走行制御あるいは報知制御
上記の実施例１では、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体（例えば、歩行者）までの距離に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、物体判別部３２ｂによって得られた物体判別結果や、レーダ部１２によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））までの距離に応じて車両走行制御などを行うようにしてもよい。
具体的には、図５の（Ａ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、画像から得られた車両から物体までの距離（例えば、画像内における歩行者の足元の位置までの画素数から算出した距離）も利用して、衝突危険度判定部３２ｃは危険度判定を行い、その危険度に応じた車両走行制御などを促すような判定信号を出力し、その信号に基づいて車両走行制御などを行う。
このように、画像から得られた物体判別結果や、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた車両から物体までの距離の他に、画像から得られた車両から物体（例えば、歩行者の足元（接地面））から車両までの距離に応じて、警告の報知や車両の制御を行うので、例えば、照射手段によって得られた車両から物体までの距離と画像から得られた車両から物体までの距離との平均値である距離を算出して、これを警告報知や車両制御に利用することができ、これによって、車両から物体までの距離に応じた警告報知や車両制御を精度良く行うことも可能である。
（２）他の物体判別結果も利用して車両走行制御あるいは報知制御
また、上記の実施例１では、物体判別部３２ｃによって得られた物体判別結果に応じて車両走行制御などを行う場合を説明したが、本発明はこれに限定されるものではなく、例えば、レーダ部１２によって得られる物体判別結果も利用して車両走行制御などを行うようにしてもよい。
具体的には、図５の（Ｂ）に例示するように、物体判別部３２ｂによって得られた物体判別結果およびレーダ部１２によって得られた車両から物体までの距離だけでなく、さらに、レーダ部１２から得られた物体判別結果も利用して、衝突危険度判定部３２ｃは危険度判定を行い、例えば、両者から同一の物体判別結果が得られた場合にのみ当該物体判別結果を採用して警告報知や車両走行制御を行う、いずれか一方の物体判別結果が得られれば当該物体判別結果を採用して警告報知や車両走行制御を行う、または、それぞれの判別結果（判別値）の平均や加重平均から一つの物体判別結果を導き出して警告報知や車両走行制御を行うため、その危険度判定の結果に応じて車両走行制御などの指令を出力する。
このように、画像から得られた物体判別結果の他に、照射手段（例えば、ミリ波レーダ、光レーダなど）によって得られた物体判別結果に応じて、警告の報知や車両の制御を行うので、物体の誤判別を防止して、警告報知や車両制御を精度良く行うことも可能である。
（３）物体が存在する方向を特定して物体検出
また、上記の実施例１では、入力される画像に対してそのまま顕著性算出法を適用して判別の対象となる物体を検出する場合を説明したが、本発明はこれに限定されるものではなく、車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するようにしてもよい。具体的には、図５の（Ｃ）に例示するように、レーダ部１２によって車両からみた物体の存在する方向を検出し、物体検出部３２ａは、画像内におけるその方向に対応する領域に対して優先的に顕著性算出法を適用して判別の対象となる物体の検出を行う。
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から見て物体が存在する方向を検出し、画像における当該方向に対応する領域に対して優先的に顕著性算出手法を適用して判別の対象となる物体を検出するので、画像内の全領域に対して順番に顕著性算出手法を適用する場合（例えば、画像の左上にある領域から順番に右下の領域へ顕著性算出手法を適用する場合）に比較して、判別対象となる物体を早急かつ効率的に検出することも可能である。
（４）距離に応じた物体判別
また、上記の実施例１では、判別の対象として検出された物体に対して一様にニューラルネットワーク手法を適用して物体を判別する場合を説明したが、本発明はこれに限定されるものではなく、車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するようにしてもよい。具体的には、図５の（Ｄ）に例示するように、レーダ部１２によって車両から物体までの距離を測定し、物体判別部３２ｂは、ニューラルネットワーク手法を適用する際に、その距離に対応するパターンを用いて判別の対象として検出された物体を判別する。
このように、例えば、照射手段（例えば、ミリ波レーダ、光レーダなど）によって車両から物体までの距離を測定し、この距離に応じたニューラルネットワーク手法を適用して物体を判別するので、全ての距離について順番にニューラルネットワーク手法を適用する場合（例えば、近い距離の定義から順番に遠い距離の定義へニューラルネットワーク手法を適用する場合）に比較して、早急かつ効率的に物体を判別することも可能である。
（５）歩行者以外の検出
また、上記の実施例１では、判別の対象となる物体として歩行者を検出する場合を説明したが、本発明はこれに限定されるものではなく、歩行者以外の物体（倒木などの走行の障害をなり得る障害物）を検出するようにしてもよい。これにより、走行の障害となり得る様々な物体に対応した車両制御などを効率的に行うことも可能となる。
（６）装置構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図２に示した物体判別装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、物体検出部３２ａと物体判別部３２ｂを統合し、あるいは、物体検出部３２ａ、物体判別部３２ｂおよび衝突危険度判定部３２ｃを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体判別装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
なお、上記の実施例１で説明した物体検出、物体判別および制御方法（図４参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
また、上記の実施例１において説明した衝突危険度判定部３２ｃにおいて、衝突危険度の判定結果のみを信号として報知制御部１５もしくは車両制御部１６に対して出力させ、この信号を受け付けた報知制御部１５もしくは車両制御部１６において、その信号に基づいてどのように報知制御もしくは車両走行制御は判断させるようにしてもよい。
以上のように、本発明に係る物体判別装置、報知制御装置、物体判別方法および物体判別プログラムは、単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する場合に有用であり、特に、単眼で撮像された画像から効率的に物体を判別することに適する。
実施例１に係る物体判別装置の概要および特徴を説明するための図である。 実施例１に係る物体判別装置の構成を示すブロック図である。 実施例１に係る物体判別装置が採用する衝突危険度判定テーブルの構成例を示す図である。 実施例１に係る物体判別装置による処理の流れを示すフローチャートである。 実施例２に係る物体判別装置の概要を説明するための図である。
符号の説明
１０ 撮像装置（単眼カメラ）
１１ ナビ部
１２ レーダ部
１３ 前処理部
１３ａ フィルタ部
１３ｂ 輪郭抽出部
１４ 車内通知部
１５ 報知制御部
１６ 車両制御部
３０ 物体判別装置
３１ 記憶部
３１ａ 学習基底記憶部
３１ｂ 判別パターン記憶部
３１ｃ 衝突危険度判定テーブル
３２ 制御部
３２ａ 物体検出部
３２ｂ 物体判別部
３２ｃ 衝突危険度判定部

Claims (9)

  1. 単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別装置であって、
    前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手段と、
    前記物体検出手段によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手段と、
    を備えたことを特徴とする物体判別装置。
  2. 前記物体判別手段による判別結果に応じて、物体との衝突危険度を判定し、警告の報知および／または車両の制御を行うための判定信号を出力する判定手段をさらに備えたことを特徴とする請求項１に記載の物体判別装置。
  3. 前記判定手段は、前記物体判別手段による判別結果の他に、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項２に記載の物体判別装置。
  4. 前記判定手段は、前記物体判別手段による判別結果、前記照射手段によって得られた前記物体に対する距離情報の他に、前記画像から前記物体に対する距離情報を取得する画像距離情報取得手段によって得られた前記物体に対する距離情報に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項３に記載の物体判別装置。
  5. 前記判定手段は、前記物体判別手段による判別結果の他に、前記物体を判別する照射手段による判別結果に応じて、物体との衝突危険度を判定し、前記警告の報知および／または車両の制御を行うための判定信号を出力することを特徴とする請求項２に記載の物体判別装置。
  6. 前記物体検出手段は、照射による物体からの反射波によって当該物体に対する方向情報を取得する照射手段によって得られた前記物体に対する方向情報に応じて、前記画像における当該方向情報に対応する領域に対して、前記顕著性算出手法を適用して前記判別の対象となる物体を検出することを特徴とする請求項１に記載の物体判別装置。
  7. 前記物体判別手段は、照射による物体からの反射波によって当該物体に対する距離情報を取得する照射手段によって得られた前記物体に対する距離情報に応じて、前記物体検出手段によって検出された物体に対して、当該距離情報に応じたニューラルネットワーク手法を適用して当該物体を判別することを特徴とする請求項１に記載の物体判別装置。
  8. 単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する物体判別方法であって、
    前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出工程と、
    前記物体検出工程によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別工程と、
    を含んだことを特徴とする物体判別方法。
  9. 単眼で撮像された画像に基づいて画像内で撮像されている物体を判別する方法をコンピュータに実行させる物体判別プログラムであって、
    前記画像に対して顕著性算出手法を適用して前記判別の対象となる物体を検出する物体検出手順と、
    前記物体検出手順によって検出された物体に対してニューラルネットワーク手法を適用して当該物体を判別する物体判別手順と、
    をコンピュータに実行させることを特徴とする物体判別プログラム。
JP2005342950A 2005-11-28 2005-11-28 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム Pending JP2007148835A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005342950A JP2007148835A (ja) 2005-11-28 2005-11-28 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム
US11/600,191 US7817848B2 (en) 2005-11-28 2006-11-16 Apparatus, method, and computer product for discriminating object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005342950A JP2007148835A (ja) 2005-11-28 2005-11-28 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム

Publications (1)

Publication Number Publication Date
JP2007148835A true JP2007148835A (ja) 2007-06-14

Family

ID=38210175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005342950A Pending JP2007148835A (ja) 2005-11-28 2005-11-28 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム

Country Status (2)

Country Link
US (1) US7817848B2 (ja)
JP (1) JP2007148835A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070145A (ja) * 2007-09-13 2009-04-02 Nissan Motor Co Ltd 車両用運転評価装置
JP2015043128A (ja) * 2013-08-26 2015-03-05 株式会社 ミックウェア 走行支援装置、走行支援方法、およびプログラム
KR20170055138A (ko) * 2015-11-11 2017-05-19 현대모비스 주식회사 차량 전방 장애물 레이더 검지 방법
JP2019075150A (ja) * 2014-03-31 2019-05-16 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2020006759A (ja) * 2018-07-04 2020-01-16 株式会社シマノ 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体
JPWO2021230049A1 (ja) * 2020-05-12 2021-11-18
JP2022518324A (ja) * 2019-12-20 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 画像処理方法、装置、機器及び記憶媒体
JP7504201B2 (ja) 2020-05-12 2024-06-21 株式会社Ｎｔｔドコモ 情報通知システム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009070069A1 (en) * 2007-11-26 2009-06-04 Autoliv Development Ab A system for classifying objects in the vicinity of a vehicle
JP2009169776A (ja) * 2008-01-18 2009-07-30 Hitachi Ltd 検出装置
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
TWI332453B (en) * 2008-07-21 2010-11-01 Univ Nat Defense The asynchronous photography automobile-detecting apparatus and method thereof
TWI335280B (en) * 2008-10-14 2011-01-01 Univ Nat Taiwan Image security warning system for vehicle use
ATE553397T1 (de) * 2008-12-30 2012-04-15 Sony Corp Kameraunterstütztes abtastabbildungssystem und mehrfachaspekt-abbildungssystem
WO2011108198A1 (ja) * 2010-03-03 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
WO2012066751A1 (ja) * 2010-11-16 2012-05-24 本田技研工業株式会社 車両の周辺監視装置
DE102010062141B4 (de) * 2010-11-29 2023-08-17 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit mindestens einem Umfelderfassungssystem
EP2511121B1 (en) 2011-04-13 2018-10-24 Robert Bosch GmbH Device and method for generating an indication signal to the driver of a vehicle
EP2528049B1 (en) * 2011-05-23 2014-01-01 Robert Bosch GmbH Method and a device for detecting safety critical objects to a vehicle using Navigation data
JP5911165B2 (ja) * 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
US20130033999A1 (en) * 2011-08-05 2013-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Node and methods therein for enhanced positioning with complementary positioning information
US20130050180A1 (en) * 2011-08-30 2013-02-28 5D Robotics, Inc. Graphical Rendition of Multi-Modal Data
US8761498B1 (en) * 2012-01-26 2014-06-24 Google Inc. Face and license plate detection in street level images with 3-D road width features estimated from laser data
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
US10318823B2 (en) * 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
JP5870985B2 (ja) * 2013-10-23 2016-03-01 トヨタ自動車株式会社 運転支援装置
US20150268665A1 (en) * 2013-11-07 2015-09-24 Google Inc. Vehicle communication using audible signals
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
US10150414B2 (en) 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
GB2573738A (en) * 2018-03-27 2019-11-20 Points Protector Ltd Driving monitoring
CN108725440B (zh) * 2018-04-20 2020-11-27 深圳市商汤科技有限公司 前向碰撞控制方法和装置、电子设备、程序和介质
DE102018206805B3 (de) * 2018-05-03 2019-09-12 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts
CN108973859A (zh) * 2018-06-14 2018-12-11 合肥工业大学 一种鬼探头交通事故预警***及方法
JP2021077039A (ja) * 2019-11-07 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム。
KR20220055214A (ko) * 2020-10-26 2022-05-03 현대자동차주식회사 운전자 보조 시스템 및 그를 가지는 차량
TW202301078A (zh) * 2021-06-29 2023-01-01 微馳智電股份有限公司 直覺式人機互動介面系統

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461357A (en) * 1992-01-29 1995-10-24 Mazda Motor Corporation Obstacle detection device for vehicle
JP3153839B2 (ja) 1993-08-23 2001-04-09 三菱電機株式会社 車両用予防安全装置
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JPH07333339A (ja) 1994-06-03 1995-12-22 Mitsubishi Electric Corp 自動車用障害物検知装置
IL117279A (en) * 1996-02-27 2000-01-31 Israel Aircraft Ind Ltd System for detecting obstacles on a railway track
EP0898717B1 (en) * 1996-05-14 2003-07-09 Honeywell International, Inc. Autonomous landing guidance system
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
CN1160210C (zh) * 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3848514B2 (ja) 2000-02-23 2006-11-22 富士通株式会社 顕著性算出装置及び方法
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
JP2003187248A (ja) 2001-12-21 2003-07-04 Mitsubishi Electric Corp 画像処理システムおよび画像処理装置
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP2004145660A (ja) 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置
JP2004220555A (ja) 2002-12-27 2004-08-05 Fuji Photo Film Co Ltd 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体
WO2004083889A1 (ja) * 2003-03-20 2004-09-30 Matsushita Electric Industrial Co. Ltd. 障害物検知装置
JP4364566B2 (ja) * 2003-07-04 2009-11-18 富士重工業株式会社 車両制動装置
US7358498B2 (en) * 2003-08-04 2008-04-15 Technest Holdings, Inc. System and a method for a smart surveillance system
IL157235A0 (en) * 2003-08-04 2004-02-19 Assistec Ltd Apparatus for detection of objects and image/color identification
JP2005311691A (ja) 2004-04-21 2005-11-04 Toyota Central Res & Dev Lab Inc 物体検出装置及び方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070145A (ja) * 2007-09-13 2009-04-02 Nissan Motor Co Ltd 車両用運転評価装置
JP2015043128A (ja) * 2013-08-26 2015-03-05 株式会社 ミックウェア 走行支援装置、走行支援方法、およびプログラム
JP2019075150A (ja) * 2014-03-31 2019-05-16 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
KR20170055138A (ko) * 2015-11-11 2017-05-19 현대모비스 주식회사 차량 전방 장애물 레이더 검지 방법
KR102428267B1 (ko) * 2015-11-11 2022-08-01 현대모비스 주식회사 차량 전방 장애물 레이더 검지 방법
JP2020006759A (ja) * 2018-07-04 2020-01-16 株式会社シマノ 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体
JP7146491B2 (ja) 2018-07-04 2022-10-04 株式会社シマノ 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体
JP2022518324A (ja) * 2019-12-20 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 画像処理方法、装置、機器及び記憶媒体
JPWO2021230049A1 (ja) * 2020-05-12 2021-11-18
WO2021230049A1 (ja) * 2020-05-12 2021-11-18 株式会社Ｎｔｔドコモ 情報通知システム
JP7504201B2 (ja) 2020-05-12 2024-06-21 株式会社Ｎｔｔドコモ 情報通知システム

Also Published As

Publication number Publication date
US7817848B2 (en) 2010-10-19
US20070206849A1 (en) 2007-09-06

Similar Documents

Publication Publication Date Title
JP2007148835A (ja) 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム
JP2008021034A (ja) 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
JP2007188417A (ja) 画像認識装置、画像認識方法および画像認識プログラム
US11011062B2 (en) Pedestrian detection apparatus and pedestrian detection method
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
JP3846494B2 (ja) 移動障害物検出装置
KR101912453B1 (ko) 장애물 검출 및 충돌 경보 장치 및 방법
EP2860664B1 (en) Face detection apparatus
JP4869745B2 (ja) 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
JP4708124B2 (ja) 画像処理装置
JP2007072665A (ja) 物体判別装置、物体判別方法および物体判別プログラム
JP2008021035A (ja) 画像認識装置、画像認識方法および車両制御装置
US20120300078A1 (en) Environment recognizing device for vehicle
KR102044193B1 (ko) 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
US10588549B2 (en) Driver's physical condition detection device and method
JP2009070344A (ja) 画像認識装置、画像認識方法および電子制御装置
JP2008152672A (ja) 画像認識装置、画像認識方法および電子制御装置
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
JP2007164517A (ja) 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2007058751A (ja) 物体判別装置、物体判別方法および物体判別プログラム
JP2007064894A (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP5780249B2 (ja) 画像処理装置及び、当該画像処理装置を用いた車両制御システム
JP2012141740A (ja) 車両用外界認識装置およびそれを用いた車両システム
JP2009276906A (ja) 走行情報提供装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100302