JP4638143B2 - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP4638143B2
JP4638143B2 JP2003435486A JP2003435486A JP4638143B2 JP 4638143 B2 JP4638143 B2 JP 4638143B2 JP 2003435486 A JP2003435486 A JP 2003435486A JP 2003435486 A JP2003435486 A JP 2003435486A JP 4638143 B2 JP4638143 B2 JP 4638143B2
Authority
JP
Japan
Prior art keywords
vehicle
visual recognition
external environment
difficult
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003435486A
Other languages
English (en)
Other versions
JP2005196276A (ja
Inventor
昌裕 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2003435486A priority Critical patent/JP4638143B2/ja
Priority to US11/016,132 priority patent/US7940301B2/en
Priority to DE602004011650T priority patent/DE602004011650T2/de
Priority to EP04030179A priority patent/EP1548685B1/en
Publication of JP2005196276A publication Critical patent/JP2005196276A/ja
Application granted granted Critical
Publication of JP4638143B2 publication Critical patent/JP4638143B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、自車両の前方に存在する立体障害物との距離が必要作動距離に達した場合、警報装置や車速制限装置等の回避手段を作動させる車両用運転支援装置に関する。
従来から、自車両に搭載したレーザレーダ等により、自車両と衝突する可能性の高い先行車両、対向車両、或いは歩行者等の立体障害物を検出すると共に、それらと自車両との物理的な距離を検出し、距離が近接している場合は、警報等で運転者に注意を喚起する車両用運転支援装置が種々提案されている。
ところで、運転者の他車両や歩行者等の立体障害物に対する認知能力は、運転者の疲労度によって低下することが知られている。そのため、例えば特開平6−243398号公報には、運転者の疲労度を検知し、疲労度が高いと判定した場合は、車両周辺の物体の存在や距離等を検知するセンサの出力を上げて検知領域を広げ、立体障害物の認知遅れを未然に防ぐ技術か開示されている。
特開平6−243398号公報
しかし、運転者の認知能力の低下は、運転者の疲労度のみならず、視覚環境の複雑さによっても生じることが知られている。例えば、立体障害物近傍の視野内に電柱や建造物等の立体物が混在している場合、或いは、立体障害物の背景に、立体障害物と類似する形状、或いは大きさの立体物が存在する場合、立体物に立体障害物が溶け込み、或いは埋もれてしまい、認知能力が低下する。しかし、ほとんどの運転者は、複雑な視覚環境によって立体障害物の認知能力が低下していることを意識していない場合が多い。
この対策として、レーザレーダ等による障害物の検知能力を予め高く設定しておくことも考えられるが、過剰な運転支援となりかねず、又、検知精度が低下するため使い勝手が悪く、実用性を損なう問題がある。
本発明は、上記事情に鑑み、外部環境による運転者の認知能力の低下を推定し適切な運転支援を行うことのできる車両用運転支援装置を提供することを目的とする。
上記目的を達成するため第1の発明は、自車両前方の外部環境を認識して該自車両の運転支援を行う車両用運転支援装置において、上記自車両前方の上記外部環境を撮像する撮像手段と、上記撮像手段で撮像した上記外部環境の画像に基づいて自車両の走行を阻害する立体障害物を検出する立体障害物検出手段と、上記外部環境を撮像した上記画像に基づき該外部環境が上記立体障害物を視覚的に認識することを困難とさせる視覚的認識困難状態にあるか否かを判定する視覚的認識困難状態判定手段と、警報装置と車速制限装置とを備える回避手段と、上記立体障害物検出手段で上記立体障害物を検出した場合、上記視覚的認識困難状態判定手段の判定結果に応じて、自車両の上記回避手段を作動させるタイミングを制御する制御手段とを備え、上記制御手段は、上記自車両の速度に基づいて、上記立体障害物との衝突を回避するのに必要な必要作動距離を設定し、上記視覚的認識困難状態判定手段で視覚的認識困難状態にあると判定した場合は上記必要作動距離を設定距離分だけ長く設定すると共に、車速制限装置の必要作動距離が該警報装置の必要作動距離よりも短く設定されることを特徴とする。
の発明は、第の発明において、上記視覚的認識困難状態判定手段は、上記撮像手段で撮像した上記外部環境の画像から、上記立体障害物と略同一色の領域が設定割合以上検出された場合、視覚的認識困難状態にあると判定することを特徴とする。
の発明は、第1,2の発明において、上記視覚的認識困難状態判定手段は、上記外部環境を撮像した画像から輝度エッジを抽出し、該抽出した輝度エッジに基づいて、上記外部環境が上記立体障害物を視覚的に認識することを困難とさせる視覚的認識困難状態であるか否かを判定することを特徴とする。
の発明は、第の発明において、上記視覚的認識困難状態判定手段は、上記輝度エッジにおける垂直方向エッジと水平方向エッジを計数し、各々設定数以上検出された場合、画像が複雑であると判定することを特徴とする。
本発明によれば、外部環境による運転者の認知能力の低下を推定し適切な運転支援を行うことができる等、優れた効果が奏される。
以下、図面に基づいて本発明の一形態を説明する。図1に車両用運転支援装置を搭載した車両の概略構成図を示す。
同図の符号1は自動車等の車両(自車両)で、この自車両1に、運転者を積極的に支援する車両用運転支援装置(いわゆるADAシステム:Active Drive Assist system)2が搭載されている。ADAシステム2は、自車両1と、その前方に存在する立体障害物とが近接している場合に運転者に注意を促す警報機能や、ブレーキを動作させる車速制限機能等を備えている。
ADAシステム2は、主に、撮像装置としてのステレオカメラ3、画像処理部4、外部環境認識部5、制御部6等を備えており、制御部6に、車速センサ7が接続されていると共に、ブサー、ランプ等の警報装置8、及び車速制限装置としてのブレーキ駆動部9が各々接続されており、ブレーキ駆動部9からの駆動信号によりブレーキが作動される。尚、警報装置8及びブレーキ駆動部9が回避手段を構成している。又、この回避手段は警報装置8とブレーキ駆動部9との何れか一方であっても良い。
ステレオカメラ3は、車室内のルームミラー近傍に配設されており、CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサを内蔵した左右一対のメインカメラ(例えば右側カメラ)とサブカメラ(例えば左側カメラ)とで構成されている。又、ステレオカメラ3は、メインカメラによって基準画像を取得し、サブカメラによって比較画像を取得する。
画像処理部4は、メインカメラとサブカメラとで撮像した外部環境(主に自車両1の前方の画像)のアナログ画像を、所定の輝度階調のデジタル画像に変換(A/D変換)し、変換後のデジタル画像に対して輝度の補正や画像の幾何学的な変換等の補正を行う。そして、メインカメラで撮像した画像から基準画像を生成し、又、サブカメラで撮像した画像から比較画像を生成し、これらを画像メモリに格納する。
外部環境認識部5は、画像処理部4で処理した外部環境の画像に基づいて、自車両1の前方に存在する立体物を検出する立体物検出機能、この立体物の中で自車両1の走行を阻害する立体障害物を検出する立体障害物検出機能、及び外部環境の画像に基づき外部環境が立体障害物を視覚的に認識させることが困難となる視覚的認識困難状態にあるか否かを調べる視覚的認識困難状態判定機能等を備えている。
具体的には、画像メモリに格納されている基準画像と比較画像とに基づき視差を算出し、この視差、すなわち、基準画像と比較画像との間における水平方向のずれ量から、三角測量の原理を用いて画像全体に渡る距離情報を求め、三次元の距離分布データ(距離画像)を生成する。そして、距離分布データを処理して、先行車、停車中の車両、対向車両、歩行者、電柱、家屋等、走行路前方の立体物を検出すると共に道路形状を認識する。
立体物の認識は、例えば画像から水平方向エッジと垂直方向エッジとを抽出することで行う。以下、エッジの抽出方法について簡単に説明する。尚、水平方向エッジと垂直方向エッジとの抽出方法は基本的に同じであるため、水平方向エッジの抽出についてのみ説明する。
先ず、基準画像内に設定されている処理領域のそれぞれの画素に対して水平方向にフィルタリング処理を行い、水平方向に輝度差のあるエッジ部分を強調する。フィルタリング処理としては、例えばソーベル演算を用いたフィルタリング処理が知られている。
次いで、フィルタリング処理が行われたそれぞれの画素の輝度値に基づいて、輝度ヒストグラムを算出し、このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数とが所定の割合となる輝度値を閾値として二値化処理を施す。その後、二値化処理によって「1」の値を持つ画素、すなわちエッジ点を抽出し、連続するエッジ点をまとめて1つ水平方向エッジとしてグループ化する。エッジ点をグループ化する方法としては、テンプレートを使用したラベリング処理や最小二乗法により直線に近似させる処理が知られている。
そして、抽出された水平方向エッジ、及びこの水平方向エッジと同様の方法で抽出した垂直方向エッジと、各距離データとに基づいて、同一距離にある水平方向エッジと垂直方向エッジとから、画面上に表示されている複数の立体物を検出する。
更に、外部環境認識部5は、検出した複数の立体物の中から、自車両1と衝突する可能性の高い立体障害物を抽出すると共に、立体障害物が他の立体物に埋もれて輪郭阻害を生じているか否か、立体障害物と類似する形状の立体物が複数存在しているか否か、移動している立体物が複数存在するか否か、及び自車両1の運転者側から見て、立体障害物の背景が複雑か否かを調べ、輪郭阻害を生じている場合、類似形状の立体物が存在している場合、移動体が設定数以上存在している場合、或いは背景が複雑な場合は、外部環境が視覚的認識困難状態(運転者の立体障害物を視覚的に認識する能力が、他の立体物の存在が妨げとなって低下している状態)であると判定する。
立体障害物の抽出は、例えばステレオカメラ3を構成するメインカメラで撮像した基準画像にて時系列に求められる立体物の位置データから、この立体物の移動ベクトルを算出し、自車両1の進行方向と立体物の移動ベクトルとの関係から、該車両と衝突する可能性の高い立体物を抽出し、これを立体障害物と設定する。
立体障害物は、例えば、走行路前方を走行する車両、走行路前方の停車中の車両、対向車線を走行している対向車両、走行路前方の路肩付近に存在する歩行者、自転車、バイク等が抽出される。
又、移動体の抽出は、時系列に求められる位置データに変化がある立体物を抽出し、これを移動体と設定する。
制御部6は必要作動距離設定機能を有している。この必要作動距離設定機は、外部環境認識部5で立体障害物が検出された場合、車速センサ7で検出した自車両1の車速Veに基づき、立体障害物に対して自車両1が、それ以上近接した場合に、警報装置8を動作させる必要警報作動距離Dwと、ブレーキ駆動部9に駆動信号を出力してブレーキを作動させる必要ブレーキ作動距離Dnとを算出する。更に、この場合、外部環境認識部5で、外部環境が視覚的認識困難状態と判定された場合は、両必要作動距離Dw,Dnを設定量だけ長く設定する。従って、視覚的認識困難状態では、警報装置8とブレーキとの動作タイミングが早めに設定される。
以下、図2、図3のフローチャートに従い、上述したADAシステムの処理手順について説明する。
自車両1が走行を開始すると、図2に示す運転支援ルーチンが設定周期毎に起動され、先ず、ステップS1で、メインカメラとサブカメラとからなるステレオカメラ3で撮影した、自車両1の前方の画像データを読込み、ステップS2で、車速センサ7で検出した車速Veを読込む。
そして、ステップS3で、画像データを所定画像処理して立体物を検出する。尚、この立体物の検出処理については既述したので、ここでの説明は省略する。
その後、ステップS4へ進み、検出した立体物の中に立体障害物があるか否かを調べ、立体障害物が存在する場合、ステップS5へ進み、立体障害物が存在しない場合、ルーチンを抜ける。尚、立体障害物の抽出処理については既述したので、ここでの説明は省略する。
そして、ステップS5へ進むと、自車両1の前方の外部環境が視覚的認識困難状態にあるか否かを検出する。この視覚的認識困難状態にあるか否かは、図3に示す視覚的認識困難条件判定サブルーチンに従って判定される。
先ず、ステップS21で、抽出した立体障害物の輪郭を阻害する立体物(以下、「輪郭阻害物」と称する)が有るか否かを調べる。例えば、図4では、立体障害物が路肩を移動する歩行者W、輪郭阻害物が電柱Pである。歩行者Wは、電柱Pにより輪郭の一部が隠れており、このような状況では、運転者は、歩行者Wの進行方向を的確に判断(推測)することが困難である。
従って、ステップS21では、ステレオカメラ3で撮影した画像に基づいて、立体障害物を抽出した際、この立体障害物の左右横の距離値を検出する。立体障害物の左右横の距離値が立体障害物の距離値よりも近い値を示しているときは、立体障害物の一部が他の立体物に隠れた状態であり、輪郭阻害物有りと判定する。 輪郭阻害物は電柱Pに限らず、道路標識柱、塀、街路樹、杭等も対象となる。
そして、輪郭阻害物有りと判定された場合は、ステップS26へジャンプし、自車両1の前方の外部環境が視覚的認識困難状態有りと、揮発性メモリ等に記憶してルーチンを抜ける。
又、輪郭阻害物無しと判定された場合は、ステップS22へ進む。ステップS22では、立体障害物と形状の類似した立体物(以下、「類似形状物」と称する)が設定数n1以上存在しているか否かを調べる。
例えば、図6(a)に示すように、立体障害物が、自車両1の前方を走行している先行車両Cf或いは対向車両Coの場合、遠方に連続して立設されている建造物Eの形状の大きさやパターンが、車両Cf,Coと類似しているために、車両Cf,Coが遠方の建造物Eの中に溶け込んでしまい、運転者は、車両Cf,Coを明瞭に識別することが困難となり易い。
又、例えば図(b)に示すように、立体障害物が歩行者Wの場合、路肩に連続して、上下方向に細長い建造物(電柱、電話ボックス等)Fが複数立設されている場合、歩行者Wの肩幅と建造物Fのパターンが類似しているため、歩行者Wが建造物F中に溶け込んでしまい、運転者は、歩行者Wを認識することが困難になり易い。
ステップS22では、抽出した垂直方向エッジと水平方向エッジとに基づいて、立体障害物(先行車両Cfと対向車両Co、或いは歩行者W)と立体物(建造物E,F)との形状を認識し、立体障害物に類似する形状物(類似形状物)が存在するか否かを調べ、類似形状物が存在する場合は、その数aをカウントする。そして、カウント数aが設定数n1以上(n1≦a)の場合、類似形状物有りと判定して、ステップS26へジャンプし、自車両1の前方の外部環境が視覚的認識困難状態有りと、揮発性メモリ等に記憶してルーチンを抜ける。
又、カウント数aが設定数n1未満(n1>a)の場合、類似形状物無しと判定し、ステップS23へ進む。ステップS23では、移動体の数bが設定数n2以上存在しているか否かを調べる。
例えば、図に示すように、立体物が路肩を歩行している複数の歩行者Wであり、歩行者Wの一人が立体障害物である場合、運転者は、複数の歩行者Wと立体障害物の動きをそれぞれ認識して、衝突する可能性を判断するため、この判断に遅れが生じ易い。また、複数の歩行者Wが立体障害物の背景となる状況では、複数の歩行者Wの動きが妨げになり、立体障害物の移動量を認識するのが困難になり易い。
そのため、ステップS23では、移動体の数をカウントし、このカウント数bが設定数n2以上(n2≦b)である場合、複数の移動体有りと判定し、ステップS26へジャンプし、自車両1の前方の外部環境が視覚的認識困難状態有りと、揮発性メモリ等に記憶してルーチンを抜ける。
一方、カウント数bが設定数n2未満(n2>b)の場合は、移動体が複数無しと判定し、ステップS24へ進む。ステップS24では、画像の複雑度を判定する。画像の複雑度は、垂直方向エッジの数cと水平方向エッジの数dとで判定する。
例えば、図7に示すように、市街地の交差点等では前方及び周囲に人造建造物Gが多数存在しており、自車両1の運転者側から見て、先行車両Cf等の立体障害物が、背景に有る人造建造物Gに溶け込まれて認識遅れが生じ易い。
そのため、ステップS24では、垂直方向エッジの数cと水平方向エッジの数dとをカウントし、両エッジ数c,dがそれぞれ設定数n3,n4よりも多い場合(n3≦c,n4≦d)、画像が複雑であると判定し、ステップS26へジャンプし、自車両1の前方の外部環境が視覚的認識困難状態有りと、揮発性メモリ等に記憶してルーチンを抜ける。
一方、エッジ数c,dが、設定数n3,n4未満(n3>c、且つn4>d)の場合は画像の複雑度は低いと判定した場合は、ステップS25へ進み、視覚的認識困難状態無しと、揮発性メモリ等に記憶してルーチンを抜ける。
そして、図3のフローチャートを抜けて、図2に示すフローチャートのステップS6へ進むと、図3の視覚的認識困難条件判定サブルーチンでの判定結果を読込み、視覚的認識困難状態有りか否かを調べ、視覚的認識困難状態有りの場合は、ステップS7へ進む。又、視覚的認識困難無しの場合は、ステップS8へ進む。
ステップS7では、後述する必要警報作動距離Dw、及び必要ブレーキ作動距離Dnを算出する際に読込む、余裕値L1,L2を、予め設定した補正値ΔL(例えば2〜5m程度)で加算した値で更新し(L1←L1+ΔL,L2←L2+ΔL)、ステップS8へ進む。尚、本形態においては、補正値ΔLを固定値としているが、車速等の運転状態に応じて変動する可変値であっても良い。更に、補正値ΔLは、余裕値L1,L2毎に異なる値としても良い。
そして、ステップS6或いはステップS7からステップS8へ進むと、車速センサ7で検出した自車両1の車速Ve、及び自車両1と立体障害物との相対速度Vrから、立体障害物の相対速度VQを算出する。
VQ=Ve+Vr …(1)
次いで、自車両1が、その前方に存在する立体障害物に対して警報を発し、或いはブレーキを作動させるのに必要な、必要警報作動距離Dw及び必要ブレーキ作動距離Dnを算出する。
Dw=Dsw−{Ve/(2・Ae)}
+{VQ/(2・AQ)}+L1 …(2)
Dn=DsQ−{Ve/(2・Ae)}
+{VQ/(2・AQ)}+L2 …(3)
(2),(3)式の第1項(Dsw,DsQ)は、自車両1及び立体障害物が停止した状態での基本作動距離であり、例えばDsw=8m、Dn=4m程度に各々設定されている。又、第2項({Ve/(2・Ae)})は、自車両1が車速Veから減速度Aeで制動したときの制動距離である。減速度Aeは、ブレーキの制動能力や運転者の乗り心地等を考慮して設定されるもので、例えば−1.0m/s程度に設定される。
更に、第3項({VQ/(2・AQ)})は、立体障害物が減速度AQで制動を加えたと仮定した場合の推定制動距離である。ここで、AQの値は先行車両が急ブレーキを掛けた状態を想定して、−6.0m/s程度の値(一定値)に設定されている。但し、本願発明においては、立体障害物が先行車両には限定しておらず、対向車両、歩行者も含まれるため、AQ=1としても良い。又、第4項(L1,L2)は、必要作動距離Dw,Dnを設定する際の余裕値であり、初期値は、例えばL1=3〜5m程度、L2=1〜3m程度に設定されている。
次いで、ステップS9へ進むと、自車両1と立体障害物との間の距離(以下、「対物距離」と称する)Drと、必要警報作動距離Dwとを比較し、対物距離Drが必要警報作動距離Dwより短いか否かを調べる。尚、この対物距離Drは、ステレオカメラ3で撮像した画像から立体障害物を抽出したときの、対応する距離データを参照して設定したものである。
そして、Dr≧Dの場合は、対物距離Drに余裕があるため、そのままルーチンを抜ける。一方、Dr<Dの場合は、対物距離Drが短く、その後異常接近する可能性があるため、ステップS10へ進み、警報装置8に対して駆動信号を出力し、警報装置8を動作させて、運転者に注意を促す。
次いで、ステップS11へ進み、対物距離Drと必要ブレーキ作動距離Dnとを比較する。そして、Dr≧Dnの場合は、必要ブレーキ作動距離Dnに対して対物距離Drに余裕があるため、そのままルーチンを抜ける。一方、Dr<Dnの場合は、対物距離Drが必要ブレーキ作動距離Dnよりも短いため、ステップS12へ進み、ブレーキ駆動部9に対して駆動信号を出力し、ブレーキ作動制御を実行させてルーチンを抜ける。
その結果、外部環境が視覚的認識困難状態の場合は、視覚的認識困難状態無しの場合に比し、必要警報作動距離Dw、及び必要ブレーキ作動距離Dnが補正値ΔL分だけ長く設定される。そのため、視覚的認識困難状態において、先行車両Cf、対向車両Co、歩行者W等の立体障害物が検出された場合、警報装置8とブレーキとを早いタイミングで動作させることで、事故発生を未然に回避し、予防安全性を向上させることができる。
尚、本発明の形態では、類似形状物の判定について、垂直方向エッジと水平方向エッジとにより立体障害物と形状の類似する立体物を類似形状物として判定するようにしたが、類似形状物の判定は、水平方向エッジを用いることなく垂直方向エッジにより立体障害物の横幅のみ類似する立体物を抽出し、これを類似形状物として判定しても良い。
図9は、横幅のみ類似する類似形状物の存在によって、立体障害物の認識が困難になる状況を示した例である。図9(a)は、立体物である電柱等の建造物の周辺を走行するバイクHoを撮像した画像を示し、図9(b)は、図9(a)の画像における垂直方向エッジを模式的に表している。
これに対し、図10(a)は、図9(a)と同じ場所を走行する車両Ioを撮像した画像を示し、図10(b)は、図10(a)の画像における垂直方向エッジを模式的に表している。図9におけるバイクHoと、図10における車両Ioは、それぞれ立体障害物であり、建造物である立体物に対して、それぞれ高さが異なっている。
ここで、図9と図10とを比較して見ると、図10における立体障害物(Io)は、浮き上がって見えるのに対し、図9における立体障害物(Ho)は、立体物に溶け込んでしまい、認識するのが困難であることが分かる。
このように、この横幅のみ類似する類似形状物が存在しても、運転者は、立体障害物の認識が困難な状態になってしまう。このため、立体物の高さが立体障害物と異なっていても横幅が類似していれば、この立体物を類似形状物として判定することで、予防安全性を更に向上することが可能となる。 又、本発明は、上述した形態に限る物ではなく、例えばステレオカメラ3で撮像した画像を、図8(a)に示すように、走行路領域11と左景観領域12と右景観領域13とに区分して、各領域毎に視覚的認識困難状態が有るか否かを調べるようにしても良く、更に、同図(b)に示すように、走行路領域11を、自車両1の走行路領域11aと対向車両の走行路領域である対向路領域11bとに区分し、各領域毎に視覚的認識困難状態が有るか否かを調べるようにしても良い。
更に、ステレオカメラ3を構成するメインカメラとサブカメラとはカラービデオカメラであっても良い。ステレオカメラ3をカラービデオカメラとすることで、図3に示す視覚的認識困難条件判定サブルーチンで処理する判定条件に、立体障害物の色データを検出し、ステレオカメラ3で撮像した画像に、立体障害物とほぼ同一の色データを有する領域が所定の割合で存在する場合、視覚的認識困難状態有りと判定する条件を加えても良い。
車両用運転支援装置を搭載した車両の概略構成図 運転支援ルーチンを示すフローチャート 視覚的認識困難条件判定サブルーチンを示すフローチャート 輪郭阻害物が存在する画像の説明図 移動体が多数存在する画像の説明図 類似形状物が存在する画像の説明図 複雑度の高い画像の説明図 別の態様による画像の領域区分を示す説明図 (a)は建造物の周辺を走行するバイクを撮像した画像の説明図、(b)は(a)の画像における垂直方向エッジを模式的に表した説明図 (a)は建造物の周辺を走行する車両を撮像した画像の説明図、(b)は(a)の画像における垂直方向エッジを模式的に表した説明図
符号の説明
1 自車両
2 車両用運転支援装置
3 ステレオカメラ(撮像手段)
4 画像処理部
5 外部環境認識部
6 制御部(制御手段)
8 警報装置(回避手段)
9 ブレーキ駆動部(回避手段、車速制限装置)
Cf 先行車両(立体障害物)
Dn 必要ブレーキ作動距離(必要距離)
Do 対向車両(立体障害物)
Dr 対物距離
Dw 必要警報作動距離(必要距離)
Ho バイク
Io 車両
電柱(輪郭阻害物)
Ve 車速(自車両の速度)
W 歩行者(立体障害物)

Claims (4)

  1. 自車両前方の外部環境を認識して該自車両の運転支援を行う車両用運転支援装置において、
    上記自車両前方の上記外部環境を撮像する撮像手段と、
    上記撮像手段で撮像した上記外部環境の画像に基づいて自車両の走行を阻害する立体障害物を検出する立体障害物検出手段と、
    上記外部環境を撮像した上記画像に基づき該外部環境が上記立体障害物を視覚的に認識することを困難とさせる視覚的認識困難状態にあるか否かを判定する視覚的認識困難状態判定手段と、
    警報装置と車速制限装置とを備える回避手段と、
    上記立体障害物検出手段で上記立体障害物を検出した場合、上記視覚的認識困難状態判定手段の判定結果に応じて、自車両の上記回避手段を作動させるタイミングを制御する制御手段と
    を備え、
    上記制御手段は、上記自車両の速度に基づいて、上記立体障害物との衝突を回避するのに必要な必要作動距離を設定し、上記視覚的認識困難状態判定手段で視覚的認識困難状態にあると判定した場合は上記必要作動距離を設定距離分だけ長く設定すると共に、車速制限装置の必要作動距離が該警報装置の必要作動距離よりも短く設定される
    ことを特徴とする車両用運転支援装置。
  2. 上記視覚的認識困難状態判定手段は、上記撮像手段で撮像した上記外部環境の画像から、上記立体障害物と略同一色の領域が設定割合以上検出された場合、視覚的認識困難状態にあると判定することを特徴とする請求項1に記載の車両用運転支援装置。
  3. 上記視覚的認識困難状態判定手段は、上記外部環境を撮像した画像から輝度エッジを抽出し、該抽出した輝度エッジに基づいて、上記外部環境が上記立体障害物を視覚的に認識することを困難とさせる視覚的認識困難状態であるか否かを判定することを特徴とする請求項1或いは2に記載の車両用運転支援装置。
  4. 上記視覚的認識困難状態判定手段は、上記輝度エッジにおける垂直方向エッジと水平方向エッジを計数し、各々設定数以上検出された場合、画像が複雑であると判定することを特徴とする請求項3記載の車両用運転支援装置。
JP2003435486A 2003-12-26 2003-12-26 車両用運転支援装置 Expired - Fee Related JP4638143B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003435486A JP4638143B2 (ja) 2003-12-26 2003-12-26 車両用運転支援装置
US11/016,132 US7940301B2 (en) 2003-12-26 2004-12-17 Vehicle driving assist system
DE602004011650T DE602004011650T2 (de) 2003-12-26 2004-12-20 Fahrassistenzsystem für ein Kraftfahrzeug
EP04030179A EP1548685B1 (en) 2003-12-26 2004-12-20 Vehicle driving assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003435486A JP4638143B2 (ja) 2003-12-26 2003-12-26 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2005196276A JP2005196276A (ja) 2005-07-21
JP4638143B2 true JP4638143B2 (ja) 2011-02-23

Family

ID=34545132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003435486A Expired - Fee Related JP4638143B2 (ja) 2003-12-26 2003-12-26 車両用運転支援装置

Country Status (4)

Country Link
US (1) US7940301B2 (ja)
EP (1) EP1548685B1 (ja)
JP (1) JP4638143B2 (ja)
DE (1) DE602004011650T2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3915766B2 (ja) * 2003-10-15 2007-05-16 株式会社デンソー 運転支援装置
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP2007094618A (ja) * 2005-09-28 2007-04-12 Omron Corp 通知制御装置および方法、記録媒体、並びに、プログラム。
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
JP4788399B2 (ja) * 2006-02-27 2011-10-05 トヨタ自動車株式会社 歩行者検出方法、装置、およびプログラム
JP4923736B2 (ja) * 2006-05-30 2012-04-25 株式会社Jvcケンウッド 道路通信システムおよび道路通信方法
JP4764278B2 (ja) * 2006-07-14 2011-08-31 株式会社デンソーアイティーラボラトリ 衝突危険度判定装置、衝突危険度判定方法及び歩行者識別方法
JP4670805B2 (ja) * 2006-12-13 2011-04-13 株式会社豊田中央研究所 運転支援装置、及びプログラム
JP4784523B2 (ja) * 2007-01-30 2011-10-05 マツダ株式会社 車両の物体検知装置
EP3480057B1 (en) 2007-04-30 2022-07-06 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP4991384B2 (ja) * 2007-05-08 2012-08-01 株式会社日立製作所 接近物検知装置及び接近物検知プログラム
DE102007023838A1 (de) * 2007-05-21 2008-11-27 Adc Automotive Distance Control Systems Gmbh Modulares Kamerasystem für Fahrerassistenzfunktionen
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP5016503B2 (ja) * 2008-01-18 2012-09-05 本田技研工業株式会社 車両の接触回避支援装置
DE102008023380A1 (de) * 2008-05-13 2009-11-19 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit einem Fahrassistenzsystem
TWI478835B (zh) * 2010-02-08 2015-04-01 Hon Hai Prec Ind Co Ltd 車輛防撞監控系統及方法
DE102010002310A1 (de) 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
DE102010002312A1 (de) 2010-02-24 2011-08-25 Robert Bosch GmbH, 70469 Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug
JP2012159989A (ja) * 2011-01-31 2012-08-23 Toshiba Alpine Automotive Technology Corp 運転支援装置および運転支援方法
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
DE102011113077A1 (de) * 2011-09-07 2013-03-07 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera
US20130215271A1 (en) 2012-02-22 2013-08-22 Magna Electronics, Inc. Indicia and camera assembly for a vehicle
JP5930806B2 (ja) * 2012-03-30 2016-06-08 富士通テン株式会社 検知装置、及び検知方法
JP5986206B2 (ja) * 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
DE102012213294B4 (de) * 2012-07-27 2020-10-22 pmdtechnologies ag Verfahren zum Betreiben eines Sicherheitssystems in einem Kraftfahrzeug, das eine 3D-Ortsfrequenzfilter-Kamera und eine 3D-TOF-Kamera aufweist
CN103679121B (zh) * 2012-09-14 2017-04-12 株式会社理光 采用视差图像检测路边的方法及***
EP2934967B1 (de) 2012-12-20 2019-01-02 Continental Teves AG & Co. OHG Verfahren und vorrichtung zum automatisierten bremsen und lenken eines fahrzeugs
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult
JP6279282B2 (ja) * 2013-10-08 2018-02-14 株式会社東海理化電機製作所 立体物確認装置及び立体物確認プログラム
US10318823B2 (en) 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
JP2016018295A (ja) * 2014-07-07 2016-02-01 日立オートモティブシステムズ株式会社 情報処理システム
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP2016152018A (ja) * 2015-02-19 2016-08-22 トヨタ自動車株式会社 警報装置
JP2016158186A (ja) 2015-02-26 2016-09-01 カシオ計算機株式会社 撮像装置、撮像方法、撮像プログラム
DE102015220786A1 (de) * 2015-10-23 2017-04-27 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Überwachen der Umgebung des Kraftfahrzeugs
JP6819038B2 (ja) * 2015-12-10 2021-01-27 いすゞ自動車株式会社 安全装置
US11305766B2 (en) * 2016-09-26 2022-04-19 Iprd Group, Llc Combining driver alertness with advanced driver assistance systems (ADAS)
CN110045721B (zh) * 2018-01-17 2022-10-28 大陆泰密克汽车***(上海)有限公司 用于辅助车辆行驶的方法及其装置
JP2018139120A (ja) * 2018-04-11 2018-09-06 日立オートモティブシステムズ株式会社 情報処理システム
JP2020042846A (ja) * 2019-11-26 2020-03-19 日立オートモティブシステムズ株式会社 情報処理システム
DE102020101280A1 (de) * 2020-01-21 2021-07-22 Audi Aktiengesellschaft Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
JP2002367099A (ja) * 2001-06-12 2002-12-20 Nissan Motor Co Ltd 車両用情報処理装置
JP2003199094A (ja) * 2001-12-28 2003-07-11 Yazaki Corp 車両用画像修整装置及び夜間運転視界支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06243398A (ja) 1993-02-15 1994-09-02 Mitsubishi Electric Corp 車両予防安全装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US7016045B2 (en) * 1999-03-12 2006-03-21 Regents Of The University Of Minnesota Video camera-based visibility measurement system
EP1223083B1 (en) 1999-09-20 2004-03-17 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
JP2002316633A (ja) * 2001-04-20 2002-10-29 Fuji Heavy Ind Ltd 車両運動制御装置
JP2004288100A (ja) * 2003-03-25 2004-10-14 Minolta Co Ltd 撮像装置及び移動体カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
JP2002367099A (ja) * 2001-06-12 2002-12-20 Nissan Motor Co Ltd 車両用情報処理装置
JP2003199094A (ja) * 2001-12-28 2003-07-11 Yazaki Corp 車両用画像修整装置及び夜間運転視界支援装置

Also Published As

Publication number Publication date
EP1548685A3 (en) 2005-09-14
DE602004011650T2 (de) 2009-02-05
JP2005196276A (ja) 2005-07-21
EP1548685A2 (en) 2005-06-29
US20050143887A1 (en) 2005-06-30
EP1548685B1 (en) 2008-02-06
DE602004011650D1 (de) 2008-03-20
US7940301B2 (en) 2011-05-10

Similar Documents

Publication Publication Date Title
JP4638143B2 (ja) 車両用運転支援装置
JP5389002B2 (ja) 走行環境認識装置
JP6231345B2 (ja) 車両用発進支援装置
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
JP3358709B2 (ja) 車両用運転支援装置
JP4714104B2 (ja) 物体傾き検出装置
JP6787157B2 (ja) 車両制御装置
JP2001195699A (ja) 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体
JP2001213254A (ja) 車両用側方監視装置
JP2008250503A (ja) 運転支援装置
JP6174644B2 (ja) 画像処理装置
JP2007280132A (ja) 走行誘導障害物検出装置および車両用制御装置
JP2008117073A (ja) 割り込み車両検出装置
KR20080022748A (ko) 스테레오 카메라를 이용한 충돌회피 방법
JP3245363B2 (ja) 車両の衝突防止装置
JPH1139597A (ja) 車両の衝突防止装置
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
KR102031635B1 (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
EP3545465B1 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and information processing program
JP5338417B2 (ja) 車両の周辺地上高を検出して作動する安全装置及び周辺地上高検出装置
JP2019023794A (ja) 画像処理装置及び画像処理方法
JP2005202787A (ja) 車両用表示装置
JP2005182753A (ja) 車両運転支援装置
KR102028964B1 (ko) 주행 보조 시스템 및 그 방법
JP2005092516A (ja) 車載用移動体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4638143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees