JP2015501455A - 車道上で車両を誘導する際に運転者を支援するための方法および装置 - Google Patents

車道上で車両を誘導する際に運転者を支援するための方法および装置 Download PDF

Info

Publication number
JP2015501455A
JP2015501455A JP2014515218A JP2014515218A JP2015501455A JP 2015501455 A JP2015501455 A JP 2015501455A JP 2014515218 A JP2014515218 A JP 2014515218A JP 2014515218 A JP2014515218 A JP 2014515218A JP 2015501455 A JP2015501455 A JP 2015501455A
Authority
JP
Japan
Prior art keywords
vehicle
driver
image
roadway
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014515218A
Other languages
English (en)
Other versions
JP6193222B2 (ja
Inventor
ヴォルフガング・ニーアセン
シュテファン・ジモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2015501455A publication Critical patent/JP2015501455A/ja
Application granted granted Critical
Publication of JP6193222B2 publication Critical patent/JP6193222B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

本発明は、車道(145)上で車両(100)を誘導する際に運転者を支援するための方法(1300)に関する。この方法(1300)は、読み取られた画像(135)をディスプレイユニット(150)上で運転者(140)に表示する表示ステップ(1310)を有しており、この場合、前記画像(135)はカメラ(120)によって撮影され、車両周囲状況(115)を表わしている。さらにこの方法は、運転者(140)によって操作インターフェース(210)にインプットされた操作信号(215)を読み取る読み取りステップ(1320)と、前記画像(135)内に含まれた対象物(300)を、前記操作信号(215)を使用して選択する選択ステップ(1330)とを有している。さらにこの方法(1300)は、前記ディスプレイユニット(150)にマーク(310,500,600)を表示する表示ステップ(1340)を有しており、この場合、前記マーク(310,500,600)は、前記画像(135)の、前記対象物(300)を表わす領域内に表示される。最後にこの方法(1300)は、車両(100)により走行される車道のための少なくとも1つの前後方向制御パラメータを決定するために前記対象物(300)を利用する利用ステップ(1350)を有していて、これにより、車道(145)上で車両(100)を誘導する際に運転者(140)を支援するようになっている。【選択図】図6

Description

本発明は、独立請求項に記載した形式の、車道上で車両を誘導する際に運転者を支援するための方法、および相応の装置、並びに相応のコンピュータプログラム製品に関する。
ACCシステム(ACC=Adaptive Cruise Control=アダプティブクルーズコントロール)は、先行する車両に対する車間距離をコントロールするものであり、ほぼ10年前から市販されている。ACCシステムは、一般的にレーダーセンサに基づいており、いくつかの最新の車両においては、ライダーセンサにも基づいている。最近では、例えば車線情報を考慮してACC機能を改善し、かつ拡張し、特に左右方向の対象物測定を改善し、車線に入ってくるまたは車線から外れる車両に対して早期に反応し、離間距離検出および衝突保護または左右方向の検知領域拡大を得るために、複数のセンサ、例えばレーダーとビデオが統合されている。
特許文献1には、車両周辺を検知するための複数のセンサおよびこれらのセンサのアウトプット信号に基づいて車両の電源システムを作動させるための装置を備えた運転者アシストシステムを制御するための方法について開示されており、この運転者アシストシステムは、少なくとも車両が走行している車線の変化および車線に関連した車両の位置を検知し、車両を軌道上で誘導する。この場合、この運転者アシストシステムは運転者の要求に基づいて軌道を確定する。
従来公知のすべての運転者アシストシステムは、センサによって対象物検知に関する僅かな情報を運転者に与えるだけである、という点で共通している。
ドイツ連邦共和国特許公開第102008003666号明細書
以上のような背景から、本発明によれば、独立請求項に記載した方法、さらにこの方法を使用する制御装置、並びに相応のコンピュータプログラム製品が提案される。好適な実施態様は、それぞれの従属請求項および以下の説明に記載されている。
本発明によれば、車道上で車両を誘導する際に運転者を支援するための方法を提供するものであり、この方法は、
読み取られた画像をディスプレイユニット上で運転者に表示する表示ステップを有しており、この場合、前記画像はカメラによって撮影された車両周囲状況を表わしており、
運転者によって操作インターフェースにインプットされた操作信号を読み取る読み取りステップを有しており、
前記画像内に含まれた対象物を、前記操作信号を使用して選択する選択ステップを有しており、
前記ディスプレイユニットにマークを表示する表示ステップを有しており、この場合、前記マークは、前記画像の、前記対象物を表わす領域内に表示されるようになっており、
車両により走行される車道のための少なくとも1つの前後方向制御パラメータを決定するために対象物を利用する利用ステップを有していて、これにより、車道上で車両を誘導する際に運転者を支援するようになっており、特にこの場合、少なくとも1つの前後方向制御パラメータは、対象物に対して維持しようとする車両の間隔および/または対象物に車両が接近する際の相対速度を有している。
本発明はさらに、前記本発明による方法のステップを相応のユニットにおいて実行若しくは実施するために構成された装置、特にナビゲーション装置に関する。本発明の装置としてのこのような変化実施例によっても、本発明の基礎をなしている課題を迅速かつ効果的に解決することができる。
装置とは、センサ信号を処理し、それに応じて制御信号をアウトプットする電気機器のことである。この装置は、ハードウエア的および/またはソフトウエア的に構成されるインターフェースを有していてよい。ハードウエア的な構成において、インターフェースは例えば、装置の様々な機能を有するいわゆるシステムASICの一部であってよい。しかしながらまた、このインターフェースは、固有の集積回路であるかまたは少なくとも部分的に不連続な素子より成っていてもよい。ソフトウエア的な構成において、インターフェースは例えば別のソフトウエアモジュールと並んでマイクロコントローラに設けられたソフトウエアモジュールであってよい。
また、プログラムコードを有するコンピュータプログラム製品も有利である。このプログラムコードは、機械読み取り可能なキャリア例えば半導体メモリー、ハードディスクまたは光学メモリーに記憶することができ、前記プログラムが、コンピュータに相当する機器において実行されるときに、前記実施例に記載された方法を実施するために用いられる。
車道上で車両を誘導する際に運転者を支援するとは、例えば対象物に関連して自動的に前後方向制御および/または左右方向制御することであるか、または、運転者に制動および加速または操舵を要求する、聴覚的および/または触覚的および/または視覚的な信号の形の支援のことでもある。ディスプレイユニットとは、画面であるか、または対象物をフロントガラスに投影する装置であってもよい。車両周辺とは、車両の外側領域、特にカメラによって撮影される、車両前方の車道のことである。操作インターフェースとは、運転者または人員による手動、言語またはその他のインプットを検知して、それに応答して操作信号を供給するインターフェースのことである。マークとは、ディスプレイユニットに表示されるマーク対象物のことである。この場合、マーク若しくはマーク対象物は、選択された対象物も表示される画像の領域に重ねることができる。車両によって走行される車道を決定するとは、例えば対象物を最短の経路でまたは最も快適な形式で追跡するために、車両が好都合な形式で誘導されるべき軌道を算出することである。前後方向制御パラメータとは、例えば、車両が追跡すべき対象物に対する間隔または速度のことであり、この場合、速度は、対象物との衝突を避けるために車両が維持すべき最大速度を示す。従って、この前後方向制御パラメータは、前後方向ガイド信号を生成して運転者にアウトプットし、車両を運転する際に運転者をこの前後方向ガイド信号によって支援するために、運転アシストユニットに使用される。この場合、前後方向ガイド信号とは、対象物と車両が衝突する可能性に関して距離がどのくらいであるかまたは速度がどのくらいであるかを、運転者に表示する信号のことである。例えば前後方向ガイド信号は、車両が対象物と間もなく衝突する危険性を画像により表示するタコメータの形で表示される。選択的にまたは追加的に、前後方向ガイド信号は、車両の運転者をアシストするために、自動的にステアリング作動を行い、かつ/またはブレーキを作動させるためにも当然使用される。
本発明は、ディスプレイユニット上にマークを表示すること、車両により走行される車道を利用し、かつ決定することによって、車両の運転者が、視覚的に非常に分かり易くかつ検知し易い形式で、ナビゲーション装置が誘導を決定する際にどの対象物を基にしているかに関する情報を得ることができる、という認識に基づいている。これによって、例えば車両によって走行される車道のために少なくとも1つの前後方向制御パラメータを決定するために望ましくない対象物が利用されたときに、運転者は迅速に間違いに気付くことができる。例えば、このような前後方向制御パラメータは、対象物が移動する速度にも関連している。例えば道路の右側に速度の遅い車両が走行していて、(隣の)道路の左側に速度の速い車両が走行している場合、速度のために左側の車両が選択され、従ってシステムに、運転者が減速して右側の車両を追跡するのではなく、速い速度で走行しようとしていることが伝達される。このような形式で、運転者の気がそれることによって道路交通に危険な状況を発生させる可能性のある運転者の混乱は避けられる。
本発明の特別な実施例に従って、画像を表示する表示ステップにおいて対象物を画像から予め検知し、選択ステップにおいて予め検知された対象物の操作信号を使用して選択を行うようにすれば、好適である。予め検知するとは、対象物の選択前に画像が既に調べられ、多くの選択可能な対象物が既に検知されるかまたは分類分けされる予備評価のことである。このような本発明の実施例によれば、対象物の選択および、次いで行われる選択された対象物のマーキングを迅速に行うことができ、それによって運転者は、車道を決定するために正しい対象物が選択されているかどうかを検知するために、ディスプレイユニットに目をやる時間がより短くて済む、という利点が得られる。
本発明の別の実施例によれば、表示ステップにおいて、画像が、ディスプレイユニットの接触感応式のディスプレイに表示され、この際に読み取りステップにおいて、検知された押圧に反応して接触感応式のディスプレイ上に操作信号が生成される。本発明のこのような形式の実施例は、走行しようとする車道を決定するために利用されるべき対象物を運転者が選択するための迅速、正確かつ確実な可能性の利点を提供する。
選択的に、操作信号を読み取る読み取りステップにおいて、運転者の検知された動作、特に運転者の指による指し示しに反応して、前記操作信号が1つのポジションに生成されてもよい。本発明のこのような実施例は、運転者にさらなる快適性向上を提供する。何故ならば運転者はインプット時に、運転者が接触感応式のディスプレイの正しい個所に触れたかどうかを気にする必要がもはやないからである。その限りにおいて運転者の安全性も高められる。何故ならば、運転者は、相応のインプットを行うために、交通事象から長く目をそらす必要がないからである。
走行時に車両内で所望の対象物を正確に選択することもできるようにするために、選択ステップにおいて、接触感応式のディスプレイ上で検知された押圧によって表わされた、画像内のポジションに最も近い位置に位置する、前記画像内で予め検知された対象物が選択されてよい。このような機能は、例えば接触感応式のディスプレイ上で不正確にインプットした際にも、所望の対象物が確実に選択される可能性を提供する。特に、このような可能性は例えば、でこぼこの道路を走行する際に、または高速道路上を高速で走行する際にディスプレイユニットを一瞥する際に特別な利点を提供する。
本発明の別の実施例に従って、読み取りステップにおいて、車両の運転者の言語指令を評価することによって操作信号を生成する操作インターフェースが使用されるようにすれば、特に好適である。本発明のこのような形式の実施例は、運転者が、ハンドルまたは変速レバー等の車両制御装置から例えば手を離す必要なしに、インプットを行うことができるという利点を提供する。これによって、ここで提案された試みを実行する際に交通安全性が高められる。
本発明の別の実施例によれば、対象物の選択ステップにおいて、車道上で車両の前または隣に位置する別の車両を表わす対象物が選択されてよい。本発明のこのような実施例は、誘導アシストによって追跡されるべき車両の選択が簡単である、という利点を提供する。さらに、別の車両は大抵の場合、一方では押圧を介して迅速に選択されるために、また他方ではディスプレイユニット上で迅速に検知されるために、十分に大きいので、運転者は非常に短い時間だけ、交通事象からディスプレイユニットに目を向けるだけでよい。
また、本発明の別の実施例によれば、表示ステップにおいて、時間的に変化する図表を有するマークが表示されてよい。本発明のこのような形式の実施例は、選択された対象物を非常に迅速に、かつディスプレイユニットを一瞥しただけでも検知することができる、という利点を提供する。さらに、図表の変化によって、例えば追跡しようとする対象物との差し迫った衝突の警告等の追加的な情報を表示することができる。これによってやはり交通安全性が高められる。何故ならば運転者の注意は、ほんの短時間、交通事象からそらされるだけだからである。
例えば間もなく見込まれる、対象物に関する危険な状況を運転者に早期にかつ迅速に伝達することができるようにするために、表示ステップにおいてさらに、対象物に対する間隔に関する情報がディスプレイユニットに表示され、この際に、前記情報が、対象物を表わす、画像の領域内に表示されてよい。このような情報に基づいて、例えば対象物との衝突が目前に迫っているとの警告が表示される。この場合、例えば情報は、マークと共にシンボルとしてまたは特殊なグラフィックとして、対象物を表わす、画像の領域に表示されてよい。
本発明の別の実施例によれば、利用ステップにおいてさらに、対象物の車道を車両の予め規定された所望の車線と比較し、この比較が、対象物が所定の距離よりも大きく予め規定された所望の走行距離から離れて遠ざかっていることを示していれば、対象物を、車両によって走行される車道を決定するためにもはや利用しなくてよい、および/または、
利用ステップにおいて、対象物の所定の速度が車両のポジションにおいて許容される速度よりも大きいときに、対象物を、車両によって走行される車道を決定するためにもはや利用しなくてよい、および/または、
利用ステップにおいて、車両に対する対象物の算出された間隔が予め規定された間隔よりも大きいときに、対象物を、車両によって走行される車道のための少なくとも1つの前後方向制御パラメータを決定するためにもはや利用しなくてよい。
このような本発明の実施例によれば、走行しようとする車道を決定するためのベースとして使用され、特に追跡される対象物が、もはや自車の誘導を支援する対象物として適していないことが早期に検知され得る、という利点を提供する。この場合、運転者を混乱させ、ひいては危険な交通状況を招くことになる誤メッセージのアウトプットは避けられる。
本発明を以下に添付の図面を用いて詳しく説明する。
本発明の1実施例による装置が使用される車両のブロック回路図である。 図1に示した車道上で車両を誘導する際に運転者を支援するための装置の詳細を示すブロック回路図である。 車両のカメラによって撮影された画像を示す図である。 車両のカメラによって撮影された画像の別の図であって、この場合、カメラ画像内の選択された対象物が位置する領域内にマークが映し出されている。 カメラ画像内のマークまたは追加情報を有する対象物を示す図である。 カメラ画像内のマークまたは追加情報を有する対象物を示す別の図である。 カメラ画像内の異なる時点における追加情報を有する対象物を示す図である。 カメラ画像内の異なる時点における追加情報を有する対象物を示す図である。 対象物と衝突するまでの時間を目に見えるように棒グラフで示した図である。 対象物と衝突するまでの時間を目に見えるように丸型ゲージユニットで示した図である。 様々な対象物と衝突するまでの時間が、カメラ画像内のそれぞれの対象物の領域に丸型ゲージユニットの形で挿入されている図である。 自車および他車の速度を共通の丸型ゲージユニット内に挿入した図である。 追跡しようとする対象物を画像から抽出することができるカメラ画像を示す図である。 本発明の1実施例による方法のフローチャートである。
以下に記載した本発明の好適な実施例では、異なる図面に示された、類似の作用を有する要素のために同じまたは類似の符号が使用されており、この場合、これらの要素の繰り返しの説明は省かれる。
図1は、車両100のブロック回路図を示し、この車両100に、本発明の1実施例による装置110が使用される。また車両は、カメラ120を有しており、カメラ120は、車両周囲125を検知し、車両周囲125の視野130内特に車両の前に存在する対象物127を検出し、相応の画像135を、車道145上で車両100を誘導する際に運転者140を支援するための装置110に伝達する。この場合、装置110はディスプレイユニット150を有しており、このディスプレイユニット150にカメラ画像135が表示される。ディスプレイユニット150は、接触感応式の画面を有していて、車両の運転者140は、画面を指でタッチすることによってカメラ画像135内の対象物を選択することができ、この対象物は、自動車が走行しようとする車道を決定するためのベースとして役立つ。中央の制御ユニット155は、一方ではカメラ画像135をディスプレイユニット150に伝送し、他方では接触感応式の画面を介した運転者140のインプットを読み取る機能を実施する。さらに制御ユニット155においてマークがマーク記号またはマーク対象物として選択され、選択された対象物を表わす、カメラ画像135の領域に重ねられる。次いで、マークによって重ねられた画像は再びディスプレイユニット150に伝送され、このディスプレイ150において運転者140に表示される。それと同時に、制御ユニット155において、マーキングされた対象物は、車両が走行しようとする軌跡、つまり車両が走行しようとする車道の軌跡を決定するためのベースとして用いられる。これは例えば、特殊な誘導ユニット160においてこのような対象物を自動的に追跡するために、つまり車両を自動的に長手方向ガイドおよび/または横方向ガイドするために、または、運転者が車両をできるだけ速く省エネルギーでまたは快適に、対象物によって決定された軌跡内において運転できるようにするための指示または警告を運転者140に与える信号を運転者140に伝送するために行われる。この場合、「軌跡“Spur”」とは、車両が走行すべき所望の軌道“Trajektorie”のことである。このような所望の(走行)軌道は、一方では例えば道路マークによって印の付けられた走行車線であってよく、また他方では、このような軌道(例えばマークの付けられていない道路において)は、自車のコンピュータによって演算され、次いで走行しようとする「軌跡」としてアウトプットされる軌道であってよい。このような形式で、マークの付けられていない車道においても、車両の運転時において運転者の可能な限り効果的なアシストを可能するために、自車が走行するべき「軌跡」を得ることができる。この場合、走行しようとする「軌跡」は、対象物を考慮して決定される。この場合、特に対象物も走行する「軌跡」が決定されるので、走行しようとするまたは追跡しようとする「軌跡」を決定する際に、優先的に追跡されるべき対象物にも関連した軌道だけが考慮されるように保証される。
図2は、車道上で車両を誘導する際に運転者を支援するための装置110の詳細を示すブロック回路図である。装置110は、ディスプレイユニット150と操作インターフェース210とを有しており、この操作インターフェース210は、例えばディスプレイユニット150の画面の接触感応式の表面としてまたは言語信号を検知するためのマイクロフォンとして構成されていて、操作信号215を生ぜしめる。操作インターフェースは、ディスプレイユニット150からさらに離れて配置されていてもよく、例えばセンタコンソールに設けられたジョイスティックまたはタッチパッドによって、またはアクセル内に設けられたクロスセンサ“Quergeber”により形成されていてよい。さらに、この装置110はセレクトユニット220を有しており、このセレクトユニット220は、中央の制御ユニット155内に配置されていてよく、操作信号215に応答して、画像内に含まれた対象物を選択し、相応のマークをカメラ画像135に重ね、それによって、相応に処理されたカメラ画像230を得ることができる。セレクトユニット220は、マークに重ねられたカメラ画像230を再びディスプレイユニット150に伝送し、このディスプレイユニット150に、重ねられたカメラ画像230が表示される。追加的に、この装置は前記誘導ユニット160を有している。
従来公知のすべての運転者アシストシステムは、運転者にセンサによる対象物検知に関する僅かな情報を伝え、運転者に、例えばどの車両を追跡するべきかに関する僅かな影響の可能性を提供するか、またはこのような可能性をまったく提供しない点で共通である。
本発明は、特にこのような欠点を取り除き、従来公知でない形式で運転者と相互に影響し合う運転者アシストシステムを提供しようとするものである。このために、車両の周囲状況(特に前方に向かっての)を観察するための少なくとも1つのカメラ、および場合によっては処理されたカメラ画像および可能な追加情報を提供するための画面が利用される。
運転者アシストシステムに関する不満の理由として顧客はしばしば、このシステムの挙動が理解できないことを挙げている。まさに、このシステムが何故このように挙動したのかの追体験可能性が欠落している。これは特に、システム挙動が、運転者によってこの瞬間において期待された挙動または好ましい挙動とは明らかに異なっている場合に、当てはまる。
このような欠点の原因は、センサの弱さによるものである(例えば非常に高速での高速道路走行時における到達距離の不足、元の走行車線への適切な戻りの検出遅れ、見かけの(にせの)対象物の出現)。本発明による方法は、システム透明性の欠点、およびこれに関連した運転者のための影響可能性の欠点を取り除く。このための基礎は、ビデオに基づく対象物追跡のための新たなアルゴリズムを提供することである。この新たなアルゴリズムは、特にビデオ画像における対象物追跡の役に立つ視覚化を可能にする。このような対象物追跡の視覚化は、運転者によって、正確、安定的かつ確実に、ひいては高品質で認識される。
この明細書に記載されたシステムは、どの時点においても、運転者アシスト若しくは走行機能に関する運転者にとって重要な情報を運転者に表示するために、画面(ディスプレイ)を使用する。画面は、フロントガラスによって形成されてもよく、この場合、重要な情報はフロントガラスに映し出される。
この画面上に、通常は、走行方向に方向付けられたカメラの画像が表示される。この画像にはさらに、例えば運転者にとって興味のあるまたは重要な情報が蓄積される。さらに1実施例によれば、画面によって、運転者が相互作用毎にシステムと合致する選択可能性に関する情報が運転者に伝達される。
その他の対象物例えば車両に該当する、システムの追加情報は、画像内で対象物と明確に結びつけられ、対象物にいわゆる見せかけ的な「貼り付け」作用を与える。次いで行われるシステム記述は、特にこのような対象物情報を1つの対象物と共に表示する、アルゴリズムの能力に基づいており、この場合、このようなアルゴリズムは、本発明の実際的な実現可能性のための重要な前提を提供する。
この実施例に記載した本発明の機能形式は、少なくとも1つの周辺センサ(有利にはビデオ、選択的にレンジビデオ「Range−Video(光到達時間測定)」、レーダー、ライダー、超音波またはこれらの組み合わせ)に基づいている。これらのデータは、
●特に自車(つまり運転者自身が運転している自分の車両)の前後方向制御、場合によっては左右方向制御も、および/または
●前後方向制御/左右方向制御の作動時に運転者を支援する運転指示のアウトプット
に該当する。
本発明の実施例によるシステムは、以下に対象物追跡のステップを用いて詳しく説明されている。その合間に構成変形例について述べる。
1.ステップ:対象物選択
システムは(選択的にまたは対象物検出の供給可能性に応じて)、自動的な対象物検出有りまたは無しで駆動される:
●対象物検出が存在しないかまたは対象物検出が使用されない場合、運転者は対象物選択を自ら行うことができる。このために運転者は、例えば接触感応式のディスプレイ(タッチスクリーン)上の、運転者が追跡したい表示された対象物を指でタッチする。
このために、タッチスクリーンは、指によるタッチを容易に行うことができる適当な個所に配置されている。ハンドルの後ろに配置するのはあまり好ましくない。
選択的に、ディスプレイおよびインプットエレメントは、構造的に離して配置されてもよい。例えばインプットエレメントは、PCグラフィックタブレットのようにまたはノートブックPCのタッチパッドのように構成されていてよく、センタコンソールまたはハンドルまたはその他の、運転者が容易に操作できる位置に配置されていてよい。
運転者が例えば指で軽く触れることによって対象物を選択すると、対象物追跡アルゴリズム(Objekt−Tracking−Algorithmus)が追跡を開始する。この際に、(例えばボッシュ社の“AnyTrack”−Algorithmus:不特定トラックアルゴリズムによって)画像内の対象物運動、画像内の大きさ変化(スケーリング)、画像内の対象物寸法が、同時に決定される。これによって、正しい大きさを有しかつ算出された運動データおよびスケーリングデータを使用する追加情報(つまりマーク)を画像(特に追跡しようとする対象物の領域内で)内に挿入することができる。
この追加情報は、最も簡単なケースでは、不変の(しかしながら一緒に移動し、一緒にスケーリングされる)画像例えば指紋の画像からマークとして形成される。次いで指紋の画像は車両に貼り付けられたように現れる。
図3は、車両のカメラによって撮影されたこのような画像を示し、この場合、直進走行通行のための車線上における追跡しようとする可能な対象物300が既に検知されていて、選択のために疑問符で予備マーキングされている。対象物300に疑問符および指紋の圧痕が表示されることによって、運転者に、この目的対象物に関する自動的な前後方向ガイドおよび場合によって左右方向ガイドを開始するように提案される。接触感応式の画面上の指紋によって、運転者は提案を受け入れる。図面の右側に目盛が付けられていて、この目盛に、一定に保たれている今の速度において車両が選択された若しくはマークされた対象物と衝突するまでの予測される時間が記入されている。車両の運転者がこの対象物を選択すると、予備マークとしての疑問符が取り除かれ、指紋310が選択された対象物のマーク310としてカメラ画像に重ねられ、ディスプレイユニット上に表示され、それによってディスプレイユニットの画面上に図4に示した図表が表示される。これによって、運転者による目的対象物の確認後に、疑問符はもはや表示されなくなる。さらに継続的に見えていて目的対象物に明確に貼り付けられた指紋が運転者に検知され、前後方向ガイドおよび場合によっては左右方向ガイドが、運転者によって前もって指タッチによって選択された車両に向けられていることが、運転者に確認される。(マークとしての)指紋を表示する色は、前もって規定されたカラーチャートに従って選択される。これについては後述されている。色は例えば衝突するまでの残りの時間に対応し、従って(ブレーキ)作動の緊迫性に対する対応を形成する。例えば深紅は、「特に緊急性」を必要とするブレーキ作動を運転者に要求する。
●既に自動的に単数または複数の重要な対象物を検出している検出アルゴリズムが設けられている場合、この検出アルゴリズムは、運転者に選択若しくは操作を提案することができる。これは、ディスプレイ内の適当な視覚的な表示によって行われる。これは、例えば単数または複数の対象物が強調され、それぞれの対象物と共に、運転者が選択可能性を有しているか若しくは運転者による確認が期待されていることを運転者に表示するシンボルが表示されることによって、行われる。
最も簡単なケースにおいて、ここでもやはり不変の(しかしながら一緒に移動し、一緒にスケーリングされる)画像、例えば疑問符のついた指紋の画像が用いられる。画像シンボルは、このシステムに慣れていない運転者にもできるだけ早く明瞭に、所定の形式のインプット例えばディスプレイを指でタッチすることがシステムによって要求されていることが明らかになるように、選択されなければならない。
指紋によって、運転者は、場合によっては複数の対象物のうちの1つを選択する。この「目的対象物」の追跡を開始する。
つまり、このときから、例えば対象物に関する自動的な前後方向制御および/または左右方向ガイドが実施されるか、または運転者は、車両運転時に例えば運転者に制動または加速または操舵を要求する聴覚的または触覚的または視覚的な信号の形としての支援を得る、という意味である。
相互作用的な対象物選択において、インプットを簡略化するための「Snap−to−Object(対象物へのスナップ)」機能が、特に好適である。この場合、使用者のインプットは不正確であってよく、対象物の少し隣に位置していてもよい。このシステムは、インプットによって意図されたと推定される対象物を自動的に選択することによって、運転者を支援する。このような機能は、インプットに要する時間をさらに短縮し、ディスプレイを一瞥するのに必要な時間を短縮する。
変化例:インターフェース
●運転者へのインターフェースとして、前述したように、タッチスクリーンが特に適している。しかしながらタッチスクリーンは、これが、走行中に画面に触れることが危険なしに可能であるように位置決めされている場合にのみ使用されるべきである。
●選択的に、画面および接触感応式の面は様々な個所に配置されてもよい。
●この場合、ヘッドアップディスプレイ(HUD)が特に好適であるが、これは特に、このヘッドアップディスプレイが、重ねられた情報映し出しと当該の目的対象物とのいわゆるコンタクトアナログ(kontaktanalog)な表示を実現するのに適している場合である。運転者にとって、これは、だいたい図3〜図5または図10に示したように見える。この場合、運転者は、カメラの輝度値画像の代わりに、フロントガラスを通した実際の世界の眺めを想像するべきである。
●選択的に画面(若しくはHUD)とタッチスクリーンとを同時に使用してもよい。この場合、画面(若しくはHUD)は、好適には、運転者の優先的な視野、つまりインストルメントパネル内またはその上に位置していて、これに対してタッチスクリーンは、インストルメントパネルの横および場合によっては異なる高さに取り付けられている。
●タッチスクリーンにおいては、接触ポイントと画素との間の対応配置が自動的に与えられる。しかしながら、接触感応式の面およびディスプレイが構造的に離れて配置されている場合、接触ポイントの表示内容のための異なる可能性が提供される:
○一方では、接触ポイントの座標はさらに比例的に画素に換算される。それによって、接触感応式の面並びにグラフィックタブレットは、PCインプットのためのデザイナーによって使用されるように挙動する。
○接触ポイントと画素との非線形のおよび/または時間的に変化する関係が存在する場合、挙動はむしろ、ノートブックコンピュータにより公知のタッチパッドに近い。
●インプットのために本当の接触が必要とされるタッチスクリーンの代わりに、例えば容量式のセンサ面を有する、または空間内での指または手の位置を光学式に検出するかまたは運転者の視線方向を光学式に検出する無接触のセンサも考えられる。
●選択的に、インプットエレメントは、少なくとも1つの指によって接触または制御される力センサまたは運動センサであってもよい。自由度の数は機能に従う。例えば、左/右で、すぐ次の対象物に切り替えるためにおよび対象物を選択するためのプッシュに切り替えるためには、自由度1で十分である。自由度2(追加的に上/下)においては、ほとんど画像全体を制御することができ、対象物を純粋に手動で選択することができる。それ以上の自由度(画像の増大/縮小、空間の遠/近と同じ意味)は、対象物の距離範囲を選択するためにも利用される。
●選択的に、インプットエレメントは、1つ以上の指で触れられるかまたは掴まれるように、構成されてもよい。これは、インプットの自由度が多く設けられていればいるほど、より好都合である。
●選択的に、インプットエレメントはPCマウスと同じように構成されてよく、この場合、インプットエレメントは複数の方向に可動であり、適当な手段、例えば磁気的な手段および流体減衰手段によって、滑り落ちないように保持される。
●追加的にまたは選択的に、フット操作手段、例えば足の側面の力または運動を検出できるフットペダルが設けられていてもよい。
●追加的にまたは選択的に、言語操作が設けられていてもよい。この場合、言語命令はシステムの識別可能性に適合される。例えば:
○「赤い車を追跡せよ!」
○「標識HI−ER377を追跡せよ!」
○「メルセデスステーションワゴンを追跡せよ!」
○「トラックを追跡せよ!」
○「前にいる人を追跡せよ!」
○「右の乗用車を追跡せよ!」
言語操作によってもたらされる少なくともいくつかのオプションは、運転者に、色、文章情報および/または画像シンボルの形でディスプレイに表示される。例えば、
○検知された対象物カラーが表示されるかまたは呼び名が記載されるかまたは、
○検知された車両マークつまりロゴが表示されるかまたは言葉として記載されるかまたは、
○標識が良好に読み取り可能に記載されているかまたは、
○対象物がシンボル(乗用車、トラック、ステーションワゴン、キャンピングカー、オートバイ等)で特徴付けられる。
また、このシステムは言語インプットだけではなく、言語アウトプットを備えていてもよい。この場合、システムは選択可能性を暗唱することができる(テレホンバンキングまたは自動テレホン時刻表案内における言語操作のように)かまたは適切な問合せを行うことができる、例えば:
○右から割り込んできた車両を追跡しますか?
○黒の車両をさらに追跡しますか?
○方向を変えた車両を追跡しますか?
○追跡を終了しますか?
ステップ:操作
運転者が選択を行うと、または場合によっては運転者が選択を見過ごすと直ちに、好適な実施態様において、システムは運転者に新たなシステム状態に関する情報をフィードバックする。フィードバックの意味的な内容は、しばしば「対象物選択異常なし、システムは選択された対象物を追跡する!」であるが、例えば運転者が明確に指示していないかまたはシステムがタッチされた画像位置に追跡できる対象物を見つけ出せない場合、「システムは追跡を実施しない!」であってもよい。
確認は、例えば確認音によってまたは音声アナウンス例えば「先行車両が追跡されている。ここで許容される70km/hの速度を考慮する。」によって、聴覚的によって行われる。
操作は、例えばこの時点でまだ運転者の手が触れているインプットインターフェースまたはハンドルの短い振動によって、または運転者が感知できるその他のエレメント(例えばアクセルペダルまたはシート)の振動によって、触覚的に行ってもよい。
一般的に、例えばディスプレイ表示が変化し、それによって選択された対象物のマークを表示することによって、警告を視覚的に行うこともできる。例えば指紋上に表示された前記疑問符が消失し、指紋(引き続き対象物に「貼り付けられている」)だけが、図3および図4に示されているように、残される。
ステップ:対象物追跡
操作と同時に、対象物追跡のステップが開始される。このステップは一般的に長く続けられ、例えば目的対象物が運転者の選択とは別の方向または別の走行車線に移動するか或いは早すぎるかまたは遅すぎる速度で走行するまで続けられる。
対象物追跡のステップ中、ディスプレイは、対象物に関して役に立つまたは少なくとも興味のある追加情報(もちろん、例えば丁度今有効な交通標識、ナビゲーション指示等に関する情報のような、対象物に直接関連性のない追加情報も)を運転者に表示するために利用される。
画像中の対象物の簡単な連続的な視覚的特徴は、大抵は運転者にとって関心のある役立つものである。このような視覚的特徴は、このシステムが引き続き正しく作動しており、目的対象物を見失っていないという確認を、運転者に与える。しかも、画像中の正確な追跡は、測定のクオリティ(システムの信頼性および重要性感覚のために重要である)のための感覚を伝える。
対象物の書き込みは、例えばアニメ化されたグラフィック、色分けされた強調、数値および記述、目盛および計器針等によって、任意に「追加」される。この実施態様においては、美的感覚または情報伝達が重要である。
図5には、このような追加情報を有する対象物の表示が示されている。これはシステムによって自動的に選択された対象物である。従って、指紋の代わりに別のシンボル、ここではパターン500がマークとして重ねて示されている。しかしながら、運転者によって選択された対象物を、これにマーク並びに少なくとも1つの追加情報を備えて表示することも考えられる。
以下に、対象物と衝突するまでの時間の決定(以下では、TTCまたはTTCとして短縮されている;TTC=Time to Collision=衝突までの時間)について詳しく説明する。
視覚的な車間制御のために特に重要なのは、いわゆる「Time to Collision(TTC)」、つまり(例えば実際の走行状況をアップデートしながら)対象物との衝突発生が予測されるまでなお経過する時間である。
TC算出およびそのカメラに基づく決定のための数式は、視覚的またはカメラに基づく決定および典型的な走行状況の議論を含め、以下に詳しく記載されている。
TCの決定において、実際の走行状態が衝突時点まで維持されることから出発する予測が加えられるか、または今後見込まれる新たな走行状態も考慮した予測が加えられる。
予測のために使用される値には次の値が含まれる:
●2つの画像間の(例えば画像中における対象物上の第2のポイントからの間隔の)対象物測定のスケーリング;
●自車の車速またはそれから導き出された値
以下に記載したTTCは、カメラとの対象物の衝突時点(より正確には:対象物上の観察ポイント)に関する。しかしながら実際の応用のためには、自車のフロントとの衝突時点が重要である。
自車(つまり自分が運転している車両)と衝突に関る対象物との間の一定の速度差v=vEgo−vObjを有する簡略化されたシナリオが考察される。負の速度差とは、対象物が互いに移動するということである。実際の間隔はdである。この場合、衝突までの時間は、
Figure 2015501455
である。
自車に接続されたカメラは、間隔がカメラ平面Wに対して平行である、対象物上の2つのポイントを追跡する。従って、カメラ画像内で、ピンホールカメラモデルに従って焦点距離fによって間隔
Figure 2015501455
が得られる。
これに対して、タイムラグTだけ早い時点には、
Figure 2015501455
が適用される。
S=w/wを、距離Wの異なる大きさの結像間のスケーリングファクターと定義すれば、次の式が得られる。
Figure 2015501455
または
Figure 2015501455
以下にいくつかの典型的な状況について考察する。
一定の間隔を保って追跡走行を行う際に画像の大きさは変化しない。w=wまたはs=1である。従って、衝突までの時間は無限大であり、TTC=∞である。対象物の後ろで追跡走行を行うための、加速度および制動を制御する前後方向制御は、このポイントTTC=∞を得ようと努力する。
対象物に接近すると、w>wまたはs>1となる。従ってTTCは正の値になる。数値例:映像期間T=40msおよび間隔w=102ピクセルおよびw=100ピクセルによって、TTC=2.0sが得られる。
対象物、例えば追い越し車両が遠ざかると、w<wまたはs<1が当てはまる。TTCは負の値になる。
衝突時点TTC=0またはその直前または直後に、スケーリングファクターsは+∞または−∞となる。
自車速度vEgoを知ることによって、カメラに関するTTCCamは、車両フロント(例えばバンパー)に関するTTCFrontに換算される:TTCFront=TTCCam−l/vEgo。この場合、長さlは、カメラと車両フロントとの間の前後方向(走行方向)の間隔である。例:l=2mでvEgo=20m/sの場合、TTCFrontは、TTCCamよりも0.1sだけ短い。
この計算は、簡略化されたものである。何故ならば対象物vObiの速度は考慮されていないからである。自車の前進走行の考察されたシナリオにおいて、および先行車両の後退走行は度外視して、自車の速度は、速度差よりも値的に常に大きいので、簡略化においては、より確実な方の評価が重要である:決定されたTTCFrontは、一般的に実際のTTCよりも小さい。
もちろん、自車速度vEgoの代わりに、使用可能であれば、速度差vDiffを代入してもよい。
いずれにしても、TTCFrontを用いて、場合によっては、なお車両フロントの前の一平面に関するTTCを用いて作業するのが有意義である(安全裕度)。
●TTCの決定のために、さらに別の値が算入されてもよい。自車の加速度(例えば加速度センサによって測定されるかまたは速度から導き出されるかまたはエンジン/ブレーキ要求からモデルに基づいて導き出される)。
自車の加速度がTTCの決定に算入されると、このようにして算出されたTTCは、一般的によりダイナミックに挙動する。
このようなより高いダイナミックスは、運転者が自車の加速または減速に関するフィードバックをより迅速に得るという利点を、運転者に提供する。つまり運転者は、前後方向制御への自動的な(または手動による)干渉の影響に関する情報を、よりダイレクトに得ることができる。
その他の、TTCに影響する、機能的に重要な値は、次の通りである:
●ブレーキシステムのシステム状態(無駄時間の影響を減少させるために)、例えば、ブレーキ圧の増圧後にTTCに影響する制動が既に実行されているかどうか。
●例えばヨーレートセンサまたはステアリングアングルセンサまたは個別ホイールセンサまたはばねストロークセンサの別のセンサデータであって、これらのデータによって、衝突を場合によって避ける回避操作が開始されていることを検知することができる。
●勿論、その他の周辺センサの測定データも考慮されてよい。例えばレーダーセンサ(速度および車間距離の測定)またはライダーセンサ(光到達時間による車間距離の測定)またはステレオカメラ(三角測量により複数の車間距離を測定する)または距離カメラ(光到達時間によって複数の車間距離を測定する)または超音波センサ(音波到達時間によって車間距離を測定する)。
切迫した衝突に関する情報を運転者にできるだけ早く与えるために、画像内の対象物の領域内に表示されるマークが、時間的に変えられる。例えば図6によれば、システムが、衝突までの時間が1.6秒しかないことを確認すると、運転者に警告を行う。特に前後方向制御が自動ではなく運転者によって行われる場合、可能な衝突の前に、運転者に警告を行うことが有意義である。この場合、TTCが約2.0秒を下回ると直ちに、視覚的(および場合によっては聴覚的/触覚的)な警告が行われる。この時間的な警告限界値は、運転者が自分の車両を制動するように反応し、それによって切迫した衝突を避けるためになお十分な時間が運転者に残るように、選定されている。この場合、例えば追加情報として、互いに衝突する2台の車両のシンボル600が対象物の領域に映し出される。
視覚的な警告の認識および迅速かつ正確な位置検出は、図7Aおよび図7Bに示されているように、視覚的な警告が、例えば毎秒2〜5パルス周期で脈動することによってさらに改善され、この場合、図7Bは、図7Aの表示後に例えば0.2秒の時間間隔でマークおよび追加情報を備えた画像を示す。この場合、例えば色の重なりの強さおよび大きさが時間的に(例えば正弦波状に、鋸歯状にまたは矩形に)変化してよい。ここでは2つの瞬間撮影を用いて示されているように、表示は、弱い強さと増大された強さとの間で脈動する。パルス振幅および/または周波数は、TTCに基づいて選択すれば、好適である。つまり例えば、パルス振幅および/または周波数の値が、危険が高まるにつれて次第に高くなるようにすれば、好適である。
運転者にTTCが視覚的にも見えるように表示すれば、好都合である。可能な表示変化例は、図8および図9に示されている。この場合、図8は、TTCの可能な可視化を棒グラフで示した図である。図9には、TTCの可視化が丸型ゲージユニットで示されている。「無限大ポイント(目標ポイント)」は、目盛上にある。
追跡走行が一定の車間距離を保って行われている場合、TTC=∞である。この理想ポイントは、車間自動制御システム(ACC)によっても、人間の運転者によっても達成されるべきものである。理想ポイントは、図8では「O.K.」および星型で示されていて、目標状態を示す。下方の灰色で示された領域は、TTCが正である、つまり衝突が目前に迫っている状態を示す。さらに下方の深灰色で示された領域(だいたい2s〜∞)では、緊急のブレーキ作動が必要とされている。黒白リング(だいたいTTC=0.8sにおいて)は最新の実際状態を示し、その後ろのぼやけたリングは短時間履歴を示す。緑から青までの領域内ではTTC<0であり、つまり先行車両までの間隔つまり車間距離が増大していることを示す。
TC=−3s〜TTC=+3sの領域は、ここではわざと非線形に圧縮されている。何故ならば、この領域内での制御作動は殆ど必要ないからである。それどころか、エネルギー経済性および走行快適性の理由から、一般的に、先行車両の変化に直接追従するのではなく、次の作動まで前後方向間隔を簡単に変えられるようにすることが、より有意義である。まだ作動が行われていないTTC領域は、自車速度と共に変えられるべきである。
ポイント−0sおよび+0sは、その他の点では同じであり、本来の周期的な目盛は、そのように表示されてもよい(または別の個所で開かれるようにしてよい)。
図9では、この状況が、丸型ゲージユニットに示したTTCによって考慮されている。ここでは、色が3つのセクタを特徴付けており:青が「自由な走行!」を表わし、赤が「制動!」を表わし、緑が正しい追跡走行を表わしている。
図10は、単数または複数のTTCタコメータが、運転者に表示されるカメラ画像に映し出される実施例を示す。ここでは、TTCタコメータはそれぞれの対象物に固定されて移動し、画像内の対象物の大きさに応じて大きさが変化している。
追跡中の影響
対象物追跡中に影響を及ぼす可能性を運転者に与えれば、有利である。運転者は、少なくとも運転者の要求に応じて前後方向の間隔に影響を与える可能性を有しているべきである。このために、以下の形式の指令を有するインプット可能性が設けられている。
●「車間縮小」および
●「車間増大」
が与えることができ、場合によっては変化の大きさに影響を与えることもできる。
このために、上記相互作用が利用される。
さらに、運転者に、エネルギー消費および「加速の良さ/スポーツ走行性」に対するエネルギー効果および走行快適性に関する前記特性の程度に及ぼす影響可能性を与えれば、有意義である。
運転者要求へのアダプション
運転者がシステム特性に影響を与える可能性を有し、これを利用する場合、システムは、運転者の好み(長期形式および短期形式)を学習する機会を有する。好適な形式で、システムはそれに順応して、今後の制御動作のための変更されたパラメータを役立てることができる。
セミオートマチック式ACCシステム(Driver in the Loop;ドライバーインザループ)
可能な実施態様は、運転者がコントロールループに組み込まれるセミオートマチックコントロールである。この場合、運転者は、アクセル、ブレーキ、および変速レバー(これが設けられていれば)も操作する。これらの操作のプリセットはシステムによって運転者に伝達される。これは、図8、図9、図10等に示したような視覚化により行われる。
さらに好適には、聴覚的または触覚的に伝達が行われる。この場合、例えば聴覚的な信号がアウトプットされ、その音および強さから運転者は、どの程度減速すべきかまたは加速すべきかを推論する。不必要なストレスを避けるために、少なくとも加速のための要求は、運転者がこの要求に従わなくても、例えば所定の時間後に自動的に終了する。
このようなセミオートマチックシステムは、車両(電装品、機械装置)を干渉することなしに後から装備することができる、という利点を有している。従って、フロントガラスまたはダッシュボードに取り付けられるモバイル機器(今日では移動式ナビゲーションまたはハンディナビゲーション等)においても考えられる。そのためには、カメラができるだけ妨害のない前方視野を確保できるように、配慮するだけでよい。
複数の対象物を同時に考慮する
システムが、複数の対象物を同時に追跡する状態にある場合、これらの対象物を車間制御の際に同時に考慮すれば、好適である。これは、第1の目標対象物および自車が右側の高速道路車線上にあって、これに対して目標対象物が別の対象物を右から追い越す場合に、有意義である。この場合、危険な状況を避けるためにおよび場合によっては法的な規則を守るために、少なくとも一時的に2つの目的対象物をさらに追跡し、第2の目的対象物を同様に右から追い越さないようすれば、有意義である。
タコメータ内の対象物の表示
図11は、インストルメントパネル内での表示の一部の好適な実施態様を示す。タコメータが示されており、このタコメータは、自車の速度のための指針1110(明るい)の他に、第2の指針1120(暗い)を有している。この場合、追跡されている車両は、タコメータ内に映し出されている。対象物を追跡している間、暗い指針1120はその速度を表示し、このその速度は、vObj=vEgo−vDiffによって算出され、この式中、vDiffはセンサに基づいて決定可能な速度差である。
特別に図11には追加的に、追跡される対象物の画像が映し出されている。これは、タコメータ機器内またはタコメータ機器の外の適当な個所において行われる。対象物の画像は、カメラ画像から切り抜かれることによって得られる。ビデオに基づく対象物追跡によって、切り抜きを正しく行うために必要なすべての情報が常に提供される(画像内の対象物の位置および大きさ)。
追跡される対象物の画像のためのアップデート速度は、カメラの画像再現速度(例えば毎秒25画像)と同じかまたはそれとは異なる速度に選定されてよい。著しく低いアップデート速度(例えば毎秒1画像)で十分である。何故ならば対象物の外観は一般的に殆ど変化しないからである。これに対して、高いアップデート速度は、発光信号(ブレーキ灯/ターンシグナル)が直接再現される、という利点を有している。
以上に関連して、好適には、時間的なフィルタリングおよび/または拡張された仮想のカメラ検出範囲も使用される(図12も参照)。
図12は、追跡された対象物がカメラ画像からどのように抜き出されるかを示しており、この場合、抜き出すための式については、ここではこれ以上説明する必要がない。
時間的なフィルタリングは、対象物追跡のデータを考慮する。これによって、対象物は鮮明に生成され、これに対して(その他の動く)背景は不鮮明に「ぼやける」。さらに対象物は、例えば狭いカーブにおいてまたはボンネットで隠れているためにカメラによって部分的にしか検知できない時でも、完全に表示することができる。図12は、典型的な例を示す:対象物は、不鮮明な背景から自動的に「明瞭に」なり、仮想の検知範囲(画像全体)は、カメラの検知範囲(四角の白い内側フレーム)よりも大きくなる。
対象物追跡の中止ステップ
所定の対象物の追跡はいずれ中止しなければならない。それは対象物が、
●より高速で走行し、遠ざかって行く、
●別の走行車線を走行し、曲がる、
●画像から側方へ出ていく(狭いカーブ)、
●追い越され、カメラによって検知されない、
●別の対象物(例えば元の走行車線に戻る車両)または障害物により見えなくなる、
ときである。
好適な実施態様によれば、システムはナビゲーション情報を考慮して、対象物が自車の設定されたルートとは異なるルートを選択することを中止基準として検知する。
さらに、対象物の追跡によって、自車が所望の若しくは法的に設定された速度範囲を越えることになった場合に、例えば中止基準が設けられている。勿論、アクセル、ブレーキまたは場合によってはハンドルの過剰操作によっても、対象物追跡中止が導入される。
中止基準が満たされると直ちに、または差し迫った中止が予測可能である場合でさえも、運転者に、対象物追跡開始と同様に、やはり視覚的、聴覚的および/または触覚的な通知が行われるべきである。次いでこのシステムは、次の目標対象物を選択するために、使用者相互作用が必要とされる状態に再び戻る。
選択的に、このシステムはフルオートマチック式に、さらに追跡を行うために最も適した対象物を選択することもできる。この適合性の程度は、例えば対象物がどの走行車線上にいて、どのような(相対)速度で移動しているかに基づいている。
図13は、車道上で車両を誘導する際に運転者を支援するための方法1300としての本発明の1実施例のフローチャートを示す。この方法1300は、読み取られた画像をディスプレイユニット上で運転者に表示する表示ステップ1310を有しており、この場合、画像はカメラによって撮影され、車両の周囲状況を表わしている。またこの方法1300は、運転者によって操作インターフェースにインプットされた操作信号を読み取る読み取りステップ1320と、操作信号を使用して画像内に含まれた対象物を選択する選択ステップ1330とを有している。さらに、この方法1300は、ディスプレイユニット上にマークを表示する表示ステップ1340を有していて、この場合、マークは、画像の、対象物を表わす領域内に表示される。最後に、この方法は、車道上で車両を誘導する際に運転者を支援するために、車両により走行される車道のための少なくとも1つの前後方向制御パラメータを決定するために対象物を利用する利用ステップ1350を有している。
以上記載され、図面に示された実施例は、例として選択されているだけである。様々な実施例が完全に、または個別の特徴に関連して互いに組み合わせることができる。1実施例を、別の実施例の特徴によって補ってもよい。
本発明による方法ステップは、繰り返し実施され、また記載した順序とは異なる順序で実施されてもよい。
1実施例が、第1の特徴と第2の特徴との間で「および/または」接続を有している場合、これは、この実施例が1実施態様に従って第1の特徴も第2の特徴も有していて、また別の実施態様に従って第1の特徴だけかまたは第2の特徴だけを有している、という意味である。
100 車両
110 運転者を支援するための装置
115 車両周囲状況
120 カメラ
125 車両周囲
130 視野
135 画像
140 運転者
145 車道
150 ディスプレイユニット
155 制御ユニット
160 誘導ユニット
210 操作インターフェース
215 操作信号
220 セレクトユニット
230 カメラ画像
300 対象物
310 指紋
500 パターン
600 シンボル
1110 自車の速度のための指針
1120 第2の指針
1300 方法
1310 表示ステップ
1320 読み取りステップ
1330 選択ステップ
1340 表示ステップ
1350 利用ステップ

Claims (12)

  1. 車道(145)上で車両(100)を誘導する際に運転者を支援するための方法(1300)において、前記方法(1300)は、
    読み取られた画像(135)をディスプレイユニット(150)上で運転者(140)に表示する表示ステップ(1310)を有しており、この場合、前記画像(135)はカメラ(120)によって撮影された車両周囲状況(115)を表わしており、
    運転者(140)によって操作インターフェース(210)にインプットされた操作信号(215)を読み取る読み取りステップ(1320)を有しており、
    前記画像(135)内に含まれた対象物(300)を、前記操作信号(215)を使用して選択する選択ステップ(1330)を有しており、
    前記ディスプレイユニット(150)にマーク(310,500,600)を表示する表示ステップ(1340)を有しており、この場合、前記マーク(310,500,600)は、前記画像(135)の、前記対象物(300)を表わす領域内に表示されるようになっており、
    車両(100)により走行される車道のための少なくとも1つの前後方向制御パラメータを決定するために前記対象物(300)を利用する利用ステップ(1350)を有していて、これにより、車道(145)上で車両(100)を誘導する際に運転者(140)を支援するようになっている、
    車道上で車両を誘導する際に運転者を支援するための方法。
  2. 画像(135)の前記表示ステップ(1310)において前記画像(135)内の対象物(300)を予め検知し、前記選択ステップ(1330)において予め検知された複数の対象物(300)のうちの1つの操作信号(215)を使用して選択を行うことを特徴とする、請求項1に記載の方法(1300)。
  3. 前記表示ステップ(1310)において、前記画像(135)を、ディスプレイユニット(150)の接触感応式のディスプレイに表示し、この際に、前記読み取りステップ(1320)において、検知された押圧に反応して前記接触感応式のディスプレイ上に操作信号(215)を生成することを特徴とする、請求項2に記載の方法(1300)。
  4. 前記読み取りステップ(1320)において、運転者の検知された動作、特に運転者の指による指し示しに反応して、前記操作信号(215)を1つのポジションに生成させることを特徴とする、請求項2に記載の方法。
  5. 前記選択ステップ(1330)において、接触感応式のディスプレイ上で検知された押圧によって表わされた、前記画像(135)内のポジションに最も近い位置に位置する、前記画像内で予め検知された対象物を選択することを特徴とする、請求項3または4に記載の方法(1300)。
  6. 前記読み取りステップ(1320)において、車両(100)の運転者(140)の言語指令を評価することによって前記操作信号(215)を生成する操作インターフェース(210)を使用することを特徴とする、請求項1から5のいずれか1項に記載の方法(1300)。
  7. 前記対象物(300)の選択ステップ(1330)において、車道(145)上で車両(115)の前または隣に位置する別の車両を表わす対象物を選択することを特徴とする、請求項1から6のいずれか1項に記載の方法(1300)。
  8. 前記表示ステップ(1340)において、時間的に変化する図表を有するマーク(300,500,600)を表示することを特徴とする、請求項1から7のいずれか1項に記載の方法(1300)。
  9. 前記表示ステップ(1340)においてさらに、対象物に関連したパラメータ、特に対象物に対する間隔に関する情報(600)を前記ディスプレイユニットに表示し、この際に、前記情報(600)を、前記対象物(300)を表わす、画像の領域内に表示することを特徴とする、請求項1から8のいずれか1項に記載の方法(1300)。
  10. 前記利用ステップ(1350)においてさらに、前記対象物(300)の車道を前記車両(100)の所望の車線と比較し、この比較が、前記対象物(300)が所定の距離よりも大きく所望の走行距離から離れて遠ざかっていることを示していれば、前記対象物(300)を、前記車両(100)によって走行される車道を決定するためにもはや利用しないようにし、および/または、
    前記利用ステップ(1350)において、前記対象物(300)の算出された速度が前記車両(100)のポジションにおいて許容される速度よりも大きいときに、前記対象物(300)を、前記車両(100)によって走行される車道を決定するためにもはや利用しないようにし、および/または、
    前記利用ステップ(1350)において、前記車両(100)に対する前記対象物(300)の算出された間隔が予め規定された間隔よりも大きいときに、前記対象物(300)を、前記車両(100)によって走行される車道のための少なくとも1つの前後方向制御パラメータを決定するためにもはや利用しないようにすることを特徴とする、
    請求項1から9のいずれか1項に記載の方法(1300)。
  11. 装置(110)、特にナビゲーション装置において、請求項1から10のいずれか1項に記載の方法(1300)のステップを実行するために構成されたユニット(150,210,160)を有する、装置(110)。
  12. コンピュータプログラム製品において、前記プログラムが装置(110)において実行されるときに、請求項1から10のいずれか1項に記載の方法(1300)を実施するためのプログラムコードを有している、コンピュータプログラム製品。
JP2014515218A 2011-06-17 2012-06-15 車道上で車両を誘導する際に運転者を支援する機能を実現させるためのプログラム、およびそれを実行するための装置 Expired - Fee Related JP6193222B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102011077752.0 2011-06-17
DE102011077752 2011-06-17
PCT/EP2012/061500 WO2012172077A1 (de) 2011-06-17 2012-06-15 Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
DE102012210145A DE102012210145A1 (de) 2011-06-17 2012-06-15 Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn
DE102012210145.4 2012-06-15

Publications (2)

Publication Number Publication Date
JP2015501455A true JP2015501455A (ja) 2015-01-15
JP6193222B2 JP6193222B2 (ja) 2017-09-06

Family

ID=46508321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014515218A Expired - Fee Related JP6193222B2 (ja) 2011-06-17 2012-06-15 車道上で車両を誘導する際に運転者を支援する機能を実現させるためのプログラム、およびそれを実行するための装置

Country Status (7)

Country Link
US (1) US9605971B2 (ja)
EP (1) EP2720929B1 (ja)
JP (1) JP6193222B2 (ja)
KR (1) KR20140031369A (ja)
CN (1) CN103732480B (ja)
DE (1) DE102012210145A1 (ja)
WO (1) WO2012172077A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018507479A (ja) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用の運転者支援システム
JPWO2017138428A1 (ja) * 2016-02-08 2018-11-29 株式会社リコー 情報表示装置
JP2019504382A (ja) * 2015-11-24 2019-02-14 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH アダプティブな周辺画像データ処理を有するドライバー・アシスタント・システム
JP7505189B2 (ja) 2020-01-29 2024-06-25 株式会社リコー 画像表示装置、画像表示方法およびプログラム

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189959B2 (en) * 2012-06-27 2015-11-17 International Business Machines Corporation Navigation system providing a super detail mode of operation to assist user's driving
DE102012215350A1 (de) * 2012-08-29 2014-03-06 Continental Automotive Gmbh Multisensuelle Aufmerksamkeitslenkung
DE102013003187A1 (de) * 2013-02-26 2014-09-11 Audi Ag Verfahren zum Betrieb eines kraftfahrzeugseitigen Fahrerassistenzsystems mit einer kombinierten Längs- und Querführungsfunktion
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
DE102013213039A1 (de) * 2013-07-03 2015-01-08 Continental Automotive Gmbh Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
DE102013215370B4 (de) 2013-08-05 2019-12-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
DE102013110867A1 (de) * 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung für ein Fahrzeug
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US9212926B2 (en) * 2013-11-22 2015-12-15 Ford Global Technologies, Llc In-vehicle path verification
KR20150092561A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 차량용 제어 장치 및 차량
CN106660495B (zh) * 2014-07-01 2020-02-18 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
JP6278222B2 (ja) * 2014-07-01 2018-02-14 日産自動車株式会社 車両用表示装置及び車両用表示方法
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE102014219689A1 (de) * 2014-09-29 2016-03-31 Robert Bosch Gmbh Verfahren und Steuergerät zur Fahrspurüberwachung eines Fahrzeugs
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
KR20160066775A (ko) * 2014-12-03 2016-06-13 현대모비스 주식회사 스마트 크루즈 컨트롤러 시스템 및 그 제어 방법
DE102014225804A1 (de) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Unterstützung beim Führen eines Fahrzeugs
EP3038011B1 (de) * 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102015201555A1 (de) * 2015-01-29 2016-08-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
KR20160112552A (ko) 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR102034722B1 (ko) * 2015-03-19 2019-10-21 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
KR101714145B1 (ko) * 2015-04-09 2017-03-08 현대자동차주식회사 주변차량 식별 장치 및 그 방법
DE202015003050U1 (de) * 2015-04-27 2016-08-01 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeug mit Headup-Display
DE102015212664A1 (de) * 2015-07-07 2017-01-12 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem automatischen Fahrsystem
US9463799B1 (en) * 2015-07-09 2016-10-11 Volkswagen Ag Control for a high or fully automatic driving function
DE102015213979B4 (de) * 2015-07-23 2023-08-17 Audi Ag Anzeigesystem für Verkehrsschildinformationen
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
DE102015010135B3 (de) 2015-08-01 2017-01-12 Audi Ag Verfahren zur Auswahl eines Auswertungsobjekts für eine Funktion in einem Kraftfahrzeug und Kraftfahrzeug
US20170057517A1 (en) * 2015-09-01 2017-03-02 Continental Automotive Systems, Inc. Behavior trainable adaptive cruise control
MX366506B (es) * 2015-09-18 2019-07-11 Nissan Motor Aparato de despliegue vehicular y metodo de despliegue vehicular.
DE102015218976A1 (de) * 2015-09-30 2017-03-30 Siemens Aktiengesellschaft Sicherungsverfahren und Sicherungssystem für ein Gleisstreckennetz
JP6436054B2 (ja) * 2015-10-26 2018-12-12 株式会社デンソー 運転支援装置
DE102015224943A1 (de) 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
DE102015224942A1 (de) * 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
KR101999079B1 (ko) * 2016-01-19 2019-07-10 닛산 지도우샤 가부시키가이샤 표시 장치의 제어 방법 및 표시 장치
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Soken 表示制御装置
CN105911989B (zh) * 2016-04-28 2021-08-13 财团法人车辆研究测试中心 复合式自动辅助驾驶的决策***及其方法
US11067984B2 (en) 2016-05-04 2021-07-20 Motional Ad Llc Automated vehicle operating system with driving-rule modification based on observation of another vehicle
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
US10232711B2 (en) 2016-06-03 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Spatiotemporal displays for set speed deviation of a vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
US10354408B2 (en) * 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
US10232856B2 (en) * 2016-07-28 2019-03-19 Ford Global Technologies, Llc Vehicle user-communication system and method
DE102016009302A1 (de) * 2016-08-01 2018-02-01 Lucas Automotive Gmbh Steuerungs-System und Steuerungs-Verfahren zur Auswahl und Verfolgung eines Kraftfahrzeugs
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
DE102016220549A1 (de) 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Fahrers beim Deaktivieren eines hochautomatisierten Fahrmodus eines Fahrzeugs
EP3523176A1 (de) * 2016-12-07 2019-08-14 Siemens Mobility GmbH Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur gefahrensituationserkennung im bahnverkehr, insbesondere im schienenverkehr
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996415B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
DE102017002666A1 (de) 2017-03-18 2017-11-30 Daimler Ag Automatisches Fahrmanöver
US10451730B2 (en) * 2017-03-31 2019-10-22 Ford Global Technologies, Llc Lane change assistant
JP6749483B2 (ja) * 2017-04-24 2020-09-02 三菱電機株式会社 報知制御装置および報知制御方法
DE102017005009A1 (de) * 2017-05-24 2018-11-29 Man Truck & Bus Ag Fahrerassistenzsystem eines Kraftfahrzeugs
DE102017215161A1 (de) * 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
FR3072805B1 (fr) * 2017-10-23 2021-01-08 Psa Automobiles Sa Systeme de commande d’un vehicule autonome
DE102017221191B4 (de) * 2017-11-27 2019-06-13 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP6640251B2 (ja) * 2018-01-17 2020-02-05 本田技研工業株式会社 走行制御装置及び走行制御方法
DE102018202201B4 (de) * 2018-02-13 2020-06-10 Bayerische Motoren Werke Aktiengesellschaft Sensorvorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
JP2019148900A (ja) * 2018-02-26 2019-09-05 本田技研工業株式会社 車両用制御装置、車両及び経路案内装置
DE102018203910B3 (de) * 2018-03-14 2019-06-13 Audi Ag Fahrerassistenzsystem sowie Verfahren für ein Kraftfahrzeug zum Anzeigen einer erweiterten Realität
US20210323403A1 (en) * 2018-03-29 2021-10-21 Ricoh Company, Ltd. Image control apparatus, display apparatus, movable body, and image control method
US20210362597A1 (en) * 2018-04-12 2021-11-25 Lg Electronics Inc. Vehicle control device and vehicle including the same
DE102018116173A1 (de) * 2018-07-04 2020-01-09 Connaught Electronics Ltd. Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug
US12005832B2 (en) 2018-09-05 2024-06-11 Koito Manufacturing Co., Ltd. Vehicle display system, vehicle system, and vehicle
DE102018216809A1 (de) * 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
DE102018218154A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern einer Route und/oder Fahrweise eines Fahrzeugs in Abhängigkeit von einer Innenraumsituation
JP7093056B2 (ja) * 2018-11-27 2022-06-29 トヨタ自動車株式会社 運転支援装置、運転支援方法及び運転支援プログラム
EP3670283A1 (en) * 2018-12-17 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Follow that car
DE102019204348A1 (de) * 2019-03-28 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Zielführung zu einer Zielperson, elektronische Vorrichtung der Zielperson und elektronische Vorrichtung des Abholers sowie Kraftfahrzeug
DE102019208892A1 (de) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Verfahren zum Betrieb eines fahrerlosen Transportsystems
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
DE102020106380A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs durch Anpassung von angezeigten Objekten, Fahrerassistenzsystem sowie Fahrzeug
DE102020202986A1 (de) * 2020-03-10 2021-09-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Motorrads
DE102020207314A1 (de) * 2020-06-11 2021-12-16 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel
DE102020214162B3 (de) 2020-11-11 2022-03-17 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spurhalteassistenzsystems eines Fahrzeugs während einer Fortbewegungsfahrt des Fahrzeugs entlang einer Fahrspur, sowie elektronisches Fahrerassistenzsystem sowie Fahrzeug
US11548522B2 (en) * 2021-02-08 2023-01-10 GM Global Technology Operations LLC Speed difference indicator on head up display
EP4068153A1 (en) * 2021-03-31 2022-10-05 Honda Research Institute Europe GmbH Advanced driver assistance system for assisting a driver of a vehicle
DE102021206880A1 (de) * 2021-06-30 2023-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur optimalen Parametrisierung eines Fahrdynamikregelungssystems für Fahrzeuge
DE102021131972A1 (de) 2021-12-03 2023-06-07 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem, Verfahren zum Betreiben eines Fahrassistenzsystems und Computerprogramm
DE102023001870A1 (de) 2023-05-08 2024-04-11 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeuges

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046501A (ja) * 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2004199512A (ja) * 2002-12-19 2004-07-15 Denso Corp 車間距離制御装置
JP2006248335A (ja) * 2005-03-09 2006-09-21 Toyota Motor Corp 車両走行制御装置
JP2007216775A (ja) * 2006-02-15 2007-08-30 Nissan Diesel Motor Co Ltd 車両のクルーズコントロール装置
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
JP2009265842A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 車両用警告装置、警告方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
US6411898B2 (en) * 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
DE10242293B4 (de) 2002-09-12 2007-05-16 Audi Ag Fahrzeugführungssystem
DE10356307A1 (de) * 2003-11-28 2005-06-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeugs
JP4316619B2 (ja) 2004-02-20 2009-08-19 シャープ株式会社 車両用表示装置及び車両表示システム並びに車両
JP2005300167A (ja) 2004-04-06 2005-10-27 Alpine Electronics Inc 衛星測位装置及びナビゲーション装置
US20050259033A1 (en) * 2004-05-20 2005-11-24 Levine Alfred B Multiplex-selective heads-up displays for cars
JP4329622B2 (ja) 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US7966127B2 (en) 2004-12-28 2011-06-21 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle motion control device
JP4887980B2 (ja) 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
KR101075615B1 (ko) 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
EP1926048B1 (en) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
DE102006059353A1 (de) 2006-12-15 2008-06-19 Robert Bosch Gmbh Benutzerschnittstelle für ein Fahrerassistenzsystem eines Kraftfahrzeugs
WO2008117712A1 (ja) * 2007-03-26 2008-10-02 Toyota Jidosha Kabushiki Kaisha ナビゲーション装置
JP4412356B2 (ja) 2007-06-13 2010-02-10 株式会社デンソー 車両用衝突緩和装置
DE102008003666A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
DE102008011228A1 (de) 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
DE102008021186A1 (de) 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102008002560A1 (de) 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
JP2010221995A (ja) * 2009-02-27 2010-10-07 Nissan Motor Co Ltd 車両用運転操作補助装置、車両用運転操作補助方法および自動車
KR101625668B1 (ko) * 2009-04-20 2016-05-30 삼성전자 주식회사 전자기기 및 전자기기의 음성인식방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046501A (ja) * 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2004199512A (ja) * 2002-12-19 2004-07-15 Denso Corp 車間距離制御装置
JP2006248335A (ja) * 2005-03-09 2006-09-21 Toyota Motor Corp 車両走行制御装置
JP2007216775A (ja) * 2006-02-15 2007-08-30 Nissan Diesel Motor Co Ltd 車両のクルーズコントロール装置
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
JP2009265842A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 車両用警告装置、警告方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018507479A (ja) * 2015-02-02 2018-03-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 自動車用の運転者支援システム
US10460605B2 (en) 2015-02-02 2019-10-29 Robert Bosch Gmbh Driver assistance system for a motor vehicle
JP2020126664A (ja) * 2015-02-02 2020-08-20 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 自動車用の運転者支援システム
JP2019504382A (ja) * 2015-11-24 2019-02-14 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH アダプティブな周辺画像データ処理を有するドライバー・アシスタント・システム
JPWO2017138428A1 (ja) * 2016-02-08 2018-11-29 株式会社リコー 情報表示装置
JP7505189B2 (ja) 2020-01-29 2024-06-25 株式会社リコー 画像表示装置、画像表示方法およびプログラム

Also Published As

Publication number Publication date
US20140176350A1 (en) 2014-06-26
DE102012210145A1 (de) 2012-12-20
CN103732480B (zh) 2017-05-17
CN103732480A (zh) 2014-04-16
EP2720929B1 (de) 2016-04-27
US9605971B2 (en) 2017-03-28
EP2720929A1 (de) 2014-04-23
KR20140031369A (ko) 2014-03-12
WO2012172077A1 (de) 2012-12-20
JP6193222B2 (ja) 2017-09-06

Similar Documents

Publication Publication Date Title
JP6193222B2 (ja) 車道上で車両を誘導する際に運転者を支援する機能を実現させるためのプログラム、およびそれを実行するための装置
JP6447929B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US10793165B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
CN110114810B (zh) 信息处理***、信息处理方法以及存储介质
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
US9376121B2 (en) Method and display unit for displaying a driving condition of a vehicle and corresponding computer program product
JP2018097804A (ja) 情報処理システム、情報処理方法、およびプログラム
CN113784861B (zh) 显示控制方法及显示控制装置
JPWO2017047176A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
WO2016170763A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
JP6969509B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
EP3246745A1 (en) Display unit and method for representing information
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170809

R150 Certificate of patent or registration of utility model

Ref document number: 6193222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees