KR20140031369A - 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치 - Google Patents

도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20140031369A
KR20140031369A KR1020147001033A KR20147001033A KR20140031369A KR 20140031369 A KR20140031369 A KR 20140031369A KR 1020147001033 A KR1020147001033 A KR 1020147001033A KR 20147001033 A KR20147001033 A KR 20147001033A KR 20140031369 A KR20140031369 A KR 20140031369A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
image
displayed
display
Prior art date
Application number
KR1020147001033A
Other languages
English (en)
Inventor
볼프강 니젠
슈테판 지몬
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20140031369A publication Critical patent/KR20140031369A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 도로(145) 위 차량(100)의 차선 안내 시에 운전자를 보조하기 위한 방법(1300)에 관한 것이다. 상기 방법(1300)은 판독된 영상(135)을 운전자(140)를 위해 디스플레이 유닛(150)에 표시하는 단계(1310)를 포함하며, 이때 영상(135)은 카메라(120)에 의해 기록되었으며 차량 주변(115)을 표현하고 있다. 그 외에도, 상기 방법은 운전자(140)가 제어 인터페이스(210)에 입력한 제어 신호(215)를 판독하는 단계(1320) 및 제어 신호(215)를 사용하여 영상(135) 속에 들어 있는 객체(300)를 선택하는 단계(1330)를 포함한다. 또한, 상기 방법(1300)은 디스플레이 유닛(150)에 마크(310, 500, 600)를 표시하는 단계(1340)를 포함하고, 이때 객체(300)를 표현하고 있는 영상(135) 영역에 마크(310, 500, 600)가 표시된다. 끝으로, 상기 방법(1300)은, 도로(145) 위 차량(100)의 차선 안내 시에 운전자(140)를 보조하기 위해, 차량(100)이 주행할 주행 경로에 대한 하나 이상의 종방향 제어 매개변수를 결정하기 위해 객체(300)를 이용하는 단계(1350)를 포함한다.

Description

도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치{METHOD AND DEVICE FOR ASSISTING A DRIVER IN PERFORMING LATERAL GUIDANCE OF A VEHICLE ON A CARRIAGEWAY}
본 발명은 독립항들에 의거하여 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법, 대응 장치 및 대응 컴퓨터 프로그램 제품에 관한 것이다.
ACC(Adaptive Cruise Control) 시스템들은 앞차와의 거리를 제어하며 거의 10년 전부터 시장에 선뵈었다. 이들 시스템은 대개 레이더 센서에 기반하지만, 간혹 신형 차량들의 경우에 라이더 센서에도 기반한다. 최근, 마찬가지로 복수의 센서들, 예컨대 레이더와 비디오가 융합되어, ACC 기능이, 예컨대 차선 정보의 고려, 특히 횡방향으로의 객체 측정의 개선, 끼어드는 혹은 이탈하는 차량에 대한 조기 반응, 자유 공간 검출과 주행 안전 또는 검출 영역의 측면 확장과 관련하여 개선되고 확장될 수 있다.
DE 10 2008 003 666 A1호는 차량 주변을 검출하기 위한 센서들 및 이 센서들의 출력 신호에 따라 차량의 온보드 시스템에 개입하기 위한 장치를 포함하는 운전자 보조 시스템 제어 방법에 관한 것으로서, 이러한 운전자 보조 시스템은 적어도 차량이 주행하는 차선의 진행 상황과, 이 차선에 대한 차량의 위치를 검출하여 차량을 궤도에서 안내한다. 이 경우, 차량 보조 시스템은 운전자 요구에 따라 궤도를 정한다.
현재 알려진 모든 차량 보조 시스템들의 공통점은 이들이 센서들에 의해 검출된 객체 정보를 운전자에게 조금만 제공한다는 것이다.
이러한 배경을 전제로, 독립항들에 의거하여 본 발명의 방법, 그 외에도 이 방법을 이용하는 제어 장치 그리고 끝으로 대응하는 컴퓨터 프로그램 제품을 소개한다. 유리한 개선점들이 각 종속항들 및 하기의 설명으로부터 도출된다.
본 발명은 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법을 제공하며, 이러한 방법은 하기의 단계들을 포함한다.
- 판독된 영상을 운전자를 위해 디스플레이 유닛에 표시하는 단계로서, 이 영상은 카메라에 의해 기록되었고 차량 주변을 표현하고 있으며,
- 운전자가 제어 인터페이스에 입력한 제어 신호를 판독하는 단계,
- 이 제어 신호를 사용하여 영상 속에 들어 있는 객체를 선택하는 단계,
- 디스플레이 유닛에 마크를 표시하는 단계로서, 이 마크는 객체를 표현하고 있는 영상 영역에 표시되고, 및
- 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위해, 차량이 주행할 주행 경로에 대한 하나 이상의 종방향 제어 매개변수를 결정하는 데 객체를 사용하는 단계로서, 특히 하나 이상의 종방향 제어 매개변수는 객체에 대한 차량의 준수 거리 및/또는 차량이 객체에 접근할 때 상대 속도를 포함한다.
그 외에도, 본 발명은 본 발명에 따른 방법의 단계들을 대응하는 장치들에서 실시 또는 실행하기 위해 형성되어 있는 장치, 특히 내비게이션 장치를 제공한다. 본 발명의 장치 변형예를 통해서도 본 발명에 근거하는 과제는 빠르고 효율적으로 해결될 수 있다.
여기에서 장치란 센서 신호를 처리하고 그 결과에 따라 제어 신호를 출력하는 전기 장치를 말한다. 이 장치는 하드웨어적으로 및/또는 소프트웨어적으로 형성될 수 있는 인터페이스를 포함할 수 있다. 하드웨어적으로 형성하는 경우, 인터페이스들은 이 장치의 전혀 다른 기능들도 포함하는 소위 시스템 ASIC의 일부가 될 수 있다. 그러나 이들 인터페이스가 독립적인 집적 회로일 수도 있고 또는 적어도 부분적으로는 개별 소자들로 이루어질 수도 있다. 소프트웨어적으로 형성하는 경우 인터페이스들은 예컨대 다른 소프트웨어 모듈과 함께 마이크로컨트롤러에 제공되는 소프트웨어 모듈일 수도 있다.
프로그램 코드를 포함하는 컴퓨터 프로그램 제품 역시 장점이 되며, 이 프로그램 코드는 기계 판독 가능한 캐리어, 예컨대 반도체 메모리, 하드디스크 메모리 또는 광메모리에 저장될 수 있으며, 또 이 프로그램 코드는, 프로그램이 컴퓨터에 상응하는 장치에서 실행될 때, 전술한 실시예들 중 한 실시예에 따른 방법을 실시하는데 이용된다.
도로 위 차량의 차선 안내 시에 운전자를 보조한다는 것은 예컨대 객체와 관련한 자동적인 종방향 제어 및/또는 횡방향 안내를 의미하거나 또는 제동 및 가속 또는 조향을 요구하는 음향적 및/또는 촉각적 및/또는 시각적 신호의 형태로 운전자를 보조하는 것을 의미하기도 한다. 디스플레이 유닛이란 스크린으로 이해할 수도 있고 또는 차량 전면 유리에 객체들을 투영하는 장치로 이해할 수도 있다. 차량 주변이란 차량을 둘러싼 외부 영역, 특히 카메라에 의해 기록되는 차량 전방 도로로 이해할 수 있다. 제어 인터페이스란 운전자 또는 차량 안에 있는 어떤 사람이 수동식으로, 음성으로 또는 다른 방식으로 입력할 때 이를 검출하는 인터페이스로 이해할 수 있으며, 이것은 그에 반응하여 제어 신호를 제공한다. 마크란 디스플레이 유닛에 표시되는 마킹 객체로 이해할 수 있다. 이때, 마크 또는 마킹 객체는 선택된 객체 역시 표시되고 있는 영상 영역에 오버랩될 수 있다. 차량이 주행할 주행 경로의 결정이란 예컨대 최단 경로로 또는 가장 편안한 방식으로 객체를 따라가기 위해 차량을 양호하게 안내하는 궤적의 결정으로 이해할 수 있다. 종방향 제어 매개변수란 예컨대 차량이 따라가야 할 객체와의 거리 또는 속도로 이해할 수 있으며, 이 속도는 객체와의 추돌을 피할 수 있도록 차량이 준수해야 하는 최대 속도를 나타낸다. 그런 경우, 이러한 종방향 제어 매개변수는 차량 안내 보조 유닛에서 사용될 수 있기 때문에, 종방향 안내 신호가 발생되어 차량을 제어할 때 이 종방향 안내 신호를 통해 운전자를 보조하도록 운전자에게 출력된다. 이 경우 종방향 안내 신호는 객체와 차량의 추돌 가능성과 관련하여 거리 또는 속도가 어느 정도인지를 운전자에게 제공하는 신호로 이해할 수 있다. 예컨대 이 종방향 안내 신호는 타코미터의 형태로 표시될 수 있으며, 이때 객체와 차량 사이에 곧 발생할 두려운 추돌 위험이 영상으로 표시된다. 물론, 대안으로서 또는 추가로, 자동으로 조향 개입이 실시될 수 있고 그리고/또는 차량의 운전자를 보조하기 위해 브레이크가 활성화될 수 있도록, 종방향 안내 신호가 사용될 수도 있다.
본 발명은 디스플레이 유닛에 상기 마크의 표시와 사용 및 차량이 주행할 주행 경로의 결정을 통해 차량의 운전자가 시각적인, 매우 반응적인 그리고 용이하게 인식 수 있는 방식으로, 차선 안내의 결정 시에 내비게이션 장치에 기초한 객체에 관한 정보를 획득한다는 인식에 근거한다. 그로 인해 운전자는, 예컨대 바람직하지 않은 객체가 차량이 주행할 주행 경로에 대한 하나 이상의 종방향 제어 매개변수를 결정하는데 사용되면, 오류를 빠르게 알 수 있다. 예컨대, 그와 같은 종방향 제어 매개변수는 객체가 이동하는 속도와도 관련 있다. 예컨대 도로 우측에서 서행 차량이 그리고 (인접) 도로 좌측에서 고속 차량이 주행하면, 이러한 속도 때문에 좌측 차량이 선택될 수 있고, 운전자가 서행하면서 우측 차량을 따르지 않고 오히려 고속 주행하려 한다는 것이 시스템에 전달될 수 있다. 이와 같은 식으로, 운전자의 방향 전환으로 인해 도로 교통에서 위험 상황을 혹시라도 야기할 수 있는 운전자의 혼란이 억제될 수 있다.
본 발명의 특별한 실시예에 따라 영상을 표시하는 단계에서 영상에 근거하여 객체들의 사전 검출이 이루어지고 선택 단계에서 제어 신호를 사용하여 사전에 인식된 복수의 객체들 중 하나의 객체가 선택되는 것이 바람직하다. 사전 검출이란 객체를 선택하기 전에 먼저 영상을 조사하여 선택하려는 복수의 가능 객체들을 검출하거나 또는 그와 같은 것으로서 분류하는 사전 평가 과정으로 이해할 수 있다. 본 발명의 그와 같은 실시예의 장점은 이제 선택 및 그 후 선택 객체의 마킹이 더 빠르게 이루어질 수 있으므로, 주행 경로의 결정을 위해 정확한 객체가 선택되었는지 여부를 알기 위해 운전자는 더 짧은 시간 동안 자신의 시야를 디스플레이 유닛에 맞추기만 하면 된다.
본 발명의 다른 일 실시예에 따라 표시 단계에서 디스플레이 유닛의 접촉 감지 디스플레이 위에 영상이 표시되고, 판독 단계에서 제어 신호로서 접촉 감지 디스플레이의 누름이 검출되어 판독된다. 본 발명의 그와 같은 종류의 실시예의 장점은 주행하려는 주행 경로를 결정하는데 사용되는 객체를 운전자가 빠르고 정확하게 그리고 신뢰적으로 선택할 수 있다는 것이다.
대안으로서, 판독의 단계에서도 제어 신호는 검출된 운전자 제스쳐에 반응하여, 특히 운전자가 손가락으로 한 위치를 가리키는 것에 반응하여 발생될 수 있다. 본 발명의 그와 같은 종류의 실시예는 운전자에게 또 다른 편리성 증가를 제공하는데, 운전자가 입력 시에 자신이 접촉 감지 디스플레이의 정확한 지점에 터치하는지 여부에 더 이상 유의할 필요가 없기 때문이다. 그런 점에서, 운전자의 안전 역시 향상될 수 있는데, 대응하는 입력을 실시하기 위해, 운전자가 자신의 주의를 교통 상황으로부터 오랫동안 돌릴 필요가 더 이상 없기 때문이다.
주행시 차량 안에서 희망하는 객체의 정확한 선택이 가능하도록, 선택 단계에서, 영상 속에서 사전에 인식되었던 객체가 선택될 수 있고, 이 객체는 접촉 감지 디스플레이를 누를 때 이의 검출을 통해 표현되는 영상 속 한 위치에 가장 가까이에 있다. 그와 같은 기능은 예컨대 접촉 감지 디스플레이에 부정확하게 입력하는 경우에도 희망하는 객체를 신뢰성 있게 선택할 수 있는 가능성을 제공한다. 특히, 그와 같은 가능성은 예컨대 평탄하지 않은 도로에서 주행할 때 또는 고속도로에서 고속 주행하는 경우 디스플레이 유닛을 잠깐만 바라볼 때 특히 유리하다.
만약 본 발명의 그외 실시예에 따라 판독 단계에서 제어 인터페이스가 사용되어, 이 제어 인터페이스가 차량 운전자의 음성 명령을 평가하여 제어 신호를 발생하면, 특히 유리하다. 본 발명의 그와 같은 종류의 실시예의 장점은 운전자가 예컨대 차량 제어 유닛들, 예컨대 스티어링 휠 또는 변속 레버로부터 손을 뗄 필요가 없이 운전자가 입력한다는 것이다. 이는 여기에서 제안한 접근법의 이용 시 교통 안전을 향상시킨다.
본 발명의 다른 일 실시예에 따라, 도로 위에서 차량의 앞이나 옆에 있는 다른 차량을 나타내는 객체가 객체의 선택 단계에서 선택될 수 있다. 본 발명의 그와 같은 종류의 실시예의 장점은 차선 안내 보조 시스템을 이용하여 따라갈 차량의 선택이 용이하다는 것이다. 또한, 다른 차량은 대개, 한편으로 버튼 누름으로 신속하게 선택될 수 있거나 다른 한편으로는 디스플레이 유닛에서 신속하게 검출될 수 있도록 큰 크기를 가지므로, 운전자는 매우 짧은 시간 동안만 자신의 시야를 교통 상황으로부터 디스플레이 유닛에 맞추기만 하면 된다.
또한, 본 발명의 다른 일 실시예에 따라 표시의 단계에서 마크가 시간에 따라 가변적으로 표시될 수 있다. 본 발명의 그와 같은 종류의 실시예의 장점은 선택된 객체가 디스플레이 유닛을 단지 언뜻 볼지라도 매우 빠르게 인식될 수 있다는 것이다. 그 외에도, 표현을 바꿔 추가적인 정보, 예컨대 추적하는 객체와의 추돌 위협에 대한 정보가 표시될 수 있다. 그러므로 또 교통 안전이 향상될 수 있는 데, 운전자의 주의가 짧은 시간 동안만 교통 상황으로부터 돌려지기만 하면 되기 때문이다.
예컨대 객체와의 관계에서 곧 예상되는 위험 상황을 운전자에게 가능한 한 조기에 그리고 신속하게 전달할 수 있도록, 표시 단계에서 객체와의 거리와 관련된 정보가 디스플레이 유닛에 표시될 수 있으며, 이와 같은 정보는 객체를 재현하고 있는 영상의 한 영역 속에 표시된다. 이와 같은 정보 하에서 예컨대 상기 객체와의 임박한 추돌에 대한 정보가 표시될 수 있다. 이런 경우에 예컨대 정보는 기호 또는 특수한 그래픽으로서, 마크와 함께 객체를 표현하고 있는 영상 속 상기 영역에 표시될 수 있다.
그 외에도, 본 발명의 다른 일 실시예에 따라 사용 단계에서도 객체의 주행 경로와 차량의 희망하는 사전 설정된 루트의 비교가 이루어질 수 있으며, 비교의 결과 객체가 희망하는 사전 설정된 루트로부터 사전 설정 거리보다 더 멀리 떨어져 있으면, 객체는 차량이 주행할 주행 경로를 결정하는 데 더 이상 사용되지 않으며 및/또는 객체의 특정 속도가 차량의 위치에서 허용된 속도보다 더 빠르면, 사용 단계에서 객체는 차량이 주행할 주행 경로를 결정하는 데 더 이상 사용되지 않으며 및/또는 차량에 대한 객체의 검출 거리가 사전 설정 거리보다 더 멀면, 사용 단계에서 객체는 차량이 주행할 주행 경로를 위한 하나 이상의 종방향 제어 매개변수를 결정하는데 더 이상 사용되지 않는다. 본 발명의 그와 같은 실시예의 장점은 주행하려는 주행 경로를 결정하기 위한 근거로서 사용되는, 특히 이를 따르는 객체가 자기 차량의 차선 안내를 보조하는 객체로서 더 이상 적합하지 않음이 조기에 검출될 수 있다는 것이다. 이런 경우에 오류 메시지의 출력이 억제될 수 있는 데, 이런 오류 메시지가 어쩌면 운전자를 혼란스럽게 할 수도 있을 것이며 그 결과 위험한 교통 상황을 야기할 수도 있기 때문이다.
하기에서 첨부한 도면들을 참고하여 본 발명을 상술한다.
도 1은 본 발명의 일 실시예에 따른 장치를 사용하는 차량의 블록 회로도이다.
도 2는 도 1에 도시된, 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 장치의 상세한 블록 회로도이다.
도 3은 차량 카메라에 의해 기록된 영상을 표시하는 도면이다.
도 4는 차량 카메라에 의해 기록된 영상을 표시하는 다른 도면으로서, 카메라 영상 속 선택 객체가 위치하는 영역 안에 마크가 보인다.
도 5는 카메라 영상 속에서 마크 또는 추가 정보를 포함하는 객체를 표시하는 도면이다.
도 6은 카메라 영상 속에서 마크 또는 추가 정보를 포함하는 객체를 표시하는 다른 도면이다.
도 7a- 도 7b는 서로 다른 시점에서 카메라 영상 속에서 추가 정보를 포함하는 객체를 표시하는 도면이다.
도 8은 객체와 추돌할 때까지의 시간을 바아 차트에 시각화한 도면이다.
도 9는 객체와 추돌할 때까지의 시간을 원형 인스트루먼트의 형태로 시각화한 도면이다.
도 10은 다른 객체들과 추돌할 때까지의 시간들을 카메라 영상 속 각 객체들의 영역에서 보이는 원형 인스트루먼트의 형태로 보여주는 도면이다.
도 11은 자신의 차량 및 다른 차량의 속도를 공동의 원형 인스트루먼트 안에 보여주는 도면이다.
도 12는 추적 객체를 영상에서 추출할 수 있는 카메라 영상에 관한 도면이다.
도 13은 본 발명의 일 실시예에 따른 방법의 흐름도이다.
하기에서 본 발명의 바람직한 실시예들을 설명할 때, 여러 도면들에 도시되어 있지만 유사 효과를 가지는 요소들에 대해 동일하거나 유사한 도면 부호들을 사용하며, 이러한 요소들에 대한 설명을 반복하지 않는다.
도 1에는 본 발명의 일 실시예에 따른 장치(110)를 사용하는 차량(100)의 블록 회로도가 도시되어 있다. 그 외에도, 차량은 카메라(120)를 포함하므로, 이 카메라는 차량 주변(125) 및 그 안에 위치하는, 시야 범위(130) 안에 있는, 특히 차량 앞에 있는 객체(127)를 검출하여 대응하는 영상(135)을, 도로(145) 위 차량(100)의 차선 안내 시에 운전자(140)를 보조하기 위한 장치(110)에 전송한다. 이 경우, 장치(110)는 카메라 영상(135)을 표시할 수 있는 디스플레이 유닛(150)을 포함한다. 이 경우, 디스플레이 유닛(150)은 접촉 감지식 스크린을 포함하며, 차량의 운전자(140)는 스크린을 손가락으로 눌러 카메라 영상(135) 속 객체를 선택할 수 있는 데, 이 객체는 차량이 주행할 주행 경로를 결정하기 위한 근거로서 이용된다. 이 경우, 중앙 제어 장치(155)는 한편으로 카메라 영상(135)을 디스플레이 유닛(150)에 전송하고 다른 한편으로 접촉 감지식 스크린을 이용한, 운전자(140)의 입력을 판독하는 기능을 맡을 수 있다. 또한, 제어 유닛(155)에서 마킹 기호 또는 마킹 객체로서 마크가 선택될 수 있으며, 이 마크는 선택된 객체를 표현하고 있는 카메라 영상(135) 영역에 오버랩될 수 있다. 그 후, 마크들에 의해 오버랩된 영상이 다시 디스플레이 유닛(150)에 전송되어 운전자(140)에게 표시된다. 그와 동시에, 마킹된 객체가 차량이 주행할 차선, 즉 차량이 주행할 주행 경로를 결정하기 위한 근거로서 제어 유닛(155)에서 사용될 수 있으므로, 예컨대 특수한 차선 안내 유닛(160)에서 이러한 객체의 자동 추적, 즉 차량의 자동적인 종방향 안내 및/또는 횡방향 안내가 실시될 수 있거나, 운전자가 상기 객체에 의해 결정된 차선 안에서 가능한 한 빠르게, 에너지를 절약하면서 또는 편안하게 차량을 어떻게 운전할 수 있는지에 관한 지시들 또는 정보들을 운전자(140)에게 제공하는 신호들이 운전자(140)에게 전달될 수 있다. 이 경우, "차선"이란 차량의 운전이 이루어져야 하는 원하는 궤적을 말한다. 이와 같은 원하는 (주행) 궤적은 한편으로 예컨대 도로 표식을 통해 표시된 차선이 될 수도 있지만, 다른 한편으로는 이러한 궤적이 (예컨대 표식이 없는 도로일지라도) 자신의 차량의 컴퓨터 유닛에 의해 계산되어 주행할 "차선"으로서 출력되는 궤적이 될 수도 있다. 이와 같은 방식에 의해, 차량을 안내할 때 운전자를 가능한 한 효율적으로 보조할 수 있도록 하기 위해, 표식이 없는 도로일지라도 자신의 차량이 주행할 "차선"이 더 획득될 수 있다. 이 경우, 주행할 "차선"은 상기 객체를 고려하여 결정되어야 한다. 특히, 이 경우 한 "차선", 즉 상기 객체 역시 주행하고 있는 "차선"이 결정되므로, 주행하거나 따라갈 "차선"의 결정 시에, 따라 가야하는 객체와도 관계있는 궤적만이 적절할 수 있다.
도 2에는 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 장치(110)의 상세한 블록 회로도가 도시되어 있다. 이 경우, 장치(110)는 디스플레이 유닛(150) 및 제어 인터페이스(210)를 포함하며, 제어 인터페이스는 예컨대 디스플레이 유닛(150)의 스크린의 접촉 감지 표면의 형태로 또는 음성 신호를 인식할 수 있는 마이크로폰으로서 형성되어 제어 신호(215)를 제공한다. 제어 인터페이스는 디스플레이 유닛(150)으로부터 떨어져 위치할 수도 있고 예컨대 조이스틱 또는 중앙 콘솔 위 터치패드를 통해 또는 가속 페달 내 횡방향 트랜스듀서를 통해 형성될 수 있다. 그 외에도, 장치(110)는 선택 유닛(220)을 포함하며, 선택 유닛은 중앙 제어 장치(155) 안에 배치될 수 있으며 제어 신호(215)에 반응하여 영상 속에 들어 있는 객체를 선택하고 대응하는 마크를 카메라 영상(135)에 오버랩하므로, 대응하는 처리된 카메라 영상(230)이 획득될 수 있다. 또한, 선택 유닛(220)은 마크와 오버랩되는 카메라 영상(230)을 다시 디스플레이 유닛(150)에 전송할 수 있으며, 디스플레이 유닛에는 오버랩된 카메라 영상(230)이 표시된다. 추가로 상기 장치는 앞서 언급한 차선 안내 유닛(160)을 갖는다.
지금까지 알려진 모든 운전자 보조 시스템들의 공통점으로서, 운전자 보조 시스템들이 센서에 의한 객체 검출 정보를 운전자에게 약간만 제공한다는 것과 이들이 운전자에게 영향 가능성들을, 예컨대 어떤 차량을 뒤따라 가야하는지에 대한 영향 가능성을 약간 제공하거나 또는 전혀 제공하고 있지 않다는 것이다.
본 발명은 특히 이와 같은 흠결을 제거하려고 노력하였고 지금까지 공개되지 않은 방식으로 운전자와 상호작용하는 운전자 보조 시스템을 설명하려고 한다. 이러한 목적을 위해, 운전자 보조 시스템은 차량 주변을 (특히 전방을 향해) 관측하기 위한 하나 이상의 카메라 및 경우에 따라 처리된 카메라 영상 및 있을 수 있는 추가 정보들을 제공하기 위한 스크린을 이용한다.
운전자 보조 시스템에 대한 불만족 이유로서 종종 고객들이 지적하는 바는 이 시스템의 거동이 종종 자신들에게는 타당하지 않다는 것이다. 이 시스템이 왜 그와 같이 거동하는지 추적 능력이 결여되어 있다. 특히, 이는 시스템 거동이 운전자가 그 순간에 예상하거나 바람직한 거동과 분명하게 다른 경우이다.
이와 같은 흠결의 원인은 센서의 약함에 근거한다(예를 들어 매우 빠른 고속도로 주행시 부족한 도달 거리, 끼어드는 관련 차량의 너무 늦은 검출, 더미 객체의 발생). 본 발명에 따른 방법은 시스템 투명성 흠결을 제거하고 또한 이와 관련된, 운전자에 대한 영향 가능성 흠결을 제거한다. 이를 위한 토대로서 영상 기반 객체 추적용 신종 알고리즘이 제공된다. 이 알고리즘을 통해 특히 비디오 영상 속 객체 추적이 유용하게 시각화될 수 있는 데, 이러한 시각화를 통해 운전자가 정확하고, 안정적이며 신뢰성 있으며 그 결과 질적으로 우수하다는 느낌을 갖게 된다.
본원에 소개하는 시스템은 스크린(디스플레이)을 이용하므로, 운전자 보조 또는 주행 과제와 관련해 운전자가 중요하게 생각하는 정보들이 언제라도 운전자에게 표시될 수 있다. 이 스크린은 전면 유리를 통해 형성될 수도 있으며, 그런 경우 관련 정보들이 이 전면 유리에 표시된다.
주행 방향을 향해 있는 카메라의 영상이 일반적으로 이 스크린 위에 표시된다. 그 외에도, 이러한 영상은 예컨대 운전자에게 흥미롭거나 중요한 정보들로 강화된다. 또한, 운전자는 일 실시예에 따라 스크린을 이용해 자신의 선택 가능성들에 관한 정보를 받으며, 운전자는 상기 시스템과의 상호 작용에 의해 상기 선택 가능성들을 선택할 수 있다.
다른 객체들, 예컨대 차량들과 관련된 시스템의 추가 정보들이 영상 속에서 객체와 고정적으로 연결되어 있으며, 이들은 소위 외관상으로 객체에 "접착된" 것처럼 작용한다. 그러므로 후속 시스템 설명은 특히 그와 같은 객체 정보들을 객체와 함께 표현하는 알고리즘의 능력에 기반하며, 그와 같은 알고리즘은 본 발명의 실질적 구현 가능성을 위한 중요한 전제를 제공한다.
여기에서 일 실시예로 설명되는 본 발명의 기능성이 하나 이상의 환경 센서(바람직하게는 비디오, 대안적으로는 레인지 비디오(광 전파 시간 측정), 레이더, 라이더, 초음파 또는 이들의 조합들)의 데이터에 근거한다.
이와 같은 데이터는
Figure pct00001
특히 자기 차량(즉, 운전자가 타고 있는 자신의 차량)의 종방향 제어, 경우에 따라서는 마찬가지로 횡방향 제어에 관한 것이고 그리고/또는
Figure pct00002
종방향/횡방향 제어의 과제와 관련해 운전자를 보조하는 주행 지시들의 출력에 관한 것이다.
하기에서, 객체 추적의 단계들을 참고하여 본 발명의 실시예에 따른 시스템을 상술한다. 중간에 변형예들을 설명한다.
제1 단계: 객체 선택
시스템은 (선택에 따라서 또는 객체 검출의 이용가능성에 따라) 자동적인 객체 검출 기능을 가지고 작동되거나 가지지 않고 작동될 수 있다.
Figure pct00003
객체 검출 기능이 없거나 객체 검출 기능이 이용되지 않으면, 운전자는 객체 선택을 직접 실행할 수 있다. 이를 위해 운전자는 예컨대 손가락으로 접촉 감지 디스플레이(터치스크린)에서 자신이 따라가려는 표시된 객체를 터치한다.
이를 위해 터치스크린이 적절한 지점에 위치하여야 하므로, 손가락에 의한 터치가 용이하게 가능하다. 스티어링 휠 뒤에 위치 선정하는 것은 이 경우 적절하지 않을 것이다.
대안으로서 디스플레이와 입력 요소가 구조적으로도 분리될 수 있다. 예컨대, 입력 요소가 PC 그래픽 태블릿과 유사하게 또는 노트북 PC의 터치패드와 유사하게 형성될 수 있으며 중앙 콘솔에 또는 스티어링 휠에 또는 운전자가 쉽게 도달할 수 있는 그외 지점에 위치할 수 있다.
운전자가 객체를, 예컨대 손가락으로 톡 두드려 선택하면, 객체 추적 알고리즘이 추적을 시작한다. 이 경우, [예컨대 Bosch사의 "애니트랙(AnyTrack)" 알고리즘으로] 동시에 영상 속 객체 이동, 영상 속 크기 변화(스케일링) 및 영상 속 객체 크기가 결정된다. 그 결과, 영상 속에 (특히 추적하려는 객체의 영역에) 추가 정보(즉, 마크)가 표시될 수 있으며, 이것은 정확한 크기를 가지며 검출된 이동 관련 데이터 및 스케일링 관련 데이터를 이용하고 있다.
이 추가 정보는 가장 단순한 경우에 마크로서 변화하지 않는 (그러나 함께 이동되고 함께 스케일링되는) 영상으로 이루어질 수 있는, 예컨대 지문의 이미지로 이루어질 수 있다. 그런 경우 이런 지문의 이미지는 차량에 접착된 것처럼 보인다.
도 3에는 차량의 카메라에 의해 기록된 영상이 도시되어 있으며, 가능성 있는, 추적하려는 객체(300)가 직선 교통을 위한 차선 위에서 이미 인식되었고 선택을 위해 물음표로 예비 마킹된다. 그러므로 객체(300) 위에 물음표 및 지문의 이미지가 표시됨으로써, 이와 같은 목표 객체에 관한 자동적인 종방향 안내 및 경우에 따라서는 횡방향 안내를 시작할 것이 운전자에게 제안된다. 접촉 감지식 스크린을 손가락으로 눌러 운전자는 상기 제안을 취할 수 있다. 그림의 우측에 눈금이 표시되어 있어서, 현재 속도가 일정하게 유지될 경우 차량이 선택된 또는 마킹된 객체와 추돌할 때까지의 경과 시간이 눈금에 기입되어 있다. 차량의 운전자가 이 객체를 선택하면, 예비 마크로서 물음표가 제거되고 선택된 객체(310)의 마크로서 지문(310)이 카메라 영상에 오버랩되고 디스플레이 유닛에 표시되므로, 디스플레이 유닛의 스크린 위에 도 4에 따른 표현이 묘사된다. 그러므로 운전자가 목표 객체를 확인한 후에는 더 이상 물음표가 표시되지 않는다. 계속 지속적으로 볼 수 있는 그리고 목표 객체와 고정적으로 연결되어 있는 지문을 통해 운전자를 지시하고, 종방향 안내 및 경우에 따라서는 횡방향 안내가 운전자가 미리 손가락 접촉에 의해 선택한 차량과 관련되어 있음을 운전자에게 확인시켜준다. (마크로서) 지문의 표현 색은 미리 정해진 컬러 스케일에 따라 선택될 수 있으며, 이는 하기에서 설명된다. 색은 예컨대 추돌까지의 남은 시간에 상응하며 따라서 (제동) 개입의 긴급성에 대한 상응성을 형성한다. 진홍색은 예컨대 운전자를 통한 "특히 긴급한" 필수 제동 개입을 요구할 수 있다.
Figure pct00004
검출 알고리즘이 제공되어 관련 객체(들)를 이미 자동으로 검출한 경우, 이들이 선택을 위해 또는 확인을 위해 운전자에게 제안될 수 있다. 이는 적절한 시각적 표현을 통해 디스플레이에서 이루어지도록, 예컨대 객체(들)가 강조되고, 운전자가 선택 가능성을 가지고 있음을 표시해 주거나 운전자의 확인에 의해 예상됨을 운전자에게 표시해 주는 기호가 각 객체와 함께 표시된다.
가장 단순한 경우에, 여기에서도 다시 변하지 않는 (그러나 함께 이동된, 함께 스케일링된) 이미지가 사용되고, 예컨대 물음표를 포함하는 지문의 이미지가 사용된다. 시스템에 대해 미숙한 운전자도, 특정 방식으로, 예컨대 디스플레이를 손가락으로 누르는 방식으로 운전자의 입력이 예상된다는 사실을 가능한 한 신속하게 그리고 모호함 없이 알 수 있도록 이미지 기호가 선택되어야 한다.
이와 같이 손가락으로 누르면, 운전자는 경우에 따라 복수의 객체들 중 하나의 객체를 선택한다. 따라서 "목표 객체"의 추적이 시작된다.
이는, 이제부터 예컨대 이 객체와 관련하여 자동적인 종방향 제어 및/또는 횡방향 안내가 실시되는 것을 의미하거나, 차량 안내 시에 운전자가 예컨대 음향 신호 또는 촉각 신호 또는 시각 신호의 형태로 보조를 받는 것을 의미하며, 이 경우 이들 신호는 운전자에게 제동 또는 가속 또는 방향 전환을 요구하는 신호이다.
상호 작용에 의한 객체 선택 시에, 입력을 쉽게 하기 위해 객체 물리기(snap to object) 기능이 특히 유리하다. 이 경우 사용자의 입력이 부정확해서는 않되며 용이하게 객체 옆에 있어야 한다. 이 시스템은 아마도 입력이 의미하는 객체를 자동으로 선택함으로써 운전자를 보조한다. 이런 기능은 입력에 필요한 시간을 더 단축하고, 디스플레이를 보는데 필요한 시간을 줄여 준다.
변형예들: 인터페이스
Figure pct00005
이미 설명한 것처럼, 운전자에 대한 인터페이스로서 터치스크린이 특히 적합하다. 그러나 운전자가 주행 동안 위험 없이 스크린 접촉이 가능하도록 터치스크린이 배치되는 경우에만, 터치스크린을 사용해야 한다.
Figure pct00006
대안으로서, 스크린 및 접촉 감지 표면이 다른 곳에 위치할 수도 있다.
Figure pct00007
이 경우 헤드업 디스플레이(HUD)가, 특히 이것이 오버랩된 정보 표시와 관련 목표 객체 사이에서 소위 접촉 유사 표시를 구현하는 데 적합하면, 특히 바람직하다. 그런 경우 이는, 운전자를 위해 도 3 내지 도 5 또는 도 10에 도시된 것처럼 보일 수도 있을 것이며, 카메라의 그레이 스케일 이미지 대신에 전면 유리를 통해 실제 세계를 볼 수 있다.
Figure pct00008
대안으로서 스크린 (또는 HUD) 및 터치스크린 역시 동시에 사용될 수 있다. 이 경우 스크린 (또는 HUD)은 운전자의 바람직한 시야 범위에, 예컨대 계기판에 또는 그 위에 위치하는 반면, 터치스크린은 이의 측면에 그리고 경우에 따라서는 다른 높이에 설치되어 있다.
Figure pct00009
터치스크린의 경우에, 접촉점과 이미지 좌표 사이의 할당이 자동으로 제공된다. 그러나 만약 접촉 감지 표면 및 디스플레이가 구조적으로 분리되어 있으면, 접촉점의 해석에 대한 다른 가능성들이 제공된다.
Figure pct00010
또한, 한편으로 접촉점의 좌표가 비례적으로 이미지 좌표로 환산될 수 있다. 그런 경우 접촉 감지 표면은, PC 입력을 위해 디자이너가 사용하는 것과 같은 그래픽 태블릿처럼 작동한다.
Figure pct00011
접촉점과 이미지 좌표 사이에 비선형 관계 및/또는 시간에 따라 가변적인 관계가 있으면, 상기 작동이 노트북 컴퓨터에서 알려진 것과 같은 터치패드에 오히려 가깝다.
Figure pct00012
입력을 위해 실제 터치가 필요한 터치스크린에 대한 대안으로서, 예컨대 용량성 센서 표면을 갖거나 공간 내 손가락 위치 또는 손 위치를 광학 방식에 의해 검출하거나 운전자의 시야 방향을 광학 방식에 의해 검출하는 비접촉식 센서 역시 고려된다.
Figure pct00013
대안으로서 상기 입력 요소는 하나 이상의 손가락에 의해 터치되어 제어되는 힘 센서 또는 모션 센서일 수도 있다. 이때 자유도는 기능에 부합할 수 있다. 예컨대, 제공된 다음의 객체로 변경하기에 자유도 좌/우가 충분하고 그리고 객체의 선택을 위해 누르기가 충분하다. 2개의 자유도들(추가로 상/하)의 경우에, 전체 영상이 제어되고 객체는 순수하게 수동으로 선택될 수 있다. 다른 자유도(영상 속에서 대/소, 세계에서 근/원과 아주 밀접)가 객체의 거리 영역 역시 선택하기 위해 이용될 수 있다.
Figure pct00014
대안으로서 이 입력 요소는 이것이 한 손가락 이상에 의해 접촉되거나 터치되도록 형성될 수도 있다. 이런 점이 유용할수록, 입력의 자유도가 더 많이 제공된다.
Figure pct00015
대안으로서 이 입력 요소는 PC 마우스와 유사하게 형성될 수 있으며, 이것은 여러 방향으로 이동될 수 있고 미끄럼 방지를 위한 적절한 수단으로, 예컨대 자석으로 그리고 액체 제동으로 고정될 수 있다.
Figure pct00016
선택에 따라서 또는 대안으로서, 예컨대 발의 횡력 또는 움직임을 감지할 수 있는 풋페달에 의한 발 제어 역시 제공될 수 있다.
Figure pct00017
선택에 따라서 또는 대안으로서 음성 제어 역시 제공될 수 있다. 이 경우 음성 명령은 시스템의 검출 가능성들에 매칭될 수 있다.
Figure pct00018
"적색 차량을 따라가!"
Figure pct00019
"HI-ER 377 번호판을 따라가!"
Figure pct00020
"메르세데스 콤비를 따라가!"
Figure pct00021
"트럭을 따라가!"
Figure pct00022
"앞사람을 따라가!"
Figure pct00023
"우측 승용차를 따라가!"
음성 제어를 통해 나오는 옵션들 중 수 개 이상의 옵션들이 색들, 텍스트 정보들 및/또는 이미지 기호들의 형태로 디스플레이에 표시될 수 있다. 예컨대
Figure pct00024
검출된 객체 색이 표시되거나 또는 특히 기록될 수 있거나 또는
Figure pct00025
검출된 차량 브랜드, 즉 로고가 표시되거나 또는 단어로 기록될 수 있거나 또는
Figure pct00026
번호판이 잘 판독될 수 있게 기록되거나 또는
Figure pct00027
객체들이 기호들(승용차, 트럭, 콤비, 캐러밴, 오토바이 등)로 식별된다.
Figure pct00028
또 생각해 볼 수 있는 점은 이 시스템에서 음성 입력뿐만 아니라 음성 출력도 사용할 수 있다는 것이다. 그런 경우 이 시스템은 선택 가능성들을 암송할 수 있거나 (텔레뱅킹에서 또는 전화에 의한 자동적인 주행 계획 정보에서의 음성 제어와 유사하게) 또는 의도한 질문을 할 수 있으며, 예컨대
Figure pct00029
우측의 끼어드는 차량을 따라갈까요?
Figure pct00030
검은색 차량을 계속 따라갈까요?
Figure pct00031
터닝 차량을 따라갈까요?
Figure pct00032
이제 추적을 종료할까요?
단계: 확인
운전자가 선택하자마자 또는 경우에 따라 선택을 놓칠 때에도, 시스템은 유리한 실시예에서 운전자가 새로운 시스템 상태에 대한 정보를 받도록 운전자에게 피드백을 제공한다. 이러한 피드백의 적절한 내용은 통상적으로 "객체 선택 제대로, 시스템은 이제 선택 객체를 따라갑니다!"가 되지만, 예컨대 운전자가 명확하지 않은 정보를 제공하거나, 시스템이 접촉된 영상 위치에서 따라갈 수 있었던 객체를 찾을 수 없으면, 이것은 "시스템이 추적을 실시할 수 없다"라고 할 수도 있다.
이런 확인은 음향적으로, 예컨대 확인음 또는 음성 안내, 예컨대 "이제 앞차를 추적합니다. 여기에서 70km/h의 허용 속도를 고려합니다."를 통해 이루어질 수 있다.
이러한 확인은 촉각으로도, 예컨대 스티어링 휠 또는 이 시점에 아직 운전자의 손에 의해 터치되는 입력 인터페이스의 짧은 진동을 통해 또는 운전자가 인지 가능한 다른 요소(예컨대 풋페달 또는 시트)의 진동을 통해 이루어질 수 있다.
일반적으로 신호화 역시 광학적으로 이루어질 수 있도록, 예컨대 디스플레이 표시가 변경되고 그 결과 선택되었던 객체의 마크가 표시된다. 예컨대, 위에서 설명한 표시된 물음표가 지문에서 사라질 것이며 도 3 및 도 4에 도시된 것처럼 (객체에 "접착된") 지문만이 남을 것이다.
단계: 객체 추적
확인과 동시에 객체 추적의 단계가 시작하며, 일반적으로 이것은, 예컨대 목표 객체가 운전자와 다른 방향 또는 다른 차선을 선택하거나, 너무 빠르게 또는 너무 느리게 주행하는 한, 오래 지속된다.
객체 추적의 단계에서 디스플레이는 운전자에게 유용한 또는 적어도 흥미로운 추가 정보를 표시하는 데 사용될 수 있으며, 이러한 추가 정보는 객체와 관련되어 있다(물론, 바로 유효한 교통 표지, 내비게이션 정보 등에 대한 정보처럼, 객체와 직접적 관계를 갖지 않는 그런 것과도 관련되어 있다).
영상 속 객체를 용이하게, 연속적으로, 시각적으로 표시하는 것이 운전자에게 흥미로우며 유용할 수 있다. 이 시스템이 아직 정확하게 거동하고 목표 객체를 잃어버리지 않았다는 확인이 운전자에게 제공된다. 그 외에도, 영상 속 정확한 추적은 - 시스템에 대한 신뢰 및 값 감각에 대해 중요한 - 측정 품질에 대한 감각을 전달한다.
이러한 객체의 표시가 원하는 대로 "풍부하게 될" 수 있으며, 예컨대 움직이는 그래픽으로, 색상 강조로, 수 및 텍스트로, 스케일 및 측정 인디케이터 등으로 풍부하게 될 수 있다. 이와 같은 실시예에서 미적 내용 또는 정보 전달이 중요할 수 있다.
도 5에는 추가 정보를 가지는 객체의 그와 같은 표시가 재현되어 있다. 여기에서는 시스템에 의해 자동으로 선택된 객체를 다룬다. 그러므로 지문 대신에 다른 기호, 여기에서 패턴(500)이 마크로서 오버랩 표시된다. 그러나 운전자에 의해 선택된 객체가 마크 및 하나 이상의 추가 정보를 가지며 표시되는 것도 고려 가능하다.
하기에서, 객체와의 추돌 시까지 시간(하기에서 TTC 또는 TTC로 축약되어 있기도 함; TTC(Time to Collision) = 추돌할 때까지의 시간)의 결정을 상술한다.
소위 추돌할 때까지의 시간 (TTC), 즉 (예컨대 현재 주행 상황의 업데이트 하에) 객체와의 추돌이 도입될 때까지 경과하는 시간이 시각적인 거리 제어를 위해 특히 흥미롭다.
시각적인 결정 또는 카메라 기반 결정 및 전형적인 주행 상황의 토론을 포함해서, 카메라 기반 결정을 위한 TTC 검출 및 접근법들을 하기에서 상술한다.
TTC의 결정 시에 예측이 포함될 수 있으며, 이 예측은 추돌 시점까지 현재 주행 상태가 포함되어 있다는 것을 전제하거나 미래에도 예상 가능한 새로운 주행 상태들 역시 포함되어 있다는 것을 전제한다.
예측을 위해 사용되는 크기들에는
Figure pct00033
2개의 영상들 사이에서 객체 크기들(예컨대 객체 위 2점의 영상 속 거리)의 스케일링 s;
Figure pct00034
자신의 차량 속도 및 이로부터 도출된 크기들이 속한다.
하기에서 설명되는 TTC는 카메라와 객체의 추돌 시점(더 정확하게는 객체 위에서 관측되는 점들)에 관한 것이다. 그러나 실제 적용을 위해 자신의 차량 전면과의 추돌 시점이 흥미롭다.
자기 차량(즉, 자신의 차량)과 추돌 관련 객체 사이의 속도차가(
Figure pct00035
) 일정하다는 단순한 시나리오를 생각해 본다. 음의 속도차는 객체들이 연달아 이동하는 것을 의미한다. 실제 거리를 d라고 한다. 그런 경우, 추돌 때까지 시간이 다음과 같다.
Figure pct00036
자기 차량에 연결되어 있는 카메라는 객체 위 2점을 추적하고, 카메라 평면에 평행한 이들의 거리는 W이다. 그러므로 핀홀 카메라 모델에 따라, 카메라의 영상 속에서 초점 거리(f)로 거리
Figure pct00037
가 도출된다.
그에 반해 시차(T)만큼 더 이른 시점에
Figure pct00038
적용된다.
이런 구간(W)의 다른 큰 이미지들 사이의 스케일링 팩터로서
Figure pct00039
가 정해지면,
Figure pct00040
또는
Figure pct00041
가 도출된다.
하기에서 전형적인 몇몇 상황들을 생각할 수 있다.
일정한 거리를 가지고 뒤따라 가면 영상 크기가 변하지 않고,
Figure pct00042
또는
Figure pct00043
가 적용된다. 그러므로 추돌 시까지 시간은 무한대이고, TTC =
Figure pct00044
이다. 가속 및 제동을 제어하는, 객체 뒤에서 뒤따라 가기 위해 사용되는 종방향 제어기가 이 점(
Figure pct00045
)을 추구한다.
객체에 접근할 때
Figure pct00046
또는 s > 1가 적용된다. 그럼에도 불구하고 이 TTC는 양의 값을 갖는다. 수치 표본: T = 40ms의 프레임 주기 및 w = 102 픽셀과
Figure pct00047
픽셀의 거리에서 TTC = 2.0s가 나온다.
객체, 예컨대 추월자가 멀어지면,
Figure pct00048
또는 s < 1이 적용된다. TTC는 음의 값을 갖는다.
추돌의 시점(TTC = 0)에 또는 그 전 가까이에 또는 그 후에 스케일링 팩터(s)는 +
Figure pct00049
또는 -
Figure pct00050
으로 간다.
자기 속도(VEgo)를 알면, 카메라와 관련한 TTCCam은 차량 전면(예컨대 범퍼)과 관련한 TTCFront로 환산된다:
Figure pct00051
. 이 경우, 길이(l)는 카메라와 차량 전면 사이의 종방향(주행 방향) 거리이다. 예: I=2m이고 VEgo = 20m/s일 때 TTCFront는 TTCCam보다 0.1s만큼 더 작다.
이런 계산은 단순한 데, 이 계산에서 객체(
Figure pct00052
)의 속도가 고려되지 않기 때문이다. 자기 차량의 전진 주행의 가상 시나리오에서 그리고 앞차의 후진 주행을 제외하고 자기 속도는 속도차보다 양적으로 항상 더 크기 때문에, 이런 단순성은 확실한 평가가 된다. 그러므로 그와 같이 결정된 TTCFront은 일반적으로 실제 TTC보다 약간 더 작다.
물론, 자기 속도(VEgo) 대신에, 속도차를 이용할 수 있으면, 속도차(VDiff)를 사용하는 것도 가능하다.
각 경우에 TTCFront로 작동하는 것이 중요하고, 경우에 따라서 심지어 차량 전면 앞 한 평면과 관련된 TTC로 작동하는 것이 중요하다(안전 공간).
Figure pct00053
이 TTC의 결정에 다른 값들이 포함된다. 예컨대 (예컨대 가속도 센서에 의해 측정된 또는 속도로부터 도출된 또는 모델에 기반하여 엔진/제동 요구 조건으로부터 도출됨) 자신의 가속도가 포함될 수도 있다.
자신의 가속도가 TTC의 결정에 포함되면, 이와 같이 계산된 TTC가 일반적으로 더 동적으로 거동한다.
운전자를 위한 더 높은 동특성의 장점으로서, 운전자가 자신의 가속 또는 지연과 관련한 피드백을 더 빠르게 받는다. 그러므로 운전자는 종방향 제어에 대한 자동적인 (또는 수동적인) 개입의 효과에 대한 정보를 더 직접적으로 받는다.
TTC에 대한 영향을 주는 그외 함수 관련 값들은 다음과 같다.
Figure pct00054
(데드 타임의 효과를 줄이기 위한) 제동 시스템의 시스템 상태, 예컨대 제동 압력의 형성 후 TTC에 작용하는 제동이 이미 도입되었는지 여부.
Figure pct00055
예컨대 요잉률 센서 또는 조향 각도 센서 또는 개별 휠 센서 또는 경우에 따라서 추돌을 억제하는 회피 조작의 도입을 검출할 수 있는 스프링 경로 센서의 그외 센서 데이터.
Figure pct00056
물론, 그외 환경 센서들, 예컨대 레이더 센서(속도와 거리의 측정) 또는 라이더 센서(광 전파 시간에 의한 거리의 측정) 또는 스테레오 카메라(삼각법에 의한 복수의 거리들의 측정) 또는 레인지 카메라(광 전파 시간을 이용해 복수의 거리들을 측정) 또는 초음파 센서(음파 전파 시간을 이용해 거리를 측정)의 측정 데이터 역시 고려될 수 있다.
추돌 위협에 대한 정보를 가능한 한 조기에 운전자에게 제공하기 위해, 영상 속 객체의 영역에 표시되는 마크가 시간에 따라 변할 수 있다. 예컨대 도 6에 따르면, 추돌할 때까지 시간이 단지 1.6초라는 것을 시스템이 확인하면, 운전자에게 경고가 제공될 수 있다. 특히 종방향 제어가 자동으로 이루어지지 않고 오히려 운전자를 통해 이루어지면, 발생할 수도 있는 추돌에 대한 경고를 운전자에게 주는 게 중요하다. 여기에서, TTC가 예컨대 2.0초에 미달하자마자, 시각적인 (및 경우에 따라서는 음향적/촉각적) 경고가 이루어진다. 시간상 경고 문턱값은, 차량을 제동하여 추돌 위협을 막도록 반응하기에 충분한 시간이 운전자에게 있도록, 선택된다. 그와 같은 경우에 예컨대 추가 정보로서 객체의 영역에서 서로 추돌하는 2대의 차량들의 기호(600)가 보여질 수 있다.
시각적 경고의 지각성 및 신속하고 정확한 국지적 검출은, 시각적 경고가 시간에 따라 펄스를 발생하고, 도 7a와 도 7b에 도시된 것처럼 예컨대 초당 2 내지 5개의 펄스 주기의 주파수를 갖는 펄스를 발생하며, 도 7b에는 마크와 추가 정보를 포함하는 영상의 표현이 도 7a에 의거한 표현에 따라 예컨대 0.2s의 시간 간격으로 표현된다. 이 경우, 예컨대 유색 오버랩의 강도 및 크기는 시간에 따라 - 예컨대 사인파 형상으로, 톱니파 형상으로 또는 직사각형 형상으로 - 가변적일 수 있다. 즉, 이런 디스플레이는 여기에서 2개의 스냅샷을 이용해 도시한 것처럼 약한 강도와 강화된 강도 사이에서 펄스를 발생한다. 유리하게는 TTC에 따라 펄스 진폭 및/또는 주파수가 선택되므로, 예컨대 이러한 값들은 위험이 증가할수록 계속 상승한다.
운전자에게 TTC를 시각적으로도 표시하는 것이 유리할 수 있다. 이러한 표시의 변형예 가능성들이 도 8 및 도 9에 도시되어 있다. 이 경우, 도 8에는 막대 다이어그램의 형태로 TTC의 시각화 가능성을 표시하는 것이 도시되어 있다. 도 9에는 둥근 인스트루먼트의 형태로 TTC의 시각화가 도시되어 있다. "무한점"(목표점)이 스케일 위에 위치한다.
일정한 거리로 뒤따라 갈 때 TTC =
Figure pct00057
이다. 이런 이상점은 자동적인 거리 제어기(ACC)에 의해서뿐만 아니라 사람으로서 운전자에 의해서도 추구된다. 이것은 도 8에서 "O.K."로 그리고 별 모양으로 표시되고 목표 상태를 나타낸다. 배경이 검은 하측 영역에서 TTC는 양의 값이며, 즉 추돌이 임박해 있다. 완전히 아래에 표시된 진한 검정 영역(예컨대 2s 내지
Figure pct00058
)에서는 제동 개입이 긴급하게 필요하다. 흑백 링들(예컨대 TTC = 0.8s)은 현재 실제 상태를 나타내고 그 뒤 사라지는 링들은 단시간 히스토리를 나타낸다. 배경이 녹색에서 청색으로 변하는 영역에서 TTC < 0이고, 이는 앞차와의 거리가 확대되고 있음을 의미한다.
TTC = -3s와 TTC = +3s 사이 영역은 여기에서 의도적으로 비선형으로 압축되는데, 제어 개입이 이 영역에서 대개 아직 불필요하기 때문이다. 반대로 에너지 경제성과 주행 편리를 이유로 일반적으로 앞차의 변경을 직접 따르지 않고 오히려 다음 개입 때까지 종방향 거리를 용이하게 변경하는 것이 더 유용하다. 아직 개입이 이루어지지 않은 TTC 영역은 고유 속도에 따라 변해야 한다.
그 외에도, 점들 -0s와 +0s은 동일하며, 즉 실제로 주기적인 스케일은 그 자체로서 표시될 수도 있다(또는 그러나 다른 지점들에서 컷될 수도 있다).
도 9에는 둥근 인스트루먼트 위에 TTC를 표시하여 이러한 상황이 고려된다. 색들이 여기에서 3개의 섹터를 구별한다. 청색은 "자유 주행!"을, 적색은 "제동!"을 그리고 녹색은 올바르게 뒤따라 감을 나타낸다.
도 10에는 운전자에게 표시되는 카메라 영상 속에 하나 또는 복수의 TTC 타코미터가 표시될 수 있는 실시예가 도시되어 있다. 여기에서 TTC 타코미터는 각 객체에 고정적으로 연결된 것처럼 이동하며 타코미터의 크기에 따라 영상 속에 스케일링되어 있다.
추적 동안 영향
유리하게는 객체 추적 동안 영향을 줄 수 있는 가능성들이 운전자에게 제공된다. 적어도, 운전자는 자신의 희망에 따라 종방향 거리에 영향을 줄 수 있는 가능성을 가져야 한다. 이를 위해 입력 가능성이 제공되어 있으며, 명령의 방식으로
Figure pct00059
"거리 좁힘" 및
Figure pct00060
"거리 넓힘"이 제공될 수 있으며, 경우에 따라서는 변경의 정도에 영향을 주는 것도 가능하다.
이를 위해 위에서 설명한 상호 작용 가능성이 이용될 수 있다.
또한, 에너지 효율과 주행 편리성 대 에너지 투입 및 "활력/스포티함"과 관련한 전술한 거동의 정도에 대한 영향 가능성을 운전자에게 제공하는 것이 중요하다.
운전자 요구 사항에의 적응
운전자가 시스템 거동에 대한 영향 가능성을 가지고 있어서 이를 이용하면, 시스템은 (장시간 및 단시간 방식의) 운전자의 선호를 학습할 수 있는 기회를 갖는다. 유리하게는 이것이 그에 조정될 수 있으며 장래 제어 프로세스를 위해 변경 매개변수를 사용할 수 있다.
반자동 ACC 시스템(루프 내 운전자)
반자동 제어가 가능한 실시예이고, 이러한 반자동 제어에서 운전자는 제어 루프에 매여 있다. 또한, 이 경우 운전자는 엑셀러레이터 및 브레이크를 제어하고 및 (있다면) 변속도 제어한다. 이들의 작동에 대한 설정값들은 시스템에 의해 운전자에게 전달된다. 이는 도 8, 도 9, 도 10 등에서처럼 시각화를 통해 이루어질 수 있다.
그러나 음향적 또는 촉각적 전달이 훨씬 더 유리하다. 이 경우, 예컨대 음향 신호들이 출력될 수 있으며, 이들의 소리 및 세기로부터 운전자는 지연이나 또는 가속이 이루어져야 하는지 그리고 어느 정도 이루어져야 하는지를 추론한다. 불필요한 스트레스를 피하기 위해, 적어도 가속에 대한 요구가, 운전자가 이러한 요구를 따르지 않을지라도, 예컨대 일정한 시간 후에 자동으로 종료하여야 한다.
그와 같은 반자동 시스템은 차량(전자 장치/기계 장치)에의 개입 없이 이 시스템이 개조될 수 있는 장점을 갖는다. 그러므로 이것이 모바일 기기에서도 생각할 수 있으며, 이 모바일 기기는 - 오늘날 모바일 내비게이션 또는 휴대 전화 내비게이션처럼 - 전면 유리에 또는 계기판에 설치된다. 따라서, 카메라가 가능한 한 전방을 향해 막힘없는 시야를 가지는 것이 보장된다.
복수의 객체들의 동시적 고려
이 시스템이 복수의 객체들을 동시에 추적할 수 있으면, 유리하게는 거리 제어 시 동시에 이들이 고려될 수도 있다. 예컨대 이런 점이 의미 있기 위해서는, 목표 객체가 다른 객체를 우측에서 추월하는 동안 제1 목표 객체와 자기 차량이 우측 고속도로 차선에 있어야 한다. 이런 경우에, 적어도 종종 양 목표 객체를 계속 추적하고, 위험 상황이 억제되고 경우에 따라서는 법적 규정이 준수될 수 있도록 제2 목표 객체를 역시 우측에서 추월하지 않는다는 것이 의미 있다.
타코미터 안에 객체 표시
도 11에는 계기판 내 디스플레이의 일부에 대한 유리한 실시예가 도시되어 있다. 여기에서 타코미터가 도시되어 있으며, 타코미터는 자기 차량의 속도에 대해 지침(1110)(밝음) 외에도 제2의 지침(1120)(어두움)을 갖는다. 이 경우, 추적 중인 객체가 타코미터 안에 표시된다. 객체가 추적되면, 어두운 지침(1120)이 객체의 속도를 표시하고, 이러한 속도는
Figure pct00061
에 의해 검출될 수 있으며, 이 식에서
Figure pct00062
는 센서에 의해 결정될 수 있는 속도차이다.
특별한 점으로서 도 11에는 추가로 추적 중인 객체의 이미지가 표시된다. 이는 타코미터 인스트루먼트 내에서 또는 밖에 적절한 지점에서도 이루어질 수 있다. 객체의 이미지는 카메라 영상에서 컷하여 획득된다. 비디오 기반 객체 추적을 통해 항상 모든 필요 정보들(영상 속의 객체 위치 및 객체 크기)이 제공되므로, 이와 같은 컷이 정확하게 실시될 수 있다.
추적 중인 객체의 이미지에 대한 업데이트율은 카메라의 이미지 반복률(예컨대 초당 25개 이미지)에 일치하게 선택될 수 있거나 또는 이것과도 다르게 선택될 수도 있다. 휠씬 더 작은 업데이트율(예컨대 초당 1개 이미지)이 충분할 수 있는데, 객체의 외관이 일반적으로 거의 변하지 않기 때문이다. 그에 반해 높은 업데이트율의 장점은 광 신호들(제동등/방향 표시등)이 직접 표시된다는 것이다.
이와 관련해서, 시간에 따른 여과 및/또는 시각적으로 확장되는 카메라 검출 영역의 사용 역시 바람직하다(마찬가지로 도 12 참고).
도 12에는 추적 중인 객체가 어떻게 카메라 영상에서 추출될 수 있는지가 도시되어 있으며, 이와 같은 추출 접근법을 더 설명하지는 않는다.
시간 여과 동안 객체 추적의 데이터가 고려된다. 그러므로 객체는 선명하게 형성되고 (이와 달리 움직이는) 배경은 선명하지 않게 "사라진다". 또한, 그런 경우 객체는, 이 객체가 예컨대 좁은 곡선 구간에서 또는 자신의 본넷으로 인해 가려져 카메라에 의해 부분적으로만 검출될 수 있는 경우에도, 전부 표시될 수 있다. 도 12에는 전형적인 예가 도시되어 있다. 객체가 선명하지 않은 배경으로부터 자동으로 "벗겨져", 시각적인 검출 영역(전체 영상)은 카메라의 검출 영역(직사각형의 흰색 내부 프레임)보다 더 크다.
단계: 객체 추적의 종료
특정 객체의 추적은 언젠가는 종료되어야 하는 데, 이런 객체가
Figure pct00063
더 빠르게 주행하여 멀어졌기 때문에,
Figure pct00064
다른 차선으로 이동하여 꺾여지기 때문에,
Figure pct00065
영상에서 벗어나 측면으로 이동하기 때문에(좁은 커브길)
Figure pct00066
추월 되어 카메라에 의해 더 이상 검출되지 않기 때문에,
Figure pct00067
다른 객체(예컨대 끼어드는 차량) 또는 장애물에 의해 가려지기 때문이다.
유리한 실시예에서 이 시스템은 내비게이션 정보를 고려하며 객체가 자신의 제공된 루트와 다른 루트를 선택하는 사실을 종료 기준으로서 검출한다.
또한, 객체의 추적 시에 자기 차량의 희망 속도 범위 또는 법적 속도 범위의 이탈이 수반되면, 예컨대 한 종료 기준이 제공된다. 엑셀러레이터, 제동 또는 경우에 따라서는 조향 장치의 과잉 제어를 통해 운전자가 객체 추적의 종료도 물론 야기할 수 있다.
종료 기준이 충족되자마자 또는 심지어 이미 종료 임박이 예상되면, 객체 추적의 시작과 유사하게 운전자는 다시 시각적으로, 음향적으로 그리고/또는 촉각적으로 정보를 전달받는다. 그 후, 이 시스템은 다시 사용자 상호작용을 필요로 하는 상태로 되돌아가고, 다음 목표 객체가 선택될 수 있다.
대안으로서, 상기 시스템은 계속적인 추적을 위해 가장 적절한 객체를 전자동으로 선택할 수도 있다. 이와 같은 적합의 정도는 예컨대 객체가 어느 차선에 위치하는지 및 어느 정도의 (상대) 속도로 이동하는지에 좌우될 수 있다.
도 13에는 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법(1300)으로서 본 발명의 일 실시예의 흐름도가 도시되어 있다. 이 방법(1300)은 판독된 영상을 운전자를 위해 디스플레이 유닛에 표시하는 단계(1310)를 포함하며, 이때 영상은 카메라에 의해 기록되었고 차량 주변을 표현한다. 그 외에도, 이 방법(1300)은 운전자가 제어 인터페이스에 입력한 제어 신호를 판독하는 단계(1320) 및 제어 신호를 사용하여 영상 속에 들어 있는 객체를 선택하는 단계(1330)를 포함한다. 또한, 이 방법(1300)은 디스플레이 유닛에 마크를 표시하는 단계(1340)를 포함하며, 객체가 표현되어 있는 영상의 한 영역 안에 마크가 표시된다. 끝으로, 이 방법은 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위해, 차량이 주행하는 주행 경로에 대하여 하나 이상의 종방향 제어 매개변수를 결정하기 위해 객체를 사용하는 단계(1350)를 포함한다.
전술한 그리고 도면들에 도시된 실시예들은 단지 예시를 위해 선택되었다. 다른 실시예들이 전부 또는 개별 특징들과 관련하여 서로 조합될 수 있다. 또한, 일 실시예가 그외 일 실시예의 특징들을 통해 보충될 수 있다.
그 외에도 본 발명에 따른 방법 단계들은 반복될 수 있으며 설명한 순서와 다른 순서로 실시될 수도 있다.
실시예가 제1 특징과 제2 특징 사이의 "및/또는" 연결 관계를 포함하면, 이는, 실시 형태에 따라 상기 실시예가 제1 특징뿐만 아니라 제2 특징도 가지며 다른 실시 형태에 따라 제1 특징만을 갖거나 제2 특징만을 갖는 것으로 이해될 수 있다.

Claims (12)

  1. 도로(145) 위 차량(100)의 차선 안내 시에 운전자를 보조하기 위한 방법(1300)으로서, 상기 방법은 하기의 단계들, 즉
    - 판독된 영상(135)을 운전자(140)를 위해 디스플레이 유닛(150)에 표시하는 단계(1310)이며, 이때 영상(135)은 카메라(120)에 의해 기록되었으며 차량 주변(115)을 표현하고 있는 단계와,
    - 운전자(140)가 제어 인터페이스(210)에 입력한 제어 신호(215)를 판독하는 단계(1320)와,
    - 제어 신호(215)를 사용하여 영상(135) 속에 들어 있는 객체(300)를 선택하는 단계(1330)와,
    - 디스플레이 유닛(150)에 마크(310, 500, 600)를 표시하는 단계(1340)이며, 이때 객체(300)를 표현하는 영상(135)의 한 영역 안에 마크(310, 500, 600)가 표시되는 단계와,
    - 도로(145) 위 차량(100)의 차선 안내 시에 운전자(140)를 보조하기 위해, 차량(100)이 주행할 주행 경로에 대한 하나 이상의 종방향 제어 매개변수를 결정하기 위해 객체(300)를 이용하는 단계(1350)를 포함하는, 운전자를 보조하기 위한 방법(1300).
  2. 제1항에 있어서, 상기 영상(135)의 표시 단계(1310)에서는 영상(135) 속 객체들(300)의 사전 검출이 이루어지고, 선택 단계(1330)에서는 사전 검출된 복수의 객체들(300) 중 하나의 객체가 제어 신호(215)를 사용하여 선택되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  3. 제2항에 있어서, 표시 단계(1310)에서는 영상(135)이 디스플레이 유닛(150)의 접촉 감지 디스플레이에 표시되며, 판독 단계(1320)에서는 제어 신호(215)가 접촉 감지 디스플레이를 누르는 것의 검출에 반응하여 발생되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  4. 제2항에 있어서, 판독 단계(1320)에서는 제어 신호(215)가 운전자의 제스쳐, 특히 운전자가 손가락으로 한 지점을 가리키는 것의 검출에 반응하여 발생되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  5. 제3항 또는 제4항에 있어서, 선택 단계(1330)에서는 영상(135) 속에서 사전 검출된 객체가 선택되고, 상기 객체는 접촉 감지 디스플레이를 누르는 것의 검출을 통해 표현되는 영상(135) 속 한 위치에 가장 근접해 있는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 판독 단계(1320)에서는 차량(100)의 운전자(140)의 음성 명령을 평가하여 제어 신호(215)를 발생시키는 제어 인터페이스(210)가 사용되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 객체(300)의 선택 단계(1330)에서는 도로(145)에서 차량(115)의 앞이나 또는 옆에 위치하는 다른 차량을 표현하고 있는 객체가 선택되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 표시 단계(1340)에서는 마크(300, 500, 600)가 시간에 따라 가변적인 표현을 통해 표시되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 표시 단계(1340)에서는 그 외에도 객체와 관련된 매개변수, 특히 객체와의 거리와 관련된 정보(600)가 디스플레이 유닛에 표시되고, 상기 정보(600)는 객체(300)를 표현하고 있는 영상 영역에 표시되는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 사용 단계(1350)에서는 추가로 객체(300)의 주행 경로와 차량(100)의 희망 루트가 비교되고, 비교의 결과 객체(300)가 희망 루트로부터 사전 설정 거리보다 더 멀리 떨어져 있으면, 객체(300)가 차량(100)이 주행할 주행 경로를 결정하는 데 더 이상 사용되지 않으며 그리고/또는
    사용 단계(1350)에서는 객체(300)의 검출 속도가 차량(100)의 위치에서 허용되는 속도보다 더 빠르면, 객체(300)는 차량(100)이 주행할 주행 경로를 결정하는 데 더 이상 사용되지 않으며 그리고/또는
    사용 단계(1350)에서는 차량(100)에 대한 객체(300)의 검출 거리가 사전 설정 거리보다 더 멀면, 객체(300)는 차량(100)이 주행할 주행 경로에 대한 하나 이상의 종방향 제어 매개변수를 결정하는 데 더 이상 사용되지 않는 것을 특징으로 하는, 운전자를 보조하기 위한 방법(1300).
  11. 제1항 내지 제10항 중 어느 한 항에 따른 방법(1300)의 단계들을 실시하기 위해 형성되어 있는 유닛들(150, 210, 160)을 포함하는 장치(110), 특히 내비게이션 장치.
  12. 프로그램이 장치(110)에서 실행될 때, 제1항 내지 제10항 중 어느 한 항에 따른 방법(1300)을 실시하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
KR1020147001033A 2011-06-17 2012-06-15 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치 KR20140031369A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102011077752.0 2011-06-17
DE102011077752 2011-06-17
PCT/EP2012/061500 WO2012172077A1 (de) 2011-06-17 2012-06-15 Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
DE102012210145A DE102012210145A1 (de) 2011-06-17 2012-06-15 Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn
DE102012210145.4 2012-06-15

Publications (1)

Publication Number Publication Date
KR20140031369A true KR20140031369A (ko) 2014-03-12

Family

ID=46508321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147001033A KR20140031369A (ko) 2011-06-17 2012-06-15 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9605971B2 (ko)
EP (1) EP2720929B1 (ko)
JP (1) JP6193222B2 (ko)
KR (1) KR20140031369A (ko)
CN (1) CN103732480B (ko)
DE (1) DE102012210145A1 (ko)
WO (1) WO2012172077A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112551A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
US10440587B2 (en) 2015-03-19 2019-10-08 Hyundai Motor Company Vehicle, communication method thereof, and wireless communication device therein
KR20210154101A (ko) * 2020-06-11 2021-12-20 폭스바겐 악티엔게젤샤프트 운송 수단을 위한 증강 현실 헤드 업 디스플레이 장치의 디스플레이 제어

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189959B2 (en) * 2012-06-27 2015-11-17 International Business Machines Corporation Navigation system providing a super detail mode of operation to assist user's driving
DE102012215350A1 (de) * 2012-08-29 2014-03-06 Continental Automotive Gmbh Multisensuelle Aufmerksamkeitslenkung
DE102013003187A1 (de) * 2013-02-26 2014-09-11 Audi Ag Verfahren zum Betrieb eines kraftfahrzeugseitigen Fahrerassistenzsystems mit einer kombinierten Längs- und Querführungsfunktion
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
DE102013213039A1 (de) * 2013-07-03 2015-01-08 Continental Automotive Gmbh Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
DE102013215370B4 (de) 2013-08-05 2019-12-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
DE102013110867A1 (de) * 2013-10-01 2015-04-02 Scania Cv Ab Vorrichtung für ein Fahrzeug
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US9212926B2 (en) * 2013-11-22 2015-12-15 Ford Global Technologies, Llc In-vehicle path verification
KR20150092561A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 차량용 제어 장치 및 차량
CN106660495B (zh) * 2014-07-01 2020-02-18 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
JP6278222B2 (ja) * 2014-07-01 2018-02-14 日産自動車株式会社 車両用表示装置及び車両用表示方法
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE102014219689A1 (de) * 2014-09-29 2016-03-31 Robert Bosch Gmbh Verfahren und Steuergerät zur Fahrspurüberwachung eines Fahrzeugs
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
KR20160066775A (ko) * 2014-12-03 2016-06-13 현대모비스 주식회사 스마트 크루즈 컨트롤러 시스템 및 그 제어 방법
DE102014225804A1 (de) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Unterstützung beim Führen eines Fahrzeugs
EP3038011B1 (de) * 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102015201555A1 (de) * 2015-01-29 2016-08-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102015201723A1 (de) * 2015-02-02 2016-08-04 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
KR101714145B1 (ko) * 2015-04-09 2017-03-08 현대자동차주식회사 주변차량 식별 장치 및 그 방법
DE202015003050U1 (de) * 2015-04-27 2016-08-01 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeug mit Headup-Display
DE102015212664A1 (de) * 2015-07-07 2017-01-12 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem automatischen Fahrsystem
US9463799B1 (en) * 2015-07-09 2016-10-11 Volkswagen Ag Control for a high or fully automatic driving function
DE102015213979B4 (de) * 2015-07-23 2023-08-17 Audi Ag Anzeigesystem für Verkehrsschildinformationen
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
DE102015010135B3 (de) 2015-08-01 2017-01-12 Audi Ag Verfahren zur Auswahl eines Auswertungsobjekts für eine Funktion in einem Kraftfahrzeug und Kraftfahrzeug
US20170057517A1 (en) * 2015-09-01 2017-03-02 Continental Automotive Systems, Inc. Behavior trainable adaptive cruise control
MX366506B (es) * 2015-09-18 2019-07-11 Nissan Motor Aparato de despliegue vehicular y metodo de despliegue vehicular.
DE102015218976A1 (de) * 2015-09-30 2017-03-30 Siemens Aktiengesellschaft Sicherungsverfahren und Sicherungssystem für ein Gleisstreckennetz
JP6436054B2 (ja) * 2015-10-26 2018-12-12 株式会社デンソー 運転支援装置
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
DE102015224943A1 (de) 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
DE102015224942A1 (de) * 2015-12-11 2017-06-14 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zur Anzeige von Hinweisen in Kraftfahrzeugen
KR101999079B1 (ko) * 2016-01-19 2019-07-10 닛산 지도우샤 가부시키가이샤 표시 장치의 제어 방법 및 표시 장치
JP6741029B2 (ja) * 2016-02-08 2020-08-19 株式会社リコー 情報表示装置
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
CN105911989B (zh) * 2016-04-28 2021-08-13 财团法人车辆研究测试中心 复合式自动辅助驾驶的决策***及其方法
US11067984B2 (en) 2016-05-04 2021-07-20 Motional Ad Llc Automated vehicle operating system with driving-rule modification based on observation of another vehicle
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
US10232711B2 (en) 2016-06-03 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Spatiotemporal displays for set speed deviation of a vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
US10354408B2 (en) * 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
US10232856B2 (en) * 2016-07-28 2019-03-19 Ford Global Technologies, Llc Vehicle user-communication system and method
DE102016009302A1 (de) * 2016-08-01 2018-02-01 Lucas Automotive Gmbh Steuerungs-System und Steuerungs-Verfahren zur Auswahl und Verfolgung eines Kraftfahrzeugs
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
DE102016220549A1 (de) 2016-10-20 2018-04-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Fahrers beim Deaktivieren eines hochautomatisierten Fahrmodus eines Fahrzeugs
EP3523176A1 (de) * 2016-12-07 2019-08-14 Siemens Mobility GmbH Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur gefahrensituationserkennung im bahnverkehr, insbesondere im schienenverkehr
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996415B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
DE102017002666A1 (de) 2017-03-18 2017-11-30 Daimler Ag Automatisches Fahrmanöver
US10451730B2 (en) * 2017-03-31 2019-10-22 Ford Global Technologies, Llc Lane change assistant
JP6749483B2 (ja) * 2017-04-24 2020-09-02 三菱電機株式会社 報知制御装置および報知制御方法
DE102017005009A1 (de) * 2017-05-24 2018-11-29 Man Truck & Bus Ag Fahrerassistenzsystem eines Kraftfahrzeugs
DE102017215161A1 (de) * 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
FR3072805B1 (fr) * 2017-10-23 2021-01-08 Psa Automobiles Sa Systeme de commande d’un vehicule autonome
DE102017221191B4 (de) * 2017-11-27 2019-06-13 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP6640251B2 (ja) * 2018-01-17 2020-02-05 本田技研工業株式会社 走行制御装置及び走行制御方法
DE102018202201B4 (de) * 2018-02-13 2020-06-10 Bayerische Motoren Werke Aktiengesellschaft Sensorvorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
JP2019148900A (ja) * 2018-02-26 2019-09-05 本田技研工業株式会社 車両用制御装置、車両及び経路案内装置
DE102018203910B3 (de) * 2018-03-14 2019-06-13 Audi Ag Fahrerassistenzsystem sowie Verfahren für ein Kraftfahrzeug zum Anzeigen einer erweiterten Realität
US20210323403A1 (en) * 2018-03-29 2021-10-21 Ricoh Company, Ltd. Image control apparatus, display apparatus, movable body, and image control method
US20210362597A1 (en) * 2018-04-12 2021-11-25 Lg Electronics Inc. Vehicle control device and vehicle including the same
DE102018116173A1 (de) * 2018-07-04 2020-01-09 Connaught Electronics Ltd. Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug
US12005832B2 (en) 2018-09-05 2024-06-11 Koito Manufacturing Co., Ltd. Vehicle display system, vehicle system, and vehicle
DE102018216809A1 (de) * 2018-09-28 2020-04-02 Robert Bosch Gmbh Verfahren, Vorrichtung und Sensorsystem zur Umfelderfassung für ein Fahrzeug
DE102018218154A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern einer Route und/oder Fahrweise eines Fahrzeugs in Abhängigkeit von einer Innenraumsituation
JP7093056B2 (ja) * 2018-11-27 2022-06-29 トヨタ自動車株式会社 運転支援装置、運転支援方法及び運転支援プログラム
EP3670283A1 (en) * 2018-12-17 2020-06-24 Ningbo Geely Automobile Research & Development Co. Ltd. Follow that car
DE102019204348A1 (de) * 2019-03-28 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Zielführung zu einer Zielperson, elektronische Vorrichtung der Zielperson und elektronische Vorrichtung des Abholers sowie Kraftfahrzeug
DE102019208892A1 (de) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Verfahren zum Betrieb eines fahrerlosen Transportsystems
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
JP7505189B2 (ja) 2020-01-29 2024-06-25 株式会社リコー 画像表示装置、画像表示方法およびプログラム
DE102020106380A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs durch Anpassung von angezeigten Objekten, Fahrerassistenzsystem sowie Fahrzeug
DE102020202986A1 (de) * 2020-03-10 2021-09-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Motorrads
DE102020214162B3 (de) 2020-11-11 2022-03-17 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spurhalteassistenzsystems eines Fahrzeugs während einer Fortbewegungsfahrt des Fahrzeugs entlang einer Fahrspur, sowie elektronisches Fahrerassistenzsystem sowie Fahrzeug
US11548522B2 (en) * 2021-02-08 2023-01-10 GM Global Technology Operations LLC Speed difference indicator on head up display
EP4068153A1 (en) * 2021-03-31 2022-10-05 Honda Research Institute Europe GmbH Advanced driver assistance system for assisting a driver of a vehicle
DE102021206880A1 (de) * 2021-06-30 2023-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur optimalen Parametrisierung eines Fahrdynamikregelungssystems für Fahrzeuge
DE102021131972A1 (de) 2021-12-03 2023-06-07 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem, Verfahren zum Betreiben eines Fahrassistenzsystems und Computerprogramm
DE102023001870A1 (de) 2023-05-08 2024-04-11 Mercedes-Benz Group AG Verfahren zum Betrieb eines Fahrzeuges

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
US6411898B2 (en) * 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
JP2002046501A (ja) 2001-06-13 2002-02-12 Hitachi Ltd 自動車の走行制御装置
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
DE10242293B4 (de) 2002-09-12 2007-05-16 Audi Ag Fahrzeugführungssystem
JP3778166B2 (ja) 2002-12-19 2006-05-24 株式会社デンソー 車間距離制御装置
DE10356307A1 (de) * 2003-11-28 2005-06-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeugs
JP4316619B2 (ja) 2004-02-20 2009-08-19 シャープ株式会社 車両用表示装置及び車両表示システム並びに車両
JP2005300167A (ja) 2004-04-06 2005-10-27 Alpine Electronics Inc 衛星測位装置及びナビゲーション装置
US20050259033A1 (en) * 2004-05-20 2005-11-24 Levine Alfred B Multiplex-selective heads-up displays for cars
JP4329622B2 (ja) 2004-06-02 2009-09-09 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7295904B2 (en) 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US7966127B2 (en) 2004-12-28 2011-06-21 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle motion control device
JP2006248335A (ja) 2005-03-09 2006-09-21 Toyota Motor Corp 車両走行制御装置
JP4887980B2 (ja) 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4806573B2 (ja) 2006-02-15 2011-11-02 Ｕｄトラックス株式会社 車両のクルーズコントロール装置
KR101075615B1 (ko) 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
EP1926048B1 (en) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
DE102006059353A1 (de) 2006-12-15 2008-06-19 Robert Bosch Gmbh Benutzerschnittstelle für ein Fahrerassistenzsystem eines Kraftfahrzeugs
WO2008117712A1 (ja) * 2007-03-26 2008-10-02 Toyota Jidosha Kabushiki Kaisha ナビゲーション装置
JP4412356B2 (ja) 2007-06-13 2010-02-10 株式会社デンソー 車両用衝突緩和装置
JP4952421B2 (ja) 2007-07-18 2012-06-13 株式会社デンソー 運転支援システム
DE102008003666A1 (de) 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems und Fahrerassistenzsystem
DE102008011228A1 (de) 2008-02-26 2009-08-27 Robert Bosch Gmbh Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung
JP2009265842A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 車両用警告装置、警告方法
DE102008021186A1 (de) 2008-04-28 2009-10-29 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von Informationen in einem Fahrzeug
DE102008002560A1 (de) 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
JP2010221995A (ja) * 2009-02-27 2010-10-07 Nissan Motor Co Ltd 車両用運転操作補助装置、車両用運転操作補助方法および自動車
KR101625668B1 (ko) * 2009-04-20 2016-05-30 삼성전자 주식회사 전자기기 및 전자기기의 음성인식방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112551A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
US10433310B2 (en) 2015-03-19 2019-10-01 Hyundai Motor Company Vehicle, communication method thereof, and wireless communication device therein
US10440587B2 (en) 2015-03-19 2019-10-08 Hyundai Motor Company Vehicle, communication method thereof, and wireless communication device therein
KR20210154101A (ko) * 2020-06-11 2021-12-20 폭스바겐 악티엔게젤샤프트 운송 수단을 위한 증강 현실 헤드 업 디스플레이 장치의 디스플레이 제어

Also Published As

Publication number Publication date
US20140176350A1 (en) 2014-06-26
DE102012210145A1 (de) 2012-12-20
CN103732480B (zh) 2017-05-17
CN103732480A (zh) 2014-04-16
EP2720929B1 (de) 2016-04-27
JP2015501455A (ja) 2015-01-15
US9605971B2 (en) 2017-03-28
EP2720929A1 (de) 2014-04-23
WO2012172077A1 (de) 2012-12-20
JP6193222B2 (ja) 2017-09-06

Similar Documents

Publication Publication Date Title
KR20140031369A (ko) 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치
CN104067327B (zh) 驾驶辅助***警告消息的输出方法以及所属的驾驶辅助***
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
KR102329444B1 (ko) 자동차의 제어 시스템 및 제어방법
JP5309633B2 (ja) 車両制御装置、車両制御方法及びコンピュータプログラム
JP3925474B2 (ja) 車線変更支援装置
JP4720457B2 (ja) 車両の運転支援方法及び運転支援装置
US20180105185A1 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
EP3315375B1 (en) Vehicle travel control apparatus
CN113784861B (zh) 显示控制方法及显示控制装置
CN103781664B (zh) 用于支持机动车驾驶员的方法
CN109844837A (zh) 显示控制装置、显示装置及显示控制方法
JP2017084112A (ja) 情報提示システム
JP7409265B2 (ja) 車載表示装置、方法およびプログラム
KR20160071875A (ko) 차량의 자율 주행을 위한 전자 장치 및 방법
JP2016224713A (ja) 車両の運転支援装置、及び運転支援方法
CN110114809B (zh) 用于在具有变化的输出功能的光信号设备处提醒驾驶员起动的方法和装置
CN113767025A (zh) 显示控制方法及显示控制装置
JP2019202556A (ja) 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
TW201945228A (zh) 停車輔助系統及停車輔助方法
RU2812729C2 (ru) Способ управления отображением и устройство управления отображением
CN113442921B (zh) 信息处理装置、驾驶辅助装置、移动体、信息处理方法以及存储介质
CN116868251A (zh) 显示控制装置以及显示控制程序

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid