KR102487922B1 - 차량에서 탑승자 인식의 유지 - Google Patents

차량에서 탑승자 인식의 유지 Download PDF

Info

Publication number
KR102487922B1
KR102487922B1 KR1020197022509A KR20197022509A KR102487922B1 KR 102487922 B1 KR102487922 B1 KR 102487922B1 KR 1020197022509 A KR1020197022509 A KR 1020197022509A KR 20197022509 A KR20197022509 A KR 20197022509A KR 102487922 B1 KR102487922 B1 KR 102487922B1
Authority
KR
South Korea
Prior art keywords
vehicle
occupant
context
display
processors
Prior art date
Application number
KR1020197022509A
Other languages
English (en)
Other versions
KR20190112274A (ko
Inventor
노박 윌리엄 헨리 본
무하메드 이브라힘 세잔
솜뎁 마줌다르
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20190112274A publication Critical patent/KR20190112274A/ko
Application granted granted Critical
Publication of KR102487922B1 publication Critical patent/KR102487922B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007—Emergency override
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

일반적으로, 차량에서 탑승자의 인식을 유지하는 기술들이 설명된다. 차량에서 탑승자 인식을 유지하도록 구성된 디바이스는: 프로세서 및 디스플레이를 포함하며, 상기 기술들을 수행하도록 구성될 수도 있다. 프로세서는 탑승자가 응시하고 있는 위치를 결정하고, 결정된 위치가 탑승자가 차량이 이동중인 방향으로 포커싱되지 않은 것을 표시할 경우, 탑승자가 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성할 수도 있다. 상기 디바이스는 상기 결정된 위치에 기초하여, 차량이 더 이상 차량의 동작을 자율적으로 제어할 수 없을 경우 탑승자가 차량의 제어를 인수하는 것을 보조하기 위해 차량의 캐빈 내의 결정된 포지션에 근접한 하나 이상의 컨텍스트 이미지들을 제시하도록 구성된 디스플레이를 더 포함한다.

Description

차량에서 탑승자 인식의 유지
본 발명은 차량에 관한 것이고, 특히 차량에서 인식을 유지하는 것에 관한 것이다.
차량은 점점 더 자율적이 되고 있다. 즉, 차량은 임의의 탑승자 상호작용 없이 탑승자가 정상적으로 수행할 작업들을 수행하기 시작한다. 차량에 대한 자율성 레벨은 일반적으로 자동화가 없는 것을 표시하는 레벨 0 부터 완전 자율 주행 차량을 지칭할 수도 있는 레벨 4 또는 5 까지로 정의되었으며, 개인은 완전 자율 주행 차량이 주행할 목적지를 지정해야 한다.
현재, 대부분의 생산 차량은 레벨 0 과 레벨 5 사이에 있다. 중간 레벨 (예컨대, 레벨 2 부터 레벨 3) 자율 주행 차량들은 적응형 순항 제어를 사용하여 차량을 운행하고, 차선 모니터링을 제공하며, 그리고 (일반적으로 브레이크의 적용에 의해) 자동 충돌 회피를 수행하는 등의 경우에 탑승자가 정상적으로 수행하는 일부 작업을 수행할 수도 있다.
중간 레벨 자율 주행 차량에서 및 심지어 완전 자율 주행 (예를 들어, 레벨 4 또는 5) 차량에서, 차량이 처리하지 못하는 문제들이 발생하면, 자율 주행 차량은 차량의 제어를 다시 탑승자에게 트랜지션할 수도 있다. 그 후에, 탑승자는 문제가 해결될 때까지 차량을 동작시킬 수도 있다.
일반적으로, 본 개시는 자율 주행 차량에서 탑승자 인식을 유지하기 위한 기술들을 설명하여, 예컨대, 차량이 처리할 수 없는 문제가 발생할 경우, 탑승자가 차량의 동작을 재개할 수 있다.
일 실시예에서, 본 개시는 차량에서 탑승자 인식을 유지하는 방법을 설명하며, 상기 방법은 하나 이상의 프로세서들에 의해, 차량 내의 탑승자가 응시하고 있는 위치를 결정하는 단계를 포함한다. 상기 방법은 또한, 상기 하나 이상의 프로세서에 의해 그리고 결정된 위치가 탑승자가 차량이 이동중인 방향에 포커싱되지 않은 것을 표시할 경우, 탑승자가 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성하는 단계를 포함한다. 상기 방법은 디스플레이에 의해 그리고 결정된 위치에 기초하여, 상기 하나 이상의 컨텍스트 이미지들을 제시하는 단계를 더 포함한다.
일 실시예에서, 본 개시는 차량에서 탑승자 인식을 유지하도록 구성된 디바이스를 설명하며, 상기 디바이스는 탑승자가 응시하고 있는 위치를 결정하도록 구성된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 또한, 결정된 위치가 탑승자가 차량이 이동하는 방향에 포커싱되지 않은 것을 표시할 경우, 탑승자가 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성하도록 구성된다. 상기 디바이스는 상기 결정된 위치에 기초하여, 차량이 더 이상 차량의 동작을 자율적으로 제어할 수 없을 경우 탑승자가 차량의 제어를 인수하는 것을 보조하기 위해 차량의 캐빈 내의 결정된 포지션에 근접한 하나 이상의 컨텍스트 이미지들을 제시하도록 구성된 디스플레이를 더 포함한다.
일 실시예에서, 본 개시는 차량 내의 탑승자 인식을 유지하도록 구성된 디바이스를 설명하며, 상기 디바이스는 차량 내의 탑승자가 응시하고 있는 위치를 결정하는 수단, 결정된 위치가 탑승자가 차량이 이동중인 방향으로 포커싱되지 않은 것을 표시할 경우, 탑승자가 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성하는 수단, 및 결정된 위치에 기초하여, 하나 이상의 컨텍스트 이미지들을 제시하는 수단을 포함한다.
일 실시예에서, 본 개시는 명령들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체를 설명하며, 상기 명령들은 실행될 경우, 차량의 하나 이상의 프로세서들로 하여금, 차량 내의 탑승자가 응시하고 있는 위치를 결정하게 하고, 결정된 위치가 탑승자가 차량이 이동중인 방향으로 포커싱되지 않은 것을 표시할 경우, 탑승자가 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성하게 하고, 그리고 결정된 위치에 기초하여, 하나 이상의 컨텍스트 이미지들을 제시하기 위해 디스플레이와 인터페이싱하게 한다.
하나 이상의 예들의 상세들이 첨부 도면들 및 하기의 설명에 개시된다. 다른 특징들, 목적들, 및 이점들은 그 설명, 도면들, 및 청구항들로부터 명백할 것이다.
도 1 은 본 개시에서 설명된 탑승자 인식 기술들의 다양한 양태들을 수행하도록 구성된 예시적인 자율 주행 차량을 도시하는 블록 다이어그램이다.
도 2 는 본 개시에서 설명된 기술들의 다양한 양태들을 수행하도록 구성된 예시적인 자율 주행 차량의 오버헤드 뷰를 도시하는 다이어그램이다.
도 3a 내지 도 3e 는 도 1 및 도 2 에 도시된 자율 주행 차량의 캐빈의 상이한 예들을 도시하는 도면들이며, 본 개시에서 설명된 기술들의 다양한 양태들에 따라 하나 이상의 컨텍스트 이미지들이 제시된다.
도 4 는 본 개시에서 설명된 기술들의 다양한 양태들을 수행하도록 구성된 헤드 장착형 디스플레이 시스템 (70) 의 일 예를 도시하는 다이어그램이다.
도 5a 내지 도 5c 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 적용되는 상이한 강조 레벨들을 갖는 예시적인 전방 뷰들을 도시하는 다이어그램들이다.
도 6a 내지 도 6c 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 적용되는 상이한 강조 레벨들을 갖는 예시적인 전방 뷰들을 도시하는 다이어그램들이다.
도 7 은 본 개시에서 설명된 기술들의 다양한 양태들을 수행할 시 도 1 의 차량의 예시적인 동작을 도시하는 플로우차트이다.
도 8 은 본 개시에서 설명된 기술들의 다양한 양태들을 수행할 시 도 1 의 차량의 예시적인 동작을 도시하는 플로우차트이다.
자율 주행 차량의 탑승자가 차량의 동작에 덜 관여됨에 따라, 탑승자는 주행 작업에 필요한 것보다 더 이상 시간을 소비하지 않고, 산만해지고 및/또는 안주하게 될 수도 있다. 그러나, 자율 주행 차량은 탑승자에게 차량의 제어를 전달할 수도 있다. 예를 들어, 자율 주행 차량이 처리할 수 없는 문제가 발생할 경우, 자율 주행 차량이 탑승자에게 차량 제어를 전달할 수도 있다. 제어를 인수한 탑승자는, 예를 들어, 자율 주행 차량이 더 이상 안전하게 자율적으로 차량을 제어하지 않을 수도 있는 경우, 이 탑승자가 주로 제어를 인수할 책임이 있기 때문에 "일차 탑승자" 로 지칭될 수도 있다.
자율 주행 타량의 제어를 일차 탑승자에게 트랜지션하는 것은, 자동화를 제공하는데 사용된 장비가 날씨, 오작동 등으로 인해 고장날 때와 같이 갑자기 발생할 수도 있다. 잠재적으로 산만해진 일차 탑승자로의 제어의 갑작스런 트랜지션들은 차량을 안전하게 동작시키기 위한 충분한 컨텍스트를 회복할 시간을 일차 탑승자에게 제공하지 않을 수도 있다.
본 개시에 설명된 기술의 다양한 양태는 차량이 주행의 일부 양태를 자동화한 경우에 자율 주행 차량에서 탑승자 인식을 용이하게 할 수도 있다. 기술들은 탑승자 인식을 유지하여, 일차 탑승자 및 잠재적으로 다른 탑승자들이 일차 탑승자가 갑자기 (예컨대, 수분 이내 또는 일부 경우에, 수초 이내) 차량의 제어에 포함될 경우 현재 주행 컨텍스트를 모니터링할 수도 있다. 이러한 주행 컨텍스트는 일차 탑승자가 갑작스런 제어를 수신할 시, 차량을 더 안전히 동작시키게 할 수도 있다.
기술들의 일 양태는 자율 주행 차량이 제어되는 동안 탑승자가 보고 있는 방향에 관계없이, 전방 뷰 (자동차의 앞유리 외부의 뷰를 지칭함) 를 재현하는 것을 포함할 수도 있다. 일부 예들에서, 자율 주행 차량은 전방 뷰를 엔터테인먼트 재료 뒤에 또는 엔터테인먼트 재료의 픽처 내의 픽처로서 (종종 "픽처-인-픽처" 로 지칭됨) 디스플레이할 수도 있다.
자율 주행 차량은 또한, (증강 현실 헤드셋 또는 인-대시 헤드업 디스플레이와 같은) 헤드업 디스플레이를 통해, 주행 인식을 회복하기 위해 탑승자의 생리적 반응을 트리거하는 이미지들을 제시할 수도 있다. 자율 주행 차량은 차량의 동작의 제어 동안, 헤드업 디스플레이에서 보여지는 식별된 물체들에 대한 강조를 제시할 수도 있다. 예를 들어, 자율 주행 차량은 헤드업 디스플레이와 인터페이싱하여, 인식면에서 비교적 작지만 중요할 수도 있는 도로상의 오토바이 또는 다른 차량을 프레이밍할 수도 있다.
다른 예로서, 자율 주행 차량의 근방을 이동중인 자동차가 (직접적으로 또는 간접적으로) 자율 주행 차량에게 자동차가 위험물을 식별한 것을 통신할 경우, 자율 주행 차량은 위험물의 검출을 통신하지 않은 다른 자동차보다 많은 위험물을 검출한 자동차를 강조하는 이미지를 제시할 수도 있다. 자율 주행 차량은 다른 예로서, 하나 이상의 다른 차량들이 차선에서 얼마나 많이 이탈하는지, 하나 이상의 다른 차량들이 얼마나 가속/감속하는지, 또는 하나 이상의 다른 차량들이 얼마나 자주 차선을 변경하는지 등에 기초하여, 자율 주행 차량과 함께 이동중인 하나 이상의 다른 차량들을 강조할 수도 있다. 자율 주행 차량은 또한 컬러 (또는 콘트라스트) 에 기초하여 하나 이상의 다른 차량들을 강조할 수도 있고, 여기서 더 어두운 차량들 (또는 예를 들어, 일광 반사 또는 다른 주변 광 조건으로 인해 낮은 콘트라스트의 외형을 갖는 차량들) 은 더 어두운 컬러들 (또는 낮은 콘트라스트 오브젝트들) 이 식별하기가 어렵다는 것을 고려하여 더 강조될 수도 있다.
자율 주행 차량은 헤드업 디스플레이와 인터페이싱하여 탑승자의 생리적 반응을 트리거할 수도 있는 차량들 또는 다양한 조건들을 강조하는 인공 오브젝트들을 삽입할 수도 있다. 예를 들어, 자율 주행 차량은 차선의 검출된 에지들에 인공 차선 마커 오브젝트들을 삽입하여, 차량의 안전한 동작 하에서는 그러한 차선 마커들을 작게 유지하지만, 탑승자에게 제어를 트랜지션하기 전에 시각적 각성을 생성하기 위해 그러한 차선 마커들을 확대하여 탑승자의 인식을 회복할 수도 있다.
도 1 은 본 개시에서 설명된 탑승자 인식 기술들의 다양한 양태들을 수행하도록 구성된 예시적인 자율 주행 차량 (10) 의 컴포넌트들 도시하는 블록 다이어그램이다. 도 1 의 예에서, 자율 주행 차량 (10) 은 대부분의 조건들에서 탑승자가 차량 (10) 이 동작중인 컨텍스트의 인식을 유지하지 않아도 되도록, 차량 (10) 의 동작과 연관된 하나 이상의 작업들을 전부는 아니더라도 대부분을 자동화하는 것을 포함하여, 차량 (10) 의 동작과 연관된 하나 이상의 작업들을 자동화하도록 구성된 차량을 나타낼 수도 있다.
자율 주행 차량 (10) 은 이하의 설명에서 자동차라고 가정된다. 그러나, 본 개시물에서 설명된 기술은 오토바이, 버스, 레크리에이션 차량 (RV), 세미-트레일러 트럭, 트랙터 또는 다른 타입의 농기구, 기차, 비행기, 헬리콥터, 드론, 개인 수송 차량들과 같이 하나 이상의 탑승자들을 수송하고 자율적으로 동작될 수 있는 임의의 유형의 차량에 적용될 수도 있다.
도 1 의 예에서, 자율 주행 차량 (10) 은 프로세서 (12), 그래픽 프로세싱 유닛 (GPU) (14) 및 시스템 메모리 (16) 를 포함한다. 일부 예에서, 프로세서 (12), GPU (14) 및 트랜시버 모듈 (22) 은 집적 회로 (IC) 로서 형성될 수도 있다. 예를 들어, IC 는 칩 패키지 내의 프로세싱 칩으로 간주 될 수도 있고, SoC (system-on-chip) 일 수도 있다.
프로세서 (12) 및 GPU (14) 의 예들은 고정된 기능 프로세싱 회로부 및/또는 프로그램가능한 프로세싱 회로부를 포함할 수도 있으며, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래머블 로직 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 논리 회로부를 포함하지만, 그에 제한되지 않을 수도 있다. 프로세서 (12) 는 자율 주행 차량 (10) 의 중앙 프로세싱 유닛 (CPU) 일 수도 있다. 일부 예들에서, GPU (14) 는 그래픽 프로세싱에 적합한 대량 병렬 프로세싱 능력들을 GPU (14) 에 제공하는, 집적 및/또는 이산 논리 회로부를 포함하는 특수 하드웨어일 수도 있다. 일부 경우에, GPU (14) 는 또한 범용 프로세싱 능력들을 포함할 수도 있고, 범용 프로세싱 작업들 (즉, 비-그래픽 관련 작업들) 을 구현할 때 범용 GPU (GPGPU) 로 지칭될 수도 있다.
프로세서 (12) 는 다양한 타입의 애플리케이션들을 실행할 수도 있다. 애플리케이션들의 예들은 네비게이션 애플리케이션들, 차량 제어 애플리케이션들, 스케줄링 애플리케이션, 안전 애플리케이션들, 웹 브라우저들, 전자 메일 애플리케이션들, 스프레드 시트들, 비디오 게임들, 또는 디스플레이용의 가시적인 오브젝트들을 생성하는 다른 애플리케이션들을 포함한다. 시스템 메모리 (16) 는 하나 이상의 애플리케이션들의 실행을 위한 명령들을 저장할 수도 있다. 프로세서 (12) 상의 애플리케이션의 실행은 프로세서 (12) 로 하여금, 디스플레이될 이미지 컨텐츠에 대한 그래픽 데이터를 생성하게 한다. 프로세서 (12) 는 프로세서 (12) 가 GPU (14) 에 송신하는 명령들 또는 커맨드들에 기초하여 추가 프로세싱을 위해 이미지 컨텐트의 그래픽 데이터를 GPU (14) 에 송신할 수도 있다.
프로세서 (12) 는 특정 애플리케이션 프로세싱 인터페이스 (API) 에 따라 GPU (14) 와 통신할 수도 있다. 이러한 API들의 예들은 Microsoft® 에 의한 DirectX® API, Khronos 그룹에 의한 OpenGL® 또는 OpenGL ES® 및 OpenCL™ 를 포함하지만; 그러나, 본 개시의 양태들은 DirectX, OpenGL, 또는 OpenCL API들에 제한되지 않으며, 다른 타입의 API들로 확장될 수도 있다. 더욱이, 본 개시에서 설명된 기술들은 API 에 따라 기능하도록 요구되지 않으며, 프로세서 (12) 및 GPU (14) 는 통신을 위한 임의의 기술을 활용할 수도 있다.
시스템 메모리 (16) 는 디바이스 (10) 용의 메모리일 수도 있다. 시스템 메모리 (16) 는 하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수도 있다. 시스템 메모리 (16) 의 예들은 랜덤 액세스 메모리 (RAM), 전기적 소거가능 프로그래머블 판독 전용 메모리 (EEPROM), 플래시 메모리, 또는 원하는 프로그램 코드를 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 명령들 및/또는 데이터 구조들의 형태로 수록하거나 저장하는데 사용될 수 있는 다른 매체를 포함하지만, 그에 제한되지 않는다.
일부 양태들에서, 시스템 메모리 (16) 는 프로세서 (12) 로 하여금 본 개시에서 프로세서 (12) 로 할당된 기능들을 수행하게 하는 명령들을 포함할 수도 있다. 따라서, 시스템 메모리 (16) 는, 실행될 경우, 하나 이상의 프로세서들 (예를 들어, 프로세서 (12)) 로 하여금 다양한 기능들을 수행하게 하는 명령들이 저장된 컴퓨터 판독가능 저장 매체일 수도 있다.
시스템 메모리 (16) 는 비-일시적인 저장 매체이다. 용어 "비-일시적인" 은 저장 매체가 캐리어파 또는 전파된 신호에서 구현되지 않음을 표시한다. 하지만, 용어 "비-일시적인" 은 시스템 메모리 (16) 가 비-이동성이거나 또는 그 내용들이 정적임을 의미하는 것으로 해석되지 않아야 한다. 일 예로서, 시스템 메모리 (16) 는 자율 주행 차량 (10) 으로부터 제거되고 다른 디바이스로 이동될 수도 있다. 다른 예로서, 시스템 메모리 (16) 와 실질적으로 유사한 메모리는 자율 주행 차량이 (10) 내로 삽입될 수도 있다. 특정 예들에 있어서, 비-일시적인 저장 매체는, (예를 들어, RAM 에서) 시간에 걸쳐 변화할 수 있는 데이터를 저장할 수도 있다.
도 1 의 예에 추가로 도시된 바와 같이, 자율 주행 차량 (10) 은 디스플레이 (20) 및 사용자 인터페이스 (22) 를 포함할 수도 있다. 디스플레이 (20) 는 이미지들이 투영될 수 있는 임의의 타입의 수동 반사 스크린, 또는 이미지를 투영할 수 있는 능동 반사, 방출 또는 투과 디스플레이 (예를 들어, 발광 다이오드 (LED) 디스플레이, 유기 LED (OLED) 디스플레이, 액정 디스플레이 (LCD), 또는 임의의 다른 타입의 액티브 디스플레이) 를 나타낼 수도 있다. 단일 디스플레이 (20) 를 포함하는 것으로 도시되지만, 자율 주행 차량 (10) 은 자율 주행 차량 (10) 의 캐빈 전체에 포지셔닝될 수도 있는 복수의 디스플레이들을 포함할 수도 있다. 일부 실시예들에서, 디스플레이 (20) 의 수동 버전 또는 디스플레이 (20) 의 특정 유형의 능동 버전 (예를 들어, OLED 디스플레이) 은 시트, 테이블, 루프 라이너, 바닥재, 창 (또는 창문, 벽이 없거나 창문, 벽이 적은 차량에서) 또는 자율 주행 차량의 캐빈의 다른 양태들 내로 통합될 수도 있다. 디스플레이 (20) 가 패시브 디스플레이를 나타낼 때, 디스플레이 (20) 는 또한 패시브 디스플레이 (20) 상에 이미지를 투영하거나 재현할 수 있는 프로젝터 또는 다른 이미지 투영 디바이스를 포함할 수도 있다.
디스플레이 (20) 는 또한 자율 주행 차량 (10) 과 유선 또는 무선 통신하는 디스플레이를 나타낼 수도 있다. 디스플레이 (20) 는 예를 들어, 랩탑 컴퓨터, 헤드업 디스플레이, 헤드 장착 디스플레이, 증강 현실 컴퓨팅 디바이스 또는 디스플레이 (예컨대, "스마트 안경"), 가상 현실 컴퓨팅 디바이스 또는 디스플레이, (소위 "스마트 폰"을 포함하는) 모바일 폰, 태블릿 컴퓨터, 게임 시스템, 또는 자율 주행 차량 (10) 내로 통합된 디스플레이의 확장으로서 또는 그 대신에 작동할 수 있는 다른 타입의 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스를 나타낼 수도 있다.
사용자 인터페이스 (22) 는 사용자가 자율 주행 차량 (10) 의 다양한 기능들을 제어하기 위해 인터페이싱할 수도 있는 임의의 타입의 물리적 또는 가상 인터페이스를 나타낼 수도 있다. 사용자 인터페이스 (22) 는 물리적 버튼, 노브, 슬라이더 또는 다른 물리적 제어 기구들을 포함할 수도 있다. 사용자 인터페이스 (22) 는 또한 가상 인터페이스를 포함할 수도 있어서, 자율 주행 차량 (10) 의 탑승자가 일 예로서, 터치 감지 스크린을 통해 또는 터치리스 인터페이스를 통해 가상 버튼, 노브, 슬라이더 또는 다른 가상 인터페이스 엘리먼트들과 상호작용할 수도 있다. 탑승자는 사용자 인터페이스 (22) 와 인터페이싱하여, 자율 주행 차량 (10) 내의 기후, 자율 주행 차량 (10) 에 의한 오디오 재생, 자율 주행 차량 (10) 에 의한 비디오 재생, 자율 주행 차량 (10) 을 통한 (핸드폰 통화, 화상 회의 통화 및/또는 웹 회의 통화와 같은) 송신들, 또는 자율 주행 차량 (10) 에 의해 수행될 수 있는 임의의 다른 동작 중 하나 이상을 제어할 수도 있다.
사용자 인터페이스 (22) 는 또한, 자율 주행 차량 (10) 내에 통합된 디스플레이의 확장으로서 또는 그 대신에 작동할 때 디스플레이 (20) 로 확장된 인터페이스들을 나타낼 수도 있다. 즉, 사용자 인터페이스 (22) 는 위에 언급된 HUD, 증강 현실 컴퓨팅 디바이스, 가상 현실 컴퓨팅 디바이스 또는 디스플레이, 태블릿 컴퓨터, 또는 위에 열거된 다른 타입의 확장된 디스플레이들 중 임의의 다른 디스플레이를 통해 제시되는 가상 인터페이스들을 포함할 수도 있다.
자율 주행 차량 (10) 의 맥락에서, 사용자 인터페이스 (22) 는 자율 주행 차량 (10) 을 수동으로 또는 반-수동으로 제어하기 위해 사용되는 물리적 엘리먼트들을 추가로 나타낼 수도 있다. 예를 들어, 사용자 인터페이스 (22) 는 자율 주행 차량 (10) 의 이동 방향을 제어하기 위한 하나 이상의 스티어링 휠들, 자율 주행 차량 (10) 의 이동 속도를 제어하기 위한 하나 이상의 페달들, 하나 이상의 핸드 브레이크들 등을 포함할 수도 있다.
자율 주행 차량 (10) 은 자율 제어 시스템 (24) 을 더 포함할 수도 있는데, 이는 자율 주행 차량 (10) 의 탑승자에 의한 중재를 요구하지 않고 차량 (10) 의 하나 이상의 양태들을 자율적으로 동작시키도록 구성된 시스템을 나타낸다. 자율 제어 시스템 (24) 은 GPS (global positioning system) 유닛, 하나 이상의 가속도계 유닛, 하나 이상의 자이로스코프 유닛, 하나 이상의 나침반 유닛, 하나 이상의 레이더 유닛, 하나 이상의 LiDaR (예를 들어, Light Detection and Ranging 을 지칭함) 유닛들, 하나 이상의 카메라들, 차량 (10) 의 다양한 양태들을 측정하기 위한 하나 이상의 센서들 (예컨대, 스티어링 휠 토크 센서, 스티어링 휠 그립 센서, 하나 이상의 페달 센서, 타이어 센서, 타이어 압력 센서), 및 차량 (10) 의 자율 동작을 보조할 수도 있는 임의의 다른 타입의 센서 또는 유닛과 같은 다양한 센서들 및 유닛들을 포함할 수도 있다.
이와 관련하여, 자율 제어 시스템 (24) 은 탑승자가 차량 (10) 의 동작과 무관한 작업에 참여할 수 있도록 차량 (10) 의 동작을 제어할 수도 있다. 자율 주행 차량 (10) 의 탑승자가 차량 (10) 의 동작에 덜 관여됨에 따라, 탑승자는 주행 작업에 필요한 것보다 더 많은 시간을 소비하지 않고, 산만해지고 및/또는 안주하게 될 수도 있다. 예를 들어, 자율 주행 차량 (10) 이 처리할 수 없는 문제가 발생할 경우, 자율 주행 차량 (10) 이 탑승자에게 차량 (10) 의 제어를 전달할 수도 있다. 제어를 인수한 탑승자는, 자율 주행 차량 (10) 이 더 이상 안전하게 자율적으로 차량 (10) 을 제어하지 않을 수도 있는 경우, 이 탑승자가 주로 제어를 인수할 책임이 있기 때문에 "일차 탑승자" 로 지칭될 수도 있다.
자율 주행 차량 (10) 의 제어를 일차 탑승자에게 트랜지션하는 것은 예컨대 자율 제어 시스템 (24) 에 의해 사용된 장비가 날씨, 오작동 등으로 인해 고장날 때, 갑자기 발생할 수도 있다. 잠재적으로 산만해진 일차 탑승자로의 제어의 갑작스런 트랜지션들은 차량을 안전하게 동작시키기 위한 충분한 컨텍스트를 회복할 시간을 일차 탑승자에게 제공하지 않을 수도 있다.
제어를 전달하는 것은 탑승자에게 제어의 책임을 리턴시켜서 탑승자가 차량 (10) 의 동작을 (예를 들어, 스티어링 휠, 페달 및 종래 차량에서의 다른 기구들을 사용하거나, 또는 가속, 제동 및 스티어링을 허용하는 가상 인터페이스들과 같은 다양한 비-종래의 인터페이스들을 사용하여) 지시하는 것을 지칭할 수도 있다. 제어를 전달하는 것은 또한, 그 상황들에 의존하여 제어의 오직 부분적인 전달일 수도 있다. 예를 들어, 이동 속도를 결정할 수 있는 센서가 고장일 수도 있지만, 스티어링 및 네비게이션을 위한 모든 다른 자율 제어 시스템이 작동할 수도 있다. 이 예에서, 차량 (10) 은 가속 및 제동의 제어를 전달할 수도 있지만 스티어링 및 네비게이션의 제어를 유지할 수도 있다. 이와 같이, 차량 (10) 은 하나 이상의 자율적으로 수행된 동작에 대한 책임이 탑승자에게 전달될 때 차량 (10) 의 동작의 제어를 전달할 수도 있다.
이 개시에서 설명된 기술들의 다양한 양태에 따라, 자율 주행 차량 (10) 은 일차 탑승자 및 잠재적으로 다른 탑승자들이, 일차 탑승자가 갑자기 차량 (10) 의 제어에 포함되는 경우 현재 주행 컨텍스트를 모니터링할 수도 있도록, 탑승자 인식을 유지할 수도 있다. 이러한 주행 컨텍스트는 일차 탑승자가 자율 제어 시스템 (10) 으로부터 일차 탑승자로 제어의 전달 시에 차량을 보다 안전하게 동작시키게 할 수도 있다.
동작시, 차량 (10) 은 탑승자가 응시하고 있는 위치를 결정하도록 구성된 탑승자 추적 유닛 (26) 을 포함할 수 있으며, 이는 "눈동자 시선 위치"로 지칭될 수도 있다. 일부 실시예들에서, 탑승자 추적 유닛 (26) 은 일차 탑승자의 하나 이상의 이미지들을 캡처하도록 구성된 카메라 또는 다른 이미지 캡처 디바이스를 포함할 수도 있다. 탑승자 추적 유닛 (26) 은 일차 탑승자가 차량 (10) 의 캐빈 주위를 이동할 때, 일차 탑승자의 이미지들의 캡처를 허용하도록 카메라를 포지셔닝할 수도 있다 (예를 들어, 카메라를 특정 방위각 및 고도로 회전시킬 수도 있다).
탑승자가 응시하고 있는 (또는, 즉, 포커싱되는) 포지션을 결정하기 위해, 탑승자 추적 유닛 (26) 은 일차 탑승자를 도시하는 이미지들에 대해 하나 이상의 눈동자 추적 (또한 "시선 추적"으로 지칭될 수도 있음) 중 하나 이상을 수행할 수도 있다. 눈동자 추적에 대한 더 많은 정보가 2016 년 5 월 5 일자의 Krafka 등에 의한 "Eye Tracking for Everyone" 라는 제목의 논문, 및 1999 년 10 월 12-15 일자의 Kim 등에 의한 "Vision-Based Eye-Gaze Tracking for Human Computer Interface" 라는 제목의 다른 논문에서 찾을 수 있다.
일반적으로 눈동자 추적은 적외선 및/또는 근적외선 비-시준 (non-collimated) 광의 투영으로 생성된 각막 반사의 사용을 통해 동공의 운동을 추적한다. 이와 같이, 탑승자 추적 유닛 (26) 은 일반적으로 이미지들에서 "적목"으로 알려진 것과 유사한 밝은 동공 효과를 생성하기 위해 적외선 및/또는 근적외선 광원을 포함할 수도 있다. 탑승자 추적 유닛 (24) 은 일반적으로 일차 탑승자를 추적하고, 그 후에 일차 탑승자의 얼굴 또는 눈을 줌 인하여 적외선 및/또는 근적외선 광원으로 눈을 조명하는 동안 탑승자의 적어도 하나의 눈의 이미지들을 캡처할 수도 있다. 각막 반사의 범위는 밝기 측면에서 탑승자의 눈 이미지로 표현된다. 눈의 이미지에서 동공의 밝기는, 동공이 적외선 및/또는 근적외선 광원에 얼마나 직접 포커싱되는지를 표시하며, 여기서 더 높은 밝기는 더 직접적인 포커스를 표시한다. 동공의 이러한 밝기로부터, 탑승자 추적 유닛 (26) 은 일차 탑승자가 응시하고 있는 위치를 결정할 수도 있다.
탑승자 추적 유닛 (26) 은 탑승자가 포커싱되는 위치의 결정을 수행하는 것으로 설명되지만, 탑승자 추적 유닛 (26) 은 전술한 눈동자 추적의 양태들만을 수행할 수도 있다. 예를 들어, 탑승자 추적 유닛 (26) 은 일반적으로 일차 탑승자를 추적하여, 탑승자의 눈의 이미지를 캡처하면서 적외선 및/또는 근적외선 광원을 각막 반사를 생성하는 방식으로 지향할 수도 있다. 탑승자 추적 유닛 (26) 은 다음에 탑승자가 응시하고 있는 위치를 결정하기 위해 탑승자의 눈의 이미지를 프로세서 (12) 에 제공할 수도 있다.
탑승자 추적 유닛 (26) 이 일차 탑승자가 응시하고 있는 위치를 결정한다고 가정하면, 탑승자 추적 유닛 (26) 은 결정된 위치를 프로세서 (12) 에 제공할 수도 있다. 결정된 위치에 기초하여, 프로세서 (12) 는 일차 탑승자가 차량 (10) 의 제어를 인수하기에 충분한 적절한 주행 컨텍스트를 유지하게 하는 방향을 일차 탑승자가 응시하고 있는지 여부를 결정할 수도 있다. 일차 탑승자가 ("컨텍스트 인식 위치" 로 지칭될 수도 있는) 적절한 주행 컨텍스트를 유지하게 하는 이 위치는, 일차 탑승자가 차량 (10) 이 이동중인 방향의 직접적인 뷰를 가지게 하는 위치들을 포함할 수도 있다. 이러한 컨텍스트 인식 포지션들은 전방으로 이동할 때, 일차 탑승자로부터 앞유리 또는 다른 전방을 향한 창으로의 하나 이상의 각도로서 정의될 수도 있다. 탑승자 추적 유닛 (26) 은 컨텍스트 인식 위치들을 결정할 수도 있거나, 또는 프로세서 (12) 는 탑승자 추적 유닛 (26) 이 눈동자 추적을 수행하지 않을 때 컨텍스트 인식 포지션들을 결정할 수도 있다.
프로세서 (12) 는 결정된 위치를 컨텍스트 인식 위치와 비교할 수도 있다. 결정된 포커스 위치가 컨텍스트 인식 위치들을 정의하는 하나 이상의 각도 내에 있을 때, 프로세서 (12) 는 일차 탑승자가 주행 컨텍스트에 포커싱되고 있다고 결정할 수도 있다. 일차 탑승자가 결정된 초점 위치를 컨텍스트 인식 위치를 정의하는 하나 이상의 각도와 비교하는 것에 기초하여 주행 컨텍스트에 포커싱된다고 결정하는 것으로 설명되었지만, 프로세서 (12) 는 일차 탑승자의 검출된 심박수, (결정된 포커스 포지션의 일관된 하강 또는 더 빈번한 깜빡임을 검출하는 눈동자 추적, 하품을 검출하는 일차 탑승자 이미지들, 등을 통한) 일차 탑승자의 결정된 피로도, 또는 임의의 다른 이미지 분석 및/또는 센서 신호 분석을 포함하는 추가의 정보에 관한 결정을 기반으로 할 수도 있다.
결정된 포커스 위치가 컨텍스트 인식 위치를 정의하는 하나 이상의 각도 밖에 있을 때, 프로세서 (12) 는 일차 탑승자가 차량 (10) 이 이동중인 방향 (전방인 것으로 가정됨) 에 포커싱되지 않은 것으로 결정할 수도 있다. 프로세서 (12) 는, 결정된 위치가 일차 탑승자가 차량 (10) 이 이동중인 방향에 포커싱되지 않은 것을 표시할 경우, 일차 탑승자가 차량 (10) 이 현재 동작중인 동작 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 이미지들을 생성할 수도 있다. 예를 들어, 프로세서 (12) 는 차량 (10) 의 전방 뷰를 나타내는 하나 이상의 이미지를 캡처하기 위해 카메라 (28) 와 인터페이싱할 수도 있고, 그러한 전방 뷰는 차량 (10) 의 전방 이동 방향을 따라 또는 그 방향에서 뷰를 도시한다. 즉, 차량 (28) 은 전방 뷰를 캡처하도록 구성된 캐빈 내부 또는 캐빈 외부에 장착된 카메라 (28) 를 포함할 수도 있다.
다른 예로서, 프로세서 (12) 는 차량 (10) 의 평면도를 생성할 수도 있으며, 평면도는 차량 (10) 및 차량 (10) 주위의 다양한 오브젝트들 (다른 이동중인 차량, 표지판, 장애물, 위험물 등) 의 하향식 뷰 (top-down view) 를 제공할 수도 있다. 프로세서 (12) 는 평면도를 생성하기 위해 자율 제어 시스템 (24) 과 인터페이싱할 수도 있거나, 대안적으로, 자율 제어 시스템 (24) 은 평면도를 생성하여 평면도를 프로세서 (12) 에 제공할 수도 있다. 자동 제어 시스템 (24) 은, 자율 제어 시스템 (24) 이 차량 (10) 주위의 오브젝트들의 일반적인 표현을 생성하기 위해 사용하는, GPS, 레이더 및 라이더 정보의 결과로서 평면도를 생성하는 것을 보조할 수도 있다. 평면도는 도 2 의 예에 도시된 하향식 뷰와 유사할 수도 있다. 이와 관련하여, 차량 (10) 은 차량이 현재 자율적으로 동작하고 있는 동작 컨텍스트에 대한 인식을 일차 탑승자가 유지하는 것을 보조할 수 있는, 하나 이상의 이미지들 ("컨텍스트 이미지들" 로 지칭될 수도 있음) 을 생성할 수도 있다.
프로세서 (12) 는 다음에 디스플레이 (20) 와 인터페이싱하여, 예를 들어 차량 (10) 이 더 이상 차량 (10) 의 동작을 자율적으로 제어할 수 없는 경우에 또는 차량 (10) 이 차량 (10) 의 동작을 자율적으로 제어할 수 있지만 안전 또는 정확성을 손상시킬 수도 있는 일부 측면에서 절충될 수도 있는 경우에, 일차 탑승자가 차량 (10) 의 제어를 인수하는 것을 보조하기 위해 차량 (10) 의 캐빈 내의 결정된 포커스 위치에 근접하거나 오버랩하는 하나 이상의 생성된 컨텍스트 이미지들을 제시할 수도 있다. 디스플레이 (20) 는, 일 예로서, 컨텍스트 이미지들을 차량 (10) 의 캐빈 내의 다양한 표면들, 예컨대 책을 읽거나 게임을 플레이하는 동안 포커싱된 것으로 결정된 책상, 일차 탑승자가 응시하고 있는 창문, 일차 탑승자가 대화 중인 다른 탑승자에 인접한 영역 등에 투영할 수도 있다.
디스플레이 (20) 는 일차 탑승자 또는 다른 탑승자들에 대한 명백한 교란을 회피하기 위해, ("포지션" 으로 지칭될 수도 있는) 결정된 포커스 위치에 근접하지만 직접 오버랩하지 않는 컨텍스트 이미지를 투영할 수도 있다. 예를 들어, 디스플레이 (20) 는 일차 탑승자가 대화 중인 다른 탑승자의 얼굴 위에 이미지를 투영하는 것을 회피하기 위해 컨텍스트 이미지를 제시할 수도 있다. 디스플레이 (20) 가 컨텍스트 이미지를 얼마나 근접하게 투영하는지는 이하에서보다 상세히 설명하는 바와 같이, 캐빈 컨텍스트로 지칭될 수도 있는 것에 의존할 수도 있다. 프로세서 (12) 는 검출된 캐빈 컨텍스트에 기초하여 컨텍스트 이미지의 투영을 재포지셔닝할 것을 디스플레이 (20) 에 지시할 수도 있다.
일부 예들에서, 디스플레이 (20) 는 결정된 포커스 위치를 오버랩하는 방식으로 컨텍스트 이미지를 투영할 수도 있다. 디스플레이 (20) 는, 일 예로서, 컨텍스트 이미지의 일부가 그 상부에 있도록, 또는 다시 말해서 핸드오프가 임박할 때 결정된 포커스 위치를 오버랩하여 사용자 컨텍스트 인식을 더 잘 회복하도록, 컨텍스트 이미지를 투영할 수도 있다.
디스플레이 (20) 는 또한 차량 (10) 의 캐빈 전반에 걸쳐 포지셔닝된 하나 이상의 액티브 디스플레이를 통해 컨텍스트 이미지를 제시하고, 결정된 포커스 위치에 기초하여 액티브 디스플레이의 조합을 선택한다. 액티브 디스플레이 중 선택된 하나가 엔터테인먼트 컨텐츠 (예를 들어, 비디오, 이미지, 게임 등) 를 묘사하는 이미지를 현재 디스플레이하고 있을 때, 디스플레이 (20) 는 엔터테인먼트 컨텐츠를 묘사하는 이미지 및 컨텍스트 이미지 양자를 포함하는 합성 이미지를 생성할 수도 있다. 디스플레이 (20) 가 합성 이미지를 생성하는 것으로 설명되지만, 프로세서 (12) 는 또한 합성 이미지를 생성하고, 합성 이미지를 탑승자에게 디스플레이하기 위해 디스플레이 (20) 에 제공할 수도 있다.
합성 이미지를 생성할 때, 프로세서 (12) 는 다양한 기준에 기초하여 컨텍스트 이미지의 투명도를 설정하여 엔터테인먼트 콘텐츠에 컨텍스트 이미지를 오버레이할 수도 있다. 하나의 예시적인 기준은 차량 (10) 의 제어가 탑승자에게 전달되어야하는 긴급성 (urgency) 이다. 즉, 프로세서 (12) 는 탑승자에게 차량 (10) 의 제어를 전달하는 시간을 결정하고, 컨텍스트 이미지의 투명도를 감소시켜 탑승자가 엔터테인먼트 재료의 산만함 없이 컨텍스트 이미지를 더 잘 볼 수 있도록 하고, 따라서 동작 환경의 컨텍스트 인식을 향상시킬 수도 있다. 차량 (10) 이 자율 제어를 재개할 때, 프로세서 (12) 는 컨텍스트 이미지의 투명도를 증가시킬 수도 있다.
컨텍스트 이미지의 투명도를 조정하기 위한 다른 기준은 컨텍스트 이미지에 도시된 장면의 컨텐츠를 기반으로 할 수도 있다. 프로세서 (12) 는 컨텍스트 이미지에 도시된 오브젝트들의 경고 또는 위험 레벨을 결정하기 위해 시각적 분석을 수행할 수도 있다. 예를 들어, (어두운 컬러 또는 낮은 콘트라스트 때문에) 작거나 보기 힘든 차량은 차량 (10) 에 대하여 더 큰 위험을 나타낼 수도 있다. 즉, 프로세서 (12) 는 탑승자에게 차량 (10) 의 제어를 전달하는 시간을 결정하고, 컨텍스트 이미지의 투명도를 감소시켜 탑승자가 엔터테인먼트 재료의 산만함 없이 컨텍스트 이미지를 더 잘 볼 수 있도록 하고, 따라서 동작 환경의 컨텍스트 인식을 향상시킬 수도 있다. 경고 또는 위험 레벨이 감소할 때, 프로세서 (12) 는 컨텍스트 이미지의 투명도를 증가시킬 수도 있다.
프로세서 (12) 는 또한, 컨텍스트 이미지를 제공하기 위해 사용자 인터페이스 (22) 와 인터페이싱하여 컨텍스트 이미지가 확장형 디스플레이 (예컨대, 태블릿 컴퓨터, 모바일 폰, 헤드 장착 디스플레이, 또는 일차 탑승자가 현재 상호작용하고 있는 다른 접속된 디바이스) 에 의해 디스플레이되게 할 수 있다. 프로세서 (12) 는 컨텍스트 이미지들을 사용자 인터페이스 (22) 에 제공할 수도 있으며, 차례로 컨텍스트 이미지를 확장형 디스플레이에 제공한다. 확장형 디스플레이는 상기 언급된 합성 이미지를 생성하고, 합성 이미지를 일차 탑승자에 제시할 수도 있다.
디스플레이 (20) 는 또한, 프로세서 (12) 에 추가하여 또는 프로세서 (12) 에 대한 대안으로 전술한 기술의 다양한 양태들을 수행할 수도 있다. 즉, 디스플레이 (20) 가 헤드 장착형 디스플레이를 나타낼 때, 헤드 장착형 디스플레이는 눈동자 추적을 수행하여 탑승자가 응시하고 있는 위치를 결정하고, 차량 (10) 으로부터 컨텍스트 이미지를 수신하고, 컨텍스트 이미지를 결정된 위치에 근접한 탑승자에게 제시한다. 따라서, 프로세서 (12) 와 관련하여 설명된 기술의 임의의 양태는 대안적으로 또는 또한 헤드 장착형 디스플레이에 의해 수행될 수도 있다.
부가적으로, 디스플레이 (20) 는 또한, 헤드업 디스플레이를 통해, 주행 인식을 회복하기 위해 탑승자의 생리적 반응을 트리거하는 이미지들을 제시할 수도 있다. 프로세서 (12) 및/또는 GPU (20) 는 헤드업 디스플레이에서 보여지는 식별된 오브젝트들을 강조하는 합성 (또는, 즉 가상의) 오브젝트들을 생성할 수도 있다. 예를 들어, 프로세서 (12) 는 사용자 인터페이스 (22) 를 통해, 인식면에서 비교적 작지만 중요할 수도 있는 도로상의 오토바이 또는 다른 차량을 프레이밍할 수도 있다.
추가 예로서, 자율 주행 차량 (10) 의 근방을 이동중인 다른 차량이 그 차량이 위험물을 식별한 것을 통신할 경우, 프로세서 (12) 는 디스플레이 (20) 또는 사용자 인터페이스 (22) 와 인터페이싱하여 위험물의 검출을 통신하지 않은 다른 차량들보다 많은 위험물을 검출한 차량을 강조하는 이미지들을 제시할 수도 있다. 프로세서 (12) 는 또 다른 예로서, 차량이 차선을 얼마나 많이 이탈하는지, 자율 주행 차량과 함께 이동중인 차량이 얼마나 많이 가속하는지/감속하는지, 또는 차량이 차선을 얼마나 자주 변경하는지에 기초하여, 자율 주행 차량 (10) 의 부근 내에서 이동중인 차량들, 예를 들어 고 위험 차량을 강조하는 가상 오브젝트들을 갖는 이미지를 생성할 수도 있다. 프로세서 (12) 는 또한, 컬러 (또는 콘트라스트) 에 기초하여 다른 차량을 강조하는 가상 오브젝트들을 갖는 이미지를 생성할 수도 있으며, 어두운 차량 (또는 예를 들어, 일광 반사 또는 기타 주변 조명 조건으로 인한 낮은 콘트라스트 외형을 갖는 차량) 이 더 어두운 컬러 (또는 낮은 콘트라스트 오브젝트들) 가 식별하기 더 어려운 것을 고려하여 더 강조될 수도 있다.
프로세서 (12) 는 헤드업 디스플레이와 인터페이싱하여 탑승자의 생리적 반응을 트리거할 수도 있는 차량들 또는 다양한 조건들을 강조하는 인공 오브젝트들을 삽입할 수도 있다. 예를 들어, 프로세서 (12) 는 차선의 검출된 에지들에 인공 차선 마커 오브젝트들을 삽입하여, 차량 (10) 의 안전한 동작 하에서 그러한 차선 마커들을 작게 유지하지만, 제어를 트랜지션하기 전에 시각적 각성을 생성하기 위해 그러한 차선 마커들을 확대하여 탑승자의 인식을 회복할 수도 있다.
이 양태에서, 본 개시에 설명된 기술의 다양한 양태는 차량이 주행의 일부 양태를 자동화한 경우에 자율 주행 차량에서 탑승자 인식을 용이하게할 수도 있다. 기술들은 탑승자 인식을 유지하여, 일차 탑승자 및 잠재적으로 다른 탑승자들이 일차 탑승자가 갑자기 차량의 제어를 받는 경우에 현재 주행 컨텍스트를 모니터링할 수도 있다. 이러한 주행 컨텍스트는 일차 탑승자가 갑작스런 제어를 수신할 시, 차량을 더 안전히 동작시키게 할 수도 있다.
프로세서 (12) 에 의해 수행되는 것으로 기술되었지만, 본 개시에서 설명된 기술들의 다양한 양태들은 GPU (14) 또는 프로세서 (12) 와 GPU (14) 의 조합에 의해 수행될 수도 있다. 이와 같이, 상기 프로세서 (12) 에 대한 언급은 프로세서 (12), GPU (14), 프로세서 (12) 와 GPU (14) 의 조합, 또는 일부가 도 1 의 예에 도시되지 않을 수도 있는 다양한 프로세서들의 임의의 조합을 포함할 수도 있는, 하나 이상의 프로세서들을 지칭하는 것으로 이해될 수도 있다.
또한, 차량 (10) 의 동작을 자율적으로 제어할 수 있는 차량 (10) 의 컨텍스트에서 수행되는 것으로 설명되지만, 본 개시에서 설명된 기술들은 자율 제어가 가능한지의 여부에 따라 임의의 타입의 차량에 적용할 수 있다. 즉, 차량을 자율적으로 조종할 수 없는 레벨 1 차량은 본 개시에서 설명된 기술을 수행할 수도 있다. 따라서, 기술은 자율 주행 차량에만 국한되어서는 안 된다.
도 2 는 본 개시에서 설명된 기술들의 다양한 양태들을 수행하도록 구성된 예시적인 자율 주행 차량 (10) 의 오버헤드 뷰를 도시하는 다이어그램이다. 도 2 의 예에서, 자율 주행 차량 (10) 은 차량 (10) 의 전방 근처 외부에 장착된 카메라 (28) 를 포함한다. 카메라 (28) 는 자율 주행 차량 (10) 이 일 예로서, 일차 탑승자가 포커싱되는 차량 (10) 의 캐빈 내의 결정된 위치에 근접하여 제시할 수도 있는 전방 뷰 (40) 를 캡처할 수도 있다.
도 3a 내지 도 3e 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 하나 이상의 컨텍스트 이미지들이 제시되는, 자율 주행 차량 (10) 의 캐빈 (50) 의 상이한 예들을 도시하는 다이어그램들이다. 도 3a 의 예에서, 탑승자 추적 유닛 (26) 은 일차 탑승자가 캐빈 (50) 내의 창 (52) 에 포커싱되는 것을 결정할 수도 있다. 프로세서 (12) 는 카메라 (28) 와 인터페이싱하여 전방 뷰 (40) 의 이미지를 캡처할 수도 있다 (이러한 이미지들은 참조의 용이함을 위해 하기에서 "전방 뷰 (40)" 로 지칭될 수도 있다). 프로세서 (12) 는 다음으로 창 (52) 에 근접한 전방 뷰 (40) 를 투영하기 위해 디스플레이 (20) 와 인터페이싱할 수도 있다.
전방 뷰 (40) 를 투영하기 위한 캐빈 (50) 내의 위치를 결정하기 위해, 프로세싱 유닛 (12) 은 캐빈 컨텍스트를 결정할 수도 있다. 프로세싱 유닛 (12) 은 다른 것에 대하여 윈도우 (52), 시트 (54A 내지 54D), 테이블 (56), 계기판 (58), 콘솔 (60), 캐빈 플로어 (62) 및 오버 헤드 유닛 (64) 의 지오메트리를 정의하는 사전 구성된 캐빈 컨텍스트를 가질 수도 있다. 일부 예들에서, 프로세서 (12) 는 상술한 다양한 위치와 함께 캐빈 (50) 의 지오메트리를 결정하기 위해 오버헤드 유닛 (64) 에 포지셔닝된 탑승자 추적 유닛 (26) 의 카메라 (66) 를 사용하여 캐빈 (50) 의 분석을 통해 캐빈 컨텍스트를 생성할 수도 있다. 일부 예에서, 프로세서 (12) 는 (예를 들어, 제조업자에 의해) 캐빈 컨텍스트로 사전 구성될 수 있으며, 이는 일부 예들에서, 캐빈 컨텍스트가 시간에 따라 변화함에 따라 카메라 (66) 를 사용하여 업데이트될 수도 있는 사전 정의된 캐빈 컨텍스트를 발생할 수도 있다.
프로세서 (12) 는 캐빈 컨텍스트에 기초하여, 전방 뷰 (40) 를 투영할 창 (52) 의 포커스 위치에 근접한 캐빈 (50) 내의 위치를 결정할 수도 있다. 도 3a 의 예에서, 프로세서 (12) 는 일차 참석자의 포커스 위치가 창 (52) 밖에 있음을 결정할 수도 있다. 그 후에, 프로세서 (12) 는 전방 뷰 (40) 의 약간의 부분이 창 (52) 을 오버랩하거나 전방 뷰 (40) 의 어느 부분도 창 (52) 을 오버랩하지 않도록, 투영 위치를 창 (52) 에 근접하도록 선택할 수도 있다. 프로세서 (12) 는 일차 탑승자가 창 (52) 이 컨텍스트 인식을 유지하기에 충분한 선명도로 전방 뷰 (40) 를 볼 수 있도록 충분한 반사를 제공하지 않을 수도 있기 때문에, 창 (52) 위에 전방 뷰 (40) 를 투영하는 것을 회피할 수도 있다.
일부 경우에, 프로세서 (12) 는 외부 인자들에 기초하여 포커스 위치에 대한 근접한 위치 (또는 근접한 위치) 를 결정할 수도 있다. 도 3b 의 예에서, 프로세서 (12) 는, 프로세서 (12) 가 (예를 들어, 하루의 시간에 기초하여, 및/또는 자율 제어 시스템 (24) 과의 상호 작용들을 통해) 불충분한 역광이 창 (52) 을 통해 들어온다고 결정할 때, 결정된 포커스 위치에 근접한 투영 위치가 창 (52) 과 오버랩한다고 결정할 수도 있다.
창 (52) 에 관련하여 설명되었지만, 프로세서 (12) 는 디스플레이 (24) 와 인터페이싱하여 시트 (54A-54D), 테이블 (56), 계기판 (58), 콘솔 (60) 및 플로어 (62) 를 포함하는, 캐빈 (50) 내의 임의의 표면 상에 전방 뷰 (40) 를 투영한다. 또한, 도 3a 및 도 3b 의 예에서는 도시하지 않았지만, 디스플레이 (20) 는 플로어 (62) 또는 캐빈 (50) 의 다른 표면 상에 장착된 다른 디스플레이 엘리먼트들 (예를 들어, 프로젝터) 을 사용하여 캐빈 (50) 의 천장 위에 전방 뷰를 투영할 수도 있다.
도 3c 는 본 개시에서 설명된 기술들의 다양한 양태들이 수행되는, 차량 (1) 의 캐빈 (50) 의 컷어웨이 뷰를 도시하는 다이어그램이다. 도 3c 의 예에서, 일차 탑승자 (61A) 는 이차 탑승자 (61B) 와 대화 중이지만, 자율 제어 시스템 (24) 은 현재 자율적으로 차량 (10) 을 제어하고 있다. 탑승자 추적 유닛 (26) 은 일차 탑승자 (61A) 가 이차 탑승자 (61B) 에 직접 포커싱되는 것으로 결정할 수도 있다. 탑승자 추적 유닛 (26) 은 결정된 포커스 위치를 프로세서 (12) 에 제공할 수도 있다.
프로세서 (12) 는 프로세서가 일차 탑승자 (61A) 및 이차 탑승자 (61B) 양자의 캐빈 내의 위치를 인식하도록, 앞서 언급된 캐빈 컨텍스트를 유지할 수도 있다. 프로세서 (12) 는 결정된 포커스 위치를 캐빈 컨텍스트와 비교할 수도 있다. 도 3c 의 예에서와 같이, 프로세서 (12) 가 결정된 포커스 위치가 이차 탑승자 (61B) 의 위치에 근접한다고 결정할 때, 프로세서 (12) 는 전방 뷰 (40) 의 투영이 이차 탑승자 (61B) 와 오버랩하지 않도록, 전방 뷰 (40) 의 투영 위치를 결정할 수도 있다.
도 3d 의 예에서, 탑승자 추적 유닛 (26) 은 일차 탑승자가 도 3d 의 예에서 차량 (10) 과의 무선 통신에서 태블릿 컴퓨터 (일 타입의 액티브 디스플레이를 나타낼 수도 있음) 로서 도시된 디스플레이 (20) 에 포커싱되는 것으로 결정할 수도 있다. 이와 같이, 탑승자 추적 유닛 (26) 은 포커스 위치를 디스플레이 (20) 의 위치로서 프로세서 (12) 에 제공할 수도 있다. 프로세서 (12) 는 결정된 포커스 위치를 디스플레이 (20) 의 위치와 비교하여, 디스플레이 (20) (및 차량 (10) 에 무선 커플링된 임의의 다른 디스플레이 또는 디바이스들) 의 위치를 식별하도록 캐빈 컨텍스트를 유지할 수도 있다. 도 3d 의 예에 도시된 경우에서와 같이, 결정된 포커스 위치가 디스플레이 (20) 의 위치에 근접할 경우, 프로세서 (12) 는 사용자 인터페이스 (22) 를 통해 디스플레이 (20) 와 인터페이싱하여 디스플레이 상에 전방 뷰 (40) 를 제시할 수도 있다.
일부 예들에서, 디스플레이 (20) 는 디스플레이 (20) 에 의해 현재 디스플레이되고 있는 모든 컨텐츠의 픽처 내 픽처로서 전방 뷰 (40) 를 제시할 수도 있다. 이들 및 다른 예들에서, 디스플레이 (20) 는 디스플레이 (20) 에 의해 현재 디스플레이되고 있는 모든 컨텐츠 아래의 층으로서 전방 뷰 (40) 를 제시할 수도 있으며, 여기서 컨텐츠는 반투명하여 일차 탑승자 (61A) 가 그 컨텐츠 및 전방 뷰 (40) 양자를 동시에 보게 할 수도 있다. 차량 (10) 에 무선 커플링된 디스플레이 (20) 와 인터페이싱하는 것으로 설명되지만, 프로세서 (12) 는 또한 캐빈 (50) 내에 통합되거나 고정되고 및/또는 차량 (10) 에 유선 접속에 의해 커플링되는 디스플레이 상에 전방 뷰 (40) 를 제시할 수도 있다.
도 3e 의 예에서, 탑승자 추적 유닛 (26) 은 일차 탑승자 (61A) 및 이차 탑승자 (61B) 양자를 위한 포커스 위치를 결정할 수도 있다. 탑승자 추적 유닛 (26) 은 일차 탑승자 (61A) 에 대한 포커스 위치 ("일차 포커스 위치") 및 이차 탑승자 (61B) 에 대한 포커스 위치 ("이차 포커스 위치") 를 프로세서 (12) 에 제공할 수도 있다. 프로세서 (12) 는 디스플레이 (20) 와 인터페이싱하여 일차 포커스 위치 및 이차 포커스 위치 중 하나 이상 (예컨대 도 3e 에 도시된 예에서의 양자) 에 근접한 전방 뷰 (40) 를 제시할 수도 있다. 이차 포커스 위치에 전방 뷰를 (40) 를 제시하는 것은 이차 탑승자 (61B) 가 또한 차량 (10) 의 컨텍스트 인식을 유지하게 할 수도 있다. 이와 같이, 이차 탑승자 (61B) 는 일차 탑승자 (61A) 가 차량 (10) 의 제어를 인수하기에 충분한 인식을 유지하는 것을 보조할 수도 있다.
도 4 는 본 개시에서 설명된 기술들의 다양한 양태들을 수행하도록 구성된 헤드 장착형 디스플레이 시스템 (70) 의 일 예를 도시하는 다이어그램이다. 헤드 장착형 디스플레이 (HMD) 시스템 (70) 은 탑승자 (72) 에 의해 착용될 수 있는 HMD (80) 를 포함하며, 이것은 일차 탑승자 (61A) 또는 이차 탑승자 (61B) 중 하나 이상을 나타낼 수도 있다. HMD (80) 는 렌즈 홀더 (88) 로부터 연장하는 암 (86) 을 갖는 프레임 (84) 과 함께, 예를 들어 한 쌍의 안경과 유사하게 탑승자 (72) 에 의해 착용되도록 구성될 수도 있다. HMD (80) 는 차량 (10) 과 무선 통신하도록 구성되며, 사용자 인터페이스 (22) 의 연장으로서 작용할 수도 있다.
일부 예들에서, HMD (10) 는 시스템 메모리와 함께 프로세서 (12) 와 별개의 프로세서, GPU, 및 도 1 의 예와 관련하여 상술된 차량 (10) 과 별개의 다른 컴퓨팅 컴포넌트들을 포함할 수도 있다. 다른 예들에서, HMD (10) 는 단순히 디스플레이 (20) 의 연장을 구성할 수도 있으며, 여기서 프로세서 (12) 는 HMD (10) 와 인터페이싱하여 전방 뷰 (40) 와 같은 다양한 이미지들을 제시한다.
프로세서 (12) 는 어떠한 경우에도, HMD (10) 에 컨텍스트 이미지들 (예를 들어, 전방 뷰 (40)) 을 제공할 수도 있고, 이는 탑승자 (72) 에 의한 컨텍스트 인식을 유지하기 위해 전방 뷰 (40) 를 제시할 수도 있다. 프로세서 (12) 는 적절한 경우 캐빈 컨텍스트를 고려하여, HMD (10) 와 상호작용하여 도 3A 내지 도 3E 에 도시된 예들의 컨텍스트에서 전방 뷰 (40) 를 투영하는 것과 관련하여 전술한 것과 유사한 방식으로 HMD (10) 를 통해 이미지를 제시할 수도 있다.
그러나, HMD (80) 가 탑승자 (72) 가 차량 (10) 의 캐빈 (50) 내에서 포커싱하고 있는 위치로 이동하기 때문에, 프로세서 (12) 는 일부 예들에서, HMD (80) 가 캐빈 (50) 내의 고정된 위치에 전방 뷰 (40) 를 제시하기 보다는 HMD (80) 의 설정된 위치 (예컨대, 우상부 코너) 에 전방 뷰 (40) 를 제시하는 것을 표시할 수도 있다. 즉, HMD (80) 는 캐빈 (50) 내의 특정 위치에 전방 뷰 (40) 를 제시하여, 전방 뷰 (40) 가 결정된 포커스 위치에 근접한 특정 위치에서 전방 뷰 (40) 를 투영하는 것과 관련하여 전술한 것과 유사한 위치에 앵커링된 것으로 나타나게 한다. 대안적으로, HMD (80) 는 항상 HMD (80) 자체의 주어진 세그먼트 (예를 들어, 우상부 코너) 에 전방 뷰 (40) 를 제시할 수도 있어서, 전방 뷰 (40) 가 탑승자 (72) 가 현재 포커싱하고 있는 캐빈 (50) 내에서 플로팅하고 있는 것으로 나타날 수도 있다. 프로세서 (12) 는 탑승자 (72) 가 전방을 보고 있을 때를 검출하고, 탑승자 (72) 가 전방을 보고 있을 때를 검출할 시 전방 뷰 (40) 의 디스플레이를 선택적으로 비활성화할 수도 있다.
프로세서 (12) 가 탑승자 (72) 가 전방을 보고 있는 것을 검출할 때, 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 탑승자 (72) 의 전방 뷰 내에서 다양한 오브젝트들을 강조하는, 합성의 또는 다시 말해서, 가상의 오브젝트들을 디스플레이할 수도 있다. 탑승자 (72) 의 전방 뷰를 증강시키는 것과 관련하여 설명되었지만, 프로세서 (12) 는 또한 탑승자 (72) 의 전방 뷰를 증강시키는 것과 관련하여 후술하는 것과 유사한 방식으로, 카메라 (28) 에 의해 캡처된 전방 뷰 (본 명세서에서 "전방 뷰 (40)" 로 지칭됨) 의 이미지들을 증강시킬 수도 있다. 또한, HMD (80) 과 관련하여 본원에서 설명되지만, 헤드업 디스플레이 (HUD) 와 같은, 탑승자 (72) 의 전방 시야를 증강시킬 수 있는 임의의 타입의 디바이스에 대한 기술이 수행될 수도 있다.
강조를 사용하는 하나의 예시적인 목적은, 탑승자 (72) 가 차량 (10) 의 제어를 잠재적으로 인수하기에 충분한 시간에 주행 컨텍스트를 신속하게 인식할 수도 있도록 탑승자 (72) 를 자극하는 것이다. 휴먼 시각 시스템 (HVS) 은 프로세서 (12) 가 HMD (80) 를 통해 차량 (10) 의 동작 컨텍스트의 탑승자 (72) 에 의한 인식을 회복하기 위해 재현할 수도 있는 특정 시각 자극에 민감하다. 예를 들어, HVS 는 어떤 오브젝트들도 이전에 관찰되지 않았음을 나타내는 오브젝트들, 가상 필드를 통한 모션, 및 급격한 오브젝트 속도 변화에 민감하다.
HVS 는 이러한 시각적 단서를 프로세싱하여 이벤트가 발생한 영역에 포커싱하고, 잠재적으로 각성의 증가 또는 다시 말해서 인식을 유도할 수도 있다. 예를 들어, HVS 는 눈/얼굴쪽으로 빠르게 움직이는 오브젝트를 인지할 때 인식을 유도할 수도 있으며, 이로 인해 각성이 증가하고 (예를 들어, 아드레날린 방출, 및 심장 박동수 및 혈압의 증가) 그 후에 눈과 얼굴을 보호하기 위해 움찔하는 반사 작용이 뒤따를 수도 있다. 이러한 반응을 야기하는 자극은 피곤하거나 장애가 있는 운전자가 각성을 트리거하기 위해 더 많은 자극을 필요로 하는 경우에, 탑승자 (72) 의 상태에 더 의존할 수도 있다. 따라서, 동일한 레벨의 시각적 각성을 발생시키기 위해, 더 큰 속도의 변화 또는 더 큰 오브젝트 발생을 필요로 할 수도 있다. 본 개시에서 설명된 기술들의 다양한 양태들은 HMD (80) 를 채용하여 생리적 반응을 트리거할 수도 있다.
도 5a 내지 도 5c 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 적용되는 상이한 강조 레벨들을 갖는 예시적인 전방 뷰들 (90A-90C) 을 도시하는 다이어그램들이다. 전방 뷰 (90A-90C) 는 전방 뷰 (상기에 전방 뷰 (40) 로 지칭됨) 또는 HMD (80) 를 통해 보여진 실제 전방 뷰 중 어느 하나를 나타낼 수도 있다.
도 5a 의 예에서, 전방 뷰 (90A) 는 어떠한 강조도 포함하지 않으며, 따라서 가상 오브젝트에 의한 증강 없는 전방 뷰를 나타낸다. 전방 뷰 (90A) 는 차량 (10) 과 동일한 차선에 있고 차량 (10) 이 뒤따르는 소형 차량 (예를 들어, 오토바이 (92), 여기서 오토바이 (92) 를 나타내는 괄호는 스크린 상에 표시되지 않고 오직 독자 참조용으로만 사용됨) 을 도시한다. 도 5b 의 예에서, 전방 뷰 (90B) 가 조건, 예를 들어 차량 (92) 의 존재를 강조하기 위해 HMD (80) 에 의해 제시된 2 개의 마이너 가상 오브젝트들 (94A 및 94B) 을 포함한다는 것을 제외하고, 전방 뷰 (90B) 는 전방 뷰 (90A) 와 동일하거나 실질적으로 동일하다. 도 5c 의 예에서, 전방 뷰 (90C) 가 조건을 강조하기 위해 HMD (80) 에 의해 제시된 2 개의 메이저 가상 오브젝트들 (96A 및 96B) 을 포함한다는 것을 제외하고, 전방 뷰 (90C) 는 전방 뷰 (90A) 와 동일하거나 실질적으로 동일하다.
전방 뷰 (90B 또는 90C) 를 증강시키기 위해, 프로세서 (12) 는 카메라 (28) 또는 HMD (80) 에 장착 된 카메라를 사용하여 전방 뷰 (90B 또는 90C) (여기서 전방 뷰는 "전방 뷰 (90)" 로 표시될 수도 있음) 의 이미지들을 캡처할 수도 있다. 프로세서 (12) 는 강조로부터 유리할 수도 있는 조건을 검출하기 위해 (앞서 논의 된 전방 뷰 (40) 의 일 예를 나타낼 수도 있는) 전방 뷰 (90) 의 이미지를 분석할 수도 있다. 조건은 예를 들어 차량 (10) 이 더 이상 차량 (10) 의 동작을 자율적으로 제어할 수 없을 경우, 제어가 탑승자에게 전달되는 경우에 차량 (10) 의 동작과 관련된 임의의 타입의 조건을 나타낼 수도 있다.
도 5b 및 도 5c 의 예에서, 조건은 차량 (92) 의 사이즈 중 하나이다. 사이즈는 차량 (92) 의 사이즈가 임계 사이즈 미만일 때의 조건을 나타낼 수도 있다. 즉, 프로세서 (12) 는 차량 (92) 이 임계 사이즈 미만의 크기를 갖는 것으로 결정하고, 결정에 기초하여, 마이너 강조 오브젝트들 (94A, 94B) 또는 메이저 강조 오브젝트들 (96A, 96B) 중 하나를 사용하여 차량 (92) 을 강조할 수도 있다. 프로세서 (12) 는 마이너 가상 오브젝트들 (94A, 94B) 또는 메이저 가상 오브젝트들 (96A, 96B) 을 제시하기 위해 HMD (10) 와 인터페이싱할 수도 있다. 프로세서 (12) 는 이하에서 보다 상세하게 설명되는 바와 같은 하나 이상의 인자들에 기초하여, 마이너 가상 오브젝트들 (94A, 94B) 또는 메이저 가상 오브젝트들 (96A, 96B) 을 제시할지 여부를 결정할 수도 있다. 간단히 말해서, 몇몇 인자들은 일차 탑승자의 상태를 측정하는 센서들로부터의 결과들 (예, 피로의 레벨을 결정하는 것 등), 상태의 인지된 위협 (예를 들면, 차량 (92) 에 의한 주행이 얼마나 불규칙한지에 의해 측정된 것과 같음) 등을 포함할 수도 있다.
도 6a 내지 도 6c 는 본 개시에서 설명된 기술들의 다양한 양태들에 따라 적용되는 상이한 강조 레벨들을 갖는 예시적인 전방 뷰들 (100A-100C) 을 도시하는 다이어그램들이다. 전방 뷰 (100A-100C) 는 전방 뷰 (상기에 전방 뷰 (40) 로 지칭됨) 또는 HMD (80) 를 통해 보여진 실제 전방 뷰 중 어느 하나를 나타낼 수도 있다.
도 6a 의 예에서, 전방 뷰 (100A) 는 어떠한 강조도 포함하지 않으며, 따라서 가상 오브젝트에 의한 증강 없는 전방 뷰를 나타낸다. 전방 뷰 (100A) 는 긴 직선 도로를 도시한다. 도 6b 의 예에서, 전방 뷰 (100B) 가 도로의 중앙선을 표시하는 3 개의 마이너 가상 오브젝트들 (102A-102C) 및 도로의 외곽 차선을 표시하는 3 개의 마이너 가상 오브젝트들 (104A-104C) 을 포함하며, 이들 양자가 차량 (10) 이 현재 주행하고 있는 차선을 강조하기 위해 HMD (80) 에 의해 제시될 수도 있다는 것을 제외하고, 전방뷰 (100B) 는 전방뷰 (100A) 와 동일하거나 실질적으로 동일하다. 도 5c 의 예에서, 전방 뷰 (100C) 가 도로의 중앙선을 표시하는 3 개의 메이저 가상 오브젝트들 (106A-106C) 및 도로의 외곽 차선을 표시하는 3 개의 메이저 가상 오브젝트들 (108A-108C) 을 포함하며, 이들 양자가 차량 (10) 이 현재 주행하고 있는 차선을 강조하기 위해 HMD (80) 에 의해 제시될 수도 있다는 것을 제외하고, 전방뷰 (100C) 는 전방뷰 (100A) 와 동일하거나 실질적으로 동일하다.
HMD (80) 는 시각적 각성을 증가시키기 위해 가상 오브젝트들 (102A-108C) ("인공 현실 오브젝트들 (102A-108C)" 로도 지칭될 수도 있음) 을 제시할 수도 있다. 도 6a 내지 6c 에 도시된 바와 같이, 어떤 다른 교통이 없는 개방된 도로를 주행할 때, HMD (80) 는 차선의 검출된 에지와 동기화되는 차선 마커들을 나타내는 가상 현실 오브젝트들 (102A-108C) 을 제시할 수도 있다. 차선 마커로서 작용하는 마이너 가상 오브젝트들 (102A-104C) 을 제시할 때, HMD (80) 는 차선의 에지들을 마킹할 수도 있다. 메이저 가상 오브젝트들 (106A-108C) 을 제시할 때, 메이저 가상 오브젝트들 (106A-108C) 이 탑승자 (72) 를 향해 이동하는 것으로 보이는 큰 오브젝트들로 나타날 수 있으므로, HMD (80) 는 탑승자 (72) 에서 더 높은 시각 각성 레벨을 유도할 수도 있다. HMD (80) 는 예를 들어, 자율 제어 시스템 (24) 으로부터 탑승자 (72) 로 제어의 핸드오프 직전에, 또는 다른 시스템이 탑승자 (72) 가 피곤하거나 그렇지 않으면 장애가 있는 것을 검출할 때, 탑승자 (72) 의 증가된 경계가 요구될 때 가상 오브젝트들 (102A-104C) 의 사이즈를 증가시킬 수도 있다.
HMD (80) 는 또한 피곤한 및/또는 장애가 있는 탑승자에 대한 인식을 유지하는 것을 도울 수 있다. 피곤하거나 및/또는 장애가 있는 탑승자는 시야가 점점 낮아지는 경향이 있다. 차량 및 계기들 바로 앞의 도로만을 보면서 주행이 가능하기 때문에 (그러나 매우 안전하지는 않을 수 있기 때문에) 매우 피곤한 운전자는 종종, 이 상태로 주행을 계속한다. HMD (80) 는 2 가지 방법으로 도움을 줄 수 있는, 시계의 상이한 부분들로 헤드업 (head-up) 기구들을 이동시킴으로써 피곤한 및/또는 장애가 있는 탑승자의 하강된 시계를 어드레싱하는 것을 시도할 수도 있다. 첫째로, 이동식 헤드업 (head-up) 기구는 중요한 (그러나 안전에 필수는 아님) 정보를 시계에서 더 높게 유지할 수도 있고, 따라서 내려다보는 경향을 잠재적으로 감소시킨다. 둘째로, HMD (80) 는 안전에 필수인 정보 (예를 들어, 속도 경고, 접근 속도 경고, 자율 제어가 해제하려고 하는 표시, 차량 고장 등) 를 시계에서 더 낮게 제시할 수도 있으므로, 탑승자 (72) 가 그의 시계가 낮아질 때에도 안전에 필수인 정보를 볼 수 있는 것을 잠재적으로 보장한다.
HMD (80) 는 자동차 내의 다른 시스템 (예를 들어, 탑승자 추적 유닛 (26) 에 의해 구현될 수도 있는 탑승자-경보 검출 시스템) 이 탑승자 (72) 가 피곤하거나 장애가 있을 수도 있다고 결정할 때, 기구들의 이동을 개시할 수도 있다. 대안적으로, HMD (80) 는 인식을 유지하기 위해 일상적으로 기구들을 이동시킬 수도 있다.
기술의 전술된 양태들의 대부분이 언제든지 구현될 수도 있지만, 시각적 단서를 강조하거나 시각적 엔티티들을 이동시키거나, 또는 시각 정보의 제시를 변경하는 것에 의해 인식을 높이려는 시도는 오래 지속된 시간양 동안 시각적 각성을 발생하지 않을 수도 있다. HMD (80) 이 더 이상 시각적 각성을 유발하지 않을 수도 있도록, 탑승자가 변화들에 순응될 수도 있다. HMD (80) 는 잠시 또는 단기 동안 전술한 기술을 활용할 때 시각적 각성을 보다 효과적으로 유도할 수도 있다.
제어의 핸드오프의 경우에, HMD (80) 는 제어 핸드오프 이전에 단시간 동안 기술들의 전술한 양태들을 수행할 수도 있다. 몇몇 경우들에서, 프로세서 (12) 는 핸드오프 예측자 알고리즘을 구현하여, 핸드오프가 발생할 수 있는 시점을 예측할 수도 있다. 그 후에, 프로세서 (12) 는 HMD (80) 와 인터페이싱하여, 핸드오프가 발생할 것으로 예측되기 전에 고정된 시간을 강조할 수도 있다. 피곤하거나 장애가 있는 탑승자의 경우, HMD (80) 는 (예를 들어, HMD (80) 가 탑승자 (72) 가 그렇게 하도록 프롬프트하는 것에 응답하여) 운전자가 도로를 벗어나서 차량을 안전하게 정지시키는데 충분히 긴 기술의 전술한 양태들을 수행할 수도 있다.
프로세서 (12) 는 강조로부터 이익을 얻을 수도 있는 다수의 상이한 조건들 및/또는 오브젝트들 (사용자 인터페이스 (22), 자율 제어 시스템 (24) 및 탑승자 추적 유닛 (26) 중 하나 이상과 관련하여 잠재적으로 작용하는) 을 검출할 수도 있다. 도 5a 내지 도 5c 에 도시된 예에서, 프로세서 (12) 는 오토바이 (92) 를 식별하고, 오토바이 (92) 의 사이즈로부터, 가상 오브젝트들 (94A, 94B 또는 96A, 96B) 에 의한 강조가 오토바이 (92) 의 인지된 사이즈를 증가시키도록 제시되어야 한다고 결정할 수도 있다. 오토바이 (92) 의 인지된 사이즈를 증가시키는 것은 탑승자 (72) 에게 오토바이 (92) 에 대한 더 큰 인식을 허용하여 탑승자 (72) 가 오토바이 (92) 를 간과하지 못하게 할 수도 있다.
다른 조건은 시각 속도에 기반한 조건을 포함한다. 프로세서 (12) 는 다른 차량이 너무 빠르게 접근하고 있는 시기를 결정할 수도 있다. 프로세서 (12) 는 카메라 (28) 또는 자율 제어 시스템 (24) 에 의해 사용되는 다른 카메라, 라이더 장치 등을 사용하여 접근중인 차량을 검출할 수도 있다. 프로세서 (12) 는 접근 속도를 임계 속도와 비교하여, 차량 (10) 을 둘러싼 각각의 오브젝트 (또는 차량 (10) 을 차단하는 것으로 결정된 오브젝트들) 에 대한 접근 속도를 비교할 수도 있다. 접근 속도가 임계 속도를 초과할 때, 프로세서 (12) 는 다른 오브젝트 (예를 들어, 차량과 같은) 가 너무 빠르게 접근하고 있다고 결정할 수도 있다. 프로세서 (12) 는 그 후에, HMD (80) 와 인터페이싱하여 임계 속도 이상으로 차량 (10) 에 접근하는 오브젝트들을 더 느린 속도로 접근하는 오브젝트보다 더 많이 강조할 수도 있다 (또는 잠재적으로 이들 오브젝트를 전혀 강조하지 않을 수도 있다).
앞의 내용은 감속 (또는 "제동") 중인 차량들에도 적용된다. 즉, 프로세서 (12) 는 이러한 차량이 제동중일 때 차량 (10) 의 전방에 있는 차량의 접근 속도를 식별할 수도 있다. 대안적으로, 또는 접근 속도를 식별하는 것과 관련하여, 프로세서 (12) 는 자율 제어 시스템 (24) 을 통해, 다른 차량으로부터 (어떤 통신을 통해) 그러한 차량이 제동 중이라는 통지를 수신할 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 제동중인 차량을 제동되고 있지 않은 차량보다 더 강조한 가상 오브젝트들을 제시할 수도 있다.
프로세서 (12) 는 또한, 자율 제어 시스템 (24) 을 통해 다른 차량으로부터 (어떤 통신을 통해) 그러한 차량이 위험물을 식별했다는 통지를 수신할 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 위험물을 식별한 차량을 위험물을 식별하지 않은 차량보다 더 강조한 가상 오브젝트들을 제시할 수도 있다.
프로세서 (12) 는 또한, 자율 제어 시스템 (24) 에 의해 제공된 정보에 잠재적으로 기초하여, 핸드오프를 야기할 가능성이 더 높은, 고 위험도 차량을 검출할 수도 있다. 프로세서 (12) 는 알고리즘을 실행하거나 또는 그렇지 않으면 다른 차량이 차선 내에서 얼마나 많이 이탈하고 있는지, 다른 차량이 얼마나 많이 가속/감속하고 있는지, 또는 다른 차량이 얼마나 자주 차선을 변경하는지에 기초하여 다른 차량의 미래 작동을 예측하도록 구성될 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 고 위험도 차량 주위에 강조를 제시할 수도 있다.
다른 조건은 컬러에 기반한 조건을 포함한다. 프로세서 (12) 는 더 어두운 컬러의 차량을 검출하고, HMD (80) 와 인터페이싱하여 더 어두운 컬러 차량을 더 밝은 컬러 차량보다 강조할 수도 있다. 더 어두운 컬러의 차량이 간과하기 쉬울 수도 있기 때문에, 어두운 컬러의 차량은 더 많은 강조를 수신할 수도 있다.
추가 조건들은 차량 타입을 포함한다. 프로세서 (12) 는 이미지 검출 또는 통신을 통해 경찰차, 소방차, 구급차 등과 같은 응급 차량을 검출할 수도 있다. 프로세서 (12) 는 탑승자 (72) 가 핸드오프가 발생하면 적절한 조치를 취할 수도 있도록, 응급 차량을 강조할 수도 있다.
프로세서 (12) 는 차량 (10)의 시야 내에서 또는 차량 (10) 의 통신 범위 내에서, 또는 차량 (10) 의 센서의 감지 범위 내에서 각각의 주변 오브젝트에 대해 이들 조건들 중 하나 이상을 검출할 수도 있다. 주변 오브젝트들은 보행자, 간판, 쓰레기 또는 기타 차량을 포함할 수도 있다. 프로세서 (12) 는 각각의 주변 오브젝트들의 접근 속도, 각각의 주변 오브젝트로부터 수신된 임의의 통신 (예를 들어, 위험물, 제동 또는 다른 상태의 통신), 각각의 주변 오브젝트의 사이즈, 각각의 주변 오브젝트의 색상 및/또는 상대적인 시각적 콘트라스트, 각 주변 오브젝트의 타입, 및 시각적 강조를 위한 스코어를 도출하기 위해 각 주변 오브젝트에 대해 예측된 가능한 미래 작동들을 평가할 수도 있다.
프로세서 (12) 는 각각의 주변 오브젝트에 대한 시각 강조 스코어를 마이너 강조 임계치 및 메이저 강조 임계치와 비교할 수도 있다. 시각 강조 스코어가 마이너 강조 임계치 미만일 경우, 프로세서 (12)는 강조가 대응하는 오브젝트에 요구되지 않는다고 결정할 수도 있다. 시각 강조 스코어가 마이너 강조 임계치보다 크지만 메이저 강조 임계치 미만일 경우, 프로세서 (12) 는 HMD (80) 가 대응하는 주변 오브젝트에 대해 (예를 들어, 마이너 가상 오브젝트들 (94A, 94B) 을 사용하여) 마이너 강조를 제시할 것으로 결정할 수도 있다. 시각 강조 스코어가 메이저 강조 임계치보다 클 경우, 프로세서 (12) 는 HMD (80) 가 대응하는 주변 오브젝트에 대해 (예를 들어, 메이저 가상 오브젝트들 (96A, 96B) 을 사용하여) 메이저 강조를 제시할 것으로 결정할 수도 있다.
도 5a 내지 도 6c 에 도시된 2 개의 예들에 대하여 설명된 바와 같이, 프로세서 (12) 는 주변 오브젝트 주위에 다수의 상이한 타입의 개별 강조를 수행할 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 (예를 들어, 오토바이 (92) 에 대한) 사이즈 및 (예를 들어, 가상 오브젝트들 (106A-108C) 을 사용하는) 접근 속도뿐만 아니라, (횡단보도 영역과 같은) 영역의 사이즈 또는 높이를 증가시키기 위해 영역을 강조하는, 가상 오브젝트들을 삽입할 수도 있다.
또한, 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 도 5a 내지 도 6c 의 예들에 도시된 블록 기반 형상과 상이한 다양한 형상들을 갖는 가상 오브젝트를 생성할 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 높은 속도로 접근하는 차량의 형상으로 가상 오브젝트들을 생성할 수도 있다. 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 가상 차량 형상 오브젝트가 현재 접근 속도를 초과하는 속도로 접근하는 것처럼 보이게하여 탑승자 (72) 의 시각적 각성을 일으킬 수도 있다.
프로세서 (12) 는 또한 HMD (80) 와 인터페이싱하여 가상 오브젝트들을 제시하지 않고 다양한 주변 오브젝트들을 강조할 수도 있다. 예를 들어, 프로세서 (12) 는 HMD (80) 와 인터페이싱하여 주변 오브젝트의 밝기를 증가 또는 감소시키거나 콘트라스트를 증가 또는 감소시킬 수도 있다.
주변 오브젝트들의 강조는 추가로 전반적인 강조와 개별적인 강조로 분리될 수도 있다. 즉, 프로세서 (12) 는 개별적인 주변 오브젝트들을 강조하지 않기 위해 시각 강조 스코어를 활용할 수도 있다. 프로세서 (12) 는 주변 오브젝트들의 개별 시각 강조 스코어에 기초하여 평균 시각 강조 스코어 (일부 예에서는 가중 평균일 수도 있음) 를 결정할 수도 있다. 프로세서 (12) 는 평균 시각 강조 스코어, 예컨대 전방 뷰 (40) 의 투명도의 감소 또는 증가, 픽처 인 픽처로 제시될 때 전방 뷰 (40) 의 사이즈의 증가 또는 감소, 또는 전방 뷰 (40) 를 제시할 때 디스플레이 (20) 의 밝기의 증가 또는 감소에 기초하여 다양한 전반적인 동작들을 수행할 수도 있다. 일부 구현들에서, 차량이 학교 건널목 또는 횡단보도와 같이 알려진 위험한 지역 내에 있을 때, 다양한 오브젝트들에 대한 강조 스코어들이 변경될 수도 있다 (예를 들어, 증가될 수도 있다).
도 7 은 본 개시에서 설명된 기술들의 다양한 양태들을 수행할 시 도 1 의 차량 (10) 의 예시적인 동작을 도시하는 플로우차트이다. 초기에, 차량 (10) 의 자율 제어 시스템 (24) 은 차량 (10) 의 동작의 자율적인 제어를 인수할 수도 있다 (120).
차량 (10) 의 동작의 자율적인 제어를 인수한 후에 (또는 일부 경우에 차량 (10) 의 동작의 자율적인 제어를 가정하기 전에), 프로세서 (12) 는 탑승자가 (그리고 잠재적으로 2 이상의 탑승자들이) 응시하고 있는 위치 ("포커스 포지션" 으로 지칭될 수도 있음) 를 결정하기 위해 탑승자 추적 유닛 (26) 과 인터페이싱할 수도 있다 (122). 탑승자 추적 유닛 (26) 은 시선 추적 또는 포커스 포지션을 결정하기 위한 임의의 다른 프로세스를 수행할 수도 있다.
프로세서 (12) 는 다음으로 탑승자가 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 하나 이상의 컨텍스트 이미지들을 생성할 수도 있다 (124). 컨텍스트 이미지는 전방 뷰 (40) 와 같은 전방 뷰, 또는 도 2 의 예에 도시된 하향식 뷰와 유사할 수도 있는 평면 뷰 중 하나를 포함할 수도 있다. 프로세서 (12) 는 또한, 상술한 방식으로 합성 오브젝트들을 삽입하도록 컨텍스트 이미지를 업데이트 할 수도 있고, 여기서 합성 오브젝트들은 다양한 오브젝트들 (예를 들어, 차량, 보행자, 간판, 차선 마커 등) 을 강조할 수도 있다.
프로세서 (12) 는 다음에 디스플레이 (20) 와 인터페이싱하여 차량 (10) 의 캐빈 내의 결정된 포지션에 근접한 컨텍스트 이미지를 제시할 수도 있다 (126). 컨텍스트 이미지는 차량이 더 이상 차량 (10) 의 동작을 자율적으로 제어할 수 없을 때 탑승자가 차량 (10) 의 제어를 인수하는 것을 보조할 수도 있다. 프로세서 (12) 는 차량 (10) 의 제어의 탑승자로의 핸드오프 전의 지속 기간을 결정할 수 있고, 핸드오프 이전에 결정된 지속 기간 동안 이미지를 제시할 수도 있다. 프로세서 (12) 는 컨텍스트 이미지들을 제시한 후에, 차량 (10) 의 동작의 제어를 탑승자에게 전달할 수도 있다 (128).
다시, 제어를 전달하는 것은 탑승자에게 제어의 책임을 리턴시켜서 탑승자가 차량 (10) 의 동작을 (예를 들어, 스티어링 휠, 페달 및 종래 차량에서의 다른 기구들을 사용하거나, 또는 가속, 제동 및 스티어링을 허용하는 가상 인터페이스들과 같은 다양한 비-종래의 인터페이스들을 사용하여) 지시하도록 하는 것을 지칭할 수도 있다. 제어를 전달하는 것은 또한, 그 상황들에 의존하는 제어의 오직 부분적인 전달일 수도 있다. 예를 들어, 이동 속도를 결정할 수 있는 센서가 고장일 수도 있지만, 스티어링 및 네비게이션을 위한 모든 다른 자율 제어 시스템이 작동할 수도 있다. 이 예에서, 차량 (10) 은 가속 및 제동의 제어를 전달할 수도 있지만 스티어링 및 네비게이션의 제어를 유지할 수도 있다. 이와 같이, 차량 (10) 은 하나 이상의 자율적으로 수행된 동작에 대한 책임이 탑승자에게 전달될 때 차량 (10) 의 동작의 제어를 전달할 수도 있다.
도 8 은 본 개시에서 설명된 기술들의 다양한 양태들을 수행할 시 도 1 의 차량 (10) 의 예시적인 동작을 도시하는 플로우차트이다. 초기에, 차량 (10) 의 자율 제어 시스템 (24) 은 차량 (10) 의 동작의 자율적인 제어를 인수할 수도 있다 (140).
차량 (10) 의 동작의 자율적인 제어를 인수한 후에 (또는 일부 경우에 차량 (10) 의 동작의 자율적인 제어를 인수하기 전에), 프로세서 (12) 는 카메라 (28) 또는 차량 (10) 의 전방 뷰을 갖는 임의의 다른 카메라 (예컨대, HMD (80) 내에 통합된 카메라) 와 인터페이싱하여 차량 (10) 의 전방 뷰 (40) 와 같은 전방 뷰의 이미지를 캡처할 수도 있다 (142).
프로세서 (12) 는 다음으로, 예를 들어, 차량 (10) 이 더 이상 차량 (10) 의 동작을 자율적으로 제어할 수 없는 경우, 차량 (10) 의 동작에 관련된 조건을 검출할 수도 있다 (144). 일부 예들에서, 프로세서 (12) 는 전술된 다양한 조건들을 검출하기 위해 차량 (10) 이 이동중인 방향에서 하나 이상의 이미지에 대한 시각적 이미지 분석을 수행할 수도 있다. 이들 및 다른 예들에서, 프로세서 (12) 는 임의의 상술한 센서들 (예를 들어, 탑승자에 대한 생체 데이터 등을 제공하는 LiDAR, 레이더, 카메라 또는 센서들) 로부터의 데이터에 기초하여 조건을 검출할 수도 있다.
프로세서 (12) 는 다음으로 디스플레이 (20) (헤드업 디스플레이 또는 HMD (80) 와 같은 헤드 장착형 디스플레이일 수도 있음) 와 인터페이싱하여 조건을 강조하기 위한 합성 오브젝트들을 제시할 수도 있다 (146). 프로세서 (12) 는 차량 (10) 의 제어의 탑승자로의 핸드오프 전의 지속 기간을 결정할 수 있고, 핸드오프 이전에 결정된 지속 기간 동안 합성 오브젝트들을 제시할 수도 있다. 프로세서 (12) 는 컨텍스트 이미지들을 제시한 후에, 차량 (10) 의 동작의 제어를 탑승자에게 전달할 수도 있다 (148).
기술의 다양한 양태가 차량 (10) 에 의해 수행되는 것으로 설명되지만, 기술의 다양한 양태는 통신 프로토콜을 통해 차량 (10) 에 제공된 결과를 갖는 다른 디바이스에 의해 수행될 수도 있다. 즉, 컨텍스트 이미지의 이미지 또는 비디오 분석, 시선 또는 눈동자 추적, 탑승자 추적, (예를 들어, 합성 이미지로의) 임의의 이미지 또는 비디오 혼합, 및 몇몇 예들을 제공하기 위해 컨텍스트 이미지에 대한 투명성 결정은 차량 (12) 을 대신하는 또는 차량 (12) 에 부가된 프로세서들 및/또는 GPU들을 갖는, 다른 차량, 네트워크 서버 또는 컴퓨터 서버 팜 (즉, "클라우드" 에 의한) 에 의해 수행될 수도 있다. 따라서, 기술은 차량 자체에 의해 직접 수행되는 것에 국한되어서는 안 된다.
하나 이상의 예들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현된다면, 그 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상으로 저장 또는 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 비-일시적인 유형의 컴퓨터 판독가능 저장 매체 에 대응할 수도 있다. 데이터 저장 매체는 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터 판독가능 매체를 포함할 수도 있다.
제한이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 캐리어파들, 신호들, 또는 다른 일시적 매체를 포함하지 않지만, 대신 비-일시적인 유형의 저장 매체로 지향됨을 이해해야 한다. 본원에서 이용된 것과 같은 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한, 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적된 또는 별도의 로직 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본 명세서에서 사용되는 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기술들의 구현에 적절한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되고 결합된 코덱에서 통합된 전용 하드웨어 모듈 및/또는 소프트웨어 모듈들 내에 제공될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이, 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적인 양태들을 강조하기 위하여 본 개시에 설명되었지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 상술된 바처럼, 다양한 유닛들이 코덱 하드웨어 유닛에 결합될 수도 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상술된 하나 이상의 프로세서들을 포함하는 연동적인 (interoperative) 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (30)

  1. 차량 (10) 에서 탑승자 인식을 유지하는 방법으로서,
    하나 이상의 프로세서들 (12) 에 접속된 자율 제어 시스템 (24) 에 의해, 상기 차량 (10) 의 동작을 자율적으로 제어하는 단계;
    상기 하나 이상의 프로세서들 (12) 에 의해, 상기 차량 (10) 내의 탑승자가 응시하고 있는 위치를 결정하는 단계 (122);
    상기 하나 이상의 프로세서 (12) 에 의해 그리고 결정된 상기 위치가 상기 탑승자가 상기 차량 (10) 이 이동중인 방향을 응시하고 있지 않은 것을 표시할 경우, 상기 탑승자가 상기 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조하는 상기 차량의 전방 뷰를 도시하는 하나 이상의 컨텍스트 이미지들을 생성하는 단계 (124);
    상기 하나 이상의 프로세서들 (12) 에 의해, 상기 차량 (10) 이 더 이상 상기 차량 (10) 의 동작을 자율적으로 제어할 수 없다고 결정하는 단계;
    상기 하나 이상의 프로세서들 (12) 에 의해, 다른 차량으로부터 상기 다른 차량이 제동중이라는 통지와 함께 상기 차량을 둘러싼 각각의 오브젝트의 접근 속도에 기초하여 시각적 강조 스코어를 결정하는 단계;
    상기 시각적 강조 스코어에 기초하여, 장면 내의 조건과 연관되는 상기 전방 뷰 (40) 를 포함하는 상기 컨텍스트 이미지들의 투명도를 조정하는 단계;
    디스플레이 (20) 에 의해 그리고 결정된 상기 위치에 기초하여, 상기 탑승자가 상기 차량의 제어를 인수하는 것을 보조하기 위해, 상기 차량 (10) 의 캐빈 내의 결정된 상기 위치에 근접한 상기 하나 이상의 컨텍스트 이미지들을 제시하는 단계 (126);
    상기 하나 이상의 프로세서들에 의해, 상기 차량 (10) 의 제어의 상기 탑승자로의 핸드오프 전의 지속 기간을 결정하는 단계;
    결정된 상기 지속 기간 동안 상기 하나 이상의 컨텍스트 이미지들을 제시하는 단계; 및
    상기 컨텍스트 이미지들을 제시한 후에, 상기 하나 이상의 프로세서들에 의해, 상기 차량의 동작의 제어를 상기 탑승자에게 전달하는 단계 (128) 를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하는 방법.
  2. 제 1 항에 있어서,
    상기 탑승자가 응시하고 있는 위치를 결정하는 단계는, 상기 탑승자의 상기 하나 이상의 컨텍스트 이미지들에 대한 눈동자 추적을 수행하여 상기 탑승자가 응시하고 있는 상기 위치를 결정하는 단계를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하는 방법.
  3. 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스로서,
    자율 제어 시스템 (24);
    상기 자율 제어 시스템 (24) 에 접속되어, 상기 차량 (10) 의 동작을 자율적으로 제어하는 하나 이상의 프로세서들 (12) 로서,
    상기 하나 이상의 프로세서들 (12) 은,
    탑승자가 응시하고 있는 위치를 결정하고; 그리고
    결정된 상기 위치가 상기 탑승자가 상기 차량 (10) 이 이동중인 방향을 응시하고 있지 않은 것을 표시할 경우, 상기 탑승자가 상기 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 상기 차량의 전방 뷰를 도시하는 하나 이상의 컨텍스트 이미지들을 생성하고 (124);
    상기 차량 (10) 이 더 이상 상기 차량 (10) 의 동작을 자율적으로 제어할 수 없다고 결정하고;
    다른 차량으로부터 상기 다른 차량이 제동중이라는 통지와 함께 상기 차량을 둘러싼 각각의 오브젝트의 접근 속도에 기초하여 시각적 강조 스코어를 결정하고;
    상기 시각적 강조 스코어에 기초하여, 장면 내의 조건과 연관되는 상기 전방 뷰 (40) 를 포함하는 상기 컨텍스트 이미지들의 투명도를 조정하도록 구성된, 상기 하나 이상의 프로세서들 (12);
    디스플레이 (20) 로서, 결정된 상기 위치에 기초하여, 상기 탑승자가 상기 차량의 제어를 인수하는 것을 보조하기 위해, 상기 차량 (10) 의 캐빈 내의 결정된 상기 위치에 근접한 상기 하나 이상의 컨텍스트 이미지들을 제시하고 (126);
    상기 하나 이상의 프로세서들에 의해, 상기 차량 (10) 의 제어의 상기 탑승자로의 핸드오프 전의 지속 기간을 결정하고;
    결정된 상기 지속 기간 동안 상기 하나 이상의 컨텍스트 이미지들을 제시하고; 그리고
    상기 컨텍스트 이미지들을 제시한 후에, 상기 하나 이상의 프로세서들에 의해, 상기 차량의 동작의 제어를 상기 탑승자에게 전달 (128) 하도록 구성된, 상기 디스플레이 (20) 를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  4. 제 3 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 탑승자의 상기 하나 이상의 컨텍스트 이미지들에 대한 눈동자 추적을 수행하여 상기 탑승자가 응시하고 있는 상기 위치를 결정하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  5. 제 3 항에 있어서,
    상기 탑승자가 헤드 장착형 디스플레이를 착용하고 있고, 상기 헤드 장착형 디스플레이는 상기 탑승자가 응시하고 있는 상기 위치를 결정하고 상기 하나 이상의 컨텍스트 이미지들을 생성하는 하나 이상의 프로세서들 중 적어도 하나, 및 상기 하나 이상의 컨텍스트 이미지들을 제시하는 디스플레이를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  6. 제 3 항에 있어서,
    상기 차량은 상기 탑승자가 응시하고 있는 상기 위치를 결정하고 상기 하나 이상의 컨텍스트 이미지들을 생성하는 상기 하나 이상의 프로세서들 중 적어도 하나, 및 상기 하나 이상의 컨텍스트 이미지들을 제시하는 디스플레이를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  7. 제 3 항에 있어서,
    상기 탑승자는 헤드 장착형 디스플레이를 착용하고 있고, 상기 헤드 장착형 디스플레이는 상기 하나 이상의 컨텍스트 이미지들을 제시하는 디스플레이를 포함하며,
    상기 차량은, 상기 탑승자가 응시하고 있는 상기 위치를 결정하는 것, 상기 하나 이상의 컨텍스트 이미지들을 생성하는 것, 및 상기 하나 이상의 컨텍스트 이미지들을 제시하는 것 중 하나 이상을 수행하는, 상기 하나 이상의 프로세서들 중의 제 2 프로세서를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  8. 제 3 항에 있어서,
    상기 디스플레이는 결정된 상기 위치에 근접한 상기 하나 이상의 컨텍스트 이미지들을 투영하는 프로젝터를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  9. 제 3 항에 있어서,
    상기 디스플레이는 액티브 디스플레이를 포함하여 상기 액티브 디스플레이의 적어도 부분이 결정된 상기 위치와 오버랩하거나 인접하게 하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  10. 제 3 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로,
    상기 하나 이상의 컨텍스트 이미지들에 도시된 장면의 오브젝트를 식별하기 위해 상기 하나 이상의 컨텍스트 이미지들의 시각적 분석을 수행하고,
    상기 차량에 대한 상기 오브젝트의 경보 레벨을 결정하고,
    결정된 상기 경보 레벨에 기초하여 투명도를 결정하고, 그리고
    상기 하나 이상의 컨텍스트 이미지들에 대한 결정된 상기 투명도를 사용하여 상기 컨텍스트 이미지들을 엔터테인먼트 재료 상에 오버레이하도록 상기 하나 이상의 컨텍스트 이미지들을 증강시키도록
    구성되는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  11. 제 3 항에 있어서,
    상기 차량이 현재 동작중인 컨텍스트에 기초하여 시각적 강조 스코어를 결정하는 것;
    상기 시각적 강조 스코어에 기초하여, 오브젝트를 강조하는 가상 오브젝트를 조정하는 것; 및
    상기 가상 오브젝트를 포함하도록 상기 하나 이상의 컨텍스트 이미지들을 증강시키는 것을 더 포함하며,
    상기 오브젝트는 차선 표시자, 보행자, 또는 다른 차량 중 하나를 포함하는, 차량 (10) 에서 탑승자 인식을 유지하도록 구성된 디바이스.
  12. 명령들이 저장된 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 실행될 경우, 하나 이상의 프로세서들로 하여금,
    차량 (10) 의 동작을 자율적으로 제어하여;
    상기 차량 (10) 내의 탑승자가 응시하고 있는 위치를 결정하게 하고 (122);
    결정된 상기 위치가 상기 탑승자가 상기 차량이 이동중인 방향을 응시하고 있지 않은 것을 표시할 경우, 상기 탑승자가 상기 차량이 현재 동작중인 컨텍스트의 인식을 유지하는 것을 보조할 수 있는 상기 차량의 전방 뷰를 도시하는 하나 이상의 컨텍스트 이미지들을 생성하게 하고 (124);
    상기 차량이 더 이상 상기 차량의 동작을 자율적으로 제어할 수 없다고 결정하게 하고;
    다른 차량으로부터 상기 다른 차량이 제동중이라는 통지와 함께 상기 차량을 둘러싼 각각의 오브젝트의 접근 속도에 기초하여 시각적 강조 스코어를 결정하게 하고;
    상기 시각적 강조 스코어에 기초하여, 장면 내의 조건과 연관되는 상기 전방 뷰 (40) 를 포함하는 상기 컨텍스트 이미지들의 투명도를 조정하게 하고;
    디스플레이 (20) 와 인터페이싱하여, 결정된 상기 위치에 기초하여, 상기 탑승자가 상기 차량의 제어를 인수하는 것을 보조하기 위해, 상기 차량 (10) 의 캐빈 내의 결정된 상기 위치에 근접한 상기 하나 이상의 컨텍스트 이미지들을 제시하게 하고 (126);
    상기 차량의 제어의 상기 탑승자로의 핸드오프 전의 지속 기간을 결정하게 하고;
    결정된 상기 지속 기간 동안 상기 하나 이상의 컨텍스트 이미지들을 제시하게 하고; 그리고
    상기 컨텍스트 이미지들을 제시한 후에, 상기 차량의 동작의 제어를 상기 탑승자에게 전달 (128) 하게 하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020197022509A 2017-02-03 2017-12-06 차량에서 탑승자 인식의 유지 KR102487922B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/423,994 2017-02-03
US15/423,994 US10082869B2 (en) 2017-02-03 2017-02-03 Maintaining occupant awareness in vehicles
PCT/US2017/064866 WO2018144130A1 (en) 2017-02-03 2017-12-06 Maintaining occupant awareness in vehicles

Publications (2)

Publication Number Publication Date
KR20190112274A KR20190112274A (ko) 2019-10-04
KR102487922B1 true KR102487922B1 (ko) 2023-01-12

Family

ID=60788715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022509A KR102487922B1 (ko) 2017-02-03 2017-12-06 차량에서 탑승자 인식의 유지

Country Status (9)

Country Link
US (1) US10082869B2 (ko)
EP (1) EP3577606B1 (ko)
KR (1) KR102487922B1 (ko)
CN (1) CN110168581B (ko)
BR (1) BR112019015517A2 (ko)
CA (1) CA3048387A1 (ko)
SG (1) SG11201905370YA (ko)
TW (1) TW201831353A (ko)
WO (1) WO2018144130A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10783781B2 (en) * 2014-11-17 2020-09-22 Hitachi Automotive Systems, Ltd. Automatic driving system
US10365647B2 (en) * 2017-03-29 2019-07-30 Qualcomm Incorporated Ensuring occupant awareness in vehicles
JP7095291B2 (ja) * 2018-01-30 2022-07-05 トヨタ自動車株式会社 車両用表示装置
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method
JP6933189B2 (ja) * 2018-05-29 2021-09-08 株式会社デンソー 表示制御装置、及び表示制御プログラム
KR102614495B1 (ko) * 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
JP7384014B2 (ja) * 2019-12-06 2023-11-21 トヨタ自動車株式会社 表示システム
US20210191394A1 (en) * 2019-12-18 2021-06-24 Lyft, Inc. Systems and methods for presenting curated autonomy-system information of a vehicle
JP7238824B2 (ja) * 2020-02-07 2023-03-14 トヨタ自動車株式会社 車室内照明システム
JP7334639B2 (ja) 2020-02-07 2023-08-29 トヨタ自動車株式会社 車室内照明システム
JP2021191658A (ja) * 2020-06-05 2021-12-16 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
CN113222295B (zh) * 2021-06-07 2022-05-27 吉林大学 一种面向l3级自动驾驶汽车控制权切换状态下的接管时间预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087416A1 (en) 2004-10-27 2006-04-27 Denso Corporation Information providing device for vehicle
US20100253596A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Continuation of exterior view on interior pillars and surfaces
US20150232030A1 (en) 2014-02-19 2015-08-20 Magna Electronics Inc. Vehicle vision system with display
JP2016216028A (ja) 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
AU2003214595A1 (en) 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
DE10257963A1 (de) 2002-12-12 2004-07-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen
US7402018B2 (en) * 2004-10-14 2008-07-22 Kiva Systems, Inc. Inventory system with mobile drive unit and inventory holder
US20070010944A1 (en) 2005-07-09 2007-01-11 Ferrebee James H Jr Driver-adjustable sensor apparatus, system, & method for improving traffic safety
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
BR112012012635A2 (pt) * 2009-12-18 2016-07-12 Honda Motor Co Ltd sistema e método para fornecer alerta de aviso de acidente em veículo
US8618922B2 (en) * 2010-03-30 2013-12-31 GM Global Technology Operations LLC Method and system for ensuring operation of limited-ability autonomous driving vehicles
WO2011155878A1 (en) 2010-06-10 2011-12-15 Volvo Lastavagnar Ab A vehicle based display system and a method for operating the same
US20120093358A1 (en) 2010-10-15 2012-04-19 Visteon Global Technologies, Inc. Control of rear-view and side-view mirrors and camera-coordinated displays via eye gaze
KR101216221B1 (ko) * 2011-01-14 2012-12-28 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US20120306637A1 (en) * 2011-06-01 2012-12-06 Johnson Controls Technology Company System and method for selectively altering content of a vehicle interface
US9102269B2 (en) 2011-08-09 2015-08-11 Continental Automotive Systems, Inc. Field of view matching video display system
US9517776B2 (en) 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
DE102012004791A1 (de) * 2012-03-07 2013-09-12 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
WO2015027248A2 (en) * 2013-08-23 2015-02-26 Cellepathy Ltd. Mobile device context aware determinations
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9327693B2 (en) * 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
DE102014109079A1 (de) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
EP2848488B2 (en) * 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
EP2915718B1 (en) * 2014-03-04 2018-07-11 Volvo Car Corporation Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
GB2525655B (en) * 2014-05-01 2018-04-25 Jaguar Land Rover Ltd Dynamic lighting apparatus and method
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
US9533772B2 (en) * 2014-07-09 2017-01-03 Honeywell International Inc. Visual search assistance for an occupant of a vehicle
EP3167349A4 (en) 2014-07-09 2018-02-14 Nokia Technologies OY Device control
US10377303B2 (en) 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
US9469248B2 (en) 2014-10-10 2016-10-18 Honda Motor Co., Ltd. System and method for providing situational awareness in a vehicle
KR101612824B1 (ko) 2014-11-20 2016-04-15 현대자동차주식회사 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
KR101648021B1 (ko) 2014-11-28 2016-08-23 현대자동차주식회사 시선 인식 기능을 갖는 차량 및 그 제어방법과 시선 인식 시스템
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
KR101655818B1 (ko) 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
CN107207013B (zh) * 2014-12-12 2020-01-21 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
EP3040809B1 (en) 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
KR102309316B1 (ko) * 2015-06-02 2021-10-05 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 구비한 차량
US20160378112A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Autonomous vehicle safety systems and methods
KR102368812B1 (ko) * 2015-06-29 2022-02-28 엘지전자 주식회사 차량 운전 보조 방법 및 차량
KR101942793B1 (ko) * 2015-07-03 2019-01-28 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
JP6342856B2 (ja) * 2015-07-31 2018-06-13 トヨタ自動車株式会社 車両制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060087416A1 (en) 2004-10-27 2006-04-27 Denso Corporation Information providing device for vehicle
US20100253596A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Continuation of exterior view on interior pillars and surfaces
US20150232030A1 (en) 2014-02-19 2015-08-20 Magna Electronics Inc. Vehicle vision system with display
JP2016216028A (ja) 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム

Also Published As

Publication number Publication date
US10082869B2 (en) 2018-09-25
WO2018144130A1 (en) 2018-08-09
EP3577606A1 (en) 2019-12-11
CN110168581A (zh) 2019-08-23
US20180224932A1 (en) 2018-08-09
CN110168581B (zh) 2023-06-23
EP3577606B1 (en) 2022-09-07
BR112019015517A2 (pt) 2020-03-17
CA3048387A1 (en) 2018-08-09
KR20190112274A (ko) 2019-10-04
SG11201905370YA (en) 2019-08-27
TW201831353A (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
KR102487922B1 (ko) 차량에서 탑승자 인식의 유지
US20230267896A1 (en) Visual Content Overlay System
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR102351592B1 (ko) 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
EP3261871B1 (en) Display control apparatus and method
US10365647B2 (en) Ensuring occupant awareness in vehicles
JP2022039884A (ja) 空間モデルを使用したニューラルネットワークに基づく視線方向の決定
US20150154940A1 (en) Determining Correlated Movements Associated With Movements Caused By Driving A Vehicle
JP2024063147A (ja) 車載装置
US9969266B2 (en) Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications
US10981575B2 (en) System and method for adaptive advanced driver assistance system with a stress driver status monitor with machine learning
EP3885195A1 (en) System and method for providing visual guidance using light projection
JP2022176081A (ja) 適応視標追跡機械学習モデル・エンジン
JP2020117105A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
WO2021085414A1 (ja) 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
JP7238193B2 (ja) 車両制御装置および車両制御方法
JP2021099775A (ja) 運転支援装置
JP2021071915A (ja) 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
GB2591745A (en) Augmented reality system
JP2021071918A (ja) 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant