KR20230016163A - 자율주행 차량에서 사용자 경고를 개선하기 위한 방법 및 시스템 - Google Patents

자율주행 차량에서 사용자 경고를 개선하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20230016163A
KR20230016163A KR1020227035120A KR20227035120A KR20230016163A KR 20230016163 A KR20230016163 A KR 20230016163A KR 1020227035120 A KR1020227035120 A KR 1020227035120A KR 20227035120 A KR20227035120 A KR 20227035120A KR 20230016163 A KR20230016163 A KR 20230016163A
Authority
KR
South Korea
Prior art keywords
vehicle
driving
user
sensor
autonomous
Prior art date
Application number
KR1020227035120A
Other languages
English (en)
Inventor
앤드류 윌리엄 라이트
스위탈스키 질리안
Original Assignee
오토 텔레매틱스 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토 텔레매틱스 엘티디 filed Critical 오토 텔레매틱스 엘티디
Publication of KR20230016163A publication Critical patent/KR20230016163A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/049—Number of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406—Traffic density
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전 기간 동안 반자율주행 차량이 어떻게 자율적으로 운전되는 지에 관한 차량내 사용자 경고 시스템을 제공하기 위한 휴대용 전자 모니터링 장치가 제공된다. 상기 장치는 상기 차량에 착탈 가능하고 안전하게 장착되며, 상기 차량 외부의 외부 환경 및 상기 외부 환경에서 상기 차량의 움직임을 감지하기 위한 적어도 하나의 센서를 포함하는 센서 세트; 사용자 입력 명령을 수신하고 경고 출력을 전달하는 인터페이스; 및 상기 센서 세트 및 상기 인터페이스와 작동 가능하게 연결되는 프로세서를 포함하고, 상기 센서 세트는 상기 운전 기간 동안 상기 외부 환경에서 상기 반자율주행 차량의 상기 자동 동작을 모니터링하고, 상기 운전 기간 동안 발생하는 상기 외부 환경에 대한 상기 차량의 자동화된 운전 행동에 관련된 운전 이벤트를 나타내는 센서 데이터를 발생시키도록 구성된다. 상기 프로세서는 상기 외부 환경에서 상기 차량의 상기 감지된 자동화된 운전 행동과 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 모델을 비교하기 위해 상기 운전 기간 동안 상기 센서 데이터를 처리하고; 상기 감지된 자동화된 운전 행동이 상기 예상되는 자동화된 차량 운전 행동으로부터 문턱 값을 넘어 벗어나는 경우 위험한 운전 이벤트로 식별하고; 위험한 운전 이벤트가 감지되는 경우, 상기 위험한 운전 이벤트의 발생에 대해 상기 운전자에게 경고하기위해 상기 인터페이스를 통해 경고를 발생시키도록 구성된다.

Description

자율주행 차량에서 사용자 경고를 개선하기 위한 방법 및 시스템
본 발명은 자율주행 차량에서 사용자 알림을 개선 및 유지하기 위한 방법 및 시스템에 관한 것이다. 더욱 구체적으로, 본 발명는 자율주행 차량의 동작 모니터링 및 수동 개입이 필요할 수 있는 잠재적인 위험 요소, 위협, 위험 또는 상황에 대한 사용자 경고에 관한 것이다. 본 발명은 특히 레벨 2 자율주행 차량 및 레벨 3 자율주행 차량에 적용 가능하지만, 모든 수동 또는 자율 주행 차량에 이용될 수 있다.
차량의 자율성 레벨은 국제 자동차 기술학회(Society of Automotive 엔진ers, SAE)에 의해 정의되어, 차량의 자동화가 없고 항상 수동 제어가 요구되는 레벨 0부터 수동 지원의 필요없이 완전히 자동화가 이루어진 레벨 5까지 포함한다.
수동 동작 차량에서 자율주행 차량으로의 이행은 레벨 1의 자율성을 달성하기 위한 작고 점진적인 변화로부터 시작되었다. 차량을 원하는 정도의 속도로 유지하기 위한 차량 자율성의 한 형태로 크루즈 컨트롤이 1940년대 및 50년대에 개발되었다. 크루즈 컨트롤은 레벨 1 자율성에 대한 요구를 충족하지는 못하였으나, 최근 들어서 차량이 다른 차량을 감안하여 그 속도를 자동으로 맞출 수 있는 적응형 크루즈 컨트롤이 뒤를 이었다. 주차 지원 및 차선 지원과 같은 이후 개발들은 21세기에 이루어진 개발로서, 레벨 1 차량에서 사용자 인식이 여전히 요구되긴 하지만, 보통의 작업에서 운전자들(이하 사용자라고 함)을 돕기 위한 것이다.
SAE 분류에 따른 레벨 2는 특정 조건 하에 부분적인 자동화를 도입한다. 테슬러 오토파일럿(Tesla® Autopilot) 시스템은 레벨 2 시스템의 일례이다. 오토파일럿 시스템은 차량을 조종하고 속도를 조절하여 매우 특정한 상황에서 차량을 동작하게 한다. 오토파일럿은 완전히 자동화된 시스템처럼 보이지만, 설계된 특정 상황 밖에서는 그 능력이 제한된다. 따라서, 사용자는 차량의 동작 중 여전히 경계해야만 한다.
불행히도, 이러한 시스템에 의해 제공되는 완전한 자율성에 대한 환상은 사용자가 시스템의 한계를 이해하지 못할 경우 잠재적으로 위험하다. 차량이 수동 제어로 돌아가지 못하고 계속 자율적으로 동작하여 궁극적으로 오작동 또는 사용자, 차량 승객 또는 그 밖에 도로 이용자들에게 심각한 해를 입힌 주목을 끄는 사건들이 있었다.
자율성 레벨 3은 일부 차량에서 이미 달성되었고, 첫번째 레벨 4 차량이 몇 년 내로 시장에 진입할 것으로 기대된다. 이러한 시스템들은 더 넓은 범위의 상황들 및 환경에서 더 큰 기능들을 가지고 있으나, 특정 순간에 여전히 수동 제어가 요구될 것이다. 차량이 수동 제어로 돌아가지 못한다면, 사용자가 위험에 놓일 수 있다.
더욱이, 반자율주행 차량이 도로 교통사고를 크게 줄일 것으로 예상되지만, 도로에서 차량이 노출되는 잠재적 위험의 다양성은 매우 크다. 레벨 5 자율성이 달성될 때까지는 차량 시스템이 결코 틀리지 않을 것이라고 할 수 없다는 것을 생각 할 수 있다. 차량이 문제없이 작동해야 하는 상황도, 예를 들면 센서에 사소한 오작동이 발생하는 것처럼, 예상치 못한 문제를 일으킬 수 있다.
더욱 일반적으로, 사회에서 자율주행 차량의 맥락을 유념하는 것이 중요하다. 차량은 주로 운송 수단이며, 이처럼 받아들여져야 한다. 차량 사용자 및 운전자, 승객들, 다른 차량 사용자들/운영자들, 보행자를 포함하며 자율주행 차량이 안전하다고 믿는 모든 도로 이용자들에 의해 허가가 좌우된다. 이에 따라, 자율주행 차량의 신뢰에 대한 모든 가능한 개선은 바람직하다.
본 발명의 일 양태에 따르면, 운전 기간 동안 반자율주행 차량이 어떻게 자율적으로 운전되는 지에 관한 차량내 사용자 경고 시스템을 제공하기 위한 휴대용 전자 모니터링 장치가 마련된다. 상기 장치는 상기 차량에 착탈 가능하고 안전하게 장착된다. 상기 장치는 상기 차량 외부의 외부 환경 및 상기 외부 환경에서 상기 차량의 움직임을 감지하기 위한 적어도 하나의 센서를 포함하는 센서 세트를 포함한다. 상기 장치는 사용자 입력을 수신하고 출력을 전달하는 인터페이스를 포함한다. 상기 장치는 상기 센서 세트 및 상기 인터페이스와 작동 가능하게 연결되는 프로세서를 포함한다. 상기 센서 세트는 상기 운전 기간 동안 상기 외부 환경에서 상기 반자율주행 차량의 상기 자동 동작을 모니터링하고, 상기 운전 기간 동안 발생하는 상기 외부 환경에 대한 상기 차량의 자동화된 운전 행동에 관련된 운전 이벤트를 나타내는 센서 데이터를 발생시키도록 구성된다. 상기 프로세서는 상기 외부 환경에서 상기 차량의 상기 감지된 자동화된 운전 행동과 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 모델을 비교하기 위해 상기 운전 기간 동안 상기 센서 데이터를 처리하고; 상기 감지된 자동화된 운전 행동이 상기 예상되는 자동화된 차량 운전 행동으로부터 문턱 값을 넘어 벗어나는 경우 위험한 운전 이벤트로 식별하고; 위험한 운전 이벤트가 감지되는 경우, 상기 위험한 운전 이벤트의 발생에 대해 상기 운전자에게 경고하기위해 상기 인터페이스를 통해 경고를 발생시키도록 구성된다.
유리하게, 상술한 바와 같은 장치의 제공은 차량의 운전자 또는 사용자가 차량이 자율 주행 모드에 있을 때 정확하게 동작하도록 보장할 수 있게 한다. 장치는 차량의 동작에 대해 더욱 중요한 방식으로 반응할 수 있도록, 외부 차량 이벤트 및 위협과 관련하여 낮은 수준의 허용을 가지도록 구성될 수 있다. 추가의 독립적인 경고 시스템을 가짐으로써, 사용자는 자신이 안전하며 별도의 시스템에 의해 차량의 동작이 검토 및 체크되고 있음을 알 수 있어 편안할 수 있다. 이에 관하여, 모니터링 장치는 차량 자체를 제어하는 데 아무 역할도 하지 않으나 오히려 필요시 운전자에게 경고하여 스스로 제어(즉, 차량을 운전자의 제어로 되돌리면서 차량의 자율 동작 모드를 중단)하도록 한다. 이 장치는 차량 동작에 대한 운전자 자신의 감독에 더하여 가외의 보안 레벨을 추가한다. 따라서, 사용자는 절대적으로 필요하지 않는 한 차량에 덜 관여할 수 있다. 일부 상황에서, 장치에 의해 제공되는 추가의 보안은 낮은 보험료로 이어질 수 있다.
이상은 반자율주행 차량 및 자율 동작을 말하였으나, 상기 장치는 차량이 수동으로 운전되는 경우 및 사용자가 운전자가 아닌 경우의 설정에도 이용될 수 있다. 예를 들어, 승차 공유 상황에서, 상기 장치는 운전자의 운전이 요구되는 기준에 도달하는 지 확인하는 데 이용될 수 있다.
상기 적어도 하나 센서는 근접 센서를 포함할 수 있다. 상기 근접 센서는 적외선 센서, 카메라, 및/또는 초광대역 센서를 포함할 수 있다. 상기 센서 세트는 적어도 하나의 외부 날씨 모니터링 센서를 포함할 수 있다. 상기 적어도 하나의 외부 날씨 모니터링 센서는 기압계 및/또는 주변 광 센서를 포함할 수 있다. 상기 센서 세트는 적어도 하나 위치 센서를 포함한다. 상기 적어도 하나 위치 센서는 자이로스코프, 자력계, 고도계, 지리위치 센서, 또는 가속도계를 포함할 수 있다. 상기 센서 세트는 오디오 센서를 포함한다. 상기 센서 데이터는 오디오 신호를 포함할 수 있다. 이들 센서 중 일부는 특정 측정 값을 도출하려 촬영된 영상을 처리하기 위해 상기 장치의 프로세서에 의해 실행되고 있는 소프트웨어 알고리즘 및 상기 장치의 카메라의 결합에 의해 구현될 수 있음을 이해할 수 있을 것이다. 예를 들어, 근접 센서는 일부 실시예에서 외부 환경에서 차량의 영상을 촬영하는 카메라와 상기 영상 내에서 차량의 표현 크기로부터 차량의 근접도를 판단하는 알고리즘에 의해 구현될 수 있다. 다른 예들은 소프트웨어 프로그램을 이용하여 카메라에 의해 촬영된 영상의 밝기 함수로서 주변 광을 판단하는 주변 광 센서를 포함한다.
일부 실시예에서, 휴대용 모니터링 장치는 모니터링 장치에 사용자 인터페이스를 제공하는 (스마트폰과 같은) 개인 통신 장치에 대한 로컬 무선 통신링크를 포함한다. 이는 유리하게 휴대용 모니터링 장치의 크기 및 비용을 줄이고, 대부분 운전자가 스마트폰을 소유한다는 사실을 활용한다. 그러나, 다른 실시예에서, 휴대용 모니터링 장치는 사용자 인터페이스를 포함할 수 있고, 일부 실시예에서 다운로드 가능한 앱으로 프로그램된 스마트폰 자체일 수 있다. 이 대안은 상기 장치가 자체적으로 제공될 필요가 없고 차라리 운전자의 범용 스마트폰이 다운로드 가능한 소프트웨어에 의해 모니터링 장치로 작동하도록 단순히 구성될 수 있어 비용을 더욱 줄일 수 있다.
상기 인터페이스는 일부 실시예에서 터치스크린 및 스피커를 포함할 수 있다. 상기 인터페이스는 일부 실시예에서 헤드업 디스플레이를 생성하도록 상기 차량의 (앞유리와 같은) 표면 상에 영상을 투사하도록 구성된 프로젝터를 포할 수 있다.
선택적으로, 상기 모니터링 장치는 원격 서버와 통신하는 무선 통신 엔진을 포함하는 통신 장치이고, 상기 무선 통신 엔진은 상기 차량이 주행하는 상기 외부 환경에 대한 정보를 수신하도록 구성된다.
선택적으로, 상기 차량의 자율 행동을 학습하고 모델링하기 위한 신경망으로서 동작하도록 구성되는 인공지능(AI) 엔진을 포함하고, 상기 프로세서는 상기 AI 엔진에 작동 가능하게 연결된다.
상기 AI 엔진은 예상되는 차량 운전 행동을 모델링하도록 훈련되는 신경망을 포함할 수 있다. 상기 신경망은 현재 운전 기간 이전에 상기 차량의 수동 및/또는 자동화된 동작으로부터 수집된 센서 데이터를 이용하여 훈련될 수 있다. 상기 현재 운전 기간 이전에 수집된 상기 센서 데이터는 위험한 운전 이벤트가 식별되지 않았던 하나 이상의 운전 기간에서 감지되는 것으로 인증된 데이터일 수 있다. 상기 신경망 및 센서 데이터에 기초하여, 상기 AI 엔진은 상기 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 상기 모델을 생성하도록 구성될 수 있다.
선택적으로, 상기 프로세서는 상기 특정 운전 이벤트에 대한 문턱 값을 결정하고; 상기 감지된 자동화된 운전 행동 및 상기 특정 운전 이벤트에 대한 예상되는 자동화된 차량 운전 행동의 상기 모델 간의 비교가 편차가 발생했음을 나타내는 경우, 상기 편차가 상기 문턱 값을 넘는 지를 판단하기 위해 상기 편차 및 상기 문턱 값을 비교한다.
상기 문턱 값은 상기 운전 이벤트, 및 상기 운전자의 반응 시간; 상기 차량의 자율성 레벨; 상기 차량의 상태; 도로 유형; 날씨 조건; 및 하나 이상의 사용자 설정으로 구성되는 그룹에서 선택되는 적어도 하나의 다른 매개변수에 기초하여 결정될 수 있다. 상기 적어도 하나 다른 매개변수가 상기 운전자의 반응 시간을 포함하는 경우, 상기 센서 세트는 상기 차량의 내부 환경을 감지하는 적어도 하나 센서를 포함할 수 있다. 상기 프로세서는 상기 차량의 상기 내부 환경을 감지하기 위한 상기 센서로부터의 현재 및/또는 과거 센서 데이터를 기반으로 하여 상기 운전자의 반응 시간을 판단하도록 구성될 수 있다. 상기 운전 이벤트는 차량 기동을 포함하는 경우, 상기 문턱 값은 상기 기동 중 차량 속도; 상기 기동 중 차량 제동; 및 상기 기동 중 차량 조향 각 중 하나 이상에 기반할 수 있다. 상기 운전 이벤트는 다른 차량과의 상호작용을 포함하는 경우, 상기 문턱 값은 상기 상호작용 중 하나 또는 각 차량 속도; 상기 상호 작용 중 차량 제동, 상기 다른 차량의 근접; 상기 다른 차량의 주행 방향; 상기 다른 차량의 위치; 상기 다른 차량이 동작하는 것으로 인식되거나 자율적으로 동작할 수 있는 지 여부; 및/또는 상기 다른 차량의 행동 중 하나 이상에 기반할 수 있다.
상기 프로세서는 상기 특정 운전 이벤트에 대한 분류 체계를 결정; 상기 분류 체계에 기반하여 상기 예상되는 자동화된 운전 행동으로부터 상기 감지된 자동화된 운전 행동의 편차에 값을 할당; 및 상기 값을 상기 소정의 문턱 값과 비교하도록 구성될 수 있고, 상기 문턱 값은 상기 분류 체계 상의 값이다. 상기 분류 체계는 복수의 이산 범주 값들을 포함할 수 있다. 상기 분류 체계는 값들의 연속 수치 척도를 포함할 수 있다.
복수의 문턱 값이 위험한 운전 이벤트를 식별하기 위해 마련될 수 있다. 각각의 문턱 값은 상이한 경고 신호에 대응할 수 있다.
선택적으로, 상기 센서 세트는 상기 차량의 내부 환경을 감지하는 적어도 하나 센서를 포함한다. 상기 센서 세트는 상기 운전 기간 동안 상기 차량의 상기 내부 환경을 모니터링 하고, 상기 운전 기간 동안 상기 운전자의 현재 집중 상태를 나타내는 센서 데이터를 생성하도록 더 구성될 수 있다. 상기 프로세서는 상기 외부 환경에서 상기 반자율주행 차량의 현재 동작에 대하여 상기 운전자의 요구되는 집중 상태를 판단; 상기 운전자의 상기 현재 집중 상태와 상기 운전자의 상기 요구되는 집중 상태를 비교; 및 상기 현재 집중 상태가 상기 요구되는 집중 상태로부터 문턱 값을 넘어 벗어나는 경우 경고 신호를 생성하도록 구성될 수 있다. 상기 요구되는 집중 상태는 하나 이상의 차량 매개변수에 기초하여 판단될 수 있다. 상기 하나 이상의 차량 매개변수는 상기 차량의 자율성 레벨, 차량 속도, 차량 점유 레벨, 및/또는 자율주행 차량의 동작 품질을 포함할 수 있다. 상기 요구되는 집중 상태는 하나 이상의 외부 환경 매개변수에 기초하여 판단될 수 있다.
상기 하나 이상의 외부 환경 매개변수는 도로 유형, 도로 품질, 교통 밀집, 날씨 유형, 상기 환경이 얼마나 도시 또는 시골인지의 분류, 주변에서 다른 차량의 운전 행동, 및/또는 하나 이상의 위험한 운전 이벤트 및/또는 다른 위협들의 존재를 포함할 수 있다.
상기 프로세서는 위험한 운전 이벤트가 검출되는 경우, 상기 차량의 수동 제어 재개가 그 이전에 필요한 시점을 판단하고, 늦어도 상기 시점 이전에 상기 경고 신호를 생성하도록 구성될 수 있다.
일부 실시예에서, 상기 장치는 다운로드 가능한 애플리케이션에 의해 구성될 수 있는 스마트폰이다.
이하에서, 첨부된 도면을 참조하여, 본 발명의 실시예들을 단지 예시로서 설명한다, 여기서 첨부된 도면은:
도 1a는 공지된 반자율주행 차량 시스템의 개략도이고;
도 1b는 공지된 반자율주행 차량 시스템의 개략도이고;
도 2a는 본 발명의 실시예에 따른 이동 통신 장치가 통합된 반자율주행 차량 시스템의 개략도이고;
도 2b는 본 발명의 실시예에 따른 이동 통신 장치가 통합된 반자율주행 차량 시스템의 개략도이고;
도 3은 본 발명의 실시예에 따른 도 2b의 이동 통신 장치의 개략도이고;
도 3a는 도 3의 이동 통신 장치에 이용되는 한 세트의 센서들의 개략도이고;
도 4는 도 3의 이동 통신 장치의 설정 방법을 도시한 흐름도이고;
도 5 내지 도 10은 도 3의 이동 통신 장치를 이용하는 도 4의 방법 중에 수집된 모니터링 데이터를 분석하는 방법을 도시한 흐름도이고;
도 11은 경고가 요구되는 지를 식별하는 도 5 내지 도 9의 방법 중 하나에 뒤이어 도 3의 이동 통신 장치를 이용하여 사용자에게 경고하는 경고 방법을 도시한 흐름도이다.
선행 기술에 대한 설명
도 1a는 반자율주행 차량 정보 교환을 위한 공지된 시스템(10)을 도시한다. 시스템(10)은 자율 시스템 컨텐츠 제공 서버(16)에 무선으로 연결되고 내부에 마련된 자율 시스템(14)을 갖는 반자율주행 차량(12)을 포함한다. 통신 네트워크(18)는 인터넷과 같은 광역 네트워크이다. 차량(12)과 서버(16) 간의 통신은 3G/4G/5G 같은 적절한 무선 통신 프로토콜을 이용 또는 예를 들어 함께 무선 메시 네트워크를 구성하는 일련의 Wi-Fi 로컬 영역 (Wi-Fi 핫스팟)을 통한 통신 네트워크(18) 전체에 걸쳐 허용된다.
도 1a에 대한 설정의 제공하기 위하여, 도 1b에 반자율주행 차량(12)이 더욱 상세하게, 개략적으로 도시되어 있다. 다음 단락들은 도 1a와 도 1b를 모두 참조한다. 도 1b의 차량(12)은 4개의 바퀴(20, 도 1b에는 2개 도시)와, 종래의 방식으로 배열된 내부(22)를 갖는다. 내부(22)는 한 세트의 앞 좌석(24), 한 세트의 뒷 좌석(26), 및 대시보드(30)에 장착된 핸들(28)을 갖는 것으로 도시되어 있다. 내부(22)는 가속 및 브레이크 페달과 같은 차량(12)을 수동으로 조작하기 위해 사용자가 사용하는 것들, 및 표시등, 앞 유리 와이퍼 조작기, 또는 헤드라이트 버튼과 같은 보조 동작 스위치들을 포함하는, 여기에 도시된 것 외에 다른 구성들도 포함하고 있음을 알 수 있을 것이다. 차량(12)의 운전자(이하 사용자(32)라고 함)는 앞 좌석(24)에 앉는다. 본 출원에서 언급된 바와 같은 사용자(32)는 차량(12)의 조작자, 특히, 수동 제어가 요구될 때 차량(12)을 수동으로 제어하는 조작자이다. 차량(12)의 내부(22)는 다르게 배치될 수 있다.
자율 시스템(14)이 차량(12)에 마련된다. 자율 시스템(14)은 특정 환경 및 상황에서 자율 주행과 같이, 차량(12)에 특정한 자율 또는 반자율 기능을 제공하기 위해 해당 차량(12)에 통합된다. 자율 시스템(14)은 복수의 차량-장착 센서(34)(예를 들어, 카메라 및 근접 센서) 및/또는 엔진 관리 시스템(36)(차량의 상태 및 이동에 관한 복수의 매개변수를 생성)으로부터 센서 데이터를 수신하고, 내부적으로 또는 자율성 컨텐츠 제공 서버(16)와 같은 원격 시스템으로부터의 데이터를 참조하여 차량(12)의 동작을 제어하기 위해 수신한 데이터를 활용한다. 따라서, 차량(12)은 반자율적이고, 국제 SAE 척도에서 적어도 레벨 2의 자율성이 할당될 수 있다. 이에 따라, 자율성이 허용된 상태에서, 사용자는 차량(12)을 수동으로 조작할 필요가 없다.
자율 시스템(14)에 의한 반자율주행 차량(12)의 자율 동작에 관련된 명령 및 데이터는 도 1a에 도시된 바와 같이 통신 네트워크(18)를 통해 무선으로 교환된다. 이와 관련하여, 자율 시스템(14)은 통신 네트워크(18)를 통해 자율 시스템 컨텐츠 제공 서버(16)와의 통신을 위한 내장형 무선 송신기 및 수신기 (미도시)를 갖는다. 반자율주행 차량(12)은 그 환경을 감지하고 자율 시스템(14)을 이용하는 환경과 관련하여 센서 데이터를 수집할 수 있다. 차량(12)은 수집된 센서 데이터에 기초하여 야기되는 상황에 응답한다. 응답(예를 들어, 차량 제어 응답)은 가장 짧은 반응 시간 동안 자율 시스템(14) 내에서 보통 로컬에서 결정되지만, 특정 유형의 응답에 대해서는, 상황이 즉각적인 시간-결정적 응답을 요구하지 않는 다면, 원격 처리 시스템에서 원격으로 판단될 수 있다. 자율 시스템 컨텐츠 제공 서버(16)는 원격 처리 시스템이고, 그 명령에 따라 차량이 자율 시스템(14)이 동작할 수 있다. 예를 들어, 원격 처리 시스템은 교통 정보에 접속하여 및 앞으로 다가올 교통을 예측하기 위하여 차량 속도 조정을 수행하라는 명령을 생성할 수 있다. 덧붙여, 자율 시스템 컨텐츠 제공 서버(16)는 매핑 정보와 같은, 자율 시스템(14)에 의해 차량(12) 내에서 로컬에서 결정이 내려질 수 있도록 자율 시스템(14)에 정보를 제공할 수 있다. 반자율주행 차량(12)에서 자율 시스템(14)에 의해 수집된 데이터는 분석 또는 추후 이용을 위해 자율성 컨텐츠 제공 서버(16)에 업로드 될 수 있다.
본 실시예에는 오직 하나의 반자율주행 차량(12)이 도시되어 있지만, 복수의 다른 반자율주행 차량들(미도시)이 일반적으로 통신 네트워크를 통해 제1 컨텐츠 제공 서버와 통신한다. 다른 실시예로, 복수의 완전 자율주행 차량 또한 마련된다. 마찬가지로, 다른 실시예로, 복수의 자율성 컨텐츠 제공 서버가 마련되어, 각각 다른 세트의 반자율주행 차량과 연결된다.
모든 반자율주행 차량 (즉, SAE 레벨 1 내지 4)에서, 사용자는 특정 상황에 (예를 들어, 자율 시스템이 그 입력에 기초하여 실수를 한 경우에) 차량의 수동 제어가 가능해야 하고, 주의를 기울여 이러한 수동 오버라이드 (override) 제어를 제공할 준비가 되어 있어야 한다. 이 정의는 여기에서 채택될 것이다: 반자율주행 차량은 수동으로 및 자율적으로 모두 작동될 수 있는 차량이다. 낮은 레벨에서, 사용자는 예를 들어 (차량 또는 사용자에 의해) 오류가 발생했거나 또는 위험한 운전 상황을 방지하기 위해 수동 제어가 요구된다고 판단될 때 제어를 다시 가져오기 위해 차량의 동작을 모니터링해야 한다. 그러나, 반자율주행 차량의 자율성 레벨이 높을수록, 사용자가 차량을 제어하는 자율 시스템을 더욱 신뢰함에 따라 일반적으로 사용자는 운전상황에 대해 관심을 덜 주게 된다. 그러나, 바로 이것이, 사용자에게 인식되지 않는 반자율주행 차량의 실수가 큰 위험이 되고, 그 결과 차량이 사고 또는 충돌을 일으킬 수 있다는 문제를 야기한다.
본 실시예의 상세한 설명
본 실시예들은 공지된 반자율주행 차량의 이러한 문제를 극복하는 것에 관한 것이다. 반자율주행 차량이 자율적으로 동작하고 있을 때 반자율주행 차량의 동작 및 사용자의 행동에 대한 관리를 제공하기 위하여, 독립적인 감독 모니터링 시스템이 제공된다. 모니터링 시스템은 그 자체의 센서 세트 및 그 센서 세트로부터 수신된 데이터를 처리할 수 있는 능력을 갖는 휴대용 이동 통신 장치로 구현된다. 이에 대한 비제한적인 예는 예를 들어 스마트폰일 수 있다. 휴대용 이동 통신 장치는 차량에 제거 가능하게 마련되어 해당 차량의 자율 시스템을 모니터한다. 휴대용 장치는 사용시 차량에 (예를 들어, 홀더 또는 마운트를 통해) 탈착 가능하게 부착 또는 고정되며, 휴대용 이동 통신 장치가 그 센서를 이용하여 차량 주변의 환경을 모니터할 수 있도록, 일반적으로 앞유리에 위치한다. 일부 실시예에서, 휴대용 이동 통신 장치는 반자율주행 차량이 자율 시스템에 의해 구동되고 있는 운전 기간 동안 스마트폰이 모니터링 시스템으로서 동작하도록 구성하는 다운로드 된 애플리케이션을 실행하는, 전방 및 후방 카메라가 있는 스마트폰을 포함한다. 스마트폰 실시예가 이후 더 자세하게 설명된다.
유리하게, 감독 모니터링 시스템에 의한 관리는 차량의 자율 동작에 영향을 주지 않고 자율 시스템의 동작에 의해 결정되는 것보다 더 중요하고 위험을 조심할 수 있다. 본 실시예는 차량에 구축된 자율 시스템과 비교하여 차량 위험 및 운전 이벤트에 대해 더 높은 정도의 주의를 가능케 한다. 이는 감독 모니터링 시스템이 운전 환경의 주의 깊은 시각을 유지하고 사용자의 안전한 동반자로 역할을 하는 데 있어 추가적인 안전 층을 추가할 수 있도록 한다. 덧붙여, 이러한 반자율주행 차량 및 자율 시스템에 적용가능한 표준이 현재는 없으나, 본 실시예는 독립적인 비전매 특허의 시스템을 이용하는 다른 차량들에 통합된 다른 전매의 시스템 모두를 모니터링하는 방법을 제공한다. 즉, 감독 모니터링 시스템은 차량의 자율 동작을 모니터하고, 그 자율성이 위험한 운전으로 이어지지 않도록 작동할 수 있다. 위험한 운전 이벤트가 식별되면, 시스템은 그 통합된 센서 세트 및 인터페이스를 이용하여 사용자에게 경고한다.
이에 따라, 본 실시예는 모든 제조사들이 그들의 독립적인 자율 시스템 개발을 변경할 것을 요구하지 않고, 자율 및 반자율주행 차량에서 모든 자율 시스템에 걸쳐 일관된 표준을 제공하는 유리한 방법을 제공한다. 다른 안전 층이 자율 시스템에 구축될 수 있기 때문에 추가의 이점이 달성되며, 이는 결국 차량 보험료른 낮추거나 줄일 수 있게 한다. 또한, 사용자는 자신의 감각으로 수집할 수 있는 데이터와 독립적인 감독 모니터링 시스템에 의해 수집된 데이터를 모두 독립적으로 모니터링할 수 있다면 차량의 자율성에 있어 더 높은 레벨의 신뢰를 느낄 수 있다.
감독 모니터링 시스템이 도 2a 및 도 2b에 도시되어 있다. 도 2a는 반자율주행 차량 정보 교환을 위한 시스템(38)을 도시한다. 시스템(38)은, 도 1a의 공지된 시스템과 공통적으로, 자율 시스템 컨텐츠 제공 서버(16)에 무선으로 연결된, 자율 시스템(14)이 내부에 마련된 반자율주행 차량(12)을 포함한다. 통신 네트워크(18)는 인터넷과 같은 광역 네트워크이다. 차량(12)과 서버(16) 간의 통신은 3G/4G/5G 같은 적절한 무선 통신 프로토콜을 이용 또는 예를 들어 함께 무선 메시 네트워크를 구성하는 일련의 Wi-Fi 로컬 영역 (Wi-Fi 핫스팟)을 통한 통신 네트워크(18) 전체에 걸쳐 허용된다. 도 2a가 도 1a와 다른 점은 통신 네트워크(18)를 통해 감독 시스템 컨텐츠 제공 서버(42)에 무선으로 연결된 자율주행 차량(12) 내에 감독 시스템(40)이 또한 제공된다는 것이다.
적절한 경우, 차량(12)의 동작 및 차량(12)이 자율적으로 동작할 때 사용자의 행동과 관련하여 감독 모니터링 시스템(40)에 의해 수집된 모니터링 데이터는 통신 네트워크(18)를 통해 교환된다. 감독 모니터링 시스템(40)은 수집된 모니터링 데이터를 로컬에서 분석 및/또는 원격 분석을 위해 (특히, 더 큰 처리 능력이 요구되는 경우) 감독 시스템 컨텐츠 제공 서버(42)에 수집된 데이터 전달한다.
감독 시스템(40)은 사용자(32) 앞, 즉, 차량(12)의 앞유리에 자율주행 차량(12)에 착탈 가능하게 장착되는 것으로 도 2b에 도시되어 있다. 자율 시스템(16), 내장 센서(34), 엔진 관리 시스템(36) 및 사용자(32) 또한 도 1b와 관련하여 도시되고 설명된 것과 같은 방식으로 도 2b의 차량(12) 내에 도시된다. 그 장착(44)으로부터, 감독 모니터링 시스템(40)은 차량(12)의 내부, 차량(12)의 외부 환경, 및 외부 환경 내에서 차량(12)의 일반적인 자율 동작 중 하나 이상을 모니터링한다. 일반적으로, 외부 환경을 모니터링하는 것은 차량(12)의 주행 전방을 모니터링하는 것을 포함하지만, 일부 실시예에서, 차량(12)의 측면, 차량(12)의 후방, 및 차량(12)의 하부에 대한 외부 환경 또한 적절한 하드웨어를 이용하여 모니터링될 수 있다. 추가의 하드웨어 이용 및 시스템의 모니터링 하드웨어는 도 3 및 도 3a와 관련하여 추후 논의한다.
그 감독 역할에 있어서, 감독 모니터링 시스템(40)은 사용자(32), 차량(12), 또는 자율 시스템(14)으로부터 독립적인 차량의 자율 동작의 연속성에 위험을 줄 수 있는 반자율주행 차량(12)의 적어도 하나의 측면을 모니터링한다. 여기에서 감독 모니터링 시스템(40)의 독립성을 논할 때, 이는 감독 모니터링 시스템(40)이 자율 시스템(16)으로부터의 입력 또는 출력 없이, 별도로 데이터를 모니터링하고 분석한다는 것을 의미한다. 모니터링 의무를 제공하는 것에 더하여, 감독 모니터링 시스템(40)은 또한 요구에 따라 식별된 위험에 대한 사용자의 주의를 끌기 위하여 경고를 제공한다. '사용자' 및 '운전자'라는 용어는 본 명세서 전체에 걸쳐 호환 가능하게 이용되었다.
감독을 제공하기 위해, 감독 모니터링 시스템(40)은 잠재적인 위험을 모니터링하기 위한 센서 데이터를 활용한다. 감독 모니터링 시스템(40)은 위험을 판단하기 위해 감독 모니터링 시스템(40)에 의해 이용되는 관련 데이터를 서로 다른 센서 세트가 제공하는 적어도 2개의 작동 모드 중 하나 이상에서 자율 시스템(16)을 분석하도록 동작할 수 있다. 감독 실시예 또는 감독 구성 (동작 모드)에서, 감독 모니터링 시스템(40)은 자율 시스템(16)으로부터 완전히 분리되어 있다. 이러한 모드에서, 감독 모니터링 시스템(40)은 차량(12)의 내장형 센서(34)의 일부가 아닌 한 세트의 센서로 데이터를 수신하고, 자율 시스템(14)의 일부가 아닌 처리 및 통신 시스템을 이용하여 데이터를 처리하고 전달한다. 즉, 동작의 감독 모드에서, 감독 모니터링 시스템(40) 및 자율 시스템(14)은 동일한 시스템 또는 데이터를 전혀 공유하지 않는다. 대안적으로, 확인 실시예 또는 상술한 감독 모니터링 실시예에 대한 확인 구성 (동작의 모드)에서, 감독 모니터링 시스템(40)은 수신한 데이터를 기초로 자율 시스템(14)이 내린 결정이 예상하는 바와 같은 지 확인하기 위해 자율 시스템에 의해 수신된 데이터를 모니터링 및 분석하면서, 관찰자의 역할을 할 수 있다. 이러한 실시예에서, 감독 모니터링 시스템(40) 및 자율 시스템(14)은 데이터 스트림을 공유하지만, 데이터를 처리하고 전달하는 것은 별도로 동작한다. 이렇게 하기 위해서, 감독 모니터링 시스템(40)은 일부 측면에서 차량(12)과 인터페이스하도록 구성된다. 일부 실시예에서, 감독 모니터링 시스템(40)은 USB 포트를 통해 또는 온보드 진단 (on-board diagnostics, OBD) 포트를 이용하여 차량(12)과 연결된다. 아래의 설명에서, 감독 모니터링 시스템은 전자(감독 모니터링 실시예)이고, 및 자율 시스템으로부터 완전히 독립적인 것으로 가정하지만, 같은 개념이 후자 시스템(확인 실시예)에 동일하게 적용될 수 있음을 이해할 수 있을 것이다.
감독 모니터링 시스템(40)은 차량 하드웨어에서 실행되는 소프트웨어 및/또는 전용 모듈을 갖는 별도의 하드웨어로서 차량(12)에 통합 및/또는 맞춤형 소프트웨어를 실행시킬 수 있다. 위의 비제한적인 예에서, 감독 모니터링 시스템은 휴대용 전자 모니터링 장치를 포함하고, 특히, 이 실시예에서, 스마트폰과 같은 휴대용 통신장치(여기서 이동 통신 장치 또는 모바일 장치라고도 함)를 포함한다. 이러한 모바일 장치는 관련 감독 기능을 제공할 수 있도록 하는 전용 기능 모듈 및/또는 다운로드된 맞춤형 소프트웨어(애플리케이션)을 갖는다. 감독 모니터링 시스템의 일부로서 모바일 장치를 제공하는 것은 차량-불가지론 뿐만 아니라 자율 시스템으로부터의 독립을 가능하게 한다. 즉, 차량 동작의 독립적인 감독을 제공하기 위해 모든 반자율주행 차량에 모바일 장치가 구성될 수 있다. 모바일 장치는 요구되는 감독 기능 및 경고 기능이 감독 모니터링 시스템의 역량에서 작용 가능하게 하는 센서 및 출력 하드웨어를 제공한다. 모바일은, 사용자에 의해 휴대가 가능하고 간단한 방식으로, 즉, 아무 사용자나 차량에서 제거 가능할 수 있으며, 제거를 위해 숙련된 기술자가 필요하지 않은 장치를 의미한다.
이러한 형태의 감독 지원을 위해 모바일 장치를 이용하려면 충분한 감지, 처리 및 경고 하드웨어가 적절한 형태로 제공되어야 한다. 모바일 장치가 사용자 개인의 스마트폰이라면, 사용자는 장치를 항상 휴대하기 쉬우므로, 시스템은 모든 원하는 차량에서 비교적 쉽게 사용자에 의해, 예를 들어, 차량(12)의 대시보드에 장착된 스마트폰 홀더에 장치를 두어 설정될 수 있다. 시스템의 장점들은 이후 도면과 관련하여 설명되는 특징과 관련하여, 아래에 더 설명할 것이다.
도 3에 도시된 바와 같이, 모바일 장치(50)의 예는 모니터링 시스템(54)에 연결된 메인 프로세서(52)를 포함한다. 모니터링 시스템(54)은 외부 환경 모니터링 프로세서(54a), 사용자 모니터링 프로세서(54b), 및 차량 모니터링 프로세서(54c)의 형태로 서브 프로세서들을 포함한다. 사용 중, 모니터링 시스템(54)은 모바일 장치(50)가 감독 모니터링 시스템(40)으로서 작용할 수 있도록 메인 프로세서(52)를 통해 도 3에 도시된 모바일 장치(50)의 다른 모듈들과 상호작용한다. 모니터링 시스템(54)은 센서들(56) 및/또는 모바일 장치(50)의 다른 모듈들로부터 데이터를 수신하고, 수신한 데이터를 분석한다. 모니터링 시스템(54)에 의해 수행된 분석 및 메인프로세서(52)로 생성되어 전송된 결과에 기초하여, 메인 프로세서(52)는 취해질 차량(12)의 반자율 운전에 대한 조치를 결정한다.
모바일 장치(50) 내에서, 메인 프로세서(52)는 또한 경고 시스템(58), 내비게이션 시스템(60), 사용자 인터페이스(62), 통신 엔진(64), 및 데이터 저장부(66)와 통신한다. 경고 시스템(58)은, 이 실시예에서, 그 내장형 사용자 인터페이스(62)를 이용하여 모바일 장치(50)가 감각적 경고를 발생시키도록 제어 신호를 생성하기 위한 신호 발생기(미도시)를 포함한다. 이 감각적 경고는 모바일 장치(50)의 햅틱 모터를 통한 모바일 장치(50)의 진동, 모바일 장치(50)의 스피커로부터 생성된 청각적 경고, 및/또는 사용자의 주의를 끌기 위해 깜박이는 조명과 같은, 모바일 장치(50)의 디스플레이의 특정 조명에 의해 생성되는 시각적 경고일 수 있다. 다른 실시예에서, 모바일 장치(50)는 사용자 인터페이스를 갖지 않을 수 있고, 대신 (스마트폰과 같은) 사용자의 개인 이동 통신 장치의 사용자 인터페이스를 모바일 장치(50)와 인터페이스하는 데 이용할 수 있다. 이러한 실시예에서, 개인 사용자 스마트폰은 예를 들어, 블루투스(Bluetooth®) 연결을 통해, 모바일 장치에 무선으로 동작 가능하게 연결될 수 있다.
도 3의 모바일 장치(50)는 복수의 상이한 센서(56)를 갖는다. 모바일 장치(50)의 센서(56)가 선택되는 센서 세트(68)가 도 3a에 도시된다. 센서(70)의 코어 세트가 도 3a에서 점선으로 표시된다. 센서의 코어 세트(70)는 하나 이상의 카메라(72), 하나 이상의 마이크(74), 하나 이상의 가속도계(76), 자이로스코프(78), 및 내비게이션 시스템(60)의 센서들: 모바일 장치(50)의 현재 위치를 판단하기 위한 GPS 수신기와 같은 위치 결정 센서(80); 및 지리적 나침반(82) 또는 모바일 장치(50)의 자력탐지 센서를 이용한 나침반 기능을 포함한다. 지상 무선 측위 시스템, 도플러 효과를 이용하는 위치 센서, 또는 Wi-Fi 핫스팟 위치 센서와 같이 다른 형태의 지리적 위치 결정 센서가 마련될 수 있다. 점선 밖의, 모바일 장치(50)의 비코어 센서는 해발 고도 위에서 장치(50)의 위치를 판단하기 위한 고도계(84)를 포함한다. 이는 모바일 장치(50)의 지리적 위치 판단에 도움을 주고, 또한 외부 날씨 조건들을 더 잘 이해할 수 있도록 돕는다. 또 다른 센서는 기압계 센서(86)로, 모바일 장치(50)에 의해 경험되고 있는 현재 대기압을 표시하여 외부 날씨 조건들을 판단하고 확증하도록 다시 지원한다. 주변 광 센서(88)는 이용 가능한 주변 광에서 현재 가시성으로 인한 안전 문턱 값들의 조정을 돕는 외부 조명 조건들을 판단하도록 구성될 수 있다. 적외선 근접 센서(90)는 차량(12)에 있는 대상의 존재를 탐지하거나, 예를 들어, 열악한 주변 조명 조건에서 후방 (차량과 관련하여) 카메라들에 의해 촬영된 차량(12)의 운전자의 위치 영상들을 확증할 수 있다. 하나 이상의 초광대역(ultra-wide band, UWB) 센서(92)가 센서(들)의 시야 내에서 물체들(차량(12) 근처에 존재하는 물체, 예를 들어, 다른 차량 또는 물체, 뿐만 아니라 차량(12)에 존재하는 탑승자)을 탐지하도록 마련된다. 분명히, UWB 센서(92)가 지향성임에 따라, 차량(12)의 내부 및 차량(12)의 외부가 모두 모니터링 되어야 한다면, 2개의 UWB 센서(92)가 반대 방향을 향하도록 요구될 것이다. 펄스 레이더 전송 및 반사를 이용하는 하나 이상의 UWB 센서(92)를 사용하는 것은, 카메라에 의해 촬영되는 시각적 이미지와 달리, 주변 조명 조건에 민감하지 않기 때문에 유리하다. 반면, 카메라 기반의 기술은 어두운 환경에서 수행될 수 없다.
도 3a에 도시된 상술한 센서 세트(68)는 본 발명의 다른 실시예에서 상이한 조합으로 제공될 수 있다. 센서들의 코어 세트(70)가 도 3a에서 점선으로 표시되어 있으나, 고도계(84) 또는 기압계(86)의 이용은 일부 실시예에서 필요치 않다. 마찬가지로, 촬영된 카메라 영상으로부터 영상 처리 알고리즘을 이용하여 주변 광 레벨 검출이 가능하기 때문에, 주변 광 센서(88) 및 IR 근접 센서(90)는 일부 실시예에서 선택사항이다. 마지막으로, 센서의 코어 세트(70)와 함께 UWB 센서(92)의 이용 또한 다른 실시예에서 선택사항이지만, 차량(12)의 외부 및 내부 모두에서 약한 빛 또는 열악한 가시성 조건에서 물체 위치를 판단할 때 상당한 이점을 제공한다.
일반적으로 센서(56)와 감독 모니터링 시스템(40)의 모니터링 역량을 고려할 때, 적어도 감독 모니터링 시스템(40)에 의해 모니터링되는 것은 차량(12)의 주행 전방에서의 외부 환경이다. 가능하면, 감독 모니터링 시스템(40) 차량(12)의 주행 후방 및/또는 차량(12)의 양측에서 외부 환경을 모니터링 하도록 구성될 수도 있다. 감독 모니터링 시스템(40)이 모바일 장치(50)에 통합되는 경우, 차량(12)과 관련된 상이한 영역들을 모니터링 하는 능력과 같은, 추가의 모니터링 역량은 무선으로 아니면 원래의 모바일 장치(50)에 연결하는 추가의 모바일 장치를 제공함으로써 달성된다. 예를 들어, 감독 모니터링 시스템(40)이 차량(12)의 측면에 대해 외부 환경을 모니터링하도록 구성된 실시예에서는, 측면을 향한 카메라 모듈이 운전자 및 조수석 창을 통해 외부 환경을 모니터링하기 위한 모바일 장치(50)에 연결된다. 감독 모니터링 시스템(40)이 차량(12)의 후방에 대해 외부 환경을 모니터링하도록 구성된 실시예에서는, 카메라 모듈이 차량(12)의 후방에 대한 감독을 제공하기 위해 후방 윈드스크린 근처 차량(12) 내부에 장착된다. 측방 및 후방 카메라 모듈들은 추가의 모바일 장치에 통합될 수 있다. 더욱이, 감독 모니터링 시스템(40)이 현대의 스마트폰처럼 같은 방향을 향하고 시야가 다른 다수의 카메라를 가지는 경우, 상이한 카메라들에 의해 촬영된 영상들은 감독 모니터링 시스템에 의해 다른 목적을 위해 사용된다. 예를 들어, 광각 렌즈를 가진 카메라는 넓은 시야를 가질 것이고 따라서 옆을 향하는 카메라들 없이도 차량(12)의 측면에서 외부 활동을 촬영할 수 있을 것이다. 마찬가지로, 망원 렌즈 (줌 렌즈)는 전방 유리 또는 대시보드에 장착된 감독 모니터링 장치의 후방 카메라(차량을 기준으로)가 차량(12)의 후방 윈드실드를 통해 차량(12) 뒤 외부에서 발생하는 활동을 보는 상황에서 유용하다.
도 3으로 돌아가, 사용자 인터페이스(62)는 사용자로 하여금 모바일 장치(50)에 명령을 입력할 수 있게 하고, 사용자에게 감각적 경고와 같은 정보의 출력을 가능하게 한다. 통신 엔진(64)은 도 2a에 도시된 바와 같이, 통신 네트워크(18)를 통해 모바일 장치 감독 모니터링 시스템(40) 및 컨텐츠 제공 서버(42) 간의 통신을 가능하게 한다.
대안적 실시예 또는 추가적으로, 데이터 저장부(66)는 메인 프로세서(52) 상에서 실행되었을 때 모바일 장치(50)가 감독 모니터링 시스템(40)으로서 작용하도록 하는 모니터링 소프트웨어 프로그램을 저장한다. 예를 들어, 앱스토어(App Store®)와 같은 컨텐츠 제공자로부터 다운로드 가능한 애플리케이션 또는 '앱(app)'이 실행가능한 모니터링 소프트웨어 프로그램으로서 저장되고, 사용자에 의해 실행되도록 선택될 수 있다.
도 3에 도시된 본 실시예는 신경망으로서 동작하도록 구성되는 전용 인공지능 (artificial intelligence, AI) 프로세서(94) 또한 포함한다. AI 엔진이라고도 하는, AI 프로세서(94)는 자율 시스템(14)에 의해 수행되는 자율 주행 기간 동안 센서(56)에 의해 생성되는 데이터를 분석하기 위해 이용된다. 주행의 패턴 및, 특히, 어떻게 자율 시스템이 상이한 운전 이벤트들(본 차량 앞에서 갑자기 차선을 변경하는 다른 차량과 같은)에 반응하는 지가 모니터링될 수 있고, 어떻게 이 차량의 자율 시스템(14)이 작동하는 지를 설명하는 모델 (미도시)이 결정될 수 있다. 이 모델은, 특히, 중대한 운전 이벤트가 발생했을 때 어떻게 자율 시스템이 동작하는 지에 대해 구축되어, 어떻게 자율 시스템(14)이 반응할 것인지 예측하는 데 이용된다. 이 후, 이러한 모델은 반자율주행 차량(12)에서 메인 프로세서(52)에 의해 예측 모델로서 이용되어, 감독 모니터링 시스템(40)이 사용자에게 개입하도록 경고를 생성할 필요가 있는 지, 아니면 가능한 것보다 더 일찍 판단한다. 경고는 더 일찍 생성되는 데, 왜냐하면 감독 모니터링 시스템(40)이 예측 모델을 이용하고 자율 시스템(14)이 취하는 액션에 반응하기 보다는 자율 시스템(14)이 무슨 액션을 취할 지에 대한 예측에 따라 작동하기 때문이다. 덧붙여, 반자율 주행의 경우, 사용자가 사건에 개입하는 반응 시간들을 모니터링하여 주어진 사건에 대해 가능한 반응 시간을 결정하는데 이용할 수 있다. 다른 사용자들은 다른 반응 시간을 가지므로, 이에 따라 경고 생성 타이밍을 조절할 수 있는데, 예를 들어, 반응이 느린 운전자를 위해 경고 생성을 앞당길 수 있다. 모바일 장치(50)에서 만들어진 이 차량(12)의 훈련된 AI 모델은 필요하면 추후 이용 및 보관을 위해 감독 시스템 컨텐츠 제공 서버(42)에 업로드될 수 있다. AI 엔진은 신경망을 포함하고 신경망으로서 동작한다. 신경망은 차량의 동작 중 수집된 데이터를 이용하여 차량 행동을 모델링하도록 훈련된다. 데이터가 수집되는 동작은 자율 동작 또는 수동 동작일 수 있다. 어느 상황이든, 사용자는 사용자 인터페이스를 통해 데이터가 수집되었던 주행 기간 동안, 위험하거나 예기치 않은 주행 이벤트가 발생하지 않았음을 확인해야 할 것이다. 즉, 훈련 중에, 사용자는 훈련 운전 기간의 시작을 확인하기 위해 차량에 있다. 사용자는 훈련 운전 기간 동안 쭉 차량의 동작에 (수동 동작인 경우 평소와 같이 또는 자율 동작인 경우 자율동작에) 주의를 기울인다. 훈련 운전 기간의 끝에서, 장치는 훈련 운전 기간 동안 수집된 데이터가 신경망을 훈련하기에 적합한지를 사용자에게 확인 및 검증을 요청한다. 사용자가 적합하다고 확인하면, AI 엔진은 수집된 데이터에 기초하여 신경망을 업데이트한다. 그렇지 않으면, 데이터는 폐기된다. 사용자는 차량 소유자 또는 기술자일 수 있다. 일부 상황에서, 신경망은 동일한 유형의 차량으로부터 수집된 데이터로 훈련되고, 동작하고 있는 차량의 유형을 입력하는 사용자에 기초하여 장치에 다운로드 될 수 있다.
도 3의 모바일 장치(50)가 예로서 제시되고, 다른 실시예에서는, 모바일 장치(50)가 도면에 도시되지 않은 추가의 모듈을 통합 및/또는 추가의 모듈에 연결되어 감독 모니터링 시스템(40)의 동작을 더욱 향상시킨다는 것을 알 수 있을 것이다. 예를 들어, 차량 앞유리에 헤드업 디스플레이를 생성하도록 구성된 프로젝터 또는 모바일 장치(50)의 양측에서 모바일 장치(50)와 쌍을 이루는 2 세트의 조명과 같은, 추가의 경고 모듈이 사용자에게 위험의 실시간 추적을 제공할 수 있다. 이러한 추가의 모듈은 모바일 장치(50)에 통합, 즉 일체화되거나, 모바일 장치(50)가 장착되는 크래들 혹은 홀더에 통합되거나, 또는 차량(12)의 어딘가 다른 곳에 통합될 수 있다.
감독 모니터링 시스템(40)은 하나 이상의 감독 프로세스에 따라 작동되고, 그 예가 도 4 내지 도 11의 흐름도에 마련된다. 도 4 내지 도 11의 프로세스 각각은 도 3에 도시된 감독 이동 통신 장치(50)와 관련하여 설명되지만, 이 프로세스들은 모든 형태의 감독 모니터링 시스템(40), 특히 휴대용 시스템에 적용될 수 있음을 알 수 있을 것이다.
도 4는 장치 설정을 위한 A에서 시작하는 예비 방법을 도시한 흐름도이다. 방법(400)의 제1단계에서, 모바일 장치(50)는 차량(12)에 단계(402)에서 구성된다. 단계(402)에서 모바일 장치(50)의 구성은 적어도 하나의 구성 프로세스를 포함한다. 다양한 구성 프로세스가 아래에서 논의된다.
일 구성 프로세스에서, 모바일 장치(50)는 정확하고 완전한 모니터링을 가능하게 하기 위해 차량(12)에 위치하여 구성된다. 이러한 프로세스에서, 모바일 장치(50)가 스마트폰인 경우, 프로세스는 크래들 또는 홀더를 이용하는 차량(12)에 모바일 장치(50)를 착탈가능하게 장착하는 것을 포함하여, 모바일 장치(50)의 후방 카메라가 차량(12)의 외부를 향하고 장치 화면과 함께 모바일 장치(50)의 전방 카메라가 차량(12)의 내부와 특히 사용자를 향한다 (차량(12)에 대해 후방을 향함). 크래들 또는 홀더를 위한 적절한 위치는 예를 들어, 차량의 대시보드 또는 전방 앞 유리 상에 있을 수 있다. 도 2b는 차량(12)의 내부뿐만 아니라 전방 도로가 잘 보이는 전방 앞 유리 근처에 위치한 모바일 장치(50)가 가능한 하나의 위치를 도시한다.
또 다른 구성 프로세스에서, 구성(400)은 센서(56)를 보정하고 정확하게 위치하는 것을 보장하기 위해 모바일 장치(50) 상에서 구성 프로세스를 실행하는 것을 포함한다. 모바일 장치(50)의 어느 부분이든 잘못 구성되면, 사용자에게 구성을 바로잡으라는 지시가 제공된다. 모바일 장치(50)는 차량(12)의 외부 환경을 향하도록 위치한, 장치(50)의 후방 카메라(72)로부터 수신된 영상을 분석한다. 영상의 분석은 주행 표면 및 차량(12)에 대한 모바일 장치(50)의 방향 및 각도가 맞는지 그리고 추후 처리에서 오류를 일으킬 수 있는 영상(즉, 카메라의 시야)에서의 장애물이 없는 지를 판단하기 위하여 수행된다. 마찬가지로, UWB 센서(92)가 사용된다면, 결과를 왜곡할 수 있는, 시야의 일부를 가리는 물체가 (예를 들어 대시보드에) 없도록 이를 구성하는 것이 중요하다. 모바일 장치(50)는 차량(12)의 사용자를 향하도록 구성된 모바일 장치(50)의 전방 카메라로부터 획득한 영상들을 분석할 수 있다. 분석은, 예를 들어, 영상에서 핸들 상에 사용자의 손이 명확히 보이는 지, 장애물이 없는 것으로 판단될 뿐만 아니라 영상에서 사용자의 얼굴이 명확하게 보이는 지를 판단한다. 사용자를 식별 및 추적하기 위해 후방 카메라에 의해 획득한 영상에서 안면 인식이 이용될 수 있고, 안면 인식은 촬영된 영상이 AI 프로세서(94)가 훈련된 사전에 저장된 세트의 영상과 일치하는 지를 판단하는 AI 프로세서(94)를 이용할 수 있다. 이는 특히 사용자가 안면 인식을 위한 카메라와 완벽하게 일치하지 않을 수 있음에 따라 유용하고, 이에 사용자를 식별하기 위해 부분 영상과 함께 AI 프로세서(94)의 이용이 특히 유용하다. 사용자 또한 차량(12)의 동작 중 외부 환경을 볼 필요가 있으므로, 사용자가 차량 창문들을 통해 매우 방해받지 않는 시야를 가질 수 있게 모바일 장치(50)가 구성(위치)되며, 예를 들어, 모바일 장치(50)는 사용자가 전방 도로를 볼 수 있으므로 사용자의 주변 시야에 있는 장소에 있을 수 있다.
추가 구성 프로세스에서, 구성은 데이터 입력 단계를 포함한다. 데이터 입력 단계에서, 감독 모니터링 시스템을 정확한 차량에 대해 구성하고 차량(12) 내에서 모바일 장치(50)의 설정을 구성하기 위해 매개변수가 사용자 또는 자동으로 설정된다. 차량 유형, 차량 자율성 레벨, 차량(12) 내에서 사용자에 대한 모바일 장치(50)의 상대적 위치, 요구되는 감독 수준, 사용자의 신원, 모든 승객의 신원, 목적지 및/또는 차량(12)의 예상 경로와 같은 매개변수들이 설정되어, 모바일 장치(50)가 그 동작을 설정에 맞출 수 있다. 대응하여, 모바일 장치(50)는 이러한 매개변수들 중 하나 이상에 따라 수신된 정보를 어떻게 처리할 지 맞춘다. 예로써, 설정된 차량 유형에 응답하여, 감독 모니터링 시스템(40)은 감독 시스템 컨텐츠 제공 서버(42)와 통신하여 해당 차량 유형, 해당 차량(12)이 동작하는 자율성의 유형, 및 특정 상황에서 어떻게 차량이 반응하기 쉬운지에 대한 모든 관련 정보에 관련된 데이터에 접속한다. 이에 관하여, 차량(12)이 동작하는 자율 시스템(14)의 유형은 차량 제조사에 의해 제공되는 소정의 정보로부터 또는 감독 시스템 컨텐츠 제공 서버(42)에 업로드된 사전에 다른 사용자에 의해 생성된 AI 모델을 검토함으로써 이용가능 하다. 모바일 장치(50)는 (모바일 장치(50) 자체 또는 자율 시스템 컨텐츠 제공 서버로부터의) 자신의 저장된 데이터에 접속하여, 해당 차량(12)의 동작을 사전에 감독했었는 지 여부와 기록된 사전 예에서 차량(12)의 동작에 관한 모든 세부 사항을 판단한다. 모바일 장치(50)는 차량의 동작이 예측되지 못하였거나 오작동이 일어났던 경우의 예를 소환한다. 이 정보는 또한 이전에 모바일 장치(50)에서 생성되었고 감독 시스템 컨텐츠 제공 서버(42)에 업로드된 이 차량(12)의 훈련된 AI 모델 내에서 이용 가능하다. 이에 따라, 모바일 장치(50)에 아직 없다면, 이 정보는 감독 시스템 컨텐츠 제공 서버(42)로부터 다운로드될 수 있다.
또 다른 구성 프로세스는 운전 기간 동안 모바일 장치(50)의 하나 이상의 특징들을 비활성화시키는 것을 포함한다. 이 프로세스의 일부 실시예에서, 하나 이상의 특징들을 비활성화시키는 것은 사용자가 다른 곳에 주의를 돌리지 않도록 알림 수신, 또는 사용자의 민감한 데이터가 적절히 보호되도록 특정 위치로의 데이터 통신과 같은 모바일 장치(50)의 기능들을 자동으로 비활성화시키는 것을 포함한다. 이와 달리 또는 추가적으로, 비활성화는 자신의 선호도에 따라 비활성화될 특성 및/또는 활성화될 특성을 사용자가 식별하는 것을 포함한다. 경고의 볼륨, 경고의 유형, 또는 그래픽 사용자 인터페이스의 배열과 같은, 기타 사용자 선호도 또한 이 단계에서 개별 설정 조정, 소정의 프로파일 활성화, 등을 통해 구성될 수 있다.
구성은 차량(12)이 동작을 시작하기 전(운전 기간의 시작 이전)에 수행되는 것이 바람직하나, 차량(12)이 자율적으로 동작하는 동안 수행될 수도 있다. 모바일 장치(50)는 차량(12)이 자율적으로 동작하는 동안 재구성될 수 있다. 일부 실시예에서, 모바일 장치(50)는 사용자가 차량(12) 안에 있다고 자동으로 판단하여, 사용자에게 자율 시스템(14)에 대한 감독 기능이 수행되기를 원하는 지 여부를 확인하도록 요청한다.
모바일 장치(50)가 차량(12)에 구성되고 나면, 새로운 운전 기간이 개시되고, 이는 단계(404)에서 감독 모니터링 시스템(40)에 의해 판단된다. 새로운 운전 기간이 개시되어 감독 모니터링 시스템(40)에 의해 판단되면, 모바일 장치(50)는 차량(12)의 작동 상태에 대한 모니터링을 제공하고, 이에 따라 사용자에게 경고하기 위해 수신한 모니터링 데이터를 분석하는 메인 기능을 시작한다.
새로운 운전 기간의 시작은 단계(404)에서, 사용자가 새로운 운전 기간이 시작되었음을 사용자 인터페이스를 통해 모바일 장치(50)에 물리적으로 알리거나 모바일 장치(50)가 운전 기간의 시작을 식별하는 자동 기능에 의해 판단된다. 모바일 장치(50)의 자동 판단은 차량(12) 내 장치의 구성을 성공적으로 완료함, 식별되는 차량(12)의 운전 기간의 시작을 가리키는 움직임, 소정 속도의 차량(12)의 움직임, 장치에 대한 차량(12) 내 사용자의 존재, 및/또는 운전 기간이 시작되고 있음을 가리키는 기타 표시들에 기초하여 수행될 수 있다. 예를 들어, 자동 판단을 위하여, 모바일 장치(50)는 모바일 장치(50)의 가속도계를 통해, 차량(12)의 전방가속이 있음을 감지한다. 장치가 새로운 운전 기간의 시작을 자동으로 감지하는 경우, 소정 레벨 이상의 차량(12)에 의한 이러한 가속은 새로운 운전 기간이 시작되었음을 가리키는 표시로 받아들여진다.
단계(404)에서 새로운 운전 기간의 시작이 판단된 이후, 단계(406)에서 모바일 장치(50)는 모니터링 데이터를 수집한다. 모니터링 데이터는 하나 이상의 자체 센서(56)를 이용하는 모바일 장치(50), 내비게이션 시스템(60), 사용자 인터페이스(62), 통신 엔진(64), 및 연결된 외부센서와 같은 모든 기타 데이터-수신 모듈에 의해 수집될 수 있는 모든 데이터이다. 모니터링 데이터의 수집이 단계(406)에서 시작되고, 프로세스에서 추후 단계들의 각각 동안 모니터링 데이터의 수집이 계속될 것으로 예상된다. 즉, 모니터링 데이터는 운전 기간 중 계속해서 수집된다.
모니터링 데이터의 예로 다음 중 하나 이상을 포함한다: 전방 및/또는 후방 카메라(72)로부터 획득한 정적 영상 및/또는 동영상, 하나 이상의 UWB 센서(92)로부터 획득한 레이더 데이터, 하나 이상의 마이크(74)로부터 획득한 소리 데이터, 모바일 장치(50) 내 하나 이상의 가속도계(76)로부터 가속 데이터, 모바일 장치(50) 내 나침반(82), GPS 시스템(80), 또는 자이로스코프 (78), 고도계(84) 또는 기타 센서로부터 수집된 상대적 및 절대적 방향, 고도, 및 위치를 포함하는 위치 데이터, 통신 네트워크(18)를 통해 획득된 교통 정보 및/또는 날씨 정보, 기압계(86)로부터 날씨 데이터, 및 도로용 속도 제한 데이터와 같은 위치 및 도로 주변의 지역의 인구 통계 또는 유형과 관련된 데이터. 지역의 인구 통계 또는 유형에 관련된 모니터링 데이터를 수신하는 것은 차량(12)에 의해 경험되는 위험 또는 위협의 유형을 이해하는 데 중요하다. 지역 유형은 위험 유형에 접속하는데 유용하다. 모니터링 데이터의 이러한 유형은 전형적으로 외부 소스로부터 모바일 장치(50)로 수신된다. 외부 소스로부터 수신되는 모니터링 데이터의 다른 예는, 예를 들어, 사용자의 심박수와 같은, 사용자(운전자)의 생체 매개변수를 판단하기 위한 스마트워치와 같은 웨어러블 장치 또는 차량(12) 내 연결된 기타 장치로부터의 데이터를 포함한다.
단계(406)에서 모니터링 데이터의 수집은 모바일 장치(50)가 단계(408)에서 도 5 내지 10에 각각 도시된 프로세스 B, C, D, E, F, 또는 G로 표시된 바와 같이 하나 이상의 분석 프로세스를 수행하는 것을 허용한다. 분석 프로세스 B 내지 G 각각은 상이한 모니터링 기능을 제공하고, 모니터링 소프트웨어 프로그램을 구현하는 메인 프로세서(52) 및/또는 AI 프로세서(94)에 의해 수행된다. 프로세스들의 일부 구현에서, 장치(50)의 일부 또는 전부, 특히, AI 프로세서(94), 메인 프로세서(52), 및 모니터링 시스템(54)은 방법의 결과를 전달하고 적절한 분석을 수행하기 위해 동기화되어 작동할 수 있다. AI 프로세서(94)는 특히 차량의 동작 분석 및 자율 시스템과 비교될 차량(12)에 의해 수행되는 기대 동작의 시뮬레이션에 이용된다. 사용 중, AI 프로세서(94)는 차량(12)을 제어할 수 없는 처리 능력에 있어서, 자율 시스템(14)과 동등하거나 실질적으로 동등한 것으로 고려될 수 있다.
분석 프로세스 B 내지 G는 상호 배타적이지 않으므로 임의의 조합으로 동시에 또는 개별적으로 수행될 수 있다. 프로세스들이 동시에 수행될 때, 분석의 계층, 즉, 어떤 프로세스가 우선순위를 갖는 지는 모바일 장치(50)가 안전을 우선시하고 데이터 전달 및 이용 가능한 처리 능력을 최적화하는 것을 보장하도록 구현될 수 있다. 선택적 프로세스 B 내지 G와 선택적 경고 프로세스 H (도 11) 중 하나 이상이 운전 기간이 종료될 때까지 반복적으로 수행될 것으로 예상된다. 위에서 운전 기간 시작이 어떻게 사용자에 의해 또는 자동으로 표시되는 지에 대해 설명하였다. 마찬가지로, 운전 기간의 종료는 사용자가 모바일 장치(50)를 통해 종료되었다고 나타낼 때 결정되거나, 모바일 장치(50)가 센서 데이터의 수집을 통해 차량(12)이 비활성화 되었음, 즉, 활성적으로 주행 되지 않음, 예를 들어, 정지 또는 점화가 꺼졌음을 감지하였을 때 자동으로 결정될 수 있다.
도 4의 프로세스에 이어질 수 있는, 도 5와 도 6의 분석 프로세스 B와 C는, 일반적으로, 차량(12)의 내부 또는 일반적인 동작과 반대로 차량(12)의 외부 환경이 모니터링되는 방법들이다.
외부 환경은 차량(12)이 필요에 따라 구동되는 동안 위협 또는 위험을 식별하고 이러한 위협에 대해 사용자에게 경고하기 위해 모니터링 된다. 자율 시스템(14)이 작동하는 기간 동안의 모니터링이 특히 관심있으나, 감독 모니터링 시스템(40)이 작동하는 기간은 사용자가 반자율주행 차량(12)에서 수동으로 운전할 때에도 전체 운전 기간을 커버할 수 있다. 이는 예를 들어 사용자가 운전 중 집중을 못하여 운전에 대한 집중이 최선이 아닌 경우에 사용자에게 경고하는 이점이 있다. 이러한 경우, 감독 모니터링 시스템(40)이 위험을 식별하면, 감독 모니터링 시스템(40)은 사용자에게 적절한 조치를 취하도록 경고할 수 있다.
도 5에서, 도 4의 프로세스 다음, 모바일 장치(50)는 단계(502)에서, 단계(408)에서 수집된 모니터링 데이터를 분석한다. 이 단계(502)에서 분석이 수행되어 차량(12)에 대한 외부 환경의 위협이 식별된다.
이어서, 단계(508)에서 식별된 위협/위협의 식각성이 사용자가 경고를 받기에 충분한지 판단한다. 그렇다면, 단계(510)에서 경고 프로세스가 시작된다. 예시적인 경고 프로세스(510)가 문자 H로 나타내어 도 11에 마련되고, 이후 논의될 것이다. 위협이 경고를 요할 정도로 심각하지 않다면, 모바일 장치(50)에서 실행되는 프로세스는 단계(502)로 돌아가 수집된 데이터의 분석을 계속한다.
단계(502)에서, 위협의 식별은 바람직하게 외부환경과 관련된 모니터링된 데이터를 분석하고, 외부 환경의 물체 또는 특징 및 물체가 취하고 있는 행동을 식별하고, 하나 이상의 물체 또는 특징이 위협을 이루는 지 판단하는 것을 포함한다.
단계(504)에서 위협의 분류는 일반적으로 얼마나 빨리 조치가 취해져야 하는 지에 따른다. 예로 든 분류는 다음의 세 가지 수준의 위협을 포함한다: 모니터링되고 있는 차량(12)의 앞에서 선회하는 다른 차량과 같은 즉각적인 위협, 적극적으로 모니터링되고 있는 차량(12)에 대해 불규칙하게 작동하지만 아직 위험하게 작동하는 것은 아닌 다른 차량의 식별과 같은 중기적인 위협; 및 적극적으로 모니터링되고 있는 차량(12)과 관련하여 도로를 따라 교통 밀집의 식별과 같은 장기적인 위협. 위협의 식별은 위치, 도로 유형, 도로 표면 품질, 차량 유형, 차량 자율성 레벨, 현재 속도, 가속도, 주행 방향, 점유 또는 차량(12)의 다른 동작 매개변수, 및/또는 하루 중 시간, 계절, 교통 데이터, 또는 도로 품질과 같은 기타 측면들과 같은 다양한 차량 및 환경적 매개변수에 따른다.
단계(506)에서, 위협 수준은 분류된 개별 위협에 기초하여 판단된다. 실시예에서, 위협의 분류 및 판단은 위협과 관련하여 수신된 데이터의 분석에 기초하여 위협 수준을 각 특징 또는 물체에 할당하고, 모니터링되고 있는 차량(12)에 대한 위험에 대응하는 값을 외부 환경에서 식별되는 각 개별 측면에 할당하는 것을 포함한다. 따라서, 전반적인 위협 수준은 전반적인 위협 수준이 외부 환경에 할당될 수 있도록 값들의 합, 평균 및/또는 최대치와 같이, 개별 측면에 할당되는 모든 값들의 함수이다. 실시예에 따르면, 위협 수준은 운전 기간의 시작 시 기본 기준 레벨로부터 시작하여, 새로운 개별 위협이 식별될 때마다 위협 수준을 증가시키고, 개별 위협이 통과한 것으로 식별될 때 위협 수준을 감소시킴으로써 결정된다. 위협 수준을 증가시키거나 감소시키는 값은 위협의 분류에 좌우된다. 다른 실시예에 따르면, 위협 수준은 모바일 장치(50)에 적용된 예측 메커니즘에 의해 결정되고, 이에 의해 잠재적인 결과가 식별되고 위협의 수준이 결과의 가능성에 기초하여 할당된다. 이러한 예측 결과는 AI 프로세서(94)에 의한 이용 및 분석을 통해 미리 결정되었거나 결정된다. 일부 실시예에서, 위협 수준은 소정의 시나리오의 식별에 의해 할당된다.
일부 예에서, 감독 모니터링 시스템(40)은 주변 차량이 수동으로 또는 자율적으로 작동되고 있는 지를 식별하고, 이러한 데이터에 기초하여 위협을 식별한다 - 수동으로 작동되는 차량이 자율적으로 작동하는 차량보다 위협을 가할 가능성이 높으므로 자율적으로 작동하는 차량보다 높은 수준 또는 범주로 식별된다. 차량 추적 데이터는 이러한 판단을 내리고 위협을 식별하는 데 이용된다. 감독 모니터링 시스템(40)은 다음과 같은 하나 이상의 차량 추적 동작을 수행하도록 구성 가능하다: 다른 차량들의 수 및 밀도를 판단하여 다른 차량들의 수 및 밀도가 평균 값보다 크면 위협으로 판단하고; 주변 차량의 속도를 식별하여 일반적으로 또는 해당 지역의 속도 제한과 관련하여 차량의 속도에 기초하여 위협을 판단하고 - 모든 차량이 제한 속도 이상으로 주행한다면, 위협 수준이 환경에 할당된 것보다 높음; 고속도로 설정에서, 시간이 흐름에 따라 특정 차량의 행동을 추적하여 해당 차량이 불규칙적으로 행동하는 지 식별한다. 차량은 도로에서 가장 일반적이지만, 다른 물체도 또한 때때로 존재한다; 감독 모니터링 시스템(40)은 일부 실시예에서 센서 데이터를 활용하여 동물 또는 쓰레기와 같은, 도로에서 차량 아닌 이물질을 식별하고 이들을 위협으로 분류하도록 구성된다. 날씨와 그 강도에 대해서도 마찬가지이며, 이는 위협 수준에 할당될 수도 있다.
위협의 식별이 다양한 환경과 차량 매개변수들에 좌우되는 것과 같은 방식으로, 동일한 매개변수들 중 하나 이상이 위협 수준을 분류 및/또는 할당하는 데 이용될 수 있다.
단계(508)에서, 위협이 사용자에게 경고되어야 하는 지 판단된다. 이는 경고 조건을 설정함으로써 수행된다. 위협 수준이 이용되는 경우, 경고 조건은 위협 수준의 값이 비교되는 조건 및/또는 매개변수의 소정의 문턱 값 또는 한 세트의 문턱 값을 포함한다. 위협들이 분류되는 경우, 경고 조건은 특정 범주 위험의 식별 또는 범주 내 소정 개수의 위협을 식별 및/또는 일시적인 위협, 즉, 소정의 기간 동안 지속된 위협의 유형의 식별을 포함한다. 일부 실시예에서, 경고 조건은 차량(12)의 동작 매개변수에 기초한 가중치를 포함한다. 높은 차량 밀집은 고속으로 주행하는 차량보다 정차된 차량에 대해 위험이 적을 수 있어, 상이한 센서 매개변수의 조합이 경고 조건을 정의하는데 이용될 수 있다. 경고 조건은 차량의 데이터 저장부에 저장된 소정의 위협 또는 시나리오의 식별을 포함한다. 또한 위협 수준이 비교될 복수의 경고 조건들을 제공할 수도 있다. 이는 도 11과 관련하여 더욱 상세하게 논의될 것이다.
외부 환경에서 위협을 식별하는 것에 더하여, 차량의 내부도 잠재적인 위협을 제공한다. 도 6에 도시된 내부 모니터링 프로세스(600)는 식별된 모든 위협에 대응하기에 사용자의 행동이 적절한지를 확인하기 위해 감독 모니터링 시스템(40)의 센서를 이용하여 사용자를 모니터링한다. 즉, 프로세스(600)는 제공하는 경고를 더욱 맞게 만들기 위해 외부 환경과 차량(12) 내부 모두를 모니터링하는 프로세스이다.
외부 환경 및 차량(12)의 내부(내부 환경)와 적어도 관련되어 수집된 모니터링 데이터가 단계(602)에서 분석되어 위협 및 사용자 행동을 식별한다. 위협 수준의 판단은 여기서 별도의 단계, 단계(604)에 도시된다. 도 5의 단계들(502, 504, 506)과 관련하여 상술한 위협 수준의 판단은 이 프로세스(600)에서 위협 수준의 판단에 적용될 수도 있다.
도 6의 단계(604)에서 위협 수준이 판단되면, 단계(606)에서 위협 수준에 적합하게 요구되는 사용자 경고가 판단된다. 즉, 감독 모니터링 시스템(40)은 사용자가 위협 또는 식별된 위협 수준에 적절히 대응하기 위해 어떻게 사용자가 행동해야 하는지 식별한다.
동시에, 감독 모니터링 시스템(40)은 단계(608)에서 차량(12)의 내부와 관련하여 수집된 모니터링 데이터를 분석하여 현재 사용자 경고를 판단한다. 일례로, 후방(차량의 주요 이동 방향을 기준으로) 카메라는 사용자를 모니터링하는 데 이용된다. 영상의 분석 또는 카메라에 의해 획득된 영상의 시퀀스는 감독 모니터링 시스템의 사용자 모니터링 프로세서에 의해 다음과 같은 사용자 경고(주의)를 나타내는 데이터(기표)의 패턴을 식별하기 위해 분석된다: 차량(12) 내 사용자의 위치; 사용자의 신체 위치; 사용자가 향하는 방향; 사용자가 눈을 뜨고 있는 지 감았는 지 여부; 사용자의 눈이 초점을 맞추고 있는 경우 (뜨고 있다면); 사용자의 손이 어디에 있는 지 그리고 핸들 위에 있는 지 여부; 책, 모바일 장치(50), 음식, 또는 음료와 같은, 사용자가 상호작용하는 아이템; 차량(12)에 다른 승객들이 있는 지 및 사용자가 그 다른 승객들과 상호 작용하는 지; 사용자가 눈을 깜빡이는 속도; 사용자가 경고에 물리적으로 반응하는 데 걸리는 속도; 하품 및 얼마나 자주 사용자가 하품을 하는 지; 및 사용자의 가슴 영상 분석에 기초한 호흡율. 사용자의 모니터링은 감독 모니터링 시스템의 마이크에 의해서도 수행될 수 있다. 감독 모니터링 시스템의 마이크로부터의 소리 데이터는 다음과 같은 사용자 경고의 기표를 판단하기 위해 분석된다: 사용자의 호흡율; 사용자가 다른 승객들과 이야기하고 있는 지 여부; 사용자가 경고에 음성으로 응답하는 지 여부. 일부 예에서, 사용자가 외부 환경에 주의를 기울이고 있는 지 여부를 판단하기 위하여 음성을 인식하고 대화 주제를 파악하도록 소리데이터가 분석된다. 감독 모니터링 시스템(40)은 사용자 경고의 기표를 식별하기 위해 차량(12) 내에 다른 장치들로부터 수신된 데이터를 분석할 수도 있다. 웨어러블 장치(미도시)로부터의 데이터는 사용자의 심박수, 호흡율, 땀 흘림, 카페인 수준, 알코올 수준, 및/또는 혈중 산소 수준과 같은, 사용자의 생체 매개변수를 식별하기 위해 분석될 수 있다.
여기에서는 사용자 경고로서 설명되었지만, 사용자 경고는 차량(12) 내에서 사용자가 얼마나 빨리 작업을 수행할 수 있는 지 여부, 특히, 경고 조건의 발생에 응답하여 사용자가 얼마나 빨리 차량(12)의 수동 제어로 돌아갈 수 있는 지에 영향을 줄 수 있는 사용자의 행동의 모든 측면을 아우르는 것으로 생각된다. 예를 들어, 사용자가 자신의 발을 페달에 올리고 손은 차량(12)의 핸들에 두며 도로에 주의를 집중하고 있는 보통의 운전 위치에 있다면, 사용자는 수동 제어를 매우 빠르게 재개할 수 있다고 고려될 것이다. 따라서, 감독 모니터링 시스템(40)은 일부 사용자들이 상대적으로 경고로 결정되더라도 올바른 방식으로 경고에 즉각적으로 반응하지 않을 수 있음에 따라, 전반적인 경고를 결정하기 위하여, 예를 들어 AI 프로세서를 이용하여 이전에 사용자가 경고에 어떻게 반응했는 지를 저장한 예들을 이용할 수 있다. 더욱이, 각각의 사용자는 경고에 대해 상이한 반응 시간을 가질 것이므로 이전 응답 시간들에 대한 약간의 이해는 사용자가 예를 들어 운전 위험을 피하기 위해 제시간에 반응하도록 감독 모니터링 시스템(40)에 의해 얼마나 일찍 경고가 발생될 필요가 있는 지를 판단하는데 도움이 될 수 있다.
이에 따라, 사용자 경고는 경고 레벨 또는 값에 있어서, 또는 수동 제어로 돌아가거나 다른 업무를 수행하기 위해 기대되는 반응 시간에 있어서 분류될 수 있다. 또한, 위에서 설명한 기술은 단계(606)에서 판단된, 요구되는 사용자 경고의 판단에도 적용될 수 있다.
단계(606, 608)에서 위협 수준에 대해 요구되는 사용자 경고 및 실제 사용자 경고 모두 결정되고 나면, 감독 모니터링 시스템(40)은 단계(610)에서 비교를 수행하여 현재의 경고가 요구되는 경고를 충족시키는 지 판단한다.
사용자 경고가 요구되는 레벨을 충족시키지 못 한다면, 내부모니터링 프로세스(600)가 단계(510)에서 도 11의 과정 H와 같은 경고 과정을 진행한다. 사용자 경고가 요구되는 레벨인 경우, 프로세스(600)는 단계(602)의 분석 단계로 되돌아가, 요구사항이 계속 충족되도록 사용자 경고와 위협을 계속 모니터링한다.
일부 실시예에서, 사용자의 행동 및 경고를 수동적으로 모니터링하기 위해 감독 모니터링 시스템의 센서로부터의 센서 데이터를 이용하는 대신, 감독 모니터링 시스템(40)은 사용자가 정확한 경고 레벨에 있도록 사용자 인터페이스를 통해 사용자로부터 입력을 요구한다. 이러한 장치에서, 위협 수준에 대해 요구되는 경고가 결정되고 사용자로부터의 입력에 대한 감독 모니터링 시스템(40)으로부터의 요청에 대한 사용자 응답에 기초한다. 예를 들어, 사용자는 사용자 인터페이스를 통해 상호작용하거나 경고 및 주의를 나타내기 위해 특정 문구를 말함으로써 주기적으로 감독 모니터링 시스템(40)에 '체크인' 해야 한다. 사용자가 소정의 시간 제한 내에 요구되는 방식으로 감독 모니터링 시스템(40)과 상호작용하지 못하면, 사용자의 현재 경고는 위협 수준에 대해 요구되는 사용자 경고를 충족하지 못한다고 판단된다.
사용자 행동을 고려할 때, 일부 상황에서 사용자는 상이한 위협이 발생할 때 안전하게 수동 제어를 재개할 수 없음에 따라 사용자 자신의 안전을 위협하거나, 차량(12)을 위협하는 형태로, 내부 위협을 유발하는 안전하지 않은 행동에 관여한다. 외부 환경에서 위협 또는 위험이 식별되지 않을지라도, 사용자가 경고를 유지하고, 최소한, 차량 내부에서 차량(12)의 계속되는 동작에 위험이 될 수 있는 임의의 행동에 관여하지 않는 것이 중요하다. 이에 따라, 도 7에 도시된 프로세스 D (700)는 사용자 행동을 모니터링하고 해당 사용자 행동이 안전한지 여부를 판단한다.
프로세스 D (700) 사용자 행동을 판단하기 위해, 단계(702)에서 수집되어 분석되는 모니터링 데이터와 함께 개시된다. 사용자 행동은 일반적으로 도 6의 프로세스 C (600)에서 사용자 경고가 판단되는 것과 동일한 방식으로 식별되지만, 사용자 행동의 임의 분류도 이용될 수 있음을 이해할 수 있을 것이다. 특히, 차량(12)의 내부를 모니터링하는 감독 모니터링 시스템(40)의 센서들로부터 수집된 데이터는 사용자가 어떻게 행동하는 지를 식별하기 위해 이용된다. 사용자의 행동에는 도 6 또는 도 7에서 분류된 경고의 레벨인 안전하지 않은 행동과 함께, 범주 또는 행동 레벨이 할당될 수 있다.
프로세스(700)는 단계(704)에서, 사용자의 행동이 안전한지 그렇지 않은 지 여부를 판단하는 감독 모니터링 시스템(40)과 함께 계속된다. 사용자의 행동이 안전하다고 판단되면, 프로세스(700)는 단계(702)로 되돌아가, 사용자행동의 모니터링 및 분석이 계속된다. 단계(704)에서 사용자의 행동이 안전하지 않다고 판단되면, 도 11의 경고 프로세스 H (510)가 시작되거나, 다른 경고 프로세스가 시작된다.
안전하지 않은 행동의 분류는, 비제한적인 실시예에서, 차량(12)의 자율성 레벨에 좌우된다. 예를 들어, 레벨 4 차량에서 운전 기간 동안 특정 횟수로 책을 읽는 사용자는 안전하지 않은 행동으로 분류되지 않지만, 레벨 2 차량에서는 이러한 행동이 용인할 수 있지 않다고 분류된다. 모든 레벨의 차량에서 수면, 안전벨트 미착용, 음주와 같은 일부 동작들은 일반적으로 금지된다.
도 7에 도시된 프로세스(700)는 차량(12)을 작동시기키 위해 사용자가 안전한지 여부를 식별하기 위해 다른 모든 프로세스가 수행되기 전에 수행되지만, 적절히 아무 때나 수행될 수 있음을 예상할 수 있을 것이다.
사용자는 안전하지 않은 방식으로 행동할 수 있는 유일한 개체가 아니다; 차량(12) 또한 안전하지 않은 방식으로 행동할 수 있다. 자율 시스템에 의한 불규칙적이거나 위험한 차량 제어는 안전하지 않은 행동을 구성할 수 있다. 실제 운전 결과가 예상 운전 결과와 다른 경우 위험한 운전 이벤트가 발생 했는 지 판단할 수 있게 차량 행동 및 차량이 경험하는 운전 이벤트를 모니터링하는 것은 감독 시스템의 특권이다. 이러한 데이터에 기초하여, 시스템은 이 행동을 차량 오작동의 결과로 볼 수 있다. 도 8에 도시된, 프로세스 E(800)은 차량의 자율 동작에서 기대되는 것으로부터의 편차를 식별하고, 모든 오작동을 식별하며, 이에 따라 사용자에게 경고하기 위해, 자율 시스템의 제어 하에 차량(12)의 행동을 모티터링하도록 마련된다.
도 8에서, 모니터링 데이터는 프로세서에 의해 수신되고, 단계(802)에서, 수집된 모니터링 데이터 상에서 분석이 수행된다. 분석은 적어도 하나의 운전 이벤트에 대해 차량(12)의 운전 행동을 식별한다. 이 후, 분석은 예상되는 차량 행동의 모델과 비교하는 데 이용된다. 차량 운전 행동, 및 예상되는 행동으로부터의 임의의 편차에 기초하여, 단계(804)에서, 위험한 운전 이벤트가 있었는 지를 식별한다. 차량(12)이 예측하지 못하거나, 알 수 없거나 또는 불규칙한 방식으로 행동하는 경우, 차량 오작동이었을 수 있다.
위험한 운전 이벤트는 감지된 자동화된 운전 행동을 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 모델과 비교하여 식별된다. 모델과 감지된 행동 사이에 편차가 있다면, 차량에 의한 위험한 운전 이벤트가 있을 수 있다. 편차는 운전 이벤트가 위험으로 분류되어야 하는 지 여부를 판단하기 위해 운전 이벤트에 대한 문턱 값과 비교된다.
일반적으로, 예상되는 운전 행동의 모델은 운전 이벤트에 반응하기 위한 규칙 또는 규칙 세트이다. 차량이 설정된 제한 속도를 갖는 지역에서 주행하는 경우와 같은 일부 운전 이벤트에 대해, 모델은 차량이 설정된 제한 속도 또는 그 이하로 주행해야 한다는 규칙이다. 모델이 개별적인 규칙인, 이러한 유형의 이벤트에서, 편차는 제한 속도를 초과하는 것으로 판단될 수 있다. 이후, 문턱 값은 제한, 도로의 유형, 및 기타 인자들에 따라 위험한 속도 레벨로 판단될 수 있다. 문턱 값은 허용된 제한을 넘는 퍼센티지일 수 있다. 다른 실시예에서, 운전 이벤트는 시뮬레이션 기술과 AI 엔진을 이용한 차량 행동의 모델링이 요구되는 복잡한 상황을 포함한다. 예를 들어, 다수의 차량이 이동하고 도로의 일부를 피하기 위한 일시적 지시가 있는 경우 복잡한 일시적 교통 시스템에서 길을 찾기 위해, 차량의 예상되는 반응을 매핑하기 위해 AI 엔진의 모델링 기능이 이용될 수 있다. 차량이 다른 무언가를 하면, 편차가 발생하고 프로세서는 문턱 값에 따라 위험한 이벤트가 발생했음을 판단할 수 있다.
편차는 분류 체계와 비교되어 정량화될 수 있다. 즉, 프로세서는 특정 운전 이벤트에 대해 편차를 비교할 수 있는 스케일을 결정한다. 분류 체계를 생성함으로써, 편차에는 단일의 균일한 문턱 값과 비교될 수 있는 정규화 값, 이벤트에 특정된 소정 또는 가변 문턱 값과 비교될 수 있는 값, 및/또는 범주 문턱 값과 비교될 수 있는 범주가 할당될 수 있다. 따라서, 분류는 문턱 값뿐만 아니라 편차에 대한 정량자(quantifier) 모두를 포함하게 된다. 일부 실시예에서, 복수의 문턱 값이 마련되고, 각 문턱 값은 시스템이 생성하여 사용자에게 제공하는 상이한 경고에 대응한다(추후 설명함).
편차는 특정 상황에서 차량의 작용에 기반하지만, 편차가 비교되는 문턱 값은 다른 기준에 기반할 수 있다. 특히, 문턱 값은 감독 시스템이 사용자에게 경고를 해야 하고 수동 제어를 다시 가져와야 한다고 결정하기 전에 차량의 동작이 얼마나 위험한지를 나타내는 기준으로 볼 수 있다. 따라서, 시스템은 발생하는 운전 이벤트의 유형과 차량 및 기타의 외부 인자 및 동작 뿐만 아니라, 얼마나 빨리 수동 제어로 돌아가는 지 및 수동 제어가 재개되면 사용자가 위협에 대응하도록 요구되는 시간이 얼마나 걸리는 지에 영향을 미치는 다른 인자들을 고려한다. 따라서, 문턱 값은 운전자의 반응 시간; 차량의 자율성 레벨; 차량의 상태; 도로 유형; 날씨 상태; 및 하나 이상의 사용자 설정을 포함하는 하나 이상의 작동 매개 변수에 기반한다. 문턱 값이 반응 시간에 기반하는 경우, 시스템은 사용자가 현재 행동을 기반으로 얼마나 빨리 수동 제어로 돌아갈 수 있는 지를 판단하기 위해 내부 모니터링 센서를 이용한다. 사용자 설정은 시스템이 차량의 행동에 얼마나 중요한지를 나타내는 설정을 수반할 수 있다.
모델 및 차량(12)의 비교하였더니 정상적이고 예상되는 방향으로, 또는 적어도 정상적인 동작 범위로 간주되는 범위 내에서, 즉, 위험한 운전 이벤트 또는 편차도 식별되지 않은 경우, 프로세스는 단계(802)에서 모니터링 데이터를 수신하고 이를 분석하는 것으로 돌아간다. 차량(12)이 위험한 운전 이벤트로 분류된 불규칙적인 행동을 표시하는 경우, 방법(800)은 도 11의 경고 프로세스 H와 같은, 단계(510)에서, 경고 프로세스로 이동한다.
위에서 언급한 바와 같이, 일부 위험한 운전 이벤트는 개별적이고, 단발성 발생이지만, 다른 것들은 차량 오작동을 나타내거나 이에 기인한 것일 수 있다. 이러한 오작동의 비제한적인 예는 자율 시스템이 차량(12)을 현 위치의 도로 제한 속도보다 높은 속도로 작동시키는 경우이다. 도 8의 프로세스(800)이 감독 모니터링 시스템(40)을 이용하여 수행되는 경우, 단계(802)에서 모니터링 데이터의 분석은 내비게이션 메타데이터에 기반한 현 위치의 제한 속도, 및 수신된 내비게이션 데이터 및/또는 영상 데이터에 기초한 차량(12)의 현재 속도를 판단한다. 비교는 차량의 현재 속도가 현 위치의 제한 속도를 초과한다는 것을 드러낸다. 보행자 구역에서, 제한 속도가 시속 30마일이고 해당 제한이 한결같이 초과되는 경우, 감독 모니터링 시스템(40)은 이러한 초과가 부적절하다고 판단하여 차량(12)에 오작동이 있을 수 있다고 결론을 내린다. 따라서, 감독 모니터링 시스템(40)은 경고 프로세스에 따라 하나 이상의 경고 모듈을 이용하여 사용자에게 경고할 것이다. 그러나, 제한 속도가 시속 70마일인 고속도로 설정에서는, 감독 모니터링 시스템(40)은 차량(12)이 이러한 제한 속도를 초과하고 있음을 식별하지만, 차량(12)과 관련하여 내부 차선에 중량화물 차량이 있거나 차선 변경을 시도하는 차량이 있음을 식별한다. 이러한 상황에서, 잠시 또는 일시적 제한 속도 초과는 일반적으로 허용되는 것으로 받아들여지며, 감독 모니터링 시스템(40)에 의해 오작동으로 분류되지 않을 것이다. 감독 모니터링 시스템(40)은 단계(802)에서 초과가 계속되는 지 식별하기 위하여 현재 차량(12)의 속도를 계속 모니터링할 수 있으며, 이유 없이 제한 속도를 초과하는 것으로 나타나면, 단계(510)에서 경고 프로세스가 시작된다.
오작동의 다른 예는 가속도계에 의해 식별되는 차량(12)의 급격한 움직임, 정지 신호에서 완전히 정지하는 데 실패, 도로 변의 경고 표시 또는 경고를 인식하는 데 실패, 횡단 보도에서 정지하는 데 실패, 회전 놓침, 또는 고속도로에서 바란 차선으로부터 벗어남이다. 이들은 자율 시스템의 제어 동작에 있어 오작동이다. 차량(12)의 일반적인 동작에서 오작동 또한 감독 모니터링 시스템(40)에 의해 식별 가능하다. 예를 들어, 차량(12)의 주요 하드웨어에서 임의의 잠재적인 엔진 문제들 및/또는 타이어 문제 및/또는 배기 문제를 식별하기 위해 차량(12)의 소음이 기록되어 분석될 수 있다. 마찬가지로, 차량 서스펜션의 문제는, 예를 들어, 높은 빈도의 수직 가속도 판독은 고르지 않은 도로 표면에 기인한 움직임의 흡수가 부족했음을 나타내는 것과 같이, 가속도계 판독을 통해 검출될 수 있다.
차량 오작동은 시스템적인 오작동이거나 무작위적 오작동일 수 있다. 예를 들어, 센서가 동작하지 않거나 자율 시스템에 결함이 있는 측정값을 보낸다면, 차량(12)은 오랜 기간에 걸쳐 예상치 못한 방식으로 체계적으로 기능한다. 센서가 일시적으로 가려지거나 빠르게 교정되는 중요치 않은 결함을 경험하는 경우, 오작동은 무작위적이고 짧은 시간 동안만 경험될 수 있다. 감독 모니터링 시스템(40)은 자신의 데이터 분석에 있어서, 비교할 만한 위협 또는 외부 환경에서의 발생에 응답하여 2개 이상의 차량 행동 발생을 비교하여, 오작동이 자체 반복하는 지 혹은 오류가 교정되었는 지를 식별할 수 있다. 이에 따라, 새로운 모니터링 데이터가 수신됨에 따라 지속되는 프로세스인, 분석은, 단계(802)에서 무작위적 오작동 문제와 체계적 오작동 문제를 더 잘 구분하기 위하여, 모니터링 데이터를 기반으로 즉각적 뿐만 아니라 일정 기간 이상 결과를 판단할 필요가 있을 수 있다. 감독 모니터링 시스템(40)은 식별된 결함에 따라서 작용한다.
체계적인 결함이 발생한다면, 단계(510)에서 사용자에게 제공되는 경고는 더욱 긴급하게 또는 무작위적 오작동 문제로 인한 결함보다 더 높은 수준일 수 있다. 명백하게 무작위적인 오류에 대해, 감독 모니터링 시스템(40)은 단계(802)에서 오작동이 다시 식별되는 경우 및 더욱 심각한 체계적인 오류로 발전하는 경우, 특히 잠재적인 오작동에 초점을 맞춰, 자율 시스템의 동작을 계속 모니터링할 수 있다.
오작동이 반드시 기존의 동작으로부터의 변경이어야 하는 것은 아니라는 점에 유의하는 것이 중요하다. 오작동은 자율 시스템으로 프로그램된 차량의 처리 기능 또는 정보의 실수 또는 누락 부분으로 발생할 수도 있다. 이러한 유형의 오작동의 예는 차량의 속도를 줄여야 하는 특정 유형의 도로 표면, 예를 들어, 차량이 진입했을 때 차량의 속도가 부적절하게 감소하는, 고르지 않은 일시적 도로 표면 또는 자갈을 깐 도로 표면에 대한 차량의 인식 부족이다. 이러한 유형의 오작동의 다른 예는, 도로 표면이 풍화되어버린 시골지역과 같이, 도로 마킹의 윤곽이 분명이 나타나지 않는 경우이다. 이러한 발생들은 차량의 동작이 그 자체의 자율 시스템에 따라 결함이 아님에도 불구하고 오작동으로 고려될 수 있다.
도 8의 프로세스 중, 감독 모니터링 시스템(40)은 차량(12)의 오작동이 외부 환경에서 발생과 같은 특정 조건에 응답하였거나 또는 차량(12) 자체로부터의 징후가 선행되었다고 판단한다. 예를 들어, 외부 환경에서 보통 발생하는 눈과 같은, 강수이다. 또한 차량은 흔히 감독 모니터링 시스템(40)에 의해 검출가능한 반복적인 소음의 형태로 오작동의 징후를 생성할 수 있다. 도 9는 차량 오작동으로 이어질 수 있는 이러한 종류의 이전 상태들을 모니터링하는 방법 F(900)을 제공한다. 상태들은 본 차량(12)에 한정되지 않고, 동일한 유형의 차량, 및 또는 일반적으로 반자율주행 차량에 영향을 주는 상태이다. 말하자면, 감독 모니터링 시스템(40)은 현재 차량(12)에 의한 이전 오작동, 동일한 유형 또는 동일한 자율성 레벨의 다른 유사한 차량에서의 오작동, 및/또는 반자율주행 차량에서 일반적으로 공지된 결함들에 기반하여 상태를 인식할 수 있다. 이러한 상태들을 모니터링하여, 방법 F(900)은 상황이 취해질 조치에 대해 너무 심각해지기 전에 머지않아 사용자에게 경고함으로써 이러한 상태에서의 차량 오작동을 미리 예방하도록 한다.
방법(900)은 단계(902)에서 차량 오작동을 사전에 야기한 소정의 상태에 초점을 두고 모니터링 데이터를 분석함으로써 개시된다. 단계(902)에서의 분석은 하나 이상의 소정의 상태를 식별하기 위해 수행된다. 식별은 로컬에서 저장된 소정의 상태에 접속하고; 감독 시스템 컨텐츠 제공 서버(42)로부터 주기적으로 업데이트되는 소정의 상태 목록에 접속하고, 여기서 주기는 새로운 운전 기간이 시작될 때마다 혹은 매일과 같이 소정의 시간 간격 임; 및/또는 컨텐츠 서버로의 연결이 통신 네트워크를 통해 이루어질 때 감독 시스템 컨텐츠 제공 서버(42)으로부터 감독 모니터링 시스템(40)에 업데이트된 소정의 상태 목록을 포함하는 푸시된 데이터 패키지를 수신하는 것 중 하나 이상을 포함한다.
소정의 상태가 식별되면, 감독 모니터링 시스템(40)은 단계(904)에서 상태의 심각성을 수립하고, 이에 따라 단계(904)에서 이를 분류한다. 단계(904)에서의 분류는 위협 수준이 할당된 것과 동일한 또는 실질적으로 유사한 방식으로 할당된 위협 수준의 할당; 이산 범주의 할당; 업데이트된 소정 상태의 목록에 기반한 분류; 및/또는 업데이트된 목록을 수반하는 데이터 패키지 내에서 데이터에 기반한 분류를 포함한다.
동시에, 상태에 대한 심각성 조치 레벨 또한 단계(906)에서 식별된다. 실시예에 따르면, 심각성 조치 레벨은 업데이트된 소정 상태 목록을 수신함과 동시에 감독 시스템 컨텐츠 제공 서버(42)로부터 감독 모니터링 시스템(40)에 전달되어, 소정의 상태 함께 쉽게 접속 및 저장될 수 있다. 감독 모니터링 시스템(40)은 대안적으로 또는 추가적으로 상태가 식별될 때마다 감독 시스템 컨텐츠 제공 서버(42)로부터의 조치 레벨에 액세스하거나, 조치 레벨이 차량(12)의 위치, 도로 표면, 차량 마모 또는 그 자율 모드에서 차량(12)의 동작에 영향을 주는 임의의 다른 매개변수와 같은, 기타 매개변수에 의존하는 변수일 수 있으므로 조치 레벨을 계산할 수 있다.
상태의 심각성이 분류되고 조치 레벨에 액세스함에 따라, 심각성과 조치 레벨이 단계(908)에서 비교된다. 상태 심각성이 조치 레벨보다 크거나 같으면, 감독 모니터링 시스템(40)은 단계(510)에서 경고 프로세스에 진입하여, 구체적으로 단계(910)에서 상태 및 상태에 대한 차량의 응답을 그렇지 않은 경우보다 더 상세하게 모니터링한다. 상태 심각성이 조치 레벨보다 크거나 같지 않으면, 경고 프로세스가 시작되지 않으나, 단계(910)에서 상태가 더욱 상세하게 모니터링된다. 각 단계 이후, 감독 모니터링 시스템(40)은 단계(902)로 돌아가, 상태와 관련하여 구체적으로 모니터링된 데이터와 감독 모니터링 시스템(40)에 의해 수집된 다른 데이터에 대한 분석을 계속한다.
일부 실시예에서, 감독 모니터링 시스템(40)은 소정의 상태를 식별하고 상태의 심각성과 상관없이 본 방법의 시작에서 이를 모니터링하고 있다는 사실을 사용자에게 알린다.
현재 차량(12)의 오작동을 모니터링하는 것 외에, 본 방법은 특정 상태에서 현재 차량(12)에 위험을 줄 수 있는 다른 차량을 식별하는데 이용될 수도 있다. 소정의 상태들을 구성할 수 있는 데, 여기서 결빙 상태와 같이, 수동 차량은 더 많은 위험을 초래하고, 특정 운영 시스템에서 동작하는 자율 주행 차량은 동일한 상태에서 더 먼저 오작동하기 때문에 상당한 위험을 초래한다.
도로 차량에서 자율성이 다수의 도로-교통 사고를 방지하는 데 효과적일 것이라고 예상된다. 그러나, 자율적으로 행동하는 차량은 단독으로 또는 다른 반자율주행 또는 자율 주행 차량, 또는 보행자들, 수동으로 동작하는 차량과 관련되어 사고의 일부가 되는 것이 여전히 가능하다. 사고가 일어나면, 감독 모니터링 시스템(40)은 중요한 감독을 제공한다.
도 10에서, 프로세스 G(408)가 수행되어 사고가 적절히, 특히 보험용으로, 기록되는 것을 보장한다. 도 10에서, 데이터가 단계(1002)에서 분석되어 사고를 식별한다. '사고'라는 용어는 적어도 충돌, 및 선택적으로 위기 일발 및 갑작스런 오작동을 포함하도록 의도된다. 충돌과 위기일발은 감독 모니터링 시스템(40)으로부터의 영상 및 소음 데이터와 결합한 감독 모니터링 시스템(40)으로부터의 가속도계 데이터에 기초하여 식별 가능하다.
사고가 식별되면, 감독 모니터링 시스템(40)은 단계(1004)에서 사고와 관련된 것으로 고려되는 모든 데이터에 액세스한다. 특히, 수집된 이후 소정의 기간동안 데이터가 저장되는 버퍼를 이용하는 장치는 사고까지 이어지는 오래된 데이터에 액세스한다. 그후, 감독 모니터링 시스템(40)은 단계(1006)에서 사고와 그 원인을 분석한다. 일부 실시예에서, 단계(1006)는 선택적이고, 분석은 추후 단계에서 수행되거나 수행되지 않는다.
데이터 및 수행된 모든 분석은 단계(1008)에서 보다 안전하고 영구적인 저장소로 전송된다. 이는 감독 모니터링 시스템(40) 내 메모리 위치에 데이터를 저장 및/또는 추후 접속을 위해 감독 모니터링 시스템(40)으로부터 멀리 떨어진 서버 및 데이터베이스에 통신 네트워크를 통해 데이터 통신하는 것을 포함할 수 있다. 데이터를 보호하면, 감독 모니터링 시스템(40)은 단계(1010)에서 사용자에게 사고 식별 및 사고가 안전하게 저장되었음을 알린다.
일부 실시예에서, 본 방법은 또한 사용자의 상해를 식별하기 위해 체크를 수행하는 것을 포함한다. 단계(1002)에서 사고가 식별되어 사고가 심각함을 알리는 하나 이상의 소정의 비상 조건들이 충족되면, 사용자의 건강이 평가되고, 사고가 발생하였고, 사고가 무엇이며, 얼마나 많은 사용자들이 차량에 있는지, 사고가 어디에서 일어났는 지, 및 비상 서비스를 지원하기에 적합한 모든 기타 정보로 긴급 서비스가 감독 모니터링 시스템(40)에 의해 자동으로 경고 된다. 사고가 보행자와의 충돌인 경우라면, 긴급 서비스의 자동 알림이 제공될 수도 있다.
도 5 내지 도 10의 상기 방법들 각각은 서로에 대해 독립적인 것으로 고려되지만, 각 프로세스의 상이한 요소들이 결합되거나 프로세스들이 동시에 실행될 수 있음을 이해할 수 있을 것이다. 일부 예에서, 프로세스들은 이용 가능한 데이터에 기반하여 계층적 방식으로 수행되거나, 동시 프로세스에 응답하여 경고가 우선된다. 예를 들어, 예상되는 차량 오작동 매개변수가 다가오는 교차로보다 사용자에게 더 시급하므로, 프로세스는 차량 오작동에 기반하여 경고프로세스를 사용자에게 제공하는 것을 우선순위로 할 수 있다. 일부 실시예에서, 다수의 위협 또는 잠재적인 오작동이 식별되는 경우, 위협 또는 오작동 전개 매개변수의 가능성이 각각에 할당될 수 있고, 이러한 가능성 매개변수에 따라 제공되는 경고의 우선수위가 지정된다. 가능성 매개변수 대신, 위협 또는 오작동을 무시하는 잠재적인 결과 매개변수의 심각성이 할당될 수 있다. 일부 실시예에서, 가능성 매개변수와 심각성 매개변수가 결합될 수 있다.
사용자에 대한 경고는 복수의 상이한 방법들 중 어느 것에 의해 전달될 수 있다. 감독 모니터링 시스템(40)에서, 경고 시스템은 사용자에게 경고할 하드웨어를 판단하는 경고 모듈을 포함한다. 특히, 장치가 모바일 장치(50)인 경우, 경고 모듈은 감독 모니터링 시스템(40)의 스피커, 감독 모니터링 시스템(40)의 디스플레이 또는 인터페이스, 감독 모니터링 시스템(40)의 진동 발생기, 하나 이상의 장치 카메라를 위한 플래시, 및/또는 다른 진동 발생기, 스피커, 또는 디스플레이를 이용하여 사용자에게 경고하도록 구성된 웨어러블 장치와 같은 외부 장치, 또는 경고를 깜빡이는 조명과 같은 외부 경고 장치와 통신하기 위한 통신 엔진 중 하나 이상에 연결된다.
디스플레이 또는 스피커를 통해 사용자에게 경고할 때, 감독 모니터링 시스템(40)은 사용자에게 정확이 무엇이 요구되는 지를 나타내며, 위협 및/또는 사용자의 주의를 도로로 되돌리기 위한 경고 소음을 명시적으로 식별하면서, 경고 메시지를 제공한다. 스피커를 통해 이러한 경고를 제공하기 위해 음성 합성이 이용될 수 있고, 사용자는 음성으로 화답하여 사용자가 감독 모니터링 시스템(40)과 대화하는 효과가 있다.
도 11은 예시적인 경고 프로세스 H(1100)을 도시한다. 이 프로세스는 감독 모니터링 시스템(40)이 어떻게 사용자에게 경고를 해야 하는지 및 사용자에 의해 아무런 조치도 취해지지 않을 때 경고를 증가시키도록 지시한다.
경고 프로세스(1100)는 식별된 위협, 사고, 행동 또는 판단되는 상태에 대한 적절한 경고 레벨, 및 단계(1102)에서 설정되는 초기 경고 레벨(n)과 함께 개시된다. 경고 레벨은 운전 기간의 시작 시 초기에 0으로 설정될 수 있다.
이후, 단계(110)에서, 위협에 적절한, 최대 경고 레벨, 즉, nmax이 결정된다. 최대 경고 레벨은 이전 경고에 대한 응답으로 사용자가 아무런 조치도 취하지 않았다면 시스템이 증가시키는 경고 레벨이다.
n 및 nmax를 단계(1100 및 1102)에서 판단하면, 단계(1104)에서 경고 레벨 n에 따라 감독 모니터링 시스템(40) 또는 연결된 장치를 통해 경고가 사용자에게 전달된다. 경고는 응답할 위협의 유형에 특유한 것일 수 있다. 예를 들어, 경고 레벨 n은 지속 시간, 시끄럽게 또는 밝게, 반복되는 횟수, 한번에 사용되는 상이한 경고 종류의 수와 같은, 경고의 매개변수를 결정하는 데 이용될 수 있다. 약간의 거리 앞에서 교통 체증과 같은 낮은 수준의 위협, 즉, 낮은 n 값이 식별되면, 경고는 사용자에게 위협이 식별되었음을 스피커를 통해 정상 볼륨으로 알리는 것과 같은 낮은 수준의 경고이다. 차량이 바로 가까이에서 불규칙적으로 행동하는 것과 같은 높은 수준의 위협, 즉, 높은 n 값에 대해, 감독 모니터링 시스템(40)은 화면과 스피커 모두를 통해 높은 볼륨과 밝기로 반복적으로 위협을 식별하여 사용자에게 즉각적으로 경고할 수 있다.
경고가 단계(1104)에서 전송되고 나면, 감독 모니터링 시스템(40)은 단계(1106)에서 사용자의 새로운 행동을 식별하기 위하여 경고 이후에 수신된 데이터를 분석한다. 여기서, 감독 모니터링 시스템(40)은 사용자가 경고에 응답하였는지를 식별하기 위해 데이터를 수집하고 있다.
감독 모니터링 시스템(40)은 단계(1108)에서 경고에 대한 응답이 사용자 행동에서 식별되었는 지 판단한다. 경고에 대한 응답은 위협의 유형 또는 경고 레벨에 따라 좌우될 수 있다. 일부 실시예에서, 위협이 특히 심각하면, 사용자는 즉시 차량(12)의 수동 제어로 돌아가도록 요구될 수 있다. 다른 상황에서, 사용자가 도로에 주의를 돌리는 것은 감독 모니터링 시스템(40)을 만족시키기 위해 충분한 응답일 수 있다. 요구되는 응답은 일부 실시예에서 구두로 혹은 감독 모니터링 시스템(40)의 인터페이스에 입력을 제공하여, 위협 또는 경고를 받았음을 알리는 사용자의 더욱 긍정적인 확정 행동일 수 있다.
응답 또는 적어도, 적절한 응답이 단계(1108)에서 감지되면, 감독 모니터링 시스템(40)은 단계(1110)에서 경고 및 도달한 경고 레벨을 기록하고, 단계(408)에서 B 내지 G와 같은 분석 프로세스를 이용하여 환경 분석을 계속한다. 감독 모니터링 시스템(40)은 사용자가 요구되는 방식으로 조치하고 있는 한 경고를 더 이상 전송하지 않는다.
단계(1108)에서 응답이 검출되지 않거나 부적절한 응답이 검출된다면, 장치는 단계(1112)에서 위협이 여전히 존재하는 지 알아보기 위해 확인한다. 위협이 끝나거나 더 이상 존재하지 않으면, 경고의 이유 및 경고 레벨이 단계(1110)에서 기록된다. 위협이 여전히 존재하여 극복 또는 피할 수 없다면, 감독 모니터링 시스템(40)은 단계(1114)에서 n이 nmax인지 알아보기 위해 확인한다. n이 최대 경고 레벨과 같지 않는다면, n을 단계(1116)에서 1만큼 증가시켜 단계(1104)로 되돌아가 단계(1104)에서 증가된 n 값에 따라 새로운 경고를 사용자에게 전송한다. n이 nmax와 같다면, 단계(1114)에서 판단된 바와 같이 경고가 반복되고, 경고 충분히 심각하면, 단계(1118)에서 에스컬레이션 과정에 진입한다. 에스컬레이션은 긴급 시스템에 경고하거나 차량 제어 시스템에 원격으로 접속하여 차를 길 한쪽에 대라고 명령하는 것을 수반할 수 있다.
감독 모니터링 시스템이 상기 사용자에 의해 바로 사용 가능하게 준비된 상태로 마련되는 것으로 예상되나, 사용자는 일부 실시예에서 시스템을 훈련할 수 있다. 기계 학습 알고리즘을 이용하여, 감독 모니터링 시스템(40)은 수동 및 자율 주행 모드 모두에서 차량(12)의 동작을 모니터링하고, 사용자의 예시적인 조치를 모니터링할 수 있다. 이러한 상황에서 사용자 및 차량(12)으로부터 획득되는 훈련 데이터를 이용하여, 감독 모니터링 시스템(40)은 이후 자신의 모니터링 및 경고를 사용자 및 차량(12)에 맞출 수 있다.
특히, 시스템은 위협 및 위험을 모니터링하여 식별된 위협 및 위험을 이에 대한 사용자의 반응과 연관시킬 수 있다. 따라서, 시스템은 사용자가 특정 위험을 인식하고 있는 식별자들을 추출하기 위해 사용자를 모니터링할 수 있다. 감독 모니터링 시스템으로 작동할 때, 시스템은 위험을 모니터링하기 위해 데이터를 분석하고, 메모리로부터 해당 위험에 대한 반응에 대응하는 사용자 식별자에 액세스하고, 사용자 식별자가 존재하는지 판단하기 위해 사용자의 모니터링 데이터를 분석하고, 존재하지 않는다면 사용자에게 위험을 경고할 수 있다. 이는 상이한 사용자들은 다른 습관과 다른 몸짓 언어를 가지기 쉬우므로 특히 유용하다. 이러한 시스템은 사용자가 술에 취해 있거나 운전을 계속하기에 너무 피곤해진 경우 사용자의 좋지 못한 행동을 더 잘 검출할 수 있게 한다.
더욱이, 시스템은 또한 상황에 대한 사용자의 반응 및 해야 하는 관련 회피 조치에 기초하여 위협에 대한 지식을 얻을 수도 있다. 이는 이후 자율적인 상황에서 적용될 수 있다. 많은 다른 운전자들로부터의 데이터를 분석함으로써, 많은 양의 훈련 데이터가 수집되어, 이와 함께 감독 모니터링 시스템 사용될 기계 학습 알고리즘이 더욱 개선될 수 있다.
일부 상황에서, 낮은 레벨의 반자율주행 차량 상의 수동 제어에서 사용자로부터의 훈련 데이터와 결합한 기계 학습의 이용은 높은 레벨의 자율주행 차량을 위한 시스템을 훈련하기에 충분한 데이터의 수집을 가능하게 한다. 그 반대 또한 사실일 수 있다 - 높은 레벨의 차량에서 시스템을 훈련하는 것은 낮은 레벨 시스템과의 사용을 가능하게 한다.
위의 설명은 자율적으로 동작하는 차량과 관련하여 감독 모니터링 시스템(40)의 사용자를 설명하나, 감독 모니터링 시스템(40)은 수동 제어 조건에서도 이용될 수 있다. 감독 모니터링 시스템(40)은 여행 후 사용자의 운전에 대한 분석을 제공함으로써 사용자의 운전을 개선하기 위해 사용자에 의해 이용될 수 있고, 이에 사용자의 주의가 산만해지지 않도록 경고 없이 동작할 수 있다. 감독 모니터링 시스템(40)의 사용자가 차량의 운전자가 아닌 승객인 경우, 감독 모니터링 시스템(40)은 운전자가 위험한 방식으로 운전하고 있다고 사용자에게 경고할 수 있다. 예를 들어, 택시/승차 공유 서비스에서, 사용자는 새로운 운전 기간을 시작하고 운전자에 의해 고려되지 않은 모든 가능한 위협들에 대해 신중하게 경고를 받을 수 있다. 이에 따라, 피드백은 택시/승차 공유 서비스에 의한 운전의 품질을 항상시키는 데 이용될 수 있다. 획득한 데이터는 운전자들에 대한 평가 시스템으로 변환되어 중앙의 데이터베이스에 로드될 수 있다. 이러한 시스템은 운전자들에 대한 독립적인 리뷰를 제공하기 위해 웹사이트에 연결되어, 잠재적인 고객 및 고용주 둘 다 볼 수 있는 평가를 운전자들에게 준다. 이는 정확히 같은 방식으로 Uber®, Lyft® 및 기타 운전자를 모니터링하고 상업적인 목적으로 승차 공유 회사의 간섭을 받지 않는 '크로스 플랫폼(cross-platform)' 평가라는 장점을 갖는다.
추가로, 이러한 시스템은 보험 목적으로 차량에서 운전 행동에 대한 독립적인 모니터링을 제공할 수 있다. 자율적으로 동작하는 차량의 모든 운전자들에게 보험료는 확실히 낮지만, 일부 운전자는 다른 사람들보다 더 안전하기에 보험료가 여전히 더 낮을 수 있다.
스마트폰과 같은 모바일 장치(50)의 이용은 차량들 간의 통신을 위해 더 큰 가능성을 허용한다. 특정 위치에서 하나의 장치에서 식별된 위협이 반대 방향으로 지나가는 다른 차량의 장치에 전달될 수 있어, 앞 쪽의 위협에 대비할 수 있다. 이러한 통신은 통신 네트워크를 통해 또는 블루투스(Bluetooth®)와 같은 보다 로컬인 통신 프로토콜에 의해 달성될 수 있다.
본 명세서에서 사용된 바와 같은 '인터페이스'라는 용어는 몇몇 상이한 가능한 실시예들을 커버하는 광의의 용어임을 알 수 있을 것이다. 예를 들어, 인터페이스는 일 실시예에서 모니터링 장치로서 작용하는 이동 통신 장치의 터치스크린과 같은 사용자 인터페이스일 수 있다. 또 다른 실시예로, 사용자가 명령을 입력할 수 있게 하는, 버튼과 같은, 스크린, 키보드 또는 대안적으로 디스플레이 및 상호작용 액츄에이터일 수 있다. 추가의 실시예에서, 사용자 상호작용 인터페이스는 실제로 모바일 모니터링 장치에 대해 물리적으로 분리되지만 기능적으로 작동 가능하게 인터페이스를 통해 모니터링 장치에 링크될 수 있는 장치에 마련될 수 있다.

Claims (31)

  1. 운전 기간 동안 반자율주행 차량이 어떻게 자율적으로 운전되는 지에 관한 차량내 사용자 경고 시스템을 제공하기 위한 휴대용 전자 모니터링 장치로서, 상기 장치는 상기 차량에 착탈 가능하고 안전하게 장착되고, 상기 장치는,
    상기 차량 외부의 외부 환경 및 상기 외부 환경에서 상기 차량의 움직임을 감지하기 위한 적어도 하나의 센서를 포함하는 센서 세트;
    사용자 입력 명령을 수신하고 경고 출력을 전달하는 인터페이스; 및
    상기 센서 세트 및 상기 인터페이스와 작동 가능하게 연결되는 프로세서를 포함하고,
    상기 센서 세트는 상기 운전 기간 동안 상기 외부 환경에서 상기 반자율주행 차량의 상기 자동 동작을 모니터링하고, 상기 운전 기간 동안 발생하는 상기 외부 환경에 대한 상기 차량의 자동화된 운전 행동에 관련된 운전 이벤트를 나타내는 센서 데이터를 발생시키도록 구성되고;
    상기 프로세서는,
    상기 외부 환경에서 상기 차량의 상기 감지된 자동화된 운전 행동과 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 모델을 비교하기 위해 상기 운전 기간 동안 상기 센서 데이터를 처리하고;
    상기 감지된 자동화된 운전 행동이 상기 예상되는 자동화된 차량 운전 행동으로부터 문턱 값을 넘어 벗어나는 경우 위험한 운전 이벤트로 식별하고;
    위험한 운전 이벤트가 감지되는 경우, 상기 위험한 운전 이벤트의 발생에 대해 상기 운전자에게 경고하기위해 상기 인터페이스를 통해 경고를 발생시키도록 구성되는 휴대용 전자 모니터링 장치.
  2. 제1항에 있어서,
    상기 적어도 하나 센서는 근접 센서를 포함하고, 상기 근접 센서는 적외선 센서, 카메라, 및/또는 초광대역 센서 중 적어도 하나를 포함하는, 휴대용 전자 모니터링 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 센서 세트는 적어도 하나의 외부 날씨 모니터링 센서를 포함하는, 휴대용 전자 모니터링 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 휴대용 전자 모니터링 장치는 상기 휴대용 전자 모니터링 장치에 사용자 인터페이스를 제공하는 개인 통신 장치로의 로컬 무선 통신 링크를 포함하는 휴대용 전자 모니터링 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 센서 세트는 적어도 하나 위치 센서를 포함하고, 상기 적어도 하나 위치 센서는 자이로스코프, 자력계, 고도계, 지리위치 센서, 또는 가속도계를 포함하는, 휴대용 전자 모니터링 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 센서 세트는 오디오 센서를 포함하고, 상기 센서 데이터는 오디오 신호를 포함하는, 휴대용 전자 모니터링 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 인터페이스는 터치스크린 및 스피커를 포함하는, 휴대용 전자 모니터링 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 인터페이스는 헤드업 디스플레이를 생성하도록 상기 차량의 표면 상에 영상을 투사하도록 구성된 프로젝터를 포함하는, 휴대용 전자 모니터링 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 휴대용 전자 모니터링 장치는 원격 서버와 통신하는 무선 통신 엔진을 포함하는 통신 장치이고, 상기 무선 통신 엔진은 상기 차량이 주행하는 상기 외부 환경에 대한 정보를 수신하도록 구성되는 휴대용 전자 모니터링 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 차량의 자율 행동을 학습하고 모델링하기 위한 신경망으로서 동작하도록 구성되는 인공지능(AI)엔진을 더 포함하고, 상기 프로세서는 상기 AI 엔진에 작동 가능하게 연결되는, 휴대용 전자 모니터링 장치.
  11. 제10항에 있어서,
    상기 AI 엔진은 예상되는 차량 운전 행동을 모델링하도록 훈련되는 신경망을 포함하는, 휴대용 전자 모니터링 장치.
  12. 제11항에 있어서,
    상기 신경망은 현재 운전 기간 이전에 상기 차량의 수동 및/또는 자동화된 동작으로부터 수집된 센서 데이터를 이용하여 훈련되는, 휴대용 전자 모니터링 장치.
  13. 제12항에 있어서,
    상기 현재 운전 기간 이전에 수집된 상기 센서 데이터는 위험한 운전 이벤트가 식별되지 않았던 하나 이상의 운전 기간에서 감지되는 것으로 인증된 데이터인, 휴대용 전자 모니터링 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 신경망 및 센서 데이터에 기초하여, 상기 AI 엔진은 상기 특정 운전 이벤트에 대해 예상되는 자동화된 차량 운전 행동의 상기 모델을 생성하도록 구성되는, 휴대용 전자 모니터링 장치.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 특정 운전 이벤트에 대한 문턱 값을 결정하고;
    상기 감지된 자동화된 운전 행동 및 상기 특정 운전 이벤트에 대한 예상되는 자동화된 차량 운전 행동의 상기 모델 간의 비교가 편차가 발생했음을 나타내는 경우,
    상기 편차가 상기 문턱 값을 넘는 지를 판단하기 위해 상기 편차 및 상기 문턱 값을 비교하는, 휴대용 전자 모니터링 장치.
  16. 제15항에 있어서,
    상기 문턱 값은 상기 운전 이벤트, 및 상기 운전자의 반응 시간; 상기 차량의 자율성 레벨; 상기 차량의 상태; 도로 유형; 날씨 조건; 및 하나 이상의 사용자 설정으로 구성되는 그룹에서 선택되는 적어도 하나의 다른 매개변수에 기초하여 결정되는, 휴대용 전자 모니터링 장치.
  17. 제16항에 있어서,
    상기 적어도 하나 다른 매개변수는 상기 운전자의 반응 시간을 포함하고, 상기 센서 세트는 상기 차량의 내부 환경을 감지하는 적어도 하나 센서를 포함하고, 상기 프로세서는 상기 차량의 상기 내부 환경을 감지하기 위한 상기 센서로부터의 현재 및/또는 과거 센서 데이터를 기반으로 하여 상기 운전자의 반응 시간을 판단하도록 구성되는, 휴대용 전자 모니터링 장치.
  18. 제16항 또는 제17항에 있어서,
    상기 운전 이벤트는 차량 기동을 포함하고, 상기 문턱 값은 상기 기동 중 차량 속도; 상기 기동 중 차량 제동; 및 상기 기동 중 차량 조향 각 중 하나 이상에 기반하는, 휴대용 전자 모니터링 장치.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 운전 이벤트는 다른 차량과의 상호작용을 포함하고, 상기 문턱 값은 상기 상호작용 중 하나 또는 각 차량 속도; 상기 상호 작용 중 차량 제동, 상기 다른 차량의 근접; 상기 다른 차량의 주행 방향; 상기 다른 차량의 위치; 상기 다른 차량이 동작하는 것으로 인식되거나 자율적으로 동작할 수 있는 지 여부; 및/또는 상기 다른 차량의 행동 중 하나 이상에 기반하는, 휴대용 전자 모니터링 장치.
  20. 제15항 내지 제19항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 특정 운전 이벤트에 대한 분류 체계를 결정;
    상기 분류 체계에 기반하여 상기 예상되는 자동화된 운전 행동으로부터 상기 감지된 자동화된 운전 행동의 편차에 값을 할당; 및
    상기 값을 상기 소정의 문턱 값과 비교하도록 구성되고, 상기 문턱 값은 상기 분류 체계 상의 값인, 휴대용 전자 모니터링 장치.
  21. 제20항에 있어서,
    상기 분류 체계는 복수의 이산 범주 값들을 포함하는, 휴대용 전자 모니터링 장치.
  22. 제20항에 있어서,
    상기 분류 체계는 값들의 연속 수치 척도를 포함하는, 휴대용 전자 모니터링 장치.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서,
    복수의 문턱 값이 위험한 운전 이벤트를 식별하기 위해 마련되고, 각각의 문턱 값은 상이한 경고 신호에 대응하는, 휴대용 전자 모니터링 장치.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 센서 세트는 상기 차량의 내부 환경을 감지하는 적어도 하나 센서를 포함하는, 휴대용 전자 모니터링 장치.
  25. 제23항에 있어서,
    상기 센서 세트는 상기 운전 기간 동안 상기 차량의 상기 내부 환경을 모니터링 하고, 상기 운전 기간 동안 상기 운전자의 현재 집중 상태를 나타내는 센서 데이터를 생성하도록 더 구성되는, 휴대용 전자 모니터링 장치.
  26. 제24항에 있어서,
    상기 프로세서는,
    상기 외부 환경에서 상기 반자율주행 차량의 현재 동작에 대하여 상기 운전자의 요구되는 집중 상태를 판단;
    상기 운전자의 상기 현재 집중 상태와 상기 운전자의 상기 요구되는 집중 상태를 비교; 및
    상기 현재 집중 상태가 상기 요구되는 집중 상태로부터 문턱 값을 넘어 벗어나는 경우 경고 신호를 생성하도록 구성되는, 휴대용 전자 모니터링 장치.
  27. 제26항에 있어서,
    상기 요구되는 집중 상태는 하나 이상의 차량 매개변수에 기초하여 판단되는, 휴대용 전자 모니터링 장치.
  28. 제27항에 있어서,
    상기 하나 이상의 차량 매개변수는 상기 차량의 자율성 레벨, 차량 속도, 차량 점유 레벨, 및/또는 자율주행 차량의 동작 품질을 포함하는, 휴대용 전자 모니터링 장치.
  29. 제26항 내지 제28항 중 어느 한 항에 있어서,
    상기 요구되는 집중 상태는 하나 이상의 외부 환경 매개변수에 기초하여 판단되는, 휴대용 전자 모니터링 장치.
  30. 제29항에 있어서,
    상기 하나 이상의 외부 환경 매개변수는 도로 유형, 도로 품질, 교통 밀집, 날씨 유형, 상기 환경이 얼마나 도시 또는 시골인지의 분류, 주변에서 다른 차량의 운전 행동, 및/또는 하나 이상의 위험한 운전 이벤트 및/또는 다른 위협들의 존재를 포함하는, 휴대용 전자 모니터링 장치.
  31. 제1항 내지 제30항 중 어느 한 항에 있어서,
    상기 프로세서는 위험한 운전 이벤트가 검출되는 경우, 상기 차량의 수동 제어 재개가 그 이전에 필요한 시점을 판단하고, 늦어도 상기 시점 이전에 상기 경고 신호를 생성하도록 구성되는, 휴대용 전자 모니터링 장치.
KR1020227035120A 2020-03-20 2021-03-18 자율주행 차량에서 사용자 경고를 개선하기 위한 방법 및 시스템 KR20230016163A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2004123.2 2020-03-20
GBGB2004123.2A GB202004123D0 (en) 2020-03-20 2020-03-20 Improving user alertness in an autonomous vehicle
PCT/GB2021/050681 WO2021186186A1 (en) 2020-03-20 2021-03-18 Methods and systems for improving user alertness in an autonomous vehicle

Publications (1)

Publication Number Publication Date
KR20230016163A true KR20230016163A (ko) 2023-02-01

Family

ID=70546650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227035120A KR20230016163A (ko) 2020-03-20 2021-03-18 자율주행 차량에서 사용자 경고를 개선하기 위한 방법 및 시스템

Country Status (9)

Country Link
US (1) US20230182759A1 (ko)
EP (1) EP4121330A1 (ko)
JP (1) JP2023518310A (ko)
KR (1) KR20230016163A (ko)
CN (1) CN115720555A (ko)
AU (1) AU2021237815A1 (ko)
CA (1) CA3175620A1 (ko)
GB (2) GB202004123D0 (ko)
WO (1) WO2021186186A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022187304A (ja) * 2021-06-07 2022-12-19 ウーブン・プラネット・ホールディングス株式会社 遠隔運転車両、遠隔運転システム、蛇行運転抑制方法、及び蛇行運転抑制プログラム
CN113401144B (zh) * 2021-07-27 2022-10-11 阿波罗智能技术(北京)有限公司 自动驾驶车辆的控制方法、装置、设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2931178T3 (es) * 2010-12-15 2022-12-27 Auto Telematics Ltd Método y sistema para registro de comportamiento de vehículo
US10012993B1 (en) * 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
DE102017212355B4 (de) * 2017-07-19 2019-12-24 Volkswagen Aktiengesellschaft Verfahren zur Erkennung und zur Charakterisierung eines Fahrverhaltens eines Fahrers oder eines Autopiloten in einem Kraftfahrzeug, Steuereinheit und Kraftfahrzeug
DE102017215406A1 (de) * 2017-09-04 2019-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren, mobiles Anwendergerät, Computerprogramm zum Erzeugen einer visuellen Information für zumindest einen Insassen eines Fahrzeugs

Also Published As

Publication number Publication date
US20230182759A1 (en) 2023-06-15
GB202215544D0 (en) 2022-12-07
AU2021237815A1 (en) 2022-10-20
GB2609802B (en) 2024-01-10
CN115720555A (zh) 2023-02-28
CA3175620A1 (en) 2021-09-23
JP2023518310A (ja) 2023-04-28
EP4121330A1 (en) 2023-01-25
GB2609802A (en) 2023-02-15
GB202004123D0 (en) 2020-05-06
WO2021186186A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN108205731B (zh) 情境评估车辆***
CN111373335B (zh) 用于混合驾驶中基于自身觉知性能参数的驾驶模式切换的方法和***
US11659038B2 (en) Smart vehicle
US11150652B2 (en) Method for operating a driver assistance device of a motor vehicle
US9699289B1 (en) Dynamic vehicle automation level availability indication system and method
US10192171B2 (en) Method and system using machine learning to determine an automotive driver's emotional state
US9881503B1 (en) Vehicle-to-pedestrian-communication systems and methods for using the same
US20180144636A1 (en) Distracted driver detection, classification, warning, avoidance system
US20210089048A1 (en) Smart vehicle
US20230288927A1 (en) Vehicular management
CN116229751A (zh) 用于车辆地理围栏管理的***和方法
CN111547043A (zh) 通过自主车辆自动响应紧急服务车辆
US10424203B2 (en) System and method for driving hazard estimation using vehicle-to-vehicle communication
EP1999527A2 (en) System and method for determining a workload level of a driver
US11873007B2 (en) Information processing apparatus, information processing method, and program
US10666901B1 (en) System for soothing an occupant in a vehicle
WO2020226014A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN114072865A (zh) 信息处理装置、移动装置、方法和程序
US11285966B2 (en) Method and system for controlling an autonomous vehicle response to a fault condition
US20230182759A1 (en) Methods and systems for imporiving user alertness in an autonomous vehicle
WO2019046204A1 (en) MIXED-MODE DRIVING OF A VEHICLE HAVING AUTONOMOUS DRIVING CAPABILITIES
CN112534487A (zh) 信息处理设备、移动体、信息处理方法和程序
CN115782914A (zh) 一种驾驶员提醒方法、装置、***和移动载体
US20200098201A1 (en) Autonomous vehicle computer
CN107599965B (zh) 用于车辆的电子控制装置及方法

Legal Events

Date Code Title Description
A201 Request for examination