CN105987717B - 驾驶员视觉传感器性能测试*** - Google Patents

驾驶员视觉传感器性能测试*** Download PDF

Info

Publication number
CN105987717B
CN105987717B CN201610157293.3A CN201610157293A CN105987717B CN 105987717 B CN105987717 B CN 105987717B CN 201610157293 A CN201610157293 A CN 201610157293A CN 105987717 B CN105987717 B CN 105987717B
Authority
CN
China
Prior art keywords
sensor
data
driver
controller
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610157293.3A
Other languages
English (en)
Other versions
CN105987717A (zh
Inventor
乐嘉良
马纳哈普拉瑟德·K·劳
李灵犀
田任然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN105987717A publication Critical patent/CN105987717A/zh
Application granted granted Critical
Publication of CN105987717B publication Critical patent/CN105987717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61B—RAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
    • B61B5/00—Elevated railway systems without suspended vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Gyroscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开涉及一种驾驶员视觉传感器性能测试***。一种传感器测试***可包括连接到至少一个测试装置和传感器的控制器，所述控制器被配置为：接收包括多个测试序列的测试指令；基于所述测试序列，指示至少一个显示单元显示条目；从所述测试装置接收指示驾驶员行为的响应数据，所述响应数据包括计时信息和测试装置信息；基于所述计时信息和所述测试装置信息，汇集所述响应数据；接收由所述传感器在所述测试序列期间获取到的传感器数据；将汇集到的响应数据与所述传感器数据进行比较；基于所述比较，确定所述传感器的精确度。

Description

驾驶员视觉传感器性能测试***
技术领域
本公开涉及驾驶员监测传感器测试。
背景技术
驾驶员监测传感器的使用在车辆中正在增长。当驾驶时，驾驶员将他们的注意力集中在道路上以及各种镜子、车辆内的显示器和控制件上。驾驶员监测传感器被用在车辆中，以确定驾驶员的视线方向。然而，这些驾驶员监测传感器在安装之前经常未被充分地测试或评估，这可能导致传感器在车辆运行期间提供错误的数据。
发明内容
一种传感器测试***可包括连接到至少一个测试装置和传感器的控制器，所述控制器被配置为：接收包括多个测试序列的测试指令；基于所述测试序列，指示至少一个显示单元显示条目；从所述测试装置接收指示驾驶员行为的响应数据，所述响应数据包括计时信息和测试装置信息；基于所述计时信息和所述测试装置信息，汇集所述响应数据；接收由所述传感器在所述测试序列期间获取到的传感器数据；将汇集到的响应数据与所述传感器数据进行比较；基于所述比较，确定所述传感器的精确度。
一种车辆***可包括连接到至少一个测试装置和传感器的控制器，所述传感器被配置为：指示至少一个显示单元显示条目；从所述测试装置接收指示驾驶员行为的响应数据，并将所述响应数据与由所述传感器提供的传感器数据进行比较；基于所述比较，确定所述传感器的精确度。
根据本发明的一个实施例，所述响应数据包括至少一个第一头部位置和第一注视方向。
根据本发明的一个实施例，将所述响应数据的第一头部位置和第一注视方向与所述传感器数据的第二头部位置和第二注视方向进行比较。
根据本发明的一个实施例，所述响应数据包括从参考装置接收到的参考数据，并且包括语音响应、计时数据和成像数据中的至少一个。
根据本发明的一个实施例，所述参考装置包括车辆相机、麦克风和计时装置中的至少一个。
根据本发明的一个实施例，所述控制器还被配置为：指示扬声器发出指示期望的驾驶员行为的语音指令。
根据本发明的一个实施例，所述至少一个显示单元包括设置在车辆车厢内的多个显示单元。
根据本发明的一个实施例，所述控制器还被配置为：指示所述显示单元中的一个点亮持续预定义的时间量。
根据本发明的一个实施例，所述控制器还被配置为：指示所述显示单元中的一个显示随机产生的图像。
根据本发明的一个实施例，所述响应数据包括在麦克风接收到的至少一个语音响应，所述语音响应指示所述随机产生的图像。
根据本发明的一个实施例，所述控制器还被配置为：从计时装置接收计时信息。
一种车辆传感器测试***可包括连接到第一传感器和第二传感器的控制器，其中，第一传感器和第二传感器中的每一个被配置为检测驾驶员行为，所述控制器被配置为：将来自第一传感器的第一数据与来自第二传感器的第二数据进行比较，并且，基于所述比较，确定第二传感器的精确度。
根据本发明的一个实施例，所述控制器还被配置为：基于从参考装置接收到的额外的参考数据，确定第二传感器的精确度，其中，所述参考装置包括相机、计时装置和麦克风中的至少一个。
根据本发明的一个实施例，所述参考数据包括成像数据、计时数据和语音数据中的至少一个。
附图说明
用附在权利要求中的特征指出了本公开的实施例。然而，通过下面结合附图的详细描述，各种实施例的其他特征将变得更加明显并且将得到更好地理解，其中：
图1示出了用于驾驶员视觉监测传感器的示例性传感器测试***；
图2示出了图1的测试***的示例性车辆视图；
图3A和图3B示出了用于测试***的示例性处理。
具体实施方式
根据需要，在此公开本发明的详细实施例；然而，将要理解的是，所公开的实施例仅为本发明的示例，其中，本发明可以以各种替代形式来实现。附图无需按比例绘制；一些特征可被夸大或最小化以示出特定组件的细节。因此，在此公开的具体结构和功能细节不应被解释为具有限制性，而仅作为用于教导本领域技术人员以多种方式利用本发明的代表性基础。
在此描述的是用于驾驶员视觉监测传感器的测试***，该测试***在车辆中常用于检测驾驶员正在查看的位置。因为车辆***正在以不断增长的速率使用由这种传感器提供的数据，所以在车辆中安装可靠和准确的传感器是重要的。在安装传感器之前，为了避免在安装之后出现问题，测试传感器是有益的，这可能会继续消耗成本和耗费时间。这里的***包括测试车辆内的多个显示器，所述车辆内的多个显示器被设置在驾驶员在驾驶车辆时通常查看的位置(例如，抬头式显示器、后视镜等)。用户或者测试驾驶员可坐在驾驶员座椅中。驾驶员的头部在测试期间可被观测到，其中，驾驶员可将他或她的头部/眼睛从一个显示器移动到另一个显示器。中心控制器可指示显示器点亮或显示特定的对象(诸如数字或字母)。控制器还可指示有助于帮助测试的特定的语音(audio)命令。在测试期间，除了驾驶员的其他属性之外，可使用多个测试装置(诸如地面实况传感器和/或参考相机)来记录头部位置。驾驶员控制的计时器(timer)或计时(timing)装置150还可被用于指示驾驶员朝特定的显示器看了多长时间。可利用由这些多个装置收集到的数据，并且将由这些多个装置收集到的数据与由测试车辆内的驾驶员视觉监测传感器收集到的数据进行比较。基于该比较，可针对驾驶员视觉监测传感器的精确度评估驾驶员视觉监测传感器。因为控制器控制和命令具有若干序列的标准测试，所以驾驶员视觉监测传感器可以以很快的速度很容易地被切换出和检查，从而提高了车辆上的驾驶员视觉监测传感器数据的可靠性。
图1示出了用于车辆驾驶员视觉监测***的示例性传感器测试***100，车辆驾驶员视觉监测***包括具有存储器和处理器的控制器105，处理器被配置为将指令发送到多个显示单元110(如示出为显示器单元110a至110k)。显示单元110可以是视觉显示器(诸如发光二极管(LED)、有机发光二极管(OLED)、主动矩阵式有机发光二极管(AMOLED)、液晶显示器(LCD)、薄膜二极管(TFD)、阴极射线管(CRT)、等离子体触摸屏、电容式触摸屏或电阻式触摸屏等)中的任何一个或组合。可指示显示单元110向车辆内的用户115显示条目、数字、对象、字母等，以便将用户的注意力引导到特定的单元110。控制器105可通过向显示单元110提供多个测试序列来测试驾驶员视觉监测传感器180。每个测试序列可包括用于语音命令和视觉指示(在显示单元中的一个上)中的一个或者两者的特定指令。例如，第一序列可在显示单元110a上显示字母。第二序列可在显示单元110b上显示数字。针对每个序列，用户115可朝点亮的显示器单元110查看。如在此描述的，多个装置被用于收集关于用户在序列期间的视觉方向的数据。该数据可随后被控制器105用于评估驾驶员视觉监测传感器180的精确度。这些装置和测试处理在此被更为详细地描述。
控制器105可与地面实况传感器120进行通信。地面实况传感器120可以是设置在车辆内用于检测用户的头部的位置和方向的位置传感器。地面实况传感器120可以能够通过成像(诸如，利用多个视觉传感器进行视频成像)来检测用户115的头部的位置和方向。在一个示例中，地面实况传感器120可以是电磁追踪***，诸如，由佛蒙特州的科尔切斯特市的波尔希默斯公司TM提供的爱国者TM无线追踪***。可监测驾驶员的头部的位置和方向的任何其他适当的头部的位置和方向监测***可被用作地面实况***。地面实况传感器120可被配置为将第一驾驶员数据发送回至在此描述的数据分析模块130。地面实况传感器120可包括一对传感器，诸如第一传感器120a和第二传感器120b。第一传感器120a可以是安装在车辆内的靠近用户的头部的基础传感器，第二传感器120b可以是经由帽子或发带固定于用户的头部的移动传感器。第一传感器120a和第二传感器120b可一起提供定量的地面实况数据，诸如，头部旋转侧倾-俯仰-横摆(RPY)以及头部位置坐标X、Y、Z。
至少一个相机135可与控制器105进行通信，并且被配置为向数据分析模块130提供成像数据。这样的成像数据可指示由用户115做出的特定的头部运动，并且可被数据分析模块130用于评估驾驶员视觉监测传感器180。相机135可以是能够拍摄视频并且检测用户头部和眼球运动的相机。相机135可包括多个相机，且成像数据可被数据分析模块130用于进行定性分析。例如，成像数据可被用于确定用户是否正在朝正确的位置查看以及用户是否正在遵循指令。另外或可选地，由于计时信息与以下描述的驾驶员的头部的运动相关，所以成像数据还可附带有(supplement)计时信息。
控制器105可与数据分析模块130进行通信。数据分析模块130可包括处理器以及被配置为接收数据并向控制器105发送数据的控制器。虽然图1将数据分析模块130和数据控制器105示出为单独的装置，但是在一些实施例中，数据分析模块130和数据控制器105中的每一个可利用单个集成的控制器来执行据分析模块130和数据控制器105中的另一个的功能。此外，虽然数据采集装置被示出为与麦克风140和扬声器145进行通信，且控制器105被示出为与用户计时器150进行通信，但是数据收集装置和控制器105中的每一个可与麦克风140、扬声器145和计时器150中的一个或更多个进行通信。此外，数据分析模块130内的控制器可执行如所描述的控制器105执行的任何功能或全部功能。
麦克风140可以是被配置为从用户115接收语音响应的车载麦克风。扬声器145可以是被配置为将命令以语音方式传达给用户115的车载扬声器。用户计时器150可以是被配置为基于用户反馈来追踪特定事件的时间的计时器。例如，用户115可在计时器150上按下指示事件的开始的按钮。用户115还可按下指示事件的结束的按钮。该计时信息/数据可被发送到控制器105。
***100还可依赖于各种文件和测试指令来实现测试程序。如在图1中示出的，控制器105可访问序列设计文件。控制器105可被配置为基于设计文件165来指示显示单元110显示特定序列中的特定条目。序列可包括用于显示单元110的特定的开启/关闭序列。
语音指令文件170可被数据分析模块130或控制器105调用，且控制器105可被配置为基于语音指令文件170来指示扬声器145播放特定的语音命令。例如，命令可包括诸如“在四号显示器上可看见什么数字？”的短语。对于这些命令，用户115可语音地回复，这些命令可由麦克风140来接收并且被发送到控制器105。
控制器105可调用用于保存所有的命令和响应的日志文件175。具体地，日志文件175可为来自控制器的响应数据编制目录，所述来自控制器的响应数据包括来自计时器150、麦克风140和其他的数据。所述响应可基于序列的计时和/或预期的响应而与特定的序列进行关联。例如，如果第一显示单元110a响应于基于由设计文件165提供的第一序列的指令而被点亮，则日志文件175可存储在点亮的特定时段内接收到的任何响应。所存储的响应可与日志文件175内的第一序列进行关联，并且可包括从与用于显示单元110的开启/关闭序列的定时相关的数据源中的至少一个接收到的数据，所述数据源包括手按计时器150、麦克风140以及其他。日志175还可保存哪些随机产生的图像(例如，数字/字母)被显示以及在何时被显示，以随后将驾驶员的响应的准确性关联到这些显示器。
驾驶员视觉监测传感器180可被包括在***100中，并且可由控制器105进行评估。如说明的，驾驶员视觉监测传感器180可以是最终将被安装到车辆中以供终端客户使用的传感器。驾驶员视觉监测传感器180可以很容易地被去除和安装，使得多个驾驶员监测传感器可使用***100进行测试，以进行开发。
图2示出了测试***100的示例性车辆车厢视图。显示单元110可被设置在整个车辆的车厢中的驾驶员通常查看的位置处。例如，显示单元110可包括驾驶员侧车窗单元110a、驾驶员侧视镜单元110b、向前看单元110c、抬头式显示(HUD)单元110d、仪表板单元110e、方向盘单元110f、膝部单元110g、后视镜单元110h、中央显示单元110i、乘客侧视镜单元110j、乘客侧车窗单元110k。尽管未示出，但其他位置也可包括显示单元110。传感器测试***100可利用显示单元110指示用户115他或她的眼睛和头部应指向哪里。例如，如果中央显示单元110k被点亮，则用户115可朝该单元查看。通过控制用户/驾驶员的行为(例如，头部的位置和注视方向)，测试***100可执行对驾驶员视觉监测传感器180的控制分析。
图3A和图3B示出了用于基于从用户115(例如，麦克风140和计时器150)以及地面实况传感器120a、120b和相机135接收到的数据来测试驾驶员视觉监测传感器180的精确度的示例性处理300。
在方框302，处理300通过从设计文件165选择测试场景开始。在方框305，控制器105确定针对显示单元110的视觉输出调整是否应被执行。例如，用户115可选择不同尺寸和颜色的LED。为了控制用户查看特定的显示单元110时所需的注意力的程度，可对该显示单元110做出调整。例如，由LED构成的显示单元110可利用具有低对比度或低亮度的颜色来迫使用户的全部注意力到该显示单元110，部分是因为为了看清该显示单元110，用户将被要求更加集中注意力。相反地，显示单元110上的具有鲜明对比颜色的大的LED可被用于允许短暂扫视显示单元110。还可对语音指令做出调整。这样的调整可取决于显示单元110的位置。例如，一些显示单元可紧靠用户115，而需要更大LED的另一些显示单元进一步远离用户115。
在方框310，控制器105指示显示单元110调整视觉输出。例如，一个或更多个视觉输出的尺寸可根据它们的位置在显示单元110上被改变。
在方框315，处理300进行到启动测试会话，其中，测试会话可包括多个测试序列。针对每个序列，可执行在方框320至方框355中的一个或更多个中的处理。
在方框320，控制器105可从设计文件165接收与在方框302中选择的场景相关的序列文件。序列文件可包括指示一系列的事件(诸如，哪些显示单元110将要显示条目并且以哪种顺序显示条目)的至少一个指令。在一个示例中，序列文件可指示驾驶员侧车窗单元110a将要显示随机数字。在另一示例中，另一单元可显示形状或仅仅点亮。由显示单元110显示的条目可根据显示器的类型经由LED或其他显示机制而被形成。其他示例性指令可包括显示随机产生的数字、显示条目的特定颜色等。控制器105可指示显示单元110中的至少一个显示由序列指示的条目。
在方框330，控制器105可经由麦克风140从用户115接收语音响应。如下面参照方框400说明的，控制器105可包括语音识别***，并且可被配置为将语音响应转换成可被存储在日志文件175中的数字格式。语音响应可包括由用户115以语音方式传达的任意数量的响应。在一个示例中，用户115可以以语音方式传达用户115在显示单元110上看到的什么内容。例如，如果显示随机产生的字母，则用户115可叙述该字母。此外，用户115可指示显示单元110中的哪一个显示了该条目。如在图1中示出的，该语音响应可被发送到数据采集装置。另外或可选地，控制器105可直接地接收语音响应。
在方框335，控制器105可从计时器150接收计时信息/数据。计时信息可指示用户实际上朝各个显示单元110查看了多长时间。如上面说明的，计时器150可通过用户的手来***作。
在方框340，控制器105可从相机135接收指示头部的运动和/或位置的成像数据。
在方框345，数据分析模块130从地面实况传感器120a、120b接收地面实况数据。如上面说明的，地面实况信息可包括经由电磁追踪器***和/或其他高精确度和高分辨率的视觉***获得的驾驶员的头部运动和/或驾驶员的注视方向。
在方框350，数据分析模块130可从驾驶员视觉监测传感器180接收第二数据或传感器数据。第二数据可包括与从地面实况传感器120获得的数据类似的第二数据，所述与从地面实况传感器120获得的数据类似的第二数据包括第二头部位置和第二注视方向。
在方框355，控制器105可指示扬声器145发出特定的命令。这些命令可包括针对用户115的指令，诸如“请识别在第十号显示单元上示出的数字”。
在方框370，控制器105可确定测试会话是否被完成。例如，控制器105可确定所有的序列是否已被执行。如果所有的序列已被执行，则处理300进行到方框375。如果所有的序列还未被执行，则处理300返回到方框315。
在方框375，处理300进行到评估可包括多个测试序列的测试会话。针对每个序列，可执行在方框380至方框410中一个或更多个中的处理。
在方框380，控制器105可在日志文件175中汇集针对地面实况传感器120和驾驶员视觉监测传感器180的所有的数据。该数据的汇集可包括基于与每个数据片段关联的时间戳来对数据进行分类。该汇集允许该数据按照各个序列来被组织，其中，该数据针对各个序列来被收集。如下面描述的，该汇集还将允许驾驶员视觉监测传感器180被更好地评估。例如，当与其它数据比较时(例如，当与由用户115提供的计时信息比较时)，与每个数据点关联的时间戳还可被用于评估驾驶员视觉监测传感器180是否如预期的那样正在执行。
在方框385，控制器105可评估(或估计)由计时器150提供的每个扫视的精确的驾驶员注视方向的时间(包括开始时间/结束时间)。该驾驶员注视方向的时间可基于由相机135提供的成像数据来调整。例如，成像数据(经由头部运动的成像数据)可指示用户115在t+0.75秒开始朝显示单元110a看，在t+2.45秒转移目光(例如，看其他地方)。由用户115操作的计时器150可指示用户115在t+0.78秒和在t+2.50秒点击了计时器。因此，成像数据可被用于在计时器数据中检测到差异(例如，人为误差)的情况下校正计时器数据。驾驶员注视方向的时间指示用户朝特定的显示单元110查看了多长时间。
在一个实施例中，在方框390，控制器105可确定在计时信息和成像数据之间针对指示的驾驶员注视方向的时间是否存在差异。例如，如果在由成像数据确定的驾驶员注视方向的时间和由计时器150提供的计时信息之间存在大的差异(例如，超过预定义阈值的时间上的差异)，则该计时信息可被忽略和/或搁置以进行其它分析。
在方框395，将比较来自驾驶员视觉监测传感器180的第二数据与地面实况传感器120的第一数据。例如，可将由地面实况传感器120提供的地面实况数据(例如，头部的运动信息)与由驾驶员视觉监测传感器180提供的第二驾驶员视觉监测传感器信息(例如，第二头部位置和第二注视方向)进行比较。一旦进行比较，则该数据可被用于创建与针对每个序列的头部位置相关的角度输出。例如，用户的头部的角度输出可在用户115正在朝显示单元110a查看时被确定。另一角度输出可在用户115正在朝显示单元110b查看时被确定，等等。
在方框400，为了提取出由用户115记录的口头响应，控制器105可分析经由麦克风140接收到的语音响应数据。例如，这些响应可包括口头陈述的数字或字母。控制器105可包括能够将语音响应数据转换为语音响应数据的数字表示的音频识别软件，并将“数字”与语音响应数据被接收时的时间戳关联。
在方框405，控制器105可将所接收到的语音响应数据与从语音指令文件170、日志文件175和/或设计文件165中接收到的预期的响应进行比较。如说明的，设计文件165可提供用于在特定的显示单元110上显示随机数字的针对特定序列的指令。随着每个随机数字产生，日志文件175可为该数字编制目录，或者将该数字与时间戳一起保存，从而将该数字与当时运行的序列进行关联。控制器105可将由用户115口头陈述的字母和/或数字与保存的字母和/或数字进行比较，以确定由用户115口头陈述的字母和/或数字是否与保存的字母和/或数字匹配。该比较结果可被控制器105用于评估驾驶员视觉监测传感器180，而且还可被用于简单地指示用户115在测试期间是否正在注意到预期的显示单元110。该比较结果还可被用于使用户进一步地参与到测试中，以保持用户的兴趣，使得主动的参与可被获得。
在方框410，数据分析模块130可基于在方框380至方框405中做出的确定和比较来评估驾驶员视觉监测传感器180。也就是说，可将由驾驶员视觉监测传感器180产生的数据与来自地面实况***120的数据以及来自参考装置(包括相机135、麦克风140和计时器150)的参考数据进行比较。例如，驾驶员视觉监测传感器180可向数据分析模块提供包括驾驶员注视方向和时间的驾驶员视觉监测传感器数据。可将来自驾驶员视觉监测传感器180的驾驶员注视方向的时间与确定的驾驶员注视方向的时间(如在方框385和方框390中确定的驾驶员注视方向的时间)进行比较，同时可将来自驾驶员视觉监测传感器180的驾驶员注视方向与在方框395中确定的角度输出进行比较。方框405中的语音数据的精确度对于该比较提供了额外的过滤，以消除包含明显人为误差的结果。例如，在用户报告的数字/字母与在显示单元上示出的数字/字母之间的连续的不匹配可指示需要被忽略的不良数据。驾驶员视觉监测传感器数据与确定的驾驶员注视时间和角度输出的数据匹配的程度将使用统计模型来被评分，然后，可通过数据分析模块基于针对所有测试会话的评分来判断驾驶员视觉监测传感器180。使用所描述的处理，针对不同的驾驶员视觉监测传感器180的评分在不同的产品中启用同类(homogeneous)比较。
在方框415，数据分析模块130可确定每个序列是否已被评估。如果每个序列已被评估，则处理300结束。如果每个序列还未被评估，则处理300返回到方框375。相应地，描述了可通过驾驶员视觉监测传感器180的精确度和可用性可被确定的测试***。该测试***可从不同于驾驶员视觉监测传感器180的多个源中获取数据。该数据可随后被关联以提供指示驾驶员视线方向或位置以及时间的数据。随后可将该关联的数据与由驾驶员视觉监测传感器180提供的数据进行比较。通过比较数据，控制器可确定驾驶员视觉监测传感器180的精确度。
计算装置(诸如混频器、远程装置、外部服务器等)总体上包括计算机可执行指令，其中，所述指令可由诸如上述列出的一个或更多个计算装置来执行。可从使用各种编程语言和/或技术创建的计算程序来编译或解释计算机可执行指令，所述编程语言和/或技术包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl等中的单独的一个或组合。通常，处理器(例如，微处理器)从例如存储器、计算机可读介质等接收指令，并执行这些指令，从而执行一个或更多个处理，所述一个或更多个处理包括在此描述多个处理中的一个或更多个。可使用各种计算机可读介质来存储和传输这样的指令和其他数据。
虽然以上描述了示例性实施例，但这些实施例并不意在描述本公开的所有可能形式。更确切地说，说明书中所使用的词语是描述性词语而非限制性词语，并且应理解的是，可在不脱离本公开的精神和范围的情况下做出各种改变。此外，可将各种实现的实施例的特征进行组合以形成未被明确描述或示出的进一步的实施例。

Claims (4)

1.一种传感器测试***，包括：
控制器，连接到至少一个测试装置和传感器，所述控制器被配置为：
接收包括多个测试序列的测试指令；
基于所述测试序列，指示至少一个显示单元显示条目；
从所述测试装置接收指示驾驶员行为的响应数据，所述响应数据包括计时信息、测试装置信息以及至少一个第一头部位置和第一注视方向；
基于所述计时信息和所述测试装置信息，汇集所述响应数据；
接收由所述传感器在所述测试序列期间获取到的传感器数据；
将汇集到的响应数据与所述传感器数据进行比较，其中，所述响应数据的第一头部位置和第一注视方向被与所述传感器数据的第二头部位置和第二注视方向进行比较；
基于所述比较，确定所述传感器的精确度。
2.如权利要求1所述的传感器测试***，其中，所述控制器还被配置为：基于所述测试指令，指示扬声器发出指示期望的驾驶员行为的语音指令。
3.如权利要求1所述的传感器测试***，其中，所述响应数据包括在麦克风获取的语音响应以及从计时装置获取的计时信息。
4.如权利要求1所述的传感器测试***，其中，所述传感器是视觉传感器。
CN201610157293.3A 2015-03-18 2016-03-18 驾驶员视觉传感器性能测试*** Active CN105987717B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/661,613 2015-03-18
US14/661,613 US9798941B2 (en) 2015-03-18 2015-03-18 Driver visual sensor behavior study device

Publications (2)

Publication Number Publication Date
CN105987717A CN105987717A (zh) 2016-10-05
CN105987717B true CN105987717B (zh) 2020-04-07

Family

ID=56853285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610157293.3A Active CN105987717B (zh) 2015-03-18 2016-03-18 驾驶员视觉传感器性能测试***

Country Status (5)

Country Link
US (1) US9798941B2 (zh)
CN (1) CN105987717B (zh)
DE (1) DE102016104578A1 (zh)
MX (1) MX2016003591A (zh)
RU (1) RU2712476C2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113767389A (zh) * 2019-04-29 2021-12-07 辉达公司 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据
CN111984853B (zh) * 2019-05-22 2024-03-22 北京车和家信息技术有限公司 试驾报告生成方法和云端服务器
US20210049625A1 (en) * 2019-08-16 2021-02-18 Toyota Motor North America, Inc. System and method for using vehicle data for future vehicle designs
WO2021138775A1 (zh) * 2020-01-06 2021-07-15 北京未动科技有限公司 一种dms设备性能评估***、方法、存储介质及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409726A (zh) * 2003-10-08 2009-04-15 通用汽车公司 被捕获测试车队
EP2032034B1 (en) 2006-06-11 2020-04-01 Volvo Truck Corporation Method for determining and analyzing a location of visual interest
US20080266136A1 (en) 2007-04-26 2008-10-30 Diba Keyvan T Emergency traffic signal system and apparatus
US8259117B2 (en) 2007-06-18 2012-09-04 Brian Mark Shuster Avatar eye control in a multi-user animation environment
JP2009217682A (ja) 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
US8576081B2 (en) * 2009-02-13 2013-11-05 Toyota Jidosha Kabushiki Kaisha Physiological condition estimation device and vehicle control device
US20140058584A1 (en) * 2009-03-18 2014-02-27 Robert Bosch Gmbh System And Method For Multimodal Interaction With Reduced Distraction In Operating Vehicles
US9124955B2 (en) * 2011-09-19 2015-09-01 Card Guard Scientific Survival Ltd. Vehicle driver monitor and a method for monitoring a driver
US8915738B2 (en) * 2012-01-24 2014-12-23 Toyota Motor Engineering & Manufacturing North America, Inc. Driver quality assessment for driver education
CN102700415B (zh) * 2012-06-11 2015-08-19 长安大学 一种驾驶员视觉辅助装置及其视觉辅助方法
CN102764107B (zh) 2012-07-20 2014-12-10 长安大学 一种模拟公路隧道环境驾驶人视觉反应的实验方法
US9039180B2 (en) 2012-12-11 2015-05-26 Elwah LLC Self-aligning unobtrusive active eye interrogation
US20140163329A1 (en) 2012-12-11 2014-06-12 Elwha Llc Unobtrusive Active Eye Interrogation with Gaze Attractor
US20150363797A1 (en) * 2014-06-13 2015-12-17 Atieva, Inc. Vehicle Test System

Also Published As

Publication number Publication date
RU2712476C2 (ru) 2020-01-29
CN105987717A (zh) 2016-10-05
US20160275361A1 (en) 2016-09-22
MX2016003591A (es) 2016-09-19
RU2016109093A3 (zh) 2019-08-16
DE102016104578A1 (de) 2016-09-22
RU2016109093A (ru) 2017-09-18
US9798941B2 (en) 2017-10-24

Similar Documents

Publication Publication Date Title
CN105987717B (zh) 驾驶员视觉传感器性能测试***
US9043042B2 (en) Method to map gaze position to information display in vehicle
KR101648017B1 (ko) 디스플레이 장치, 차량 및 디스플레이 방법
US10162409B2 (en) Locating a head mounted display in a vehicle
US8605009B2 (en) In-vehicle display management system
CN1248174C (zh) 驾驶员训练***和方法
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US20130097557A1 (en) Method of controlling a display component of an adaptive display system
CN105966311B (zh) 用于校准摄像机的方法、车辆用的设备和计算机程序产品
US11741630B2 (en) Vehicle system with no-control operation
CN105718230B (zh) 用于验证飞机组件的近眼显示***和方法
EP3251584A1 (en) Line-of-sight detector and line-of-sight detection method
US10776944B2 (en) Face position detecting device
JP6095781B2 (ja) 情報提示装置及び情報提示方法
EP2732922B1 (de) Drehmomentwerkzeug mit Anzeigensystem
CN107850989A (zh) 用于在车辆中呈现信息的方法、装置和***
JP2010149580A (ja) 車両内情報表示装置
US20210290133A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
KR101619267B1 (ko) 차량의 hud 제어 방법, 및 차량의 hud 제어 장치
JP2018181025A (ja) 視線検出装置
EP4131182A1 (en) Cockpit display ambient lighting information for improving pupillometry
JP2017204177A (ja) ドライバ状態判定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant