CN112445333A - 与平视显示器集成的眼睛定位跟踪装置 - Google Patents

与平视显示器集成的眼睛定位跟踪装置 Download PDF

Info

Publication number
CN112445333A
CN112445333A CN202010861778.7A CN202010861778A CN112445333A CN 112445333 A CN112445333 A CN 112445333A CN 202010861778 A CN202010861778 A CN 202010861778A CN 112445333 A CN112445333 A CN 112445333A
Authority
CN
China
Prior art keywords
vehicle
electron microscope
occupant
face
receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010861778.7A
Other languages
English (en)
Inventor
K-H.张
T.A.赛德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112445333A publication Critical patent/CN112445333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

在各个实施例中，提供了包括平视显示器和******的方法、***和车辆。在示例性实施例中，平视显示器***包括壳体；设置在壳体内的光源；以及设置在壳体内的一个或多个镜子。同样在某些实施例中，******包括：设置在壳体外部并靠近壳体的电镜；在电镜上形成的激光器；以及在电镜上形成的接收器。

Description

与平视显示器集成的眼睛定位跟踪装置
技术领域
技术领域总体涉及车辆(例如陆基车辆、水基车辆和飞机)的领域，更具体地，涉及用于识别车辆中个人的眼睛位置的方法和***。
背景技术
某些车辆包括用于向车辆驾驶员提供信息的平视显示器。这样的平视显示器可能需要驾驶员的眼睛的检测位置，例如以便以可见的方式显示信息以供驾驶员看到。
因此，期望提供一种用于定位车辆驾驶员的眼睛的***。此外，结合附图和本发明的该背景技术，根据本发明的后续详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。
发明内容
在一示例性实施例中，提供了一种***，其包括平视显示器和******。平视显示器***包括：壳体；设置在壳体内的光源；以及设置在壳体内的一个或多个镜子。******包括：设置在壳体外部并靠近壳体的电镜；形成在电镜上的激光器；以及形成在电镜上的接收器。
同样在一实施例中，电镜紧靠壳体的外表面设置。
同样在一实施例中，壳体设置在车辆的前仪表板内。
同样在一实施例中，电镜包括由单个整体件制成的单个镜。
同样在一实施例中，激光器和接收器均与电镜一体形成。
同样在一实施例中，激光器配置为向车辆乘员的面部发射红外线；并且接收器配置为在红外线已从乘员的面部反射后接收红外线的反射。
同样在一实施例中，接收器包括配置为一次接收单个像素的单个传感器。
同样在一实施例中，***还包括形成在接收器内的透镜。
同样在一实施例中，***还包括耦合到******的计算机***，该计算机***包括：存储器，其配置为存储关于接收器接收到的反射的信息；和处理器，其耦合到存储器并配置为至少有助于基于所存储的关于反射的信息来映射乘员的面部。
同样在一实施例中，处理器还配置为至少有助于旋转电镜。
在另一示例性实施例中，提供了一种车辆，该车辆包括：(i)车身；(ii)配置为推动车身的驱动***；(iii)形成在车身中的前仪表板；(iv)平视显示器***，其包括：(a)形成在前仪表板中的壳体；(b)设置在壳体内的光源；以及(c)设置在壳体内的一个或多个镜子；和(v)******，其包括：(a)设置在壳体外部并靠近壳体的电镜；(b)形成在电镜上的激光器；(c)形成在电镜上的接收器。
同样在一实施例中，电镜紧靠壳体的外表面设置。
同样在一实施例中，电镜包括由单个整体件制成的单个镜。
同样在一实施例中，激光器和接收器均与电镜一体形成。
同样在一实施例中，激光器配置为向车辆乘员的面部发射红外线；并且接收器配置为在红外线已从乘员的面部反射后接收红外线的反射。
同样在一实施例中，接收器包括配置为一次接收单个像素的单个传感器。
同样在一实施例中，******还包括形成在接收器内的透镜。
同样在一实施例中，车辆还包括耦合到******的计算机***，该计算机***包括：(a)存储器，其配置为存储关于接收器接收到的反射的信息；和(b)处理器，其耦合到存储器并配置为至少有助于：(i)基于所存储的关于反射的信息来映射乘员的面部；并且旋转电镜。
在另一实施例中，提供了一种方法，该方法包括：经由形成在车辆的平视显示器***外部的电镜上的激光器，向车辆乘员的面部发射红外线；经由形成在电镜上的接收器，在红外线已从乘员的面部反射后接收红外线的反射；以及将有关反射的信息存储在计算机存储器中。
同样在一实施例中，该方法还包括：通过由处理器提供的指令，多次旋转激光器；在激光器每次旋转后，通过激光器向车辆乘员的面部发射附加红外线；在附加红外线已从乘员的面部反射后，通过接收器接收附加红外线的附加反射；将附加反射存储在计算机存储器中；以及通过使用反射和附加反射，经由处理器来映射包括乘员眼睛位置的乘员面部。
附图说明
在下文中，将结合以下附图描述本公开，其中，相同的标号表示相同的元件，并且其中：
图1是根据示例性实施例的示意图，包括用于车辆的******和平视显示器***的一部分，并且可以与图2的车辆结合使用；
图2是根据示例性实施例的车辆的功能框图，包括用于识别车辆乘员的眼睛位置的******(例如如图1所示)，其描绘为与用于车辆的平视显示器***和计算机***集成在一起；以及
图3是根据示例性实施例的用于识别车辆乘员的眼睛位置的过程的流程图，并且其可以结合图1和2的******和图2的车辆及计算机***来实现。
具体实施方式
以下详细描述本质上仅是示例性的，并且无意于限制本公开或其应用和使用。此外，无意受到在先前背景技术或以下详细描述中提出的任何理论的约束。
如图1所示，在各个实施例中，提供了用于车辆的平视显示器***120以及用于定位车辆乘员的眼睛的******102。
在各个实施例中，平视显示器***120和******102可以结合一个或多个车辆比如图2所示并在下面描述的车辆100来实现。在某些实施例中，平视显示器120和******102在陆基车辆中实现，比如汽车、卡车或其他陆基车辆(例如，如图2所示并且进一步在下面结合与此更详细地描述)。在某些其他实施例中，平视显示器120和******102在水基车辆中实现，比如船、潜艇或其他水基车辆。在其他实施例中，平视显示器120在飞行器(例如飞机、直升机、航天器和/或其他飞行器)中实现。
继续参照图1，在各个实施例中，平视显示器***120包括壳体(或包装)122、光源124和一个或多个内部镜126。同样在各个实施例中，平视显示器120利用光线进行操作，光线从光源124射出，从内部镜126反射，然后产生从车辆的挡风玻璃201(例如在如图1所示的反射点206处)并朝向车辆的乘员(例如到达在如图1所示的点210处的乘员)反射的光线202。
同样如图1所示，在某些实施例中，******102紧靠平视显示器***120的壳体(或包装)122的外表面设置。在各个实施例中，******102配置成例如用于定位和/或识别车辆乘员(例如驾驶员)的眼睛的位置，如下面结合图2更详细地描述。
在某些实施例中，如图1所示，******102被直接放置在平视显示器***120的壳体(或包装)122的外表面上并与之接触。在某些实施例中，如图1所示，******102放置在平视显示器***120的壳体(或包装)122的外表面外部并靠近其。
如图1所示，******102利用红外线204进行操作，红外线204从激光器134发出，从车辆的挡风玻璃201(例如在如图1所示的反射点208处)并且朝向乘员(例如到达在如图1所示的点212处的乘员)反射，然后通过******102的接收器136接收反射。
图2示出了根据示例性实施例的其中实施了图1的平视显示器***120和******102的车辆100。如下面更详细地描述，******102配置成用于定位和/或识别车辆100的乘员104的眼睛的位置。在各个实施例中，******102配置成确定坐在车辆100的前座106中的驾驶员104的眼睛的位置。同样在各个实施例中，******102与平视显示器***120和用于车辆100的计算机***130集成在一起，如图2所示并且在下面进一步详细描述。在某些实施例中，******102、平视显示器***120和计算机***130(和/或其部件)可以统称为控制***140，如图2所示。
在各个实施例中，车辆100可以包括任何数量的不同类型的车辆或移动平台。在某些实施例中，车辆100包括陆基车辆，比如许多不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)、摩托车和/或其他陆基车辆。在某些其他实施例中，车辆100包括水基车辆，比如船、潜艇或其他水基车辆。在其他实施例中，车辆100包括飞行器(例如飞机、直升机、航天器和/或其他飞行器)。
在所描绘的示例性实施例中，车辆100包括布置在底盘109上的上述车身110。车身110基本包围车辆100的其他部件。车身110和底盘109可以共同形成框架。车辆100还包括多个轴112和车轮114。每个车轮114在车身110的相应角部附近可旋转地联接至一个或多个轴112，以促进车辆100的运动。在一实施例中，车辆100包括四个车轮114，尽管这在其他实施例中可以变化(例如对于卡车和某些其他车辆而言)。
同样在所描绘的示例性实施例中，驱动***116安装在底盘109上，并驱动车轮114。驱动***116优选地包括推进***。在某些示例性实施例中，驱动***116包括与其传动装置联接的内燃发动机和/或电动机/发电机。在某些实施例中，驱动***116可以改变，和/或可以使用两个或更多个驱动***116。例如，车辆100还可结合多种不同类型的推进***中的任何一种或组合，例如汽油或柴油燃料的内燃机、“柔性燃料车辆”(FFV)发动机(即使用汽油和酒精的混合物)、气态化合物(例如氢气和/或天然气)燃料的发动机、燃烧/电动机混合动力发动机以及电动机。
如图2所示(并且如上所述)，在各个实施例中，******102包括电镜132、激光器134和接收器136。在各个实施例中，电镜132包括由单个整体件制成的单个镜。同样在各个实施例中，激光器134和接收器136形成在电镜上并与之集成。在某些实施例中，如下所述，******102附接到和/或形成在平视显示器***120的壳体122外部。
在各个实施例中，激光器134包括红外(IR)激光器，其配置为一次一个点地朝向车辆100的乘员104(例如驾驶员)的面部发送红外线。同样在各个实施例中，接收器136配置为在红外线接触乘员104的面部之后接收红外线的反射。在一实施例中，接收器136包括配置为一次接收单个像素的单个传感器。另外，在某些实施例中，在接收器136上包括透镜138，其可以例如改善信噪比。
在某些实施例中，接收器136配置为当红外线从乘员104的面部反射时一次一个地接收红外线的不同反射。在各个实施例中，电镜在各个时间点旋转激光器134和接收器136，使得每条红外线(及其反射)对应于乘员104的面部上的不同点位置。因此，以这种方式，乘员104的面部可被一次有效地扫描一个像素，对应于乘员面部上的一次一个点位置。
在各个实施例中，根据图3所示的控制过程300的步骤且下面将结合其进一步描述，******102可以与以下所述的计算机***130结合使用，以执行用于识别车辆100的乘员104的眼睛位置的方法。
在各个实施例中，平视显示器***120包括上述壳体(或包装)122、光源124和一个或多个内部镜126。在某些实施例中，平视显示器***120(包括其壳体122)内置在车辆100的前仪表板中于前座106的前方。在各个实施例中，******102与平视显示器***120集成在一起。
在各个实施例中，计算机***130耦合到******102，并且在某些实施例中，还耦合到平视显示器***120和一个或多个其他车辆***160。在各个实施例中，计算机***130接收关于接收器136接收到的像素反射的信息，存储该信息，并处理该信息以映射乘员104的面部(包括眼睛)。在某些实施例中，计算机***130还控制******102的旋转以映射乘员104的面部。另外，在某些实施例中，计算机***130使用面部的映射来识别车辆100的驾驶员104的眼睛的位置，并采取与其有关的适当动作(例如，根据眼睛的位置以及乘员是否注视道路，适当地调整******102和/或平视显示器120，和/或适当地控制一个或多个其他车辆***160，比如制动或转向等)。同样如图2所示，在各个实施例中，计算机***104经由一个或多个通信链路111耦合到******102和/或平视显示器***120(例如以从接收器136接收像素信息等)。在某些实施例中，通信链路111包括一个或多个有线连接，比如一个或多个电缆(例如同轴电缆和/或一个或多个其他类型的电缆)，和/或一个或多个无线连接(例如使用无线总线技术)。在各个实施例中，计算机***130根据下面结合图3进一步描述的过程300来执行这些功能。
在所描绘的实施例中，计算机***130包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行计算机***130的计算和控制功能，并且可以包括任何类型的处理器或多个处理器、单个集成电路比如微处理器或者共同协作以完成处理单元的功能的任何适当数量的集成电路设备和/或电路板。在操作期间，处理器142执行存储器144内包含的一个或多个程序152，并因此通常在执行本文所述的过程(例如如下面结合图3进一步描述的过程300)中控制计算机***130和计算机***130的计算机***的一般操作。
存储器144可以是任何类型的合适存储器。例如，存储器144可以包括各种类型的动态随机存取存储器(DRAM)比如SDRAM、各种类型的静态RAM(SRAM)以及各种类型的非易失性存储器(PROM、EPROM和闪存)。在某些示例中，存储器144位于和/或共同位于与处理器142相同的计算机芯片上。在所描绘的实施例中，存储器144存储上述程序152以及一个或多个存储值154(例如包括从接收器136接收的像素信息)。
总线150用于在计算机***130的计算机***的各个部件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从***驱动器和/或另一计算机***到计算机***130的计算机***的通信，并且可以使用任何合适的方法和装置来实施。在一实施例中，接口146从接收器136获得像素数据。接口146可包括一个或多个网络接口以与其他***或部件通信。接口146还可包括与技术人员通信的一个或多个网络接口，和/或连接到存储装置比如存储设备148的一个或多个存储接口。
存储设备148可以是任何合适类型的存储装置，包括直接访问存储设备，比如硬盘驱动器、闪存***、软盘驱动器和光盘驱动器。在一示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，程序152执行本公开的一个或多个过程的一个或多个实施例，比如下面结合图3进一步描述的过程200的步骤(及其任何子步骤)。在另一示例性实施例中，程序产品可以直接存储在比如下面所引用的存储器144和/或磁盘(例如磁盘156)中和/或以其他方式由其访问。
总线150可以是连接计算机***和部件的任何合适的物理或逻辑装置。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序152存储在存储器144中并由处理器142执行。
应当理解，尽管在功能全面的计算机***的情况下描述了该示例性实施例，但本领域技术人员将认识到，本公开的机制能够作为程序产品来分发，具有用于存储程序及其指令并执行其分发的一种或多种类型的非暂时性计算机可读信号承载介质，比如承载程序并包含存储在其中的计算机指令用于使计算机处理器(比如处理器142)履行和执行该程序的非暂时性计算机可读介质。这样的程序产品可以采取多种形式，并且本公开同样适用，而与用于执行分发的计算机可读信号承载介质的特定类型无关。信号承载介质的示例包括：可记录介质比如软盘、硬盘驱动器、存储卡和光盘，以及传输介质比如数字和模拟通信链路。应当理解，在某些实施例中还可以利用基于云的存储和/或其他技术。类似地，将意识到，计算机***130的计算机***也可以与图2所示的实施例不同，例如计算机***130的计算机***可以联接到或可以利用一个或多个远程计算机***和/或其他******。
图3是根据示例性实施例的用于映射车辆乘员的面部的过程300的流程图。图3的过程300可以结合车辆100来实施，车辆100包括根据示例性实施例的图1和2的******102、平视显示器***120及其计算机***130。
如图3所示，过程开始于步骤302。在一实施例中，过程300在车辆驾驶或点火循环开始时开始，例如当驾驶员启动车辆和/或对其点火时(例如通过转动钥匙、接合钥匙扣或开始按钮等)。在另一实施例中，过程300在******102被激活时开始。在一实施例中，过程300的步骤在车辆的操作期间被连续地执行。
在步骤304，发射红外信号。在各个实施例中，激光器134在车辆100的挡风玻璃201上并朝向车辆100的乘员104(例如驾驶员)发射红外线(或信号)，例如如图1所示并在上面结合其描述。在各个实施例中，激光器134在步骤304的每个单次迭代期间朝向乘员104的面部的单点发射单条红外线。
在步骤306接收红外信号。在各个实施例中，红外信号(或红外线)在从乘员104的面部的单个点反射之后被接收器136接收，例如如图1所示并在上面结合其描述。在各个实施例中，接收器136在步骤306的每个单次迭代期间以单个像素接收单个反射的红外信号。
在308，关于接收到的信号的信息存储在存储器中。在各个实施例中，关于单个接收到的像素的信息在步骤308的每个单次迭代期间存储在存储器144中(作为其存储值154)。
在各个实施例中，在步骤310确定是否要检查用户104的面部上的任何附加点以进行面部映射。在各个实施例中，关于乘员104的面部的映射是否不完整(例如关于面部上的足够数量的点位置是否尚未被检查)，该确定是由图2的处理器142做出的。
如果确定要检查面部上的附加点，则在步骤312旋转******102。具体地，在各个实施例中，处理器142提供用于旋转图1的电镜132的指令，从而使激光器134和接收器136旋转，从而使激光器134对准尚未被检查的乘员104的面部的不同点位置。此后，步骤304-312在各个新的迭代中重复(每个对应于乘员104的面部的不同点位置)，直到在步骤310的迭代中确定在乘员104的面部上没有要检查的任何附加点位置。
一旦在步骤310的迭代中确定在乘员104的面部上没有要检查的任何附加点位置，则该过程进行到步骤314。在步骤314期间，对乘员的面部(或面部的一部分，比如一只或多只眼睛)进行映射。在各个实施例中，图2的处理器142可以通过在步骤308的各个迭代期间编译存储在存储器144中的不同像素来映射面部(或其一只或多只眼睛)。同样在各个实施例中，映射包括一只或多只眼睛的位置。
另外，在某些实施例中，在步骤316基于乘员的脸部(例如眼睛的位置)的映射采取车辆控制动作。例如，在某些实施例中，处理器142可以基于映射(例如眼睛位置)来控制平视显示器单元120，包括其角度。另外，在某些实施例中，处理器142可以基于映射(例如眼睛位置)来调节******102的旋转。最后，在某些实施例中，处理器142还可以基于映射(例如眼睛位置)根据需要提供用于警告或警报或者用于对更多其他***160(比如制动、转向等)进行自动控制的指令，例如如果驾驶员104似乎正在闭上眼睛和/或不注意道路。
在各个实施例中，该过程在318结束(例如在某些实施例中，在当前车辆驱动或点火循环的末尾)。
因此，所公开的方法、***和车辆提供了用于映射车辆乘员的面部(包括乘员的眼睛位置)的***和方法。在各个实施例中，******包括激光器和与用于映射面部的电镜集成的接收器，******设置在用于车辆的平视显示器***的壳体外部(在某些实施例中，直接靠在其外表面上)。
应当理解，***、车辆和方法可以与图中所示和本文所述的那些不同。例如，在各个实施例中，车辆100、******102、平视显示器***120、计算机***130和/或其各种部件可以与图1和2所示并结合其描述的不同。类似地将意识到，在各个实施例中，过程300的步骤和/或实施可以与图3所示的那些不同，和/或过程300的各个步骤可以同时发生和/或以与图3所示不同的顺序发生。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应该理解的是，在不脱离由所附权利要求及其合法等同物所阐述的本公开的范围的情况下可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种***，包括：
平视显示器***，包括：
壳体；
设置在壳体内的光源；以及
设置在壳体内的一个或多个镜子；和
******，包括：
设置在壳体外部并靠近壳体的电镜；
形成在电镜上的激光器；以及
形成在电镜上的接收器。
2.根据权利要求1所述的***，其中，所述电镜紧靠壳体的外表面设置。
3.根据权利要求1所述的***，其中，所述电镜包括由单个整体件制成的单个镜。
4.根据权利要求1所述的***，其中，所述激光器和接收器均与电镜一体形成。
5.一种车辆，包括：
车身；
配置为推动车身的驱动***；
形成在车身中的前仪表板；
平视显示器***，包括：
形成在前仪表板中的壳体；
设置在壳体内的光源；以及
设置在壳体内的一个或多个镜子；和
******，包括：
设置在壳体外部并靠近壳体的电镜；
形成在电镜上的激光器；以及
形成在电镜上的接收器。
6.根据权利要求5所述的车辆，其中：
所述激光器配置为向车辆乘员的面部发射红外线；并且
所述接收器配置为在红外线已从乘员的面部反射后接收红外线的反射。
7.根据权利要求5所述的车辆，其中，所述接收器包括配置为一次接收单个像素的单个传感器。
8.根据权利要求5所述的车辆，还包括耦合到所述******的计算机***，所述计算机***包括：
存储器，其配置为存储关于接收器接收到的反射的信息；和
处理器，其耦合到存储器并配置为至少有助于：
基于所存储的关于反射的信息来映射乘员的面部；并且
旋转电镜。
9.一种方法，包括：
经由形成在车辆的平视显示器***外部的电镜上的激光器，向车辆乘员的面部发射红外线；
经由形成在电镜上的接收器，在红外线已从乘员的面部反射后接收红外线的反射；以及
将有关反射的信息存储在计算机存储器中。
10.根据权利要求9所述的方法，还包括：
通过由处理器提供的指令，多次旋转激光器；
在激光器每次旋转后，通过激光器向车辆乘员的面部发射附加红外线；
在附加红外线已从乘员的面部反射后，通过接收器接收附加红外线的附加反射；
将附加反射存储在计算机存储器中；以及
通过使用反射和附加反射，经由处理器来映射包括乘员眼睛位置的乘员面部。
CN202010861778.7A 2019-08-28 2020-08-25 与平视显示器集成的眼睛定位跟踪装置 Pending CN112445333A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/553,475 US10860093B1 (en) 2019-08-28 2019-08-28 Eye location tracking device integrated with head-up display
US16/553,475 2019-08-28

Publications (1)

Publication Number Publication Date
CN112445333A true CN112445333A (zh) 2021-03-05

Family

ID=73653873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861778.7A Pending CN112445333A (zh) 2019-08-28 2020-08-25 与平视显示器集成的眼睛定位跟踪装置

Country Status (2)

Country Link
US (1) US10860093B1 (zh)
CN (1) CN112445333A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454813B2 (en) 2019-11-07 2022-09-27 GM Global Technology Operations LLC Holographic display systems with polarization correction and distortion reduction providing enhanced image quality
JPWO2021172333A1 (zh) * 2020-02-28 2021-09-02
US11506892B1 (en) 2021-05-03 2022-11-22 GM Global Technology Operations LLC Holographic display system for a motor vehicle
US11762195B2 (en) 2021-05-06 2023-09-19 GM Global Technology Operations LLC Holographic display system with conjugate image removal for a motor vehicle
US11880036B2 (en) 2021-07-19 2024-01-23 GM Global Technology Operations LLC Control of ambient light reflected from pupil replicator
US11630302B1 (en) 2022-04-06 2023-04-18 GM Global Technology Operations LLC Driving guidance system for a motor vehicle having an augmented reality head up display
US11654771B1 (en) 2022-07-20 2023-05-23 GM Global Technology Operations LLC Multi-view display device for a co-pilot application of a motor vehicle
US11915395B2 (en) 2022-07-20 2024-02-27 GM Global Technology Operations LLC Holographic display system for a motor vehicle with real-time reduction of graphics speckle noise

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635708A (en) * 1994-06-14 1997-06-03 Nippondenso Co., Ltd. Optical scanning apparatus having a fixed compound reflective assembly for two-dimensional scan capability and method thereof
JP2000163700A (ja) * 1998-11-30 2000-06-16 Nippon Signal Co Ltd:The 走行情報システムの表示装置
US6501536B1 (en) * 1995-01-18 2002-12-31 Ronald J. Fredricks Method and apparatus for determining the location of an occupant of a vehicle
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
US20080079900A1 (en) * 2006-09-29 2008-04-03 Nidek Co., Ltd. Ophthalmologic observation apparatus
US20100067118A1 (en) * 2006-11-27 2010-03-18 Nippon Seiki Co. Ltd. Head-up display apparatus
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN107618438A (zh) * 2016-07-13 2018-01-23 福特全球技术公司 用于观察车辆感知活动的抬头显示器
CN107710048A (zh) * 2015-05-28 2018-02-16 赛尔米克实验室公司 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法
KR20180110326A (ko) * 2017-03-28 2018-10-10 한국전자통신연구원 레이저 레이더를 이용한 차량 제어장치
CN108885264A (zh) * 2015-12-18 2018-11-23 杰拉德·迪尔克·施密茨 对象的实时位置感测
US20180364478A1 (en) * 2017-06-20 2018-12-20 Benoit CHAUVEAU Mono-eye head-up display
FR3073053A1 (fr) * 2018-03-20 2019-05-03 Continental Automotive France Systeme optique a affichage tete-haute et eclairage integre

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635708A (en) * 1994-06-14 1997-06-03 Nippondenso Co., Ltd. Optical scanning apparatus having a fixed compound reflective assembly for two-dimensional scan capability and method thereof
US6501536B1 (en) * 1995-01-18 2002-12-31 Ronald J. Fredricks Method and apparatus for determining the location of an occupant of a vehicle
JP2000163700A (ja) * 1998-11-30 2000-06-16 Nippon Signal Co Ltd:The 走行情報システムの表示装置
CN1735831A (zh) * 2001-11-06 2006-02-15 基约蒂公司 用于图像投影的装置
US20080079900A1 (en) * 2006-09-29 2008-04-03 Nidek Co., Ltd. Ophthalmologic observation apparatus
US20100067118A1 (en) * 2006-11-27 2010-03-18 Nippon Seiki Co. Ltd. Head-up display apparatus
CN104166238A (zh) * 2013-05-15 2014-11-26 罗伯特·博世有限公司 用于将图像信息投射到车辆的乘员的视野中的装置和方法
CN107710048A (zh) * 2015-05-28 2018-02-16 赛尔米克实验室公司 在可穿戴式平视显示器中集成眼睛追踪和扫描激光投射的***、设备和方法
CN108885264A (zh) * 2015-12-18 2018-11-23 杰拉德·迪尔克·施密茨 对象的实时位置感测
CN107618438A (zh) * 2016-07-13 2018-01-23 福特全球技术公司 用于观察车辆感知活动的抬头显示器
KR20180110326A (ko) * 2017-03-28 2018-10-10 한국전자통신연구원 레이저 레이더를 이용한 차량 제어장치
US20180364478A1 (en) * 2017-06-20 2018-12-20 Benoit CHAUVEAU Mono-eye head-up display
FR3073053A1 (fr) * 2018-03-20 2019-05-03 Continental Automotive France Systeme optique a affichage tete-haute et eclairage integre

Also Published As

Publication number Publication date
US10860093B1 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
US10860093B1 (en) Eye location tracking device integrated with head-up display
US10195994B2 (en) Vehicle side mirror automation
CN112541386B (zh) 用于眼睛的位置识别的图像处理
CN107672522A (zh) 车辆外部监视
US10346715B2 (en) Camera misalignment determination methods and systems
US20200027241A1 (en) Auto-calibration for vehicle cameras
US10386043B1 (en) Outer display lighting apparatus of vehicle
CN113315946B (zh) 处理来自相机***的相机数据的方法和计算机可读介质
US11760318B2 (en) Predictive driver alertness assessment
US20170297487A1 (en) Vehicle door opening assessments
CN107979724B (zh) 具有多焦点相机的车辆
US11820392B2 (en) Eliminatinon of safety enable hardware through use of can transceiver wakeup functions
US20220179410A1 (en) Systems And Methods For Eliminating Vehicle Motion Interference During A Remote-Control Vehicle Maneuvering Operation
US11377023B2 (en) Proactive headlight tracking for vehicle auto high beam assist
US10086871B2 (en) Vehicle data recording
US10589677B1 (en) System and method to exhibit information after a pedestrian crash incident
US11954913B2 (en) System and method for vision-based vehicle fluid leak detection
US20200114842A1 (en) Vehicle closure open warning system and method
CN108297691B (zh) 用于在车辆的相机显示器上提供通知的方法和***
US11772561B1 (en) Digital flashlight to help hitching and other maneuvers in dim environment
US20210089190A1 (en) Tactile confirmation for touch screen systems
US20230373486A1 (en) Vehicle trailer control
US20240132056A1 (en) Occupancy based parking alignment for automated and assisted parking
US20230226978A1 (en) Rear view system and rear view method for vehicle
US9694777B2 (en) Wheel assembly adjustment for vehicle events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination