CN111860292B - 基于单目相机的人眼定位方法、装置以及设备 - Google Patents

基于单目相机的人眼定位方法、装置以及设备 Download PDF

Info

Publication number
CN111860292B
CN111860292B CN202010688604.5A CN202010688604A CN111860292B CN 111860292 B CN111860292 B CN 111860292B CN 202010688604 A CN202010688604 A CN 202010688604A CN 111860292 B CN111860292 B CN 111860292B
Authority
CN
China
Prior art keywords
driver
distance
monocular camera
image
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010688604.5A
Other languages
English (en)
Other versions
CN111860292A (zh
Inventor
高万军
李超龙
吴子扬
柳燕飞
汪华锋
和卫民
刘俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202010688604.5A priority Critical patent/CN111860292B/zh
Publication of CN111860292A publication Critical patent/CN111860292A/zh
Application granted granted Critical
Publication of CN111860292B publication Critical patent/CN111860292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于单目相机的人眼定位方法、装置以及设备。本发明的构思在于，通过单目相机以及参考点预先标定出驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息，以此作为后续定位操作的基础，而在实际定位阶段则由对应关系读取当前驾驶员的瞳距特征信息，并结合实时采集的2D图像的信息，测算驾驶员眼睛在真实空间中的位置。本发明与现有基于单目相机测距的方案像相比能够显著提升定位精度，并且具有成本低、操作便捷的优势，易于广泛施用在DSM领域中。

Description

基于单目相机的人眼定位方法、装置以及设备
技术领域
本发明涉及驾驶员状态监控技术领域，尤其涉及一种基于单目相机的人眼定位方法、装置以及设备。
背景技术
在驾驶员状态监控(Driver State Monitor，DSM)领域，其中涉及到对驾驶员凝视目标点或目标区域的监控技术。
具体来说，驾驶员在驾驶过程中的凝视目标可由目标位置或区域以及驾驶员凝视射线确定。其中，目标位置或区域可以通过预先对相机标定并对座舱进行三维建模来确定；驾驶员凝视射线则可以由驾驶员凝视方向和凝视原点构成，其中驾驶员凝视方向可通过对单目相机采集到的驾驶员人脸图像分析得到。
然而由于单目相机的2D成像特性，较难获取物体的深度信息，例如凝视原点信息(即人眼的空间位置)便无法精确测得。此外，目前采用单目相机进行测距的一些现有方案，更忽略了驾驶员个体差异，这就额外增加了误差因素，导致定位精度更差。
发明内容
鉴于上述，本发明旨在提供一种基于单目相机的人眼定位方法、装置以及设备，并相应地提出一种计算机可读存储介质以及计算机程序产品，通过这些方面能够在较低成本条件下获得较高精度的人眼空间位置信息。
本发明采用的技术方案如下：
第一方面，本发明提供了一种针基于单目相机的人眼定位方法，包括：
基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；
通过单目相机采集驾驶员的当前图像；
根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；
利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。
在其中至少一种可能的实现方式中，所述基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数包括：
提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
在其中至少一种可能的实现方式中，所述根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离包括：
基于当前驾驶员的身份读取相应的所述实际瞳距参数；
对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。
在其中至少一种可能的实现方式中，所述利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置包括：
从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；
根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。
第二方面，本发明提供了一种基于单目相机的人眼定位装置，包括：
瞳距标定模块，用于基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；
图像采集模块，用于通过单目相机采集驾驶员的当前图像；
人眼距离计算模块，用于根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；
人眼空间定位模块，用于利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。
在其中至少一种可能的实现方式中，所述瞳距标定模块包括：
图像采集单元，用于提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
图像处理单元，用于根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
人眼距离计算单元，用于根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
瞳距参数构建单元，基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
在其中至少一种可能的实现方式中，所述人眼距离计算模块包括：
瞳距参数读取单元，用于基于当前驾驶员的身份读取相应的所述实际瞳距参数；
图像处理单元，用于对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
人眼距离计算单元，用于根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。
在其中至少一种可能的实现方式中，所述人眼空间定位模块包括：
从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；
根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。
第三方面，本发明提供了一种基于单目相机的人眼定位设备，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备(可以是处理器)执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
第五方面，本发明还提供了一种用于驾驶员状态监控***的计算机程序产品，当所述计算机程序产品被计算机设备执行时，用于使所述驾驶员状态监控***执行第一方面或者第一方面的任一可能实现方式中的所述方法。
在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。
本发明的构思在于，通过单目相机以及参考点预先标定出驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息，以此作为后续定位操作的基础，而在实际定位阶段则由对应关系读取当前驾驶员的瞳距特征信息，并结合实时采集的2D图像的信息，测算驾驶员眼睛在真实空间中的位置。本发明与现有基于单目相机测距的方案像相比能够显著提升定位精度，并且具有成本低、操作便捷的优势，易于广泛施用在DSM领域中。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明提供的基于单目相机的人眼定位方法的实施例的流程图；
图2为本发明提供的测量存储实际瞳距参数的实施例的流程图；
图3为本发明提供的求取实际瞳距的实施例的参考图；
图4为本发明提供的求取人眼到相机实际距离的实施例的流程图；
图5为本发明提供的基于单目相机的人眼定位装置的实施例的方框图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
在对本发明技术方案进行说明之前，首先对本发明的创造过程和设计脉络进行介绍。
对于驾驶员眼睛空间位置的确定，主要在于测量眼睛到相机的距离(即眼睛相对DSM相机的空间位置)，现有方案一般分为两种方式：1)基于2D相机和人脸特征部位的测距方法，具体来说是以标准人脸图像中的面部特征点作为依据，根据标准人脸与真实人脸的映射关系直接测算距离，然而，该方式对深度信息的精确获取存在约束，并且由于忽略了个体差异，更增加了测距的误差。2)基于双目相机或深度相机等3D相机的测距方法，具体来说是根据双目标定计算距离或直接获得距离信息，虽然相比2D相机而言3D图像可以准确获得物体的深度信息，但该方式额外增加了***成本，事实上并不利于推广应用，因而目前驾驶员状态监控***中，DSM相机的主流类型仍然是单目相机，例如，3D立体相机需要设置多个相机，相较单目相机必然增加了相机数量和算法处理模块；而深度相机(TOF或结构光)则需要增加精密照明和接收处理装置等。
鉴于上述的现有构思难以解决特定需求的问题，本发明创新地提出一种适用于单目相机的人眼定位策略，综合来说，主要包含基于单目相机预先测定驾驶员的真实瞳距、以及基于单目相机和前述真实瞳距参数，定位出真实应用环境下的驾驶员的眼睛位置。具体来说，可以参考图1示出的至少一种基于单目相机的人眼定位方法的实施例，其可以包括如下步骤：
步骤S1、基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数。
这里所述单目相机可以但不限于固定安装在车辆驾驶室的可见光或近红外相机，为了便于拍摄驾驶员的状态，其安装位置一般为车辆仪表盘上方或车内后视镜等处。这里所述参考点可以但不限于设置在相机附近且相对相机位置确定的某个物体，例如可以是汽车中控显示屏上所显示的点，也可以是汽车中控***的某个按钮等。这里所述实际瞳距是指驾驶员左右瞳孔中心之间的绝对距离，由于个体间的瞳距存在差异，而且性别不同瞳距也会具有较大差异，例如我国成年男性和女性的瞳距平均分别在62mm和58mm，因此对于成年个体而言，个人的瞳距可以认为是相对保持不变的、且与他人存在差异的自身固有特征。
由此，本发明提出预先对驾驶员的瞳距进行标定和保存，也即是获得驾驶员个体的刚体特性。具体来说，通过参考点以及单目相机测定驾驶员的实际瞳距参数的方式可以在不同的实施方式中对其中细节作出调整，例如可以对参考点进行不同的设定，可以选取单目2D相机所拍图像中的不同的参数，以及包括在标定阶段可以采取辅助操作，协助驾驶员完成标定动作等。这里，本发明结合图2示例，给出如下至少一种可能的实现方式，即前述基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数包括：
步骤S11、提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像。
本步骤的具体实现方式可以参考如下，事先通过对参考点、单目相机进行标定，并可以对车辆座舱进行三维建模，从而可以建立出相机坐标系、世界坐标系等，并可获得相机的内参、外参和畸变参数以及前述参考点的坐标(在不同的实施方案中，可以相对相机坐标系或相对世界坐标系)。而为了便于协助驾驶员进行瞳距标定，可以但不限于通过车机***的语音指引功能，提示驾驶员以正常的标准坐姿凝视参考点且保持静止不动，此时，可以调用前述设置好的单目2D相机采集驾驶员凝视该参考点时的视频片段，接着可以采用抖动检测等算法选取一帧或多帧相对稳定的驾驶员图像，这里所述抖动检测算法可采用灰度投影法、Lucas－Kanade光流法等，具体过程可参照本领域相关技术，此处不做赘述。由于本发明可以针对不同的驾驶员进行标定，因此可以认为是任一位驾驶员初次使用车辆时，由DSM***完成对该驾驶员的瞳距特征标定，这样仅需通过一次标定，便可以使***获得不同驾驶员的瞳距信息，当之后由不同驾驶员使用车辆时，通过驾驶员身份识别技术便可以调用针对当前驾驶员的瞳距信息，对此后文将作说明。
步骤S12、根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向。
本标定阶段的实施例中，选用了图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向这些参数，本领域技术人员可以理解的是，结合不同的场景和实际所需，也可以在其他实施方式中选择其他成像参数，这里不做限定。
针对本实施例而言，单目相机成像中驾驶员的瞳孔的位置信息可以基于图像坐标系(像素坐标系uov)获得；两瞳孔中点，即是图像中驾驶员左右瞳孔中心连线的中点；头部偏转角可以是通过相机参数，将图像中基于驾驶员头部关键特征点的成像特点，转化到相机坐标系下予以表征头部的偏航角(Yaw)、俯仰角(Pitch)和翻滚角(Roll)等；视线方向可以基于头部偏转角获得在相机坐标系下的真实视线分别与垂直方向(Pitch)和水平方向(Yaw)的夹角。前述各参数的获取和换算，可以通过对单目相机所拍图像进行处理后得到，这里对主要的图像处理环节进行说明，诸如人脸检测、人脸特征点定位、瞳孔定位、头部姿态估计、视线方向估计，具体而言：
(1)人脸检测
人脸检测的目的是识别出驾驶员人脸在图像中的位置。具体地，可以通过MTCNN、FaceBoxes、Mask-RCNN等现有技术，具体过程可参照相关技术实现，此处不做详述。
(2)人脸特征点定位
人脸特征点定位的目的是定位眼睛、眉毛、鼻子、嘴巴和脸部外轮廓等面部特征点的精确位置。具体定位时，其建立在上述人脸检测的基础上，截取人脸感兴趣区域，输入到预先训练好的神经网络中回归所有特征点的坐标。可采用SDM、MDM、PFLD等现有技术，具体过程可参照相关技术实现，此处不做详述。关键特征点定位后，可以得到图像中驾驶员面部特征点像素坐标系下的坐标位置，再结合相机内参可以转换到图像坐标系下。
(3)瞳孔定位
瞳孔定位的目的是进一步定位驾驶员瞳孔中心的精确位置，进而确定两瞳孔中点位置。根据前述人脸特征点定位结果可以确定出眼部特征点的位置，进而可以计算眼睛中心点的位置，然而多数情况下瞳孔中心与眼睛中心点并不重合，因此，需要进一步进行瞳孔定位。具体瞳孔定位时：可根据眼部特征点的位置截取眼部感兴趣区域，并将改区域图像进行二值化处理；将处理后的图像进行边缘检测，并过滤直线边缘；通过最小二乘法椭圆拟合瞳孔边缘，获得瞳孔中心的位置。也可直接将兴趣区域输入到预先训练好的神经网络模型中直接回归瞳孔中心的坐标。在由上述方式得到瞳孔中心坐标后，可以直接计算得到左右瞳孔中心以及两瞳孔中点在像素坐标系下的坐标，再结合相机内参便可以将所述图像中左右瞳孔及两瞳孔中点的位置转换到图像坐标系和/或相机坐标系下。
(4)头部姿态估计
头部姿态估计的目的是通过相机成像估计出驾驶员头部在环境空间中的偏转角。具体实施时，一方面，可以建立在前述人脸特征点定位基础上，构建相机坐标系下的标准三维人脸特征点模型，该标准三维人脸特征点模型在相机坐标系下的偏航角、俯仰角和翻滚角均为0；接着，基于将前述定位的二维人脸关键特征点的坐标映射到标准三维人脸特征点模型，即可获得对应的平移向量和旋转矩阵，进而便可以得到驾驶员头部的偏转角。另一方面，可以建立在前述人脸检测的基础上，通过截取头部感兴趣区域，并将区域图像输入预先训练好的神经网络模型中，直接估计出驾驶员头部的偏转角。具体可采用HopeNet、FSA-Net等现有技术，该实现过程可参照相关技术实现，此处不做详述。经过上述头部姿态估计后，可以得到图像中驾驶员头部相对于相机坐标系的偏转角，再结合相机外参便可以将头部偏转角转换到世界坐标系下。
(5)视线方向估计
视线方向估计的目的是估计出驾驶员在标定阶段所凝视的方向，可以理解为在相机坐标系下真实凝视方向分别与垂直方向和水平方向的夹角。具体实施时，可根据前述人脸特征点定位结果、前述头部姿态估计结果和前文提及的标准三维人脸特征点模型，对驾驶员图像进行畸变矫正、平移和旋转等处理，并截取面部和眼部感兴趣区域，使得面部和眼部图像转换到预先定义好的模式下，在该预设模式下面部和眼部图像距离相机的距离固定、偏转角度固定；将面部和眼部图像输入到预先训练的神经网络模型中，便可估计出驾驶员的凝视方向；再将凝视方向根据处理过程中的旋转反向变换为实际相机坐标系下的方向，即可以获得相机坐标系下凝视方向分别与垂直方向和水平方向的夹角，同时可将所得的视线方向转换为三维空间中的视线方向向量。
对于上述各环节本身，可以结合本领域相关手段及工具予以实现，本发明所要强调的是，针对本发明关注的技术问题以及设计出的个体瞳距特征标定环节，在一些实施例中需要采用上述图像处理中涉及的参数，也即是提出针对本发明目标，优选何种参数进行后续的瞳距计算。
步骤S13、根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离。
结合对前述步骤的说明，以及图3示出的瞳距测量示意图，具体来说可以利用前述参考点、相机坐标系原点和真实的驾驶员瞳孔中点构建为三角形。即图3示出的点R、O、E，其分别代表参考点、相机坐标系原点、真实的驾驶员瞳孔中点，El和Er分别为真实的驾驶员左右瞳孔中心，e为所拍图像上驾驶员瞳孔中点，el和er分别为图像上驾驶员左右瞳孔中心。
参考点的坐标可以是在设置参考点的阶段，预先标定的，这里以相机坐标系为准，参考点R的位置可以表示R＝(XR,YR,ZR)；此外，由前述步骤可以得到在相机坐标系下的驾驶员瞳孔中点的位置，可以表示为e＝(Xe,Ye,f)，这里的f是指相机焦距；由R及e的位置信息，那么Oe边与OR边的夹角∠eOR，便可以通过Oe边长、OR边长以及反余弦函数求得，而∠eOR＝∠EOR，因此便可以获得三角形ROE中的一个夹角；按同理方式，再根据前文提及的测得的驾驶员的视线方向向量，便可以计算得到三角形ROE中的另一个夹角∠OER，从而便可以确定出三角形ROE所有内角的值。同时，基于预先设定的参考点位置和相机原点位置，便可以计算出二者的空间距离，此处记为DOR，那么已知三角形三个内角以及一条边长，就可以通过三角函数求出其他边长，这里，本发明所需的是相机原点与实际瞳孔中点的距离，此处记为DOE，也即是所述第二距离。
步骤S14、基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
由前文提及的步骤可以得到图像坐标系xoy下的左右瞳孔中心坐标(即左右瞳孔的位置)，由此便可以计算得到图像中左右瞳孔中心之间的距离，即图像中的瞳距记为de，再结合第二距离DOE和相机焦距f，利用三角形相似法则便可以计算出实际的瞳孔中心之间的“预估瞳孔距离”为(DOE×de)/f。考虑到驾驶员的头部相对相机坐标系存在一定的偏转，上述“预估瞳孔距离”实际上为左右瞳孔在相机坐标系XOY平面上的投影距离(面部非正对DSM单目相机时，“预估瞳孔距离”小于实际瞳距值)。因此，可再根据前述步骤得到的头部偏转角，将其逆投影到世界坐标系下，得到在真实空间中的驾驶员的实际瞳距值，此处记为DE，并将该值作为对应于参与标定的驾驶员的特征参数予以保存。
接续前文，步骤S2、通过单目相机采集驾驶员的当前图像；
步骤S3、根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离。
在实际应用阶段，即驾驶员在驾驶车辆过程中，可以通过单目相机实时捕获当前驾驶员的当前图像，然后对该当前图像进行处理并调取针对当前驾驶员的瞳距参数，例如与标定阶段类似但逆向的处理思路，求取出当前的第一距离，即此时驾驶员的眼睛到单目相机的距离。具体来说，可以在不同的实施方式中对获得驾驶员人眼到相机距离的实现细节作出调整，例如在某些实施例中可将一只或两只真实眼睛表征人眼，也可以将实际两瞳孔的中点表征人眼，可以选取单目2D相机所拍当前图像中的不同的参数，以及包括在读取预存瞳距参数阶段可以采取多种身份识别手段。这里，本发明提供至少一种可能的实现方式，结合图4所示，所述根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离可以包括：
步骤S31、基于当前驾驶员的身份读取相应的所述实际瞳距参数。
在调取前期标定的瞳距参数时，可以利用声纹识别、指纹识别、人脸识别等多种身份匹配技术，辨别出当前驾驶员的身份并基于此从预存参数中调取相应于该当前驾驶员的瞳距特征参数，当然，本领域技术人员可以理解的是，在前述瞳距特征标定过程中也包含了建立驾驶员个体身份与其瞳距特征的映射关系，对此本发明不做限定。
步骤S32、对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角。
本应用阶段的实施例中，选用了图像中左右瞳孔的位置以及头部偏转角参数，本领域技术人员可以理解的是，结合不同的场景和实际所需，也可以在其他实施方式中选择其他成像参数，这里不做限定。
针对本实施例而言，如前文提及的，可以通过对当前所拍图像进行处理包括但不限于人脸检测、人脸特征点定位、瞳孔定位和头部姿态估计等，得到当前图像坐标系下的驾驶员左右瞳孔中心坐标和相机坐标系下的驾驶员的头部偏转角，具体参见前文，此处不做赘述。
步骤S33、根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离。
如前所述，由于通常情况下，不能保证实时拍摄的当前驾驶员图像中中面部是正对单目相机的，也即是当前图像中驾驶员头部相对于相机坐标系而言通常会存在一定的偏转角，换言之，当前图像中的距离值与真实距离值，存在与相机成像平面的投影关系。因此，可结合头部偏转角，求出实际人眼在相机成像平面的投影距离，也即是将读取出的DE转换为前文提及的“预估瞳孔距离”，然后利用当前图像中左右瞳孔的位置确定出的当前图像中的瞳距de，并结合相机焦距f以及三角形相似法则便可以计算出当前驾驶员的实际两瞳孔中点与相机的距离，即所述第一距离。
步骤S4、利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。
前述步骤获得的第一距离，即是指人眼距离单目相机平面的Z方向上的距离，本步骤则是确定出人眼的三维空间信息，具体可以是获得X、Y、Z三方向坐标(XE,YE,ZE)。
具体来说，可以从当前图像中获取两瞳孔中点e相对于单目相机的空间位置信息e＝(Xe,Ye,f)，即当前问题转换为已知所述空间位置信息Xe、Ye、f以及第一距离ZE，求取XEYE，根据对应关系Xe/XE＝Ye/YE＝f/ZE，便可以求出(XE,YE,ZE)，也即是确定出当前驾驶员的眼睛的实际空间位置，至此，基于单目相机的人眼定位操作完成。
综上所述，本发明的构思在于，通过单目相机以及参考点预先标定出驾驶员个体的刚体参数，即驾驶员真实的瞳距特征信息，以此作为后续定位操作的基础，而在实际定位阶段则由对应关系读取当前驾驶员的瞳距特征信息，并结合实时采集的2D图像的信息，测算驾驶员眼睛在真实空间中的位置。本发明与现有基于单目相机测距的方案像相比能够显著提升定位精度，并且具有成本低、操作便捷的优势，易于广泛施用在DSM领域中。
相应于上述各实施例及优选方案，本发明还提供了一种基于单目相机的人眼定位装置的实施例，如图5所示，具体可以包括如下部件：
瞳距标定模块1，用于基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数；
图像采集模块2，用于通过单目相机采集驾驶员的当前图像；
人眼距离计算模块3，用于根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离；
人眼空间定位模块4，用于利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置。
在其中至少一种可能的实现方式中，所述瞳距标定模块包括：
图像采集单元，用于提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
图像处理单元，用于根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
人眼距离计算单元，用于根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
瞳距参数构建单元，基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
在其中至少一种可能的实现方式中，所述人眼距离计算模块包括：
瞳距参数读取单元，用于基于当前驾驶员的身份读取相应的所述实际瞳距参数；
图像处理单元，用于对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
人眼距离计算单元，用于根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。
在其中至少一种可能的实现方式中，所述人眼空间定位模块包括：
从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；
根据所述空间位置信息以及所述第一距离，确定当前驾驶员的眼睛的实际空间位置。
应理解以上图5所示的基于单目相机的人眼定位装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上***(System-On-a-Chip；以下简称：SOC)的形式实现。
综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：
(1)一种基于单目相机的人眼定位设备，其可以包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备(处理器)执行时，使得所述设备执行前述实施例或等效实施方式的步骤/功能。
(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。
(3)一种计算机程序产品(该产品可以包括上述装置，并且可以是指应用于DSM***的计算机程序产品)，该计算机程序产品在计算机设备(车载设备和/或后台服务器等)上运行时，使DSM***(也可以是前述计算机设备)执行前述实施例或等效实施方式的基于单目相机的人眼定位方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如***网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (8)

1.一种基于单目相机的人眼定位方法，其特征在于，包括：
基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数，测量实际瞳距至少利用驾驶员图像中的头部偏转角；
通过单目相机采集驾驶员的当前图像；
根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离，所述当前图像的信息至少包括头部偏转角；
利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置，包括从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；根据空间位置信息及第一距离，确定实际空间位置。
2.根据权利要求1所述的基于单目相机的人眼定位方法，其特征在于，所述基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数包括：
提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
3.根据权利要求1所述的基于单目相机的人眼定位方法，其特征在于，所述根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离包括：
基于当前驾驶员的身份读取相应的所述实际瞳距参数；
对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。
4.一种基于单目相机的人眼定位装置，其特征在于，包括：
瞳距标定模块，用于基于设定的参考点以及单目相机，预先测量并存储驾驶员的实际瞳距参数，测量实际瞳距至少利用驾驶员图像中的头部偏转角；
图像采集模块，用于通过单目相机采集驾驶员的当前图像；
人眼距离计算模块，用于根据相应于当前驾驶员的所述实际瞳距参数以及所述当前图像的信息，求取驾驶员的眼睛到相机的第一距离，所述当前图像的信息至少包括头部偏转角；
人眼空间定位模块，用于利用所述第一距离以及所述当前图像的信息，确定驾驶员眼睛的空间位置，包括从当前图像中获取两瞳孔中点相对于单目相机的空间位置信息；根据空间位置信息及第一距离，确定实际空间位置。
5.根据权利要求4所述的基于单目相机的人眼定位装置，其特征在于，所述瞳距标定模块包括：
图像采集单元，用于提示驾驶员凝视所述参考点，并利用单目相机采集驾驶员图像；
图像处理单元，用于根据所述驾驶员图像，获得图像中左右瞳孔及两瞳孔中点的位置、头部偏转角以及视线方向；
人眼距离计算单元，用于根据所述两瞳孔中点的位置、所述参考点的位置以及所述视线方向，求取驾驶员的实际两瞳孔中点与相机的第二距离；
瞳距参数构建单元，基于图像中左右瞳孔的位置、单目相机焦距、所述头部偏转角以及所述第二距离，确定并存储驾驶员的实际瞳距参数。
6.根据权利要求4所述的基于单目相机的人眼定位装置，其特征在于，所述人眼距离计算模块包括：
瞳距参数读取单元，用于基于当前驾驶员的身份读取相应的所述实际瞳距参数；
图像处理单元，用于对所述当前图像进行处理，获得当前图像中左右瞳孔的位置以及头部偏转角；
人眼距离计算单元，用于根据所述实际瞳距参数、当前图像中左右瞳孔的位置、单目相机焦距、以及所述头部偏转角，确定所述第一距离；其中所述第一距离是指当前驾驶员的实际两瞳孔中点与相机的距离。
7.一种基于单目相机的人眼定位设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述处理器执行时，使得所述人眼定位设备执行如权利要求1~3任一项所述的基于单目相机的人眼定位方法。
8.一种用于驾驶员状态监控***的计算机程序产品，其特征在于，当所述计算机程序产品在计算机设备上运行时，使所述驾驶员状态监控***执行权利要求1~3任一项所述的基于单目相机的人眼定位方法。
CN202010688604.5A 2020-07-16 2020-07-16 基于单目相机的人眼定位方法、装置以及设备 Active CN111860292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010688604.5A CN111860292B (zh) 2020-07-16 2020-07-16 基于单目相机的人眼定位方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010688604.5A CN111860292B (zh) 2020-07-16 2020-07-16 基于单目相机的人眼定位方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN111860292A CN111860292A (zh) 2020-10-30
CN111860292B true CN111860292B (zh) 2024-06-07

Family

ID=72983170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010688604.5A Active CN111860292B (zh) 2020-07-16 2020-07-16 基于单目相机的人眼定位方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN111860292B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022094787A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 驾驶员数据处理***及采集驾驶员数据的方法
CN113627267A (zh) * 2021-07-15 2021-11-09 中汽创智科技有限公司 一种视线检测方法、装置、设备及介质
CN113627355A (zh) * 2021-08-13 2021-11-09 合众新能源汽车有限公司 用于偏航旋转的人脸的测距方法、设备和计算机可读介质
CN114067420B (zh) * 2022-01-07 2023-02-03 深圳佑驾创新科技有限公司 一种基于单目摄像头的视线测量方法及装置
CN114608521B (zh) * 2022-03-17 2024-06-07 北京市商汤科技开发有限公司 单目测距方法及装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和***
CN105072431A (zh) * 2015-07-28 2015-11-18 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d播放方法及***
CN105260724A (zh) * 2015-10-22 2016-01-20 四川膨旭科技有限公司 车辆行驶过程中对车主眼睛注意力进行识别的***
CN106548600A (zh) * 2016-12-06 2017-03-29 张家港全智电子科技有限公司 实时瞳孔追踪***和疲劳状态监测方法
CN108282650A (zh) * 2018-02-12 2018-07-13 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、***及存储介质
CN109040736A (zh) * 2018-08-08 2018-12-18 上海玮舟微电子科技有限公司 一种人眼空间位置的标定方法、装置、设备和存储介质
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
WO2019029195A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监测方法和装置、驾驶员监控***、车辆
CN109429060A (zh) * 2017-07-07 2019-03-05 京东方科技集团股份有限公司 瞳孔距离测量方法、可穿戴眼部设备及存储介质
WO2020062960A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN111028205A (zh) * 2019-11-21 2020-04-17 佛山科学技术学院 一种基于双目测距的眼睛瞳孔定位方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006002001B4 (de) * 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和***
CN105072431A (zh) * 2015-07-28 2015-11-18 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d播放方法及***
CN105260724A (zh) * 2015-10-22 2016-01-20 四川膨旭科技有限公司 车辆行驶过程中对车主眼睛注意力进行识别的***
CN106548600A (zh) * 2016-12-06 2017-03-29 张家港全智电子科技有限公司 实时瞳孔追踪***和疲劳状态监测方法
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
CN109429060A (zh) * 2017-07-07 2019-03-05 京东方科技集团股份有限公司 瞳孔距离测量方法、可穿戴眼部设备及存储介质
WO2019029195A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监测方法和装置、驾驶员监控***、车辆
CN108282650A (zh) * 2018-02-12 2018-07-13 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、***及存储介质
CN109040736A (zh) * 2018-08-08 2018-12-18 上海玮舟微电子科技有限公司 一种人眼空间位置的标定方法、装置、设备和存储介质
WO2020062960A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN111028205A (zh) * 2019-11-21 2020-04-17 佛山科学技术学院 一种基于双目测距的眼睛瞳孔定位方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
i−Riter: Machine Learning Based Novel Eye Tracking and Calibration;Muhammad Bilal Ahmad et al.;2018 IEEE International Instrumentation and Measurement Technology Conference (I2MTC);全文 *
基于图像处理的上课疲劳检测;项奕阳;电子测试;第No.419卷(第14期);全文 *
基于灰度投影的驾驶员图像眼睛定位;张明恒;王荣本;郭烈;交通与计算机(04);全文 *
基于瞳孔定位的单目测距***;李贤辉;高盈;钱恭斌;智能计算机与应用(02);全文 *
基于红外差分和积分投影的驾驶员眼睛定位;葛如海;符鸿玉;符凯;金桥;激光技术(06);全文 *

Also Published As

Publication number Publication date
CN111860292A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860292B (zh) 基于单目相机的人眼定位方法、装置以及设备
CN111854620B (zh) 基于单目相机的实际瞳距测定方法、装置以及设备
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和***
US10643383B2 (en) Systems and methods for 3D facial modeling
CN107273846B (zh) 一种人体体型参数确定方法及装置
Bonfort et al. General specular surface triangulation
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JP2018179990A (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP2018189636A (ja) 撮像装置、画像処理方法及びプログラム
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
CN113366491B (zh) 眼球追踪方法、装置及存储介质
US11423567B2 (en) Method and system to determine the location and/or orientation of a head
CN110378182B (zh) 图像解析装置、图像解析方法及记录介质
JP2013024662A (ja) ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
CN111179330A (zh) 一种基于卷积神经网络的双目视觉场景深度估计方法
LU100684B1 (en) Method and system for head pose estimation
CN107403448B (zh) 代价函数生成方法和代价函数生成装置
KR20140000833A (ko) 스테레오 매칭 장치 및 그 방법
JP2018101211A (ja) 車載器
CN113587895B (zh) 双目测距方法及装置
JP2016156702A (ja) 撮像装置および撮像方法
CN112800966B (zh) 一种视线的追踪方法及电子设备
CN115526897A (zh) 特高压换流站消防机器人火焰定位方法及***
AU2020480103B2 (en) Object three-dimensional localizations in images or videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant