CN103871045B - 显示***和方法 - Google Patents

显示***和方法 Download PDF

Info

Publication number
CN103871045B
CN103871045B CN201310182182.4A CN201310182182A CN103871045B CN 103871045 B CN103871045 B CN 103871045B CN 201310182182 A CN201310182182 A CN 201310182182A CN 103871045 B CN103871045 B CN 103871045B
Authority
CN
China
Prior art keywords
driver
camera
eye tracking
sight
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310182182.4A
Other languages
English (en)
Other versions
CN103871045A (zh
Inventor
卢熙真
李奭范
石东熙
朴晟珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103871045A publication Critical patent/CN103871045A/zh
Application granted granted Critical
Publication of CN103871045B publication Critical patent/CN103871045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

显示***包括：用于检测驾驶者的眼球的视线跟踪摄像机、第一和第二立体摄像机、控制单元以及存储单元。第一和第二立体摄像机根据基于立体摄像机的视线信息拍摄与视野相应的范围，并提供拍摄的图像，其中该基于立体摄像机的视线信息根据基于预存的视线跟踪摄像机的视线信息而改变。控制单元基于跟踪摄像机以及第一和第二立体摄像机的位置和旋转信息将基于视线跟踪摄像机的视线信息转换为基于第一和第二立体摄像机的视线信息，并且将转换后的信息投射到第一和第二立体摄像机上，从而计算三维视线坐标。存储单元存储与***有关的信息以及跟踪摄像机以及第一和第二立体摄像机的位置和旋转信息。

Description

显示***和方法
技术领域
本发明概念涉及一种显示***和方法。
背景技术
目前，如专利文件1中所公开的，已开发了用于车辆驾驶者的方便和安全的各种车辆安全装置。
更具体地，提供了一种获得车辆内驾驶者的视线并使用获得的视线来提供车辆所驾驶的道路的实时前景、警报服务等的视线跟踪技术。
然而，主要在仅检测视线方向的二维（2D）环境例如广告效率的验证、利用显示器的界面等中优化上述视线跟踪技术。
同时，由于驾驶者在驾驶车辆时使用肉眼观看实际环境例如3D环境，仅使用2D环境中检测到的视线矢量来准确检测视线方向存在限制。
[相关技术文件]
[专利文件]
（专利文件1）KR10-2011-0139474A
发明内容
因此，制作本发明概念以解决现有技术中出现的上述问题，同时完整保持现有技术所实现的优点。
本发明概念的一个方面涉及一种用于检测基于三维的驾驶者视线坐标的显示***和方法。显示***包括配置成检测驾驶者眼球的视线跟踪摄像机。第一和第二立体摄像机配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围，并提供所拍摄的图像，其中该基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变。控制单元配置成基于预存的视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息来将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者 视线信息，并且将转换后的信息投射到第一和第二立体摄像机上，从而计算驾驶者视线的三维坐标。存储单元配置成存储与显示***有关的信息以及视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息。
基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。控制单元可配置成将基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。
其中 和表示位置信息，且Θx，Θy，Θz表示旋转信息。
基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量，且控制单元可将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。
控制单元可配置成通过下式2将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量（旋转）
其中Θx，Θy，Θz表示旋转信息。
控制单元可配置成根据投射到第一和第二立体摄像机上的基于立体摄像机的视线跟踪矢量来计算驾驶者的视线注视点，并基于计算出的驾驶者的视线注视点计算驾驶者视线的三维坐标。
控制单元可配置成在投射到第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口，根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点，执行模板匹配使得被移动的窗口与第二立体摄像机的视线跟踪矢量相应，并且作为模板匹配的执行结果将最高位置识别为驾驶者的视线注视点。
驾驶者视线的三维坐标可为P（Xp，Yp，Zp）， 和其中P1（x1，y1）为P投射到第一立体摄像机和成像表面上的点，Pr（xr，yr）为P投射到第二立体摄像机的成像表面上的点，f为摄像机的焦距，T为第一与第二立体摄像机之间的距离，且d为坐标测量点的距离除以摄像机的焦距所获得的值。
本发明概念的另一方面包括一种显示方法，其在包括视线跟踪摄像机以及第一和第二立体摄像机的显示***中提供三维驾驶者视线。显示方法包括通过视线跟踪摄像机检测驾驶者的眼球，以识别基于视线跟踪摄像机的驾驶者视线信息。基于预存的视线跟踪摄像机以及第一和第二立体摄像机的位置信息和旋转信息，基于视线跟踪摄像机的驾驶者视线信息被转换为基于第一和第二立体摄像机的驾驶者视线信息。可根据基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者的视线注视点。驾驶者的视线注视点被转换为驾驶者视线的三维坐标。
基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。在将基于视线跟踪摄像机的驾驶者视线信息转换 为基于第一和第二立体摄像机的驾驶者视线信息的过程中，基于视线跟踪摄像机的视线跟踪矢量单眼点可被转换为基于立体摄像机的视线跟踪矢量单眼点。
在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中，基于视线跟踪摄像机的视线矢量单眼点（位置）可通过下式1被转换为基于立体摄像机的视线跟踪矢量单眼点
其中 和表示位置信息，且Θx，Θy，ΘZ表示旋转信息。
基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量，并且在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中，基于视线跟踪摄像机的视线跟踪矢量可被转换为基于立体摄像机的视线跟踪矢量。
在将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息的过程中，基于视线跟踪摄像机的视线跟踪矢量可通过下式2被转换为基于立体摄像机的视线跟踪矢量（旋转）
其中，Θx，Θy，Θz表示旋转信息。
在识别驾驶者的视线注视点的过程中，基于第一和第二立体摄像机的驾驶者视线信息可被投射到第一和第二立体摄像机上。可基于投射到第一和第二立体摄像机上的信息来识别驾驶者的视线注视点。
在基于投射到第一和第二立体摄像机上的信息来识别驾驶者的视线注视点的过程中，可在投射到第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口。生成窗口的单眼点可根据基于第一立体摄像机的视线跟踪矢量而移动。可执行模板匹配使得被移动的窗口与第二立体摄像机的视线跟踪矢量相应。作为执行步骤的结果，最高位置可被识别为驾驶者的视线注视点。
驾驶者视线的三维坐标可为P（Xp，Yp，Zp）， 且其中P1（x1，y1）为P投射到第一立体摄像机的成像表面上的点，Pr（xr，yr）为P投射到第二立体摄像机的成像表面上的点，f为摄像机的焦距，T为第一与第二立体摄像机之间的距离，且d为坐标测量点的距离除以摄像机的焦距所获得的值。
本发明概念的各种特征和优点将在下面参照附图的说明书中更为明显。
本说明书和权利要求中使用的术语和词语不应被理解为被限制于典型的含义和词典的定义，而应被理解为基于发明人能够适当地定义术语的概念的规则，具有与本发明概念的技术范围相关的含义和概念，从而最适当地描述他或她知道的用于执行本发明概念的最好的方法。
附图说明
本发明概念的上述和其它特征将根据如附图中示出的本发明概念 的实施方式的更具体的说明而更明显，在附图中，相同附图标记可以在不同的视图中指代相同或相似的部分。附图并非必然是按比例的，而是将重点放在示例说明本发明概念实施方式的原理。
图1是示出根据本发明概念的示例性实施方式的显示***的配置的视图。
图2是用于描述根据本发明概念的示例性实施方式的显示方法的流程图。
图3至6是示出用于描述根据本发明概念的示例性实施方式的显示方法的实施例的视图。
附图中各元件的附图标记
100：显示***100
110：视线跟踪摄像机
120：第一立体摄像机
130：第二立体摄像机
140：控制单元
150：存储单元
具体实施方式
根据结合附图的以下具体实施方式将更清楚地理解本发明概念的上述和其它目的、特征和优点。在说明书中，在将附图标记添加到贯穿附图的部件时，应注意的是，即使在不同的附图中示出部件，相同的附图标记也表示相同的部件。另外，当确定与本发明概念相关的现有技术的详细描述可能使本发明概念的要点模糊时，其详细描述将被省略。在下文中，将参考附图来详细描述本发明概念的示例性实施方式。
图1是示出根据本发明概念的示例性实施方式的显示***的配置的视图。将参照示出用于描述显示方法的实施例的图3至6来描述显示***。
如图1所示，显示***100可配置成包括视线跟踪摄像机110、第一立体摄像机120、第二立体摄像机130、控制单元140以及存储单元 150。
更具体地，视线跟踪摄像机110可检测车辆内驾驶者的眼球。
如图3所示，视线跟踪摄像机110可布置在视线跟踪摄像机110可检测车辆内驾驶者的脸部的位置以检测驾驶者的眼球。
第一和第二立体摄像机120和130可根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围并提供拍摄的图像。基于立体摄像机的驾驶者视线信息可根据基于视线跟踪摄像机的驾驶者视线信息而改变。
如图3所示，可布置第一和第二立体摄像机120和130，使得第一和第二立体摄像机120和130彼此隔开，从而在关于驾驶者的各侧彼此相应。
此外，第一和第二立体摄像机120和130可相互共享内部参数（焦距、主点、倾斜（skew）和扭曲（distortion））和/或外部参数（旋转和平移），使得可以将单个位置恢复为三维位置。
控制单元140可基于预存的视线跟踪摄像机110以及第一和第二立体摄像机120和130的位置信息和旋转信息来将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息。控制单元140可将转换后的信息投射到第一和第二立体摄像机120和130上，从而计算驾驶者视线的三维坐标。
此处，基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点E-1（参见图3）和视线跟踪矢量E-2（参见图3）。
更具体地，控制单元140可通过下式1将基于视线跟踪摄像机的视线跟踪矢量单眼点（位置）转换为基于立体摄像机的视线跟踪矢量单眼点
【式1】
在式1中， 和表示位置信息，而Θx，Θy，Θz可表示旋转信息。
另外，在式1中，第一至第四矩阵组分别表示位置移动、x轴旋转、y轴旋转和z轴旋转。
此外，控制单元140可通过下式2将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量（旋转）
【式2】
Θx，Θy，Θz可表示旋转信息。
另外，在式2中，第一至第三矩阵组分别表示x轴旋转、y轴旋转和z轴旋转。
此外，控制单元140可根据投射到第一和第二立体摄像机120和130的基于立体摄像机的视线跟踪矢量计算驾驶者的视线注视点，并基于计算出的驾驶者视线注视点计算驾驶者视线的三维坐标。
更具体地，控制单元140可在投射到第一立体摄像机120的图像上生成与预设的人视线主要注视范围（例如，约±3到±5度）相应的窗口，并根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点。
也就是说，与投射到第一和第二立体摄像机120和130的基于立体摄像机的视线跟踪矢量最相似的图像可被识别为视线的焦点。
尽管上面已经描述了基于立体摄像机的视线跟踪矢量被投射到第一立体摄像机120的情况，本发明概念并不限制于此。也就是说，基于立体摄像机的视线跟踪矢量也可被投射到第二立体摄像机130上。
例如，图4A示出投射到第一立体摄像机120上的基于立体摄像机的视线跟踪矢量。图4B示出投射到第二立体摄像机130上的基于立体摄像机的视线跟踪矢量。
此处，控制单元140可根据基于第一立体摄像机的视线跟踪矢量将投射到第一立体摄像机120上的窗口的单眼点从①经由②移动到③。
此外，控制单元140可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应并且作为执行步骤的结果将最高位置识别为驾驶者的视线注视点。
此处，模板匹配表示通过图形识别工艺从图像（image）中提取与模板一致的给定图形（figure）的过程，从而在互相关方案（cross-correlation scheme）中找到最高峰值点。
例如，如图4B所示，控制单元140可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应。
而且，控制单元140可以计算驾驶者视线的三维坐标。在这种情况下，驾驶者视线的三维坐标可以是P（Xp，Yp，Zp）。
此处，P1（x1，y1）可为P投射到第一立体摄像机的成像表面上的点。Pr（xr，yr）可为P投射到第二立体摄像机的成像表面上的点。f可为摄像机的焦距。T可为第一与第二立体摄像机之间的距离。d可为坐标测量点的距离除以摄像机的焦距所获得的值（d=Zp/f）。
另外，在图5中，Ileft表示第一立体摄像机（左摄像机）120的成像表面。Iright表示第二立体摄像机（右摄像机）130的成像表面。Cl表示第一立体摄像机的图像单眼点。Cr表示第二立体摄像机的图像单眼点。Ol表示第一立体摄像机的焦点。Or表示第二立体摄像机的焦点。
同时，驾驶者视线的三维坐标可用作车辆的用户界面。
例如，如图6所示，驾驶者视线的三维坐标可用于开启或关闭平视显示（HUD）的服务。可以以如下方式使用驾驶者视线的三维坐标，即当HUD区域中存在焦距时驱动服务以在前方车辆突然制动时根据视线距离改变警报强度。
存储单元150可存储与***有关的信息以及视线跟踪摄像机110以及第一和第二立体摄像机120和130的位置信息和旋转信息。
此处，可以识别视线跟踪摄像机110以及第一和第二立体摄像机120和130的位置信息和旋转信息并通过之前的物理测量或来自软件的信息诸如摄像机标定等将其存储。
图2是用于描述根据本发明概念的示例性实施方式的显示方法的流程图。
首先，显示***100可通过视线跟踪摄像机110检测驾驶者的眼球，以识别基于视线跟踪摄像机的架驶者视线信息（S101）。
此处，基于视线跟踪摄像机的驾驶者视线信息可包括视线跟踪矢量单眼点和视线跟踪矢量。
然后，基于预存的视线跟踪摄像机110以及第一和第二立体摄像机120和130位置信息和旋转信息，显示***可将基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息（S103）.
在这种情况下，显示***100可通过上述式1将基于视线跟踪摄像机的视线跟踪矢量单眼点（位置）转换为基于立体摄像机的视线跟踪矢量单眼点
此外，显示***100可通过上述式2将基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量（旋转）
接着，显示***100可根据基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者的视线注视点（S105）。
更具体地，显示***100可将基于第一和第二立体摄像机的驾驶者视线信息投射到第一和第二立体摄像机120和130上。
接着，显示***100可基于第一和第二立体摄像机120和130上的投射信息识别驾驶者的视线注视点。
这可能通过以下步骤来完成，在投射到第一立体摄像机120上的图像上生成与预设的人视线主要注视范围相应的窗口的步骤，根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点的步骤，执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应的步骤，以及作为执行模板匹配步骤的结果将最高位置识别为驾驶者的视线注视点的步骤。
例如，图4A示出投射到第一立体摄像机120上的基于立体摄像机的视线跟踪矢量。图4B示出投射到第二立体摄像机130上的基于立体摄像机的视线跟踪矢量。
此处，显示***100可根据基于第一立体摄像机的视线跟踪矢量来将投射到第一立体摄像机120上的窗口的单眼点从①经由②移动到③。
此外，如图4B所示，显示***100可执行模板匹配使得被移动的窗口与第二立体摄像机130的视线跟踪矢量相应。
接着，显示***100可将驾驶者的视线注视点转换为驾驶者视线的三维坐标（S107）。
此外，P1（x1，y1）可为P投射到第一立体摄像机的成像表面上的点。Pr（xr，yr）可为P投射到第二立体摄像机的成像表面上的点。f可为摄像机的焦距。T可为第一与第二立体摄像机之间的距离。d可为坐标测量点的距离除以摄像机的焦距所获得的值。
使用根据本发明概念的示例性实施方式的显示***和方法，由于基于二维的驾驶者视线信息被转换为基于三维的驾驶者视线信息，因此可以检测与相关技术相比具有更精确的三维深度的驾驶者视线方向。
此外，使用根据本发明概念的示例性实施方式的显示***和方法，由于可以识别驾驶者的三维视线焦距，因此可以容易且精确地判断外部环境中的物体，且可以广泛地利用用于识别驾驶者意图等的信息。
尽管出于示例说明的目的公开本发明概念的示例性实施方式，但应该理解的是本发明概念不应该局限于此，且本领域技术人员应理解，可以在不脱离本发明概念的范围和精神的情况下进行各种修改、添加和替换。
因此，任何和所有的修改、变化或等效布置应被认为在本发明概念的范围内，且由权利要求公开本发明概念的详细范围。

Claims (14)

1.一种显示***，包括：
视线跟踪摄像机，配置成检测驾驶者的眼球；
第一和第二立体摄像机，配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围，并提供拍摄的图像，其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变；
控制单元，配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息，并将转换后的信息投射到所述第一和第二立体摄像机上，从而计算驾驶者视线的三维坐标；以及
存储单元，配置成存储与所述显示***有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量，并且
所述控制单元配置成将所述基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。
2.根据权利要求1所述的显示***，其中所述控制单元配置成通过下式将所述基于视 线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机 的视线跟踪矢量单眼点
其中和表示位置信息，且Θx，Θy，Θz表示旋转信息。
3.一种显示***，包括：
视线跟踪摄像机，配置成检测驾驶者的眼球；
第一和第二立体摄像机，配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围，并提供拍摄的图像，其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变；
控制单元，配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息，并将转换后的信息投射到所述第一和第二立体摄像机上，从而计算驾驶者视线的三维坐标；以及
存储单元，配置成存储与所述显示***有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量，并且
所述控制单元配置成将所述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。
4.根据权利要求3所述的显示***，其中所述控制单元配置成通过下式将所述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量
其中Θx，Θy，Θz表示旋转信息。
5.一种显示***，包括：
视线跟踪摄像机，配置成检测驾驶者的眼球；
第一和第二立体摄像机，配置成根据基于立体摄像机的驾驶者视线信息拍摄与驾驶者视野相应的范围，并提供拍摄的图像，其中所述基于立体摄像机的驾驶者视线信息根据基于视线跟踪摄像机的驾驶者视线信息而改变；
控制单元，配置成基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息来将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息，并将转换后的信息投射到所述第一和第二立体摄像机上，从而计算驾驶者视线的三维坐标；以及
存储单元，配置成存储与所述显示***有关的信息以及所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，
所述控制单元配置成根据投射到所述第一和第二立体摄像机上的基于立体摄像机的视线跟踪矢量计算驾驶者视线注视点，并基于计算出的驾驶者视线注视点计算所述驾驶者视线的三维坐标。
6.根据权利要求5所述的显示***，其中所述控制单元配置成在投射到所述第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口，根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点，执行模板匹配使得被移动的窗口与所述第二立体摄像机的视线跟踪矢量相应，并且作为执行所述模板匹配的结果将模板匹配位置中的最高模板匹配位置识别为驾驶者视线注视点。
7.根据权利要求5所述的显示***，其中所述驾驶者视线的三维坐标为P(Xp，Yp，Zp)，且
其中P1(x1，y1)为P投射到所述第一立体摄像机的成像表面上的点，Pr(xr，yr)为P投射到所述第二立体摄像机的成像表面上的点，f为所述摄像机的焦距，T为所述第一和第二立体摄像机之间的距离，且d为坐标测量点的距离除以所述摄像机的焦距所获得的值。
8.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示***中提供三维驾驶者视线的显示方法，所述显示方法包括：
通过所述视线跟踪摄像机检测驾驶者的眼球，以识别基于视线跟踪摄像机的驾驶者视线信息；
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息；
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点；以及
将所述驾驶者视线注视点转换为驾驶者视线的三维坐标，
所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量，并且
将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括将所述基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点。
9.根据权利要求8所述的显示方法，其中将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括通过下式将所述基于视线跟踪摄像机的视线跟踪矢量单眼点转换为基于立体摄像机的视线跟踪矢量单眼点
其中和表示位置信息，且Θx，Θy，Θz表示旋转信息。
10.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示***中提供三维驾驶者视线的显示方法，所述显示方法包括：
通过所述视线跟踪摄像机检测驾驶者的眼球，以识别基于视线跟踪摄像机的驾驶者视线信息；
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息；
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点；以及
将所述驾驶者视线注视点转换为驾驶者视线的三维坐标，所述基于视线跟踪摄像机的驾驶者视线信息包括视线跟踪矢量单眼点和视线跟踪矢量，并且
将所述基于视线跟踪摄像机的驾驶者视线信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括将所述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟踪矢量。
11.根据权利要求10所述的显示方法，其中将所述基于视线跟踪摄像机的驾驶者视线 信息转换为所述基于第一和第二立体摄像机的驾驶者视线信息的步骤包括通过下式将所 述基于视线跟踪摄像机的视线跟踪矢量转换为基于立体摄像机的视线跟 踪矢量
其中Θx，Θy，Θz表示旋转信息。
12.一种在包括视线跟踪摄像机以及第一和第二立体摄像机的显示***中提供三维驾驶者视线的显示方法，所述显示方法包括：
通过所述视线跟踪摄像机检测驾驶者的眼球，以识别基于视线跟踪摄像机的驾驶者视线信息；
基于预存的所述视线跟踪摄像机以及所述第一和第二立体摄像机的位置信息和旋转信息，将所述基于视线跟踪摄像机的驾驶者视线信息转换为基于第一和第二立体摄像机的驾驶者视线信息；
根据所述基于第一和第二立体摄像机的驾驶者视线信息识别驾驶者视线注视点；以及
将所述驾驶者视线注视点转换为驾驶者视线的三维坐标，其中
识别所述驾驶者视线注视点的步骤包括：
将所述基于第一和第二立体摄像机的驾驶者视线信息投射到所述第一和第二立体摄像机上；以及
基于投射到所述第一和第二立体摄像机上的所述信息识别所述驾驶者视线注视点。
13.根据权利要求12所述的显示方法，其中基于投射到所述第一和第二立体摄像机上的所述信息识别所述驾驶者视线注视点的步骤包括：
在投射到所述第一立体摄像机上的图像上生成与预设的人视线主要注视范围相应的窗口；
根据基于第一立体摄像机的视线跟踪矢量移动所生成窗口的单眼点；
执行模板匹配使得被移动的窗口与所述第二立体摄像机的视线跟踪矢量相应；以及
作为所述执行步骤的结果将模板匹配位置中的最高模板匹配位置识别为驾驶者视线注视点。
14.根据权利要求12所述的显示方法，其中所述驾驶者视线的三维坐标为P(Xp，Yp，Zp)，且
其中P1(x1，y1)为P投射到所述第一立体摄像机的成像表面上的点，Pr(xr，yr)为P投射到所述第二立体摄像机的成像表面上的点，f为所述摄像机的焦距，T为所述第一和第二立体摄像机之间的距离，且d为坐标测量点的距离除以所述摄像机的焦距所获得的值。
CN201310182182.4A 2012-12-11 2013-05-16 显示***和方法 Active CN103871045B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0143921 2012-12-11
KR1020120143921A KR101382772B1 (ko) 2012-12-11 2012-12-11 디스플레이 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN103871045A CN103871045A (zh) 2014-06-18
CN103871045B true CN103871045B (zh) 2018-09-04

Family

ID=50656975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310182182.4A Active CN103871045B (zh) 2012-12-11 2013-05-16 显示***和方法

Country Status (3)

Country Link
US (1) US9160929B2 (zh)
KR (1) KR101382772B1 (zh)
CN (1) CN103871045B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207397A1 (de) * 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Fahrzeugbediensystem, Computerprogramm zum Bedienen eines Fahrzeug und Computerprogrammprodukt
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
KR101892135B1 (ko) * 2016-06-30 2018-08-29 전자부품연구원 시선 방향에 따른 가림 물체 투명 표시 장치, 방법 및 시스템
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US9874934B1 (en) 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
JP7115276B2 (ja) * 2018-12-10 2022-08-09 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
JP7223303B2 (ja) * 2019-03-14 2023-02-16 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、***、设备和存储介质
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259043A (ja) * 2003-02-26 2004-09-16 Toyota Motor Corp 向き方向検出装置および向き方向検出方法
CN1659418A (zh) * 2002-04-22 2005-08-24 松下电器产业株式会社 摄像机校正装置
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报***
JP4397719B2 (ja) * 2004-03-30 2010-01-13 本田技研工業株式会社 視線検出装置
CN102169364A (zh) * 2010-02-26 2011-08-31 原相科技股份有限公司 应用于立体互动***的互动模块及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032994B2 (ja) 2003-02-26 2008-01-16 トヨタ自動車株式会社 視線方向検出装置および視線方向検出方法
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
KR101122513B1 (ko) * 2005-04-04 2012-03-15 (주)아이리스아이디 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
WO2008097933A1 (en) * 2007-02-04 2008-08-14 Miralex Systems Incorporated Systems and methods for gaze tracking using multiple images
KR100941236B1 (ko) 2008-03-31 2010-02-10 현대자동차주식회사 전방 미주시 운전 검출 경보 시스템
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
JP2010281685A (ja) 2009-06-04 2010-12-16 National Univ Corp Shizuoka Univ 位置計測システム及び位置計測方法
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
KR101628394B1 (ko) 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
KR20120062541A (ko) 2010-12-06 2012-06-14 현대자동차주식회사 시선 벡터를 이용한 디스플레이 시스템
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP5706715B2 (ja) 2011-02-25 2015-04-22 株式会社ジオ技術研究所 ３次元地図表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659418A (zh) * 2002-04-22 2005-08-24 松下电器产业株式会社 摄像机校正装置
JP2004259043A (ja) * 2003-02-26 2004-09-16 Toyota Motor Corp 向き方向検出装置および向き方向検出方法
JP4397719B2 (ja) * 2004-03-30 2010-01-13 本田技研工業株式会社 視線検出装置
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报***
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
CN102169364A (zh) * 2010-02-26 2011-08-31 原相科技股份有限公司 应用于立体互动***的互动模块及其方法

Also Published As

Publication number Publication date
KR101382772B1 (ko) 2014-04-08
US20140160249A1 (en) 2014-06-12
US9160929B2 (en) 2015-10-13
CN103871045A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
CN103871045B (zh) 显示***和方法
WO2021004312A1 (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
KR101699922B1 (ko) 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
EP3067861A2 (en) Determination of a coordinate conversion parameter
KR101874494B1 (ko) 특징점의 삼차원 위치 계산 장치 및 방법
EP2966863A1 (en) Hmd calibration with direct geometric modeling
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
WO2018141414A1 (en) Device and method for obtaining depth information from a scene
JP2011007794A (ja) デュアルステレオカメラを備えた距離測定装置
US10634918B2 (en) Internal edge verification
TW201335888A (zh) Ａｒ影像處理裝置及方法
KR20150139608A (ko) 워크 가공 작업 지원 시스템 및 워크 가공 방법
CN111279354A (zh) 图像处理方法、设备及计算机可读存储介质
US20100259598A1 (en) Apparatus for detecting three-dimensional distance
WO2019047982A1 (zh) 图像处理方法、装置、电子装置和计算机可读存储介质
JP2012209895A (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
JP6021568B2 (ja) 画像処理用プログラム、画像処理装置、画像処理システム、および画像処理方法
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant