CN104391567A - 一种基于人眼跟踪的三维全息虚拟物体显示控制方法 - Google Patents

一种基于人眼跟踪的三维全息虚拟物体显示控制方法 Download PDF

Info

Publication number
CN104391567A
CN104391567A CN201410526246.2A CN201410526246A CN104391567A CN 104391567 A CN104391567 A CN 104391567A CN 201410526246 A CN201410526246 A CN 201410526246A CN 104391567 A CN104391567 A CN 104391567A
Authority
CN
China
Prior art keywords
user
eyelid
human eye
hologram
tracing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410526246.2A
Other languages
English (en)
Other versions
CN104391567B (zh
Inventor
刘美鸿
陈易华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN WEICHAO INTELLIGENT TECHNOLOGY Co.,Ltd.
Original Assignee
Shenzhen Estar Displaytech Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Estar Displaytech Co filed Critical Shenzhen Estar Displaytech Co
Priority to CN201410526246.2A priority Critical patent/CN104391567B/zh
Priority to JP2014256922A priority patent/JP2016071835A/ja
Priority to EP14200473.8A priority patent/EP3002944A1/en
Priority to US14/596,209 priority patent/US9805516B2/en
Publication of CN104391567A publication Critical patent/CN104391567A/zh
Application granted granted Critical
Publication of CN104391567B publication Critical patent/CN104391567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人眼跟踪的三维全息虚拟物体显示控制方法及装置，该显示控制方法包括：启动对用户的人眼跟踪；跟踪用户的眼球运动；根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动；结束对用户的人眼跟踪。通过上述方式，本发明能够通过跟踪眼球并根据眼球的运动来控制显示界面内呈现的三维全息虚拟物体进行转动，方便易行。

Description

一种基于人眼跟踪的三维全息虚拟物体显示控制方法
技术领域
本发明涉及领域显示控制领域，特别是涉及一种基于人眼跟踪的三维全息虚拟物体显示控制方法。
背景技术
随着三维技术和全息技术的发展，在显示界面中的虚拟三维全息图形越来越多，例如三维工程制图、全息图像、3D电影及3D游戏等等，人们往往需要控制三维图形的旋转或者缩放。
在现有技术中，对显示界面中虚拟三维全息图形的控制通常是使用鼠标或其他按键锁定该虚拟三维全息图形，然后通过移动鼠标或者其他按键来控制该虚拟三维全息图形的旋转，对该虚拟三维全息图形进行缩放也常常是通过鼠标上的滚轮或其他按键来控制。
但是，人们需要在虚拟三维全息图形转动的同时对该虚拟三维全息图形进行其他操作的话就比较麻烦，例如对一正方体的四周进行着色，必须把正方体进行多次旋转分别对每一面进行着色。
发明内容
本发明主要解决的技术问题是如何根据眼球的运动来来控制显示界面内呈现的三维全息虚拟物体进行转动。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于人眼跟踪的显示控制方法，该显示控制方法包括：启动对用户的人眼跟踪；跟踪用户的眼球运动；根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动；结束对用户的人眼跟踪。
其中，启动对用户的人眼跟踪的步骤包括：检测用户的眼睑的打开/闭合状态；若用户的眼睑的打开/闭合状态满足第一预设状态，则启动对用户的人眼跟踪；结束对用户的人眼跟踪的步骤包括：检测用户的眼睑的打开/闭合状态；若用户的眼睑的打开/闭合状态满足第二预设状态，则结束对用户的人眼跟踪。
其中，第一预设状态和第二预设状态为用户的眼睑的闭合频率大于预设频率阈值。
其中，第一预设状态和第二预设状态分别为用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的至少一者。
其中，第一预设状态为用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的一者，第二预设状态分别为用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的另一者。
其中，跟踪用户的眼球运动的步骤包括：获取用户的人脸图像；从人脸图像上识别出人眼区域；在人眼区域内根据颜色反差识别出巩膜区域和虹膜区域；根据虹膜区域与人眼区域的相对位置变化跟踪用户的眼球运动。
其中，在人眼区域内根据颜色反差识别出巩膜区域和虹膜区域的步骤进一步包括：确定用户的左眼的虹膜区域和右眼的虹膜区域的中心连线；根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤包括：绕位于三维全息虚拟物体的质心且垂直于中心连线的转轴旋转三维全息虚拟物体。
其中，跟踪用户的眼球运动的步骤进一步包括：检测未被用户的眼睑覆盖的眼球的面积；根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤包括：根据未被用户的眼睑覆盖的眼球的面积的变化对三维全息虚拟物体进行缩放。
其中，根据面积的变化对三维全息虚拟物体进行缩放的步骤包括：当未被用户的眼睑覆盖的眼球的面积变小时拉近三维全息虚拟物体与用户的距离；当未被用户的眼睑覆盖的眼球的面积变大时拉远三维全息虚拟物体与用户的距离
其中，跟踪用户的眼球运动的步骤包括：在对用户的眼球运动进行跟踪的过程中，对用户眼睑的闭合动作进行计数；若用户眼睑的闭合动作为第一次闭合动作，则暂停根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤，并等待用户的眼球进行复位；若用户眼睑的闭合动作为第二次闭合动作，则重启根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤，并将用户眼睑的闭合动作的计数值清零。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于人眼跟踪的显示控制装置，该装置包括：开启单元，用于启动对用户的人眼跟踪；跟踪单元，用于跟踪用户的眼球运动；控制单元，用于根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动；关闭单元，用于结束对用户的人眼跟踪。
本发明的有益效果是：区别于现有技术的情况，本发明通过启动对用户的人眼跟踪；跟踪用户的眼球运动；根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动，使用户对显示界面的三维全息物体的转动控制更加方便、快捷。
附图说明
图1是本发明第一实施例的基于人眼跟踪的显示控制方法的流程图；
图2是本发明第二实施例的基于人眼跟踪的显示控制方法的流程图；
图3是图2中眼球及三维全息虚拟物体的示意图；
图4是图2中通过眼球控制三维全息虚拟物体旋转的示意图；
图5是本发明第三实施例的基于人眼跟踪的显示控制方法的流程图；
图6是图5中通过眼球控制三维全息虚拟物体缩放的示意图；
图7是本发明第四实施例的基于人眼跟踪的显示控制装置的示意图。
具体实施方式
参阅图1，本发明第一实施例的基于人眼跟踪的显示控制方法的流程图，该方法包括：
步骤101：启动对用户的人眼跟踪；
启动对用户的人眼跟踪的方式可以是用户的输入指令，例如通过键盘输入某个命令或者鼠标点击某个按钮开启人眼跟踪；或者检测用户身体的某一特定动作，例如眼球的某个特定动作。
步骤102：跟踪用户的眼球运动；
跟踪用户的眼球可以是通过摄像头检测眼球的运动，以瞳孔为中心点，检测该中心点的移动；或者检测眼球中虹膜和巩膜的比例，来跟踪眼球的运动状态；另外，对眼球的跟踪不止限于摄像头，也可以是专门的3D眼镜或者其他设备。
步骤103：根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动；
三维全息物体一般是工程上的3D制图中的物体，也可以是3D照片、3D游戏中的人物或者其他3D虚拟物体；转动的方式是根据眼球的移动方向来判断3D物体的移动方向，例如，眼球向左运动，则判断为用户想要看到物体更左边的内容，则该3D虚拟物体向右转动。
步骤104：结束对用户的人眼跟踪。
结束对用户的人眼跟踪可以采用与启动对用户的人眼跟踪相对应的方式。
区别于现有技术，本实施方式通过检测用户眼睑的打开/闭合状态启动对用户人眼的跟踪，根据用户眼球运动控制显示界面内呈现的三维虚拟物体进行转动，使用户对显示界面的三维全息物体的转动控制更加方便、快捷。
参阅图2，本发明第二实施例的基于人眼跟踪的显示控制方法的流程图，本实施所揭示的基于人眼跟踪的显示控制方法基于第一实施例所揭示的基于人眼跟踪的显示控制方法进行详细描述。本实施例所揭示的方法包括：
步骤201：检测用户的眼睑的打开/闭合状态，若用户的眼睑的打开/闭合状态满足第一预设状态，则启动对用户的人眼跟踪；
检测用户的眼睑的方式与本发明第一实施方式类似，人的眼睑打开/闭合状态分别有不同的颜色，这里可以根据人脸眼睛部位颜色来判断眼睑的开打/闭合；
第一预设状态可以是眼睑的频率大于预设频率阈值，由于人眼的眼睑在平时闭合频率非常低，所以可以将第一预设状态的眼睑闭合频率设为比较高的频率；例如，当眼睑每秒闭合1次，则认为满足第一预设状态；
第一预设状态也可以是用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的至少一者；例如第一预设状态为用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态，若用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态，则启动对用户的人眼跟踪。
步骤202：获取用户的人脸图像；
该步骤适用于通过摄像头等能识别人脸的装置获取人脸图像，而例如3D眼镜等只需通过眼镜上的特殊装置获取人眼区域即可。
步骤203：从人脸图像上识别出人眼区域；
由于人眼的颜色与皮肤存在较大差异，所以只需通过简单的图像处理就可以在人脸图像上识别出人眼区域。
步骤204：在人眼区域内根据颜色反差识别出巩膜区域和虹膜区域；
如图3所示，人眼区域从表面看大致分为巩膜区域301和虹膜区域302，其中为巩膜区域301呈白色，虹膜区域302呈黑色，根据颜色的反差很容易判断出巩膜区域301和虹膜区域302。
步骤205：确定用户的左眼的虹膜区域和右眼的虹膜区域的中心连线；
分别确定用户左眼的虹膜区域的中心点303与右眼的虹膜区域的中心点304(本实施方式所述的左右均为用户感知的左右)，连接中心点303和中心点304形成中心连线305。
步骤206：确定三维全息虚拟物体的转轴，并绕位于转轴旋转三维全息虚拟物体；
转轴308通过三维全息虚拟物体306的质心307且垂直于步骤205中的中心连线305，即转轴308垂直于中心连线305，则三维全息虚拟物体306围绕转轴308旋转；
步骤207：根据虹膜区域与人眼区域的相对位置变化跟踪用户的眼球运动；
如图4所示，当虹膜区域401a位于人眼区域402a中央时，则三维全息虚拟物体403a保持原状态不动；当虹膜区域401b位于人眼区域402b左边时，表示用户更想看到虚拟物体403b的左侧，则三维全息虚拟物体403b向右旋转；当虹膜区域401c位于人眼区域402c右边时，表示用户更想看到虚拟物体403c的右侧，则三维全息虚拟物体403c向左旋转；
另外，在根据用户的眼球运动进行跟踪的过程中，对用户眼睑的闭合动作进行计数；若用户眼睑的闭合动作为第一次闭合动作，则暂停根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤，并等待用户的眼球进行复位；若用户眼睑的闭合动作为第二次闭合动作，则重启根据用户的眼球运动控制显示界面内呈现的三维全息虚体进行转动的步骤，并将用户眼睑的拟物闭合动作的计数值清零。
步骤208：检测用户的眼睑的打开/闭合状态，若用户的眼睑的打开/闭合状态满足第二预设状态，则结束对用户的人眼跟踪。
该步骤的方式与步骤201类似；
第二预设状态可以是眼睑的频率大于预设频率阈值，由于人眼的眼睑在平时闭合频率非常低，所以可以将第二预设状态的眼睑闭合频率设为比较高的频率且不同于第一预设状态的眼睑闭合频率；例如，当眼睑每秒闭合2次及以上，则认为满足第二预设状态；
第二预设状态也可以是用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的至少一者；例如第二预设状态为用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态，若用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态，则结束对用户的人眼跟踪。
区别与现有技术，本实施方式通过检测人眼球中虹膜与巩膜的位置，判断人眼球的移动方向，从而控制显示界面中三维全息虚拟物体的旋转，使用户可以同时进行其他操作，方便快捷，提高了用户的体验。
参阅图5，本发明第三实施例的基于人眼跟踪的显示控制方法的流程图，本实施所揭示的基于人眼跟踪的显示控制方法基于第一实施例所揭示的基于人眼跟踪的显示控制方法进行详细描述。本实施例所揭示的方法包括：
步骤501：检测用户的眼睑的打开/闭合状态，若用户的眼睑的打开/闭合状态满足第一预设状态，则启动对用户的人眼跟踪；
步骤502：获取用户的人脸图像；
步骤503：从人脸图像上识别出人眼区域；
步骤501-503与本发明第二实施方式相同，这里不再赘述。
步骤504：检测未被用户的眼睑覆盖的眼球的面积；
用户通过移动眼睑可以控制眼睑覆盖眼球的面积，例如平常所说的睁大眼睛和眯着眼睛。
步骤505：根据未被用户的眼睑覆盖的眼球的面积的变化对三维全息虚拟物体进行缩放；
如图6所示，当未被用户的眼睑覆盖的眼球的面积601b变大时，拉远三维全息虚拟物体602b与用户的距离；当未被用户的眼睑覆盖的眼球的面积601c变小时，拉近三维全息虚拟物体602c与用户的距离；
步骤506：检测用户的眼睑的打开/闭合状态，若用户的眼睑的打开/闭合状态满足第二预设状态，则结束对用户的人眼跟踪。
区别于现有技术，本实施方式通过人眼球中未被眼睑遮盖部分的面积来控制显示界面中三维全息虚拟物体的缩放，使用户可以同时进行其他操作，方便快捷，更加考虑到用户的体验。
另外，本发明第二实施方式和第三实施方式中对三维全息虚拟物体旋转和缩放的技术方案可以同为同一实施方式的两个步骤，这里不再赘述。
参阅图7，本发明第四实施例的基于人眼跟踪的显示控制装置的示意图，该装置700包括：开启单元701，用于启动对用户的人眼跟踪；跟踪单元702，用于跟踪用户的眼球运动；控制单元703，用于根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体705进行转动；关闭单元704，用于结束对用户的人眼跟踪。
其中，开启单元701和关闭单元704可以集成在该显示装置700上，也可以是一移动终端，通过用户远程控制，还可以是显示装置700中的模块，根据跟踪单元702检测人眼的信息来进行开启和关闭操作；
跟踪单元702可以是集成与显示装置700上的摄像头或外接摄像头，也可以是专门的3D眼镜或者其他设备；
控制单元703通过跟踪单元702检测的眼球运动信息控制显示界面中虚拟三维全息物体705的转动。
本实施方式是实施上述各实施方式的装置，其具体实施步骤与第一实施方式至第三实施方式相同，这里不再赘述。
区别于现有技术，本实施方式提供一种装置，通过检测用户眼睑的打开/闭合状态启动对用户人眼的跟踪，根据用户眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动，使用户对显示界面的三维全息物体的转动控制更加方便、快捷。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人眼跟踪的三维全息虚拟物体显示控制方法，其特征在于，所述显示控制方法包括： 
启动对用户的人眼跟踪； 
跟踪用户的眼球运动； 
根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动； 
结束对用户的人眼跟踪。 
2.根据权利要求1所述的显示控制方法，其特征在于，所述启动对用户的人眼跟踪的步骤包括： 
检测用户的眼睑的打开/闭合状态； 
若用户的眼睑的打开/闭合状态满足第一预设状态，则启动对用户的人眼跟踪； 
所述结束对用户的人眼跟踪的步骤包括： 
检测用户的眼睑的打开/闭合状态； 
若用户的眼睑的打开/闭合状态满足第二预设状态，则结束对用户的人眼跟踪。 
3.根据权利要求2所述的显示控制方法，其特征在于，所述第一预设状态和所述第二预设状态为用户的眼睑的闭合频率大于预设频率阈值。 
4.根据权利要求2所述的显示控制方法，其特征在于，所述第一预设状态和所述第二预设状态分别为用户的左眼眼睑处于打开状态且用户的右眼眼睑处于闭合状态或者用户的左眼眼睑处于闭合状态且用户的右眼眼睑处于打开状态中的至少一者。 
5.根据权利要求1所述的显示控制方法，其特征在于，所述跟踪用户的眼球运动的步骤包括： 
获取用户的人脸图像； 
从所述人脸图像上识别出人眼区域； 
在所述人眼区域内根据颜色反差识别出巩膜区域和虹膜区域； 
根据所述虹膜区域与所述人眼区域的相对位置变化跟踪用户的眼球运动。 
6.根据权利要求5所述的显示控制方法，其特征在于，所述在所述人眼区域内根据颜色反差识别出巩膜区域和虹膜区域的步骤进一步包括： 
确定用户的左眼的虹膜区域和右眼的虹膜区域的中心连线； 
所述根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤包括： 
绕位于所述三维全息虚拟物体的质心且垂直于所述中心连线的转轴旋转所述三维全息虚拟物体。 
7.根据权利要求1所述的显示控制方法，其特征在于，所述跟踪用户的眼球运动的步骤进一步包括： 
检测未被用户的眼睑覆盖的所述眼球的面积； 
所述根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤包括： 
根据未被用户的眼睑覆盖的所述眼球的面积的变化对所述三维全息虚拟物体进行缩放。 
8.根据权利要求7所述的显示控制方法，其特征在于，所述根据所述面积的变化对所述三维全息虚拟物体进行缩放的步骤包括： 
当未被用户的眼睑覆盖的所述眼球的面积变小时拉近所述三维全息虚拟物体与用户的距离； 
当未被用户的眼睑覆盖的所述眼球的面积变大时拉远所述三维全息虚拟物体与用户的距离。 
9.根据权利要求1所述的显示控制方法，其特征在于，所述跟踪用户的眼球运动的步骤包括： 
在对用户的眼球运动进行跟踪的过程中，对用户眼睑的闭合动作进行计数； 
若用户眼睑的闭合动作为第一次闭合动作，则暂停所述根据用户的 眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤，并等待用户的眼球进行复位； 
若用户眼睑的闭合动作为第二次闭合动作，则重启所述根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动的步骤，并将所述用户眼睑的闭合动作的计数值清零。 
10.一种基于人眼跟踪的显示控制装置，其特征在于，所述显示控制装置包括： 
开启单元，用于启动对用户的人眼跟踪； 
跟踪单元，用于跟踪用户的眼球运动； 
控制单元，用于根据用户的眼球运动控制显示界面内呈现的三维全息虚拟物体进行转动； 
关闭单元，用于结束对用户的人眼跟踪。 
CN201410526246.2A 2014-09-30 2014-09-30 一种基于人眼跟踪的三维全息虚拟物体显示控制方法 Active CN104391567B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410526246.2A CN104391567B (zh) 2014-09-30 2014-09-30 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
JP2014256922A JP2016071835A (ja) 2014-09-30 2014-12-19 眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法
EP14200473.8A EP3002944A1 (en) 2014-09-30 2014-12-29 3d holographic virtual object display controlling method based on human-eye tracking
US14/596,209 US9805516B2 (en) 2014-09-30 2015-01-13 3D holographic virtual object display controlling method based on human-eye tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410526246.2A CN104391567B (zh) 2014-09-30 2014-09-30 一种基于人眼跟踪的三维全息虚拟物体显示控制方法

Publications (2)

Publication Number Publication Date
CN104391567A true CN104391567A (zh) 2015-03-04
CN104391567B CN104391567B (zh) 2017-10-31

Family

ID=52344999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410526246.2A Active CN104391567B (zh) 2014-09-30 2014-09-30 一种基于人眼跟踪的三维全息虚拟物体显示控制方法

Country Status (4)

Country Link
US (1) US9805516B2 (zh)
EP (1) EP3002944A1 (zh)
JP (1) JP2016071835A (zh)
CN (1) CN104391567B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置
WO2017054196A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN107451547A (zh) * 2017-07-17 2017-12-08 广东欧珀移动通信有限公司 识别活体的方法及相关产品
CN107908285A (zh) * 2017-11-13 2018-04-13 联想(北京)有限公司 一种数据处理方法、装置及***
CN108351614A (zh) * 2015-10-23 2018-07-31 微软技术许可有限责任公司 全息显示器
CN108962182A (zh) * 2018-06-15 2018-12-07 广东康云多维视觉智能科技有限公司 基于眼球追踪的三维图像显示装置及其实现方法
CN112540667A (zh) * 2019-09-23 2021-03-23 北京七鑫易维信息技术有限公司 一种界面浏览方法、装置及相关设备
CN115426506A (zh) * 2022-11-07 2022-12-02 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、***和介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
WO2017075100A1 (en) * 2015-10-26 2017-05-04 Pillantas Inc. Systems and methods for eye vergence control
JP7016211B2 (ja) * 2016-08-05 2022-02-04 株式会社コーエーテクモゲームス 演出処理プログラム及び情報処理装置
US10824293B2 (en) 2017-05-08 2020-11-03 International Business Machines Corporation Finger direction based holographic object interaction from a distance
US10839523B2 (en) 2018-05-16 2020-11-17 Otis Elevator Company Position-based adjustment to display content
CN108704308A (zh) * 2018-05-17 2018-10-26 Oppo广东移动通信有限公司 射击游戏的控制方法、装置、存储介质和电子设备
JP2020014160A (ja) * 2018-07-19 2020-01-23 国立大学法人 筑波大学 透過型ヘッドマウントディスプレイ装置及びプログラム
WO2020214484A1 (en) * 2019-04-15 2020-10-22 Ocelot Laboratories Llc Attenuating mode
SE545310C2 (en) * 2019-12-20 2023-06-27 Tobii Ab Improved turn-taking
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
WO2023108059A1 (en) * 2021-12-09 2023-06-15 Google Llc Reducing processing of images based on eyelid movement
US11663895B1 (en) * 2021-12-13 2023-05-30 Kyndryl, Inc. Virtual three-dimensional holographic safety gate
US20240073376A1 (en) * 2022-08-26 2024-02-29 Meta Platforms Technologies, Llc Authentic Eye Region Capture through Artificial Reality Headset

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681145A (zh) * 2007-05-21 2010-03-24 视瑞尔技术公司 具有用于重建的追踪装置的全息重建***
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
US6283954B1 (en) * 1998-04-21 2001-09-04 Visx, Incorporated Linear array eye tracker
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
JP2008129755A (ja) * 2006-11-20 2008-06-05 Seiko Epson Corp 報知システム、報知装置、無線モジュールおよび報知システムの制御方法
JP2009294740A (ja) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp データ処理装置及びプログラム
JP5057091B2 (ja) * 2008-08-29 2012-10-24 アイシン・エィ・ダブリュ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
DE202008015741U1 (de) * 2008-11-29 2009-06-10 GM Global Technology Operations, Inc., Detroit Anzeigesystem für ein Kraftfahrzeug
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20140187322A1 (en) * 2010-06-18 2014-07-03 Alexander Luchinskiy Method of Interaction with a Computer, Smartphone or Computer Game
JP2012128523A (ja) * 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
WO2013049890A1 (en) * 2011-10-06 2013-04-11 The Bionics Institute Of Australia Visual prosthesis apparatus
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
US9500866B2 (en) * 2013-04-04 2016-11-22 Texas Instruments Incorporated Near display and imaging
KR102187837B1 (ko) * 2013-05-16 2020-12-07 삼성전자 주식회사 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템
US20160025971A1 (en) * 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681145A (zh) * 2007-05-21 2010-03-24 视瑞尔技术公司 具有用于重建的追踪装置的全息重建***
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518582B (zh) * 2015-06-30 2018-02-02 北京旷视科技有限公司 活体检测方法及设备
CN105518582A (zh) * 2015-06-30 2016-04-20 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
US10698479B2 (en) 2015-09-30 2020-06-30 Huawei Technologies Co., Ltd. Method for starting eye tracking function and mobile device
WO2017054196A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN108027644A (zh) * 2015-09-30 2018-05-11 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN108027644B (zh) * 2015-09-30 2020-06-26 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
CN108351614A (zh) * 2015-10-23 2018-07-31 微软技术许可有限责任公司 全息显示器
CN106218409A (zh) * 2016-07-20 2016-12-14 长安大学 一种可人眼跟踪的裸眼3d汽车仪表显示方法及装置
CN107451547A (zh) * 2017-07-17 2017-12-08 广东欧珀移动通信有限公司 识别活体的方法及相关产品
CN107908285A (zh) * 2017-11-13 2018-04-13 联想(北京)有限公司 一种数据处理方法、装置及***
CN107908285B (zh) * 2017-11-13 2021-09-14 联想(北京)有限公司 一种数据处理方法、装置及***
CN108962182A (zh) * 2018-06-15 2018-12-07 广东康云多维视觉智能科技有限公司 基于眼球追踪的三维图像显示装置及其实现方法
WO2019237499A1 (zh) * 2018-06-15 2019-12-19 广东康云多维视觉智能科技有限公司 基于眼球追踪的三维图像显示装置及其实现方法
CN112540667A (zh) * 2019-09-23 2021-03-23 北京七鑫易维信息技术有限公司 一种界面浏览方法、装置及相关设备
CN115426506A (zh) * 2022-11-07 2022-12-02 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、***和介质
CN115426506B (zh) * 2022-11-07 2023-02-03 北京鲜衣怒马文化传媒有限公司 替换人脸部眼睛样式并跟随眼睛动作的方法、***和介质

Also Published As

Publication number Publication date
CN104391567B (zh) 2017-10-31
US20160093113A1 (en) 2016-03-31
US9805516B2 (en) 2017-10-31
JP2016071835A (ja) 2016-05-09
EP3002944A1 (en) 2016-04-06

Similar Documents

Publication Publication Date Title
CN104391567A (zh) 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN108153424B (zh) 头显设备的眼动和头动交互方法
CN105640489B (zh) 隐形镜片***
CN105955461A (zh) 一种交互界面管理方法和***
CN107656613B (zh) 一种基于眼动追踪的人机交互***及其工作方法
Upenik et al. A simple method to obtain visual attention data in head mounted virtual reality
DE102014019651B4 (de) Elektronische Vorrichtung und Anzeigesteuerverfahren
CN105892642A (zh) 一种根据眼部动作对终端进行控制的方法及装置
CN103885589B (zh) 眼动追踪方法及装置
CN106255939B (zh) 世界锁定显示质量反馈
WO2022066578A1 (en) Touchless photo capture in response to detected hand gestures
KR102212209B1 (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
CN104090659B (zh) 基于人眼图像和视线追踪的操作指针指示控制设备
US20170235376A1 (en) Systems and methods of direct pointing detection for interaction with a digital device
CN106527709B (zh) 一种虚拟场景调整方法及头戴式智能设备
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
WO2011074198A1 (ja) ユーザインタフェース装置および入力方法
CN110083202A (zh) 与近眼显示器的多模交互
EP3111300A2 (en) Controlling a computing-based device using gestures
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
CN105763829A (zh) 一种图像处理方法及电子设备
CN103500335A (zh) 一种基于手势识别的照片拍摄与浏览的方法及其装置
CN106708270A (zh) 一种虚拟现实设备的显示方法、装置以及虚拟现实设备
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及***
CN108124150B (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161213

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the three global digital Building Room 806 No. 9

Applicant after: Shenzhen magic eye Technology Co., Ltd.

Address before: 518000, District, Shenzhen, Nanshan District high tech Zone, Southern District, B1 digital technology park, building 2, C

Applicant before: SHENZHEN ESTAR DISPLAYTECH CO., LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: 518000 Fenghua Science and Technology Building, Northeast Side of Baishi Road and Science and Technology South Road Intersection, Yuehai Street High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 1311

Patentee after: SHENZHEN WEICHAO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the three global digital Building Room 806 No. 9

Patentee before: SHENZHEN MAGIC EYE TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right