CN108962182A - 基于眼球追踪的三维图像显示装置及其实现方法 - Google Patents

基于眼球追踪的三维图像显示装置及其实现方法 Download PDF

Info

Publication number
CN108962182A
CN108962182A CN201810623038.2A CN201810623038A CN108962182A CN 108962182 A CN108962182 A CN 108962182A CN 201810623038 A CN201810623038 A CN 201810623038A CN 108962182 A CN108962182 A CN 108962182A
Authority
CN
China
Prior art keywords
period
time
user
photos
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810623038.2A
Other languages
English (en)
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Original Assignee
Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd filed Critical Guangdong Kang Yun Multidimensional Vision Intelligent Technology Co Ltd
Priority to CN201810623038.2A priority Critical patent/CN108962182A/zh
Priority to PCT/CN2018/101061 priority patent/WO2019237499A1/zh
Publication of CN108962182A publication Critical patent/CN108962182A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼球追踪的三维图像显示装置及其实现方法,该装置包括:一显示模块,用于显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型;一拍摄模块,用于在一第一时间周期内拍摄用户的至少两张照片;一处理器,用于根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹,并根据所述眼球轨迹改变三维图像的状态;本发明通过拍摄用户的多张照片来识别用户的眼球轨迹,并根据眼球轨迹来改变三维图像的状态,实现了无接触式的交互,使得三维图像的显示模块可以应用在更多不同的场合中。本发明可以广泛应用于三维图像显示设备领域。

Description

基于眼球追踪的三维图像显示装置及其实现方法
技术领域
本发明涉及三维图像显示设备领域,尤其是一种基于眼球追踪的三维图像装置及其实现方法。
背景技术
随着三维图像技术的发展,越来越多的三维图像应用在我们的生活中。现在的产品制造商可以通过三维扫描设备将他们的产品扫描成三维模型来向顾客展示,例如汽车厂商可以将一个汽车扫描成三维模型,顾客可以通过一些电子设备从不同的角度来浏览产品。因此商家并不需要担心店铺没有足够的面积来展示自己的产品,他们可以通过在店铺或者其展示场地放置一些三维图像设备来向用户展示其产品的三维模型。
目前这类产品的主要以触屏法的方式进行交互,如果三维图像设备需要放置在人难以触碰的地方,例如设置在高处或者放置在围栏后,则无法满足顾客交互的需求。
发明内容
为解决上述技术问题,本发明的目的在于:提供一种可以实现无接触操作的基于眼球追踪的三维图像装置及其实现方法。
本发明所采取的第一种技术方案是:
基于眼球追踪的三维图像显示装置,包括:
一显示模块,用于显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型;
一拍摄模块,用于在一第一时间周期内拍摄用户的至少两张照片;
一处理器,用于根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹,并根据所述眼球轨迹改变三维图像的状态;
所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。
进一步,所述处理器具体用于:根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹。
进一步,所述处理器在根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹时,先从所述至少两张照片中选取其中的两张照片,然后从被选取的两张照片中先拍摄的照片中识别用户眼球的第一位置坐标,以及从被选取的两张照片中后拍摄的照片中识别用户眼球的第二位置坐标,最后将用户眼球的第二位置坐标减去第一位置坐标得到一矢量,以该矢量作为用户在所述第一时间周期内的眼球轨迹。
进一步,所述拍摄模块还用于在一第二时间周期内拍摄用户的多张照片;
所述处理器还用于根据拍摄模块在所述第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。
进一步,包括一存储器,所述存储器用于存储所述一个或多个三维图像,所述存储器可以是本地存储器或者是部署在远程服务器上的存储器。
本发明所采取的第二种技术方案是:
基于眼球追踪的三维图像显示装置的实现方法,包括以下步骤:
通过显示模块显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型;
通过拍摄模块在一第一时间周期内拍摄用户的至少两张照片;
通过处理器根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹;
通过处理器根据所述眼球轨迹改变三维图像的状态;
所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。
进一步,所述通过处理器根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹的步骤具体为:
通过处理器根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹。
进一步,所述通过处理器根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹的步骤包括:
从所述至少两张照片中选取其中的两张照片,
从被选取的两张照片中先拍摄的照片中识别用户眼球的第一位置坐标,以及从被选取的两张照片中后拍摄的照片中识别用户眼球的第二位置坐标,
将用户眼球的第二位置坐标减去第一位置坐标得到一矢量,以该矢量作为用户在所述第一时间周期内的眼球轨迹。
进一步,还包括以下步骤:
通过所述拍摄模块还在一第二时间周期内拍摄用户的多张照片;
通过所述处理器根据拍摄模块在所述第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。
进一步,还包括以下步骤:
通过存储器存储所述一个或多个三维图像,所述存储器可以是本地存储器或者是部署在远程服务器上的存储器。
本发明的有益效果是:本发明通过拍摄用户的多张照片来识别用户的眼球轨迹,并根据眼球轨迹来改变三维图像的状态,实现了无接触式的交互,使得三维图像的显示模块可以应用在更多不同的场合中。
附图说明
图1为本发明一种具体实施例的基于眼球追踪的三维图像显示装置的模块框图;
图2为本发明一种具体实施例的基于眼球追踪的三维图像显示装置的实现方法的流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
参考图1,本实施例公开了一种基于眼球追踪的三维图像显示装置,该三维图像显示装置包括一显示模块101、一拍摄模块102和一处理器103。
其中,显示模块101用于显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型。显示模块101可以是显示屏、投影仪或者空气成像设备等的显示模块。在一些实施例中,三维图像可以是一个展厅的三维模型,所述展厅中可以包含一个或者多个物品的三维模型,例如,用户可以通过显示模块101看到一展厅内放置了若干个物品。在另一些实施例张,三维图像可以是单个物品的三维模型,例如是一个汽车的三维模型。
拍摄模块102用于在一第一时间周期内拍摄用户的至少两张照片。第一时间周期可以根据实际需要进行设置,例如可以设置为0.1秒、0.5秒、1秒等,在第一时间周期内,拍摄模块102应当拍摄至少两张照片,例如其在0.1秒内拍摄两张照片,或者在0.5秒内拍摄15张照片。所述拍摄模块可以是相机或者录像机。此外,在本发明中照片应当包括录像中的图像帧,因此拍摄一段视频也应该认为是拍摄了若干张照片。本领域技术人员可以根据拍摄模块102的选型以及人眼变化的速度来设置第一时间周期的长度以及拍摄模块102在第一时间周期内拍摄的照片数量。
处理器103,用于根据拍摄模块102在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹。在一些实施例中,处理器103可以根据在所述第一时间周期内拍摄的所有照片来描绘用户在第一时间周期内的眼球轨迹,即依次识别所有照片中的眼球位置,并按照时间先后顺序在同一坐标中描绘出一曲线,并以该曲线作为眼球轨迹。在另一些实施例中,处理器103可以根据在所述第一时间周期内拍摄的部分照片来描绘用户在第一时间周期内的眼球轨迹,其中,部分照片可以从所有照片中随机抽取或者有规律地抽取,例如,在第一时间周期内拍摄模块102拍摄了编号为1至10的照片,本领域技术人员可以设定一随机函数,在十张照片中抽取至少两张照片。本领域技术人员也可以固定抽取编号为1和10的两张照片。或者本领域技术人员也可以抽取所有编号为偶数的照片。
处理器103还用于根据所述眼球轨迹改变三维图像的状态。处理器103可以将第一时间周期内的眼球轨迹作为用户在第一时间周期内的输入信号,处理器可以根据该输入信号来改变三维图像的状态。所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。在一些实施例中,三维图像是一个展厅,当用户的眼球往右移动时,处理器103可以将展厅左边(或者右边)的视角移动到显示模块101的中心,同理,用户可以通过眼球轨迹来改变一个商品的三维模型的视角。在一些实施例中,所述商品是可以改变形状的商品,例如一个可以打开车门的汽车。用户可以通过特定的眼球轨迹来实现打开车门或者关闭车门,例如,本领域技术人员可以将“o”型眼球轨迹作为打开车门或者关闭车门的输入信号。在一些实施例中,用户也可以通过特定的眼球轨迹来将物品进行放大或者缩小,在本发明中,尺寸是指三维图像的相对大小。在另一些实施例中,用户可以通过特定的眼球轨迹来改变物品的颜色,例如眼球向左或者向右运动可以切换物品的颜色。此外,在一些同时包含场所或者物品的三维图像中,处理器103可以通过识别用户的特定眼球轨迹来确定用户所选择操作的对象,例如,用户可以先将需要操作的对象移动到显示模块的中心,然后通过一个特定眼球轨迹来确定三维图像中的某个物品作为操作的对象,当选取某个物品作为操作的对象后,处理器103只会改变该物品的状态,即本发明可以针对三维图像中的局部进行操作。
作为优选的实施方式,本领域技术人员为了减少数据处理量,增加处理器103的处理速度,可以在第一时间周期内拍摄的照片中选取部分进行作为数据处理的对象,但是应当至少选取两张照片。同时,如果部分照片出现无法识别眼球的情况,应当设置替换选取的照片的机制,以保证所选取的两张照片的有效性。
作为优选的实施方式,本领域技术人员为了进一步减少数据处理量,增加处理器103的处理速度,可以在第一时间周期内拍摄的照片中,仅选取两张照片。并在同一坐标系中,识别出所选取的两张照片中眼球的位置坐标,将后拍摄的照片中眼球的位置坐标减去先拍摄的照片中眼球的位置坐标,以得到一个矢量,该矢量可以作为用户在第一时间周期内的眼球轨迹。
作为优选的实施方式,所述处理器103还用于根据拍摄模块102在第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。所述处理器103可以依次识别在第二时间周期内拍摄的多张照片中的眼球,并将没有识别到眼球的照片进行标记,以一张孤立的没有被标记的照片或者连续多张没有被标记的照片作为计数点,计数点的数量则为眨眼的次数。所述一张孤立的没有被标记的照片是指该没有被标记的照片前后两张照片均被标记了。例如在第二时间周期内拍摄了10张照片,以1表示被标记,0表示未标记,该10张照片分别被标记为1010001011,可以认为在第二时间周期内,用户进行了三次眨眼。处理器103可以根据用户在第二时间周期内的眨眼次数来改变三维图像的状态。通过增加眨眼次数的判断,可以与眼球轨迹配合来获得更多的交互方式。例如,用户可以通过眨眼两次来选取三维图像中的某个物品,通过眼球轨迹来改变三维图像的视角。
作为优选的实施方式,本装置还可以包括一存储器104,所述存储器104用于存储所示一个或多个三维图像,所述存储器104可以是硬盘或者U盘等本地存储器。也可以是部署在远程服务器中存储器。本地存储器可以通过如USB/SATA等接口与处理器103和/或显示模块101连接,部署在远程服务器中的存储器可以通过互联网与处理器103或者显示模块101连接。本领域技术人员可以根据实际需要将所述一个或者多个三维图像灵活地存储在不同的位置。
参照图2,本实施例提供了一种如图1所示的基于眼球追踪的三维图像显示装置的实现方法。该装置包括一显示模块101、一拍摄模块102和一处理器103。本实施例的方法包括以下步骤:
S201、通过显示模块101显示一个或多个三维图像。所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型。在一些实施例中,三维图像可以是一个展厅的三维模型,所述展厅中可以包含一个或者多个物品的三维模型,例如,用户可以通过显示模块101看到一展厅内放置了若干个物品。在另一些实施例张,三维图像可以是单个物品的三维模型,例如是一个汽车的三维模型。
S202、通过拍摄模块102在一第一时间周期内拍摄用户的至少两张照片。第一时间周期可以根据实际需要进行设置,例如可以设置为0.1秒、0.5秒、1秒等,在第一时间周期内,拍摄模块102应当拍摄至少两张照片,例如其在0.1秒内拍摄两张照片,或者在0.5秒内拍摄15张照片。所述拍摄模块可以是相机或者录像机。此外,在本发明中照片应当包括录像中的图像帧,因此拍摄一段视频也应该认为是拍摄了若干张照片。本领域技术人员可以根据拍摄模块102的选型以及人眼变化的速度来设置第一时间周期的长度以及拍摄模块102在第一时间周期内拍摄的照片数量。
S203、通过处理器103根据拍摄模块102在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹。在一些实施例中,处理器103可以根据在所述第一时间周期内拍摄的所有照片来描绘用户在第一时间周期内的眼球轨迹,即依次识别所有照片中的眼球位置,并按照时间先后顺序在同一坐标中描绘出一曲线,并以该曲线作为眼球轨迹。在另一些实施例中,处理器103可以根据在所述第一时间周期内拍摄的部分照片来描绘用户在第一时间周期内的眼球轨迹,其中,部分照片可以从所有照片中随机抽取或者有规律地抽取,例如,在第一时间周期内拍摄模块102拍摄了编号为1至10的照片,本领域技术人员可以设定一随机函数,在十张照片中抽取至少两张照片。本领域技术人员也可以固定抽取编号为1和10的两张照片。或者本领域技术人员也可以抽取所有编号为偶数的照片。
S204、处理器103根据所述眼球轨迹改变三维图像的状态。所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。处理器103可以将第一时间周期内的眼球轨迹作为用户在第一时间周期内的输入信号,处理器可以根据该输入信号来改变三维图像的状态。所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。在一些实施例中,三维图像是一个展厅,当用户的眼球往右移动时,处理器103可以将展厅左边(或者右边)的视角移动到显示模块101的中心,同理,用户可以通过眼球轨迹来改变一个商品的三维模型的视角。在一些实施例中,所述商品是可以改变形状的商品,例如一个可以打开车门的汽车。用户可以通过特定的眼球轨迹来实现打开车门或者关闭车门,例如,本领域技术人员可以将“o”型眼球轨迹作为打开车门或者关闭车门的输入信号。在一些实施例中,用户也可以通过特定的眼球轨迹来将物品进行放大或者缩小,在本发明中,尺寸是指三维图像的相对大小。在另一些实施例中,用户可以通过特定的眼球轨迹来改变物品的颜色,例如眼球向左或者向右运动可以切换物品的颜色。此外,在一些同时包含场所或者物品的三维图像中,处理器103可以通过识别用户的特定眼球轨迹来确定用户所选择操作的对象,例如,用户可以先将需要操作的对象移动到显示模块的中心,然后通过一个特定眼球轨迹来确定三维图像中的某个物品作为操作的对象,当选取某个物品作为操作的对象后,处理器103只会改变该物品的状态,即本发明可以针对三维图像中的局部进行操作。
作为优选的实施方式,本领域技术人员为了减少数据处理量,增加处理器103的处理速度,在步骤S203可以在第一时间周期内拍摄的照片中选取部分进行作为数据处理的对象,但是应当至少选取两张照片。同时,如果部分照片出现无法识别眼球的情况,应当设置替换选取的照片的机制,以保证所选取的两张照片的有效性。
作为优选的实施方式,本领域技术人员为了进一步减少数据处理量,增加处理器103的处理速度,在步骤S203可以在第一时间周期内拍摄的照片中,仅选取两张照片。并在同一坐标系中,识别出所选取的两张照片中眼球的位置坐标,将后拍摄的照片中眼球的位置坐标减去先拍摄的照片中眼球的位置坐标,以得到一个矢量,该矢量可以作为用户在第一时间周期内的眼球轨迹。
作为优选的实施方式,还包括步骤S205、通过处理器103根据拍摄模块102在第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。所述处理器103可以依次识别在第二时间周期内拍摄的多张照片中的眼球,并将没有识别到眼球的照片进行标记,以一张孤立的没有被标记的照片或者连续多张没有被标记的照片作为计数点,计数点的数量则为眨眼的次数。所述一张孤立的没有被标记的照片是指该没有被标记的照片前后两张照片均被标记了。例如在第二时间周期内拍摄了10张照片,以1表示被标记,0表示未标记,该10张照片分别被标记为1010001011,可以认为在第二时间周期内,用户进行了三次眨眼。处理器103可以根据用户在第二时间周期内的眨眼次数来改变三维图像的状态。通过增加眨眼次数的判断,可以与眼球轨迹配合来获得更多的交互方式。例如,用户可以通过眨眼两次来选取三维图像中的某个物品,通过眼球轨迹来改变三维图像的视角。
作为优选的实施方式,步骤S201之前还设有:S200、通过存储器104存储所述一个或多个三维图像,所述存储器104可以是本地存储器或者是部署在远程服务器上的存储器。本领域技术人员可以根据实际需要将所述一个或者多个三维图像存储在不同的位置。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.基于眼球追踪的三维图像显示装置,其特征在于,包括:
一显示模块,用于显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型;
一拍摄模块,用于在一第一时间周期内拍摄用户的至少两张照片;
一处理器,用于根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹,并根据所述眼球轨迹改变三维图像的状态;
所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。
2.根据权利要求1所述的基于眼球追踪的三维图像显示装置,其特征在于:所述处理器具体用于:根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹。
3.根据权利要求2所述的基于眼球追踪的三维图像显示装置,其特征在于:所述处理器在根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹时,先从所述至少两张照片中选取其中的两张照片,然后从被选取的两张照片中先拍摄的照片中识别用户眼球的第一位置坐标,以及从被选取的两张照片中后拍摄的照片中识别用户眼球的第二位置坐标,最后将用户眼球的第二位置坐标减去第一位置坐标得到一矢量,以该矢量作为用户在所述第一时间周期内的眼球轨迹。
4.根据权利要求1至3任一项所述的基于眼球追踪的三维图像显示装置,其特征在于:所述拍摄模块还用于在一第二时间周期内拍摄用户的多张照片;
所述处理器还用于根据拍摄模块在所述第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。
5.根据权利要求1至3任一项所述的基于眼球追踪的三维图像显示装置,其特征在于:包括一存储器,所述存储器用于存储所述一个或多个三维图像,所述存储器可以是本地存储器或者是部署在远程服务器上的存储器。
6.基于眼球追踪的三维图像显示装置的实现方法,其特征在于:包括以下步骤:
通过显示模块显示一个或多个三维图像,所述三维图像中包括至少一个场所的三维模型和/或至少一个物品的三维模型;
通过拍摄模块在一第一时间周期内拍摄用户的至少两张照片;
通过处理器根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹;
通过处理器根据所述眼球轨迹改变三维图像的状态;
所述改变三维图像的状态包括:改变三维图像的整体的显示视角、形状、尺寸和/或颜色,和改变三维图像的局部的显示视角、形状、尺寸和/或颜色。
7.根据权利要求6所述的基于眼球追踪的三维图像显示装置的实现方法,其特征在于:所述通过处理器根据拍摄模块在所述第一时间周期内所拍摄的至少两张照片得到用户在所述第一时间周期内的眼球轨迹的步骤具体为:
通过处理器根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹。
8.根据权利要求7所述的基于眼球追踪的三维图像显示装置的实现方法,其特征在于:所述通过处理器根据拍摄模块在所述第一时间周期内拍摄的至少两张照片中的两张照片得到用户在所述第一时间周期内的眼球轨迹的步骤包括:
从所述至少两张照片中选取其中的两张照片,
从被选取的两张照片中先拍摄的照片中识别用户眼球的第一位置坐标,以及从被选取的两张照片中后拍摄的照片中识别用户眼球的第二位置坐标,
将用户眼球的第二位置坐标减去第一位置坐标得到一矢量,以该矢量作为用户在所述第一时间周期内的眼球轨迹。
9.根据权利要求6-8任一项所述的基于眼球追踪的三维图像显示装置的实现方法,其特征在于:还包括以下步骤:
通过所述拍摄模块还在一第二时间周期内拍摄用户的多张照片;
通过所述处理器根据拍摄模块在所述第二时间周期内拍摄的多张照片得到用户在所述第二时间周期内的眨眼次数,并根据所述眨眼次数改变三维图像的状态。
10.根据权利要求6-8任一项所述的基于眼球追踪的三维图像显示装置的实现方法,其特征在于:还包括以下步骤:
通过存储器存储所述一个或多个三维图像,所述存储器可以是本地存储器或者是部署在远程服务器上的存储器。
CN201810623038.2A 2018-06-15 2018-06-15 基于眼球追踪的三维图像显示装置及其实现方法 Pending CN108962182A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810623038.2A CN108962182A (zh) 2018-06-15 2018-06-15 基于眼球追踪的三维图像显示装置及其实现方法
PCT/CN2018/101061 WO2019237499A1 (zh) 2018-06-15 2018-08-17 基于眼球追踪的三维图像显示装置及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810623038.2A CN108962182A (zh) 2018-06-15 2018-06-15 基于眼球追踪的三维图像显示装置及其实现方法

Publications (1)

Publication Number Publication Date
CN108962182A true CN108962182A (zh) 2018-12-07

Family

ID=64489186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810623038.2A Pending CN108962182A (zh) 2018-06-15 2018-06-15 基于眼球追踪的三维图像显示装置及其实现方法

Country Status (2)

Country Link
CN (1) CN108962182A (zh)
WO (1) WO2019237499A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及***
KR20140055987A (ko) * 2012-10-31 2014-05-09 김대영 영상 표시 제어 방법
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制***
WO2018055332A1 (en) * 2016-09-23 2018-03-29 Displaylink (Uk) Limited Compositing an image for display
CN107885325A (zh) * 2017-10-23 2018-04-06 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d显示方法及控制***
CN108090463A (zh) * 2017-12-29 2018-05-29 腾讯科技(深圳)有限公司 对象控制方法、装置、存储介质和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股(北京)有限公司 虚拟现实交互的方法及装置
CN106407772A (zh) * 2016-08-25 2017-02-15 北京中科虹霸科技有限公司 适于虚拟现实设备的人机交互与身份认证装置及其方法
CN106445173A (zh) * 2016-11-25 2017-02-22 四川赞星科技有限公司 一种目标体状态转换方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055987A (ko) * 2012-10-31 2014-05-09 김대영 영상 표시 제어 방법
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及***
CN104391567A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
WO2018055332A1 (en) * 2016-09-23 2018-03-29 Displaylink (Uk) Limited Compositing an image for display
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制***
CN107885325A (zh) * 2017-10-23 2018-04-06 上海玮舟微电子科技有限公司 一种基于人眼跟踪的裸眼3d显示方法及控制***
CN108090463A (zh) * 2017-12-29 2018-05-29 腾讯科技(深圳)有限公司 对象控制方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
WO2019237499A1 (zh) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7078275B2 (ja) 映像モニタリングに基づく商品検知システムおよび商品検知方法
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
WO2022021980A1 (zh) 虚拟对象的控制方法、装置、电子设备及存储介质
CN109085966A (zh) 一种基于云计算的三维展示***及方法
CN106161939B (zh) 一种照片拍摄方法及终端
JP2017531950A (ja) 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN105869216A (zh) 目标对象展示方法和装置
CN106062673A (zh) 使用姿势来控制基于计算的设备
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
US11657085B1 (en) Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
CN108961149A (zh) 图像处理方法、装置和***及存储介质
CN103731583A (zh) 用于拍照智能化合成、打印的一体化设备及其处理方法
CN111860252A (zh) 图像处理方法、设备及存储介质
Elhayek et al. Fully automatic multi-person human motion capture for vr applications
JP2013120556A (ja) 被写体姿勢推定装置および映像描画装置
CN109918005A (zh) 一种基于移动终端的展示控制***及方法
CN106203225A (zh) 基于深度的图像元素删除
CN104837066B (zh) 物品图像处理方法、装置和***
JP2019174920A (ja) 物品管理システム、及び物品管理プログラム
CN105139248A (zh) 一种可穿戴物品呈现的方法及装置
CN111627115A (zh) 互动合影方法及装置、互动装置以及计算机存储介质
CN116129016B (zh) 一种姿态运动的数字同步方法、装置、设备及存储介质
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207

RJ01 Rejection of invention patent application after publication