CN114302054A - 一种ar设备的拍照方法及其ar设备 - Google Patents

一种ar设备的拍照方法及其ar设备 Download PDF

Info

Publication number
CN114302054A
CN114302054A CN202111444241.1A CN202111444241A CN114302054A CN 114302054 A CN114302054 A CN 114302054A CN 202111444241 A CN202111444241 A CN 202111444241A CN 114302054 A CN114302054 A CN 114302054A
Authority
CN
China
Prior art keywords
point
eyeball
current
line segment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111444241.1A
Other languages
English (en)
Other versions
CN114302054B (zh
Inventor
张猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202111444241.1A priority Critical patent/CN114302054B/zh
Priority to PCT/CN2021/138585 priority patent/WO2023097791A1/zh
Publication of CN114302054A publication Critical patent/CN114302054A/zh
Application granted granted Critical
Publication of CN114302054B publication Critical patent/CN114302054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及增强现实技术领域,更为具体来说,本申请涉及一种AR设备的拍照方法及其AR设备。所述AR设备包括眼球追踪摄像机和拍照摄像机,所述拍照方法包括:所述眼球追踪摄像机拍摄使用者的眼部照片;所述AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域;根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应。本申请省略了通过画面预览的过程,节省了计算资源、功耗和内存等所带来的开销,提升了使用者的体验。

Description

一种AR设备的拍照方法及其AR设备
技术领域
本申请涉及增强现实技术领域,更为具体来说,本申请涉及一种AR设备的拍照方法及其AR设备。
背景技术
近年来,随着增强现实(Augmented Reality,简称AR)设备的兴起,虚拟现实以及增强现实的种种应用渐渐走进了人的生活。为满足使用者多种体验需求,增强现实设备通常设置摄像机用于拍照。
当前的AR设备软硬件***大部分都是沿用手机平台。在拍照过程中,摄像机获取的画面发送至AR设备的显示***以便使用者预览、使用者预览画面后执行拍照动作。要实现画面预览,摄像机向CPU传输数据、数据传输需要占用CPU中一块图像大小的内存,整个传输过程中会耗费内存并产生较大的功耗。
发明内容
基于上述技术问题,本发明旨在提供一种新的节省资源的拍照方式,根据使用者的当前注视焦点区域控制拍照摄像机拍摄当前面。
本发明第一方面提供了一种AR设备的拍照方法,所述AR设备包括眼球追踪摄像机和拍照摄像机,所述拍照方法包括:
所述眼球追踪摄像机拍摄使用者的眼部照片;
所述AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域;
根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应。
具体地,所述根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,包括:
根据所述当前注视焦点区域确定所述拍照摄像机的拍照范围和拍照角度;
控制所述拍照摄像机根据所述拍照范围和拍照角度拍摄以获得所述当前画面。
再具体地,所述AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域;包括:
确定映射函数,所述映射函数对应眼球的转动数据与视线角度的关系;
获取当前转动数据;
根据双眼间距、所述当前转动数据以及所述映射函数获取所述当前注视焦点区域。
进一步地,所述确定映射函数,包括:
获取视场角;
选取所述视场角的四角和中心分别作为第一点、第二点、第三点、第四点和中心点;
将眼球注视于所述中心点时在眼球追踪摄像机图像中对应位置标记为原点;
分别记录使用者每只眼球转动时注视所述第一点、所述第二点、所述第三点和所述第四点对应于眼球追踪摄像机图像中偏移于原点的像素数;
计算所述偏移的像素数和眼球转动角度之间的对应关系。
进一步优选地,计算所述偏移的像素数和眼球转动角度之间的对应关系,包括:
通过所述第一点、所述第二点、所述第三点、所述第四点和所述原点获得相关线段与夹角;
将除去所述第一点、所述第二点、所述第三点、所述第四点和所述原点之外的点记作其他注视点;
基于所述相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
再进一步地,所述基于相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系,包括:
获取使用者每只眼球到所述原点的线段记作第一线段;
将使用者每只眼球到所述第一点、所述第二点、所述第三点和所述第四点的线段分别记作第二线段、第三线段、第四线段和第五线段;
分别获取所述第二线段、所述第三线段、所述第四线段、所述第五线段与所述第一线段的夹角;
根据所述夹角及使用者每只眼球转动时注视所述第一点、所述第二点、所述第三点和所述第四点对应于眼球追踪摄像机图像中偏移于原点的像素数,计算每只眼球在看向其他注视点时对应于眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
本发明第二方面提供了一种AR设备,包括眼球追踪摄像机和拍照摄像机;所述眼球追踪摄像机用于拍摄使用者的眼部照片;所述AR设备用于根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域,及根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面。
优选地,所述AR设备还包括控制模组和显示模组。
本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明各实施方式中的所述AR设备的拍照方法。
本发明第四方面提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本发明各实施方式中的所述AR设备的拍照方法。
本申请的有益效果为:本申请根据使用者的当前注视焦点区域控制拍照摄像机拍摄当前面,是一种新的节省资源的拍照方式。本申请的眼球追踪摄像机拍摄使用者的眼部照片,AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域,根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应,省略了画面预览的过程,节省了计算资源、功耗和内存等所带来的开销,提升了使用者的体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1示出了本申请一示例性实施例的方法步骤示意图;
图2示出了本申请一示例性实施例的标定显示模组的视场角示意图;
图3示出了本申请一示例性实施例中人眼注视焦点区域示意图;
图4示出了本申请一示例性实施例中所述拍照方法产生的节省操作过程示意图;
图5示出了本申请一示例性实施例中的装置结构示意图;
图6示出了本申请一示例性实施例所提供的一种AR设备的结构示意图;
图7示出了本申请一示例性实施例所提供的一种存储介质的示意图。
具体实施方式
以下,将参照附图来描述本申请的实施例。但是应该理解的是,这些描述只是示例性的,而并非要限制本申请的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是,本申请可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本申请发生混淆,对于本领域公知的一些技术特征未进行描述。
应予以注意的是,这里所使用的术语仅是为了描述具体实施例,而非意图限制根据本申请的示例性实施例。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式。此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在,将参照附图更详细地描述根据本申请的示例性实施例。然而,这些示例性实施例可以多种不同的形式来实施,并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的,其中为了清楚表达的目的,可能放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
下面结合说明书附图1-7给出几个实施例来描述根据本申请的示例性实施方式。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
目前的AR设备,通常具有拍照功能,使用者可以根据需要预览画面后拍摄照片。具体地,AR设备上的拍照摄像机拍摄外部画面,拍照摄像机将外部画面发送至AR设备的显示***,显示***以虚拟图像的形式将外部画面呈现给使用者,而后使用者根据需要触发拍照操作。
本申请实施例提供一种AR设备的拍照方法,其中AR设备可以是AR眼镜或者AR头戴,使用时AR设备佩戴于使用者头部。该AR设备包括两类摄像机:眼球追踪摄像机和拍照摄像机,眼球追踪摄像机可以包括一个或者多个、用于拍摄使用者眼部照片,通常设置于靠近使用者眼部一侧;拍照摄像机也可以包括一个或者多个、用于拍摄外部照片,通常设置于远离使用者眼部一侧;一些实施例中,眼球追踪摄像机和拍照摄像机分别位于AR设备的相对两侧。
本申请一些实施例提供一种AR设备的拍照方法,如图1所示,该拍照方法包括:
首先,AR设备上的眼球追踪摄像机拍摄使用者的眼部照片。例如,左眼球追踪摄像机拍摄左眼眼部照片、右眼球追踪摄像机拍摄右眼眼部照片;或者,同一眼球追踪摄像机同时拍摄左眼眼部照片和右眼眼部照片。
然后,AR设备根据眼部照片获取使用者的当前注视焦点区域,当前注视焦点区域是使用者眼睛视场范围内的一个区域、且使用者眼睛当前主要注视于该区域,该区域以外的信息用于不易觉察;该区域离使用者眼睛预定距离,且该区域位于AR设备远离使用者眼部的一侧。
最后,根据当前注视焦点区域控制拍照摄像机拍摄当前画面,其中当前画面与当前注视焦点区域对应。
通常,AR设备拍摄的照片都是几米甚至几十米以外的外景,而AR设备上的拍照摄像机与使用者眼睛之间的直线距离一般仅为1cm左右,在此认为拍照摄像机与使用者眼睛是重合的、即拍照摄像机的视场范围与眼睛的视场范围是重合的。
根据当前注视焦点区域可以确定拍照摄像机的当前视场范围,控制拍照摄像机在当前视场范围拍摄照片。
本申请实施例提供的拍照方法,根据眼球追踪摄像机获得的使用者当前注视焦点区域确定拍照摄像机的当前视场范围,并据此拍摄照片。本方案中,拍照摄像机无需将预览画面发送至AR设备的显示***、显示***也无需将预览画面投射入使用者眼睛,节省了预览过程,不但节省了内存空间、同时消除了由于传输预览画面而带来的功耗。
本申请一些实施例中,AR设备根据眼部照片获取使用者的当前注视焦点区域时,可以先确定映射函数,再获取当前转动数据,最后根据当前转动数据、双眼间距(即使用者瞳距)以及映射函数获取当前注视焦点区域,其中,映射函数对应眼球的转动数据(转动数据可以包括转动距离和/或转动角度)与视线角度之间的关系。
在具体实施例中,AR设备根据眼部照片获取使用者眼睛的当前注视焦点区域;包括:确定映射函数,映射函数对应眼球的转动数据与视线角度的关系;获取当前转动数据;根据双眼间距、当前转动数据以及映射函数获取当前注视焦点区域。进一步地,确定映射函数,包括:获取视场角;选取视场角的四角和中心分别作为第一点、第二点、第三点、第四点和中心点;将眼球注视于中心点时在眼球追踪摄像机图像中对应位置标记为原点;分别记录使用者每只眼球转动时注视第一点、第二点、第三点和第四点对应于眼球追踪摄像机图像中偏移于原点的像素数;计算偏移的像素数和眼球转动角度之间的对应关系。
在一种可能的具体的实施方式中,参照图2,第一点、第二点、第三点和第四点分别对应于图2中的B点、C点、D点、E点,中心点则对应于图2中的A点。这里,对于两个眼球都要分别标定,将眼球注视于中心点时在眼球追踪摄像机图像中对应位置标记为原点,将使用者左眼记作PL,右眼记作PR,PL和PR转动多少距离对应于注视点偏移于原点的像素数,通过眼球追踪摄像机可以标注出来,并计算出使用者的目光延长线与使用者视场中心的夹角(可以是视线角度或者视线角度的一半),再者,标定的时候需要让眼睛望向远处,使渲染出的点位于远处,所以两只眼睛的目光延长线近似于平行。
具体地,计算所述偏移的像素数和眼球转动角度之间的对应关系,包括:通过第一点、第二点、第三点、第四点和原点获得相关线段与夹角;将除去所述第一点、所述第二点、所述第三点、所述第四点和所述原点之外的点记作其他注视点;基于相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
进一步地,所述基于相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系,包括:获取使用者每只眼球到原点的线段记作第一线段;将使用者每只眼球到所述第一点、所述第二点、所述第三点和所述第四点的线段分别记作第二线段、第三线段、第四线段和第五线段;分别获取所述第二线段、所述第三线段、所述第四线段、所述第五线段与所述第一线段的夹角;根据所述夹角及使用者每只眼球转动时注视所述第一点、所述第二点、所述第三点和所述第四点对应于眼球追踪摄像机图像中偏移于原点的像素数,计算每只眼球在看向其他注视点时对应于眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
在一种具体的实施方式中,(Δx,Δy)表示使用者每只眼球转动时注视第一点、第二点、第三点和第四点对应于眼球追踪摄像机图像中偏移于原点的像素数,而每只眼球在看向其他注视点时对应于眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系会形成f函数即Δθ=f(Δx,Δy),根据不同的眼球追踪摄像机会产生不同的f函数,f函数可能是线性的,也可能非线性的,通过不同的对应关系可以得到其他注视点对应于眼球追踪摄像机图像中偏移于原点的像素数,进而实现当使用者眼球转动导致注视点从一点转移到其他点时具体偏移的像素数,使拍摄的图像精准地拍摄出使用者的眼睛。
在一种可能的实施方式中,还可以根据三角函数及双眼间距计算双眼的注视点到双眼的相对位置,及根据三角函数及双眼间距计算双眼注视焦点区域。在一种可能的具体实施方式中,可参照图3,θL表示左眼球与注视点的线段与第一线段的夹角,θR表示右眼球与注视点的线段与第一线段的夹角。
在另一种可能的实施方式中,还可以将眼球追踪摄像机基于显示模组的视场角标定使用者每只眼球转动所导致的眼球追踪摄像机图像里偏移的像素数,在此之前,给定使用者的双眼间距,再如图3所示,使用者的双眼间距为L。
需要说明的是,现有的相机即camera需要以一个特定的帧率向CPU传输数据,当前手机平台中普遍是30hz/60hz,同时数据传输需要占用CPU中一块图像大小的内存,整个传输过程中会产生不菲的资源(功耗,内存)开销。如图4所示,采用本申请所述的AR设备的拍照方法,可以节省操作过程。使用者可以直接透过屏幕看到外部的世界,所以可以减少***资源的消耗,如图4下部,可以通过眼球追踪摄像机(即ET Camera)捕捉使用者的注视点,进行精确对焦,完成拍照。
本申请根据使用者的当前注视焦点区域控制拍照摄像机拍摄当前面,是一种新的节省资源的拍照方式。本申请的眼球追踪摄像机拍摄使用者的眼部照片,AR设备根据眼部照片获取使用者眼睛的当前注视焦点区域,根据当前注视焦点区域控制拍照摄像机拍摄当前画面,其中,当前画面与当前注视焦点区域对应,省略了画面预览的过程以及使用者手动选择对焦区域的过程,节省了计算资源、功耗和内存等所带来的开销,提升了使用者的体验,且增强了使用者拍照时的沉浸感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
在一些示例性实施例中,还提供了一种AR设备,如图5所示,包括眼球追踪摄像机501和拍照摄像机502;所述眼球追踪摄像机用于拍摄使用者的眼部照片;所述AR设备用于根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域,及根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应。
优选地,所述AR设备还包括控制模组503和显示模组504,眼球追踪摄像机501、拍照摄像机502、控制模组503和显示模组504协同工作。
还需要强调的是,本申请实施例中提供的增强现实***可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面请参考图6,其示出了本申请的一些实施方式所提供的一种AR设备的示意图。如图6所示,所述AR设备2包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的AR设备的拍照方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述AR设备的拍照方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的AR设备与本申请实施例提供的AR设备的拍照方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的AR设备的拍照方法对应的计算机可读存储介质,请参考图7,图7示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的AR设备的拍照方法。
另外,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任意实施方式所提供的AR设备的拍照方法的步骤。
需要说明的是:在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种AR设备的拍照方法,其特征在于,所述AR设备包括眼球追踪摄像机和拍照摄像机,所述拍照方法包括:
所述眼球追踪摄像机拍摄使用者的眼部照片;
所述AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域;
根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应。
2.根据权利要求1所述的拍照方法,其特征在于,所述根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,包括:
根据所述当前注视焦点区域确定所述拍照摄像机的拍照范围和拍照角度;
控制所述拍照摄像机根据所述拍照范围和拍照角度拍摄以获得所述当前画面。
3.根据权利要求1或2所述的拍照方法,其特征在于,所述AR设备根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域;包括:
确定映射函数,所述映射函数对应眼球的转动数据与视线角度的关系;
获取当前转动数据;
根据双眼间距、所述当前转动数据以及所述映射函数获取所述当前注视焦点区域。
4.根据权利要求3所述的拍照方法,其特征在于,所述确定映射函数,包括:
获取视场角;
选取所述视场角的四角和中心分别作为第一点、第二点、第三点、第四点和中心点;
将眼球注视于所述中心点时在眼球追踪摄像机图像中对应位置标记为原点;
分别记录使用者每只眼球转动时注视所述第一点、所述第二点、所述第三点和所述第四点对应于眼球追踪摄像机图像中偏移于原点的像素数;
计算所述偏移的像素数和眼球转动角度之间的对应关系。
5.根据权利要求4所述的拍照方法,其特征在于,计算所述偏移的像素数和眼球转动角度之间的对应关系,包括:
通过所述第一点、所述第二点、所述第三点、所述第四点和所述原点获得相关线段与夹角;
将除去所述第一点、所述第二点、所述第三点、所述第四点和所述原点之外的点记作其他注视点;
基于所述相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
6.根据权利要求5所述的拍照方法,其特征在于,所述基于相关线段与夹角计算每只眼球在看向其他注视点时眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系,包括:
获取使用者每只眼球到所述原点的线段记作第一线段;
将使用者每只眼球到所述第一点、所述第二点、所述第三点和所述第四点的线段分别记作第二线段、第三线段、第四线段和第五线段;
分别获取所述第二线段、所述第三线段、所述第四线段、所述第五线段与所述第一线段的夹角;
根据所述夹角及使用者每只眼球转动时注视所述第一点、所述第二点、所述第三点和所述第四点对应于眼球追踪摄像机图像中偏移于原点的像素数,计算每只眼球在看向其他注视点时对应于眼球追踪摄像机图像里偏移的像素数与眼球转动角度之间的对应关系。
7.一种AR设备,其特征在于,包括眼球追踪摄像机和拍照摄像机;所述眼球追踪摄像机用于拍摄使用者的眼部照片;
所述AR设备用于根据所述眼部照片获取所述使用者眼睛的当前注视焦点区域,及根据所述当前注视焦点区域控制所述拍照摄像机拍摄当前画面,其中,所述当前画面与所述当前注视焦点区域对应。
8.根据权利要求7所述的AR设备,其特征在于,所述AR设备还包括控制模组和显示模组。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6任一所述方法的步骤。
CN202111444241.1A 2021-11-30 2021-11-30 一种ar设备的拍照方法及其ar设备 Active CN114302054B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111444241.1A CN114302054B (zh) 2021-11-30 2021-11-30 一种ar设备的拍照方法及其ar设备
PCT/CN2021/138585 WO2023097791A1 (zh) 2021-11-30 2021-12-16 一种ar设备的拍照方法及其ar设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111444241.1A CN114302054B (zh) 2021-11-30 2021-11-30 一种ar设备的拍照方法及其ar设备

Publications (2)

Publication Number Publication Date
CN114302054A true CN114302054A (zh) 2022-04-08
CN114302054B CN114302054B (zh) 2023-06-20

Family

ID=80966029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111444241.1A Active CN114302054B (zh) 2021-11-30 2021-11-30 一种ar设备的拍照方法及其ar设备

Country Status (2)

Country Link
CN (1) CN114302054B (zh)
WO (1) WO2023097791A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN110177210A (zh) * 2019-06-17 2019-08-27 Oppo广东移动通信有限公司 拍照方法及相关装置
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备
CN111880654A (zh) * 2020-07-27 2020-11-03 歌尔光学科技有限公司 一种图像显示方法、装置、穿戴设备及存储介质
CN112738388A (zh) * 2019-10-28 2021-04-30 七鑫易维(深圳)科技有限公司 拍照处理方法、***、电子设备及存储介质
CN113395438A (zh) * 2020-03-12 2021-09-14 Oppo广东移动通信有限公司 眼球追踪技术的图像校正方法及相关装置
CN113420678A (zh) * 2021-06-25 2021-09-21 阿波罗智联(北京)科技有限公司 视线追踪方法、装置、设备、存储介质以及计算机程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000201289A (ja) * 1999-01-07 2000-07-18 Sony Corp 映像入出力装置及び映像取得方法
KR102345652B1 (ko) * 2015-06-26 2021-12-30 삼성전자주식회사 뷰 파인더 장치 및 그 동작 방법
WO2018107566A1 (zh) * 2016-12-16 2018-06-21 华为技术有限公司 一种处理方法及移动设备
KR20210137831A (ko) * 2020-05-11 2021-11-18 삼성전자주식회사 전자 장치 및 그 동작 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN110225252A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110177210A (zh) * 2019-06-17 2019-08-27 Oppo广东移动通信有限公司 拍照方法及相关装置
CN112738388A (zh) * 2019-10-28 2021-04-30 七鑫易维(深圳)科技有限公司 拍照处理方法、***、电子设备及存储介质
CN111225157A (zh) * 2020-03-03 2020-06-02 Oppo广东移动通信有限公司 追焦方法及相关设备
CN113395438A (zh) * 2020-03-12 2021-09-14 Oppo广东移动通信有限公司 眼球追踪技术的图像校正方法及相关装置
CN111880654A (zh) * 2020-07-27 2020-11-03 歌尔光学科技有限公司 一种图像显示方法、装置、穿戴设备及存储介质
CN113420678A (zh) * 2021-06-25 2021-09-21 阿波罗智联(北京)科技有限公司 视线追踪方法、装置、设备、存储介质以及计算机程序产品

Also Published As

Publication number Publication date
CN114302054B (zh) 2023-06-20
WO2023097791A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US10859840B2 (en) Graphics rendering method and apparatus of virtual reality
US9978118B1 (en) No miss cache structure for real-time image transformations with data compression
US20170177082A1 (en) Stabilization Plane Determination Based On Gaze Location
EP3574408B1 (en) No miss cache structure for real-time image transformations
KR102096730B1 (ko) 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치
CN110263657A (zh) 一种人眼追踪方法、装置、***、设备和存储介质
JP2016533686A (ja) 全焦点画像を生成するための方法および装置
CN109840946B (zh) 虚拟对象显示方法及装置
CN109002796A (zh) 一种图像采集方法、装置和***以及电子设备
CN111163303A (zh) 一种图像显示方法、装置、终端及存储介质
CN114078278A (zh) 注视点定位方法与装置、电子设备和存储介质
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
CN111476151A (zh) 眼球检测方法、装置、设备及存储介质
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
US10417738B2 (en) System and method for displaying graphical effects based on determined facial positions
CN111597963B (zh) 用于图像中人脸的补光方法、***、介质以及电子设备
CN106919246A (zh) 一种应用界面的显示方法和装置
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN109788199B (zh) 一种适用于具有双摄像头终端的对焦方法
CN114302054A (zh) 一种ar设备的拍照方法及其ar设备
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN115278203A (zh) 虚拟现实设备的校准方法、校准装置以及校准机器人
Narducci et al. Enabling consistent hand-based interaction in mixed reality by occlusions handling
KR101788005B1 (ko) 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221116

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261000 plant 1, phase III, goer Photoelectric Industrial Park, No. 3999, Huixian Road, Yongchun community, Qingchi street, high tech Zone, Weifang City, Shandong Province

Applicant before: GoerTek Optical Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant