CN109214351B - 一种ar成像方法、装置及电子设备 - Google Patents
一种ar成像方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109214351B CN109214351B CN201811110297.1A CN201811110297A CN109214351B CN 109214351 B CN109214351 B CN 109214351B CN 201811110297 A CN201811110297 A CN 201811110297A CN 109214351 B CN109214351 B CN 109214351B
- Authority
- CN
- China
- Prior art keywords
- sub
- light
- angle
- face image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种AR成像方法、装置及电子设备,所述方法包括:检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。不需要额外的硬件,只需使用现有的双摄像头的移动终端即可获取真实世界中的光线信息,为AR提供更逼真的效果,且降低了成本,对移动终端设备的性能要求低。
Description
技术领域
本发明涉及增强现实技术领域,尤其涉及一种AR成像方法、装置及电子设备。
背景技术
计算机视觉特别是在增强现实应用领域中的一个常见问题是,对影响虚拟对象成像的光线强度和方向的检测。现有的光线检测算法一般依赖于特定的传感器和硬件,或者根据场景中的环境信息对光源(例如太阳或月亮)的位置和时间对光源进行假设。在增强现实应用领域,对光线信息的估计主要关注光强和色调,它只是计算整个真实场景图像的平均亮度,而不是实际的环境光方向,这与真实场景光源的实际位置没有关系。并没有为虚拟对象的阴影提供足够的信息保障。
此外,手机上开始越来越多的使用AR技术,真实场景的获取也越来越多的使用手机摄像装置。为了提高手机获取视频的图像质量,以及避免用户长时间手持手机观看视频导致体力不支,往往需要改进手机摄像头的防抖性能和稳定支撑机构。现有技术是通过软件防抖技术对抖动进行预先处理,但是硬件本身并未有明显改进,这不能从根本上解除抖动的影响,也为后续AR图像处理增加了困难。
发明内容
本发明实施例提供的AR成像方法、装置及电子设备,用以至少解决相关技术中的上述问题。
本发明实施例一方面提供了一种AR成像方法,包括:
检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
进一步地,所述基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度,包括:将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
进一步地,所述方法还包括:计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
进一步地,所述方法还包括:计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
进一步地,所述方法还包括:提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度;当所述眼窝的光照强度差值大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度;根据所述人脸倾斜角度所述光线估计角度进行调整。
本发明实施例的另一方面提供了一种AR成像装置,包括:提取模块,用于检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;比较模块,用于基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;获取模块,用于根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;生成模块,用于根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
进一步地,所述比较模块包括:分解单元,用于将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;比较单元,用于将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度;确定单元,用于计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;计算单元,用于根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
进一步地,所述比较模块还用于,计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
进一步地,所述比较模块还用于,计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
进一步地,所述比较模块还包括调整单元,所述调整单元用于,提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度;当所述眼窝的光照强度差值大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度;根据所述人脸倾斜角度所述光线估计角度进行调整。
本发明实施例的又一方面提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的AR成像方法。
进一步的,所述电子设备还包括图像获取模块,所述图像获取模块包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器,所述镜头固装在所述自动聚焦音圈马达上,所述镜头用于获取图像,所述图像传感器将所述镜头获取的图像传输至所述识别模块,所述自动聚焦音圈马达安装在所述机械防抖器上,所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作,实现镜头的抖动补偿。
进一步的,所述机械防抖器包括活动板、活动框、弹性回复机构、基板以及补偿机构;所述活动板的中部设有供所述镜头穿过的通孔,所述自动聚焦音圈马达安装在所述活动板上,所述活动板安装在所述活动框内,所述活动板的相对两侧与所述活动框相对两侧的内壁滑动配合,以使所述活动板可沿着第一方向往复滑动;所述活动框的尺寸小于所述基板的尺寸,所述活动框的相对两侧分别通过两个弹性回复机构与所述基板相连接,所述基板的中部也设有所述镜头穿过的通孔;所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作,以实现镜头的抖动补偿;所述补偿机构包括驱动轴、齿轮、齿轮轨道以及限位轨道,所述驱动轴安装在所述基板上,所述驱动轴与所述齿轮传动连接;所述齿轮轨道设置在所述活动板上,所述齿轮安装在所述齿轮轨道内,所述齿轮转动时通过所述齿轮轨道使得所述活动板能够产生向第一方向的位移和第二方向的位移,其中所述第一方向与所述第二方向垂直;所述限位轨道设置在所述活动板上或所述基板上,所述限位轨道用于防止所述齿轮脱离所述齿轮轨道。
进一步的,所述活动板一侧设有一腰型孔,所述腰型孔沿其周向设有多个与所述齿轮相啮合的齿,所述腰型孔和多个所述齿共同构成所述齿轮轨道,所述齿轮位于所述腰型孔内并与所述齿相啮合;所述限位轨道设置在所述基板上,所述活动板底部设有位于所述限位轨道内的限位件,所述限位轨道使所述限位件在其中的运动轨迹呈腰型。
进一步的,所述限位件为设置在所述活动板底面上的凸起。
进一步的,所述齿轮轨道包括设置在所述活动板上的多个圆柱凸起,多个所述圆柱凸起沿所述第二方向均匀间隔布设,所述齿轮与多个所述凸起相啮合;所述限位轨道为设置在所述活动板上的第一弧形限位件和第二弧形限位件,所述第一弧形限位件和第二弧形限位件分别设置在所述齿轮轨道沿第一方向上的相对两侧,所述第一弧形限位件和第二弧形限位件及多个所述凸起相配合使得所述活动板的运动轨迹呈腰型。
进一步的,所述弹性回复机构包括伸缩弹簧。
进一步的,所述图像获取模块包括手机和用于安装所述手机的支架。
进一步的,所述支架包括手机安装座和可伸缩的支撑杆;所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组,所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接;所述折叠板组包括第一板体、第二板体及第三板体,其中,所述第一板体的相对两端中的一端与所述连接板相铰接,所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接;所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接;所述第二板体设有供手机边角***的开口;所述手机安装座用于安装手机时,所述第一板体、第二板体和第三板体折叠呈直角三角形状态,所述第二板体为直角三角形的斜边,所述第一板体和所述第三板体为直角三角形的直角边,其中,所述第三板体的一个侧面与所述连接板的一个侧面并排贴合,所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。
进一步的,所述第三板体的一个侧面设有第一连接部,所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架手机安装座用于安装手机时,所述第一连接部和所述第一配合部卡合连接。
进一步的,所述第一板体相对两端中的一端设有第二连接部,所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架手机安装座用于安装手机时,所述第二连接部和所述第二配合部卡合连接。
进一步的,所述支撑杆的另一端可拆卸连接有底座。
由以上技术方案可见,本发明实施例提供的AR成像方法、装置及电子设备,只需使用现有的双摄像头的移动终端即可获取真实世界中的光线信息,为AR提供更逼真的效果,且降低了成本;手机摄像头的防抖动硬件结构和手机自拍支架也进一步增强了拍摄效果,更利于后续的图像或视频处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的AR成像方法流程图;
图2为本发明一个实施例提供的AR成像方法流程图;
图3为本发明一个实施例提供的AR成像方法流程图;
图4为本发明一个实施例提供的AR成像装置结构图;
图5为本发明一个实施例提供的AR成像装置结构图;
图6为执行本发明方法实施例提供的AR成像方法的电子设备的硬件结构示意图;
图7为本发明一个实施例提供的图像获取模块的结构示意图;
图8为本发明一个实施例提供的第一种机械防抖器的结构示意图;
图9为本发明一个实施例提供的第一种活动板的底面结构示意图;
图10为本发明一个实施例提供的第二种机械防抖器的结构示意图;
图11为本发明一个实施例提供的第二种活动板的底面结构示意图;
图12为本发明一个实施例提供的支架的结构图;
图13为本发明一个实施例提供的支架的一个状态示意图;
图14为本发明一个实施例提供的支架的另一个状态示意图;
图15为本发明一个实施例提供的安装座与手机相连接时的结构状态图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
图1为本发明实施例提供的AR成像方法流程图。如图1所示,本发明实施例提供的AR成像方法,包括:
S101,检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像。
实施例中,我们提供了一种低成本、便捷和准确的方式,在用户戴着AR眼镜、利用移动终端的后置摄像头进行AR视频的观看时,可以通过移动终端的前置摄像头来确定真实世界当前场景的光线条件。由于用户大致面对着移动终端的屏幕,因此,只需将在人脸图像中检测到的环境光的光线角度镜像到需要添加到真实世界当前场景中的虚拟对象即可。
具体地,当需要检测当前真实场景的环境光时,通过前置摄像头来拍摄当前场景的快照图像,当检测到该快照图像中包括用户的人脸图像时,通过本领域技术人员熟知的人脸检测算法(例如,Eli Saber等发表的基于颜色、形状和对称性的成本函数进行正面人脸检测和面部特征提取;Karin Sobottka等发表的一种新的自动人脸分割、人脸特征提取和跟踪方法;Phillip Ian Wilson等发表的基于分类器的人脸特征检测方法;AlanL.Yuille等发表的使用可变形模板从人脸中提取特征)者任何基于CNN的人脸检测算法等,从该图像中提取人脸特征,由于五官中鼻子是凸出于人脸的,鼻部区域的明暗更容易受到环境光的影响,因此本实施例提取人脸特征中的鼻子,得到人脸图像中鼻部区域的子图像。
S102,基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度。
在本步骤中,根据子图像的图像矩来确定其对应的光强加权中心。图像矩是一个从数字图形中计算出来的矩集,通常描述了该图像的全局特征,并提供大量的关于该图像不同类型的几何特征信息,比如大小、位置、方向及形状等,例如,一阶矩与形状有关、二阶矩显示了曲线围绕直线平均值的扩展程度、三阶矩则是关于平均值的对称性测量,由二阶矩和三阶矩可以导出一组共有7个不变阶矩,不变阶矩是图像统计特征,其可以据此对图像进行分类操作,属于本领域的公知常识,本发明在此不再赘述。
可选地,在确定了子图片的光强加权中心之后,将其与进行比较(该加权中心即为图像的几何中心),将图像的加权中心的坐标位置与子图片的光强加权中心的坐标位置进行比较,从几何中心到光强加权中心的方向即是环境光的光线方向,同时,我们可以通过选择坐标原点来建立坐标系,得到该向量与X轴的夹角,作当前场景的环境光的光线估计角度。此外,也可以通过其他非专有算法来对光线估计角度进行计算,本发明在此不做限制。需要说明的是,在本发明实施例中,环境光将被认为是单向的和均匀的。
作为本发明实施例的一些可选实施方式,如图2所示,可以通过如下步骤得到光线估计角度。
S1021,将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心。
S1022,将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度。
S1023,计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重。
S1024,根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
具体地,首先,可以将子图像平均分成四份,得到四个子区域,按照上述方法确定每个子区域的子光强加权中心、以及每个子区域的子光线估计角度;其次,对于每一张子图片,根据其中的明暗对比度信息等获得该子图片对应的光线强度,在得到每个子区域的子光照强度后,将每个子区域的子光照强度作为该子区域的子光线估计角度的权重;最后,对四个子区域的子光线估计角度根据其分别对应的权重进行加和求平均值的计算,得到平均光线估计角度。
作为本发明实施例的可选实施方式,还可以用过如下方式确定计算得到的光线估计角度是否准确。
作为第一种实施方式,计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
通过测量人脸图像加权中心和光照强度加权中心之间的距离,我们可以获得一个距离值,该值随着鼻部区域阴影部分和发光部分之间的对比度的增加而增加。在没有特定光方向周围漫射光环境中,该距离值将很小或为零。因此,这个距离值提供了鼻部区域中与鼻尖相邻区域之间的对比度相关的置信度因素。在人脸进行拍摄时基本都是存在特定光源的,因此该距离值越大,说明置信度越大,光线估计角度的准确性也就越高,也就越能确定这个角度代表环境光的光线方向。
作为第二种实施方式,计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
当步骤S102通过对鼻部区域分解为若干个子图像进行光线估计角度的计算时,可以通过第二种实施方式进行置信因子的确定,从而提高置信因子的准确度。
作为本发明实施例的可选实施方式,我们在关注人脸鼻部区域的同时,还可以根据需要,特别是在检测到低置信度的情况下,通过关注用户的眼窝来增加结果的置信度和准确性。
具体地,如图3所示,所述方法包括:
S1021’,提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度。
S1022’,当所述眼窝的光照强度差值大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度。
S1023’,根据所述人脸倾斜角度所述光线估计角度进行调整。
具体地,如果头部没有发生偏转时,人脸两个眼窝的光照强度应该是相同或者相差很小的,当两个眼窝的光照强度差值大于或等于预设阈值时,说明在步骤S101拍摄到的人脸图像时,用户的头部是存在偏转的。可选地,可以通过预先进行机器模型学***保持90度位置时的角度。可以将该倾斜角度与直角的商作为修正系数,基于该修正系数对光线估计角度进行调整,从而解决来自头部偏转对结果产生的影响。
S103,根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界。
在本步骤中,由于用户的人脸图像时前端摄像头拍摄的,而AR视频是通过后端摄像头进行观看的,因此需要对上述光线估算角度进行镜像操作,以实现面向图像的切换。此外,由于用户在观看AR视频的过程中,可能会对移动终端进行旋转,因此,需要根据光线估计角度和所述移动终端的旋转角度来构建真实场景下的环境光的光线角度。可选地,可以根据移动终端的旋转角度来旋转光线估计角度,从而得到真实场景的光线角度。
S104,根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
在本步骤中,首先可以根据真实场景的光线角度和虚拟对象的预设位置,确定虚拟对象在目标图片中的阴影位置。其次,根据虚拟对象的形状、确定在阴影位置的阴影形状。根据阴影位置和阴影形状,生成虚拟对象的阴影图像。用户在佩戴AR眼镜观看AR视频时,可以看到虚拟对象的阴影效果,即基于当前真实场景光线得到的虚拟对象的逼真反射效果。
本发明实施例提供的AR成像方法,只需使用现有的双摄像头的移动终端即可获取真实世界中的光线信息,为AR提供更逼真的效果,且降低了成本;此外,本发明实施例可以应用在白天或晚上的室内外条件下,也不需要知道真实世界的时间及利用GPS定位获取本地位置,对移动终端设备的性能要求低。
图4为本发明实施例提供的AR成像装置结构图。如图4所示,该装置具体包括:提取模块100、比较模块200、获取模块300和生成模块400。其中,
提取模块100,用于检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;比较模块200,用于基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;获取模块300,用于根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;生成模块400,用于根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
本发明实施例提供的AR成像装置具体用于执行图1所示实施例提供的所述方法,其实现原理、方法和功能用途等与图1所示实施例类似,在此不再赘述。
图5为本发明实施例提供的AR成像装置结构图。如图5所示,该装置具体包括:提取模块100、比较模块200、获取模块300和生成模块400。其中,
提取模块100,用于检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;比较模块200,用于基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;获取模块300,用于根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;生成模块400,用于根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
具体地,比较模块200包括分解单元210、比较单元220、确定单元230和计算单元240。其中,
分解单元210,用于将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;比较单元220,用于将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度确定单元230,用于计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;计算单元240,用于根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
具体地,比较模块200还包括调整单元250,调整单元250用于,提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度;当所述眼窝的光照强度差值大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度;根据所述人脸倾斜角度所述光线估计角度进行调整。
可选地,比较模块200还用于,计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
可选地,比较模块200还用于,计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
可选地,比较模块200还包括调整单元250,调整单元250用于,提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度;当所述眼窝的光照强度大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度;根据所述人脸倾斜角度所述光线估计角度进行调整。
本发明实施例提供的AR成像装置具体用于执行图1-图3所示实施例提供的所述方法,其实现原理、方法和功能用途和图1-图3所示实施例类似,在此不再赘述。
上述这些本发明实施例的AR成像装置可以作为其中一个软件或者硬件功能单元,独立设置在上述电子设备中,也可以作为整合在处理器中的其中一个功能模块,执行本发明实施例的AR成像方法。
根据图6所示,本发明实施例提供的电子设备包括:一个或多个处理器610以及存储器620,图6中以一个处理器610为例。执行所述的AR成像方法的设备还可以包括:输入装置630和输出装置630。其中,
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接,图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的所述AR成像方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现所述AR成像方法。
存储器620可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据本发明实施例提供的AR成像装置的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器620,还可以包括非易失性存储器620,例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中,存储器620可选包括相对于处理器66远程设置的存储器620,这些远程存储器620可以通过网络连接至所述AR成像装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息,以及产生与AR成像装置的用户设置以及功能控制有关的键信号输入。输入装置630可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器620中,当被所述一个或者多个处理器610执行时,执行所述AR成像方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器。
(6)其他具有数据交互功能的电子装置。
具体的,电子设备中包括图像获取模块,如图7所示,本实施例的所述图像获取模块包括镜头1000、自动聚焦音圈马达2000、机械防抖器3000以及图像传感器4000,所述镜头1000固装在所述自动聚焦音圈马达2000上,所述镜头1000固装在所述自动聚焦音圈马达2000上,所述镜头1000用于获取图像,所述图像传感器4000将所述镜头1000获取的图像传输至所述识别模块,所述自动聚焦音圈马达2000安装在所述机械防抖器3000上,所述处理模块根据镜头1000内的陀螺仪检测到的镜头1000抖动的反馈驱动所述机械防抖器3000的动作,实现镜头1000的抖动补偿。
现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头1000移动,而要实现光学防抖,需要在至少两个方向上驱动镜头1000,这意味着需要布置多个线圈,会给整体结构的微型化带来一定挑战,而且容易受外界磁场干扰,进而影响防抖效果,因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组,其通过温度变化实现记忆合金丝的拉伸和缩短,以此拉动自动聚焦音圈马达2000移动,实现镜头1000的抖动补偿,微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度,以此控制记忆合金丝的伸长和缩短,并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻,通过比较这个电阻值与目标值的偏差,可以校正微型记忆合金光学防抖致动器上的移动偏差。
但是申请人发现,由于抖动的随机性和不确定性,仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿,这是由于形状记忆合金的升温和降温均需要一定的时间,当抖动向第一方向发生时,上述技术方案可以实现镜头1000对第一方向抖动的补偿,但是当随之而来的第二方向的抖动发生时,由于记忆合金丝来不及在瞬间变形,因此容易造成补偿不及时,无法精准实现对多次抖动和不同方向的连续抖动的镜头1000抖动补偿,因此需要对其结构上进行改进。
结合附图8-11所示,本实施例对光学防抖器进行改进,将其设计为机械防抖器3000,其具体结构如下:
本实施例的所述机械防抖器3000包括活动板3100、活动框3200、弹性回复机构3300、基板3400以及补偿机构3500;所述活动板3100和基板3400的中部均设有供所述镜头穿过的通孔3700,所述自动聚焦音圈马达安装在所述活动板3100上,所述活动板3100安装在所述活动框3200内,由图中可以看出,本实施例的活动板3100的左右方向的宽度与活动框3200的内部宽度大致相同,使得所述活动板3100的相对两侧(左右两侧)与所述活动框3200相对两侧(左右两侧)的内壁滑动配合,以使所述活动板3100在活动框3200内可沿着第一方向往复滑动,本实施例的第一方向即图中的上下方向。
具体的,本实施例的所述活动框3200的尺寸小于所述基板3400的尺寸,所述活动框3200的相对两侧分别通过两个弹性回复机构3300与所述基板3400相连接,本实施例的弹性回复机构3300为伸缩弹簧或者其他弹性件,而且需要说明的是,本实施例的弹性回复机构3300只允许其具有沿着图中左右方向(即下述的第二方向)伸缩和回弹的能力,无法沿着第一方向运动,设计弹性回复机构3300的目的也是在于当活动框3200发生补偿位移后便于活动框3200带动活动板3100复位,而具体的动作过程本实施例会在下述的工作过程进行具体描述。
本实施例的所述补偿机构3500在所述处理模块的驱动(可以是处理模块发送的动作指令)下带动所述活动板3100和活动板3100上的镜头动作,以实现镜头的抖动补偿。
具体的,本实施例的所述补偿机构3500包括驱动轴3510、齿轮3520、齿轮轨道3530以及限位轨道3540,所述驱动轴3510安装在所述基板3400上,具体是安装在基板3400的上表面,所述驱动轴3510与所述齿轮3520传动连接,驱动轴3510可以通过微型电机(图中未示出)等结构驱动,并且微型电机受控于上述的处理模块;所述齿轮轨道3530设置在所述活动板3100上,所述齿轮3520安装在所述齿轮轨道3530内并沿着所述齿轮轨道3530的预设方向运动,所述齿轮3520转动时通过所述齿轮轨道3530使得所述活动板3100能够产生向第一方向的位移和第二方向的位移,其中所述第一方向与所述第二方向垂直;所述限位轨道3540设置在所述活动板3100上或所述基板3400上,所述限位轨道3540用于防止所述齿轮3520脱离所述齿轮轨道3530。
具体的,本实施例的齿轮轨道3530和限位轨道3540具有以下两种结构形式:
如图7-9所示,本实施例的所述活动板3100下侧设有一腰型孔3550,所述腰型孔3550沿其周向(即腰型孔3550的环绕方向)设有多个与所述齿轮3520相啮合的齿3560,所述腰型孔3550和多个所述齿3560共同构成所述齿轮轨道3530,所述齿轮3520位于所述腰型孔3550内并与所述齿3560相啮合,使得齿轮3520在转动时能够带动齿轮轨道3530运动,进而直接带动活动板3100的运动;而为了使得齿轮3520在转动时时刻能够保证与齿轮轨道3530时刻保持啮合,本实施例将所述限位轨道3540设置在所述基板3400上,所述活动板3100底部设有安装在所述限位轨道3540内的限位件,所述限位轨道3540使所述限位件在其中的运动轨迹呈腰型,即限位件在限位轨道内的运动轨迹与活动板3100的运动轨迹相同,具体的,本实施例的所述限位件为设置在所述活动板3100底面上的凸起。
再结合附图10和11所示,本实施例的所述齿轮轨道3530还可以由设置在所述活动板3100上的多个圆柱凸起3580组成,多个所述圆柱凸起3580沿所述第二方向均匀间隔布设,所述齿轮3520与多个所述凸起相啮合;而所述限位轨道3540为设置在所述活动板3100上的第一弧形限位件3590和第二弧形限位件3600,所述第一弧形限位件3590和第二弧形限位件3600分别设置在所述齿轮轨道3530沿第一方向上的相对两侧,防,在活动板3100运动至预设位置时,齿轮3520位于齿轮轨道3530的一侧,齿轮3520容易脱离圆柱凸起3580组成的齿轮轨道3530,因此通过第一弧形限位件3590或第二弧形限位件3600可以起到引导作用,使得活动板3100能够沿着齿轮轨道3530的预设方向运动,即所述第一弧形限位件3590和第二弧形限位件3600及多个所述凸起相配合使得所述活动板3100的运动轨迹呈腰型。
下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述,以镜头1000两次抖动为例,两次抖动方向相反,且需要使得活动板3100向第一方向运动补偿一次,并随后向第二方向运动补偿一次。需要活动板3100向第一方向运动补偿时,陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块,处理模块计算出需要活动板3100的运动距离,进而使得驱动轴3510带动齿轮3520转动,齿轮3520通过与齿轮轨道3530和限位轨道3540的配合,处理模块无线发送驱动信号,进而带动活动板3100向第一方向运动至补偿位置,补偿后再次通过驱动轴3510带动活动板3100复位,在复位过程中,弹性回复机构3300也为活动板3100的复位提供复位力,更加便于活动板3100恢复到初始位置。需要活动板3100向第二方向运动补偿时,处理方式与上述第一方向的补偿步骤相同,这里不过多赘述。
当然上述仅仅为简单的两次抖动,当发生多次抖动时,或者抖动的方向并非往复运动时,可以通过驱动多个补偿组件以补偿抖动,其基础工作过程与上述描述原理相同,这里不过多赘述,另外关于陀螺仪的检测反馈、处理模块向驱动轴3510发送控制指令等均为现有技术,这里也不过多描述。
结合上述说明可知,本实施例提供的机械补偿器不仅不会受到外界磁场干扰,防抖效果好,而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿,补偿及时准确。另外,采用本实施例的机械防抖器不仅结构简单,各个部件所需的安装空间小,便于整个防抖器的集成化,而且具有较高的补偿精度。
具体的,本实施例的所述电子设备包括手机和用于安装所述手机的支架。电子设备包含支架的目的是由于图像获取环境的不确定性,因此需要使用支架对电子设备进行支撑和固定。
另外,申请人发现,现有的手机支架仅仅具有支撑手机的功能,而不具有自拍杆的功能,因此申请人对支架做出第一步改进,将手机支架5000和支撑杆5200相结合,结合附图12所示,本实施例的所述支架5000包括手机安装座5100和可伸缩的支撑杆5200,支撑杆5200与手机安装座5100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接,使得支撑杆5200在转动至图13的状态时,支架5000可形成自拍杆结构,而支撑杆5200在转动至图14的状态时,支架5000可形成手机支架5000结构。
而结合上述支架结构申请人又发现,手机安装座5100与支撑杆5200结合后占用空间较大,即使支撑杆5200可伸缩,但是手机安装座5100无法进行结构的变化,体积不会进一步缩小,无法将其放入衣兜或者小型的包内,造成支架5000携带不便的问题,因此本实施例对支架5000做出第二步改进,使得支架5000的整体收容性得到进一步的提高。
结合图12-15所示,本实施例的所述手机安装座5100包括可伸缩的连接板5110和安装于连接板5110相对两端的折叠板组5120,所述支撑杆5200与所述连接板5110中部通过阻尼铰链相连接;所述折叠板组5120包括第一板体5121、第二板体5122及第三板体5123,其中,所述第一板体5121的相对两端中的一端与所述连接板5110相铰接,所述第一板体5121的相对两端中的另一端与所述第二板体5122的相对两端中的一端相铰接;所述第二板体5122相对两端的另一端与所述第三板体5123相对两端中的一端相铰接;所述第二板体5122设有供手机边角***的开口5130。
结合附图15所示,所述手机安装座5100用于安装手机时,所述第一板体5121、第二板体5122和第三板体5123折叠呈直角三角形状态,所述第二板体5122为直角三角形的斜边,所述第一板体5121和所述第三板体5123为直角三角形的直角边,其中,所述第三板体5123的一个侧面与所述连接板5110的一个侧面并排贴合,所述第三板体5123相对两端中的另一端与所述第一板体5121相对两端中的一端相抵,该结构可以使得三个折叠板处于自锁状态,并且将手机下部的两个边角***到两侧的两个开口5130时,手机6000的下部两侧位于两个直角三角形内,通过手机、连接板5110和折叠板组5120件的共同作可以完成手机6000的固定,三角形状态在外力情况下无法打开,只有从开口5130抽出手机后才能解除折叠板组5120件的三角形状态。
而在手机安装座5100不处于工作状态时,将连接板5110缩小至最小长度,并且将折叠板组5120件与连接板5110相互折叠,用户可以将手机安装座5100折叠呈最小体积,而由于支撑杆5200的可伸缩性,因此可以将整个支架5000收容呈体积最小的状态,提高了支架5000的收荣幸,用户甚至可以直接将支架5000放入衣兜或小的手包内,十分方便。
优选的,本实施例还在所述第三板体5123的一个侧面设有第一连接部,所述连接板5110与所述第三板体5123相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架5000手机安装座5100用于安装手机时,所述第一连接部和所述第一配合部卡合连接。具体的,本实施例的第一连接部为一个凸条或凸起(图中未示出),第一配合部为开设在连接板5110上的卡槽(图中未示出)。该结构不仅提高了折叠板组5120件处于三角形状态时的稳定性,而且在需要将手机安装座5100折叠至最小状态时也便于折叠板组5120件与连接板5110的连接。
优选的,本实施例还在所述第一板体5121相对两端中的一端设有第二连接部,所述第三板体5123相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架5000手机安装座5100用于安装手机时,所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出),第二配合部为与凸起相配合的开口5130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性
另外,本实施例还可以在所述支撑杆5200的另一端可拆卸连接有底座(图中未示出),在需要固定手机并且使手机6000具有一定高度时,可以将支撑杆5200拉伸呈一定长度,并通过底座将支架5000置于一个平面上,再将手机放置到手机安装座5100内,完成手机的固定;而支撑杆5200和底座的可拆卸连接可以使得两者可以单独携带,进一步提高了支架5000的收容性和携带的方便性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本发明实施例提供了一种非暂态计算机可读存存储介质,所述计算机存储介质存储有计算机可执行指令,其中,当所述计算机可执行指令被电子设备执行时,使所述电子设备上执行上述任意方法实施例中的AR成像方法。
本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被电子设备执行时,使所述电子设备执行上述任意方法实施例中的AR成像方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种AR成像方法,其特征在于,包括:
检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;
基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;
根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;
根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
2.根据权利要求1所述的方法,其特征在于,所述基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度,包括:
将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;
将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度;
计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;
根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;
根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
提取所述人脸图像中的眼窝区域,比较所述眼窝的光照强度;
当所述眼窝的光照强度差值大于或等于预设阈值时,根据所述眼窝的光照强度确定所述人脸的头部倾斜角度;
根据所述人脸倾斜角度对所述光线估计角度进行调整。
6.一种AR成像装置,其特征在于,包括:
提取模块,用于检测移动终端拍摄到的人脸图像,提取所述人脸图像中鼻部区域的子图像;
比较模块,用于基于光线确定所述子图像的光强加权中心,将所述光强加权中心与所述人脸图像的加权中心进行比较,得到光线估计角度;
获取模块,用于根据所述光线估计角度和所述移动终端的旋转角度,得到真实场景的光线角度,其中,所述真实场景为所述移动终端当前拍摄的真实世界;
生成模块,用于根据所述真实场景的光线角度和虚拟对象在所述真实场景中的预设位置,生成所述虚拟对象的阴影图像。
7.根据权利要求6所述的装置,其特征在于,所述比较模块包括:
分解单元,用于将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;
比较单元,用于将各所述子光强加权中心与所述人脸图像的加权中心进行比较,得到各所述子区域的子光线估计角度
确定单元,用于计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;
计算单元,用于根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述光线估计角度。
8.根据权利要求6所述的装置,其特征在于,所述比较模块还用于,计算所述光强加权中心与所述人脸图像的加权中心之间的距离值,基于所述距离值确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
9.根据权利要求7所述的装置,其特征在于,所述比较模块还用于,计算各所述子光强加权中心与所述人脸图像的加权中心之间的子距离值,基于所述子距离值确定子置信因子;根据各所述子置信因子及所述子光线估计角度的权重,确定置信因子,所述置信因子反映所述鼻部区域中鼻尖相邻区域之间的对比度。
10.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的AR成像方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2018/106784 | 2018-09-20 | ||
PCT/CN2018/106784 WO2020056689A1 (zh) | 2018-09-20 | 2018-09-20 | 一种ar成像方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109214351A CN109214351A (zh) | 2019-01-15 |
CN109214351B true CN109214351B (zh) | 2020-07-07 |
Family
ID=64985149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811110297.1A Active CN109214351B (zh) | 2018-09-20 | 2018-09-21 | 一种ar成像方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109214351B (zh) |
WO (1) | WO2020056689A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033423B (zh) * | 2019-04-16 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
CN115039137A (zh) * | 2020-01-30 | 2022-09-09 | Oppo广东移动通信有限公司 | 基于亮度估计渲染虚拟对象的方法、用于训练神经网络的方法以及相关产品 |
CN111340931A (zh) * | 2020-02-17 | 2020-06-26 | 广州虎牙科技有限公司 | 场景处理方法、装置、用户端及存储介质 |
CN112016505B (zh) * | 2020-09-03 | 2024-05-28 | 平安科技(深圳)有限公司 | 基于人脸图像的活体检测方法、设备、存储介质及装置 |
CN116224600A (zh) * | 2020-11-17 | 2023-06-06 | 闪耀现实(无锡)科技有限公司 | 一种增强现实装置及其控制方法、穿戴式增强现实设备 |
CN117815578B (zh) * | 2023-12-29 | 2024-06-25 | 中国科学院近代物理研究所 | 一种放疗装置旋转束线终端的定位及实时监测方法和*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426695A (zh) * | 2011-09-30 | 2012-04-25 | 北京航空航天大学 | 一种单幅图像场景的虚实光照融合方法 |
CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技(深圳)有限公司 | 具有增强现实效果的投影方法及*** |
CN105741343A (zh) * | 2016-01-28 | 2016-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107564089A (zh) * | 2017-08-10 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 三维图像处理方法、装置、存储介质和计算机设备 |
CN107749076A (zh) * | 2017-11-01 | 2018-03-02 | 太平洋未来科技(深圳)有限公司 | 增强现实场景中生成现实光照的方法和装置 |
CN108021241A (zh) * | 2017-12-01 | 2018-05-11 | 西安枭龙科技有限公司 | 一种实现ar眼镜虚实融合的方法 |
CN108305317A (zh) * | 2017-08-04 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240277B (zh) * | 2013-06-24 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 基于人脸检测的增强现实交互方法和*** |
US9852550B2 (en) * | 2015-08-05 | 2017-12-26 | Civic Resource Group International Inc. | System and method of markerless injection of ads in AR |
CN105825544B (zh) * | 2015-11-25 | 2019-08-20 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US10373385B2 (en) * | 2016-12-14 | 2019-08-06 | Microsoft Technology Licensing, Llc | Subtractive rendering for augmented and virtual reality systems |
CN108427498A (zh) * | 2017-02-14 | 2018-08-21 | 深圳梦境视觉智能科技有限公司 | 一种基于增强现实的交互方法和装置 |
CN106940897A (zh) * | 2017-03-02 | 2017-07-11 | 苏州蜗牛数字科技股份有限公司 | 一种在ar场景中介入现实光影的方法 |
CN107134005A (zh) * | 2017-05-04 | 2017-09-05 | 网易(杭州)网络有限公司 | 光照适配方法、装置、存储介质、处理器及终端 |
CN107656619A (zh) * | 2017-09-26 | 2018-02-02 | 广景视睿科技(深圳)有限公司 | 一种智能投影方法、***及智能终端 |
CN107749075B (zh) * | 2017-10-26 | 2021-02-12 | 太平洋未来科技(深圳)有限公司 | 视频中虚拟对象光影效果的生成方法和装置 |
-
2018
- 2018-09-20 WO PCT/CN2018/106784 patent/WO2020056689A1/zh active Application Filing
- 2018-09-21 CN CN201811110297.1A patent/CN109214351B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426695A (zh) * | 2011-09-30 | 2012-04-25 | 北京航空航天大学 | 一种单幅图像场景的虚实光照融合方法 |
CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
CN105182662A (zh) * | 2015-09-28 | 2015-12-23 | 神画科技(深圳)有限公司 | 具有增强现实效果的投影方法及*** |
CN105741343A (zh) * | 2016-01-28 | 2016-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN107025683A (zh) * | 2017-03-30 | 2017-08-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN108305317A (zh) * | 2017-08-04 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
CN107564089A (zh) * | 2017-08-10 | 2018-01-09 | 腾讯科技(深圳)有限公司 | 三维图像处理方法、装置、存储介质和计算机设备 |
CN107749076A (zh) * | 2017-11-01 | 2018-03-02 | 太平洋未来科技(深圳)有限公司 | 增强现实场景中生成现实光照的方法和装置 |
CN108021241A (zh) * | 2017-12-01 | 2018-05-11 | 西安枭龙科技有限公司 | 一种实现ar眼镜虚实融合的方法 |
Non-Patent Citations (2)
Title |
---|
《A Review of Shadow Techniques in Augmented Reality》;Z. Noh,et al;《2009 Second International Conference on Machine Vision》;20100115;全文 * |
《基于高动态范围图像中光晕分析的光照方向测算算法》;李华等;《计算机应用》;20160510;第36卷(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109214351A (zh) | 2019-01-15 |
WO2020056689A1 (zh) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109214351B (zh) | 一种ar成像方法、装置及电子设备 | |
CN109151340B (zh) | 视频处理方法、装置及电子设备 | |
US10051182B2 (en) | Methods and apparatus for compensating for motion and/or changing light conditions during image capture | |
CN109521869B (zh) | 一种信息交互方法、装置及电子设备 | |
US11024082B2 (en) | Pass-through display of captured imagery | |
US9912865B2 (en) | Methods and apparatus for supporting burst modes of camera operation | |
CN108614638B (zh) | Ar成像方法和装置 | |
CN109271911B (zh) | 基于光线的三维人脸优化方法、装置及电子设备 | |
CN109474801B (zh) | 一种交互对象的生成方法、装置及电子设备 | |
CN108596827B (zh) | 三维人脸模型生成方法、装置及电子设备 | |
CN108966017B (zh) | 视频生成方法、装置及电子设备 | |
CN113016173A (zh) | 对用于数字拍摄的多个相机进行操作的设备和方法 | |
CN109285216B (zh) | 基于遮挡图像生成三维人脸图像方法、装置及电子设备 | |
CN108377398B (zh) | 基于红外的ar成像方法、***、及电子设备 | |
US10104292B2 (en) | Multishot tilt optical image stabilization for shallow depth of field | |
US9160931B2 (en) | Modifying captured image based on user viewpoint | |
KR20160070780A (ko) | 재포커싱가능 이미지들 | |
CN105592262A (zh) | 摄像装置 | |
CN108573480B (zh) | 基于图像处理的环境光补偿方法、装置及电子设备 | |
WO2020056690A1 (zh) | 一种视频内容关联界面的呈现方法、装置及电子设备 | |
CN108495016B (zh) | 一种摄像装置、电子设备及获取图像方法 | |
CN110177200B (zh) | 摄像头模组、电子设备以及影像拍摄方法 | |
JP2013207344A (ja) | 検出装置、撮像装置、及びプログラム | |
JP2010034652A (ja) | 多方位カメラ搭載型携帯端末装置 | |
CN109447924B (zh) | 一种图片合成方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |