CN107025661B - 一种实现增强现实的方法、服务器、终端及*** - Google Patents
一种实现增强现实的方法、服务器、终端及*** Download PDFInfo
- Publication number
- CN107025661B CN107025661B CN201610066006.8A CN201610066006A CN107025661B CN 107025661 B CN107025661 B CN 107025661B CN 201610066006 A CN201610066006 A CN 201610066006A CN 107025661 B CN107025661 B CN 107025661B
- Authority
- CN
- China
- Prior art keywords
- image
- pose
- scene
- environment scene
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种实现增强现实的方法,包括以下步骤:实时采集环境场景的图像;对所述环境场景图像中的图像帧进行跟踪;根据待显示的虚拟对象的位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。本发明同时提供一种实现增强现实的服务器、终端及***。本发明实现增强现实的方法、服务器、终端及***,能够实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示,有效地降低了现有的增强现实技术对平面模板的依赖,提高了虚拟对象与真实环境场景的实时配准的准确性,显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
Description
技术领域
本发明涉及人工智能及计算机视觉技术领域,尤其涉及一种实现增强现实的方法、服务器、终端及***。
背景技术
同时定位与地图创建(Simultaneous Localization and Mapping,SLAM),是一项应用于在未知环境中自主地图创建与自身定位相结合的技术,是当前自主导航领域的研究热点,目标是解决在进入未知环境后,如何感知周围环境并构建增量式地图,同时进行自身定位的问题,目前主要应用于无人驾驶、机器人及场景三维重建等技术方向。
增强现实技术(Augmented Reality,AR)借助计算机图形技术和可视化技术生成现实环境中不存在的虚拟对象,并通过图像识别定位技术将虚拟对象准确地融合到真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者真实的感观体验。增强现实技术要解决的首要技术难题是如何将虚拟对象准确地融合到真实世界中,也就是要使虚拟对象以正确的角度姿态出现在真实场景的正确位置上,从而产生强烈的视觉真实感。
现有技术中,目前较为常见的是基于平面模板的增强现实技术方案,通过对纹理特征丰富的平面模板进行训练,确定虚拟对象的显示位置。但是,受平面模板的限制,该技术方案对非平面物体及纹理特征偏少的物体的适用性较差。因此,如何在不同类型的真实场景中准确地确定虚拟对象的位置,实现虚拟对象在真实场景中的叠加融合,是增强现实技术发展中亟待解决的技术问题之一。
发明内容
本发明的目的在于提供一种实现增强现实的方法、服务器、终端及***,将增强现实技术和同时定位与地图创建技术相结合,通过离线场景地图构建与在线初始化,实现虚拟对象在真实场景中的融合显示。
有鉴于此,本发明一方面提供一种实现增强现实的方法,包括以下步骤:实时采集环境场景的图像;对所述环境场景图像中的图像帧进行跟踪;根据待显示的虚拟对象的位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。
优选地,所述实时采集环境场景的图像的步骤之前,还包括:获取所述环境场景的视频图像;根据所述环境场景视频图像,对所述环境场景进行三维场景重建;根据所述环境场景视频图像,构建所述环境场景的图像检索数据库;根据所述环境场景视频图像,预设所述待显示的虚拟对象在所述环境场景中的位姿。
优选地,所述根据所述环境场景视频图像,对所述环境场景进行三维场景重建的步骤,具体为:对所述环境场景视频图像中的图像帧进行图像特征提取;根据所述图像特征对所述环境场景视频图像进行帧间图像配准,计算所述图像帧之间的相对位姿;在所述环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标;根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧;根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图,对所述位姿图进行优化,更新所述位姿及3D点坐标。
优选地,所述根据所述环境场景视频图像,构建所述环境场景的图像检索数据库的步骤,具体为:根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征,建立搜索树或者词袋。
优选地,所述对所述环境场景图像中的图像帧进行跟踪的步骤,具体为:根据所述环境场景图像的上一帧图像,检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征;判断所述匹配的图像特征数是否大于预设阈值;若所述匹配的图像特征数大于预设阈值,则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标;若所述匹配的图像特征数小于预设阈值,则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像,根据所述离线关键帧图像的位姿及3D点坐标,确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
优选地,所述根据待显示的虚拟对象的位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤,具体为:获取待显示的虚拟对象的位姿,根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。
本发明另一方面提供一种实现增强现实的服务器,包括:视频获取模块:用于获取环境场景的视频图像;场景重建模块:用于根据视频获取模块获取的环境场景视频图像,对环境场景进行三维场景重建;数据库构建模块:用于根据视频获取模块获取的环境场景视频图像,构建环境场景的图像检索数据库。
优选地,所述场景重建模块包括:特征提取单元:用于对环境场景视频图像中的每一帧图像进行图像特征提取;位姿计算单元:用于根据特征提取单元提取到的图像特征对环境场景视频图像进行帧间图像配准,计算所述图像帧之间的相对位姿;坐标建立单元,用于在环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立环境场景的世界坐标系,确定所述环境场景中的3D点的坐标;关键帧选取单元:用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧;位姿图构建单元:用于根据环境场景视频图像中的离线初始帧与当前帧之间所有关键帧的位姿及3D点坐标构建位姿图,以及对所述位姿图进行优化,更新所述位姿及3D点坐标。
优选地,所述数据库构建模块,还用于根据环境场景视频图像中的离线初始帧及离线关键帧中的图像特征,建立搜索树或者词袋。
优选地,还包括:位姿设定模块:用于设定待显示的虚拟对象在环境场景中的位姿。
优选地,还包括:检索模块:用于接收终端发送的图像帧检索请求,以及在环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧,并将所述离线关键帧的位姿及3D点坐标发送至终端。
本发明同时提供一种实现增强现实的终端,包括:图像采集模块:用于实时采集环境场景的图像;图像跟踪模块:用于对图像采集模块采集的环境场景图像中的图像帧进行跟踪;数据获取模块:用于获取待显示的虚拟对象的位姿;显示模块:用于根据数据获取模块获取的待显示的虚拟对象的位姿,在环境场景图像的当前帧图像中显示所述虚拟对象。
优选地,所述图像跟踪模块包括:检测单元:用于根据环境场景图像的上一帧图像,检测环境场景图像的当前帧图像中与上一帧图像匹配的图像特征;判断单元:用于判断所述匹配的图像特征数是否大于预设阈值;位姿计算单元:用于当判断单元判断所述匹配的图像特征数大于预设阈值时,根据环境场景图像的上一帧图像的位姿及3D点坐标,计算所述环境场景视频图像的当前帧图像的位姿及3D点坐标。
优选地,所述数据获取模块,还用于当判断单元判断所述匹配的图像特征数小于预设阈值时,将环境场景图像的当前帧图像发送至服务器,并接收服务器发送的位姿及3D点坐标;以及,所述位姿计算单元,还用于根据数据获取模块接收的位姿及3D点坐标,计算环境场景图像的当前帧图像的位姿及3D点坐标。
优选地,所述位姿计算单元,还用于计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿;以及,所述显示模块,还用于根据位姿计算单元计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿,在环境场景图像的当前帧图像中显示所述虚拟对象。
本发明还提供一种实现增强现实的***,包括上述的实现增强现实的服务器,以及上述的实现增强现实的终端。
本发明实现增强现实的方法、服务器、终端及***,通过实时采集环境场景图像,根据环境场景图像中的图像特征进行图像跟踪,确定待显示的虚拟对象与环境场景的相对位姿,在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示,有效地降低了现有的增强现实技术对平面模板的依赖,提高了虚拟对象与真实环境场景的实时配准的准确性,显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图:
图1示出了本发明第一实施例的实现增强现实的方法的流程示意图;
图2示出了本发明第二实施例的实现增强现实的服务器的结构示意图;
图3示出了本发明第二实施例的实现增强现实的服务器的场景重建模块的结构示意图;
图4示出了本发明第三实施例的实现增强现实的终端的结构示意图;
图5示出了本发明第三实施例的实现增强现实的终端的图像跟踪模块的结构示意图;
图6示出了本发明第四实施例的实现增强现实的***的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点,下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,这仅仅是本发明的一些实施例,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
本发明实施例的实现增强现实的方法,如图1所示,主要包括以下步骤:步骤S101,实时采集环境场景的图像;步骤S102,对环境场景图像中的图像帧进行跟踪;步骤S103,根据待显示的虚拟对象的位姿,在环境场景图像的当前帧图像中显示虚拟对象。
在该技术方案中,通过对环境场景进行实时图像采集,根据图像特征对环境场景图像中的图像帧进行跟踪,确定图像帧的位姿及图像帧中3D图像点的位置数据,根据待显示的虚拟对象的位姿,在环境场景图像的当前帧图像中显示虚拟对象。
在上述技术方案中,优选地,所述步骤S101之前,还包括:获取环境场景的视频图像;根据环境场景视频图像,对环境场景进行三维场景重建;根据环境场景视频图像,构建环境场景的图像检索数据库;预设待显示的虚拟对象在环境场景中的位姿。
在该技术方案中,通过预先拍摄所述环境场景的视频图像,记录环境场景中的图像细节,根据所述环境场景的视频图像,对所述环境场景进行三维重建。具体地,对环境场景视频图像中的每一帧图像进行图像特征提取,根据提取到的图像特征进行环境场景视频图像的帧间图像配准,确定图像帧之间的相对位姿。其中,帧间图像配准根据两图像帧中的图像特征,采用基于特征匹配或直接方法,得到一组2D点对,根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。
在上述技术方案中,进一步地,在环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标。同时,根据环境场景视频图像中的离线初始帧确定环境场景视频图像中的离线关键帧,根据环境场景视频图像中的离线初始帧与当前帧之间所有的离线关键帧的位姿及3D点坐标构建位姿图,并对所述位姿图进行优化,更新所述位姿及3D点坐标。具体地,根据环境场景视频图像中的离线初始帧,解析环境场景视频图像中所述离线初始帧之后的图像帧,若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值,则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析环境场景视频图像中所述离线关键帧之后的图像帧,若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值,则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推,完成对所述环境场景视频图像中所有图像帧的解析,得到所述环境场景视频图像中的全部离线关键帧。进一步地,将所述环境场景视频图像解析为连续的图像帧序列,通过对环境场景的视频图像中的图像帧进行顺序配准,得到一组图像帧的位姿序列以及与每一图像帧中的2D点对应的3D点的坐标,完成对位姿图的构建。通过环形闭合检测,修正累计误差。同时,通过位姿及约束条件对位姿图进行优化,修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中,进一步地,根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征,建立搜索树或者词袋。
在上述技术方案中,步骤S102具体为:根据环境场景图像的上一帧图像,检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征;判断所述匹配的图像特征数是否大于预设阈值;若所述匹配的图像特征数大于预设阈值,则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标;若所述匹配的图像特征数小于预设阈值,则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的关键帧图像,根据所述关键帧图像的位姿及3D点坐标,确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中,步骤S103具体为:根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。具体地,获取预设的待显示的虚拟对象的位姿,根据所述环境场景图像的当前帧的位姿,计算所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿,根据所述相对位姿,在所述环境场景图像的当前帧图像中显示所述待显示的虚拟对象。
实施例二
本发明实施例的实现增强现实的服务器200,如图2所示,包括:视频获取模块201:用于获取环境场景的视频图像;场景重建模块202:用于根据视频获取模块201获取的环境场景视频图像,对所述环境场景进行三维场景重建;数据库构建模块203:用于根据视频获取模块201获取的环境场景视频图像,构建所述环境场景的图像检索数据库。
在该技术方案中,视频获取模块201拍摄或者获取预先拍摄的环境场景的视频图像,记录环境场景中的图像细节。场景重建模块202根据视频获取模块201获取的环境场景的视频图像,对环境场景进行三维重建。数据库构建模块203根据视频获取模块201获取的环境场景视频图像,构建环境场景的图像检索数据库,用于进行环境场景图像检索。
在上述技术方案中,优选地,场景重建模块202,如图3所示,包括:特征提取单元2021:用于对所述环境场景视频图像中的图像帧进行图像特征提取;位姿计算单元2022:用于根据特征提取单元2021提取到的图像特征对所述环境场景视频图像进行帧间图像配准,计算所述图像帧之间的相对位姿;坐标建立单元2023,用于在所述环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标;关键帧选取单元2024:用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧;位姿图构建单元2025:用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图,以及对所述位姿图进行优化,更新所述位姿及3D点坐标。具体地,特征提取单元2021对环境场景视频图像中的每一图像帧进行图像特征提取,位姿计算单元2022根据特征提取单元2021提取到的图像特征进行环境场景视频图像帧间图像配准,确定图像帧之间的相对位姿。其中,帧间图像配准根据两图像帧中的图像特征,采用基于特征匹配或直接方法,得到一组2D点对,根据该组2D点对通过五点法计算得到该两图像帧之间的相对位姿。坐标建立单元2023在环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标。关键帧选取单元2024根据环境场景视频图像的离线初始帧,解析所述环境场景视频图像的离线初始帧之后的图像帧,若所述离线初始帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值,则确定所述当前帧为所述环境场景视频图像的一个离线关键帧。继续解析所述环境场景视频图像的离线关键帧之后的图像帧,若所述离线关键帧图像中的3D点在所述当前帧图像中的复现率小于预设的阈值,则确定所述当前帧为所述环境场景视频图像的下一个离线关键帧。以此类推,完成对所述环境场景视频图像的所有图像帧的解析,得到所述环境场景视频图像中的全部离线关键帧。位姿图构建单元2025根据位姿计算单元2022通过对环境场景的视频图像进行图像帧顺序配准,得到的一组图像帧的位姿序列以及与每一图像帧的2D点对应的3D点的坐标,完成对位姿图的构建。通过环形闭合检测,修正累计误差。同时,通过位姿及约束条件对位姿图进行优化,修正环境场景视频图像中每一图像帧的位姿数据。
在上述技术方案中,优选地,数据库构建模块203,根据环境场景视频图像中的初始帧及关键帧中的图像特征,建立搜索树或者词袋。
在上述技术方案中,优选地,实现增强现实的服务器200,还包括:位姿设定模块204:用于设定待显示的虚拟对象在环境场景中的位姿。
在上述技术方案中,优选地,实现增强现实的服务器200,还包括:检索模块205:用于接收终端发送的图像帧检索请求,以及在所述环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧,并将所述离线关键帧的位姿及3D点坐标发送至所述终端。
实施例三
本发明实施例的实现增强现实的终端300,如图4所示,包括:图像采集模块301:用于实时采集环境场景的图像;图像跟踪模块302:用于对图像采集模块301采集的环境场景图像中的图像帧进行跟踪;数据获取模块303:用于获取待显示的虚拟对象的位姿;显示模块304:用于根据数据获取模块303获取的待显示的虚拟对象的位姿,在环境场景图像的当前帧图像中显示所述虚拟对象。
在该技术方案中,图像采集模块301对环境场景进行实时图像采集,图像跟踪模块302根据图像特征对环境场景图像中的图像帧进行跟踪,确定图像帧的位姿及3D点位置数据,显示模块304根据数据获取模块303获取的待显示的虚拟对象的位姿,在环境场景图像的当前帧图像中显示所述虚拟对象。
在上述技术方案中,优选地,图像跟踪模块302,如图5所示,包括:检测单元3021:用于根据环境场景图像的上一帧图像,检测环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征;判断单元3022:用于判断匹配的图像特征数是否大于预设阈值;位姿计算单元3023:用于当判断单元3022判断匹配的图像特征数大于预设阈值时,根据环境场景图像的上一帧图像的位姿及3D点坐标,计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中,优选地,数据获取模块303,还用于,当判断单元3022判断匹配的图像特征数小于预设阈值时,将环境场景图像的当前帧图像发送至服务器,并接收所述服务器发送的位姿及3D点坐标;以及,位姿计算单元3023,根据数据获取模块303接收的位姿及3D点坐标,计算环境场景图像的当前帧图像的位姿及3D点坐标。
在上述技术方案中,优选地,位姿计算单元3023,还用于,计算环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿;以及,显示模块304,还用于,根据位姿计算单元3023计算得到的环境场景图像的当前帧图像与待显示的虚拟对象之间的相对位姿,在环境场景图像的当前帧图像中显示虚拟对象。
实施例四
本发明实施例的实现增强现实的***400,如图6所示,包括:至少一个实现增强现实的服务器200,以及至少一个实现增强现实的终端300。
根据本发明实施例的实现增强现实的方法、服务器、终端及***,通过实时采集环境场景图像,根据环境场景图像中的图像特征进行图像跟踪,确定待显示的虚拟对象与环境场景的相对位姿,在环境场景图像中显示虚拟对象。实现在无模板的情况下对环境场景或目标对象进行虚拟对象的图像叠加显示,有效地降低了现有的增强现实技术对平面模板的依赖,提高了虚拟对象与真实环境场景的实时配准的准确性,显著地增强了虚拟对象叠加到环境场景图像中的协调性与一致性。
再次声明,本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (12)
1.一种实现增强现实的方法,其特征在于,包括以下步骤:
预先获取环境场景的视频图像,对其中的图像帧进行图像特征提取;
根据所述图像特征对所述环境场景视频图像进行帧间图像配准,计算所述图像帧之间的相对位姿;
在所述环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标;
根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧;
根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图,以对所述环境场景进行三维场景重建;
根据所述环境场景视频图像,构建所述环境场景的图像检索数据库,且预设待显示的虚拟对象在所述环境场景中的位姿;
实时采集环境场景的图像;
根据所述环境场景图像的上一帧图像,检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征,通过所述匹配的图像特征以对实时采集的所述环境场景图像中的图像帧进行跟踪;
根据待显示的虚拟对象的位姿,在实时采集的所述环境场景图像的当前帧图像中显示所述虚拟对象。
2.根据权利要求1所述的实现增强现实的方法,其特征在于,所述根据所述环境场景视频图像,构建所述环境场景的图像检索数据库的步骤,具体为:
根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征,建立搜索树或者词袋。
3.根据权利要求1至2中任一项所述的实现增强现实的方法,其特征在于,所述通过所述匹配的图像特征以对所述环境场景图像中的图像帧进行跟踪,具体为:
判断所述匹配的图像特征数是否大于预设阈值;
若所述匹配的图像特征数大于预设阈值,则根据所述环境场景图像的上一帧图像的位姿及3D点坐标确定所述环境场景图像的当前帧图像的位姿及3D点坐标;
若所述匹配的图像特征数小于预设阈值,则在所述环境场景的图像检索数据库中检索与所述环境场景图像的当前帧图像匹配的离线关键帧图像,根据所述离线关键帧图像的位姿及3D点坐标,确定所述环境场景图像的当前帧图像的位姿及3D点坐标。
4.根据权利要求3所述的实现增强现实的方法,其特征在于,所述根据待显示的虚拟对象的位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象的步骤,具体为:
获取待显示的虚拟对象的位姿,根据所述环境场景图像的当前帧与所述待显示的虚拟对象之间的相对位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。
5.一种实现增强现实的服务器,其特征在于,包括:
视频获取模块:用于获取环境场景的视频图像;
场景重建模块:包含特征提取单元、位姿计算单元、坐标建立单元、关键帧选取单元及位姿图构建单元的场景重建模块,其中,
所述特征提取单元:用于对所述环境场景视频图像中的图像帧进行图像特征提取;
所述位姿计算单元:用于根据所述特征提取单元提取到的图像特征对所述环境场景视频图像进行帧间图像配准,计算所述帧之间的相对位姿;
所述坐标建立单元,用于在所述环境场景视频图像中选定离线初始帧,根据所述离线初始帧建立所述环境场景的世界坐标系,确定所述环境场景中的3D点的坐标;
所述关键帧选取单元:用于根据所述环境场景视频图像中的离线初始帧确定所述环境场景视频图像中的离线关键帧;
所述位姿图构建单元:用于根据所述环境场景视频图像中的离线初始帧与当前帧之间所有离线关键帧的位姿及3D点坐标构建位姿图,以及对所述位姿图进行优化,更新所述位姿及3D点坐标;
数据库构建模块:用于根据所述视频获取模块获取的环境场景视频图像,构建所述环境场景的图像检索数据库;
以及,
检索模块:用于接收终端发送的图像帧检索请求,以及在所述环境场景的图像检索数据库中检索与所述检索请求中的图像帧对应的所述环境场景视频图像中的离线关键帧,并将所述离线关键帧的位姿及3D点坐标发送至所述终端。
6.根据权利要求5所述的实现增强现实的服务器,其特征在于,所述数据库构建模块,还用于根据所述环境场景视频图像中的离线初始帧及离线关键帧中的图像特征,建立搜索树或者词袋。
7.根据权利要求6所述的实现增强现实的服务器,其特征在于,还包括:
位姿设定模块:用于设定待显示的虚拟对象在所述环境场景中的位姿。
8.一种实现增强现实的终端,其特征在于,所述终端用于实现增强现实的显示,且与权利要求5至7中任一所述的实现增强现实的服务器关联,所述终端包括:
图像采集模块:用于实时采集环境场景的图像;
图像跟踪模块:用于对所述图像采集模块实时采集的环境场景图像中的图像帧进行跟踪;
数据获取模块:用于获取待显示的虚拟对象的位姿;
显示模块:用于根据所述数据获取模块获取的所述待显示的虚拟对象的位姿,在实时采集的所述环境场景图像的当前帧图像中显示所述虚拟对象。
9.根据权利要求8所述的实现增强现实的终端,其特征在于,所述图像跟踪模块包括:
检测单元:用于根据所述环境场景图像的上一帧图像,检测所述环境场景图像的当前帧图像中与所述上一帧图像匹配的图像特征;
判断单元:用于判断所述匹配的图像特征数是否大于预设阈值;
位姿计算单元:用于当所述判断单元判断所述匹配的图像特征数大于预设阈值时,根据所述环境场景图像的上一帧图像的位姿及3D点坐标,计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
10.根据权利要求9所述的实现增强现实的终端,其特征在于,所述数据获取模块,还用于当所述判断单元判断所述匹配的图像特征数小于预设阈值时,将所述环境场景图像的当前帧图像发送至服务器,并接收所述服务器发送的位姿及3D点坐标;以及,
所述位姿计算单元,还用于根据所述数据获取模块接收的位姿及3D点坐标,计算所述环境场景图像的当前帧图像的位姿及3D点坐标。
11.根据权利要求9或10所述的实现增强现实的终端,其特征在于,所述位姿计算单元,还用于计算所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿;以及,
所述显示模块,还用于根据所述位姿计算单元计算得到的所述环境场景图像的当前帧图像与所述待显示的虚拟对象之间的相对位姿,在所述环境场景图像的当前帧图像中显示所述虚拟对象。
12.一种实现增强现实的***,其特征在于,包括权利要求5至7中任一项所述的实现增强现实的服务器,以及权利8至11中任一项所述的实现增强现实的终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610066006.8A CN107025661B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610066006.8A CN107025661B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107025661A CN107025661A (zh) | 2017-08-08 |
CN107025661B true CN107025661B (zh) | 2020-08-04 |
Family
ID=59524866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610066006.8A Active CN107025661B (zh) | 2016-01-29 | 2016-01-29 | 一种实现增强现实的方法、服务器、终端及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107025661B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108355351A (zh) * | 2017-11-28 | 2018-08-03 | 岳阳市数博环球实业有限公司 | 一种基于实时背景的电子游戏的生成方法 |
CN108520543B (zh) * | 2018-04-09 | 2022-08-09 | 杭州易现先进科技有限公司 | 一种对相对精度地图进行优化的方法、设备及存储介质 |
CN109126121B (zh) * | 2018-06-01 | 2022-01-04 | 成都通甲优博科技有限责任公司 | Ar终端互联方法、***、装置及计算机可读存储介质 |
CN110855601B (zh) * | 2018-08-21 | 2021-11-19 | 华为技术有限公司 | Ar/vr场景地图获取方法 |
CN112752119B (zh) * | 2019-10-31 | 2023-12-01 | 中兴通讯股份有限公司 | 一种时延误差校正方法、终端设备、服务器及存储介质 |
CN111273772B (zh) * | 2020-01-17 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 基于slam测绘方法的增强现实交互方法、装置 |
CN111459269B (zh) * | 2020-03-24 | 2020-12-01 | 视辰信息科技(上海)有限公司 | 一种增强现实显示方法、***及计算机可读存储介质 |
CN115866354A (zh) * | 2022-11-25 | 2023-03-28 | 广州美术学院 | 基于交互虚拟现实的非物质遗产具象化演绎方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6026189A (en) * | 1997-11-13 | 2000-02-15 | National Research Council Of Canada | Method of recognizing objects within two-dimensional and three-dimensional images |
CN103177269A (zh) * | 2011-12-23 | 2013-06-26 | 北京三星通信技术研究有限公司 | 用于估计对象姿态的设备和方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
JP5920352B2 (ja) * | 2011-08-24 | 2016-05-18 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9576183B2 (en) * | 2012-11-02 | 2017-02-21 | Qualcomm Incorporated | Fast initialization for monocular visual SLAM |
CN103106688B (zh) * | 2013-02-20 | 2016-04-27 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
KR20140110584A (ko) * | 2013-03-08 | 2014-09-17 | 삼성전자주식회사 | 증강 현실 제공 방법, 저장 매체 및 휴대 단말 |
US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
CA2888943C (en) * | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
AU2013237718A1 (en) * | 2013-10-04 | 2015-04-23 | Canon Kabushiki Kaisha | Method, apparatus and system for selecting a frame |
CN116485870A (zh) * | 2013-12-19 | 2023-07-25 | 苹果公司 | 用于跟踪移动设备的方法和*** |
CN105023266B (zh) * | 2014-04-29 | 2018-03-30 | 高德软件有限公司 | 增强现实实现方法、装置和终端设备 |
CN105025272A (zh) * | 2015-07-28 | 2015-11-04 | 深圳乐行天下科技有限公司 | 一种机器人及其混合视频流生成方法 |
-
2016
- 2016-01-29 CN CN201610066006.8A patent/CN107025661B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6026189A (en) * | 1997-11-13 | 2000-02-15 | National Research Council Of Canada | Method of recognizing objects within two-dimensional and three-dimensional images |
CN103177269A (zh) * | 2011-12-23 | 2013-06-26 | 北京三星通信技术研究有限公司 | 用于估计对象姿态的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107025661A (zh) | 2017-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107025662B (zh) | 一种实现增强现实的方法、服务器、终端及*** | |
CN107025661B (zh) | 一种实现增强现实的方法、服务器、终端及*** | |
CN107665506B (zh) | 实现增强现实的方法及*** | |
CN107665505B (zh) | 基于平面检测实现增强现实的方法及装置 | |
CN109544615B (zh) | 基于图像的重定位方法、装置、终端及存储介质 | |
CN107665508B (zh) | 实现增强现实的方法及*** | |
CN107665507B (zh) | 基于平面检测实现增强现实的方法及装置 | |
CN108629843B (zh) | 一种实现增强现实的方法及设备 | |
WO2018019272A1 (zh) | 基于平面检测实现增强现实的方法及装置 | |
CN111462200A (zh) | 一种跨视频行人定位追踪方法、***及设备 | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
CN110853073A (zh) | 确定关注点的方法、装置、设备、***及信息处理方法 | |
CN111242973A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
JP7147753B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN106959691A (zh) | 可移动电子设备和即时定位与地图构建方法 | |
WO2017002637A1 (en) | Method for determining a motion between a first coordinate system and a second coordinate system | |
CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
CN111192299A (zh) | 一种基于综合管廊视频监控***的人员轨迹定位方法 | |
CN111028272A (zh) | 对象追踪方法及装置 | |
CN112329723A (zh) | 一种基于双目相机的多人人体3d骨骼关键点定位方法 | |
CN112200917A (zh) | 一种高精度增强现实方法及*** | |
CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
CN116659518A (zh) | 智能轮椅自主导航方法、装置、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |