CN106997366B - 数据库构建方法、增强现实融合追踪方法及终端设备 - Google Patents
数据库构建方法、增强现实融合追踪方法及终端设备 Download PDFInfo
- Publication number
- CN106997366B CN106997366B CN201610052615.8A CN201610052615A CN106997366B CN 106997366 B CN106997366 B CN 106997366B CN 201610052615 A CN201610052615 A CN 201610052615A CN 106997366 B CN106997366 B CN 106997366B
- Authority
- CN
- China
- Prior art keywords
- image
- standard template
- template image
- feature point
- strong
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 title claims description 15
- 239000013598 vector Substances 0.000 claims abstract description 105
- 230000009466 transformation Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的增强现实融合追踪方法包括接收第一图像，所述第一图像是终端设备在进行融合追踪时所拍摄到的真实场景下的图像；将所述第一图像缩放W次后，形成W+1层图像；提取每一层图像上的特征点，并统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点；计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量；根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种数据库构建方法、增强现实融合追踪方法及终端设备。
背景技术
AR(Augmented Reality，增强现实)技术是一种全新的人机交互技术，通过智能终端设备和可视化技术将虚拟内容应用到真实世界，使得虚拟内容和真实世界同时叠加到同一个画面或空间呈现给用户。随着智能终端的普及，AR技术的应用愈加广泛，可以通过在智能终端上安装AR应用进行体验。具体的，AR应用的工作流程如下：智能终端通过摄像头拍摄图像帧，对图像帧进行识别，确定AR目标物体；对图像帧中的AR目标物体进行跟踪，确定AR目标物体的位置，获取与所述AR目标物体相关联的AR虚拟内容，对图像帧进行渲染，将所述AR虚拟内容叠加在AR目标物体上进行显示，在终端屏幕上同时显示AR目标物体和AR虚拟内容以供用户进行交互。
目前在AR处理技术中，对已经拍摄的图像上叠加虚拟内容时，往往需要先确定与该拍摄的图像相匹配的模版图像，进而将匹配成功的模版图像所对应的虚拟内容叠加到已经拍摄的图像上。因此将拍摄到的图像与已经保存的模版图像进行匹配是AR处理技术中的一个关键点。
在现有的AR处理技术中，一般是从模版图像上提取能表征模版图像特点的特征点信息，建立特征点信息与模版图像的对应关系。根据从实际拍摄的图像中提取到的特征点信息与之前保存的模版图像的特征点信息进行匹配。但由于模版图像和实际拍摄的图像的拍摄环境、图像大小、曝光强度和/或拍摄角度等均存在差别，因此目前的图像特征点提取方法无法满足AR技术的实际需要。
发明内容
本发明提供了一种数据库构建方法、增强现实融合追踪方法及终端设备，通过对模版图像进行多次缩放来提取模版图像的强特征点，并根据构建的标准模版图像强特征点特征向量与增强现实内容的对应关系来实现对增强现实内容的最终显示和融合。
本发明实施例提供了一种数据库的构建方法，包括：
获取标准模版图像；
将所述标准模版图像缩放N次后形成N+1层图像，所述N为大于等于2的自然数；
提取每一层图像上的特征点，统计每一个特征点在各层图像上出现的次数，并将出现次数为M的特征点称为第一强特征点，所述M为小于等于N+1的自然数；
剔除所述第一强特征点设定区域内的第二强特征点，建立所述第一强特征点的集合；计算所述第一强特征点的特征向量，并建立所述特征向量与所述标准模版图像的对应关系，完成对所述数据库的构建。
优选地，所述N是大于等于3且小于等于20的自然数。
优选地，所述计算所述第一强特征点的特征向量包括：
构建所述第一强特征点的第一邻域；
将所述第一邻域划分为H个子区域，每个所述子区域内共有X个像素点；
计算所述X个像素点中每个像素点的梯度方向，根据所述X个像素点中每个像素点的梯度方向构建所述特征点的特征向量。
优选地，所述每个像素点的梯度方向包括0°-90°、90°-180°、-180°--90°和-90°-0°。
优选地，所述建立所述特征向量与所述标准模版图像的对应关系包括：
将所述第一强特征点的特征向量进行二进制编码，生成所述第一强特征点特征向量的数字签名；
构建所述数字签名与所述标准模版图像编号的对应关系；所述标准模版图像编号与所述标准模版图像一一对应。
优选地，所述方法还包括：构建所述标准模版图像编号与增强现实内容的对应关系。
优选地，所述方法还包括：将所述标准模版图像和/或所述增强现实内容保存在存储器中。
本发明实施例还提供了一种增强现实融合追踪方法，包括：
接收第一图像，所述第一图像是终端设备在进行融合追踪时所拍摄到的真实场景下的图像；
将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；
提取每一层图像上的特征点，并统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；
计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量；
根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
优选地，所述将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量，包括：
计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；
确定所有满足预设匹配规则的数字签名。
优选地，所述方法还包括：
根据所述确定的数字签名查找对应的标准模版图像编号；
统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
优选地，所述统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的模版图像信息，包括：
计算每一幅满足预设条件的标准模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的模版图像即为最优的模版图像信息。
优选地，所述根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪，包括：
预先存储标准模版图像编号与所述增强现实内容的对应关系；
根据所述确定的标准模版图像的编号查找所述标准模版图像所对应的增强现实内容；
将所述增强现实内容与所述第一图像进行融合追踪。
本发明实施例还提供了一种终端设备，包括：
接收单元，用于接收第一图像，所述第一图像是所述终端设备在进行融合追踪时所拍摄到的真实场景下的图像；
图像处理单元，用于将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；提取每一层图像上的特征点，统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；
图像匹配单元，计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点特征向量相匹配的标准模版图像的特征向量；
追踪融合单元，用于根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
优选地，所述图像匹配单元，具体用于计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；确定所有满足预设匹配规则的数字签名。
优选地，所述图像匹配单元，还用于根据所述确定的数字签名查找对应的标准模版图像编号；统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
优选地，所述图像匹配单元，具体用于计算每一幅满足预设条件的标准模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的标准模版图像即为最优的标准模版图像。
优选地，所述追踪融合单元，具体用于根据预先存储的标准模版图像编号与所述增强现实内容的对应关系，查找所述确定的标准模版图像所对应的增强现实内容；将所述增强现实内容与所述第一图像进行融合追踪
本发明实施例所提供的数据库构建方法、增强现实融合追踪方法及终端设备，具有以下有益效果：
1、在构建数据库时，通过对标准模版图像的多次缩放来提取强特征点，并对强特征点的特征向量进行编码后生成数字签名，构建数字签名与标准模版图像的对应关系，使得后续的图像比对更加准确和简便；
2、在后续进行图像比对时，将真实场景下所拍摄到的图像的缩放因子扩大，这样对真实场景下的图像进行缩放的次数比构建数据库时缩放的次数少，更能适合实际场景的需求；
3、当真实场景下的图像所对应的标准模版图像有多个时，取与真实图像距离最小的标准模版图像，提高了图像比对的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述汇总所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所提供的数据库构建方法的流程示意图；
图2是本发明实施例中标准模版图像中像素点P以及邻域的示意图；
图3是本发明实施例所提供的数据库构建方法中强特征点分布图；
图4a是本发明实施例所提供的数据库构建方法中特征点向量的梯度方向分布图；
图4b是本发明实施例所提供的数据库构建方法中特征点向量的梯度直方图；
图5是本发明实施例所提供的终端设备的第一结构示意图；
图6是本发明实施例所提供的终端设备的第二结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1所示，本发明实施例提供了一种数据库构建方法，包括：
S1、采集标准模版图像；
终端设备开启摄像头，对模版图像进行拍摄，获取模版图像，或者也可以使用储存在计算机或者手机等设备中已有的图像或合成的图像作为模版图像，其中所谓的模版图像是指待识别物体的图像，如以书本、杂志封面为代表的的平面图像、还可以是其他的图像，如人或动物肖像、风景名胜图片、自然风景照片等等，前述待识别的物体也可以是增强现实***中可以融合虚拟内容的图像等，所谓的标准模版图像是指在理想环境中对待识别物体所拍摄的图像，如以书本、杂志封面为代表的的平面图像要求拍摄时图像平整且充满整个画面、纹理清晰、画面亮度适中、不能过暗也不能过曝。终端设备将获取到的模版图像发送给特征分析单元进行分析。在本发明实施例中，终端设备可以是手机、PC机、平板电脑、可穿戴设备、无人机以及其他智能设备等。
S2、对标准模版图像进行特征分析，提取标准模版图像的强特征点集合；
特征分析单元获取到终端设备发送的标准模版图像后，对标准模版图像进行特征分析，即对接收到的标准模版图像进行特征点的选取和定位。其中所谓的特征点可以看作是能整体反映该标准模版图像基本信息的像素点。特征点可以分为全局特征和局部特征，能反映图像整体信息的特征，如颜色、亮度、形状等，可以称之为全局特征；而仅反映图像上单个像素点周围局部区域内的信息的特征，可以称之为局部特征。
在本实施例中，可以优先考虑选用标准模版图像的局部特征，因为局部特征相比全局特征更抽象，抗干扰性更好，适用的场景更多，能很好的应对图像出现光照变化、尺度缩放、旋转、平移等情形，更具有鲁棒性。
在本发明实施例中，将局部特征中满足一定条件的像素点称之为特征点，对特征点的选取步骤如下：
A1、对初始标准模版图像进行分层，如第1层是初始标准模版图像，从第2层开始的每一层图像均由前一层图像降采样(缩放)得到。其中降采样的尺度缩放因子可以是s，降采样的次数为N次，这样就得到N+1层图像，由于后一层图像均比前一层图像小，其所构成的图像集合可以称为金字塔型图像。在本实施例一个优选的方案中，N为自然数；在本实施例另外一个优选的方案中，N为大于等于2的自然数；在本发明另外一个优选的实施例中，N为大于等于2小于等于20的自然是，在本实施例另外一个优选的方案中，N可以是3、5、7、9、11、13、15、17、19。在本实施例另外一个优选的方案中，N可以是2、4、6、8、10、12、14、16、18、20等。
A2、对金字塔型图像中每一层图像进行特征点的计算，以第一层图像中的特征点提取为例进行说明，其他层的特征点提取均采用类似方法，其计算过程如下：
将第一层图像的宽度设为w，高设为h，则共有w×h个像素点，在第一层图像上任意选取的一个像素点p，其在图像上的坐标设为为(x，y)。考察以像素点p为中心的周围邻域内所有像素点q，计算该邻域内的度量函数(如灰度、梯度分布等)，若该邻域的度量函数满足预设条件，则称像素点p为特征点，其在图像上的坐标即为特征点的位置。其中预设条件可以是***根据需要任意选取，本发明不作限制，像素点p的周围邻域(注：“邻域”也即“相邻区域”)的大小也可以根据需要任意设定，本发明不做限制。如图2所示，选定的像素点P以及邻域的示意图，其中P的邻域大小可以设定为5*5，也可以根据需要设定其他的大小。按照前述的划分方式及特征点的提取方法，确定第一层图像上的每个像素点是否是特征点，记录所有满足条件的像素点及其坐标，构建由该层图像的特征点构成的集合，计为Fi(i＝1，...，8)。
按照本步骤所提供的方法，逐一构建每一层图像的特征点集合Fi。
A3、对构建到的特征点集合进一步的进行筛选，具体的：如果特征点p1(x，y)在相邻的多个金字塔图像图层中均有出现，则称之为强特征点，反之为弱特征点。如：在相邻n(n大于等于2小于等于N)个图层中均出现了该特征点p1(x，y)，则该特征点p1(x，y)称为强特征点。按照相同的计算规则，对特征点集合中的所有特征点进行筛选，计算所有的强特征点并保留，剔除弱特征点，构建强特征点集合。
图3为强弱特征点的简单示意图，第一层图像中有3个特征点，分别用★，▲和×表示，第二层图像中有3个特征点，也分别用★，▲和×表示，第3层图像中有2个特征点，分别用▲和×表示。同时经过分析也可以看到在每一层图像中，位置坐标是(0.5，0.5)的像素点(特征点×)均为特征点，因此该处的特征点为可以看做是强特征点，而其余的则为弱特征点。需要说明的是，虽然在每一幅图像上均出现了特征点▲，但由于其是出现的位置不同，因此特征点▲不能被认为是强特征点。
A4、获取到强特征点的集合之后，进一步的，还需要对其做进一步的筛选和处理。对于一幅图像而言，选取的强特征点越分散，则其越能尽可能完整的反映该幅图像整体信息，因此强特征点的选取应尽量分散而不能集中。对强特征点集合中的每一个强特征点p，若在p的附近(设定的邻域范围内)还存在另一个像素点q也是强特征点，则需要将q剔除出强特征点集合，仅保留强特征点p即可。按照相同的处理原则对强特征点集合中的所有强特征点分别进行处理，最终得到金字塔型图像图层中的所有满足要求的强征点集合
S3、对最终确定的强特征点集合进行特征提取，获取强特征点的特征向量；
将最终确定的强特征点集合中的强特征点信息从图像上的像素抽象为数学向量，将特征点p所对应的数学向量v称之为特征向量，其具体的计算步骤如下：
B1、对每个设定的强特征点p，以该特征点为中心，选取其周围邻域内的所有点构成图像区块，假设其邻域范围大小为15*15；
B2、将特征点p的邻域图像区块(15*15)分为3*3个子区块，则每个子区块共有5*5个像素点；
B3、在每个子区块内计算每个像素的梯度方向并统计该子区块的直方图分布，需要说明的是，在本发明实施例中，在统计时将梯度方向量化为4个方向分布，分别为0°-90°(方向a)，90°-180°(方向b)，-180°--90°(方向c)，-90°-0°(方向d)，当然还可以将梯度方向量化为8个或者16个方向等。
B4、所有子区块的梯度直方图分布就构成了该特征点的特征向量，其向量的维度为3*3*4＝36维。如图4所示，其中图4a是以特征点p为中心的15*15大小的图像区块，分为3*3个子区块(用粗线表示)，每个子区块共5*5个像素，图上箭头表示区块内每个像素的梯度方向；图4b为每个子区块内梯度直方图分布，每个方框代表一个方向分布，共四种方向分布，即方向a、b、c、d的分布。从而整个图像区块共有3*3*4＝36个梯度分布值，这36维的梯度直方图分布组成的向量就构成了特征p点的特征向量。
需要强调的是：一般而言，一幅标准模版图像可以提取出两个或两个以上的强特征点，每个强特征点都有各自不同的邻域，根据前述的特征向量计算方法，可以获得两个或者两个以上的特征向量，该两个或者两个以上的特征向量构成该标准模版图像的特征向量集合，共同反映该标准模版图像的特征。
S4、根据获取到的特征向量进行特征添加，完成对数据库的构建。
特征添加是将标准模版图像中提取到的所有强特征点特征向量进行汇聚，完成数据库的最终构建，其步骤如下：
C1、将前述步骤得到的所有强特征点P的36维特征向量v进行二进制编码，得到32比特的数字签名b，如果强特征点P的个数为两个或者两个以上，则将每个强特征点的特征向量分别进行编码，得到多个32比特的数字签名b；
C2、将数字签名b连同该签名所属的标准模版图像的编号一起存入数据库***中，最终得到所需的数据库。在本实施例中，还可以将与该标准模版图像相对应的增强现实内容、以及标准模版图像本身存储在数据库、服务器或者云存储设备中。例如存储标准模版图像编号与虚拟增强现实内容的对应关系。或者可以将标准模版图像编号与增强现实内容的标识存储在数据库中，将虚拟增强现实的内容存储在和/或标准模版图像的内容存储在服务器或者云存储设备中。在本实施例中，图像编号与标准模版图像具有一一对应关系。
实施例二
本发明实施例提供了一种增强现实融合追踪方法，包括：
200、构建标准模版图像数据库，在本发明实施例中，对标准模版图像数据库的构建采用如实施例一所述的方法，本实施例不再重复赘述；
201、采集真实场景下的图像，可以将终端设备所在真实场景下所拍摄的图像称为第一图像，具体的：
终端设备的摄像头对真实场景下的图像进行拍摄，真实场景下的图像可以是具体的物体如书本、桌椅，也可以是人或动物肖像，还可以是自然风景，还可以是名片、图画等平面物体。真实场景下的图像在拍摄时可能会受到角度、大小、光照等的影响，甚至在某些情况下，图像还有部分遮挡等，因此第一图像一般会在像素、大小、光照等方面比标准模版图像差。
202、对拍摄到的第一图像进行特征分析，获取第一图像的强特征点集合，具体的：
2021、对第一图像的原始图像进行分层，如通过降采样的方式对原始图像进行缩放，建立金字塔型图像。在本发明实施例中，对第一图像缩放两次，共形成3层图像。需要说明的是：对第一图像的缩放次数至少要小于或等于构建数据库时对标准模版图像的缩放次数，因此第一图像的降采样因子要大于或等于对构建数据库时对标准模版图像的降采样因子。在一个优选的方案中，标准模版图像的降采样因子是s，第一图像的降采样因子是s2。
2022、对金字塔型图像的每一层图像进行特征点的提取，以第一层为例，其提取过程如下：
将第一层图像的宽度设为w，高设为h，则共有w×h个像素点，在第一层图像上任意选取的一个像素点p，其在图像上的坐标设为为(x，y)。考察以像素点p为中心的周围邻域内所有像素点q，计算该邻域内的度量函数(如灰度、梯度分布等)，若该邻域的度量函数满足预设条件，则称像素点p为特征点，其在图像上的坐标即为特征点的位置。其中预设条件可以是***根据需要任意选取，本发明不作限制，像素点p的周围邻域的大小也可以根据需要任意设定，本发明不做限制。如图2所示，选定的像素点P以及邻域的示意图，其中P的邻域大小为5*5。按照前述的划分方式及特征点的提取方法，确定第一层图像上的每个像素点是否是特征点，记录所有满足条件的像素点及其坐标，构建由该层图像的特征点构成的集合，计为Fi(i＝1，2，3)。
按照本步骤所提供的方法，逐一构建每一层图像的特征点集合。
2023、构建到每层图像的特征点集合Fi后，还应对构建到的特征点集合进一步的进行筛选，具体的：如果特征点p1(x，y)在相邻的多个金字塔图像图层中均有出现，则称之为强特征点，反之为弱特征点。如：在相邻n(n大于等于2小于等于N)个图层中均出现了该特征点p1(x，y)，则该特征点p1(x，y)称为强特征点。按照相同的计算规则，对特征点集合中的所有特征点进行筛选，计算所有的强特征点并保留，剔除弱特征点，构建强特征点集合。图3为强弱特征点的简单示意图，第一层图像中有3个特征点，分别用★，▲和×表示，第二层图像中有3个特征点，也分别用★，▲和×表示，第3层图像中有2个特征点，分别用▲和×表示。同时经过分析也可以看到在每一层图像中，位置坐标是(0.5，0.5)的像素点(特征点×)均为特征点，因此该处的特征点为可以看做是强特征点，而其余的则为弱特征点。
2024、获取到强特征点的集合之后，进一步的，还需要对其做进一步的筛选和处理。对于一幅图像而言，选取的强特征点越分散，则其越能尽可能完整的反映该幅图像整体信息，因此强特征点的选取应尽量分散而不能集中。对强特征点集合中的每一个强特征点p，若在p的附近(设定的邻域范围内)还存在另一个像素点q也是强特征点，则需要将q剔除出强特征点集合，仅保留强特征点p即可。按照相同的处理原则对强特征点集合中的所有强特征点分别进行处理，最终得到金字塔型图像图层中的所有满足要求的强征点集合
203、将最终确定的强特征点集合进行特征提取，获取强特征点的特征向量
将最终确定的强特征点集合中的强特征点信息从图像上的像素抽象为数学向量，将特征点p所对应的数学向量v称之为特征向量，其具体的计算步骤如下：
2031、对每个设定的强特征点p，以该特征点为中心，选取其周围邻域内的所有点构成图像区块，假设其邻域范围大小为15*15；
2032、将特征点p的邻域图像区块(15*15)分为3*3个子区块，则每个子区块共有5*5个像素点；
2033、在每个子区块内计算每个像素的梯度方向并统计该子区块的直方图分布，需要说明的是，在本发明实施例中，在统计时将梯度方向量化为4个方向分布，分别为0°-90°、90°-180°、-180°--90°和-90°-0°，当然还可以将梯度方向量化为8个或者16个方向等。
2034、所有子区块的梯度直方图分布就构成了该特征点的特征向量，其向量的维度为3*3*4＝36维。
204、根据第一图像的特征向量与数据库中的标准模版图像进行比对，确定所述第一图像所对应的标准模版图像，具体的：
2041、对第一图像所提取的所有36维特征向量v进行二进制编码，得到其对应的32比特的数字签名b；
2042、将第一图像的所有数字签名b与数据库中所有标准模版图像的数字签名进行一一对比，找到与之距离最为接近标准模版图像数字签名，进行匹配，每个标准模版图像数字签名对应于一个标准模版图像；
2043、统计与第一图像相匹配的所有数字签名所对应的标准模版图像的编号，统计出现次数最多的Q幅标准模版图像作为候选标准模版图像，其中Q为自然数，可以根据需要设定Q值；
2044、对候选的Q幅标准模版图像，分别计算其与第一图像之间的单应变矩阵Hi，该变换即为第一图像的粗姿态信息，其中单应变矩阵Hi具有如下的形式：
在上述单应变矩阵Hi中，等式左边为第一图像强特征点的空间坐标的齐次表达，因此x和y是第一图像中强特征点在第一图像中的坐标，等式右边为单应变矩阵H和标准模版图像强特征点的空间坐标的齐次表达，因此x’，y’是标准模版图像中强特征点在标准模版图像中的坐标。单应矩阵H有9个元素，去除全局缩放因子外共有8个自由度(即8个独立的比率)。实际计算中，第一图像与标准模版图像之间往往存在很多组相匹配的特征点，因而上述方程的求解就变成一个超定问题，具有最小二乘意义上的最优解，根据相互匹配的特征点的坐标(x，y)和(x’，y’)即可求解到单应变矩阵H的9个元素值。需要说明的是：单应变矩阵H的9个矩阵元素各自本身并没有特殊的含义，9个元素组成形式的不同代表变换的不同层次，典型的如欧式变换、相似变换、仿射变换以及最高层次的射影变换。变换的层次越高，其几何不变量越少。矩阵H可以是上述某一层次的变换，也可以是某几个层次变换的复合变换。
2045、求解完候选标准模版图像与第一图像之前的单应变换矩阵Hi后，对其进行进一步的几何验证(如计算重投影误差等)，选出最优的变换矩阵H。其中，几何验证的方法可以使用现有技术中常用的几何验证方法，包括但不限于：检查形状是否为凸多边形、检查纵横比是否合理、检查内角是否过大或过小等等；最优的变换矩阵H所对应的候选标准模版图像即为该第一图像所识别出的标准模版图像。
205、根据确定的标准模版图像所对应的增强现实内容对第一图像进行融合追踪。
获取到第一图像所对应的标准模版图像后，根据所述标准模版图像获取其对应的增强现实内容，并将增强现实内容与所述第一图像进行融合追踪，即把增强现实内容投射到第一图像上，完成将增强现实内容与第一图像的叠加。
在本发明实施例中，由于终端设备不可能一直静止不动，因此在终端设备的摄像头采集第一图像的过程中，一旦完成了特征识别，则后续的图像采集过程将不再需要重复进行特征分析、特征提取、特征识别等复杂的计算和操作，而直接进行追踪即可。追踪的过程即是不停的更新识别目标的姿态的过程，从而将需要展示的增强现实内容投射在正确的位置上。
实施例三
如图5所示，本发明实施例提供了一种终端设备，包括接收单元501、图像处理单元503、图像匹配单元505和追踪融合单元507，其中：
接收单元501，用于接收第一图像，所述第一图像是所述终端设备在进行融合追踪时所拍摄到的真实场景下的图像；
图像处理单元503，用于将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；提取每一层图像上的特征点，统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；
图像匹配单元505，计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点特征向量相匹配的标准模版图像的特征向量；
追踪融合单元507，用于根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
在本发明一个实施例中，所述图像匹配单元505，具体用于计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；确定所有满足预设匹配规则的数字签名。
在本发明一个实施例中，所述图像匹配单元505还用于根据所述确定的数字签名查找对应的标准模版图像编号；统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
在本发明一个实施例中，所述图像匹配单元505具体用于计算每一幅满足预设条件的模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的标准模版图像即为最优的标准模版图像。
在本发明一个实施例中，所述追踪融合单元507具体用于根据预先存储的标准模版图像编号与所述增强现实内容的对应关系，查找所述确定的标准模版图像所对应的增强现实内容；将所述增强现实内容与所述第一图像进行融合追踪。
本发明实施例所提供的终端设备可以是手机、PC机、平板电脑、可穿戴设备、无人机以及其他智能设备等。
本发明实施例所提供的终端设备可以应用在实施例二所述的AR融合追踪方法中，因此本实施例中未详细描述的地方可以参照实施例二中的相应描述。
实施例四
如图6所示，本发明实施例还提供了一种终端设备，包括存储器601和处理器603，其中：
所述存储器601用于存储代码，所述代码包括：接收第一图像，所述第一图像是终端设备在进行融合追踪时所拍摄到的真实场景下的图像；将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；提取每一层图像上的特征点，并统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量；根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪；
所述处理器603用于执行所述存储器601中存储的代码。
在本发明一个实施例中，所述存储器601中所存储的代码还包括：
计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；
确定所有满足预设匹配规则的数字签名。
在本发明一个实施例中，所述存储器601中所存储的代码还包括：
根据所述确定的数字签名查找对应的标准模版图像编号；
统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
在本发明一个实施例中，所述存储器601中所存储的代码还包括：
计算每一幅满足预设条件的标准模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的模版图像即为最优的模版图像信息。
在本发明一个实施例中，所述存储器601中所存储的代码还包括：
预先存储标准模版图像编号与所述增强现实内容的对应关系；
根据所述确定的标准模版图像的编号查找所述标准模版图像所对应的增强现实内容；
将所述增强现实内容与所述第一图像进行融合追踪。
本发明实施例所提供的终端设备可以是手机、PC机、平板电脑、可穿戴设备、无人机以及其他智能设备等。
本发明实施例所提供的终端设备可以应用在实施例二所述的AR融合追踪方法中，因此本实施例中未详细描述的地方可以参照实施例二中的相应描述。
应该理解，本发明的各种实施例中，上述各过程中序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或者组件可以结合或者可以继承到一个***，或者一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其他的形式连接。
所述作为分离部件说明的单元可以是或者可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在个单元中。上述集成的单元即可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或者软件实现，或它们的组合方式来实现。当使用软件实现时，可以见上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外，任何连接可以适当的成为计算机可读介质，例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(SDL)或者诸如红外线、无线电和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的盘(Disk)和碟(Disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种数据库的构建方法，其特征在于：包括：
获取标准模版图像；
将所述标准模版图像缩放N次后形成N+1层图像，所述N为大于等于2的自然数；
提取每一层图像上的特征点，统计每一个特征点在各层图像上出现的次数，并将出现次数为M的特征点称为第一强特征点，所述M为小于等于N+1的自然数；
剔除所述第一强特征点设定区域内的第二强特征点，建立所述第一强特征点的集合；计算所述第一强特征点的特征向量，并建立所述特征向量与所述标准模版图像的对应关系，完成对所述数据库的构建。
2.根据权利要求1所述的构建方法，其特征在于：所述N是大于等于3且小于等于20的自然数。
3.根据权利要求1所述的方法，其特征在于，所述计算所述第一强特征点的特征向量，包括：
构建所述第一强特征点的第一邻域；
将所述第一邻域划分为H个子区域，每个所述子区域内共有X个像素点；
计算所述X个像素点中每个像素点的梯度方向，根据所述X个像素点中每个像素点的梯度方向构建所述特征点的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述每个像素点的梯度方向包括0°-90°、90°-180°、-180°--90°和-90°-0°。
5.根据权利要求1或2所述的方法，其特征在于，所述建立所述特征向量与所述标准模版图像的对应关系，包括：
将所述第一强特征点的特征向量进行二进制编码，生成所述第一强特征点特征向量的数字签名；
构建所述数字签名与所述标准模版图像编号的对应关系；所述标准模版图像编号与所述标准模版图像一一对应。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
构建所述标准模版图像编号与增强现实内容的对应关系。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述标准模版图像和/或所述增强现实内容保存在存储器中。
8.一种增强现实融合追踪方法，其特征在于：包括：
接收第一图像，所述第一图像是终端设备在进行融合追踪时所拍摄到的真实场景下的图像；
将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；
提取每一层图像上的特征点，并统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；
计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量；
根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
9.根据权利要求8所述的方法，其特征在于：所述将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点信息的特征向量相匹配的标准模版图像的特征向量，包括：
计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；
确定所有满足预设匹配规则的数字签名。
10.根据权利要求9所述的方法，其特征在于：所述方法还包括：
根据所述确定的数字签名查找对应的标准模版图像编号；
统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
11.根据权利要求10所述的方法，其特征在于：所述统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的模版图像信息，包括：
计算每一幅满足预设条件的标准模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的模版图像即为最优的模版图像信息。
12.根据权利要求8至11任一所述的方法，其特征还在于：所述根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪，包括：
预先存储标准模版图像编号与所述增强现实内容的对应关系；
根据所述确定的标准模版图像的编号查找所述标准模版图像所对应的增强现实内容；
将所述增强现实内容与所述第一图像进行融合追踪。
13.一种终端设备，其特征在于：包括：
接收单元，用于接收第一图像，所述第一图像是所述终端设备在进行融合追踪时所拍摄到的真实场景下的图像；
图像处理单元，用于将所述第一图像缩放W次后，形成W+1层图像，所述W为自然数；提取每一层图像上的特征点，统计每一个特征点在各层图像上出现的次数，并将出现次数为U的特征点称为第三强特征点，所述U为小于等于W+1的自然数；
图像匹配单元，计算所述第三强特征点的特征向量，将所述第三强特征点的特征向量与预先保存在数据库中的标准模版图像的特征点的特征向量进行比对，确定与所述第三强特征点特征向量相匹配的标准模版图像的特征向量；
追踪融合单元，用于根据所述标准模版图像向量所对应的标准模版图像确定与所述标准模版图像相对应的增强现实内容，并将所述增强现实内容与所述第一图像进行融合追踪。
14.根据权利要求13所述的终端设备，其特征在于：
所述图像匹配单元，具体用于计算所述第三强特征点特征向量的数字签名，根据所述第三强特征点特征向量的数字签名与预先存储的标准模版图像的数字签名信息进行比对；确定所有满足预设匹配规则的数字签名。
15.根据权利要求14所述的终端设备，其特征在于：
所述图像匹配单元，还用于根据所述确定的数字签名查找对应的标准模版图像编号；统计所述标准模版图像编号所对应的标准模版图像，挑选出最优的标准模版图像。
16.根据权利要求15所述的终端设备，其特征在于：
所述图像匹配单元，具体用于计算每一幅满足预设条件的标准模版图像与所述第一图像之间的单应变换矩阵，并对所有的单应变换矩阵进行几何验证，选出最优的单应变换矩阵，所述最优单应变换矩阵所对应的标准模版图像即为最优的标准模版图像。
17.根据权利要求13至16任一所述的终端设备，其特征在于：
所述追踪融合单元，具体用于根据预先存储的标准模版图像编号与所述增强现实内容的对应关系，查找所述确定的标准模版图像所对应的增强现实内容；将所述增强现实内容与所述第一图像进行融合追踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610052615.8A CN106997366B (zh) | 2016-01-26 | 2016-01-26 | 数据库构建方法、增强现实融合追踪方法及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610052615.8A CN106997366B (zh) | 2016-01-26 | 2016-01-26 | 数据库构建方法、增强现实融合追踪方法及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106997366A CN106997366A (zh) | 2017-08-01 |
| CN106997366B true CN106997366B (zh) | 2020-05-15 |
Family
ID=59428384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610052615.8A Active CN106997366B (zh) | 2016-01-26 | 2016-01-26 | 数据库构建方法、增强现实融合追踪方法及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106997366B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111248B (zh) * | 2019-03-15 | 2023-03-24 | 西安电子科技大学 | 一种基于特征点的图像拼接方法、虚拟现实***、照相机 |
| CN110926478B (zh) * | 2019-12-16 | 2021-10-08 | 视辰信息科技(上海)有限公司 | 一种ar导航路线纠偏方法、***及计算机可读存储介质 |
| CN111986089A (zh) * | 2020-08-28 | 2020-11-24 | 计易数据科技(上海)有限公司 | 特征值整数化的图像存储与比对方法、装置、设备和介质 |
| CN112561793B (zh) * | 2021-01-18 | 2021-07-06 | 深圳市图南文化设计有限公司 | 一种平面设计空间转换方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
| CN103218783A (zh) * | 2013-04-17 | 2013-07-24 | 国家测绘地理信息局卫星测绘应用中心 | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 |
| CN103268358A (zh) * | 2013-06-05 | 2013-08-28 | 国家测绘地理信息局卫星测绘应用中心 | 多源控制点影像数据库构建及更新方法 |
| CN103578093A (zh) * | 2012-07-18 | 2014-02-12 | 成都理想境界科技有限公司 | 图像配准方法、装置及增强现实*** |
| CN104537705A (zh) * | 2015-01-23 | 2015-04-22 | 济宁医学院 | 基于增强现实的移动平台三维生物分子展示***和方法 |
-
2016
- 2016-01-26 CN CN201610052615.8A patent/CN106997366B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578093A (zh) * | 2012-07-18 | 2014-02-12 | 成都理想境界科技有限公司 | 图像配准方法、装置及增强现实*** |
| CN103065135A (zh) * | 2013-01-25 | 2013-04-24 | 上海理工大学 | 基于数字图像处理的车牌号码匹配算法 |
| CN103218783A (zh) * | 2013-04-17 | 2013-07-24 | 国家测绘地理信息局卫星测绘应用中心 | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 |
| CN103268358A (zh) * | 2013-06-05 | 2013-08-28 | 国家测绘地理信息局卫星测绘应用中心 | 多源控制点影像数据库构建及更新方法 |
| CN104537705A (zh) * | 2015-01-23 | 2015-04-22 | 济宁医学院 | 基于增强现实的移动平台三维生物分子展示***和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106997366A (zh) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Parallax-tolerant image stitching based on robust elastic warping | |
| CN110246163B (zh) | 图像处理方法及其装置、设备、计算机存储介质 | |
| CN112581629A (zh) | 增强现实显示方法、装置、电子设备及存储介质 | |
| CN107633526A (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
| CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
| CN106997366B (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
| CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN106997617A (zh) | 混合现实虚拟呈现方法及装置 | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN113706373A (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| CN109117693B (zh) | 一种基于广角取景的扫描识别的方法及终端 | |
| CN111353325A (zh) | 关键点检测模型训练方法及装置 | |
| CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
| CN114004890B (zh) | 姿态确定方法、装置、电子设备和存储介质 | |
| CN113298871B (zh) | 地图生成方法、定位方法及其***、计算机可读存储介质 | |
| CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| JP5931646B2 (ja) | 画像処理装置 | |
| CN116129049B (zh) | 图像处理方法、设备、存储介质及程序产品 | |
| CN113393506B (zh) | 图像配准方法及相关装置、设备 | |
| CN116051876A (zh) | 三维数字化模型的相机阵列目标识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Database construction methods, augmented reality fusion tracking methods, and terminal devices Effective date of registration: 20230925 Granted publication date: 20200515 Pledgee: Bank of Shanghai Limited by Share Ltd. Pudong branch Pledgor: VISIONSTAR INFORMATION TECHNOLOGY (SHANGHAI) Co.,Ltd. Registration number: Y2023310000592 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |