CN111967531B - 一种基于多特征融合的高精度室内图像定位方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的高精度室内图像定位方法，属于图像处理与室内定位领域，利用摄像头采集室内场景的照片，并上传至在线图像库中进行图像匹配，得到最佳匹配图像，返回所对应的位置信息而实现定位。利用提出的多特征融合模型，对场景图片的方向梯度直方图、颜色空间以及局部二进制模式特征进行特征融合，同时对特征向量进行标准化来降低图像噪声的影响，来进一步提高定位的精度。经实验表明这种基于多特征融合的高精度室内图像定位方法能快速且精确的得到用户拍照时的位置及方位信息。

Description

一种基于多特征融合的高精度室内图像定位方法

技术领域

本发明属于图像处理与室内定位领域，具体涉及一种基于多特征融合的高精度室内图像定位方法。

背景技术

随着移动通信技术与无线网络的发展，基于位置的服务(Location BasedServices,LBS)在现代人的生活中起着至关重要的作用。通过GPS进行室外定位已经不能充分满足人们对位置信息的需求，精准的室内定位在室内外定位的无缝连接中起着至关重要的作用。

室内定位技术是指在室内环境中对目标位置进行精确定位，主要采用由无线通讯、射频技术和图像处理等多种技术组成的一套室内位置定位体系，来实现人员、物体等在室内空间中的位置服务。对于室内定位问题不同的学者提出了不同方向的解决方案，包括基于WLAN、超声波、红外线可见光、蓝牙、超宽带以及图像匹配定位技术等室内定位的解决方案。

室内定位的主要问题是面临复杂的信号传播环境，室内环境下有较多的障碍物，无线信号在传播的过程中，可能会产生反射、折射、多径效应等现象，十分不利于终端设备对无线信号信息的判断，比如超声波技术和射频技术定位精度高，但受多径效应和非视距传播影响很大，且频率受多普勒效应和温度影响；WIFI技术能够普遍应用在写字楼、学校、机场、医疗机构、商场等各种配备有WIFI信号的场合，因此部署成本最低，但由于多径效应不可避免，因此定位精度较差。如上所述，现有的基于信号衰减模型的定位算法难以满足亚米级别的定位精度要求，并且现有的室内定位技术只能获得用户的平面位置信息，不能得到用户的方向信息。

有鉴于上述现有的定位算法存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种高精度室内图像定位方法，使其更具有实用性。经过不断的研究、设计，并经反复试作样品及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明所要解决的技术问题为：基于信号衰减的定位模型不可避免地存在着反射、折射、多径效应等现象，定位算法难以满足亚米级别的定位精度要求，同时存在需要大量基础硬件设施、花费成本较高的缺点，且不能得到用户的方向信息等。

本发明的目的在于提供一种基于多特征融合的高精度室内图像定位方法，利用手机摄像头采集室内场景的照片，上传至在线图像库中进行图像匹配，得到最佳匹配图像，并返回对应的拍摄者方位角度和位置信息而实现定位。整个定位过程的实现只需要一部能连接网络且带有摄像头的手机而无需额外的设备投入。另外，该方法定位精度高且时效快，不受多径效应和非视距传播的影响，并且能返回用户的方位信息。

本发明提出了基于图像的多特征融合模型，在离线采集阶段，对于一张场景图像，分别提取其方向梯度直方图、颜色空间以及局部二进制模式特征响应，为了减少噪声、消除各个特征向量之间的量纲影响，对三个不同的特征向量进行标准化，将标准化后的向量进行两两逐元素相乘后并进行融合，将融合特征向量关联拍摄时的方位角和相应坐标后，送入支持向量机(Support Vector Machine,SVM)进行训练得到图像融合模型。在线定位阶段，用户通过手机摄像头采集某一场景的图像，提取特征融合特征之后输入SVM预测匹配最佳的场景图像，得到关联的拍摄方位角和位置信息。

为实现上述目的，本发明提供如下技术方案：

一种基于多特征融合的高精度室内图像定位方法，包括如下步骤：

步骤1，对一张室内场景图像I进行预处理操作，首先进行缩放，得到缩放后的图像I₁；

步骤2，对缩放后的所述图像I₁进行Gamma校正，得到图像I₂，对所述图像I₂进行灰度处理，得到图像I₃；

步骤3，对所述图像I₃求梯度，得到水平与垂直方向上的梯度g_x、g_y与梯度幅值|g_xy|，并根据所述水平与垂直方向上的梯度g_x、g_y，计算梯度方向α；

步骤4，构建梯度直方图，将图像划分为i个子区域和j个滑动窗口，首先遍历子区域得到投影矩阵p′_i，再利用滑动窗口对所述投影矩阵p′_i进行归一化处理，得到p_j，再将所述p_j进行级联得到图像全局特征向量F；

步骤5，对所述图像I₂的每个像素点i进行遍历，构建局部HSV颜色空间向量c_i，将所有的向量组合得到图像全局HSV颜色空间向量H；

步骤6，将所述图像I₃划分为3×3的k个子区域，对每一个子区域的中心像素点，比较所述中心像素点与周围像素点的大小后，得到一个二进制的数值，转换为十进制后得到特征值d_k，将每一个所述特征值d_k组合后得到特征向量L；

步骤7，将所述图像全局特征向量F、所述图像全局HSV颜色空间向量H和所述特征向量L分别进行标准化，得到Q_F、Q_H和Q_L；

步骤8，将进行标准化后的所述Q_F、Q_H和Q_L逐个元素相乘后进行两两融合，得到Q_FH、Q_FL以及Q_HL；

步骤9，对所述Q_FH、Q_FL以及Q_HL进行线性组合，得到最终融合特征向量M；

步骤10，将所述融合特征向量M输入到支持向量机中对数据库特征集进行预测与匹配，返回匹配图像所标记的坐标和方位角度。

进一步的，所述步骤1缩放后的所述图像I₁的尺寸大小为240×320cm²。

进一步的：所述步骤2的所述Gamma校正采用平方根法，表达式为：

其中I(x,y)为图像，K_Gamma校正值，本发明取K_Gamma＝0.33；

对图像进行灰度处理的公式为：

Gray＝0.299R+0.587G+0.114B

其中R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

进一步的：所述步骤3中求所述水平与垂直方向上的梯度g_x与g_y的公式为：

其中l(x,y)表示图像的像素值；

计算所述梯度幅值|g_xy|与所述梯度方向α的公式为：

进一步的：所述步骤4中的所述图像全局特征向量F＝{p₁,p₂,···,p_j}。

进一步的：所述步骤5中由所述图像I₂向量转换HSV向量的公式为：

颜色空间向量H＝{c₁,c₂,···,c_i}，其中c_i＝{h_i,s_i,v_i}；

其中，R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

进一步的：所述步骤6中图像全局特征向量L＝{d₁,d₂,···,d_k}。

进一步的：所述步骤7中对特征向量进行标准化的公式为：

Q_f＝ω_ff

其中f∈{F,H,L}，

且σ_f和μ_f分别是Q_f的均值和标准差。

进一步的：所述的步骤8中特征向量逐个元素相乘后进行两两融合的方式为：

Q_f1f2＝Q_f1⊙Q_f2

其中f₁∈{F,H,L}，f₂∈{F,H,L}且f₁≠f₂，⊙表示对单个特征值进行逐个地相乘。

进一步的：所述的步骤9中进行特征组合的方式为：

其中

且f₁≠f₂，

和

分别表示

的均值和标准差。

如上任一种所述的基于多特征融合的高精度室内图像定位方法应用于图像处理与室内定位。

采用上述技术方案，能够实现以下技术效果：

1、本发明无需大量的基础硬件设施，仅仅借助一部带摄像头并且可联网的手机便可完成所有图像数据的采集和设备的在线定位等工作；

2、本发明使用图像处理与匹配的方式实现定位，不存在反射、折射、多径效应等现象，不受非视距传播的影响，并且通过本发明的预处理过程之后，可有效降低图像光照对定位效果的影响；

3、本发明使用图像的多个特征进行特征融合与匹配，并对融合前的特征向量进行了标准化操作，可有效应对特征值之间的量纲影响，减少图像噪声所带来的不利干扰，提高了匹配的精度和速度；

4、本发明的定位精度高且定位速度快，不仅能获取用户的具体坐标位置，而且够得到用户拍摄时的方向角度等信息；

5、整个定位过程不仅简单高效，而且不需添加额外的设备成本。

附图说明

图1为基于多特征融合的高精度室内图像定位方法流程示意图；

图2为构建特征数据库示意图；

图3为定位算法流程示意图；

图4为***实际定位效果示意图；

具体实施方式

为更进一步阐述本发明为达成发明目的所采取的技术手段及功效,对依据本发明提出的基于多特征融合的高精度室内图像定位方法及其应用方法其具体实施方式、特征及其功效，详细说明如后。

本发明公开了一种基于多特征融合的高精度室内图像定位方法，包括如下步骤：

步骤1，对一张室内场景图像I进行预处理操作，首先进行缩放，得到缩放后的图像I₁；

步骤2，对缩放后的图像I₁进行Gamma校正，得到图像I₂，对图像I₂进行灰度处理，得到图像I₃；

步骤3，对图像I₃求梯度，得到水平与垂直方向上的梯度g_x、g_y与梯度幅值|g_xy|，并根据所述水平与垂直方向上的梯度g_x、g_y，计算梯度方向α；

步骤4，构建梯度直方图，将图像划分为i个子区域和j个滑动窗口，首先遍历子区域得到投影矩阵p′_i，再利用滑动窗口对所述投影矩阵p′_i进行归一化处理，得到p_j，再将p_j进行级联得到图像全局特征向量F；

步骤5，对图像I₂的每个像素点i进行遍历，构建局部HSV颜色空间向量c_i，将所有的向量组合得到图像全局HSV颜色空间向量H；

步骤6，将图像I₃划分为3×3的k个子区域，对每一个子区域的中心像素点，比较中心像素点与周围像素点的大小后，得到一个二进制的数值，转换为十进制后得到特征值d_k，将每一个特征值d_k组合后得到特征向量L；

步骤7，将图像全局特征向量F、图像全局HSV颜色空间向量H和特征向量L分别进行标准化，得到Q_F、Q_H和Q_L；

步骤8，将进行标准化后的Q_F、Q_H和Q_L逐个元素相乘后进行两两融合，得到Q_FH、Q_FL以及Q_HL；

步骤9，对Q_FH、Q_FL以及Q_HL进行线性组合，得到最终融合特征向量M；

步骤10，将融合特征向量M输入到支持向量机中对数据库特征集进行预测与匹配，返回匹配图像所标记的坐标和方位角度。

进一步的：步骤1缩放后的图像I₁的尺寸大小优选为240×320cm²。

进一步的：步骤2的所述Gamma校正采用平方根法，表达式为：

其中I(x,y)为图像，K_Gamma校正值，本发明取K_Gamma＝0.33；

对图像进行灰度处理的公式为：

Gray＝0.299R+0.587G+0.114B

其中R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

进一步的：步骤3中求水平与垂直方向上的梯度g_x与g_y的公式为：

其中l(x,y)表示图像的像素值；

计算梯度幅值|g_xy|与梯度方向α的公式为：

进一步的：步骤4中的图像全局特征向量F＝{p₁,p₂,···,p_j}。

进一步的：步骤5中由图像I₂向量转换HSV向量的公式为：

颜色空间向量H＝{c₁,c₂,···,c_i}，其中c_i＝{h_i,s_i,v_i}；

其中，R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

进一步的：步骤6中图像全局特征向量L＝{d₁,d₂,···,d_k}。

进一步的：步骤7中对特征向量进行标准化的公式为：

Q_f＝ω_ff

其中f∈{F,H,L}，

且σ_f和μ_f分别是Q_f的均值和标准差。

进一步的：步骤8中特征向量逐个元素相乘后进行两两融合的方式为：

其中f₁∈{F,H,L}，f₂∈{F,H,L}且f₁≠f₂，⊙表示对单个特征值进行逐个地相乘。

进一步的：步骤9中进行特征组合的方式为：

其中

且f₁≠f₂，

和

分别表示

的均值和标准差。

上述任一种基于多特征融合的高精度室内图像定位方法应用于图像处理与室内定位。

下面结合说明书附图及具体实施例对本发明基于多特征融合的高精度室内图像定位方法进行详细说明。

实施例：

离线采集阶段时，输入一张大小为480×640cm²的场景图像I，首先对图像进行缩放处理，得到尺寸大小为240×320cm²的图像I₁，采用K_Gamma＝0.33的平方根法对图像进行Gamma处理后得到I₂，再对图像I₂进行灰度处理后得到图像I₃。预处理完成之后，对图像I₃求梯度，得到水平与垂直方向上的梯度g_x、g_y与梯度幅值|g_xy|，并计算梯度方向α。对梯度构建直方图，以求得区域投影矩阵p′_i，利用滑动窗口对区域投影矩阵p′_i进行归一化处理得到p_j，遍历完图像的所有像素点后便得到图像全局特征向量F，其中F＝{p₁,p₂,···,p_j}。对图像I₂的每个像素点遍历求得HSV颜色空间向量c_i，组合后得到颜色空间向量H，最后对灰度图像I₃划分为3×3的子区域，以子区域的中心像素点为阈值，比较与周围像素点的大小后得到一个二进制的数值，转换为十进制后得到此子区域的特征值，将每一个特征值组合后得到特征向量L。将特征向量F、H和L进行标准化，得到Q_F、Q_H和Q_L，将进行标准化后特性向量Q_F、Q_H和Q_L进行两两融合，得到Q_FH、Q_FL以及Q_HL，最后对Q_FH、Q_FL以及Q_HL进行标准化并线性加权组合，得到最终融合向量M，融合流程如图1所示。将融合特征向量M与采样点的坐标和方位信息进行一一对应，并且对多个采集点进行以上步骤后，便构建了图像特征数据库，图2为构建图像数据库示意图，对数据库的图像数据进行SVM(Support Vector Machine)训练后得到一个SVM定位分类器模型。

在线定位阶段，同样进行获取融合特征向量M等步骤，融合特征向量M将输入到SVM定位分类器模型中对数据库特征集进行预测与匹配，并返回匹配图像所标记的坐标和方位角度等信息。本发明完整的***流程图如图3所示。得到结果后，***便将坐标和方位角度等信息显示在界面上，并在地图中以符号绿色圆点标记出具***置，以符号红色三角形代表具体采集点的位置，界面如图4所示，具***置及具体采集点的位置还可以用其他符号代表。

本发明公开的一种基于多特征融合的高精度室内图像定位方法，利用摄像头采集室内场景的照片，并上传至在线图像库中进行图像匹配，得到最佳匹配图像，返回所对应的位置信息而实现定位。该方法利用提出的多特征融合模型，对场景图片的方向梯度直方图、颜色空间以及局部二进制模式特征进行特征融合，同时对特征向量进行标准化来降低图像噪声的影响，来进一步提高定位的精度。另外，经实验表明这种基于多特征融合的高精度室内图像定位方法能快速且精确的得到用户拍照时的位置及方位信息。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于多特征融合的高精度室内图像定位方法，其特征在于：包括如下步骤：

步骤1，对一张室内场景图像I进行预处理操作，首先进行缩放，得到缩放后的图像I₁；

步骤2，对缩放后的所述图像I₁进行Gamma校正，得到图像I₂，对所述图像I₂进行灰度处理，得到图像I₃；

步骤3，对所述图像I₃求梯度，得到水平与垂直方向上的梯度g_x、g_y与梯度幅值|g_xy|，并根据所述水平与垂直方向上的梯度g_x、g_y，计算梯度方向α；

步骤4，构建梯度直方图，将图像划分为i个子区域和j个滑动窗口，首先遍历子区域得到投影矩阵p′_i，再利用滑动窗口对所述投影矩阵p′_i进行归一化处理，得到p_j，再将所述p_j进行级联得到图像全局特征向量F；

步骤5，对所述图像I₂的每个像素点i进行遍历，构建局部HSV颜色空间向量c_i，将所有的向量组合得到图像全局HSV颜色空间向量H；

步骤6，将所述图像I₃划分为3×3的k个子区域，对每一个子区域的中心像素点比较所述中心像素点与周围像素点的大小后，得到一个二进制的数值，转换为十进制后得到特征值d_k，将每一个所述特征值d_k组合后得到特征向量L；

步骤7，将所述图像全局特征向量F、所述图像全局HSV颜色空间向量H和所述特征向量L分别进行标准化，得到Q_F、Q_H和Q_L；

步骤8，将进行标准化后的所述Q_F、Q_H和Q_L逐个元素相乘后进行两两融合，得到Q_FH、Q_FL以及Q_HL；

步骤9，对所述Q_FH、Q_FL以及Q_HL进行线性组合，得到最终融合特征向量M；

步骤10，将所述融合特征向量M输入到支持向量机中对数据库特征集进行预测与匹配，返回匹配图像所标记的坐标和方位角度。

2.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤1缩放后的所述图像I₁的尺寸大小为240×320cm²。

3.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤2的所述Gamma校正采用平方根法，表达式为：

其中I(x,y)为图像，K_Gamma为校正值；

对图像进行灰度处理的公式为：

Gray＝0.299R+0.587G+0.114B

其中R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

4.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤3中求所述水平与垂直方向上的梯度g_x与g_y的公式为：

其中l(x,y)表示图像的像素值；

计算所述梯度幅值|g_xy|与所述梯度方向α的公式为：

5.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤4中的所述图像全局特征向量F＝{p₁,p₂,…,p_j}。

6.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤5中由所述图像I₂向量转换HSV向量的公式为：

颜色空间向量H＝{c₁,c₂,…,c_i}，其中c_i＝{h_i,s_i,v_i}；

其中，R、G、B分别代表一个像素点中的红色分量、绿色分量和蓝色分量。

7.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤7中对特征向量进行标准化的公式为：

Q_f＝ω_ff

其中f∈{F,H,L}，

且σ_f和μ_f分别是Q_f的均值和标准差。

8.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤8中特征向量逐个元素相乘后进行两两融合的方式为：

其中f₁∈{F,H,L}，f₂∈{F,H,L}且f₁≠f₂，⊙表示对单个特征值进行逐个地相乘。

9.根据权利要求1所述的一种基于多特征融合的高精度室内图像定位方法，其特征在于：所述步骤9中进行特征组合的方式为：

其中

且f₁≠f₂，

和

分别表示

的均值和标准差。

10.根据权利要求1-9任一项所述的基于多特征融合的高精度室内图像定位方法应用于图像处理与室内定位。

Images