CN102915326A

CN102915326A - 一种基于gps和图像搜索技术的移动终端景物辨识***

Info

Publication number: CN102915326A
Application number: CN2012103150463A
Authority: CN
Inventors: 刘筱珉; 张真
Original assignee: HANGZHOU OUGEN TECHNOLOGY CO LTD
Current assignee: HANGZHOU OUGEN TECHNOLOGY CO LTD
Priority date: 2012-08-30
Filing date: 2012-08-30
Publication date: 2013-02-06

Abstract

本发明公开了一种基于GPS和图像搜索技术的移动终端景物辨识***，涉及地理位置信息领域和图像搜索技术领域，是一种新型的景物识别***，将传统的GPS位置定位方法和基于内容的图像搜索技术结合起来，用于移动终端的景物辨识，大大提高了识别的精度。在GPS信息获取不准甚至无法获取的情况下，用户仍可利用该***中的图像搜索技术进行景物的识别。同时，本发明将促进移动终端在旅游行业的应用发展和景点历史文化的传播。

Description

一种基于GPS和图像搜索技术的移动终端景物辨识***

技术领域

本发明涉及地理位置信息领域和图像搜索技术领域，将GPS位置和图像搜索技术想结合，开发了一种移动终端上的景物辨识应用***。

背景技术

随着市场上GPS技术的进步和成本的降低，目前移动终端设备上搭载GPS定位模块越来越普遍。加上目前的基站定位和Wifi定位方式，手机定位的精度也越来越高。由此引发的基于手机位置的应用服务也越来越多。简称为LBS(Location Based Service)。不过目前移动终端上基于LBS的应用主要还停留在签到、交友和团购等。这些应用对GPS的精度要求不是很高，一般都只限于寻找附近几十米或者几百米范围之内的好友。在旅游市场上，基于手机GPS模块的自助导游也得到了初步的应用。

目前市场上存在几个典型的搜索引擎，如百度、Google、Bing等。用户通过输入感兴趣的文本进行搜索。这种引擎只适用于用户已经很明确的知道自己想要查询的关键字。当人们无法用文字确切描述所查询的内容时，或者需要很高效很精准的得到自己感兴趣的内容时，这种引擎就显得比较无力了。

为此，基于图像内容的搜索引擎得到了较好的发展。国外最早推出此类服务的如Tineye，www.tinyeye.com，就是基于图像内容进行检索的例子，用户上传一张图片，搜索出互联网上所有与输入图视觉上近重复的图片，可用于版权维护等。谷歌和百度也相继推出了自己的以图搜图引擎。输入方式都是上传一张图，然后返回与输入图内容相同或相似的结果。这类引擎弥补了文字引擎的不足，用户不需要对所见图像先进行文字描述再进行文字搜索，而是直接让计算机对图像内容进行理解并完成搜索。搜索结果的好坏部分程度上依赖于引擎后台图像库的大小，同时也与所搜索目标的形变有关。形变越大，搜索出相同目标的难度越大。

游客在景区游玩时，不仅会欣赏到漂亮的自然风景，也会接触到很多景区的历史文化。如果是跟着旅行团旅游，导游一般讲解都比较粗略，只会涉及到一些比较著名的景点。并且由于人数众多，讲解效果也不佳。游客往往只是与景点合影一下，拍几张照片以示“到此一游”。相反，景区最宝贵的人文历史知识却很难得到有效的传播。就算有比较用心的游客想搜索一下某个亭阁或者雕像的背景来历，有时候也是力不从心，要么不清楚景点的名称，要么不认识亭阁上的字体。帮助游客轻松获取感兴趣的景点知识，帮助景区进行更好的文化传播是本专利的出发点。

发明内容

目前的景点导游***完全是依靠GPS定位信息，先利用移动终端获取位置信息再到景点位置库中去匹配最近的景点返回。不考虑GPS精度本身容易受到天气，遮挡等的影响。在最佳情况下，其精度也只能定位到较大的景点位置，不能准确区分比较邻近的几个小景点，比如能定位到位置是在“西泠印社”景点，但对于景点里面两个相邻的不同亭阁则无法区分。

为此，我们利用GPS位置和景点图像作为输入，当游客拍下感兴趣的景点图片并上传时，我们融合GPS位置定位信息和图像搜索技术，准确高效的返回该景点的名称和其详尽的介绍信息。将图像搜索技术应用到景点识别是一种新型的地理位置定位方式。将其与传统成熟的GPS定位方式相结合，能获得更高的精度。

本发明采取以下步骤作为技术方案。

1)首先，建立景点的GPS位置数据库。

为了构建此数据库，我们需要采集每个景点的实际GPS位置，包括经度和维度坐标。我们采用手持GPS设备，每到一个景点就记录下实际的位置数据，然后整理添加到数据库中。由于GPS定位在该***中的作用是辅助结合后期的图像搜索技术，所以对其位置精度要求不高。

2)建立含有大量景点图像的原始数据库。

为建立图像数据库，我们实地去人工采集每个景点的图像。为了保证样本的丰富性，我们需要搜集每个景点的不同角度、不同尺度、不同光照条件下的图像。实际采集中，大部分景点的图像数量在50～100张。

3)根据景点图像计算图像特征，构建景点图像特征库。

针对建筑风景类图像的特点，能用来做特征表述的有颜色、形状、构图等。考虑到所提取的特征必须在不同光照，不同尺度，不同几何形变下都具有较好的鲁棒性，我们选取了应用非常广泛的sift特征，Sift特征本身对尺度变化和旋转都具有不变性，同时对局部遮挡也有一定的鲁棒性。对景点图像库中的每幅图像提取sift特征，然后存放到图像特征数据库中。每幅图像都记录下其对应的景点编号，用于后续的搜索匹配。

4)建立景点信息查询数据库。

此数据库按照景点的索引编号进行组织，对应每个景点编号都存储一张此景点的正面标准图像和详细介绍信息。其详细介绍信息包括景点名称、来历、人文故事等。此数据库用来根据GPS和图像搜索返回结果的景点编号查询景点信息，然后返回给客户端。

5)搭建B/S结构平台，向用户提供基于上传图片的景点辨识服务。

各种数据库放在服务器端，移动客户端建立一个入口平台，方便用户拍摄图像上传，或者从本地媒体库中选择图像进行上传识别。客户端在上传图片时也会上传终端的GPS信息。服务器端根据上传的GPS信息确定景点大概范围，再利用图像搜索技术进行精准匹配得到与输入图最相似的景点编号。根据景点编号到景点信息数据库中去查询景点的介绍信息，返回结果显示在客户端。

6)检索过程中，GPS结果与图像搜索结果进行融合。

对两种结果的融合策略我们采用投票的方式。每个结果根据其置信度大小对其对应的景点编号进行投票，取投票最大值作为返回结果。考虑到GPS返回结果的不精准性和图像搜索在视觉相似性上的精准性。我们对两种类型的结果分别赋予了不同的权重。GPS结果的权重设为0.4，图像搜索结果的权重设为0.6。投票时所有结果的投票值要先乘以所属类型的权重。

本发明的有益效果是：作为一种新型的景物识别***，将传统的GPS位置定位方法和基于内容的图像搜索技术结合起来，大大提高了定位识别精度。在GPS信息获取不准甚至无法获取的情况下，用户仍可利用该***中的图像搜索技术进行景物的识别。同时，本发明将促进移动终端在旅游行业的应用发展和景点历史文化的传播。

附图说明

附图说明包括：

图1：***框架图

图2：基于GPS坐标返回附近景点流程图

图3：基于图像搜索技术景点识别流程图

图4：基于GPS结果和图像搜索结果融合流程图

具体实施方式：

下面以一幅图像及其GPS坐标作为输入，结合附图进一步详细的说明本发明***的步骤。整个***的框架及流程见图1所示。对于输入图像和GPS坐标，分别计算图像相似结果和GPS距离相近结果。再将两种类型的结果进行投票融合，取投票数最大的景点编号作为识别结果。根据景点编号去景点信息数据库中进行查询，将相关介绍信息返回到移动客户端。

基于GPS的位置定位如图2所示。主要是根据GPS坐标的经纬度计算距离。为了提高查询效率，先过滤掉那些明显相隔很远的坐标，即只取经纬度坐标在某个小阈值内的景点。最后通过距离计算每个景点的置信度，供后续投票融合使用。

基于图像搜索技术的景点识别如图3所示。对于输入图像，先提取sift特征，再与图像特征库中的图像特征进行匹配，找出最相似的前m个图像。这些图像对各自对应的景点进行投票，找出投票数最高的景点编号作为图像搜索的结果，同时根据各个投票值计算对应的置信度，供后续投票融合使用。

基于GPS结果和图像搜索结果的融合流程如图4所示。根据经验先确定两个维度各自的权重因子。将两个维度返回的所有结果分别计算其置信度乘以权重因子作为投票值，对所有景点投票。统计出投票值最高的景点编号作为返回结果。

Claims

1.一种结合GPS和图像搜索技术的移动终端景物辨识***，其特征在于，包括如下步骤：

(1)构建景点数据库，包括景点的GPS和图像特征；

(2)以B/S架构在移动客户端建立搜索平台，用户可选择本地图像或摄像头拍摄一幅景物图像作为输入上传检索，获取识别出的景点编号；

(3)根据景点编号查询数据库，将结果返回客户端。

2.根据权利要求1所述的移动终端景物辨识***，其特征在于，所述步骤(1)，构建景点数据库的步骤为：

(1)为每个景点事先编号，预先采集景点的GPS位置坐标，构建景点的GPS数据库；

(2)预先拍摄景点的不同角度、不同时间段的图像。每个景点对应几十到几百张图像；

(3)获取景点的图像后，提取图像特征，构建景点的图像特征库；

(4)整个景点数据库由GPS数据和图像特征两部分构成，共用一个全局唯一的景点编号。

3.根据权利要求2所述的步骤(1)中，所述的景点编号采用固定长度的自然数，保证每个景点具有唯一的编号即可，所述采集景物GPS位置坐标的方法是：事先拿着一台标准的GPS设备到各个景点，依次记录下每个景点的经度和纬度，然后添加到GPS数据库中，也可以直接找***或者旅游局部门申请相关数据。

4.根据权利要求2中所述的步骤(2)中，所述拍摄景物不同角度图像的方法为：调节相机焦距从最小到最大，每调一档，绕景物拍摄一圈。由于遮挡原因，部分景物只能拍摄到半圈或者更少，拍摄时尽量保证景点在图片中占据中心较大位置，所述不同时间段包括一天中的早上、中午和晚上，以及一年四季的春夏秋冬。

5.根据权利要求2中所述的步骤(3)中，提取的图像特征包括图像的局部形状和结构特征。

6.根据权利要求1中所述的步骤(2)中，所述检索过程，步骤为：

(1)通过移动终端的GPS设备获取当前的位置信息，将此位置信息上传到服务器上，在服务器端的GPS数据库中找出与当前位置距离在k公里范围内的所有景点及其对应的相近度。

(2)将本地或者拍摄的景物图像上传到服务器端，在服务器端提取图像特征，并在图像特征库中搜索与输入图像特征相似的图像，其中，图像特征库的范围，可以是某个城市、某个景区的图像特征库，或者是在(1)所得到的GPS位置周围的景点图像特征库，搜索出的每个相似图像都会有一个相似度，然后每个图像对自己所对应的景点按照相似度进行投票，找出投票数最多的前n个景点。

(3)将GPS数据库返回的景点结果与图像搜索返回的景点结果做投票取交集，取最大投票数对应的景点编号作为最终的检索结果返回。

7.根据权利要求6中所述的步骤(1)中，所述找出距离在k公里范围内的所有景点的方法为：根据上传的GPS坐标经纬度与数据库里存储的景点GPS坐标经纬度计算实际距离，距离满足阈值k的景点则记录其编号，k默认取2，如果景点个数太少则增大k以保证至少有一个景点被记录，所述景点的相近度与距离成反比，距离越小，相近度越高，距离越大，相近度越低。

8.根据权利要求6中所述的步骤(2)中，所述图像特征提取方法采用与权利要求5中相同的提取算法，搜索相似图像的方法为计算输入特征与图像库中存放的图像特征向量之间的距离，距离小于设定阈值时认为两者相似，距离越小，相似度越高；距离越大，相似度越低，搜索出的每个相似图像在特征库中都有自己对应的景点编号，同一景点编号可能会有多张图像被搜索出，各个相似图像根据其相似度进行投票，投票的方法为：直接将具有相同景点编号的图像的相似度进行累加，投票完后将景点按照相似度从大到小排列，取前n个景点编号作为候选的相似景点。

9.根据权利要求6中所述的步骤(3)中，所述取交集的方法为：用GPS返回结果和图像搜索相似结果根据各自的相似度对其对应的景点编号进行投票，投票的方法与权利要求6中所述步骤(2)中的投票类似，不同的是，考虑到这两种类型的结果本身的可靠性不一样，对每种类型赋予了一个权重，投票时各个结果的相似度需乘以其所属类型对应的权重，再进行累加，交集的结果可能会有多个，取累加值最大的结果作为最终结果，当移动终端获取的-GPS信息很不可靠甚至获取不到GPS信息的情况下，投票取交集的方法则退化成直接基于图像搜索返回的结果。

10.根据权利要求1中所述的步骤(3)中，所述返回给移动客户端的检索结果包含一幅库中事先存好的景物标准图像及该景物对应的文字介绍，标准图像一般为光照条件较好的景物的正面图，文字介绍主要包括景点的名称、来历、人文背景、民间故事等。