CN104850563B - 目的地图像比较检索装置、目的地图像比较检索***、以及目的地图像比较检索方法 - Google Patents

Abstract

本发明涉及一种目的地图像比较检索装置、目的地图像比较检索方法及目的地图像比较检索***。所述目的地图像比较检索装置与外部存储有实景图像数据的实景地图数据库无线通信，并包括：输入操作部，其接收用户的输入，并生成启动比较检索的指令；导航部，其在电子地图上检测出目的地位置以及当前位置并分别标出；控制部，其对以下各部进行控制：拍摄部，其取得多帧连续的拍摄图像；取得部，其从所述实景地图数据库取得参考图像；存储部，存储所述拍摄图像以及所述参考图像；比较部，其对所述多帧连续的拍摄图像和参考图像进行比较，当两者相似度高于预先设定的比例，则确定为两者匹配；显示部，显示匹配成功的该帧拍摄图像，并在其上标识出目的地。

Description

目的地图像比较检索装置、目的地图像比较检索***、以及目 的地图像比较检索方法

技术领域

本发明涉及一种目的地图像比较检索装置、目的地图像比较检索***、以及目的地图像比较检索方法。

背景技术

现今的车载导航装置或手机等便携设备中的导航功能，可在GPS***等定位***中的电子地图中将目的地和当前所在位置标识出，并给出行车或步行路线。

但是，如果遇到道路狭小或者有楼梯等障碍使得车辆无法通行，那么车辆就只能到达目的地附近。或者，当使用者通过导航功能提供的路线来到目的地附近，而目的地附近大楼林立，则由于二维的电子地图图示的局限性，都会导致有时无法找到确切的目的地建筑。

JP2005-221285提供了一种在地图上显示车辆朝向目的地方向的详细图像的方案。但是，其无法根据使用导航时的实际街景状态来提供图像，且其无法明确地将目的地标识出来。

发明内容

为了解决上述问题，本发明的发明者提供了一种通过图像比较检索来确定参考图像，并向使用者准备指示目的地的方案。

本发明一方面提供一种目的地图像比较检索装置，其与外部的存储有实景图像数据的实景地图数据库进行无线通信，包括：输入操作部，其能够接收用户的输入，并根据用户的操作生成启动比较检索的指令；导航部，其根据用户输入的目的地信息在电子地图上检测出目的地位置以及当前位置并分别标出；控制部，其接收到来自所述输入操作部的启动比较检索的指令后，对以下各部进行控制：拍摄部，所述控制部根据所述启动比较检索指令开启该拍摄部，使得该拍摄部以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；取得部，所述控制部使得该取得部根据来自所述导航部的当前位置与目的地位置的距离以及当前位置朝着目的地位置的方向，从所述实景地图数据库取得参考图像；存储部，所述控制部使得该存储部存储所述拍摄图像、以及所述参考图像；比较部，所述控制部使得该比较部将来自所述存储部的所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例，则确定为两者匹配；显示部，所述控制部能够使得该显示部显示所述电子地图或拍摄图像，当所述比较部中所述拍摄图像中的一帧与所述参考图像匹配成功，该显示部显示匹配成功的该帧拍摄图像，并在其上标识出目的地。

本发明另一方面提供一种目的地图像比较检索***，其包括：用户端设备以及网络服务器，所述用户端设备与网络服务器进行无线通信，该目的地图像比较检索***与外部的用于存储实景图像的实景地图数据库进行无线通信，所述用户端设备包括：输入操作部，其能够接收用户的输入，并根据用户的操作生成启动比较检索的指令；导航部，其根据用户输入的目的地信息在电子地图上检测出目的地位置以及当前位置并将其标出；控制部，其接收到来自所述输入操作部的启动比较检索的指令后，对以下各部进行控制：拍摄部，所述控制部根据所述指令启动该拍摄部，使得该拍摄部在以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；显示部，所述控制部能够使得该显示部显示所述电子地图或拍摄图像；所述网络服务器包括：取得部，其根据来自所述用户端设备的当前位置与目的地位置的距离以及当前位置朝目的地位置的方向，从所述实景地图数据库取得参考图像；存储部，其存储来自所述用户端设备的所述拍摄部拍摄的拍摄图像和所述参考图像；比较部，其将来自所述存储部的所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例时，则确定为两者匹配；当所述比较部中所述拍摄图像与所述参考图像匹配成功，所述用户端设备的控制部使得所述显示部显示该匹配成功的拍摄图像，并在其上标识出目的地。

本发明另一方面提供一种目的地图像比较检索方法，包括：输入操作步骤，接收用户的输入，并根据用户的操作生成启动比较检索的指令；导航步骤，其根据用户的输入在电子地图上检测出目的地位置以及当前位置并将其标出；拍摄步骤，其根据所述启动比较检索的指令在以当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；取得步骤，其根据当前位置与目的地位置的距离以及当前位置与目的地位置的方向，从所述实景地图数据库取得参考图像；存储步骤，其存储所述拍摄步骤所取得的所述拍摄图像、以及所述取得步骤取得的所述参考图像；比较步骤，其将来自所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例，则确定为两者匹配；显示步骤，其显示所述电子地图或拍摄图像，当中所述比较步骤中所述拍摄图像与所述参考图像匹配成功，则显示该匹配成功的拍摄图像，并在该拍摄图像上标识出目的地。

附图说明

图1是显示本发明第一实施方式的目的地图像比较检索装置的构成图。

图2是显示本发明第一实施方式的目的地图像比较检索方法的流程图。

图3是显示部所显示的电子地图的一例，在电子地图中标出了当前位置和目的地位置。

图4是显示部所显示的匹配成功的拍摄图像的一例，在该匹配成功的拍摄图像中标出了目的地或者说目的地建筑物。

图5显示本发明第二实施方式的目的地图像比较检索***的构成图。

具体实施方式

图1是示出本发明第一实施方式的目的地图像比较检索装置100的构成图。目的地图像比较检索装置100通过网络与外部的实景地图数据库200实现无线通信。实景地图数据库200可以是如GoogleStreetView（谷歌街景）等外部数据库，其中存储街景的详细图像数据，该实景地图数据库可为能够实时更新的图像数据库。

目的地图像比较检索装置100主要包括如下几个功能单元：导航部101、输入操作部102、控制部103、拍摄部104、取得部105、存储部106、比较部107、显示部108。其中，导航部101根据输入操作部102输入的目的地信息，在显示部108上显示电子地图并在电子地图上标出当前位置和目的地位置，以及从当前位置到目的地位置的行车或步行路线。输入操作部102可通过屏幕触控或声音输入实现用户的输入。导航部101可采用现有技术中导航设备，例如车载导航或手机导航等等。

当使用者根据导航部101的导航而到达目的地附近后，如果仍然无法确定具体的目的地究竟是哪一个，则可通过输入操作部102生成启动比较检索的指令。控制部103在接收到该启动比较检索的指令后，启动拍摄部104，使得该拍摄部在以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像。所述多帧连续的拍摄图像的连续程度可根据需要设置，例如每秒10帧。所谓当前位置朝着目的地位置的方向可以由用户通过观察电子地图进行判断，也可以是根据导航部所检测得到的当前位置朝目的地位置的方向。所谓以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围可如图3所示，指在电子地图中确定当前位置朝着目的地的方向后，在其左右两侧附近确定的一定范围，选定该一定范围的原因是为了使得拍摄范围的选择具有一定的目标性不至于过于宽泛，但是也具有一定的幅度不至于过于狭小。当然该一定范围即使是以当前位置朝着目的地位置的方向为基准的180°甚至360°的范围也是可以的，只是这样扫描拍摄得到的拍摄图像的帧数更多，相应地要求更高的处理能力。

拍摄部104可利用车载拍摄头也可利用便携装置例如手机的拍摄头。通过拍摄部104拍摄的多帧拍摄图像被存储于存储部106以用于之后的比较。

同时，控制部103在接受到所述启动比较检索的指令后，根据来自导航部101的当前位置与目的地位置的距离以及当前位置朝着目的地位置的方向，使得取得部105从所述实景地图数据库200取得参考图像。理论上，根据当前位置与目的地位置的距离以及当前位置朝着目的地位置的方向这两个参数所取得的参考图像是唯一的。但是实际情况是，由于参考图像本身获取的时间段的不同（例如不同季节，一天之中不同的时间段），该参考图像本身会有一些差异，例如夏季树木繁茂对建筑物进行了遮挡的图像与冬季树木凋零时拍摄的图像是不同的，例如黄昏和正午所拍摄的图像也会不同。另外，由于实景地图数据库200本身的维护和运行情况，其图像更新情况也各不相同，例如可以通过网友的数据云共享等方式实时更新，从而可能会存储大量同一视角的图像数据。因此，参考图像可为一个也可为多个。

接着，根据控制部103的控制，由比较部107对来自所述存储部的所述多帧连续的拍摄图像和参考图像进行比较，当拍摄图像和参考图像的相似度高于预先设定的比例，则确定为两者匹配。至于具体的图像对比的方法可采用现有技术中的各种比较方式，例如轮廓比较方式、二值化处理比较方式、划分区块比较方式等等，在此不再详述。当比较部107找到与参考图像的相似度高于预先设定的比例（例如90%的相似度）时，控制部103使得显示部108显示该匹配成功的拍摄图像，并根据实景地图数据库中的地图信息在该帧拍摄图像上标出目的地，例如以粗框框出目的地，或者以不同颜色或高光显示目的地，只要便于使用者识别并据此找到目的地即可。如图4所示，图中1300表示匹配成功的拍摄图像，1301表示被标出的目的地（或目的地建筑）。如果比较部107没有找到与参考图像的相似度高于预先设定的比例的拍摄图像，则也可通过显示部108显示类似“无匹配图像”这样的提示。另外，还可通过声音提示部109通知匹配结果（匹配成功或无匹配）。当然，声音提示部109是可选择地进行设置，也可省略。

另，当比较部107没有找到与参考图像的相似度高于预先设定的比例的拍摄图像，还可通过控制部103使得拍摄部104的扫描拍摄范围扩大，并重新拍摄。然后通过比较部107再度比较。

图2是显示本发明第一实施方式的目的地图像检索方法的流程图。

步骤S201中，根据用户输入的目的地信息，显示电子地图并在其上标出目的地位置和当前位置，即相当于导航部所进行的动作。步骤S202中，根据用户的操作生成启动比较检索的指令。然后，在步骤S203中，根据上述启动比较检索的指令，通过摄像头等拍摄部进行扫描拍摄，扫描拍摄的范围可以是以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围，由此获得多帧连续的拍摄图像，同时根据当前位置与目的地位置的距离以及当前位置朝目的地位置的方向从实景地图数据库取得参考图像，并存储上述拍摄图像和参考图像。

接着，进入到步骤S204，对拍摄图像和参考图像进行图像比较。

然后在步骤S205中判断拍摄图像和参考图像是否匹配，通常可预先设定一比例阈值，当拍摄图像与参考图像的相似度大于该比例阈值则判定两者匹配，进入到步骤S206，即显示该帧与参考图像匹配的拍摄图像，并在其上将目的地标出。如果步骤S205判断拍摄图像与参考图像不匹配，则在步骤S207中，将不匹配的结果通知给用户。

上述目的地图像比较检索装置和对应的目的地图像检索方法可进行根据实际情况和要求作出变化，下面给出几个变化例。

变化例1

拍摄部104所拍摄的多帧连续的拍摄图像可以各自包含例如拍摄时间、拍摄方向等的图像信息，例如以Exif格式拍摄并存储的图像。这样，比较部107对拍摄图像与参考图像进行比较时，先比较拍摄图像的拍摄方向与参考图像的拍摄方向，当两者一致时，再比较参考图像与拍摄图像的图像本身的内容。这样可以节省比较部107的处理时间。上述的拍摄图像的拍摄方向和参考图像的拍摄方向一致是指两者实质上相同，即，允许两者的误差在预先确定的角度范围内。该预先确定的角度范围可根据需要设置，当对拍摄方向的一致性要求高时，该角度范围设置为较小。例如该角度范围可设置为1°。

变化例2

如上所述的，控制部可根据用户通过输入操作部生成的启动比较检索的指令来使得其他各部启动比较检索。但作为变化例，也可通过导航部101对当前位置与目的地位置的距离的检测，当上述当前位置与目的地位置的距离小于规定距离，例如200米时，即表明用户已经来到目的地附近时，使控制部103通过显示部108或声音提示部109等向用户提示是否需要发出启动比较检索的指令。用户可根据该提示向输入操作部102生成启动比较检索的指令。

变化例3

如上所述，由于取得部105根据当前位置与目的地位置的距离以及当前位置朝目的地位置的方向从实景地图数据库中获取的参考图像可能为一个或多个。当参考图像为多个时，比较部107对多个参考图像与拍摄图像进行一一比较。另外，作为变化例，也可先确定最佳参考图像，然后再将最佳参考图像与拍摄图像进行比较。最佳参考图像的选择可根据不同情况以不同的标准进行。例如，由于拍摄部104所拍摄的多帧连续的拍摄图像可以各自包含例如拍摄时间、拍摄方向等的图像信息，因此可以根据拍摄图像的拍摄时间从多个参考图像中选择最佳参考图像。例如，以季节区段来进行选择的话，根据一年的季节不同来划分区段，例如划分为春夏秋冬四个季节区段，然后比较拍摄图像的拍摄时间与多个参考图像中的哪一个的取得时间所处的季节区段相同或最接近，则比较部107将该季节区段相同或最接近的参考图像作为最佳参考图像。又或者以一天的时刻来划分时间区段，例如划分为07：00～11：00、11：00～13：00、13：00～18：00、18：00～次日07：00这四个时间区段，当所述拍摄图像的拍摄时间与多个参考图像中的一个的取得时间所处的时间区段相同或最接近，则所述比较部107将该参考图像作为最佳参考图像。当然上述两种选择方式也可相互结合使用，以选择最佳参考图像。各种时间区段的划分和组合方式还有很多，在此不一一例举。

变化例4

如上述变化例3所述，当参考图像为多个的情况下，可通过时间区段划分，以选择最佳参考图像。但是这样选择出来的最佳参考图像也可能为多个，例如在同一季节区段中，如果实景地图数据库中存储有多个参考图像的话，则都会被选为最佳参考图像。此时，可以进一步比较多个最佳参考图像中的取得时间与拍摄图像的拍摄时间最接近的那一个，作为最终参考图像。

以上是对本发明的目的地图像比较检索装置及其对应的方法可采用的各种变化例，本领域技术人员可对其进行适宜范围内的各种修改、组合。

另外，本发明第一实施例的目的地图像比较检索装置在实际实施中，并不需要为全新的装置，其中的各个功能部可利用或者搭载于现有的各种设备中。例如导航部、拍摄部、显示部可利用车载设备或便携设备例如智能手机上的导航部和拍摄部，其他各功能部也搭载于现有的车载设备或便携设备上。

图5显示了本发明第二实施方式的目的地图像比较检索***的构成图。

第二实施方式中的目的地图像比较检索***与第一实施方式的目的地图像比较检索装置的区别在于，其中的一些功能部配置中网络上的公众服务器。这样做的优势在于，能够将需要较高处理能力的比较部的工作量放置在处理性能较高的服务器上，由此可减小用户端设备（例如便携手机、车载设备等）的工作量，提高整体检索速度。因此除了功能部配置位置不同，其他各功能部的工作原理与第一实施方式相同。下面，对该目的地图像比较检索***进行简单的说明。

如图5所示，目的地图像比较检索***300包括用户端设备31和网络服务器32，该目的地图像比较检索***300与实景地图数据库400进行无线通信。其中，用户端设备31和网络服务器32也进行无线通信。实景地图数据库400可以是如GoogleStreetView（谷歌街景）等外部数据库，其中存储街景的详细图像数据.

用户端设备31包括：输入操作部311、控制部312、导航部313、拍摄部314、显示部315。网络服务器32包括：存储部321、取得部322、比较部323。用户端设备31和网络服务器32的各功能部进行的动作对应第一实施方式中的目的地图像比较检索装置100中的各功能部。

另外，用户端设备31中的各部还可分别配置在车载设备或智能便携装置中或者利用车载设备或智能便携设备中的已有的功能部。

以上对本发明的几个实施方式进行了说明，但这些实施方式仅作为一个范例，并不具有限定发明范围的意图。这些实施方式能够通过其他各种形态实施，在不超出发明主旨的范围内进行各种各样的省略、置换、变更。这些实施方式和其变形包含在发明范围和主旨中的同时，也包含在权利要求书中记载的发明以及与其均等的范围内。

Claims (10)

1.一种目的地图像比较检索装置，其与外部的存储有实景图像数据的实景地图数据库进行无线通信，其特征在于，包括：

输入操作部，其能够在用户到达目的地附近且无法确定具体的目的地的情况下接收用户的输入，并根据用户的操作生成启动比较检索的指令；

导航部，其根据用户输入的目的地信息在电子地图上检测出目的地位置以及当前位置并分别标出；

控制部，其接收到来自所述输入操作部的启动比较检索的指令后，对以下各部进行控制：

拍摄部，所述控制部根据所述启动比较检索的指令启动该拍摄部，使得该拍摄部以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；

取得部，所述控制部使得该取得部根据来自所述导航部的当前位置与目的地位置的距离以及当前位置朝着目的地位置的方向，从所述实景地图数据库取得参考图像；

存储部，所述控制部使得该存储部存储所述拍摄图像、以及所述参考图像；

比较部，所述控制部使得该比较部将来自所述存储部的所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例，则确定为两者匹配；

显示部，所述控制部能够使得该显示部显示所述电子地图或拍摄图像，当所述比较部中确定所述拍摄图像中的一帧与所述参考图像匹配成功，所述控制部使该显示部显示匹配成功的该帧拍摄图像，并在其上标识出目的地。

2.如权利要求1所述的目的地图像比较检索装置，其特征在于，其中，当所述导航部检测到当前位置与目的地位置之间的距离小于规定距离时，所述控制部使得所述显示部向用户提示是否发出进行比较检索的指令。

3.如权利要求1所述的目的地图像比较检索装置，其特征在于，进一步包括声音提示部，当所述比较部确定所述拍摄图像与所述参考图像匹配时，该声音提示部发出提示匹配成功的声音。

4.如权利要求1所述的目的地图像比较检索装置，其特征在于，所述拍摄部拍摄的所述多帧连续的拍摄图像中的各帧图像都包括各自的图像信息，所述图像信息至少包括拍摄方向，所述比较部对所述拍摄图像和所述参考图像进行比较时，先比较所述拍摄图像的拍摄方向与参考图像的拍摄方向，当两者一致时，再进行图像本身内容的比较。

5.如权利要求1所述的目的地图像比较检索装置，其特征在于，所述取得部从所述实景地图数据库取得的参考图像为多个，所述多个参考图像为在不同的时间取得的图像，

所述拍摄部取得的所述多帧连续的拍摄图像中的各帧图像都包括各自的图像信息，所述图像信息至少包括拍摄时间，

所述比较部根据所述拍摄图像的拍摄时间从多个参考图像中选择最佳参考图像，并对拍摄图像与该最佳参考图像进行比较。

6.如权利要求5所述的目的地图像比较检索装置，其特征在于，

所述拍摄部拍摄的所述多帧连续的拍摄图像中的各帧图像都包括各自的图像信息，所述图像信息至少包括拍摄时间，

根据一天的时刻或一年的季节来划分时间区段，当所述拍摄图像的拍摄时间与多个参考图像中的一个的取得时间所处的时间区段相同或最接近，则所述比较部将该参考图像作为最佳参考图像。

7.如权利要求6所述的目的地图像比较检索装置，其特征在于，

当所述最佳参考图像为多个时，进一步选择取得时间与所述拍摄图像的拍摄时间最接近的最佳参考图像作为最终参考图像，所述比较部对所述拍摄图像与该最终参考图像进行比较。

8.如权利要求1所述的目的地图像比较检索装置，其特征在于，其中，该目的地图像比较检索装置中的一部分或全部被搭载于车辆或智能便携设备中。

9.一种目的地图像比较检索***，其包括：用户端设备以及网络服务器，所述用户端设备与网络服务器进行无线通信，该目的地图像比较检索***与外部的用于存储实景图像的实景地图数据库进行无线通信，其特征在于：

所述用户端设备包括：

输入操作部，其能够在用户到达目的地附近且无法确定具体的目的地的情况下接收用户的输入，并根据用户的操作生成启动比较检索的指令；

导航部，其根据用户输入的目的地信息在电子地图上检测出目的地位置以及当前位置并将其标出；

控制部，其接收到来自所述输入操作部的启动比较检索的指令后，对以下各部进行控制：

拍摄部，所述控制部根据所述指令启动该拍摄部，使得该拍摄部在以电子地图中的当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；

显示部，所述控制部能够使得该显示部显示所述电子地图或拍摄图像；

所述网络服务器包括：

取得部，其根据来自所述用户端设备的所述导航部的当前位置与目的地位置的距离以及当前位置朝目的地位置的方向，从所述实景地图数据库取得参考图像；

存储部，其存储所述用户端设备的所述拍摄部拍摄的拍摄图像和所述取得部取得的所述参考图像；

比较部，其将来自所述存储部的所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例时，则确定为两者匹配；

当所述比较部确定所述拍摄图像与所述参考图像匹配成功，所述用户端设备的控制部使得所述显示部显示该帧匹配成功的拍摄图像，并在其上标识出目的地。

10.一种目的地图像比较检索方法，其特征在于，包括：

输入操作步骤，在用户到达目的地附近且无法确定具体的目的地的情况下接收用户的输入，并根据用户的操作生成启动比较检索的指令；

导航步骤，其根据用户的输入在电子地图上检测出目的地位置以及当前位置并将其标出；

拍摄步骤，其根据所述启动比较检索的指令在以当前位置朝着目的地位置的方向为基准的附近一定范围内进行扫描拍摄，取得多帧连续的拍摄图像；

取得步骤，其根据当前位置与目的地位置的距离以及当前位置与目的地位置的方向，从存储有实景图像数据的实景地图数据库取得参考图像；

存储步骤，其存储所述拍摄步骤取得的所述拍摄图像、以及所述取得步骤取得的所述参考图像；

比较步骤，其将所述多帧连续的拍摄图像和参考图像进行比较，当所述拍摄图像和所述参考图像的相似度高于预先设定的比例，则确定为两者匹配；

显示步骤，其显示所述电子地图或拍摄图像，当在所述比较步骤中确定所述拍摄图像与所述参考图像匹配成功，则显示该匹配成功的拍摄图像，并在该拍摄图像上标识出目的地。