CN107507236B - 层次递进时空约束对齐方法及装置 - Google Patents

层次递进时空约束对齐方法及装置 Download PDF

Info

Publication number
CN107507236B
CN107507236B CN201710786258.2A CN201710786258A CN107507236B CN 107507236 B CN107507236 B CN 107507236B CN 201710786258 A CN201710786258 A CN 201710786258A CN 107507236 B CN107507236 B CN 107507236B
Authority
CN
China
Prior art keywords
image
streetscape
poi
capture location
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710786258.2A
Other languages
English (en)
Other versions
CN107507236A (zh
Inventor
靖常峰
杜明义
周磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN201710786258.2A priority Critical patent/CN107507236B/zh
Publication of CN107507236A publication Critical patent/CN107507236A/zh
Application granted granted Critical
Publication of CN107507236B publication Critical patent/CN107507236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种层次递进时空约束对齐方法及装置,涉及地理信息技术领域,可以提高街景影像的时空对齐准确性。所述方法包括:获取采集的街景影像的轨迹数据;根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。本发明主要适用于街景影像的处理。

Description

层次递进时空约束对齐方法及装置
技术领域
本发明涉及地理信息技术领域,特别是涉及一种层次递进时空约束对齐方法及装置。
背景技术
基于先进图像采集技术的街景汽车或其他平台采集的街景影像具有“所见即所得”特性,是一种全息的城市数据资源,完全符合web2.0模式的新型数字化测绘成果。在基础测绘、城市部件普查、铁路/公路、公安等方面发挥了巨大作用,并得到了行业内领头公司,如Google、Baidu、高德地图、腾讯地图等的大力推广。历年采集的多期街景影像是城市的历史“活档案”,对城市历史风貌调查、城市街景时空演变分析、城市规划等具有重要意义。
街景影像沿道路轨迹采集,但是由于影像变形、运动模糊、亮度差异、影像遮挡等问题,加大了街景影像的应用难度,这里主要表现在多期街景影像数据采集轨迹的时空不一致,由此映射为影像会存在变形差异大、遮挡不确定性等,增加了两两对应街景影像的时空对齐难度。
近年来主要研究集中在利用几何特征、影像特性实现影像对齐和配准等理论和技术,从通用图像处理逐渐延伸到遥感影像处理领域,适用于尺度变化小、辐射强度变化小的影像;而针对城市街景影像由于场景复杂性、光照变化等因素影响,其尺度、辐射度、交向角等复杂多变。因此传统的影像分析技术、遥感影像处理方法会造成街景影像的时空对齐准确性较低。
发明内容
有鉴于此,本发明提供了一种层次递进时空约束对齐方法及装置,主要目的在于解决传统的影像分析技术、遥感影像处理方法会造成街景影像的时空对齐准确性较低的问题。
依据本发明一个方面,提供了一种层次递进时空约束对齐方法,该算法包括:
获取采集的街景影像的轨迹数据;
根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;
依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;
利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
依据本发明另一个方面,提供了一种层次递进时空约束对齐装置,该装置包括:
获取单元,用于获取采集的街景影像的轨迹数据;
所述获取单元,还用于根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;
查询单元,用于依据所述参考影像采集点周围邻域的兴趣点POI,从所述获取单元获取的影像集合中查询所述参考影像采集点前后的候选影像集合;
确定单元,用于利用POI的尺度约束和视觉特征匹配算法,从所述查询单元查询到的候选影像集合中确定与所述参考影像对齐的街景影像。
依据本发明又一个方面,提供了一种存储设备,其上存储有计算机程序,所述程序被处理器执行时实现以下步骤:
获取采集的街景影像的轨迹数据;
根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;
依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;
利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
依据本发明再一个方面,提供了一种层次递进时空约束对齐的实体装置,包括存储设备、处理器及存储在存储设备上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
获取采集的街景影像的轨迹数据;
根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;
依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;
利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
借由上述技术方案,本发明提供的一种层次递进时空约束对齐方法及装置,与目前利用传统的影像分析技术、遥感影像处理方法实现街景影像时空对齐的方式相比,本发明首先根据采集的街景影像的轨迹数据和参考影像采集点的坐标,获取参考影像采集点附近影像集合,然后依据参考影像采集点周围邻域POI,从影像集合中查询参考影像采集点前后的候选影像集合,最后利用POI的尺度约束和视觉特征匹配算法,从候选影像集合中确定与参考影像对齐的街景影像,依据这种从“轨迹坐标对齐”到“领域POI粗对齐”再到“对象(POI)约束精对齐”的从粗到细的层次递进时空对齐方法,可以基于多期历史街景影像,在街景影像场景尺度、辐射度、交向角等复杂多变的条件下,也能找到参考影像对应的最优对齐影像,进而实现时空街景影像对齐,从而可以提高街景影像的时空对齐准确性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于体现出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种层次递进时空约束对齐方法流程示意图;
图2示出了本发明实施例提供的另一种层次递进时空约束对齐方法流程示意图;
图3示出了本发明实施例提供的一种轨迹对齐检索实例示意图;
图4示出了本发明实施例提供的一种对象约束对齐实例示意图;
图5示出了本发明实施例提供的一种街景影像处理的整体流程示意图;
图6示出了本发明实施例提供的一种层次递进时空约束对齐装置的结构示意图;
图7示出了本发明实施例提供的另一种层次递进时空约束对齐装置的结构示意图;
图8示出了本发明实施例提供的一种层次递进时空约束对齐装置的实体结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种层次递进时空约束对齐方法,可以提高街景影像的时空对齐准确性,如图1所示,该方法包括:
101、获取采集的街景影像的轨迹数据。
在本发明实施例中,可以预先沿道路采集街景图像,具体可以按照固定距离间隔或者固定时间间隔采集一次街景图像,例如,沿道路每移动8米采集一次街景图像,或者沿道路每隔半秒采集一次街景图像。通过这种方式采集到的街景影像,兴趣点(Point ofInterest,POI)会存在于前后多张街景图像的照片上。
对于本发明实施例的执行主体可以层次递进时空约束对齐的装置,具体用于街景影像的时空约束对齐,在该装置接收到查询与参考影像时空对齐影像的指令时,获取预先采集到的每一张街景影像的轨迹数据,然后执行步骤102至步骤104所述的过程。
102、根据获取的轨迹数据和参考影像采集点的坐标,获取参考影像采集点预设范围内的影像集合。
其中,预设范围可以根据街景影像采集的实际情况进行设定,例如,预设范围可以为参考影像采集点沿道路方向周围20米或30米的范围。
在本发明实施例中,可以根据参考影像的采集点坐标和获取到的轨迹数据进行空间索引,查询参考影像采集点预设范围内的影像集合,进而可以实现街景影像的轨迹坐标对齐。
103、依据参考影像采集点周围邻域的POI,从获取的影像集合中查询参考影像采集点前后的候选影像集合。
利用参考影像采集点周围邻域的POI,从轨迹坐标对齐的结果中查询到参考影像采集点前后的候选影像集合,进而实现邻域POI粗对齐。
例如,参考影像中的特定POI为建筑A,查询影像集合中存在建筑A的影像,得到参考影像采集点前后的候选影像集合。
104、利用POI的尺度约束和视觉特征匹配算法,从候选影像集合中确定与参考影像对齐的街景影像。
其中,视觉特征匹配算法可以根据现有技术中的视觉特征匹配方法确定。
例如,经过邻域POI粗对齐后,可以找到4张含有建筑A的候选影像,该建筑A在每张候选影像中的尺度不同,依据参考影像中建筑A的尺度,通过视觉特征匹配算法,从这4张候选影像中确定与参考影像前后对齐的两张街景影像,使得这三张影像中的建筑A的尺度沿道路逐渐变化,进而实现对象(POI)约束精对齐。
本发明实施例提供的一种层次递进时空约束对齐方法,与目前利用传统的影像分析技术、遥感影像处理方法实现街景影像时空对齐的方式相比,本发明实施例首先根据采集的街景影像的轨迹数据和参考影像采集点的坐标,获取参考影像采集点附近影像集合,然后依据参考影像采集点周围邻域POI,从影像集合中查询参考影像采集点前后的候选影像集合,最后利用POI的尺度约束和视觉特征匹配算法,从候选影像集合中确定与参考影像对齐的街景影像,依据这种从“轨迹坐标对齐”到“领域POI粗对齐”再到“对象约束精对齐”的从粗到细的层次递进时空对齐方法,可以基于多期历史街景影像,在街景影像场景尺度、辐射度、交向角等复杂多变的条件下,也能找到参考影像对应的最优对齐影像,进而实现时空街景影像对齐,从而可以提高街景影像的时空对齐准确性。
进一步地,作为上述本发明实施例具体实施方式的细化和扩展,提供了另一种层次递进时空约束对齐方法,如图2所示,该方法包括:
201、获取采集的街景影像的轨迹数据。
其中,轨迹数据中可以包含街景影像的视域(FOV)及主光轴方向。
202、依据街景影像的视域及主光轴方向,建立街景影像的最小外包框。
目前可以通过传统的R树、B+树等空间索引算法,建立街景影像二维空间的轨迹数据空间索引,但对轨迹的一维检索会存在误差,例如图3a所示,为了解决该问题,本发明利用街景影像的视域及主光轴方向为主要参数,建立多张街景影像的最小外包框(MBR),例如图3b所示,进而快速定位找到相应街景影像轨迹,基于此实现街景影像的轨迹坐标对齐,具体可以执行步骤202至步骤204所述过程。
203、根据最小外包框,利用预定空间索引算法,建立街景影像二维空间的轨迹数据空间索引。
其中,预定空间索引算法可以根据实际需求进行选择设定,例如可以选用传统空间索引算法建立多张街景影像二维空间的轨迹数据空间索引。
204、以参考影像采集点的坐标为参数,按照轨迹数据空间索引,检索参考影像采集点预设范围内的影像集合。
例如,按照轨迹数据空间索引,检索参考影像采集点沿道路方向附近30米范围的影像集合。
205、利用轨迹数据空间索引,查询参考影像采集点周围邻域的POI。
其中,POI可以根据用户的实际需求进行设定,例如POI可以为路灯、建筑、桥梁、树木等。
206、将邻域的POI基于摄影几何反向投影到街景影像。
207、利用POI在每张街景影像上的分布特征,从影像集合中匹配检索到参考影像采集点前后的候选影像集合。
例如,参考影像中的特定POI为路灯B,利用路灯B在每张街景影像上的分布特征,查询影像集合中存在路灯B分布特征的影像,得到参考影像采集点前后的候选影像集合,进而实现邻域POI粗对齐,从而可以进一步接近最优检索结果。
208、根据POI在候选影像中每张影像的尺度信息和POI在参考影像中的尺度信息,利用视觉特征匹配算法,按照预设排列顺序从候选影像集合中确定与参考影像对齐的街景影像。
在本发明实施例中,可以从候选影像集合中利用对象(即POI)的尺度约束、视觉特征匹配等方法实现其精确定位,从而确定参考影像的最优对齐影像。
例如,如图4所示,经过领域POI粗对齐后可以找到4张含特定路灯的候选影像,该路灯在每张街景影像中的尺度在逐渐变化(如图从0.277变化到0.697),此时可以借助此参数实现与参考影像的精确对齐,从这4张候选影像中确定与参考影像前后对齐的两张街景影像,使得这三张影像中的该路灯的尺度沿道路逐渐变化,从而确定参考影像的最优对齐影像。
为了更好的说明上述实施例的实施过程,给出街景影像时空对齐处理的整体流程图,如图5所示,根据参考影像的采集点坐标及街景影像的轨迹数据,从左到右依次进行轨迹坐标对齐、邻域POI粗对齐、对象约束精对齐三个过程,得到与参考影像对齐的街景影像,进而可以基于多期历史街景影像,采用这种从粗到细的层次递进时空对齐方法,找到参考影像对应的最优对齐影像,从而实现时空影像对齐。
进一步地,为了便于时空对齐处理后的街景影像的后期应用,在确定与参考影像对齐的街景影像之后,还可以包括:将参考影像的对齐结果保存在预设存储位置中,其中预设存储位置中保存有不同街景影像的对齐结果,例如,在需要移动展现道路的街景影像时,可以调用街景影像的对齐结果,沿着移动方向顺序展现相应对齐的街景影像。
进一步的,为了实现保存的街景影像对齐结果定时更新的需求,提高街景影像的时效性,还可以按照预置时间间隔,根据新采集到的街景影像数据,对预设存储位置中保存的街景影像对齐结果进行更新,其中预置时间间隔可以根据实际需求进行设定。具体的,可以基于新采集到的街景影像数据,采用上述实施例所述的过程更新街景影像的时空对齐结果。
本发明实施例提供的另一种层次递进时空约束对齐方法,依据从“轨迹坐标对齐”到“领域POI粗对齐”再到“对象约束精对齐”的从粗到细的层次递进时空对齐方法,可以基于多期历史街景影像,在街景影像场景尺度、辐射度、交向角等复杂多变的条件下,也能找到参考影像对应的最优对齐影像,进而实现时空街景影像对齐,从而可以提高街景影像的时空对齐准确性。
进一步地,作为图1和图2所述方法的具体实现,本发明实施例提供了一种层次递进时空约束对齐装置,如图6所示,所述装置包括:获取单元31、查询单元32、确定单元33。
获取单元31,可以用于获取采集的街景影像的轨迹数据;
所述获取单元31,还可以用于根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合,进而可以实现街景影像的轨迹坐标对齐;
查询单元32,可以用于依据所述参考影像采集点周围邻域的兴趣点POI,从所述获取单元31获取的影像集合中查询所述参考影像采集点前后的候选影像集合,进而实现邻域POI粗对齐;
确定单元33,可以用于利用POI的尺度约束和视觉特征匹配算法,从所述查询单元查询到的候选影像集合中确定与所述参考影像对齐的街景影像,进而实现对象(POI)约束精对齐。
在具体的应用场景中,所述轨迹数据中包含所述街景影像的视域及主光轴方向,如图7所示,所述获取单元31具体可以包括:建立模块311、检索模块312;
建立模块311,可以用于依据所述街景影像的视域及主光轴方向,建立所述街景影像的最小外包框;
所述建立模块311,还可以用于根据所述最小外包框,利用预定空间索引算法,建立所述街景影像二维空间的轨迹数据空间索引;
检索模块312,可以用于以参考影像采集点的坐标为参数,按照所述建立模块建立的轨迹数据空间索引,检索所述参考影像采集点预设范围内的影像集合。
在具体的应用场景中,如图7所示,所述查询单元32具体可以包括:查询模块321、投影模块322、检索模块323;
查询模块321,可以用于利用所述轨迹数据空间索引,查询所述参考影像采集点周围邻域的POI;
投影模块322,可以用于将所述查询模块321查询到的邻域的POI基于摄影几何反向投影到街景影像;
检索模块323,可以用于利用POI在每张街景影像上的分布特征,从所述影像集合中匹配检索到所述参考影像采集点前后的候选影像。
在具体的应用场景中,所述确定单元33具体可以用于根据POI在所述候选影像中每张影像的尺度信息和所述POI在参考影像中的尺度信息,利用视觉特征匹配算法,按照预设排列顺序从所述候选影像集合中确定与所述参考影像对齐的街景影像。
在具体的应用场景中,如图7所示,所述装置还包括:保存单元34、更新单元35。
保存单元34,用于将所述参考影像的对齐结果保存在预设存储位置中,所述预设存储位置中保存有不同街景影像的对齐结果,进而便于时空对齐处理后的街景影像的后期应用;
更新单元35,用于按照预置时间间隔,根据新采集到的街景影像数据,对所述预设存储位置中保存的街景影像对齐结果进行更新,进而实现保存的街景影像对齐结果定时更新的需求,提高街景影像的时效性。
需要说明的是,本发明实施例提供的一种层次递进时空约束对齐装置所涉及各功能单元的其他相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示算法,相应的,本发明实施例还提供了一种存储设备,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:获取采集的街景影像的轨迹数据;根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
基于上述如图1和图2所示算法和如图6和图7所示装置的实施例,本发明实施例还提供了一种层次递进时空约束对齐的实体装置,如图8所示,该装置包括:处理器41、存储设备42、及存储在存储设备42上并可在处理器41上运行的计算机程序,所述处理器41执行所述程序时实现以下步骤:获取采集的街景影像的轨迹数据;根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像,该装置还包括:总线43,被配置为耦接处理器41及存储设备42。
通过应用本发明的技术方案,依据从“轨迹坐标对齐”到“领域POI粗对齐”再到“对象约束精对齐”的从粗到细的层次递进时空对齐方法,可以基于多期历史街景影像,在街景影像场景尺度、辐射度、交向角等复杂多变的条件下,也能找到参考影像对应的最优对齐影像,进而实现时空街景影像对齐,从而可以提高街景影像的时空对齐准确性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (7)

1.一种层次递进时空约束对齐方法,其特征在于,包括:
获取采集的街景影像的轨迹数据;所述轨迹数据中包含所述街景影像的视域及主光轴方向;
根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合,具体包括:依据所述街景影像的视域及主光轴方向,建立所述街景影像的最小外包框;根据所述最小外包框,利用预定空间索引算法,建立所述街景影像二维空间的轨迹数据空间索引;以参考影像采集点的坐标为参数,按照所述轨迹数据空间索引,检索所述参考影像采集点预设范围内的影像集合;
依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;
利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
2.根据权利要求1所述的方法,其特征在于,依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合,具体包括:
利用所述轨迹数据空间索引,查询所述参考影像采集点周围邻域的POI;
将所述邻域的POI基于摄影几何反向投影到街景影像;
利用POI在每张街景影像上的分布特征,从所述影像集合中匹配检索到所述参考影像采集点前后的候选影像集合。
3.根据权利要求1所述的方法,其特征在于,所述利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像,具体包括:
根据POI在所述候选影像中每张影像的尺度信息和所述POI在参考影像中的尺度信息,利用视觉特征匹配算法,按照预设排列顺序从所述候选影像集合中确定与所述参考影像对齐的街景影像。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像之后,所述方法还包括:
将所述参考影像的对齐结果保存在预设存储位置中,所述预设存储位置中保存有不同街景影像的对齐结果;
按照预置时间间隔,根据新采集到的街景影像数据,对所述预设存储位置中保存的街景影像对齐结果进行更新。
5.一种层次递进时空约束对齐装置,其特征在于,包括:
获取单元,用于获取采集的街景影像的轨迹数据;所述轨迹数据中包含所述街景影像的视域及主光轴方向;
所述获取单元,还用于根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合;所述获取单元具体包括:建立模块和检索模块;
所述建立模块,用于依据所述街景影像的视域及主光轴方向,建立所述街景影像的最小外包框;所述建立模块,还用于根据所述最小外包框,利用预定空间索引算法,建立所述街景影像二维空间的轨迹数据空间索引;
所述检索模块,用于以参考影像采集点的坐标为参数,按照所述建立模块建立的轨迹数据空间索引,检索所述参考影像采集点预设范围内的影像集合;
查询单元,用于依据所述参考影像采集点周围邻域的兴趣点POI,从所述获取单元获取的影像集合中查询所述参考影像采集点前后的候选影像集合;
确定单元,用于利用POI的尺度约束和视觉特征匹配算法,从所述查询单元查询到的候选影像集合中确定与所述参考影像对齐的街景影像。
6.根据权利要求5所述的装置,其特征在于,所述查询单元具体包括:
查询模块,用于利用所述轨迹数据空间索引,查询所述参考影像采集点周围邻域的POI;
投影模块,用于将所述查询模块查询到的邻域的POI基于摄影几何反向投影到街景影像;
检索模块,用于利用POI在每张街景影像上的分布特征,从所述影像集合中匹配检索到所述参考影像采集点前后的候选影像。
7.一种存储设备,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现以下步骤:
获取采集的街景影像的轨迹数据;所述轨迹数据中包含所述街景影像的视域及主光轴方向;
根据所述轨迹数据和参考影像采集点的坐标,获取所述参考影像采集点预设范围内的影像集合,具体包括:依据所述街景影像的视域及主光轴方向,建立所述街景影像的最小外包框;根据所述最小外包框,利用预定空间索引算法,建立所述街景影像二维空间的轨迹数据空间索引;以参考影像采集点的坐标为参数,按照所述轨迹数据空间索引,检索所述参考影像采集点预设范围内的影像集合;
依据所述参考影像采集点周围邻域的兴趣点POI,从所述影像集合中查询所述参考影像采集点前后的候选影像集合;
利用POI的尺度约束和视觉特征匹配算法,从所述候选影像集合中确定与所述参考影像对齐的街景影像。
CN201710786258.2A 2017-09-04 2017-09-04 层次递进时空约束对齐方法及装置 Active CN107507236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710786258.2A CN107507236B (zh) 2017-09-04 2017-09-04 层次递进时空约束对齐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710786258.2A CN107507236B (zh) 2017-09-04 2017-09-04 层次递进时空约束对齐方法及装置

Publications (2)

Publication Number Publication Date
CN107507236A CN107507236A (zh) 2017-12-22
CN107507236B true CN107507236B (zh) 2018-08-03

Family

ID=60695597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710786258.2A Active CN107507236B (zh) 2017-09-04 2017-09-04 层次递进时空约束对齐方法及装置

Country Status (1)

Country Link
CN (1) CN107507236B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363191A (zh) * 2018-08-24 2019-10-22 北京建筑大学 一种基于poi对象的街景影像时空描述、检索方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002309A (zh) * 2012-09-25 2013-03-27 浙江大学 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103822616B (zh) * 2014-03-18 2016-01-20 武汉大学 一种图分割与地形起伏约束相结合的遥感影像匹配方法
CN105352509B (zh) * 2015-10-27 2018-05-11 武汉大学 地理信息时空约束下的无人机运动目标跟踪与定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002309A (zh) * 2012-09-25 2013-03-27 浙江大学 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Spatio-Temporal Alignment of Sequences;Yaron Caspi,et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20021130;第24卷(第11期);第1409-1424页 *
一种序列图像配准的计算框架;彭晓明 等;《中国图象图形学报》;20050430;第10卷(第4期);第446页第4-5段 *
基于彩色信息尺度不变特征的街景影像匹配;何培培 等;《武汉大学学报.信息科学版》;20140731;第39卷(第7期);摘要,前言,第2节 *
多层平面单应约束车载街景影像匹配算法研究;闫利 等;《测绘地理信息》;20170831;第42卷(第4期);第20-22,68页 *

Also Published As

Publication number Publication date
CN107507236A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
US10297074B2 (en) Three-dimensional modeling from optical capture
CN102884400B (zh) 信息处理设备,信息处理***和程序
JP4488233B2 (ja) 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN109658445A (zh) 网络训练方法、增量建图方法、定位方法、装置及设备
US20120133639A1 (en) Strip panorama
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
CN110428490B (zh) 构建模型的方法和装置
CN106650723A (zh) 用于确定相机姿态以及用于识别真实环境的对象的方法
CN108334523B (zh) 道路场景地图的构建方法和装置
CN110887499B (zh) 一种地图中道路数据和兴趣点数据的处理方法及终端
CN102194215A (zh) 图像处理设备、方法以及程序
CN109974733A (zh) 用于ar导航的poi显示方法、装置、终端和介质
CN109883418A (zh) 一种室内定位方法及装置
US8639023B2 (en) Method and system for hierarchically matching images of buildings, and computer-readable recording medium
CN105260466A (zh) 推送图片的方法和装置
KR102081552B1 (ko) 공간데이터 기반 ar 및 vr을 이용한 조경디자인 시뮬레이션 시스템 및 그 방법
CN111143489B (zh) 基于图像的定位方法及装置、计算机设备和可读存储介质
CN110163900B (zh) 用于调整点云数据方法和装置
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、***
CN115457212A (zh) 树木影像图处理方法、装置、终端设备及存储介质
CN109918531A (zh) 一种毒品原植物的搜查方法、装置和计算机可读存储介质
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、***及拍摄终端
CN115690217A (zh) 一种树木位置的确定方法、介质及计算设备
CN107507236B (zh) 层次递进时空约束对齐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant