CN115631240A - 大规模场景的视觉定位数据处理方法 - Google Patents
大规模场景的视觉定位数据处理方法 Download PDFInfo
- Publication number
- CN115631240A CN115631240A CN202211645614.6A CN202211645614A CN115631240A CN 115631240 A CN115631240 A CN 115631240A CN 202211645614 A CN202211645614 A CN 202211645614A CN 115631240 A CN115631240 A CN 115631240A
- Authority
- CN
- China
- Prior art keywords
- point
- identification
- scene graph
- identification point
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 17
- 239000003550 marker Substances 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种大规模场景的视觉定位数据处理方法。该方法通过获取目标场景的待定位场景图,然后,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,再根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,然后,根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,设备点位置为预设拍摄设备所处的实际位置,最后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据,从而在当通信遭受破坏时,可以通过视觉定位的方式,对所拍摄的待定位场景图进行定位数据的确定。
Description
技术领域
本申请涉及数据处理技术,尤其涉及一种大规模场景的视觉定位数据处理方法。
背景技术
我国幅员辽阔,时常会发生自然灾害,例如,由于我国处在地震带上的国土面积也较大,地震发生的概率较大,然而地震的预测一直是一个难以解决的问题。不能够预测地震,就需要在地震发生之后迅速采取措施进行灾后营救,以尽量减少生命财产损失。
然而在地震发生之后,震区的通信和交通设施往往也会遭受破坏,因此,震区内的受灾情况无法及时地对外传送,给灾后营救指挥造成了很大的困难。而随着无人机技术的发展,在对震区内图像的拍摄方面,无人机开始充当非常重要的角色。通过无人机的摄像头对震区内的大规模场景进行拍摄后,可以先对拍摄的图像进行存储,待无人机飞出震区之后,就可以根据无人机存储的图像进行判断。
但是,由于震区的通信已经遭受破坏,因此,无人机无法实时进行位置的定位,因此,所拍摄的图像通常不具备位置信息。
发明内容
本申请提供一种大规模场景的视觉定位数据处理方法,用以解决在震区内,由于通信已经遭受破坏,无人机所拍摄的图像不具备位置信息的技术问题。
第一方面,本申请提供一种规模场景的视觉定位数据处理方法,包括:
获取目标场景的待定位场景图,所述待定位场景图为通过预设拍摄设备对所述目标场景拍摄的俯视图像;
根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图,其中,所述待定位场景图为所述参考场景图发生改变后的场景图,所述预设场景定位模型为基于图像相似度比对所建立的神经网络模型,所述改变包括:自然灾害改变;
根据预设标识点识别模型确定所述参考场景图中的参考标识点集合以及所述待定位场景图中的当前标识点集合,其中,所述参考标识点集合中的参考标识点与所述当前标识点集合中的当前标识点为一一映射的关系;
根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,所述设备点位置为所述预设拍摄设备所处的实际位置;
根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据。
可选的,所述根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,包括:
根据所述参考标识点集合中各个参考标识点位置生成参考标识点地图,根据所述当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于所述当前标识点地图中,所述原始设备点位置通过预设相机标定参数配置于所述待定位场景图;
从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点;
将所述参考标识锚点与所述当前标识锚点设置为重合关系,并遍历所述当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及所述原始设备点位置进行联合移动,所述联合移动为基于本次的当前标识点的移动矢量所进行的移动,所述移动矢量至本次的当前标识点指向对应的参考标识点;
在对所述当前标识点集合中的当前标识点遍历完成后,将所述原始设备点位置最终在所述待定位场景图中的位置确定为在所述参考场景图中的所述相对位置点。
可选的,所述从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点,包括:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定所述参考标识点地图上的第一标识点密集区域,并将与所述第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为所述参考标识锚点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定所述当前标识点地图上的第二标识点密集区域,并将与所述第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为所述当前标识锚点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点;或者,
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定与所述参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为所述参考标识锚点,所述第一特征标识点为所述参考标识点地图上的中心点或角落点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定与所述当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为所述当前标识锚点,所述第二特征标识点为所述当前标识点地图上的中心点或角落点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点。
可选的,所述根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据,包括:
获取所述参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,所述目标二维空间与所述预设拍摄设备的拍摄方向相垂直;
在所述参考标识点地图中构建由所述两个参考标识点与所述相对位置点组成的定位三角形;
根据所述定位三角形以及所述两个参考标识点在所述目标二维空间上的位置坐标确定所述设备点位置在所述目标二维空间上的定位二维坐标,所述定位数据包括所述定位二维坐标以及预设高度坐标。
可选的,在所述从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点之前,还包括:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,并确定所述参考标识点地图上的第一边界特征点以及第二边界特征点;
确定所述当前标识点地图上与所述第一边界特征点相对应的第三边界特征点,以及确定所述当前标识点地图上与所述第二边界特征点相对应的第四边界特征点;
确定所述第一边界特征点与所述第二边界特征点之间的第一欧式距离,以及所述第三边界特征点与所述第四边界特征点之间的第二欧式距离;
根据所述第一欧式距离与所述第二欧式距离确定缩放比例,并基于所述缩放比例对所述当前标识点地图进行缩放,并在缩放后,对所述当前标识点集合在所述当前标识点地图上的位置进行更新。
可选的,在所述根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图之前,还包括:
获取针对所述改变的类型输入指令,并基于所述类型输入指令确定所述改变的灾害类型;
基于所述灾害类型确定所述预设场景定位模型中各类不同类型目标的识别权重值,所述预设场景定位模型基于神经网络模型建立,对于不同的灾害类型,采取不同的训练集进行训练,所述训练集与所述识别权重值相关联。
可选的,在所述根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图之后,还包括:
基于预设AlexNet模型提取所述参考场景图中的第一目标特征以及原始待定位场景图中的第二目标特征,所述第一目标特征与所述二目标特征为相对应的特征;
对所述原始待定位场景图按照预设角度进行旋转,生成待定位场景图序列,所述待定位场景图序列包括所述原始待定位场景图以及基于所述原始待定位场景图旋转后的场景图,所述原始待定位场景图为所述预设拍摄设备对所述目标场景拍摄后直接获得的图像;
依次计算所述待定位场景图序列的各个场景图中所述二目标特征与所述第一目标特征的余弦相似度,并利用最大余弦相似度所对应的场景图替代所述原始待定位场景图作为所述待定位场景图。
第二方面,本申请提供一种大规模场景的视觉定位数据处理装置,包括:
获取模块,用于获取目标场景的待定位场景图,所述待定位场景图为通过预设拍摄设备对所述目标场景拍摄的俯视图像;
处理模块,用于根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图,其中,所述待定位场景图为所述参考场景图发生改变后的场景图,所述改变为自然灾害改变或人为建设改变;
所述处理模块,还用于根据预设标识点识别模型确定所述参考场景图中的参考标识点集合以及所述待定位场景图中的当前标识点集合,其中,所述参考标识点集合中的参考标识点与所述当前标识点集合中的当前标识点为一一映射的关系;
所述处理模块,还用于根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,所述设备点位置为所述预设拍摄设备所处的实际位置;
所述处理模块,还用于根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据。
可选的,所述处理模块,具体用于:
根据所述参考标识点集合中各个参考标识点位置生成参考标识点地图,根据所述当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于所述当前标识点地图中,所述原始设备点位置通过预设相机标定参数配置于所述待定位场景图;
从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点;
将所述参考标识锚点与所述当前标识锚点设置为重合关系,并遍历所述当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及所述原始设备点位置进行联合移动,所述联合移动为基于本次的当前标识点的移动矢量所进行的移动,所述移动矢量至本次的当前标识点指向对应的参考标识点;
在对所述当前标识点集合中的当前标识点遍历完成后,将所述原始设备点位置最终在所述待定位场景图中的位置确定为在所述参考场景图中的所述相对位置点。
可选的,所述处理模块,具体用于:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定所述参考标识点地图上的第一标识点密集区域,并将与所述第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为所述参考标识锚点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定所述当前标识点地图上的第二标识点密集区域,并将与所述第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为所述当前标识锚点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点;或者,
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定与所述参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为所述参考标识锚点,所述第一特征标识点为所述参考标识点地图上的中心点或角落点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定与所述当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为所述当前标识锚点,所述第二特征标识点为所述当前标识点地图上的中心点或角落点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点。
可选的,所述处理模块,具体用于:
获取所述参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,所述目标二维空间与所述预设拍摄设备的拍摄方向相垂直;
在所述参考标识点地图中构建由所述两个参考标识点与所述相对位置点组成的定位三角形;
根据所述定位三角形以及所述两个参考标识点在所述目标二维空间上的位置坐标确定所述设备点位置在所述目标二维空间上的定位二维坐标,所述定位数据包括所述定位二维坐标以及预设高度坐标。
可选的,所述处理模块,具体用于:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,并确定所述参考标识点地图上的第一边界特征点以及第二边界特征点;
确定所述当前标识点地图上与所述第一边界特征点相对应的第三边界特征点,以及确定所述当前标识点地图上与所述第二边界特征点相对应的第四边界特征点;
确定所述第一边界特征点与所述第二边界特征点之间的第一欧式距离,以及所述第三边界特征点与所述第四边界特征点之间的第二欧式距离;
根据所述第一欧式距离与所述第二欧式距离确定缩放比例,并基于所述缩放比例对所述当前标识点地图进行缩放,并在缩放后,对所述当前标识点集合在所述当前标识点地图上的位置进行更新。
可选的,所述处理模块,具体用于:
获取针对所述改变的类型输入指令,并基于所述类型输入指令确定所述改变的灾害类型;
基于所述灾害类型确定所述预设场景定位模型中各类不同类型目标的识别权重值,所述预设场景定位模型基于神经网络模型建立,对于不同的灾害类型,采取不同的训练集进行训练,所述训练集与所述识别权重值相关联。
可选的,所述处理模块,具体用于:
基于预设AlexNet模型提取所述参考场景图中的第一目标特征以及原始待定位场景图中的第二目标特征,所述第一目标特征与所述二目标特征为相对应的特征;
对所述原始待定位场景图按照预设角度进行旋转,生成待定位场景图序列,所述待定位场景图序列包括所述原始待定位场景图以及基于所述原始待定位场景图旋转后的场景图,所述原始待定位场景图为所述预设拍摄设备对所述目标场景拍摄后直接获得的图像;
依次计算所述待定位场景图序列的各个场景图中所述二目标特征与所述第一目标特征的余弦相似度,并利用最大余弦相似度所对应的场景图替代所述原始待定位场景图作为所述待定位场景图。
第三方面,本申请提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
本申请提供的,通过获取目标场景的待定位场景图,然后,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,再根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,然后,根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,设备点位置为预设拍摄设备所处的实际位置,最后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据,从而在当通信遭受破坏时,可以通过视觉定位的方式,对所拍摄的待定位场景图进行定位数据的确定。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例实施例示出的大规模场景的视觉定位数据处理方法的流程示意图;
图2是本申请根据另一示例实施例示出的大规模场景的视觉定位数据处理方法的流程示意图;
图3是本申请根据一示例实施例示出的大规模场景的视觉定位数据处理装置的结构示意图;
图4是本申请根据一示例实施例示出的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请根据一示例实施例示出的大规模场景的视觉定位数据处理方法的流程示意图。如图1所示,本实施例提供的方法,包括:
S101、获取目标场景的待定位场景图。
在本步骤中,可以是通过无人机从预设高度进行拍摄的方式获取目标场景的待定位场景图的。而通过无人机所获取的待定位场景图为对目标场景拍摄的俯视图像。值得说明的,无人机的高度测量可以是通过气压传感器实现,具体的,气压传感器的工作原理是利用气压传感器作为高度测量装置,以数字信号处理器作为微控制器单元,利用中位值平均滤波方法处理气压计的原始数据,获得较高精度的高度测量值。高度测量是无人机上的核心工作之一,担负着为无人机飞行控制***飞行高度控制的重任,是实现无人机广泛应用的基础和关键,并且,无需依赖于外部通信***,因此,能够很好地适用于震区通信受损的环境中。此外,由于是从空中对目标场景拍摄的俯视图像,所拍摄的范围较大,因此,在该场景中需要对目标场景确定设备点位置的定位数据属于大规模场景下的视觉定位应用。
S102、根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图。
在获取到目标场景的待定位场景图之后,可以根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,其中,待定位场景图为参考场景图发生改变后的场景图,预设场景定位模型为基于图像相似度比对所建立的神经网络模型,其中,上述的改变包括:自然灾害改变,例如:地震、台风、泥石流等。
值得理解的,上述的预设参考场景图数据库中的场景图是在通信良好的情况下提前建立的,可以是通过无人机按照上述的预设高度对各个区域进行俯视拍摄所产生的场景图。可以理解的,在本步骤中,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图可以是从预设参考场景图数据库中直接匹配出的一张场景图,也可以是匹配出的多张场景图进行拼接。
此外,由于经过自然灾害改变后,待定位场景图为参考场景图之间可能存在较大的区别,因此,基于传统的整体图像对比识别,识别的效率较低,设置存在无法匹配的情况。因此,对于本步骤中所采用的预设场景定位模型在训练的过程中,所采用的训练集对于特定目标的权重设置会有所偏向,例如,对于抗震等级高的建筑物,在相似度评价时,就会设置较高的权重,而对于抗震等级较低的建筑物,在相似度评价时,就会设置较低的权重。此外,还可以是根据当前发生地震的等级,对预设场景定位模型进行具体的配置,例如,当前地震等级为7级,则将抗震等级高于7级别的建筑物,在相似度评价时,设置较高的权重,而将抗震等级低于7级别的建筑物,在相似度评价时,设置较低的权重。从而使得在发生地震之后,虽然场景中的一些目标已经发生了改变,但是,由于对不同特性的目标设置了不同权重来评价前后两张场景图的相似度,以能够很好地满足在该场景下的匹配。
S103、根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合。
在该步骤中,可以根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,其中,参考标识点集合中的参考标识点与当前标识点集合中的当前标识点为一一映射的关系。值得理解的,上述的一一映射的关系并非是指从参考场景图与从待定位场景图中所识别出的标识点完全一致,而是将二者所识别出的共同的、具有对应性的标识点进行一一映射后,分别生成参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合。
此外,对于上述预设标识点识别模型可以是基于图像中的目标识别模型,通过目标识别方法可以从场景图中识别出目标的轮廓,也可以确定各个轮廓之间的相对位置关系与分布规律。
S104、根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点。
在根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合之后,可以根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,其中,设备点位置为预设拍摄设备所处的实际位置。
可选的,对于根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点的实现,具体的,可是根据参考标识点集合中各个参考标识点位置生成参考标识点地图,根据当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于当前标识点地图中,原始设备点位置通过预设相机标定参数配置于待定位场景图。从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点。将参考标识锚点与当前标识锚点设置为重合关系,并遍历当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及原始设备点位置进行联合移动,联合移动为基于本次的当前标识点的移动矢量所进行的移动,移动矢量至本次的当前标识点指向对应的参考标识点。在对当前标识点集合中的当前标识点遍历完成后,将原始设备点位置最终在待定位场景图中的位置确定为在参考场景图中的相对位置点。
而对于从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点的具体实现方式,可以是如下几种方式中的任意一种:
方式一、根据参考标识点集合在参考标识点地图上的位置分布,确定参考标识点地图上的第一标识点密集区域,并将与第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为参考标识锚点,对应的,确定参考标识锚点所对应的当前标识点设置确定当前标识锚点。
方式二、根据当前标识点集合在当前标识点地图上的位置分布,确定当前标识点地图上的第二标识点密集区域,并将与第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为当前标识锚点,对应的,确定当前标识锚点所对应的参考标识点设置确定参考标识锚点。
方式三、根据参考标识点集合在参考标识点地图上的位置分布,确定与参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为参考标识锚点,第一特征标识点为参考标识点地图上的中心点或角落点,对应的,确定参考标识锚点所对应的当前标识点设置确定当前标识锚点。可选的,角落点可以左上角点、右上角点、左下角点或者是右下角点。
方式四、根据当前标识点集合在当前标识点地图上的位置分布,确定与当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为当前标识锚点,第二特征标识点为当前标识点地图上的中心点或角落点,对应的,确定当前标识锚点所对应的参考标识点设置确定参考标识锚点。可选的,角落点可以左上角点、右上角点、左下角点或者是右下角点。
可选的,在从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点之前。还可以根据参考标识点集合在参考标识点地图上的位置分布,并确定参考标识点地图上的第一边界特征点以及第二边界特征点,确定当前标识点地图上与第一边界特征点相对应的第三边界特征点,以及确定当前标识点地图上与第二边界特征点相对应的第四边界特征点,确定第一边界特征点与第二边界特征点之间的第一欧式距离,以及第三边界特征点与第四边界特征点之间的第二欧式距离,根据第一欧式距离与第二欧式距离确定缩放比例,并基于缩放比例对当前标识点地图进行缩放,并在缩放后,对当前标识点集合在当前标识点地图上的位置进行更新。
S105、根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据。
在根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点之后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据。
具体的,可以是获取参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,目标二维空间与预设拍摄设备的拍摄方向相垂直;在参考标识点地图中构建由两个参考标识点与相对位置点组成的定位三角形;根据定位三角形以及两个参考标识点在目标二维空间上的位置坐标确定设备点位置在目标二维空间上的定位二维坐标,定位数据包括定位二维坐标以及预设高度坐标。
在本实施例中,通过获取目标场景的待定位场景图,然后,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,再根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,然后,根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,设备点位置为预设拍摄设备所处的实际位置,最后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据,从而在当通信遭受破坏时,可以通过视觉定位的方式,对所拍摄的待定位场景图进行定位数据的确定。
图2是本申请根据另一示例实施例示出的大规模场景的视觉定位数据处理方法的流程示意图。如图2所示,本实施例提供的大规模场景的视觉定位数据处理方法,包括:
S201、获取针对改变的类型输入指令,并基于类型输入指令确定改变的灾害类型。
S202、基于灾害类型确定预设场景定位模型中各类不同类型目标的识别权重值。
在S201-S202中,可以是获取针对改变的类型输入指令,并基于类型输入指令确定改变的灾害类型,然后,基于灾害类型确定预设场景定位模型中各类不同类型目标的识别权重值,预设场景定位模型基于神经网络模型建立,对于不同的灾害类型,采取不同的训练集进行训练,训练集与识别权重值相关联。
S203、获取目标场景的待定位场景图。
在本步骤中,可以是通过无人机从预设高度进行拍摄的方式获取目标场景的待定位场景图的。而通过无人机所获取的待定位场景图为对目标场景拍摄的俯视图像。值得说明的,无人机的高度测量可以是通过气压传感器实现,具体的,气压传感器的工作原理是利用气压传感器作为高度测量装置,以数字信号处理器作为微控制器单元,利用中位值平均滤波方法处理气压计的原始数据,获得较高精度的高度测量值。高度测量是无人机上的核心工作之一,担负着为无人机飞行控制***飞行高度控制的重任,是实现无人机广泛应用的基础和关键,并且,无需依赖于外部通信***,因此,能够很好地适用于震区通信受损的环境中。此外,由于是从空中对目标场景拍摄的俯视图像,所拍摄的范围较大,因此,在该场景中需要对目标场景确定设备点位置的定位数据属于大规模场景下的视觉定位应用。
S204、根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图。
在获取到目标场景的待定位场景图之后,可以根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,其中,待定位场景图为参考场景图发生改变后的场景图,预设场景定位模型为基于图像相似度比对所建立的神经网络模型,其中,上述的改变可以为地震。
可选的,由于在实施例提供的方法在实际实施过程中,只能保证无人机按照预设高度进行飞行,而无法确保是与获取参考场景图时所飞行的方向是完全一致的,因此,通过无人机获取的待定位场景图可能是与参考场景图成不同方向成像的,但是,不同角度的成像可能导致匹配结果的失败。即所对应的场景是一致的,仅仅因为待定位场景图是参考场景图旋转一定角度之后的图像,而导致的匹配失败。为了解决该问题,本实施例在根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图之后,还可以基于预设AlexNet模型提取参考场景图中的第一目标特征以及原始待定位场景图中的第二目标特征,第一目标特征与二目标特征为相对应的特征。对原始待定位场景图按照预设角度进行旋转,生成待定位场景图序列,待定位场景图序列包括原始待定位场景图以及基于原始待定位场景图旋转后的场景图,原始待定位场景图为预设拍摄设备对目标场景拍摄后直接获得的图像。然后,依次计算待定位场景图序列的各个场景图中二目标特征与第一目标特征的余弦相似度,并利用最大余弦相似度所对应的场景图替代原始待定位场景图作为待定位场景图。
值得理解的,上述的预设参考场景图数据库中的场景图是在通信良好的情况下提前建立的,可以是通过无人机按照上述的预设高度对各个区域进行俯视拍摄所产生的场景图。可以理解的,在本步骤中,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图可以是从预设参考场景图数据库中直接匹配出的一张场景图,也可以是匹配出的多张场景图进行拼接。
此外,由于经过地震改变后,待定位场景图为参考场景图之间可能存在较大的区别,因此,基于传统的整体图像对比识别,识别的效率较低,设置存在无法匹配的情况。因此,对于本步骤中所采用的预设场景定位模型在训练的过程中,所采用的训练集对于特定目标的权重设置会有所偏向,例如,对于抗震等级高的建筑物,在相似度评价时,就会设置较高的权重,而对于抗震等级较低的建筑物,在相似度评价时,就会设置较低的权重。此外,还可以是根据当前发生地震的等级,对预设场景定位模型进行具体的配置,例如,当前地震等级为7级,则将抗震等级高于7级别的建筑物,在相似度评价时,设置较高的权重,而将抗震等级低于7级别的建筑物,在相似度评价时,设置较低的权重。从而使得在发生地震之后,虽然场景中的一些目标已经发生了改变,但是,由于对不同特性的目标设置了不同权重来评价前后两张场景图的相似度,以能够很好地满足在该场景下的匹配。
S205、根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合。
在该步骤中,可以根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,其中,参考标识点集合中的参考标识点与当前标识点集合中的当前标识点为一一映射的关系。值得理解的,上述的一一映射的关系并非是指从参考场景图与从待定位场景图中所识别出的标识点完全一致,而是将二者所识别出的共同的、具有对应性的标识点进行一一映射后,分别生成参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合。
此外,对于上述预设标识点识别模型可以是基于图像中的目标识别模型,通过目标识别方法可以从场景图中识别出目标的轮廓,也可以确定各个轮廓之间的相对位置关系与分布规律。
S206、根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点。
在根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合之后,可以根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,其中,设备点位置为预设拍摄设备所处的实际位置。
可选的,对于根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点的实现,具体的,可是根据参考标识点集合中各个参考标识点位置生成参考标识点地图,根据当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于当前标识点地图中,原始设备点位置通过预设相机标定参数配置于待定位场景图。从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点。将参考标识锚点与当前标识锚点设置为重合关系,并遍历当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及原始设备点位置进行联合移动,联合移动为基于本次的当前标识点的移动矢量所进行的移动,移动矢量至本次的当前标识点指向对应的参考标识点。在对当前标识点集合中的当前标识点遍历完成后,将原始设备点位置最终在待定位场景图中的位置确定为在参考场景图中的相对位置点。
而对于从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点的具体实现方式,可以是如下几种方式中的任意一种:
方式一、根据参考标识点集合在参考标识点地图上的位置分布,确定参考标识点地图上的第一标识点密集区域,并将与第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为参考标识锚点,对应的,确定参考标识锚点所对应的当前标识点设置确定当前标识锚点。
方式二、根据当前标识点集合在当前标识点地图上的位置分布,确定当前标识点地图上的第二标识点密集区域,并将与第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为当前标识锚点,对应的,确定当前标识锚点所对应的参考标识点设置确定参考标识锚点。
方式三、根据参考标识点集合在参考标识点地图上的位置分布,确定与参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为参考标识锚点,第一特征标识点为参考标识点地图上的中心点或角落点,对应的,确定参考标识锚点所对应的当前标识点设置确定当前标识锚点。可选的,角落点可以左上角点、右上角点、左下角点或者是右下角点。
方式四、根据当前标识点集合在当前标识点地图上的位置分布,确定与当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为当前标识锚点,第二特征标识点为当前标识点地图上的中心点或角落点,对应的,确定当前标识锚点所对应的参考标识点设置确定参考标识锚点。可选的,角落点可以左上角点、右上角点、左下角点或者是右下角点。
可选的,在从参考标识点集合中确定参考标识锚点,从当前标识点集合中确定与参考标识锚点相对应的当前标识锚点之前。还可以根据参考标识点集合在参考标识点地图上的位置分布,并确定参考标识点地图上的第一边界特征点以及第二边界特征点,确定当前标识点地图上与第一边界特征点相对应的第三边界特征点,以及确定当前标识点地图上与第二边界特征点相对应的第四边界特征点,确定第一边界特征点与第二边界特征点之间的第一欧式距离,以及第三边界特征点与第四边界特征点之间的第二欧式距离,根据第一欧式距离与第二欧式距离确定缩放比例,并基于缩放比例对当前标识点地图进行缩放,并在缩放后,对当前标识点集合在当前标识点地图上的位置进行更新。
S207、根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据。
在根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点之后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据。
具体的,可以是获取参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,目标二维空间与预设拍摄设备的拍摄方向相垂直;在参考标识点地图中构建由两个参考标识点与相对位置点组成的定位三角形;根据定位三角形以及两个参考标识点在目标二维空间上的位置坐标确定设备点位置在目标二维空间上的定位二维坐标,定位数据包括定位二维坐标以及预设高度坐标。
在本实施例中,通过获取目标场景的待定位场景图,然后,根据预设场景定位模型从预设参考场景图数据库中匹配出与待定位场景图相对应的参考场景图,再根据预设标识点识别模型确定参考场景图中的参考标识点集合以及待定位场景图中的当前标识点集合,然后,根据参考标识点集合与当前标识点集合确定设备点位置在参考场景图中的相对位置点,设备点位置为预设拍摄设备所处的实际位置,最后,根据相对位置点以及参考标识点集合中各个参考标识点的位置信息确定设备点位置的定位数据,从而在当通信遭受破坏时,可以通过视觉定位的方式,对所拍摄的待定位场景图进行定位数据的确定,此外,还可以基于所发生的自然灾害的类型,对预设场景定位模型进行配置,以适配不同灾害场景下的使用。
图3是本申请根据一示例实施例示出的大规模场景的视觉定位数据处理装置的结构示意图。如图3所示,本实施例提供的装置300,包括:
获取模块301,用于获取目标场景的待定位场景图,所述待定位场景图为通过预设拍摄设备对所述目标场景拍摄的俯视图像;
处理模块302,用于根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图,其中,所述待定位场景图为所述参考场景图发生改变后的场景图,所述改变为自然灾害改变或人为建设改变;
所述处理模块302,还用于根据预设标识点识别模型确定所述参考场景图中的参考标识点集合以及所述待定位场景图中的当前标识点集合,其中,所述参考标识点集合中的参考标识点与所述当前标识点集合中的当前标识点为一一映射的关系;
所述处理模块302,还用于根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,所述设备点位置为所述预设拍摄设备所处的实际位置;
所述处理模块302,还用于根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据。
可选的,所述处理模块302,具体用于:
根据所述参考标识点集合中各个参考标识点位置生成参考标识点地图,根据所述当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于所述当前标识点地图中,所述原始设备点位置通过预设相机标定参数配置于所述待定位场景图;
从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点;
将所述参考标识锚点与所述当前标识锚点设置为重合关系,并遍历所述当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及所述原始设备点位置进行联合移动,所述联合移动为基于本次的当前标识点的移动矢量所进行的移动,所述移动矢量至本次的当前标识点指向对应的参考标识点;
在对所述当前标识点集合中的当前标识点遍历完成后,将所述原始设备点位置最终在所述待定位场景图中的位置确定为在所述参考场景图中的所述相对位置点。
可选的,所述处理模块302,具体用于:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定所述参考标识点地图上的第一标识点密集区域,并将与所述第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为所述参考标识锚点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定所述当前标识点地图上的第二标识点密集区域,并将与所述第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为所述当前标识锚点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点;或者,
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定与所述参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为所述参考标识锚点,所述第一特征标识点为所述参考标识点地图上的中心点或角落点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定与所述当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为所述当前标识锚点,所述第二特征标识点为所述当前标识点地图上的中心点或角落点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点。
可选的,所述处理模块302,具体用于:
获取所述参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,所述目标二维空间与所述预设拍摄设备的拍摄方向相垂直;
在所述参考标识点地图中构建由所述两个参考标识点与所述相对位置点组成的定位三角形;
根据所述定位三角形以及所述两个参考标识点在所述目标二维空间上的位置坐标确定所述设备点位置在所述目标二维空间上的定位二维坐标,所述定位数据包括所述定位二维坐标以及预设高度坐标。
可选的,所述处理模块302,具体用于:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,并确定所述参考标识点地图上的第一边界特征点以及第二边界特征点;
确定所述当前标识点地图上与所述第一边界特征点相对应的第三边界特征点,以及确定所述当前标识点地图上与所述第二边界特征点相对应的第四边界特征点;
确定所述第一边界特征点与所述第二边界特征点之间的第一欧式距离,以及所述第三边界特征点与所述第四边界特征点之间的第二欧式距离;
根据所述第一欧式距离与所述第二欧式距离确定缩放比例,并基于所述缩放比例对所述当前标识点地图进行缩放,并在缩放后,对所述当前标识点集合在所述当前标识点地图上的位置进行更新。
可选的,所述处理模块302,具体用于:
获取针对所述改变的类型输入指令,并基于所述类型输入指令确定所述改变的灾害类型;
基于所述灾害类型确定所述预设场景定位模型中各类不同类型目标的识别权重值,所述预设场景定位模型基于神经网络模型建立,对于不同的灾害类型,采取不同的训练集进行训练,所述训练集与所述识别权重值相关联。
可选的,所述处理模块302,具体用于:
基于预设AlexNet模型提取所述参考场景图中的第一目标特征以及原始待定位场景图中的第二目标特征,所述第一目标特征与所述二目标特征为相对应的特征;
对所述原始待定位场景图按照预设角度进行旋转,生成待定位场景图序列,所述待定位场景图序列包括所述原始待定位场景图以及基于所述原始待定位场景图旋转后的场景图,所述原始待定位场景图为所述预设拍摄设备对所述目标场景拍摄后直接获得的图像;
依次计算所述待定位场景图序列的各个场景图中所述二目标特征与所述第一目标特征的余弦相似度,并利用最大余弦相似度所对应的场景图替代所述原始待定位场景图作为所述待定位场景图。
图4是本申请根据一示例实施例示出的电子设备的结构示意图。如图4所示,本实施例提供的一种电子设备400包括:处理器401以及存储器402;其中:
存储器402,用于存储计算机程序,该存储器还可以是flash(闪存)。
处理器401,用于执行存储器存储的执行指令,以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当所述存储器402是独立于处理器401之外的器件时,所述电子设备400还可以包括:
总线403,用于连接所述存储器402和处理器401。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种大规模场景的视觉定位数据处理方法,其特征在于,包括:
获取目标场景的待定位场景图,所述待定位场景图为通过预设拍摄设备对所述目标场景拍摄的俯视图像;
根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图,其中,所述待定位场景图为所述参考场景图发生改变后的场景图,所述预设场景定位模型为基于图像相似度比对所建立的神经网络模型,所述改变包括:自然灾害改变;
根据预设标识点识别模型确定所述参考场景图中的参考标识点集合以及所述待定位场景图中的当前标识点集合,其中,所述参考标识点集合中的参考标识点与所述当前标识点集合中的当前标识点为一一映射的关系;
根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,所述设备点位置为所述预设拍摄设备所处的实际位置;
根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据。
2.根据权利要求1所述的大规模场景的视觉定位数据处理方法,其特征在于,所述根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,包括:
根据所述参考标识点集合中各个参考标识点位置生成参考标识点地图,根据所述当前标识点集合中各个当前标识点位置生成当前标识点地图,并将原始设备点位置标记于所述当前标识点地图中,所述原始设备点位置通过预设相机标定参数配置于所述待定位场景图;
从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点;
将所述参考标识锚点与所述当前标识锚点设置为重合关系,并遍历所述当前标识点集合中的当前标识点,以将各个当前标识点移动至与相对应的参考标识点相重合,其中,在本次的当前标识点移动时,仅对未遍历到的其他当前标识点以及所述原始设备点位置进行联合移动,所述联合移动为基于本次的当前标识点的移动矢量所进行的移动,所述移动矢量至本次的当前标识点指向对应的参考标识点;
在对所述当前标识点集合中的当前标识点遍历完成后,将所述原始设备点位置最终在所述待定位场景图中的位置确定为在所述参考场景图中的所述相对位置点。
3.根据权利要求2所述的大规模场景的视觉定位数据处理方法,其特征在于,所述从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点,包括:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定所述参考标识点地图上的第一标识点密集区域,并将与所述第一标识点密集区域几何中心位置之间的欧式距离最小的参考标识点确定为所述参考标识锚点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定所述当前标识点地图上的第二标识点密集区域,并将与所述第二标识点密集区域几何中心位置之间的欧式距离最小的当前标识点确定为所述当前标识锚点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点;或者,
根据所述参考标识点集合在所述参考标识点地图上的位置分布,确定与所述参考标识点地图上的第一特征标识点之间的欧式距离最小的参考标识点作为所述参考标识锚点,所述第一特征标识点为所述参考标识点地图上的中心点或角落点,对应的,确定所述参考标识锚点所对应的当前标识点设置确定所述当前标识锚点;或者,
根据所述当前标识点集合在所述当前标识点地图上的位置分布,确定与所述当前标识点地图上的第二特征标识点之间的欧式距离最小的当前标识点作为所述当前标识锚点,所述第二特征标识点为所述当前标识点地图上的中心点或角落点,对应的,确定所述当前标识锚点所对应的参考标识点设置确定所述参考标识锚点。
4.根据权利要求2或3所述的大规模场景的视觉定位数据处理方法,其特征在于,所述根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据,包括:
获取所述参考标识点集合中两个参考标识点在目标二维空间上的位置坐标,所述目标二维空间与所述预设拍摄设备的拍摄方向相垂直;
在所述参考标识点地图中构建由所述两个参考标识点与所述相对位置点组成的定位三角形;
根据所述定位三角形以及所述两个参考标识点在所述目标二维空间上的位置坐标确定所述设备点位置在所述目标二维空间上的定位二维坐标,所述定位数据包括所述定位二维坐标以及预设高度坐标。
5.根据权利要求4所述的大规模场景的视觉定位数据处理方法,其特征在于,在所述从所述参考标识点集合中确定参考标识锚点,从所述当前标识点集合中确定与所述参考标识锚点相对应的当前标识锚点之前,还包括:
根据所述参考标识点集合在所述参考标识点地图上的位置分布,并确定所述参考标识点地图上的第一边界特征点以及第二边界特征点;
确定所述当前标识点地图上与所述第一边界特征点相对应的第三边界特征点,以及确定所述当前标识点地图上与所述第二边界特征点相对应的第四边界特征点;
确定所述第一边界特征点与所述第二边界特征点之间的第一欧式距离,以及所述第三边界特征点与所述第四边界特征点之间的第二欧式距离;
根据所述第一欧式距离与所述第二欧式距离确定缩放比例,并基于所述缩放比例对所述当前标识点地图进行缩放,并在缩放后,对所述当前标识点集合在所述当前标识点地图上的位置进行更新。
6.根据权利要求5所述的大规模场景的视觉定位数据处理方法,其特征在于,在所述根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图之前,还包括:
获取针对所述改变的类型输入指令,并基于所述类型输入指令确定所述改变的灾害类型;
基于所述灾害类型确定所述预设场景定位模型中各类不同类型目标的识别权重值,所述预设场景定位模型基于神经网络模型建立,对于不同的灾害类型,采取不同的训练集进行训练,所述训练集与所述识别权重值相关联。
7.根据权利要求6所述的大规模场景的视觉定位数据处理方法,其特征在于,在所述根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图之后,还包括:
基于预设AlexNet模型提取所述参考场景图中的第一目标特征以及原始待定位场景图中的第二目标特征,所述第一目标特征与所述二目标特征为相对应的特征;
对所述原始待定位场景图按照预设角度进行旋转,生成待定位场景图序列,所述待定位场景图序列包括所述原始待定位场景图以及基于所述原始待定位场景图旋转后的场景图,所述原始待定位场景图为所述预设拍摄设备对所述目标场景拍摄后直接获得的图像;
依次计算所述待定位场景图序列的各个场景图中所述二目标特征与所述第一目标特征的余弦相似度,并利用最大余弦相似度所对应的场景图替代所述原始待定位场景图作为所述待定位场景图。
8.一种大规模场景的视觉定位数据处理装置,其特征在于,包括:
获取模块,用于获取目标场景的待定位场景图,所述待定位场景图为通过预设拍摄设备对所述目标场景拍摄的俯视图像;
处理模块,用于根据预设场景定位模型从预设参考场景图数据库中匹配出与所述待定位场景图相对应的参考场景图,其中,所述待定位场景图为所述参考场景图发生改变后的场景图,所述改变为自然灾害改变或人为建设改变;
所述处理模块,还用于根据预设标识点识别模型确定所述参考场景图中的参考标识点集合以及所述待定位场景图中的当前标识点集合,其中,所述参考标识点集合中的参考标识点与所述当前标识点集合中的当前标识点为一一映射的关系;
所述处理模块,还用于根据所述参考标识点集合与所述当前标识点集合确定设备点位置在所述参考场景图中的相对位置点,所述设备点位置为所述预设拍摄设备所处的实际位置;
所述处理模块,还用于根据所述相对位置点以及所述参考标识点集合中各个参考标识点的位置信息确定所述设备点位置的定位数据。
9.一种电子设备,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211645614.6A CN115631240B (zh) | 2022-12-21 | 2022-12-21 | 大规模场景的视觉定位数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211645614.6A CN115631240B (zh) | 2022-12-21 | 2022-12-21 | 大规模场景的视觉定位数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115631240A true CN115631240A (zh) | 2023-01-20 |
CN115631240B CN115631240B (zh) | 2023-05-26 |
Family
ID=84910185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211645614.6A Active CN115631240B (zh) | 2022-12-21 | 2022-12-21 | 大规模场景的视觉定位数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115631240B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140003738A1 (en) * | 2011-03-18 | 2014-01-02 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Method and apparatus for gaze point mapping |
CN110309330A (zh) * | 2019-07-01 | 2019-10-08 | 北京百度网讯科技有限公司 | 视觉地图的处理方法和装置 |
CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
US20210118235A1 (en) * | 2019-10-15 | 2021-04-22 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for presenting augmented reality data, electronic device and storage medium |
WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和*** |
CN113570535A (zh) * | 2021-07-30 | 2021-10-29 | 深圳市慧鲤科技有限公司 | 视觉定位方法及相关装置、设备 |
CN113763481A (zh) * | 2021-08-16 | 2021-12-07 | 北京易航远智科技有限公司 | 一种移动场景中多相机视觉三维地图构建与自标定方法 |
CN114494436A (zh) * | 2022-01-25 | 2022-05-13 | 北京建筑大学 | 室内场景定位方法及装置 |
-
2022
- 2022-12-21 CN CN202211645614.6A patent/CN115631240B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140003738A1 (en) * | 2011-03-18 | 2014-01-02 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Method and apparatus for gaze point mapping |
CN110309330A (zh) * | 2019-07-01 | 2019-10-08 | 北京百度网讯科技有限公司 | 视觉地图的处理方法和装置 |
US20210118235A1 (en) * | 2019-10-15 | 2021-04-22 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for presenting augmented reality data, electronic device and storage medium |
CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和*** |
CN113570535A (zh) * | 2021-07-30 | 2021-10-29 | 深圳市慧鲤科技有限公司 | 视觉定位方法及相关装置、设备 |
CN113763481A (zh) * | 2021-08-16 | 2021-12-07 | 北京易航远智科技有限公司 | 一种移动场景中多相机视觉三维地图构建与自标定方法 |
CN114494436A (zh) * | 2022-01-25 | 2022-05-13 | 北京建筑大学 | 室内场景定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115631240B (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109974693B (zh) | 无人机定位方法、装置、计算机设备及存储介质 | |
CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
CN109425348B (zh) | 一种同时定位与建图的方法和装置 | |
CN111274847B (zh) | 一种定位方法 | |
CN110827353B (zh) | 一种基于单目摄像头辅助的机器人定位方法 | |
CN109074757B (zh) | 一种建立地图的方法、终端和计算机可读存储介质 | |
CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及*** | |
CN108267121A (zh) | 一种可变场景下多设备的视觉导航方法及*** | |
CN115962757A (zh) | 一种无人机测绘方法、***和可读存储介质 | |
CN113763569A (zh) | 一种在三维仿真中使用的图像标注方法及装置、电子设备 | |
CN111160280B (zh) | 基于rgbd相机的目标物体识别与定位方法及移动机器人 | |
CN113223064B (zh) | 一种视觉惯性里程计尺度的估计方法和装置 | |
CN113034347B (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
CN114092651A (zh) | 用于应急管理的智能建模***及方法 | |
CN111104861B (zh) | 用于确定电线位置的方法和设备以及存储介质 | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN115631240B (zh) | 大规模场景的视觉定位数据处理方法 | |
CN111598956A (zh) | 标定方法、装置和*** | |
CN111882663A (zh) | 一种融合语义信息完成视觉slam闭环检测方法 | |
CN113031582A (zh) | 机器人、定位方法及计算机可读存储介质 | |
CN115908491A (zh) | 一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法 | |
CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
CN114943809A (zh) | 一种地图模型的生成方法、装置及存储介质 | |
CN111860626B (zh) | 基于无人机遥感和面向对象分类的水土保持监测方法及*** | |
CN110031014B (zh) | 基于图案识别的视觉定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 210000 8 -22, 699 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu. Patentee after: Speed Technology Co.,Ltd. Address before: 210000 8 -22, 699 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu. Patentee before: SPEED TIME AND SPACE INFORMATION TECHNOLOGY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |