CN113031041A - 一种基于天际线匹配的城市峡谷组合导航定位方法 - Google Patents

一种基于天际线匹配的城市峡谷组合导航定位方法 Download PDF

Info

Publication number
CN113031041A
CN113031041A CN202110265342.6A CN202110265342A CN113031041A CN 113031041 A CN113031041 A CN 113031041A CN 202110265342 A CN202110265342 A CN 202110265342A CN 113031041 A CN113031041 A CN 113031041A
Authority
CN
China
Prior art keywords
skyline
information
building
matching
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110265342.6A
Other languages
English (en)
Other versions
CN113031041B (zh
Inventor
孙蕊
蒋磊
孔洁
傅麟霞
王均晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110265342.6A priority Critical patent/CN113031041B/zh
Publication of CN113031041A publication Critical patent/CN113031041A/zh
Application granted granted Critical
Publication of CN113031041B publication Critical patent/CN113031041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/24Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/28Satellite selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于天际线匹配的城市峡谷组合导航定位方法,属于卫星定位导航技术领域,该方法利用普通相机拍摄的近距离建筑物图像与3D城市模型中建筑物数据对比,粗略确定候选位置,生成天际线数据库;对红外相机拍摄的红外天空图像平滑处理,进行边缘检测和特征提取,与天际线数据库数据特征匹配,获得区域位置点;计算区域位置点建筑物仰角,根据建筑物仰角、载噪比和伪距残差进行卫星筛选,利用筛选后的卫星信号进行导航解算得到GNSS位置解信息;将GNSS位置解信息和IMU导航参数导入卡尔曼滤波器,利用误差改正信息修正导航参数,获得最终位置信息。本方法提高了GNSS、IMU与视觉融合的导航性能,运算效率与精度都有了很好的提升。

Description

一种基于天际线匹配的城市峡谷组合导航定位方法
技术领域
本发明属于卫星定位导航的技术领域,尤其涉及一种城市峡谷环境下基于天际线匹配的GNSS/IMU/视觉组合导航定位方法。
背景技术
随着社会现代化的发展,城市已经成为人类活动最重要的场所。智能交通作为城市环境最主要的应用,拥有巨大的应用市场。同时,近些年城市环境的智能交通正在朝着新型化、智能化的方向发展,也对导航定位服务提出了更严苛的需求。GNSS(GlobalNavigation Satellite System,全球导航卫星***)作为导航定位的基础传感器,在空旷的环境下可以为载体提供高精度的时空信息,但是在城市峡谷环境中,GNSS信号由于遭到各种障碍物的阻挡与反射,其用于定位解算的信号质量常常不能满足要求,从而使得GNSS输出的结果中产生偏差,最终使得整个***的定位结果不能满足实际的需求。
目前来说,针对城市环境的导航定位技术,已经有许多学者在此领域内开展了大量研究,主要集中于多传感器或者多源信息融合来实现导航性能的提升。传统的GNSS/IMU(Inertial Measurement Unit,惯性测量元件)组合导航***可以提高城市峡谷环境下的导航性能,但是长时间低质量的GNSS观测量依然会对组合导航性能产生严重影响。视觉传感器作为一种低成本的自主传感器,可以获取周边的环境场景信息,在城市环境中可以有效提高GNSS/IMU组合导航的可靠性。当前GNSS,IMU和视觉融合的导航定位技术的研究主要包括:Su提出了一种GNSS/IMU与视觉等多传感器融合定位定姿的方法。该方法结构清晰,易于扩展,提高了相邻两图像特征点匹配的准确度与位置姿态的解算精度。但是该方法易受光照等周边环境的影响,特征点的提取与匹配效率较低。Liu等人提出了一种基于优化的视觉-惯性SLAM(Simultaneous Localization And Mapping,同步定位与建图)的方法,该方法将SLAM与GNSS的原始测量进行紧耦合,采用滑动窗口捆绑平差的方法,对重投影误差、IMU预积分误差和原始GNSS测量误差进行联合优化,在城市峡谷中的实验结果表明,该方法的定位精度都优于视觉-惯性SLAM、GNSS单点定位以其及松耦合方案,但该方法的缺点在于需要手动去除部分不正确的序列。Fu提出了一种基于视觉-惯性里程计的GNSS/INS组合导航定位方案,该方案通过构建了视觉-惯性里程计解决了部分GNSS信号的遮挡问题,同时通过延时估计和补偿算法解决了组合导航中存在的延时问题。但是该方案在光照条件不好且遮挡过多的情况下仍然会有失效的风险。此外,由于视觉里程计本身存在缓慢的累积误差,因此并不能完全消除偏差。Li等人提出了一种紧耦合的多GNSS RTK(Real-TimeKinematic,实时动态)/INS/视觉集成方案。实验表明,在城市峡谷环境中,该方法可以大大提高***的运行速度和姿态精度。但是其算法较为复杂,且其所使用的视觉传感器易受到环境光感变化的影响,从而影响了整个***的运行速度。Rahman等人提出了一种利用INS(Inertial Navigation System,惯性导航***)辅助视觉里程计(VO,Visual Odometry)异常特征抑制的现有多传感器集成***的改进方案。该方法在降低计算复杂度的同时,提高了状态协方差收敛性和导航精度,但是该方法需要多个IMU,整个***的实际构成比较复杂,且其体积较大,使用范围受到限制。城市峡谷GNSS信号质量低下,现有的GNSS/IMU/视觉融合并没有充分利用城市峡谷环境特征,存在着定位精度及可靠性的不足。其中,有效的视觉信息的精准的获取及处理是实现城市环境中导航性能提升的关键。
为了进一步利用视觉在城市环境导航的优势,Petovello等人提出了一种基于特定点处可见天际线定位的概念。使用鱼眼相机向上拍摄的天空图片中提取出天际线,并将其与使用3D(Dimensional,维度的)城市模型计算的理想(无误差)天际线进行匹配从而确定点的位置。结果表明,在城市环境中,其定位精度在5米到18米之间。Ramalingam等人提出了一种使用全向相机和无纹理的3D城市模型,利用从全景图像中提取的天际线来进行地理定位的方法。实验结果表明该方法在城市环境中是可以优于GNSS测量的。Petovello等人又提出使用一种红外低成本相机,通过从所拍摄的红外图片中分离出天际线,并与从3D城市模型中生成的天际线进行匹配的方式来进行城市环境下的定位,但是由于其所使用的3D城市模型的精度问题,实验结果表明其定位精度误差中值约为10米。但是以上方法存在天际线匹配中易受环境影响且匹配精度及效率不足的问题。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于天际线匹配的城市峡谷组合导航定位方法。
为了解决上述技术问题,本发明公开了一种基于天际线匹配的城市峡谷组合导航定位方法,包括
步骤1:候选位置确定并构建该区域的城市天际线数据库,利用在汽车或无人机顶部斜向上安置的普通高清相机拍摄近距离的建筑物图像,并将其与3D城市模型中的建筑物特征数据进行对比,先粗略确定候选位置,即候选的搜索区域,再调用3D城市模型中该区域内的数据生成天际线数据库。
步骤2:天际线匹配,利用红外相机拍摄天空图像,对获得的红外天空图像进行噪声处理,利用高斯滤波对其噪声进行平滑处理,再将其进行边缘检测和特征提取,然后与预先生成的天际线数据库中的数据进行特征匹配,从而得到一个区域位置点。使用红外相机拍摄天际线,解决了建筑物和天空之间边界确定困难以及易受环境变化影响的问题,在进行图像处理之前,采用了高斯滤波对图像进行了噪声平滑处理,与传统的天际线匹配相比,其运算效率与精度都有了很好的提升。
步骤3:卫星筛选,利用该区域位置点处的位置信息结合3D城市模型中附近的建筑物边界信息计算建筑物的仰角,并根据建筑物仰角、载噪比(C/N0,Carrier To NoiseRatio)和伪距残差对所有可能接收到的卫星进行筛选,利用通过筛选的卫星信号进行导航解算得到GNSS位置解信息。
步骤4:组合导航位置解算,将GNSS位置解信息和IMU的导航参数一并导入到卡尔曼滤波器中,由卡尔曼滤波器输出相应的误差改正信息,并将其输入到IMU的力学编排过程中对IMU的导航参数进行修正,继而输出修正后的导航参数得到最终的位置信息。
传统的GNSS/IMU组合导航是使用GNSS的输出结果对IMU的导航参数进行修正,整个***对于GNSS的输出的精度要求较高。但是由于在城市峡谷环境下进行GNSS定位解算的信号质量常常无法满足实际的精度需求,故其组合***在城市峡谷环境下仍然存在着较大的误差。一直以来,城市的天际线被学者们认为像人的指纹一样独特地代表着一座城市中的某一个位置,并且具有一些特别的性质。首先,城市的天际线是紧凑且独特的,其中关于某一个位置的相关信息非常丰富。其次,它不太容易受到诸如:树、灯柱、汽车和行人等障碍物的遮挡。然后,天际线匹配可以在不依赖其他外部传感器信息的前提下,仅通过视觉模块实现定位功能,从而可以通过将其定位结果结合3D城市模型和GNSS卫星的位置信息实现GNSS的质量控制,继而提高了整个组合导航***的定位精度。此外,通过将天际线匹配与GNSS/IMU进行组合,单天际线匹配中存在的精度问题也被组合导航***中的GNSS/IMU模块所弥补了。因此,通过设计高效的天际线匹配的算法并且运用于GNSS/IMU/视觉的组合导航,对提高城市峡谷导航定位的性能具有巨大前景。
进一步地,步骤1中候选位置确定步骤如下:将普通高清相机拍摄的建筑物图像使用SURF(Speed Up Robust Features,加速具有鲁棒特性的特征算法)算法将其与3D城市模型中已有的建筑物数据进行对比,从而初步确定其在3D城市模型中的大致位置。通过确定候选位置缩小了天际线匹配的搜索范围,避免了每次进行天际线匹配时都要进行全局搜索使得效率下降的情况。在目前的天际线匹配算法中,主要还是通过特征点检测的方式将图像与已有数据库进行特征点匹配来实现定位的。但是特征点检测与匹配的方法在应用于类似室内这样的场景中时,由于整个场景的范围相对较小,其待搜索数据库也较小,故能够较好地满足实时、动态定位的效果。但是,当进行城市天际线的检测与匹配时,由于候选数据库内容包含了整个城市的天际线相关的数据,数据库中所存储的内容较为庞大,在进行全局搜索匹配时,耗时较多。此外,为了实现实时、动态的定位过程,***需要对每一帧图像都进行一次全局搜索,故其所花费的时间较多,不能够很好地满足实时、动态定位的需求。另外,考虑到在城市峡谷环境中,相邻两帧图像之间的空间位置一般不会发生很大的改变,因此考虑通过缩短每次进行图像搜索匹配的范围来提高其实时性。并且在本发明中缩短搜索范围的过程与红外图像的数据处理的过程并列进行,并不会占用额外的时间。
进一步地,步骤1中3D城市模型中所述候选位置区域内的数据和所述天际线数据库中的数据均包括:所述候选位置区域内建筑物边界点坐标信息、建筑物边界长度信息、建筑物标识信息和道路边界点信息。
进一步地,步骤2中使用Prewitt算子对平滑处理后的红外天空图像进行边缘检测和轮廓特征提取获得天际线特征信息,所述天际线特征信息为天际线边界形状信息,包括边界点信息和边界长度信息。
进一步地,步骤2中将天际线特征信息与生成的天际线数据库中的数据进行特征匹配时,选择红外天空图像中天际线的边界点和边长作为匹配指标,先进行边界点的匹配,然后再进行边缘长度的匹配并选择匹配度最高的点作为目标在3D城市模型中的位置,步骤包括:
步骤2.1:进行特征角点的判断,即判断天际线的边角点位置是否相符,若相符,则进行步骤2.2的判断;若不相符,则判断为不匹配,继续执行本步骤;
步骤2.2:进行天际线的边界长度匹配,将所述天际线特征信息中的天际线边界长度与天际线数据库中的数据进行匹配,若不匹配,则继续执行本步骤进行匹配,找到匹配度最高的位置点作为目标点;若匹配,执行步骤2.3;
步骤2.3:结合3D城市模型锁定该位置点在3D城市模型中的位置,该锁定的位置信息即是该目标在实际城市中的区域位置点。
进一步地,步骤3卫星筛选步骤包括:计算所述区域位置点两侧建筑物的最大仰角值α,根据计算得到的建筑物最大仰角值α,首先进行卫星仰角的判断,保留仰角大于阈值α的卫星,剔除其他卫星;再进行C/N0的判断,保留C/N0大于阈值β的卫星,剔除其他卫星;再通过伪距残差进行最终筛选,保留伪距残差小于阈值γ的卫星并使用其信号进行最终位置解算。
进一步地,步骤3中计算所述区域位置点两侧建筑物的最大仰角值α根据所述区域位置点的位置信息以及所述区域位置点所在3D城市模型中两侧建筑物边界长度信息、路宽信息和建筑物边界点信息中所包含的楼高信息计算获得。
进一步地,步骤4中GNSS与IMU的组合方法为采用分布式组合开环方案的方法,使用一个卡尔曼滤波器将GNSS的输出与IMU的力学编排连接到一起,将卡尔曼滤波器输出的误差改正信息用于IMU的导航参数的改正。
进一步地,步骤1中所述普通高清相机斜向上45°安置在汽车或无人机顶部。角度过小可能导致待拍摄的建筑物被大车子挡住,角度过大可能导致仅拍摄到天空或者仅拍摄到部分建筑物。
有益效果:
1、通过利用普通高清相机拍摄附近建筑物图像并通过建筑物识别算法与从3D城市模型中相应的建筑数据进行匹配从而初步确定搜索区域,缩小了天际线匹配的搜索范围,避免了每次进行天际线匹配时都要进行全局搜索的从而使得效率下降的情况;另外使用红外相机拍摄天际线,解决了建筑物和天空之间边界确定困难以及易受环境变化影响的问题,在进行图像处理之前,采用了高斯滤波对图像进行了噪声平滑处理,与传统的天际线匹配相比,其运算效率与精度都有了很好的提升。
2、基于视觉传感器的天际线匹配得到位置点,将该点处的位置信息结合3D城市模型中附近的建筑物边界信息计算建筑物的仰角,并根据建筑物仰角、C/N0和伪距残差对所有可能接收到的卫星进行筛选,利用通过筛选的卫星信号进行导航解算得到GNSS位置解信息。将GNSS位置解信息和IMU的导航参数一并导入到卡尔曼滤波器中,由卡尔曼滤波器输出相应的误差改正信息,并将其输入到IMU的力学编排过程中对IMU的导航参数进行修正,继而输出修正后的导航参数得到最终的位置信息。通过城市峡谷环境下的卫星筛选算法,用来对基于天际线匹配确定的位置点处的卫星信号的类别进行筛选,实现对GNSS观测值的质量控制,提高了GNSS、IMU与视觉融合***的导航性能。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为基于天际线匹配的城市峡谷环境下组合导航定位方法的流程图;
图2为极值点检测示意图。
图3为最大仰角α计算示意图。
图4为单GNSS测量方法、传统的GNSS/IMU组合方法以及本发明实施例的实验误差结果图。
具体实施方式
下面将结合附图,对本发明的实施例进行描述。
一种基于天际线匹配的城市峡谷组合导航定位方法的流程图如图1所示,包括如下四个阶段。
(一)候选位置确定并构建该区域的城市天际线数据库
使用安放于汽车或无人机顶部斜向上45°安置的普通高清相机拍摄附近街区的建筑物,将其拍摄的建筑物图像使用SURF算法与3D城市模型中的已有建筑物信息进行粗匹配,从而初步确定该建筑物位置信息。具体分为如下几个步骤:
首先是在盒状滤波器构造的尺度空间中构建Hessian矩阵(Hessian Matrix,黑塞矩阵),生成所有的兴趣点,用于特征点提取。对于建筑物图像的每一个像素点都可以构建一个Hessian矩阵,计算公式如下:
Figure BDA0002971382610000071
其中,(x,y)表示建筑物图像像素点坐标,f(x,y)表示(x,y)处像素点的灰度值。Hessian矩阵的判别式为:
Figure BDA0002971382610000072
当Hessian矩阵的判别式取得局部极大值时,判定当前点是比周围邻域内其他点更亮或更暗的点,由此来定位特征点的位置,如图2所示。在算法中,一个9×9的初始盒状滤波器与尺度σ=1.2的高斯二阶偏导近似。因此,在对矩阵进行计算时,可以采用盒状滤波模板与原始输入建筑物图像的卷积Dxx、Dyy、Dxy来代替
Figure BDA0002971382610000073
以减少计算量。相应的,矩阵的判别式可以近似地表示为:
det(H)=DxxDyy-(0.9×Dxy)2
上式中0.9表示加权系数,其作用是平衡因使用盒式滤波器近似所带来的误差。
其次,便是构建尺度空间。尺度空间由O组L层组成,不同组间建筑物图像的尺寸都是一致的,但不同组间使用的盒式滤波器的模板尺寸逐渐增大,关于滤波器的尺寸,先按组分,每组内又分层滤波器尺寸大小计算如下:
(2otcave×interval+1)×3
式中otcave为组号,interval为组内层号。在SURF算法中第1组第1层尺寸为9×9,则第1组第2层为15×15;第2组第1层为15×15,第2组第2层为27×27,依次类推,即每组的组内各层的尺寸间隔组加倍。同一组间不同层间使用相同尺寸的滤波器,但是滤波器的尺度系数逐渐增大,其中9×9尺寸对应系数1.2,15×15尺寸对应系数1.2×2,27×27尺寸对应系数1.2×3,依次成比例增加。
然后就是特征点定位。将经过Hessian矩阵处理的每个像素点与二维建筑物图像空间和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的特征点。
接着就是特征点主方向分配。在特征点的圆形邻域内,统计60°扇形内所有点的水平、垂直harr小波特征总和,然后扇形以一定间隔(本实施例中取
Figure BDA0002971382610000081
)进行旋转并再次统计该区域内harr小波特征值之后,最后将值最大的那个扇形的方向作为该特征点的主方向。
再然后就是特征点描述。在特征点周围取一个4×4的矩形区域块,但是所取的矩形区域方向是沿着特征点的主方向。该矩形区域块中包含4×4个子区域,每个子区域包含5×5个像素点,每个子区域统计25个像素的水平方向和垂直方向的harr小波特征,这里的水平和垂直方向都是相对主方向而言的。该harr小波特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向。把这4个值作为每个子块区域的特征向量,所以一共有4×4×4=64维向量。
最后便是进行特征点匹配。通过计算所拍摄建筑物图像与3D城市模型中相应两个特征点间的欧式距离来确定匹配度,欧氏距离越短,代表两个特征点的匹配度越好。此外,还加入了Hessian矩阵迹的判断,如果两个特征点的矩阵迹正负号相同,代表这两个特征具有相同方向上的对比度变化,如果不同,说明这两个特征点的对比度变化方向是相反的,即使欧氏距离为0,也直接予以排除。
完成匹配后便可确定车辆在3D城市模型中的大致位置区域。该区域便是即将进行天际线匹配的候选搜索区域。然后在3D城市模型中调用该区域周边的天际线数据信息,生成相对应的天际线数据库。该数据库包含的数据信息主要包括:城市建筑物边界长度信息、建筑物边界角点坐标信息、建筑物边界标识信息、道路边界点坐标信息。
(二)天际线匹配
将从红外相机拍摄的实时红外天空图像采用高斯滤波的方式进行平滑处理,高斯滤波的公式如下:
Figure BDA0002971382610000082
其中,σ为高斯分布的标准差,大小计算公式如下:
σ=0.3×((ksize-1)×0.5-1)+0.8
其中ksize为所使用高斯滤波器的尺寸大小,且σ值越大,所得图像越平滑。在对红外天空图像进行平滑处理完毕后,采用Prewitt算子进行边缘轮廓检测,提取天际线轮廓。Prewitt算子是一种一阶微分算子的边缘检测,利用像素点上下左右邻点的灰度差,在边缘处达到极值检测边缘,从而去掉部分伪边缘。其原理是在平滑处理后的红外天空图像空间利用两个方向模板与平滑处理后的红外天空图像进行邻域卷积,这两个方向模板一个检测水平边缘,一个检测垂直边缘。
对平滑处理后的红外天空图像I(i,j),Prewitt算子的定义如下:
G(i)=|[I(i-1,j-1)+I(i-1,j)+I(i-1,j+1)]
-[I(i+1,j-1)+I(i+1,j)+I(i+1,j+1)]|
G(j)=|[I(i-1,j+1)+I(i,j+1)+I(i+1,j+1)]
-[I(i-1,j-1)+I(i,j-1)+I(i+1,j-1)]|
则P(i,j)=max[G(i),G(j)]或P(i,j)=G(i)+G(j)
Prewitt算子认为:凡灰度新值大于或等于阈值K的像素点都是边缘点。即选择适当的阈值K,若P(i,j)≥K,则点(i,j)被判定为边缘点,P(i,j)则为边缘图像。Prewitt梯度算子法就是先求平均,再求差分来求梯度。水平和垂直梯度模板分别为:
横向模板:检测水平边沿
Figure BDA0002971382610000091
纵向模板:检测垂直边沿
Figure BDA0002971382610000092
将平滑处理后的红外天空图像中各像素点的灰度值与阈值K进行比较从而确定边界像素点的位置。本实施例中,比较阈值为K,取值方法如下。
Figure BDA0002971382610000093
式中,M、N分别为目标图像的行数和列数。k为增益系数,取值为4。通过像素点的位置信息结合平面距离公式计算可得其长度信息,将平滑处理后的红外天空图像中的天际线边界形状信息(包括边界点信息和边界长度信息)作为从红外天空图像中提取的天际线特征信息。
接着进行天际线的匹配过程。将从平滑处理后的红外天空图像中提取的天际线特征信息与之前在候选区域预先生成的的天际线数据库中的数据进行特征匹配。结合3D城市模型数据库中的城市建筑物的边界长度信息、边界点坐标信息和道路边界点坐标信息等数据,通过距离公式,从而生成搜索区域天际线数据库中天际线的长度信息与边界点信息,将从平滑处理后的红外天空图像中提取的特征信息与从搜索区域数据库中生成的特征信息进行相应的匹配,匹配过程如下:首先,先进行特征角点的判断,即判断天际线的边角点位置是否相符,若相符,则进行下一步的判断;若不相符,则判断为不匹配。下一步则是进行天际线的边线长度匹配,将计算的平滑处理后的红外天空图像中的天际线边线长度与从搜索区域数据库中计算的数据进行匹配,若不相符,则继续进行匹配,找到匹配度最高的位置点作为目标点。然后结合3D城市模型锁定该位置点在3D城市模型中的位置,该锁定点的位置信息即是该目标的在实际城市中的位置。
(三)卫星筛选
根据所确定点的位置信息以及其所在3D城市模型数据库中的建筑物边界长度信息、路宽信息、建筑物边界点信息中所包含的楼高信息,可以计算得到该点两侧建筑物的最大仰角α,计算方式如图3所示,由目标对象位置和建筑物角点(角点A、B)的高度和位置,计算得到目标对象到建筑物角点(角点A、B)的距离,再结合建筑物的高度信息,可计算得到目标对象到附近建筑物的仰角,如图所示:∠a、∠b、∠c、∠d、∠e,其中最大角度对应的即为最大仰角α。接下来便开始进行第三步,即卫星的筛选,方法如下:
首先,将接收机所有接收到的卫星进行第一轮筛选。结合3D城市模型计算所有能接收到的卫星的仰角,判断依据为卫星的仰角要大于α。根据判断依据将仰角大于α的卫星及其信号保存至卫星集合A1,将卫星仰角小于等于α的卫星信号判定为NLOS(Non-Line-Of-Sight,非视距接收)信号并将该卫星予以剔除,即不使用该卫星的信号进行导航解算。将通过了第一轮筛选的卫星集合A1中的卫星进行第二轮筛选。第二轮筛选的指标为载噪比C/N0,对保存在集合A1中的所有卫星计算各自的载噪比C/N0值,并将其与设定的阈值β(β=40)进行比较,将所有计算出的载噪比C/N0值大于阈值β的信号视为通过筛选,将其保存到卫星集合A2中,剔除所有载噪比C/N0值小于等于阈值的卫星和其信号。然后进行最后一轮筛选,计算集合A2中所有卫星信号的伪距残差,并将其与设置的阈值γ(γ=346.731)进行比较,将伪距残差大于阈值γ的卫星及其信号剔除,剩余的卫星视为通过筛选并保存到最终卫星集合,即将最终卫星集合中的卫星信号全部视为LOS(Line-Of-Sight,视距接收)信号,直接用于GNSS的定位解算。
(四)组合导航位置解算
将解算得到的GNSS位置信息与未经过修正的IMU导航参数一起导入到卡尔曼滤波器中,输出得到相应的误差改正信息。再将输出的误差改正信息输入到IMU力学编排中对导航参数进行修正。最后输出经过修正后的导航参数作为最终的定位结果。
图4给出了单GNSS测量方法、传统的GNSS/IMU组合方法以及本发明实施例的实验误差结果图,从图中可以看出本发明实施例的方法的结果都优于其他的方法。
下表给出了传统的天际线匹配算法与本发明实施例所提出的方法同时处理同样的100张图片平均所耗费的时间对比,从下表可看出本发明所提出的方法的运算效率是要优于传统的天际线匹配算法的。
算法名称 算法平均所用时间(秒/张)
传统的天际线匹配 0.89
本发明实施例 0.56
本发明提供了一种基于天际线匹配的城市峡谷组合导航定位方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,包括:
步骤1:候选位置确定并构建该区域的城市天际线数据库,利用在汽车或无人机顶部斜向上安置的普通高清相机拍摄近距离的建筑物图像,并将所述建筑物图像与3D城市模型中的建筑物特征数据进行对比,先粗略确定候选位置,再调用3D城市模型中所述候选位置区域内的数据生成天际线数据库;
步骤2:天际线匹配,利用红外相机拍摄天空图像,利用高斯滤波对红外天空图像的噪声进行平滑处理,再对平滑处理后的红外天空图像进行边缘检测和特征提取获得天际线特征信息,然后将所述天际线特征信息与预先生成的天际线数据库中的数据进行特征匹配,从而得到一个区域位置点;
步骤3:卫星筛选,利用所述区域位置点处的位置信息结合3D城市模型中附近的建筑物边界信息计算建筑物的仰角,并根据建筑物仰角、载噪比C/N0和伪距残差对所有可能接收到的卫星进行筛选,利用通过筛选的卫星信号进行导航解算得到GNSS位置解信息;
步骤4:组合导航位置解算,将GNSS位置解信息和IMU的导航参数一并导入到卡尔曼滤波器中,由卡尔曼滤波器输出相应的误差改正信息,并将所述误差改正信息输入到IMU的力学编排过程中对IMU的导航参数进行修正,继而输出修正后的导航参数得到最终的位置信息。
2.根据权利要求1所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤1中所述候选位置确定步骤为:将普通高清相机拍摄的建筑物图像使用SURF算法将其与3D城市模型中已有的建筑物数据进行对比,从而初步确定所述建筑物图像中建筑物在3D城市模型中的大致位置。
3.根据权利要求2所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤1中3D城市模型中所述候选位置区域内的数据和所述天际线数据库中的数据均包括所述候选位置区域内建筑物边界点坐标信息、建筑物边界长度信息、建筑物标识信息和道路边界点信息。
4.根据权利要求1所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤2中使用Prewitt算子对平滑处理后的红外天空图像进行边缘检测和轮廓特征提取获得天际线特征信息,所述天际线特征信息为天际线边界形状信息,包括边界点信息和边界长度信息。
5.根据权利要求4所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤2中将天际线特征信息与步骤1中生成的天际线数据库中的数据进行特征匹配的步骤包括:
步骤2.1:进行特征角点的判断,即判断天际线的边角点位置是否相符,若相符,则进行步骤2.2的判断;若不相符,则判断为不匹配,继续执行本步骤;
步骤2.2:进行天际线的边界长度匹配,将所述天际线特征信息中的天际线边界长度与天际线数据库中的数据进行匹配,若不匹配,则继续执行本步骤进行匹配,找到匹配度最高的位置点作为目标点;若匹配,执行步骤2.3;
步骤2.3:结合3D城市模型锁定该位置点在3D城市模型中的位置,该锁定的位置信息即是该目标在实际城市中的区域位置点。
6.根据权利要求1所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤3包括计算所述区域位置点两侧建筑物的最大仰角值α,根据计算得到的建筑物最大仰角值α,首先进行卫星仰角的判断,保留卫星仰角大于阈值α的卫星,剔除其他卫星;再进行载噪比C/N0的判断,保留载噪比C/N0大于阈值β的卫星,剔除其他卫星;再通过伪距残差进行最终筛选,保留伪距残差小于阈值γ的卫星并使用其信号进行最终位置解算。
7.根据权利要求6所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤3中计算所述区域位置点两侧建筑物的最大仰角值α根据所述区域位置点的位置信息以及所述区域位置点所在3D城市模型中两侧建筑物边界长度信息、路宽信息和建筑物边界点信息中所包含的楼高信息计算获得。
8.根据权利要求1所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤4中GNSS与IMU的组合方法为采用分布式组合开环方案,使用一个卡尔曼滤波器将GNSS的输出与IMU力学编排连接到一起,将卡尔曼滤波器输出的误差改正信息用于IMU的导航参数的改正。
9.根据权利要求1所述的一种基于天际线匹配的城市峡谷组合导航定位方法,其特征在于,步骤1中所述普通高清相机斜向上45°安置在汽车或无人机顶部。
CN202110265342.6A 2021-03-11 2021-03-11 一种基于天际线匹配的城市峡谷组合导航定位方法 Active CN113031041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110265342.6A CN113031041B (zh) 2021-03-11 2021-03-11 一种基于天际线匹配的城市峡谷组合导航定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110265342.6A CN113031041B (zh) 2021-03-11 2021-03-11 一种基于天际线匹配的城市峡谷组合导航定位方法

Publications (2)

Publication Number Publication Date
CN113031041A true CN113031041A (zh) 2021-06-25
CN113031041B CN113031041B (zh) 2022-06-10

Family

ID=76469596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110265342.6A Active CN113031041B (zh) 2021-03-11 2021-03-11 一种基于天际线匹配的城市峡谷组合导航定位方法

Country Status (1)

Country Link
CN (1) CN113031041B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504553A (zh) * 2021-06-29 2021-10-15 南京航空航天大学 一种城市峡谷内基于精确3d城市模型的gnss定位方法
CN113820697A (zh) * 2021-09-09 2021-12-21 中国电子科技集团公司第五十四研究所 一种基于城市建筑特征与三维地图的视觉定位方法
CN113834486A (zh) * 2021-09-22 2021-12-24 江苏泰扬金属制品有限公司 基于导航定位的分布检测***
CN114359476A (zh) * 2021-12-10 2022-04-15 浙江建德通用航空研究院 一种用于城市峡谷环境导航的动态3d城市模型构建方法
CN115291261A (zh) * 2022-08-10 2022-11-04 湖南北云科技有限公司 卫星定位方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286459A1 (en) * 2004-10-18 2007-12-13 Ehud Gal Auxilliary Navigation System For Use In Urban Areas
CN102084398A (zh) * 2008-06-25 2011-06-01 微软公司 街道级图像到3d建筑物模型的对准
CN107966724A (zh) * 2017-11-27 2018-04-27 南京航空航天大学 一种基于3d城市模型辅助的城市峡谷内卫星定位方法
CN109285177A (zh) * 2018-08-24 2019-01-29 西安建筑科技大学 一种数字城市天际线提取方法
CN110926474A (zh) * 2019-11-28 2020-03-27 南京航空航天大学 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286459A1 (en) * 2004-10-18 2007-12-13 Ehud Gal Auxilliary Navigation System For Use In Urban Areas
CN102084398A (zh) * 2008-06-25 2011-06-01 微软公司 街道级图像到3d建筑物模型的对准
CN107966724A (zh) * 2017-11-27 2018-04-27 南京航空航天大学 一种基于3d城市模型辅助的城市峡谷内卫星定位方法
CN109285177A (zh) * 2018-08-24 2019-01-29 西安建筑科技大学 一种数字城市天际线提取方法
CN110926474A (zh) * 2019-11-28 2020-03-27 南京航空航天大学 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504553A (zh) * 2021-06-29 2021-10-15 南京航空航天大学 一种城市峡谷内基于精确3d城市模型的gnss定位方法
CN113504553B (zh) * 2021-06-29 2024-03-29 南京航空航天大学 一种城市峡谷内基于精确3d城市模型的gnss定位方法
CN113820697A (zh) * 2021-09-09 2021-12-21 中国电子科技集团公司第五十四研究所 一种基于城市建筑特征与三维地图的视觉定位方法
CN113820697B (zh) * 2021-09-09 2024-03-26 中国电子科技集团公司第五十四研究所 一种基于城市建筑特征与三维地图的视觉定位方法
CN113834486A (zh) * 2021-09-22 2021-12-24 江苏泰扬金属制品有限公司 基于导航定位的分布检测***
CN114359476A (zh) * 2021-12-10 2022-04-15 浙江建德通用航空研究院 一种用于城市峡谷环境导航的动态3d城市模型构建方法
CN115291261A (zh) * 2022-08-10 2022-11-04 湖南北云科技有限公司 卫星定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113031041B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN113031041B (zh) 一种基于天际线匹配的城市峡谷组合导航定位方法
CN110926474B (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
CN108534782B (zh) 一种基于双目视觉***的地标地图车辆即时定位方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
WO2020000137A1 (en) Integrated sensor calibration in natural scenes
CN114199259B (zh) 一种基于运动状态与环境感知的多源融合导航定位方法
US10909395B2 (en) Object detection apparatus
CN107527328B (zh) 一种兼顾精度与速度的无人机影像几何处理方法
CN109816708B (zh) 基于倾斜航空影像的建筑物纹理提取方法
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN108645401B (zh) 基于姿态关联图像叠加的全天时星敏感器星点提取方法
KR20060013640A (ko) 항공 화상의 자동 처리
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
CN114693754B (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与***
CN105466399B (zh) 快速半全局密集匹配方法和装置
CN110569797A (zh) 地球静止轨道卫星影像山火检测方法、***及其存储介质
CN111536970A (zh) 一种用于低能见度大尺度场景的红外惯性组合导航方法
CN117218201A (zh) Gnss拒止条件下无人机影像定位精度提升方法及***
CN117036300A (zh) 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法
CN116824079A (zh) 基于全信息摄影测量的三维实体模型构建方法和装置
CN116485894A (zh) 视频场景建图与定位方法、装置、电子设备及存储介质
CN116309821A (zh) 一种基于异源图像配准的无人机定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant