CN116309386B - 一种光照复杂条件下的空间目标可见光图像线段检测方法 - Google Patents
一种光照复杂条件下的空间目标可见光图像线段检测方法 Download PDFInfo
- Publication number
- CN116309386B CN116309386B CN202310170610.5A CN202310170610A CN116309386B CN 116309386 B CN116309386 B CN 116309386B CN 202310170610 A CN202310170610 A CN 202310170610A CN 116309386 B CN116309386 B CN 116309386B
- Authority
- CN
- China
- Prior art keywords
- line segments
- line segment
- space target
- visible light
- effective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 111
- 230000002776 aggregation Effects 0.000 claims abstract description 32
- 238000004220 aggregation Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 239000013641 positive control Substances 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光照复杂条件下的空间目标可见光图像线段检测方法，具体如下：步骤S1、对空间目标可见光图像进行预处理；步骤S2、改进二维直方图来优化Otsu方法，并利用优化的Otsu对预处理后的空间目标可见光图像进行分割；提取符合线段属性的像素作为有效锚点；步骤S3、对有效锚点进行锚点分组，对锚点进行线段拟合以获得初始线段；步骤S4、根据分组后的锚点的密度和梯度幅值分布对初始线段进行验证，获得验证后的有效线段；步骤S5、基于步骤S4获得的有效线段，根据线段聚合方法、利用有效线段之间的角度差、端点之间的距离以及线段之间的重叠程度来过滤有效线段，得到聚合线段。本发明的检测精度和视觉效果均优于传统线段检测方法。
Description
技术领域
本发明涉及图像处理和视觉测量技术领域，特别是一种光照复杂条件下的空间目标可见光图像线段检测方法。
背景技术
精确测量空间目标的相对位姿是执行在轨服务任务的先决条件。对于大多数人造空间目标，空间目标的关键结构大多由线段组成。与其他特征相比，线段受光照和噪声等观测条件的影响较小。用线段表示空间目标，可以降低姿态估计算法的复杂度。同时，算法的鲁棒性也会得到很大的提高。线段提取是图像处理和视觉测量领域的基础工作，广泛应用于目标检测、图像配准、目标识别、目标位姿估计、三维重建等领域。
与一般场景下运动目标的特征提取问题不同，在轨控制过程中，空间目标的线段提取面临更多挑战。在空间中：1)照明变化复杂。强烈的太阳光照导致图像对比度高，动态范围大，其中面向太阳的一侧图像亮度较大，甚至过饱和，而非暴露在太阳下的一侧图像亮度较暗，图像亮度较低。如何在复杂光照下准确提取目标线段特征对现有的方法提出了挑战。2)恒星背景、阴影和微弱噪声对线段检测算法的鲁棒性提出了挑战。3)在轨运行任务对线段检测算法的实时性要求较高。
现有的线段检测方法大致可分为两大类:基于Hough变换(HT)的方法和基于感知分组的方法。HT是一种最常用的线路检测算法。它巧妙地将图像域的线段检测问题转化为参数空间的峰值检测问题。HT对边缘间隙和图像噪声具有良好的鲁棒性，但也存在一些缺点，如阈值设置复杂，虚警较多，计算量大。针对HT的缺点，多种改进的霍夫探测器被提出。
感知分组(PG)方法从一个完全不同的角度解决线段检测问题。该方法首先利用梯度大小和方向对像素点进行分组，然后将同一组像素点拟合成线段，最后通过验证方法抑制线段的虚警。
Burns等提出了第一个基于梯度方向的线段检测方法，但该检测器需要手动调整参数，对线段存在误检。为了控制误报，Desolneux等提出了验证线段的亥姆霍兹原理，该原理利用逆均匀随机假设将检测阈值转换为虚假报警数(Number of false Alarms,NFA)。在随后的研究中，Grompone等引入了Helmholtz原理，提出了一种先进的线段检测器(LineSegment Detector,LSD)，有效地解决了人工参数调整和虚警抑制的问题。Akinlar等提出了一种更快的线段检测方法(EDlines)，为线段检测的实时应用提供了可能。为了解决人工参数调整的问题，Lu等对Canny检测方法进行了改进，提出了一种无参数检测方法(Cannylines)，该检测方法在人工场景中具有更好的鲁棒性。针对线段过分割的问题，Cho等提出了一种新的线段检测方法(Linelet)，该方法可以提取更多有效的线段，但不能克服梯度不稳定条件下的线段断裂问题。在线段拟合方法方面，Liu等提出了一种基于长度的线段检测器(length-based Line Segment Detector,LB-LSD)，它不使用传统的最小二乘误差来拟合线段，而是根据对长度条件进行拟合。
最近，Wei等提出了一种结合主动分组和几何梯度的线段检测方法(AG3line)。该方法由锚图提取、主动分组和线段验证三个阶段组成，可控制误报，运行速度更快。然而，在复杂照度和噪声干扰下，该方法的鲁棒性较差。主要原因是复杂的光照和噪声影响了锚图提取，导致锚数量少，提取误差大。后续的线段验证也会受到影响。在线段验证阶段，AG3line采用两种方法控制粗假阳性到精假阳性。首先利用沿线段的锚点密度来控制假阳性，然后利用沿线段的梯度幅度分布来进一步控制假阳性。由于锚图提取的误差，线段的锚密度发生了变化，锚的减少可能导致出现同一线段的相邻小线段无法连接的情况。
基于上述对传统线段检测方法发展现状的分析，传统线段检测方法在复杂光照和噪声干扰存在的情况下容易存在失效的问题，如何解决空间目标可见光图像线段检测方法面临的问题已成为现有图像处理和视觉测量领域亟待解决的重点难题。
发明内容
本发明目的是克服现有技术的不足，而提供一种光照复杂条件下的空间目标可见光图像线段检测方法，本发明能够提高空间目标线段检测性能。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种光照复杂条件下的空间目标可见光图像线段检测方法，包括以下步骤：
步骤S1、采集空间目标可见光学图像，并对其标注出所有的线段从而得到真实线段数据，根据真实线段数据和空间目标可见光学图像来构建微纳卫星线段MNS-LS数据集；对MNS-LS数据集中的空间目标可见光图像进行预处理，得到预处理后的空间目标可见光图像；
步骤S2、改进二维直方图的构建策略，根据改进后的二维直方图来优化Otsu方法，并利用优化的Otsu方法对预处理后的空间目标可见光图像进行分割，得到分割后的空间目标可见光图像；提取分割后的空间目标可见光图像中符合线段属性的像素作为有效锚点；
改进二维直方图的构建策略为：对预处理后的空间目标可见光图像进行中值滤波得到中值图像，并计算均值图像，利用中值图像与均值图像来构建二维直方图；
步骤S3、基于步骤S2获得的有效锚点，根据线段的几何形状和梯度方向对齐的属性对有效锚点进行锚点分组，对分组后的锚点进行线段拟合以获得初始线段；
步骤S4、基于步骤S3获得的初始线段，根据分组后的锚点的密度和梯度幅值分布对初始线段进行验证，获得验证后的有效线段；
步骤S5、基于步骤S4获得的有效线段，根据线段聚合方法、利用有效线段之间的夹角差、端点之间的距离以及有效线段之间的重叠程度来过滤有效线段，得到聚合线段。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，步骤S1中采集光照复杂条件下的空间目标可见光学图像。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，步骤S1具体如下：
通过半物理仿真平台采集光照复杂条件下的空间目标可见光学图像，通过标注软件对采集的空间目标可见光学图像进行标注，标注出空间目标可见光学图像中存在的所有的线段来得到真实线段数据，利用空间目标可见光学图像和真实线段数据来构建MNS-LS数据集；对MNS-LS数据集中的空间目标可见光学图像进行预处理，预处理是采用自适应双边滤波方法对空间目标可见光学图像进行去噪平滑处理。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，半物理仿真平台是利用三轴转台、三自由度导轨、适用于微纳卫星平台的相机、真实3U立方星、太阳光照模拟器和地球背景搭建而成的，半物理仿真平台用来模拟空间环境，采集光照复杂条件下的空间目标可见光学图像。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，步骤S2中，有效锚点的获取方式是：首先利用Canny算法中的非极大值抑制方法提取分割后的空间目标可见光图像中的像素点，得到通用锚点；其次，根据线段的像素梯度方向与邻域像素对齐的特性进一步对通用锚点进行方向验证，并提取与其相邻边缘像素对齐的通用锚点作为有效锚点。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，
步骤S4中，验证是指：首先利用初始线段的分组后锚点的密度来抑制部分假阳性，线段的锚点密度是线段上锚点的数量与线段长度的比值，设置锚点密度阈值，消除锚点密度小于锚点密度阈值的初始线段，得到初步验证后的初始线段；
然后利用梯度幅度沿线段的分布进一步抑制假阳性，基于沿线段的梯度幅值相互对齐的理论，设置梯度幅度约束阈值来对初步验证后的初始线段进行进一步验证，保留在梯度大小上小于梯度幅度约束阈值的有效像素，最终获得验证后的有效线段。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，步骤S5中，线段聚合方法是指：
通过两有效线段间的角度差，有效线段之间的端点距离以及有效线段有无重叠，来对聚合候选线段进行验证聚合；首先，两有效线段之间的角度差作为聚合线段的第一个聚合条件，其次，以有效线段端点之间的距离作为聚合线段的第二个聚合条件，最后，判断两有效线段之间是否存在重叠。
作为本发明所述的一种光照复杂条件下的空间目标可见光图像线段检测方法进一步优化方案，通过两有效线段间的角度差，有效线段之间的端点距离以及有效线段有无重叠，来对聚合候选线段进行验证聚合；具体如下：
设第一有效线段la与第二有效线段lb之间的角度差为ω，当ω小于预设的角度差阈值τω时，则进入下一聚合条件验证阶段；角度差阈值τω表示为：
其中，α，β和γ是系数，是一个组合归一化系数，e为自然底数；
式子中|la|与|lb|分别表示la与lb的长度，d为la与lb之间的端点距离，τd为预设的端点距离阈值；
以线段之间的端点距离作为候选线段的第二个聚合条件，计算la与lb各个端点间的欧几里得距离，并选取最小的端点距离作为la与lb之间的端点距离d；当d小于预设的端点距离阈值τd时，两线段才存在进一步聚合的可能；
τd＝ε|max{|la|,|lb|}|
式中，ε是一个自定义的系数，满足0<ε<1；
最后，判断两线段之间是否存在重叠：分别将la和lb在以水平方向为x轴的平面上投影，然后得到la和lb之间重叠长度ψ(la,lb)；只有ψ(la,lb)＝0，即两线段不存在任何重叠才满足聚合的最后一个条件。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明通过引入自适应滤波方法进行图像预处理，改进Otsu方法以提高锚点提取的精度，利用一种聚合方法解决线段断裂现象，与传统的LSD、Linelet、EDlines和AG3line等线段检测方法的结果进行详细比较，结果表明，在复杂光照和噪声干扰下，本发明检测精度和视觉效果均优于传统线段检测方法；
(2)此外，本发明通过搭建半物理仿真平台采集空间目标可见光图像数据，并精细构建了MNS-LS数据集，相较于以往计算机仿真的空间目标数据集，逼真度更高，可控性更强，实验检测效果更有意义。
附图说明
图1为数据集中的部分图片；其中，(a)为高亮度图像，(b)为低亮度图像，(c)为有噪声的图像。
图2为本发明适用于光照复杂条件下的空间目标可见光图像线段检测方法的工作流程图。
图3为不同方法在MNS-LS数据集上的详细性能；其中，(a)为精度，(b)为召回率，(c)为F-分数，(d)为计算时间。
图4为不同方法在MNS-LS数据集的第3幅图像上的线段检测结果；其中，(a)是数据集中的第3幅图，(b)是地面真值，(c)是LSD检测效果，(d)是EDlines检测效果，(e)是Linelet检测效果，(f)是AG3line检测效果，(g)是本发明方法的检测效果。
图5为不同方法在MNS-LS数据集的第8幅图像上的线段检测结果；其中，(a)是数据集中的第8幅图，(b)是地面真值，(c)是LSD检测效果，(d)是EDlines检测效果，(e)是Linelet检测效果，(f)是AG3line检测效果，(g)是本发明方法的检测效果。
图6为不同方法在MNS-LS数据集的第21幅图像上的线段检测结果；其中，(a)是数据集中的第21幅图，(b)是地面真值，(c)是LSD检测效果，(d)是EDlines检测效果，(e)是Linelet检测效果，(f)是AG3line检测效果，(g)是本发明方法的检测效果。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
首先对输入的灰度图像进行自适应双边滤波预处理，达到保护边缘和去除噪声的目的；其次，利用改进的Otsu算法对复杂光照下的目标进行分割；计算梯度幅值和梯度方向，提取线段通过概率较高的像素作为有效锚点；然后，根据线段的几何形状和梯度方向对齐对锚点进行主动线段分组；接着，根据锚点密度和梯度幅值分布进行线段验证，以控制误报；最后，根据线段聚合方法，检测并连接可能来自同一线段的相邻小线段。
S1、利用自适应双边滤波对输入的空间目标可见光图像进行预处理。通过半物理仿真平台采集图像数据，精确构建微纳卫星线段(Micro-Nano Satellite Line Segments,MNS-LS)数据集，采用自适应双边滤波对数据集中的空间目标可见光图像进行图像预处理，在保护边缘的同时去除噪声，获得较好的可见光图像。
S2、利用改进的Otsu算法对复杂光照下的目标进行分割，并计算梯度幅值和梯度方向。在此基础上，通过两步提取有效锚点，来提高锚点的有效性并简化锚点图。
S3、基于步骤S2获得的有效锚点，根据线段的几何形状和梯度方向对齐对有效锚点进行主动线段分组，以获得初始线段。
S4、基于步骤S3获得的初始线段，根据锚点密度和梯度幅值分布对初始线段进行验证和细化。在控制误报的同时，获得经过验证的有效线段。
S5、最后，基于步骤S4获得的有效线段，根据线段聚合方法，检测并连接可能来自同一线段的相邻小线段，以提高检测方法检测线段的完整性，达到线段完整性和控制误报方面的有效平衡。
所述步骤S1中，构建MNS-LS数据集的方法如下：利用三轴转台、三自由度导轨、适用于微纳卫星平台的相机、真实3U立方星、太阳光照模拟器和地球背景等搭建半物理仿真平台模拟空间环境。采用该实验***采集不同光照条件，不同噪声干扰下的空间目标光学图像数据，通过标注软件对采集的数据集进行细致标注，标注出图像中存在的所有的线段得到真实数据。其中，标注软件可以进行缩放，避免了图片中部分线段的模糊与密集情况，确保对图片中线段的可靠标注，最后，获得了MNS-LS数据集中每幅图像的地面真实线段。对采集到的图像进行预处理，采用自适应双边滤波方法对图像进行去噪平滑处理。经过自适应双边滤波后输出图像可以表示为：
其中，中心θ(x)是图像像素I(x)的大小，可以设置为θ(x)＝I(x)+f(x)，f(x)为偏移图像像素。Ω是一个以原点为中心的窗口，是局部高斯范围核，/>是一个高斯核，k(x)为归一化因子。
所述步骤S2中，构造一种新的二维直方图策略来改进Otsu算法，将中值滤波的步骤引入到二维直方图的构造中，利用中值图像与均值图像构建二维直方图，首先利用k×k卷积核对原始图像f进行中值滤波，中值图像M可以表示为：
其次，根据得到的中值图像M，可以计算出对应的均值图像:
最后，利用中值图像与均值图像构建二维直方图。在构建二维灰度直方图的基础上，计算类间方差，通过最大化类间方差得到最优分割阈值。利用最优分割阈值对对复杂光照下的目标进行分割，并计算梯度幅值和梯度方向。
在进行锚点提取时，分两步来对提取有效锚点。首先利用Canny算法中的非极大值抑制方法提取像素点，得到通用锚点；其次，根据线段像素梯度方向与邻域像素对齐的特性进一步对通用锚点进行方向验证，并提取与其相邻边缘像素对齐的通用锚点作为有效锚点。通过两种提取锚点的方法，来提高锚点的有效性并简化锚点图。
所述步骤S3，给出将有效锚点主动分组并拟合成线段的方法，根据线段的相关几何属性将有效锚点主动分组到线段中，来获得初始线段。首先，本发明先对有效锚点进行分组，由分组的锚点确定一个主轴，主轴被定义为：
l＝{(x,y)|y＝tan(α)(x-xo)+yo} (4)
其中α为组的角度，O＝(xo,yo)是包含n个锚点的组的中心点，其可以通过组中的锚点计算得到。其次，以主轴和前一个已分组锚来计算下一个待分组锚的候选锚。然后，在添加新锚后对主轴进行更新。接着，在主轴的引导下，扩大待分组锚的候选点，并在线段几何约束下跳过不稳定的像素。最后，在主动分组过程完成后，由主轴与锚端点进行线段拟合。
所述步骤S4，在获得主动分组得到的初始线段后，则可以通过线段验证来实现对线段的假阳性控制，控制假阳性也分为两个过程。
首先利用线段的锚点密度来控制明显的假阳性，锚点密度是线段上锚点的数量与线段长度的比值，通过设置合适的锚点密度阈值来实现线段的验证；然后利用梯度幅度沿线段的分布进行进一步的验证与细化，梯度幅值可以被建模为给定分布N(η,σ2)的正态分布，基于沿线段的梯度幅值相互对齐的假设，本发明通过设置给定梯度幅度的约束阈值来对线段进行验证，保留在梯度大小上与整体对齐的有效像素。
所述步骤S5，在获得有效线段后，通过两线段间的角度差，线段之间的端点距离以及线段有无重叠，来对聚合候选线段lb进行验证聚合。首先，本发明考虑两线段之间的角度差作为候选线段的第一个聚合条件，设线段la与lb之间的角度差为ω，当ω小于一定的角度差阈值τω时，则两个线段可能满足聚合要求，进入下一聚合条件验证阶段。角度差阈值τω表示为：
其中，α，β和γ是系数，是一个组合归一化系数，可以表示为：
式子中|la|与|lb|分别表示线段la与lb的长度，d和τd在下面部分进行阐述。
其次，我们以线段之间的端点距离作为候选线段的第二个聚合条件，正如图5所示。计算la与lb各个端点间的欧几里得距离，并选取最小的端点距离作为la与lb之间的端点距离d。当两线段足够接近，即端点距离d满足一定的端点距离阈值时，两线段才存在进一步聚合的可能。设端点距离阈值为τd，其与线段的长度成一定比例，可以表示为：
τd＝ε|max{|la|,|lb|}| (7)
式中，ε是一个自定义的系数，满足0<ε<1。
最后，判断两线段之间是否存在重叠，如图6所示。分别将两线段la和lb投影到x轴，然后可以得到la和lb之间重叠长度ψ(la,lb)。由于聚合框架是本文方法的最后一个环节，在连接可能属于同一条线段的不相交线段的同时，也需要防止假阳现象。因此，我们设置了严格的重叠判断标准，只有ψ(la,lb)＝0，即两线段不存在任何重叠才满足聚合的最后一个条件。
利用上述的聚合方法，通过检测并连接可能来自同一线段的相邻小线段，以提高检测方法检测线段的完整性。
本发明具体实施时，分为数据集构建阶段、实施阶段和实验验证阶段。
在MNS-LS数据集的构建阶段，首先需要搭建半物理仿真平台来模拟空间环境，利用三轴转台、三自由度导轨、适用于微纳卫星平台的相机、真实3U立方星、太阳光照模拟器和地球背景等搭建半物理仿真平台，并采用该实验***采集不同光照条件，不同噪声干扰下的空间目标光学图像数据，采集的部分图像如图1所示。图1中的(a)表示高亮度图像，图1中的(b)表示低亮度图片，图1中的(c)为含噪声的图片。该数据集包含21幅图像，这些图像大小为640×480，分别模拟了过亮，过暗以及噪声干扰下的立方星图像各7张。其次，通过标注软件对采集的数据集进行细致标注，标注出图像中存在的所有的线段。其中，标注软件可以进行缩放，避免了图片中部分线段的模糊与密集情况，确保对图片中线段的可靠标注。最后，获得了MNS-LS数据集中每幅图像的地面真实线段。数据集中的每一组数据由采集的空间目标可见光图像，其线段的真实数据，线段端点数据组成，每一组都可以单独作为算法验证阶段的测试图片。
然后，在实施阶段，图2阐述了本发明方法的整体工作流程图。首先对输入的灰度图像进行自适应双边滤波预处理，达到保护边缘和去除噪声的目的；其次，利用改进的Otsu算法对复杂光照下的目标进行分割；计算梯度幅值和梯度方向，提取线段通过概率较高的像素作为有效锚点。然后，根据线段的几何形状和梯度方向对齐对锚点进行主动线段分组。接下来，根据锚点密度和梯度幅值分布进行线段验证，以控制误报；最后，根据线段聚合方法，检测并连接可能来自同一线段的相邻小线段。
最后，本发明进行了广泛而详细的实验，采用定量和定性实验来评估本发明方法。本发明方法的性能也与LSD、EDLines、Linelet和AG3line进行了比较。其中，LSD和EDLines是近年来应用最广泛的线段检测方法，Linelet是相对较新的检测方法，AG3line也是一种十分优秀的检测方法。本发明采用线段检测领域经典的四个指标：精度、召回率、F-分数、计算时间(单位为毫秒)。精度(Precision)、召回率(Recall)和F-分数(F-score)可以定义为：
其中，TP表示真阳性即是正确检测到的线段数量，FP为假阳性代表错误检测到的线段数量，FN表示假阴性是图像中存在但未被算法检测到的线段数量。计算时间则可以体现算法的运行效率，也是线段检测算法性能测试中重要的指标。
首先，对本发明方法进行定量评估。图3给出的是不同方法在MNS-LS数据集上的详细性能。图3中的(a)精度；图3中的(b)召回率；图3中的(c)F-分数；图3中的(d)计算时间。如图所示，本发明方法在第1-6张高亮度光照的图像上表现更好。对于背景与目标梯度差异较大的图像，结合Otsu的锚点图提取方法可以有效分离背景与目标，从而提取出更有意义的线段。对于第7-13幅光照过暗的图像，背景与目标之间的梯度差异很小。结合Otsu的锚点图提取方法未能有效分离目标和背景，导致本发明方法在7-13幅图像中性能下降。然而，与其他传统方法相比，本发明方法仍保持一定的优势。此外，对于有噪声干扰的第14-21幅图像，本发明方法各方面都略好，这主要是由于本文引入的双边滤波方法可以在去除噪声的同时有效保持边缘信息。表1给出了五种方法在MNS-LS数据集上的线段检测结果。实验结果表明，本发明方法在准确率、召回率和F-分数上均优于其他方法。
表1.不同方法在MNS-LS数据集上的性能
图3中的(d)展示了不同方法在数据集图像上的计算时间。可以看出它们处理每幅图像的时间都在80ms左右。AG3line速度最快，由于其主动分组方法减少了计算时间，计算时间稳定在20-30ms以内。本发明方法排名第二，其时间分布也相对稳定。本发明方法比AG3line慢的原因有两个。首先，本发明方法引入双边滤波代替原有的高斯滤波处理方法；双边滤波能较好地保持图像边缘信息，但耗时较高斯滤波长。其次，本发明方法采用的结合Otsu的锚点图提取方法也需要一定的计算时间。但总的来说，本发明方法具有较好的计算时间性能，比经典的线性时间检测方法LSD和优化的EDlines快。优化后的EDlines与LSD的计算时间相差不大，但时间分布不如本发明方法稳定。优化后的EDlines在检测效果上有明显的提升，超过了传统的LSD，但并没有保持计算时间快、实时的优势，另一方面比LSD稍慢。
为了进一步验证本发明方法的有效性，本发明进行了定性评估实验。图4，5和6分别显示了不同方法在MNS-LS数据集的第3幅、第8幅和第21幅图像上的线段检测结果。
图4中的(a)是一个具有挑战性的图片，高亮度光照对正面四边形结构的检测提出了挑战，使得检测到的线段不完整。图4中的(b)是图4中的(a)对应的真值数据。作为与检测方法输出进行比较的参考标准，用来评估算法的准确性和性能。如图4中的(c)和图4中的(d)所示，LSD和EDlines可以检测到部分四边形结构，但是LSD在太阳能电池板上检测到的线段数量太少，对复杂光照的情况鲁棒性不强，而EDlines会导致许多完整的线段断裂。如图4中的(e)上的灰色圆形区域所示，Linelet比本发明方法产生了更多的裂缝和假阳性。可以看到在图4中的(f)上灰色的圆形区域，AG3line在前部的四线段结构检测中表现不佳，并且有一些线段断裂。相比之下，如图4中的(g)上灰色圆形区域所示，本发明方法可以在高亮度光照下有效提取一些明显的四边形结构线段，并且可以保持线段的完整性，如检测到的太阳能电池板线段，同时剔除一些假阳性。
图5中的(a)展示了低亮度光照的情况。图5中的(b)是图5中的(a)对应的真值数据。图5中的(c)为LSD检测效果图，如图5中的(c)所示，LSD仍然存在线段数量过少的问题，无法检测出方形面右侧的线段。图5中的(d)为EDlines检测效果图，EDlines也存在同样的问题，但优化后的EDlines性能优于LSD。如图5中的(e)上灰色圆形区域所示，Linelet检测出的断裂线段最多。图5中的(f)表示AG3line的检测效果，图5中的(g)则为本发明方法检测效果图。通过对比五种方法的检测效果图，可以看出，除本发明方法外，AG3line算法的性能优于其他算法。本发明方法可以检测到更完整的线段，还可以排除正方形上的一些误报。
图6中的(a)表示有噪声干扰的情况。图6中的(b)是图6中的(a)对应的真值数据。图6中的(c)、(d)、(e)、(f)、(g)分别代表LSD、EDLines、Linelet、AG3line、以及本发明方法的检测效果图。如图6所示，本发明方法在拒绝误报方面优于其他方法。此外，本发明方法检测的有意义线段数量最多。LSD、EDlines和Linelet产生了许多假阳性。LSD和EDlines将一个完整的线段分割成许多小的线段，Linelet比本发明方法产生了更多的断裂和假阳性。
表2中的定量评价与定性结果相对应。由此可见，本发明方法在三幅图像的检测性能上都有很好的表现。本发明方法在准确率、召回率和F-分数上都取得了第一的成绩。本发明方法的计算时间则排名第二，只比AG3line稍慢一点。
表2.不同方法在数据集的图像第3幅，第8幅和第21幅图上的性能定量评价
定量和定性的评价结果表明，在复杂光照和噪声干扰下，本发明方法在检测精度和视觉效果方面均优于传统检测方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
Claims (8)
1.一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，包括以下步骤：
步骤S1、采集空间目标可见光学图像，并对其标注出所有的线段从而得到真实线段数据，根据真实线段数据和空间目标可见光学图像来构建微纳卫星线段MNS-LS数据集；对MNS-LS数据集中的空间目标可见光图像进行预处理，得到预处理后的空间目标可见光图像；
步骤S2、改进二维直方图的构建策略，根据改进后的二维直方图来优化Otsu方法，并利用优化的Otsu方法对预处理后的空间目标可见光图像进行分割，得到分割后的空间目标可见光图像；提取分割后的空间目标可见光图像中符合线段属性的像素作为有效锚点；
改进二维直方图的构建策略为：对预处理后的空间目标可见光图像进行中值滤波得到中值图像，并计算均值图像，利用中值图像与均值图像来构建二维直方图；
步骤S3、基于步骤S2获得的有效锚点，根据线段的几何形状和梯度方向对齐的属性对有效锚点进行锚点分组，对分组后的锚点进行线段拟合以获得初始线段；
步骤S4、基于步骤S3获得的初始线段，根据分组后的锚点的密度和梯度幅值分布对初始线段进行验证，获得验证后的有效线段；
步骤S5、基于步骤S4获得的有效线段，根据线段聚合方法、利用有效线段之间的夹角差、端点之间的距离以及有效线段之间的重叠程度来过滤有效线段，得到聚合线段。
2.根据权利要求1所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，步骤S1中采集光照复杂条件下的空间目标可见光学图像。
3.根据权利要求2所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，步骤S1具体如下：
通过半物理仿真平台采集光照复杂条件下的空间目标可见光学图像，通过标注软件对采集的空间目标可见光学图像进行标注，标注出空间目标可见光学图像中存在的所有的线段来得到真实线段数据，利用空间目标可见光学图像和真实线段数据来构建MNS-LS数据集；对MNS-LS数据集中的空间目标可见光学图像进行预处理，预处理是采用自适应双边滤波方法对空间目标可见光学图像进行去噪平滑处理。
4.根据权利要求3所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，半物理仿真平台是利用三轴转台、三自由度导轨、适用于微纳卫星平台的相机、真实3U立方星、太阳光照模拟器和地球背景搭建而成的，半物理仿真平台用来模拟空间环境，采集光照复杂条件下的空间目标可见光学图像。
5.根据权利要求1所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，步骤S2中，有效锚点的获取方式是：首先利用Canny算法中的非极大值抑制方法提取分割后的空间目标可见光图像中的像素点，得到通用锚点；其次，根据线段的像素梯度方向与邻域像素对齐的特性进一步对通用锚点进行方向验证，并提取与其相邻边缘像素对齐的通用锚点作为有效锚点。
6.根据权利要求1所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，
步骤S4中，验证是指：首先利用初始线段的分组后锚点的密度来抑制部分假阳性，线段的锚点密度是线段上锚点的数量与线段长度的比值，设置锚点密度阈值，消除锚点密度小于锚点密度阈值的初始线段，得到初步验证后的初始线段；
然后利用梯度幅度沿线段的分布进一步抑制假阳性，基于沿线段的梯度幅值相互对齐的理论，设置梯度幅度约束阈值来对初步验证后的初始线段进行进一步验证，保留在梯度大小上小于梯度幅度约束阈值的有效像素，最终获得验证后的有效线段。
7.根据权利要求1所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，步骤S5中，线段聚合方法是指：
通过两有效线段间的角度差，有效线段之间的端点距离以及有效线段有无重叠，来对聚合候选线段进行验证聚合；首先，两有效线段之间的角度差作为聚合线段的第一个聚合条件，其次，以有效线段端点之间的距离作为聚合线段的第二个聚合条件，最后，判断两有效线段之间是否存在重叠。
8.根据权利要求7所述的一种光照复杂条件下的空间目标可见光图像线段检测方法，其特征在于，通过两有效线段间的角度差，有效线段之间的端点距离以及有效线段有无重叠，来对聚合候选线段进行验证聚合；具体如下：
设第一有效线段la与第二有效线段lb之间的角度差为ω，当ω小于预设的角度差阈值τω时，则进入下一聚合条件验证阶段；角度差阈值τω表示为：
其中，α，β和γ是系数，是一个组合归一化系数，e为自然底数；
式子中|la|与|lb|分别表示la与lb的长度，d为la与lb之间的端点距离，τd为预设的端点距离阈值；
以线段之间的端点距离作为候选线段的第二个聚合条件，计算la与lb各个端点间的欧几里得距离，并选取最小的端点距离作为la与lb之间的端点距离d；当d小于预设的端点距离阈值τd时，两线段才存在进一步聚合的可能；
τd＝ε|max{|la|,|lb|}|
式中，ε是一个自定义的系数，满足0<ε<1；
最后，判断两线段之间是否存在重叠：分别将la和lb在以水平方向为x轴的平面上投影，然后得到la和lb之间重叠长度ψ(la,lb)；只有ψ(la,lb)＝0，即两线段不存在任何重叠才满足聚合的最后一个条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310170610.5A CN116309386B (zh) | 2023-02-27 | 2023-02-27 | 一种光照复杂条件下的空间目标可见光图像线段检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310170610.5A CN116309386B (zh) | 2023-02-27 | 2023-02-27 | 一种光照复杂条件下的空间目标可见光图像线段检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309386A CN116309386A (zh) | 2023-06-23 |
| CN116309386B true CN116309386B (zh) | 2024-02-20 |
Family
ID=86795400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310170610.5A Active CN116309386B (zh) | 2023-02-27 | 2023-02-27 | 一种光照复杂条件下的空间目标可见光图像线段检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309386B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033514A (zh) * | 2019-04-03 | 2019-07-19 | 西安交通大学 | 一种基于点线特征快速融合的重建方法 |
| CN112991283A (zh) * | 2021-03-04 | 2021-06-18 | 华南理工大学 | 基于超像素的柔性ic基板线宽检测方法、介质和设备 |
| CN114202632A (zh) * | 2021-12-03 | 2022-03-18 | 北京航空航天大学 | 网格线性结构恢复方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-27 CN CN202310170610.5A patent/CN116309386B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033514A (zh) * | 2019-04-03 | 2019-07-19 | 西安交通大学 | 一种基于点线特征快速融合的重建方法 |
| CN112991283A (zh) * | 2021-03-04 | 2021-06-18 | 华南理工大学 | 基于超像素的柔性ic基板线宽检测方法、介质和设备 |
| CN114202632A (zh) * | 2021-12-03 | 2022-03-18 | 北京航空航天大学 | 网格线性结构恢复方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309386A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| CN107680054B (zh) | 雾霾环境下多源图像融合方法 | |
| Fattal | Dehazing using color-lines | |
| Zhu et al. | Single image dehazing using color attenuation prior. | |
| Elder et al. | Local scale control for edge detection and blur estimation | |
| CN103679749B (zh) | 一种基于运动目标跟踪的图像处理方法及装置 | |
| CN110796643A (zh) | 一种铁轨扣件缺陷检测方法和*** | |
| CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| CN112200143A (zh) | 一种基于候选区域网络和机器视觉的道路病害检测方法 | |
| CN107808161A (zh) | 一种基于光视觉的水下目标识别方法 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN114758222B (zh) | 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测*** | |
| CN112435252B (zh) | 一种战斗部破片穿孔和凹坑检测方法 | |
| CN112102201A (zh) | 图像阴影反光消除方法、装置、计算机设备及存储介质 | |
| CN110660048B (zh) | 一种基于形状特征的皮革表面缺陷检测方法 | |
| CN112288726B (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN113673515A (zh) | 一种计算机视觉目标检测算法 | |
| CN116309386B (zh) | 一种光照复杂条件下的空间目标可见光图像线段检测方法 | |
| CN111275642A (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| CN109961413B (zh) | 大气光方向优化估计的图像去雾迭代算法 | |
| CN114445649A (zh) | 用多尺度超像素融合检测rgb-d单幅图像阴影的方法 | |
| CN112949389A (zh) | 一种基于改进目标检测网络的雾霾图像目标检测方法 | |
| Chen et al. | Research on safe distance measuring method of front vehicle in foggy environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |