CN116755169B - 基于星图识别和亮度先验信息的小目标检测方法、*** - Google Patents
基于星图识别和亮度先验信息的小目标检测方法、*** Download PDFInfo
- Publication number
- CN116755169B CN116755169B CN202310696825.0A CN202310696825A CN116755169B CN 116755169 B CN116755169 B CN 116755169B CN 202310696825 A CN202310696825 A CN 202310696825A CN 116755169 B CN116755169 B CN 116755169B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate system
- star
- candidate target
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于星图识别和亮度先验信息的小目标检测方法、***,该方法包括对远距图像进行处理,得到图像中点簇的质心和亮度信息;构建地心惯性坐标系至相机坐标系的转换矩阵,根据该转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面;利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证;对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息。本发明提高了算法检测的准确性和检测速度,实现了对空间点目标从远到近的自适应检测及测角。
Description
技术领域
本发明属于空间远距离点目标识别领域,特别涉及基于星图识别和亮度先验信息的小目标检测方法、***。
背景技术
随着航天技术的发展,以及世界各国对太空资源探索和利用的加剧,航天任务范围大大扩展,呈现多样化,比如在轨服务、在轨装配、空间碎片移除、编队协作、深空探测,以及空间对抗等,这些任务中涉及抵近、会合等操作均对卫星的自主操控能力提出了较高要求,而具备自主态势感知能力是前提,尤其是对未知卫星、失效卫星、空间碎片等非合作目标的自主识别更是关键。
空间点目标检测技术已经进行了近四十年的发展,国内外学者在点目标检测与识别技术上取得了很多成果,然而这些研究多数是对空中目标进行的,对空间点目标检测的研究较少,特别是大视场下的空间点目标检测研究更少。可用于点目标检测的特征有空域、时域和光谱等特性。点目标的检测主要可以分为静止或缓动空间点目标检测和运动空间点目标检测。
对于缓动或静止的空间点目标,由于目标运动较慢,图像帧间目标位置变化较小,因此主要通过星图识别的方式将远距图像中恒星进行识别,从而找到目标。该类检测方法的关键是利用星图识别方法识别出图像中的恒星。目前对星图识别方法已经提出了众多算法,其中三角形算法是目前使用最为广泛的一种识别方法。但是因为三角形识别算法的特征维数较低,测量误差较大,导致目标识别率较低。由Padgett和Delgado提出的栅格算法也是目前使用较多的识别方法。栅格算法的识别率较高,特别是栅格算法对恒星位置不确定性与恒星星等不确定性的鲁棒性较好,但算法要求视场中必须有较多的观测星。因此,这在很大程度上限制了栅格算法的应用范围。
发明内容
本发明所要解决的技术问题是:提出了基于星图识别和亮度先验信息的小目标检测方法、***,在识别缓动或者静止目标时,无需考虑视场中恒星的多少,并在此基础上加入了亮度识别验证,采用ROI框选,提高了方法的适用性,减少了漏警和虚警,提高了方法的速度。
本发明为解决对应的工程问题采用以下技术方案:
本发明提出的基于星图识别和亮度先验信息的小目标检测方法,包括以下步骤:
S1、对远距图像进行图像预处理,得到图像中点簇的质心和亮度信息。
S2、根据追踪星初始位置和速度、轨道坐标系与本体坐标系的转换姿态角以及相机的安装矩阵,构建地心惯性坐标系至相机坐标系的转换矩阵。
S3、根据地心惯性坐标系至相机坐标系的转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面。
S4、利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证。
S5、在稳定识别候选目标后,对于后续输入的图像,通过上一帧识别到候选目标的位置信息对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中候选目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息。
进一步的,步骤S1中,对图像进行预处理的具体步骤为:
S101、基于迭代阈值的全局阈值计算:
S1011、为全局阈值选择一个初始估计值,即图像的平均灰度。
S1012、用初始估计值分割图像,产生两组像素,第一组像素G1由灰度值大于初始估计值的像素组成,第二组像素G2由小于等于初始估计值像素组成。
S1013、计算G1和G2像素的平均灰度值m1和m2,此时产生一个新的阈值,为T=(m1+m2)/2。
S1014、重复步骤S1012-S1013,直到连续迭代后阈值间的差小于预定义参数0.01时,此时最后一次的阈值即为最终全局阈值。
通过基于迭代阈值的全局阈值算法能够依据图像中亮点的多少自主控制二值化操作的阈值大小,无需手动进行更改,自适应性更强。
S102、得到最终全局阈值后,对图像进行二值化操作,得到二值化图像,具体公式为:
其中,g(x,y)表示二值化图像,f(x,y)表示图像中的像素点。
S103、由于图像中的簇的光斑能量分布近似于高斯分布,所以连通域划分采用了四连通域划分的方式。采用四连通域划分:以每个值为1的像素点为中心点,若其上、下、左、右4个方向中存在值为1的像素点,则认为该点和中心点为同一个区域,即为同一个物体。
S104、采用质心法提取质心点:通过连通域划分后,设定该物体大小为n个像素点,则具体公式为:
其中,mi表示物体对应第i个像素点的灰度值,(xi,yi)表示物体对应第i个像素点在图像中的坐标,(xc,yc)表示物体的质心点坐标。
进一步的,步骤S2中,构建地心惯性坐标系至相机坐标系的转换矩阵的具体步骤为:
S201、由于恒星距离地球非常遥远,对于恒星方位来说,无需考虑坐标平移带来的误差,即可认为地心与航天器质心重合。利用相机所在卫星即追踪星当前时刻的位置速度矢量从地心惯性坐标系转换到轨道坐标系,得到轨道坐标系下的位置矢量,具体表示为:
其中,表示从惯性坐标系到轨道坐标系的转换矩阵。
S202、根据欧拉定理,将轨道坐标系按照3-1-2的顺序转动三次得到航天器本体坐标系,三次转动的角度分别是偏航角、滚动角、俯仰角,得到航天器本体系下的位置矢量,具体表示为:
其中,θ表示俯仰角,表示滚动角,ψ表示偏航角,RX、RY和RZ分别表示坐标点绕X、Y、Z轴逆时针旋转变换的旋转矩阵,/>表示惯性坐标系至卫星本体坐标系的旋转矩阵。
S203、依据相机在本体坐标系上的安装矩阵,得到地心惯性坐标系至相机坐标系的转换矩阵
其中,R3、R2和R1分别表示绕坐标系的Z、Y和X轴旋转对应的旋转变换矩阵。
通过矩阵将惯性坐标系中的恒星投影至相机坐标系内。
进一步的,步骤S3中,将导航星表中的恒星投影至图像平面的具体内容为:
在相机坐标系下坐标为的投影恒星,在成像坐标系OR-xy中的坐标表示为:
其中,表示成像坐标系中的横坐标,/>表示成像坐标系的纵坐标,f表示相机的角距。
在不考虑镜头畸变的情况下,依据几何关系,将坐标变换到像素坐标系OP-uv,具体表示为:
其中,u0与v0表示像素平面中心坐标。
追踪星的初始速度和位置信息由给定的追踪星的轨道和速度信息决定,姿态角信息由卫星本体以及轨道坐标系的转换关系决定,相机安装矩阵由相机在卫星上的安装位置以及相机坐标系的定义决定。
进一步的,步骤S4中,具体内容为:将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,当投影恒星与图像中点簇的距离值小于预先设定的阈值(阈值即为判断点簇为恒星点的最大像素值)时,则判定该簇为恒星;当投影恒星与图像中点簇的距离值大于预先设定的阈值,则判定该簇是候选目标。
其中,由于在实际中平台不稳会造成相机抖动,从而导致图像中候选目标和恒星位置产生偏移,因此考虑到该实际情况,采用迭代循环减小的方式设定阈值,对于初始设定的阈值,当无法检测到候选目标时,则减少1个像素再次进行恒星剔除,直到达到最小阈值,若磁石仍然无法找到候选目标,则判断该图像中不存在候选目标。恒星剔除考虑了实际平台稳定度对候选目标识别的影响,可以适应的平台稳定度为0.3°/s,减少了漏警和虚警。
在得到候选目标后,通过亮度先验信息对候选目标进行验证,若符合亮度先验信息的点簇与候选目标为同一个点簇,则判定算法识别正确。
进一步的,步骤S5中,输出候选目标的视线角信息的具体步骤为:
S501、根据实际相机的视场以及任务中的卫星平台的本体抖动误差确定ROI框选大小,确定候选目标在图像帧间移动的最大角度,依据所选相机的视场和所成图像的尺寸S(单位为pixel),确定选框的大小,具体公式为:
其中,Δω表示最大角度,α表示所选相机的视场,S表示所成图像的尺寸。
S502、选定选框大小后,以上一帧候选目标的质心坐标作为选框的中心,在该选框中进行图像预处理得到所有的亮点,并将识别到的点与上一帧候选目标进行距离计算以及亮度值的匹配,所有点中与上一帧候选目标点的距离和亮度差值最小的点即为候选目标。
设定候选目标在像素平面中的坐标为则在相机坐标系下候选目标视线角以矢量的形式表示为/>将该矢量单位化后表示为ip=[if,iy,iz],计算相机坐标下的方位角和俯仰角,具体公式为:
其中,α表示方位角,β表示俯仰角。ROI算法在候选目标缓动的情况中非常适用,算法速度快,识别率高。
进一步的,本发明提出了基于星图识别和亮度先验信息的小目标检测***,包括
远距图像预处理模块,用于对远距图像进行图像预处理,得到图像中点簇的质心和亮度信息。
转换矩阵构建模块,用于根据追踪星初始位置和速度、轨道坐标系与本体坐标系的转换姿态角以及相机的安装矩阵,构建地心惯性坐标系至相机坐标系的转换矩阵。
恒星投影模块,用于根据地心惯性坐标系至相机坐标系的转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面。
恒星和候选目标识别模块,用于利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证。
候选目标的视线角输出模块,用于在稳定识别候选目标后,对于后续输入的图像,通过上一帧识别到候选目标的位置信息对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中候选目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息。
进一步的,本发明提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前文所述的基于星图识别和亮度先验信息的小目标检测方法的步骤。
进一步的,本发明提出了一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,所述计算机程序被处理器运行时执行前文所述的基于星图识别和亮度先验信息的小目标检测方法。
本发明采用以上技术方案,与现有技术相比,其显著技术效果如下:
(1)考虑到远距图像中亮簇的能量分布,采用了自适应全局阈值迭代求解二值化阈值,提高了算法的自适应性。连通域划分采用了符合高斯分布规律的四连通域划分,能够有效地提取图像中亮簇的像素点和边缘点。最后采用质心法得到簇的质心,并且提取精度达到了亚像素级别,有利于后续目标的识别。
(2)在通过恒星剔除稳定识别目标的前提下,采用ROI跟踪目标,能有效准确地找到目标,并且算法速度快,达到了20HZ的图像处理速度。
附图说明
图1是本发明的整体实施流程图。
图2是本发明实施例中对仿真的远距图像进行点目标识别的测角误差。
具体实施方式
下面结合附图对本发明做进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明提出了基于星图识别和亮度先验信息的小目标检测方法,利用SAO(Smithsonian Astrophysical Observatory,史密松天体物理台)星表、相机内外参数、追踪星位置和速度信息、以及各类坐标系的转换关系反向生成恒星图,根据候选目标的稳定性进行ROI框选识别候选目标。该方法适用于15km-2km抵近任务中高轨非合作目标的识别,运算速度快,目标检测正确率高。
本实施例中的远距图像,包含了10.5km-500m目标抵近过程中的恒星分布情况,共10712张图片。如图1所示,具体步骤为:
S1、远距图像采用的相机内参包括焦距、图像分辨率、像元尺寸以及相机视场角,具体参数如表1所示。
表1点目标图像仿真相机参数
对远距图像进行图像预处理,得到图像中点簇的质心和亮度信息,具体步骤为:
S101、基于迭代阈值的全局阈值计算:
S1011、为全局阈值选择一个初始估计值,即图像的平均灰度。
S1012、用初始估计值分割图像,产生两组像素,第一组像素G1由灰度值大于初始估计值的像素组成,第二组像素G2由小于等于初始估计值像素组成。
S1013、计算G1和G2像素的平均灰度值m1和m2,此时产生一个新的阈值,为T=(m1+m2)/2。
S1014、重复步骤S1012-S1013,直到连续迭代后阈值间的差小于预定义参数0.01时,此时最后一次的阈值即为最终全局阈值。
S102、得到全局阈值后,对图像进行二值化操作,得到二值化图像,具体公式为:
其中,g(x,y)表示二值化图像,f(x,y)表示图像中的像素点。
S103、为模拟相机成像产生的弥散效果以及利于后续的质心检测精度的提高,远距图像的仿真采用了5×5大小的弥散光斑,使恒星和目标的能量分布近似于高斯分布。
采用四连通域划分:以每个值为1的像素点为中心点,若其上、下、左、右4个方向中存在值为1的像素点,则认为该点和中心点为同一个区域,即为同一个物体。
S104、采用质心法提取质心点:通过连通域划分后,设定该物体大小为n个像素点,则具体公式为:
其中,mi表示物体对应第i个像素点的灰度值,(xi,yi)表示物体对应第i个像素点在图像中的坐标,(xc,yc)表示物体的质心点坐标。
S2、根据追踪星初始位置和速度、轨道坐标系与本体坐标系的转换姿态角以及相机的安装矩阵,构建地心惯性坐标系至相机坐标系的转换矩阵,具体步骤为:
S201、利用相机所在卫星即追踪星当前时刻的位置速度矢量从地心惯性坐标系转换到轨道坐标系,得到轨道坐标系下的位置矢量,具体表示为:
其中,表示从惯性坐标系到轨道坐标系的转换矩阵。
在本实施例中,选定10.5km处卫星,当前时刻的位置(m)和速度矢量(v/s)分别为:
计算得到惯性坐标系到轨道坐标系的旋转矩阵
S202、根据欧拉定理,将轨道坐标系按照3-1-2的顺序转动三次得到航天器本体坐标系,三次转动的角度分别是偏航角、滚动角、俯仰角,得到航天器本体系下的位置矢量,具体表示为:
其中,θ表示俯仰角,表示滚动角,ψ表示偏航角,RX、RY和RZ分别表示坐标点绕X、Y、Z轴逆时针旋转变换的旋转矩阵,/>表示惯性坐标系至卫星本体坐标系的旋转矩阵。
在10.5km处对应偏航角、滚动角和俯仰角分别是:
计算得到的旋转矩阵为:
S203、依据相机在本体坐标系上的安装矩阵,得到地心惯性坐标系至相机坐标系的转换矩阵
其中,R3、R2和R1分别表示绕坐标系的Z、Y和X轴旋转对应的旋转变换矩阵。
通过矩阵将惯性坐标系中的恒星投影至相机坐标系内。
S3、根据地心惯性坐标系至相机坐标系的转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面,具体内容为:
在相机坐标系下坐标为的投影恒星,在成像坐标系OR-xy中的坐标表示为:
其中,表示成像坐标系中的横坐标,/>表示成像坐标系的纵坐标;f表示相机的角距。
依据几何关系,将坐标变换到像素坐标系OP-uv,具体表示为:
其中,u0与v0表示像素平面中心坐标。
在完成坐标转换后,投影点与图像中的簇的质心P(xi,yi)进行距离计算:
若计算值小于设定阈值,则为P点为恒星,大于设定阈值则为目标。
S4、利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证,具体内容为:将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,当投影恒星与图像中点簇的距离值小于预先设定的阈值(阈值即为判断点簇为恒星点的最大像素值)时,则判定该簇为恒星;当投影恒星与图像中点簇的距离值大于预先设定的阈值,则判定该簇是候选目标。
其中,采用迭代循环减小的方式设定阈值,初始阈值设置为9个像素,当无法检测到候选目标时,则减少1个像素再次进行恒星剔除,直到达到最小阈值5个像素,若此时仍然无法找到候选目标,则判断该图像中不存在候选目标。恒星剔除考虑了实际平台稳定度对候选目标识别的影响,可以适应的平台稳定度为0.3°/s,减少了漏警和虚警。
在得到候选目标后,通过亮度先验信息对候选目标进行验证,若符合亮度先验信息的点簇与候选目标为同一个点簇,则判定算法识别正确,从而将候选目标簇质心的像素坐标转换为视线角,并输出候选目标的视线角信息。
S5、在稳定识别候选目标后,对于后续输入的图像,通过上一帧识别到候选目标的位置信息对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中候选目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息,具体步骤为:
S501、若连续50帧图像都能正确捕获到目标,则说明已经稳定追踪到目标,从而进入ROI追踪模式。根据实际相机的视场以及任务中的卫星平台的本体抖动误差确定ROI框选大小,确定候选目标在图像帧间移动的最大角度,依据所选相机的视场和所成图像的尺寸S(单位为pixel),确定选框的大小,具体公式为:
其中,Δω表示最大角度,α表示所选相机的视场,S表示所成图像的尺寸。
在本实施例中,Δω=8°α=65°S=2048pixels,则选框的大小即为252×252pixels,由于上一帧目标需要在图像中心,因此为了方便计算,将选框大小最终确定为253×253pixels。
S502、选定选框大小后,以上一帧候选目标的质心坐标作为选框的中心,在该选框中进行图像预处理得到所有的亮点,并将识别到的点与上一帧候选目标进行距离计算以及亮度值的匹配,所有点中与上一帧候选目标点的距离和亮度差值最小的点即为候选目标。
设定候选目标在像素平面中的坐标为则在相机坐标系下候选目标视线角以矢量的形式表示为/>将该矢量单位化后表示为ip=[if,iy,iz],计算相机坐标下的方位角和俯仰角,具体公式为:
其中,α表示方位角,β表示俯仰角。ROI算法在候选目标缓动的情况中非常适用,算法速度快,识别率高。
在10.5km左右,10帧图像的目标测角数据以及对应真实数据的比较和误差如表2所示。
表2算法测试结果示例
在图2中详细展示了测角误差的情况。从图2中可以看出,在10.5km-500m的抵近过程中,算法能够很好地识别到目标,并且测角误差小于0.1°。算法速度相对较快,在恒星剔除时,算法速度在3Hz左右,ROI跟踪阶段,算法速度到达了20Hz。
本发明的具体性能如表3所示。
表3算法测试性能分析
经过测试,本发明提出的方法适用于高轨中目标的检测。根据追踪星的位置和速度信息以及坐标系的定义不同,可以改变坐标转换的参数达到坐标系间相互转换的目的。根据相机内外参数的不同和平台抖动误差的不同,ROI选框的大小也可以随之改变,从而达到跟踪识别目标的目的。
本发明实施例还提出基于星图识别和亮度先验信息的小目标检测***,包括远距图像预处理模块、转换矩阵构建模块、恒星投影模块、恒星和候选目标识别模块、候选目标的视线角输出模块及可在处理器上运行的计算机程序。需要说明的是,上述***中的各个模块对应本发明实施例所提供的方法的具体步骤,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
本发明实施例还提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。需要说明的是,上述***中的各个模块对应本发明实施例所提供的方法的具体步骤,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
本发明实施例还提出一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序。需要说明的是,上述***中的各个模块对应本发明实施例所提供的方法的具体步骤,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
尽管上面示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。任何根据本发明的技术构思所做出的各种其他相应的改变和变型,均应包含在本发明权利要求的保护范围内。
Claims (9)
1.基于星图识别和亮度先验信息的小目标检测方法,其特征在于,包括:
S1、对远距图像进行预处理,得到图像中点簇的质心和亮度信息;
S2、根据追踪星初始位置和速度、轨道坐标系与本体坐标系的转换姿态角以及相机的安装矩阵,构建地心惯性坐标系至相机坐标系的转换矩阵;
S3、根据地心惯性坐标系至相机坐标系的转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面;
S4、利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证;
S5、在稳定识别候选目标后,对于后续输入的图像,通过上一帧识别到候选目标的位置信息对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中候选目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息。
2.根据权利要求1所述的基于星图识别和亮度先验信息的小目标检测方法,其特征在于,步骤S1中,对图像进行预处理的具体步骤为:
S101、基于迭代阈值的全局阈值计算:
S1011、为全局阈值选择初始估计值,即图像的平均灰度;
S1012、用初始估计值分割图像,产生两组像素,第一组像素G1由灰度值大于初始估计值的像素组成,第二组像素G2由小于等于初始估计值像素组成;
S1013、计算G1和G2像素的平均灰度值,此时产生一个新的阈值,具体公式为:
T=(m1+m2)/2;
其中,m1和m2分别是G1和G2像素的平均灰度值;
S1014、重复步骤S1012-S1013,直到连续迭代后阈值间的差小于预定义参数,此时最后一次的阈值即为最终全局阈值;
S102、得到最终全局阈值后,对图像进行二值化操作,得到二值化图像,具体公式为:
其中,g(x,y)表示二值化图像,f(x,y)表示图像中的像素点;
S103、采用四连通域划分:以每个值为1的像素点为中心点,若其上、下、左、右4个方向中存在值为1的像素点,则认为该点和中心点位于同一区域,即为同一个物体;
S104、采用质心法提取质心点:通过连通域划分后,设定该物体大小为n个像素点,则具体公式为:
其中,mi表示物体对应第i个像素点的灰度值,(xi,yi)表示物体对应第i个像素点在图像中的坐标,(xc,yc)表示物体的质心点坐标。
3.根据权利要求1所述的基于星图识别和亮度先验信息的小目标检测方法,其特征在于,步骤S2中,构建地心惯性坐标系至相机坐标系的转换矩阵的具体步骤为:
S201、利用相机所在卫星即追踪星当前时刻的位置速度矢量从地心惯性坐标系转换到轨道坐标系,得到轨道坐标系下的位置矢量,具体表示为:
其中,表示从惯性坐标系到轨道坐标系的转换矩阵;
S202、根据欧拉定理,将轨道坐标系按照3-1-2的顺序转动三次得到航天器本体坐标系,三次转动的角度分别是偏航角、滚动角、俯仰角,得到航天器本体系下的位置矢量,具体表示为:
其中,θ表示俯仰角,表示滚动角,ψ表示偏航角,RX、RY和RZ分别表示坐标点绕X、Y、Z轴逆时针旋转变换的旋转矩阵,/>表示惯性坐标系至卫星本体坐标系的旋转矩阵;
S203、依据相机在本体坐标系上的安装矩阵,得到地心惯性坐标系至相机坐标系的转换矩阵
其中,R3、R2和R1分别表示绕坐标系的Z、Y和X轴旋转对应的旋转变换矩阵;
通过矩阵将惯性坐标系中的恒星投影至相机坐标系内。
4.根据权利要求1所述的基于星图识别和亮度先验信息的小目标检测方法,其特征在于,步骤S3中,将导航星表中的恒星投影至图像平面的具体内容为:
在相机坐标系下坐标为的投影恒星,在成像坐标系OR-xy中的坐标表示为:
其中,表示成像坐标系中的横坐标,/>表示成像坐标系的纵坐标,f表示相机的角距;
依据几何关系,将坐标变换到像素坐标系OP-uv,具体表示为:
其中,u0与v0表示像素平面中心坐标。
5.根据权利要求1所述的基于星图识别和亮度先验信息的小目标检测方法,其特征在于,步骤S4中,具体内容为:将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,当投影恒星与图像中点簇的距离值小于预先设定的阈值时,则判定该簇为恒星;当投影恒星与图像中点簇的距离值大于预先设定的阈值,则判定该簇是候选目标;
其中,采用迭代循环减小的方式设定阈值,对于初始设定的阈值,当无法检测到候选目标时,则将阈值减少1个像素再次进行恒星剔除,直到达到最小阈值,若此时仍然无法找到候选目标,则判断该图像中不存在候选目标;
在得到候选目标后,通过亮度先验信息对其进行验证,若符合亮度先验信息的点簇与候选目标为同一个点簇,则判定识别正确。
6.根据权利要求1所述的基于星图识别和亮度先验信息的小目标检测方法,其特征在于,步骤S5中,输出候选目标的视线角信息的具体步骤为:
S501、根据实际相机的视场和任务中卫星平台的本体抖动误差确定ROI框选大小,并确定候选目标在图像帧间移动的最大角度,具体公式为:
其中,Δω表示最大角度,α表示所选相机的视场,S表示所成图像的尺寸;
S502、选定选框大小后,以上一帧候选目标的质心坐标作为选框的中心,在该选框中进行图像预处理得到所有的亮点,并将识别到的点与上一帧候选目标进行距离计算和亮度值的匹配,所有点中与上一帧候选目标点的距离和亮度差值最小的点即为候选目标;
设定候选目标在像素平面中的坐标为则在相机坐标系下候选目标视线角以矢量的形式表示为/>将该矢量单位化后表示为ip=[if,iy,iz],计算相机坐标下的方位角和俯仰角,具体公式为:
其中,α表示方位角,β表示俯仰角。
7.基于星图识别和亮度先验信息的小目标检测***,其特征在于,包括
远距图像预处理模块,用于对远距图像进行预处理,得到图像中点簇的质心和亮度信息;
转换矩阵构建模块,用于根据追踪星初始位置和速度、轨道坐标系与本体坐标系的转换姿态角以及相机的安装矩阵,构建地心惯性坐标系至相机坐标系的转换矩阵;
恒星投影模块,用于根据地心惯性坐标系至相机坐标系的转换矩阵和相机的内参数据,将导航星表中的恒星投影至图像平面;
恒星和候选目标识别模块,用于利用恒星剔除算法,将投影后恒星在图像中的位置与图像中点簇的质心进行距离计算,识别图像中的恒星和候选目标,并通过亮度先验信息对候选目标进行验证;
候选目标的视线角输出模块,用于在稳定识别候选目标后,对于后续输入的图像,通过上一帧识别到候选目标的位置信息对当前帧图像进行ROI框选,并根据既定的判断逻辑,捕获选框中候选目标,将候选目标的像素坐标转换为视线角并输出候选目标的视线角信息。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310696825.0A CN116755169B (zh) | 2023-06-13 | 2023-06-13 | 基于星图识别和亮度先验信息的小目标检测方法、*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310696825.0A CN116755169B (zh) | 2023-06-13 | 2023-06-13 | 基于星图识别和亮度先验信息的小目标检测方法、*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116755169A CN116755169A (zh) | 2023-09-15 |
CN116755169B true CN116755169B (zh) | 2024-04-30 |
Family
ID=87960264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310696825.0A Active CN116755169B (zh) | 2023-06-13 | 2023-06-13 | 基于星图识别和亮度先验信息的小目标检测方法、*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116755169B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296726A (zh) * | 2016-07-22 | 2017-01-04 | 中国人民解放军空军预警学院 | 一种天基光学序列图像中的空间目标检测跟踪方法 |
CN106651904A (zh) * | 2016-12-02 | 2017-05-10 | 北京空间机电研究所 | 一种宽尺寸范围多空间目标捕获跟踪方法 |
CN114255263A (zh) * | 2021-12-24 | 2022-03-29 | 中国科学院光电技术研究所 | 一种基于背景辨识的自适应空间暗弱星体识别方法 |
CN114719844A (zh) * | 2022-04-06 | 2022-07-08 | 北京信息科技大学 | 基于空间投影的全天球星图识别方法、装置及介质 |
CN115638796A (zh) * | 2022-09-19 | 2023-01-24 | 北京控制工程研究所 | 一种基于折射星/非折射星信息融合与预测的快速星图识别方法 |
CN115908554A (zh) * | 2022-12-16 | 2023-04-04 | 江苏科技大学 | 一种高精度亚像素模拟星图以及亚像素提取方法 |
-
2023
- 2023-06-13 CN CN202310696825.0A patent/CN116755169B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296726A (zh) * | 2016-07-22 | 2017-01-04 | 中国人民解放军空军预警学院 | 一种天基光学序列图像中的空间目标检测跟踪方法 |
CN106651904A (zh) * | 2016-12-02 | 2017-05-10 | 北京空间机电研究所 | 一种宽尺寸范围多空间目标捕获跟踪方法 |
CN114255263A (zh) * | 2021-12-24 | 2022-03-29 | 中国科学院光电技术研究所 | 一种基于背景辨识的自适应空间暗弱星体识别方法 |
CN114719844A (zh) * | 2022-04-06 | 2022-07-08 | 北京信息科技大学 | 基于空间投影的全天球星图识别方法、装置及介质 |
CN115638796A (zh) * | 2022-09-19 | 2023-01-24 | 北京控制工程研究所 | 一种基于折射星/非折射星信息融合与预测的快速星图识别方法 |
CN115908554A (zh) * | 2022-12-16 | 2023-04-04 | 江苏科技大学 | 一种高精度亚像素模拟星图以及亚像素提取方法 |
Non-Patent Citations (2)
Title |
---|
亮星辅助下基于坐标转换的快速星图识别方法;刘先一 等;航空学报;第41卷(第08期);625360-1-623560-8 * |
基于星图识别的空间目标检测算法研究;程军 等;光学技术;第36卷(第03期);439-444 * |
Also Published As
Publication number | Publication date |
---|---|
CN116755169A (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
Kolomenkin et al. | Geometric voting algorithm for star trackers | |
CN111862201B (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
CN103697855B (zh) | 一种基于海天线检测的船体水平姿态测量方法 | |
CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及*** | |
CN111829532B (zh) | 一种飞行器重定位***和重定位方法 | |
Pham et al. | An autonomous star recognition algorithm with optimized database | |
CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
Clouse et al. | Small field-of-view star identification using Bayesian decision theory | |
CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及*** | |
US20220017239A1 (en) | Methods and systems for orbit estimation of a satellite | |
Van Pham et al. | Vision‐based absolute navigation for descent and landing | |
Zhu et al. | Arbitrary-oriented ship detection based on retinanet for remote sensing images | |
CN110617802A (zh) | 一种星载动目标检测及速度估计方法 | |
CN115164900A (zh) | 一种基于全向相机的城市环境下视觉辅助导航方法及*** | |
Kaufmann et al. | Shadow-based matching for precise and robust absolute self-localization during lunar landings | |
Cassinis et al. | Leveraging neural network uncertainty in adaptive unscented Kalman Filter for spacecraft pose estimation | |
Yuan et al. | High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning | |
Koizumi et al. | Development of attitude sensor using deep learning | |
Ozaki et al. | DNN-based self-attitude estimation by learning landscape information | |
CN116755169B (zh) | 基于星图识别和亮度先验信息的小目标检测方法、*** | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
Yan et al. | Horizontal velocity estimation via downward looking descent images for lunar landing | |
CN115760984A (zh) | 一种立方星基于单目视觉的非合作目标位姿测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |