CN114820665A - 一种星图背景抑制方法、装置、计算机设备和存储介质 - Google Patents

一种星图背景抑制方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114820665A
CN114820665A CN202210756831.6A CN202210756831A CN114820665A CN 114820665 A CN114820665 A CN 114820665A CN 202210756831 A CN202210756831 A CN 202210756831A CN 114820665 A CN114820665 A CN 114820665A
Authority
CN
China
Prior art keywords
background
image
suppression
fitting
preliminary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210756831.6A
Other languages
English (en)
Other versions
CN114820665B (zh
Inventor
牛照东
孙权
张万青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210756831.6A priority Critical patent/CN114820665B/zh
Publication of CN114820665A publication Critical patent/CN114820665A/zh
Application granted granted Critical
Publication of CN114820665B publication Critical patent/CN114820665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种星图背景抑制方法、装置、计算机设备和存储介质。所述方法包括：将原始图像分块后，通过sigma迭代裁剪算法选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，根据拟合种子点集合得到拟合参数，通过多项式拟合对星图背景进行估计，并利用估计的星图背景对原始图像的背景进行初次抑制；计算初步背景抑制图像的最小梯度图，根据最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据提取阈值确定初步背景抑制图像的暗局部空间通道；根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。本发明可实现抑制背景提高目标信噪比的目的，且该方法效果对抑制参数不敏感。

Description

一种星图背景抑制方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像分析技术领域，特别是涉及一种基于多项式拟合和暗局部空间通道的星图背景抑制方法、装置、计算机设备和存储介质。
背景技术
星图背景抑制是决定光学图像空间碎片检测的关键预处理技术，好的背景抑制效果是保证弱小空间碎片被有效检测的前提。
星图背景主要由月光、薄雾、人造光污染以及地气光（天基）等杂散光构成，相较于背景恒星、碎片目标及辐射噪声等，背景在空域表现为起伏平缓的大块雾状斑块，在频域上主要为低频成分。由于空间碎片目标属于典型的弱小目标，背景对目标提取的干扰不容忽视。空间碎片探测图像背景抑制的准则是在背景抑制的基础上尽可能提高碎片目标的信噪比，背景抑制程度与弱小碎片目标信噪比提升程度往往是一对矛盾量，即当背景抑制程度大时很容易导致碎片目标的能量损失甚至部分弱小目标直接被抑制掉，目前被广泛应用的背景抑制算法难以很好平衡这一矛盾，因此有必要提出一种性能更好的星图背景精准抑制算法。
根据可查阅的公开文献可知，目前应用于星图背景抑制问题的方法主要有两大类方法，灰度分割类：阈值分割，Sigma迭代裁剪；统计排序滤波器类：中值滤波，形态学滤波等。具体来说，阈值分割法计算简单，但仅适用于背景起伏很小的场合，且容易错误抑制掉弱小碎片目标，该方法通常与其他方法配合使用；Sigma迭代裁剪实际是一个变阈值分割法，该方法在一定程度上缓解了定阈值分割法的不足，但同样存在错误抑制掉弱小碎片目标的问题；中值滤波和形态学滤波都属于统计排序滤波器，是一类相对来说更有效的常用星图背景抑制方法，该类方法需要提前设定合适的滤波核尺寸，其抑制效果对滤波核尺寸非常敏感：滤波核尺寸过大会大大增加计算量，且抑制效果不佳，滤波核过小会抑制掉碎片或恒星目标，且该类方法无法很好保留目标灰度和边缘特性，这会影响后期的质心定位精度。综上，目前常用的星图背景抑制方法主要存在如下两点不足：一、难以平衡背景抑制与弱小碎片目标信噪比提升这对矛盾，即当背景抑制程度大时很容易导致碎片目标的能量损失甚至部分弱小目标直接被抑制掉；二、抑制效果对抑制参数过于敏感，这限制了算法的普适性和智能化程度。
发明内容
基于此，有必要针对上述技术问题，提供一种能够抑制背景提高目标信噪比且对抑制参数不敏感的星图背景抑制方法、装置、计算机设备和存储介质。
一种星图背景抑制方法，所述方法包括：
获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
在其中一个实施例中，还包括：根据所述拟合种子点集合得到拟合参数为：
Figure 880553DEST_PATH_IMAGE001
其中，
Figure 462844DEST_PATH_IMAGE002
为由位置坐标
Figure 981550DEST_PATH_IMAGE003
确定的系数矩阵，
Figure 674700DEST_PATH_IMAGE004
，
Figure 814825DEST_PATH_IMAGE005
为所述拟合种子点集合，常数矩阵
Figure 568018DEST_PATH_IMAGE006
由相应的灰度值
Figure 246124DEST_PATH_IMAGE007
确定，
Figure 867598DEST_PATH_IMAGE008
为所述拟合参数。
在其中一个实施例中，还包括：根据所述拟合参数通过多项式拟合对星图背景进行估计，得到估计的星图背景为：
Figure 518022DEST_PATH_IMAGE009
其中，
Figure 48973DEST_PATH_IMAGE010
为所述估计的星图背景。
在其中一个实施例中，还包括：利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像为：
Figure 417637DEST_PATH_IMAGE011
其中，
Figure 577223DEST_PATH_IMAGE012
为所述初步背景抑制图像，
Figure 82154DEST_PATH_IMAGE013
为所述原始图像。
在其中一个实施例中，还包括：对所述初步背景抑制图像的任一像素点
Figure 786936DEST_PATH_IMAGE014
，计算与其八联通的像素差的绝对值，取最小值作为最小梯度图上该点的值，进而得到所述初步背景抑制图像的最小梯度图。
在其中一个实施例中，还包括：根据所述最小梯度图得到所述最小梯度图的标准差；
对所述初步背景抑制图像的任一像素点
Figure 642896DEST_PATH_IMAGE015
，提取以该点为中心、尺寸为
Figure 606173DEST_PATH_IMAGE016
的局部区域
Figure 762348DEST_PATH_IMAGE017
，得到所述局部区域
Figure 28244DEST_PATH_IMAGE017
内最小值；
根据所述最小梯度图的标准差和所述局部区域
Figure 715709DEST_PATH_IMAGE017
内最小值，确定提取阈值为：
Figure 358043DEST_PATH_IMAGE018
其中，
Figure 634303DEST_PATH_IMAGE019
为所述最小梯度图的标准差；
根据所述提取阈值
Figure 195735DEST_PATH_IMAGE020
，取所述局部区域
Figure 760708DEST_PATH_IMAGE017
中所有像素值大于0且小于所述提取阈值
Figure 816520DEST_PATH_IMAGE020
的像素值的均值，为所述像素点
Figure 150549DEST_PATH_IMAGE015
暗局部空间通道的值；
进而得到所述初步背景抑制图像的暗局部空间通道。
在其中一个实施例中，还包括：根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像为：
Figure 617303DEST_PATH_IMAGE021
其中，
Figure 669572DEST_PATH_IMAGE022
为所述强化背景抑制图像，
Figure 278144DEST_PATH_IMAGE023
为所述暗局部空间通道。
一种星图背景抑制装置，所述装置包括：
子块图像获取模块，用于获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
拟合种子点集合确定模块，用于通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
初步抑制模块，用于根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
暗局部空间通道确定模块，用于计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
强化抑制模块，用于根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
上述星图背景抑制方法、装置、计算机设备和存储介质，将原始图像分为多个子块图像后，通过sigma迭代裁剪算法选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，得到拟合种子点集合；根据拟合种子点集合得到拟合参数，通过多项式拟合对星图背景进行估计，并利用估计的星图背景对原始图像的背景进行初次抑制；计算初步背景抑制图像的最小梯度图，根据最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据提取阈值确定初步背景抑制图像的暗局部空间通道；根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。本发明根据星图背景特性提出一种多项式背景估计模型和暗局部空间通道概念，可实现抑制背景提高目标信噪比的目的，且该方法效果对抑制参数不敏感，具有较好的实用性。
附图说明
图1为一个实施例中星图背景抑制方法的流程示意图；
图2为一个具体实施例中星图背景抑制方法的流程示意图；
图3为一个具体实施例中星图背景抑制过程相关图像，其中，(a)为星图原图，(b)为sigma分块迭代裁剪提取的拟合背景种子，(c)为多项式拟合估计的背景，(d)为初次背景抑制后星图，(e)为暗局部空间通道(L=25)，(f)为强化背景抑制后星图；
图4为一个实施例中采用现有方法实施星图背景抑制过程相关图像，其中，(a)为中值滤波估计的背景(核:25*25)，(b)为中值滤波抑制后星图，(c)为Top-Hat变换估计的背景(核:25*25)，(d)为Top-Hat变换抑制后星图；
图5为一个实施例中星图背景抑制装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种星图背景抑制方法，包括以下步骤：
步骤102，获取待处理星图的原始图像，将原始图像分为多个子块图像。
进行分块裁剪的原因是，虽然星图背景在局部变化是平缓的但在整幅星图上分布并不均匀，且对于大尺寸星图进行全图拟合计算量过大，因此从拟合效果和实时性角度考虑采用分块裁剪拟合策略是合理的。且该方法的抑制效果对每个子块的长宽尺寸并不敏感，长宽尺寸设定为256、512等便于计算的合适尺寸即可。
步骤104，通过sigma迭代裁剪算法对每个子块图像进行处理，选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合。
sigma迭代裁剪算法是一种现有算法，实际是一个变阈值分割法。选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，可以保证拟合种子尽量来源于不包含目标的图像区域。
步骤106，根据拟合种子点集合得到拟合参数，根据拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对原始图像的背景进行初次抑制，得到初步背景抑制图像。
基于星图背景亮度变化平缓这一先验，本发明提出利用二元三次多项式模型对背景进行拟合。
步骤108，计算初步背景抑制图像的最小梯度图，根据最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据提取阈值确定初步背景抑制图像的暗局部空间通道。
步骤110，根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
基于如下先验，灰度太空探测图像的目标为点目标仅占据小部分区域，其周围都是背景，所以可通过局部空间上的暗像素提取暗通道，利用提取的暗通道对背景进一步进行强化抑制。
上述星图背景抑制方法中，将原始图像分为多个子块图像后，通过sigma迭代裁剪算法选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，得到拟合种子点集合；根据拟合种子点集合得到拟合参数，通过多项式拟合对星图背景进行估计，并利用估计的星图背景对原始图像的背景进行初次抑制；计算初步背景抑制图像的最小梯度图，根据最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据提取阈值确定初步背景抑制图像的暗局部空间通道；根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。本发明根据星图背景特性提出一种多项式背景估计模型和暗局部空间通道概念，可实现抑制背景提高目标信噪比的目的，且该方法效果对抑制参数不敏感，具有较好的实用性。
在其中一个实施例中，还包括：根据拟合种子点集合得到拟合参数为：
Figure 528997DEST_PATH_IMAGE024
其中，
Figure 307597DEST_PATH_IMAGE025
为由位置坐标
Figure 971797DEST_PATH_IMAGE026
确定的系数矩阵，
Figure 228466DEST_PATH_IMAGE027
，
Figure 412454DEST_PATH_IMAGE028
为拟合种子点集合，常数矩阵
Figure 158693DEST_PATH_IMAGE029
由相应的灰度值
Figure 919975DEST_PATH_IMAGE030
确定，
Figure 370548DEST_PATH_IMAGE031
为拟合参数。
在其中一个实施例中，还包括：根据拟合参数通过多项式拟合对星图背景进行估计，得到估计的星图背景为：
Figure 268097DEST_PATH_IMAGE032
其中，
Figure 185238DEST_PATH_IMAGE033
为估计的星图背景。
在其中一个实施例中，还包括：利用估计的星图背景对原始图像的背景进行初次抑制，得到初步背景抑制图像为：
Figure 574762DEST_PATH_IMAGE034
其中，
Figure 438812DEST_PATH_IMAGE035
为初步背景抑制图像，
Figure 315502DEST_PATH_IMAGE036
为原始图像。
在其中一个实施例中，还包括：对初步背景抑制图像的任一像素点
Figure 872385DEST_PATH_IMAGE037
，计算与其八联通的像素差的绝对值，取最小值作为最小梯度图上该点的值，进而得到初步背景抑制图像的最小梯度图。
在其中一个实施例中，还包括：根据最小梯度图得到最小梯度图的标准差；
对初步背景抑制图像的任一像素点
Figure 404997DEST_PATH_IMAGE038
，提取以该点为中心、尺寸为
Figure 948105DEST_PATH_IMAGE039
的局部区域
Figure 820246DEST_PATH_IMAGE040
，得到局部区域
Figure 672665DEST_PATH_IMAGE040
内最小值；
根据最小梯度图的标准差和局部区域
Figure 895836DEST_PATH_IMAGE040
内最小值，确定提取阈值为：
Figure 708546DEST_PATH_IMAGE041
其中，
Figure 700773DEST_PATH_IMAGE042
为最小梯度图的标准差；
根据提取阈值
Figure 396197DEST_PATH_IMAGE043
，取局部区域
Figure 965718DEST_PATH_IMAGE040
中所有像素值大于0且小于提取阈值
Figure 709683DEST_PATH_IMAGE043
的像素值的均值，为像素点
Figure 697362DEST_PATH_IMAGE038
暗局部空间通道的值；
进而得到初步背景抑制图像的暗局部空间通道。
在其中一个实施例中，还包括：根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像为：
Figure 298108DEST_PATH_IMAGE044
其中，
Figure 495871DEST_PATH_IMAGE045
为强化背景抑制图像，
Figure 168161DEST_PATH_IMAGE046
为暗局部空间通道。
在一具体实施例中，如图2所示，提供了一种基于多项式拟合和暗局部空间通道的星图背景抑制方法，具体步骤如下：
S1.将输入的原始图像分为
Figure 869400DEST_PATH_IMAGE047
个子块；
S2.对每个子块利用sigma迭代裁剪技术提取拟合种子点；
S3.利用多项式拟合对背景进行首次抑制；
S4.利用暗局部空间通道对背景进行强化抑制
其中步骤S1的具体步骤如下：
直接将输入的原始星图分为n个子块。该方法的抑制效果对每个子块的长宽尺寸不敏感，长宽尺寸设定为256、512等便于计算的合适尺寸即可。
步骤S2的具体步骤如下：
S2.1 sigma分块迭代裁剪
对步骤S1中的每个子块进行sigma迭代裁剪：
sigma迭代裁剪表达式如下：
Figure 719676DEST_PATH_IMAGE048
其中，
Figure 201473DEST_PATH_IMAGE049
及
Figure 552820DEST_PATH_IMAGE050
分别代表第
Figure 233200DEST_PATH_IMAGE051
次和第
Figure 644590DEST_PATH_IMAGE052
次迭代
Figure 426732DEST_PATH_IMAGE053
处的像素值，
Figure 112928DEST_PATH_IMAGE054
和
Figure 54339DEST_PATH_IMAGE055
分别是第
Figure 495685DEST_PATH_IMAGE056
次迭代图像中值和标准差，
Figure 624178DEST_PATH_IMAGE057
为阈值系数，一般取3即可。当
Figure 195623DEST_PATH_IMAGE058
或迭代次数达到上限时停止迭代，将最终的迭代结果记为
Figure 617640DEST_PATH_IMAGE059
。
S2.2 综合原图和sigma迭代裁剪结果提取拟合种子点
为保证拟合种子尽量来源于不包含目标的图像区域，这里选取迭代裁剪结果与原图灰度值相等的像素作为拟合种子点，集合表示如下：
Figure 167570DEST_PATH_IMAGE060
其中，
Figure 907993DEST_PATH_IMAGE061
表示提取的拟合种子点集合，三元组
Figure 139254DEST_PATH_IMAGE062
代表坐标
Figure 662115DEST_PATH_IMAGE063
处的灰度值为
Figure 586208DEST_PATH_IMAGE064
，
Figure 751610DEST_PATH_IMAGE065
和
Figure 989825DEST_PATH_IMAGE066
分别代表原图和最终迭代结果。
步骤S3的具体步骤如下：
基于星图背景亮度变化平缓这一先验，这里提出利用二元三次多项式模型对背景进行拟合，具体形式如下：
Figure 370122DEST_PATH_IMAGE067
Figure 465117DEST_PATH_IMAGE068
Figure 117815DEST_PATH_IMAGE069
其中
Figure 815512DEST_PATH_IMAGE070
为在
Figure 440529DEST_PATH_IMAGE071
处估计的背景灰度值，
Figure 581791DEST_PATH_IMAGE072
为由位置坐标
Figure 393889DEST_PATH_IMAGE073
确定的系数矩阵，
Figure 832961DEST_PATH_IMAGE074
为相应的拟合参数。
S3.1 利用最小二乘法获取拟合参数
基于步骤S2提取的拟合种子点计算拟合参数，具体表达式如下：
Figure 437118DEST_PATH_IMAGE075
其中，
Figure 873915DEST_PATH_IMAGE076
为步骤S2提取的拟合种子点，系数矩阵
Figure 39887DEST_PATH_IMAGE077
由位置坐标
Figure 954753DEST_PATH_IMAGE078
确定，常数矩阵由相应的灰度值
Figure 678996DEST_PATH_IMAGE079
确定。
S3.2 根据拟合参数对背景进行估计
基于S3.1获取的拟合参数
Figure 286694DEST_PATH_IMAGE080
对背景进行估计，具体表达式如下：
Figure 135702DEST_PATH_IMAGE081
其中，
Figure 729625DEST_PATH_IMAGE082
为由位置坐标
Figure 918161DEST_PATH_IMAGE083
确定的系数矩阵，
Figure 821395DEST_PATH_IMAGE084
为相应的拟合参数，
Figure 157698DEST_PATH_IMAGE085
为估计的背景。
S3.3 利用估计的背景对背景进行首次抑制
直接利用原始星图与估计背景对应像素求差对背景进行首次抑制，具体表达式如下：
Figure 679947DEST_PATH_IMAGE086
其中，
Figure 598355DEST_PATH_IMAGE087
为首次背景抑制结果，
Figure 547857DEST_PATH_IMAGE088
为原始星图，
Figure 105877DEST_PATH_IMAGE089
为估计的背景。
步骤S4的具体步骤如下：
该部分基于如下先验，灰度太空探测图像的目标为点目标仅占据小部分区域，其周围都是背景，所以可通过局部空间上的暗像素提取暗通道，利用提取的暗通道对背景进一步进行强化抑制。
S4.1 获取最小梯度图
在提取暗局部空间通道过程中需要设定提取阈值
Figure 556450DEST_PATH_IMAGE090
，该发明中阈值
Figure 719578DEST_PATH_IMAGE090
与最小梯度的标准差有关，因此需首先获取首次背景抑制后星图的最小梯度图。最小梯度图的计算方法为，对任一像素点
Figure 449768DEST_PATH_IMAGE091
，计算与其八联通的像素差的绝对值，取最小值作为最小梯度图上该点的值。具体表达式如下：
Figure 963926DEST_PATH_IMAGE092
S4.2 获取暗局部空间通道
获取暗局部空间通道的计算方法为，对任一像素点
Figure 624714DEST_PATH_IMAGE093
，提取以该点为中心尺寸为
Figure 766982DEST_PATH_IMAGE094
的局部小区域
Figure 323866DEST_PATH_IMAGE095
，取
Figure 932177DEST_PATH_IMAGE095
中所有大于0小于阈值
Figure 68760DEST_PATH_IMAGE096
的像素值，计算这些点的均值认为是暗局部空间通道该点的值，如下式：
Figure 331114DEST_PATH_IMAGE097
这里局部区域尺寸
Figure 855637DEST_PATH_IMAGE098
大于目标尺寸即可，鉴于空间碎片都为点目标并考虑计算量，建议
Figure 813228DEST_PATH_IMAGE098
取25到50即可，经分析抑制效果对该参数并不敏感。
Figure 894448DEST_PATH_IMAGE099
为满足条件像素点集
Figure 886675DEST_PATH_IMAGE100
的均值，对于阈值
Figure 644415DEST_PATH_IMAGE101
该发明中取最小梯度图的2倍标准差与局部区域
Figure 151620DEST_PATH_IMAGE102
内最小值的和，即
Figure 161164DEST_PATH_IMAGE103
其中，
Figure 617685DEST_PATH_IMAGE104
为最小梯度图的标准差。
S4.3 利用暗局部空间通道对背景进行强化抑制
直接利用首次抑制后星图
Figure 687272DEST_PATH_IMAGE105
与暗局部空间通道对应像素求差对背景进行强化抑制，具体表达式如下：
Figure 416193DEST_PATH_IMAGE106
其中，
Figure 354062DEST_PATH_IMAGE107
为强化背景抑制结果也即该发明的最终抑制结果，
Figure 320881DEST_PATH_IMAGE108
为首次背景抑制结果，
Figure 905578DEST_PATH_IMAGE109
为暗局部空间通道。
图3是对具体实施例中星图原图采用本发明所提方法进行背景抑制过程相关图像，其中(a)为星图原图，(b)为sigma分块迭代裁剪提取的拟合背景种子（16*16块），(c)为多项式拟合估计的背景，(d)为初次背景抑制后星图，(e)为暗局部空间通道(L=25)，(f)为强化背景抑制后星图。图4是分别采用中值滤波和Top-Hat变换形态学滤波法对星图背景抑制过程相关图像，原图与图3(a)相同，其中，(a)为中值滤波估计的背景(核:25*25)，(b)为中值滤波抑制后星图，(c)为Top-Hat变换估计的背景(核:25*25)，(d)为Top-Hat变换抑制后星图。对比图3(f)和图4(b)、4(d)，可见本发明所提方法具有更好的背景抑制效果。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种星图背景抑制装置，包括：子块图像获取模块502、拟合种子点集合确定模块504、初步抑制模块506、暗局部空间通道确定模块508和强化抑制模块510，其中：
子块图像获取模块502，用于获取待处理星图的原始图像，将原始图像分为多个子块图像；
拟合种子点集合确定模块504，用于通过sigma迭代裁剪算法对每个子块图像进行处理，选取迭代裁剪结果与原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
初步抑制模块506，用于根据拟合种子点集合得到拟合参数，根据拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对原始图像的背景进行初次抑制，得到初步背景抑制图像；
暗局部空间通道确定模块508，用于计算初步背景抑制图像的最小梯度图，根据最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据提取阈值确定初步背景抑制图像的暗局部空间通道；
强化抑制模块510，用于根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
初步抑制模块506还用于根据拟合种子点集合得到拟合参数为：
Figure 590637DEST_PATH_IMAGE110
其中，
Figure 738721DEST_PATH_IMAGE111
为由位置坐标
Figure 684681DEST_PATH_IMAGE112
确定的系数矩阵，
Figure 830491DEST_PATH_IMAGE113
，
Figure 615563DEST_PATH_IMAGE114
为拟合种子点集合，常数矩阵
Figure 505022DEST_PATH_IMAGE115
由相应的灰度值
Figure 977591DEST_PATH_IMAGE116
确定，
Figure 684516DEST_PATH_IMAGE117
为拟合参数。
初步抑制模块506还用于根据拟合参数通过多项式拟合对星图背景进行估计，得到估计的星图背景为：
Figure 813009DEST_PATH_IMAGE118
其中，
Figure 381525DEST_PATH_IMAGE119
为估计的星图背景。
初步抑制模块506还用于利用估计的星图背景对原始图像的背景进行初次抑制，得到初步背景抑制图像为：
Figure 177443DEST_PATH_IMAGE120
其中，
Figure 868318DEST_PATH_IMAGE121
为初步背景抑制图像，
Figure 484107DEST_PATH_IMAGE122
为原始图像。
暗局部空间通道确定模块508还用于对初步背景抑制图像的任一像素点
Figure 777685DEST_PATH_IMAGE123
，计算与其八联通的像素差的绝对值，取最小值作为最小梯度图上该点的值，进而得到初步背景抑制图像的最小梯度图。
暗局部空间通道确定模块508还用于根据最小梯度图得到最小梯度图的标准差；
对初步背景抑制图像的任一像素点
Figure 552743DEST_PATH_IMAGE124
，提取以该点为中心、尺寸为
Figure 476837DEST_PATH_IMAGE125
的局部区域
Figure 455288DEST_PATH_IMAGE126
，得到局部区域
Figure 490241DEST_PATH_IMAGE127
内最小值；
根据最小梯度图的标准差和局部区域
Figure 791909DEST_PATH_IMAGE127
内最小值，确定提取阈值为：
Figure 11538DEST_PATH_IMAGE128
其中，
Figure 336340DEST_PATH_IMAGE129
为最小梯度图的标准差；
根据提取阈值
Figure 47419DEST_PATH_IMAGE130
，取局部区域
Figure 672436DEST_PATH_IMAGE126
中所有像素值大于0且小于提取阈值
Figure 735070DEST_PATH_IMAGE131
的像素值的均值，为像素点
Figure 937381DEST_PATH_IMAGE124
暗局部空间通道的值；
进而得到初步背景抑制图像的暗局部空间通道。
强化抑制模块510还用于根据暗局部空间通道对初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像为：
Figure 314136DEST_PATH_IMAGE132
其中，
Figure 403445DEST_PATH_IMAGE133
为强化背景抑制图像，
Figure 840243DEST_PATH_IMAGE134
为暗局部空间通道。
关于星图背景抑制装置的具体限定可以参见上文中对于星图背景抑制方法的限定，在此不再赘述。上述星图背景抑制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种星图背景抑制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种星图背景抑制方法，其特征在于，所述方法包括：
获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
2.根据权利要求1所述的方法，其特征在于，根据所述拟合种子点集合得到拟合参数，包括：
根据所述拟合种子点集合得到拟合参数为：
Figure 954144DEST_PATH_IMAGE001
其中，
Figure 215492DEST_PATH_IMAGE002
为由位置坐标
Figure 260808DEST_PATH_IMAGE003
确定的系数矩阵，
Figure 124859DEST_PATH_IMAGE004
，
Figure 267127DEST_PATH_IMAGE005
为所述拟合种子点集合，常数矩阵
Figure 558432DEST_PATH_IMAGE006
由相应的灰度值
Figure 169673DEST_PATH_IMAGE007
确定，
Figure 634152DEST_PATH_IMAGE008
为所述拟合参数。
3.根据权利要求2所述的方法，其特征在于，根据所述拟合参数通过多项式拟合对星图背景进行估计，包括：
根据所述拟合参数通过多项式拟合对星图背景进行估计，得到估计的星图背景为：
Figure 771872DEST_PATH_IMAGE009
其中，
Figure 358711DEST_PATH_IMAGE010
为所述估计的星图背景。
4.根据权利要求3所述的方法，其特征在于，利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像，包括：
利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像为：
Figure 316303DEST_PATH_IMAGE011
其中，
Figure 400452DEST_PATH_IMAGE012
为所述初步背景抑制图像，
Figure 392679DEST_PATH_IMAGE013
为所述原始图像。
5.根据权利要求4所述的方法，其特征在于，计算所述初步背景抑制图像的最小梯度图，包括：
对所述初步背景抑制图像的任一像素点
Figure 88103DEST_PATH_IMAGE014
，计算与其八联通的像素差的绝对值，取最小值作为最小梯度图上该点的值，进而得到所述初步背景抑制图像的最小梯度图。
6.根据权利要求5所述的方法，其特征在于，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道，包括：
根据所述最小梯度图得到所述最小梯度图的标准差；
对所述初步背景抑制图像的任一像素点
Figure 923204DEST_PATH_IMAGE014
，提取以该点为中心、尺寸为
Figure 401589DEST_PATH_IMAGE015
的局部区域
Figure 389268DEST_PATH_IMAGE016
，得到所述局部区域
Figure 193276DEST_PATH_IMAGE016
内最小值；
根据所述最小梯度图的标准差和所述局部区域
Figure 515673DEST_PATH_IMAGE016
内最小值，确定提取阈值为：
Figure 63329DEST_PATH_IMAGE017
其中，
Figure 826886DEST_PATH_IMAGE018
为所述最小梯度图的标准差；
根据所述提取阈值
Figure 942740DEST_PATH_IMAGE019
，取所述局部区域
Figure 96641DEST_PATH_IMAGE016
中所有像素值大于0且小于所述提取阈值
Figure 572622DEST_PATH_IMAGE019
的像素值的均值，为所述像素点
Figure 393947DEST_PATH_IMAGE020
暗局部空间通道的值；
进而得到所述初步背景抑制图像的暗局部空间通道。
7.根据权利要求6所述的方法，其特征在于，根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像，包括：
根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像为：
Figure 946283DEST_PATH_IMAGE021
其中，
Figure 587479DEST_PATH_IMAGE022
为所述强化背景抑制图像，
Figure 601572DEST_PATH_IMAGE023
为所述暗局部空间通道。
8.一种星图背景抑制装置，其特征在于，所述装置包括：
子块图像获取模块，用于获取待处理星图的原始图像，将所述原始图像分为多个子块图像；
拟合种子点集合确定模块，用于通过sigma迭代裁剪算法对每个所述子块图像进行处理，选取迭代裁剪结果与所述原始图像灰度值相等的像素点作为拟合种子点，进而得到拟合种子点集合；
初步抑制模块，用于根据所述拟合种子点集合得到拟合参数，根据所述拟合参数通过多项式拟合对星图背景进行估计，并利用估计的星图背景对所述原始图像的背景进行初次抑制，得到初步背景抑制图像；
暗局部空间通道确定模块，用于计算所述初步背景抑制图像的最小梯度图，根据所述最小梯度图和任一像素点的局部区域像素值确定提取阈值，根据所述提取阈值确定所述初步背景抑制图像的暗局部空间通道；
强化抑制模块，用于根据所述暗局部空间通道对所述初步背景抑制图像的背景进行强化抑制，得到强化背景抑制图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210756831.6A 2022-06-30 2022-06-30 一种星图背景抑制方法、装置、计算机设备和存储介质 Active CN114820665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210756831.6A CN114820665B (zh) 2022-06-30 2022-06-30 一种星图背景抑制方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210756831.6A CN114820665B (zh) 2022-06-30 2022-06-30 一种星图背景抑制方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114820665A true CN114820665A (zh) 2022-07-29
CN114820665B CN114820665B (zh) 2022-09-02

Family

ID=82523283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210756831.6A Active CN114820665B (zh) 2022-06-30 2022-06-30 一种星图背景抑制方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114820665B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063262A2 (fr) * 2005-12-02 2007-06-07 France Telecom Procede d'extraction d'un objet sur un fond projete
CN105761227A (zh) * 2016-03-04 2016-07-13 天津大学 基于暗通道先验与白平衡的水下图像增强方法
CN105959510A (zh) * 2016-04-22 2016-09-21 湖南工学院 一种视频快速去雾方法
CN109978797A (zh) * 2019-04-08 2019-07-05 自然资源部国土卫星遥感应用中心 基于暗通道噪声模板的主动式像素传感器星图去噪方法
CN111353496A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 一种红外弱小目标实时检测方法
CN111667462A (zh) * 2020-05-12 2020-09-15 常熟理工学院 一种焊接缺陷中弱小目标的自动检测方法与***
CN113888562A (zh) * 2021-10-21 2022-01-04 北京环境特性研究所 目标检测方法、装置、计算设备及存储介质
CN114240789A (zh) * 2021-12-21 2022-03-25 华南农业大学 一种基于优化的保持亮度的红外图像直方图均衡增强方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063262A2 (fr) * 2005-12-02 2007-06-07 France Telecom Procede d'extraction d'un objet sur un fond projete
CN105761227A (zh) * 2016-03-04 2016-07-13 天津大学 基于暗通道先验与白平衡的水下图像增强方法
CN105959510A (zh) * 2016-04-22 2016-09-21 湖南工学院 一种视频快速去雾方法
CN111353496A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 一种红外弱小目标实时检测方法
CN109978797A (zh) * 2019-04-08 2019-07-05 自然资源部国土卫星遥感应用中心 基于暗通道噪声模板的主动式像素传感器星图去噪方法
CN111667462A (zh) * 2020-05-12 2020-09-15 常熟理工学院 一种焊接缺陷中弱小目标的自动检测方法与***
CN113888562A (zh) * 2021-10-21 2022-01-04 北京环境特性研究所 目标检测方法、装置、计算设备及存储介质
CN114240789A (zh) * 2021-12-21 2022-03-25 华南农业大学 一种基于优化的保持亮度的红外图像直方图均衡增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李梦阳: "天基复杂背景下空间暗弱小目标检测方法研究", 《中国博士学位论文全文数据库 (基础科学辑)》 *
牛照东: "Space Debris Tracking Via Generalized Labeled", 《IEEE》 *

Also Published As

Publication number Publication date
CN114820665B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US9483835B2 (en) Depth value restoration method and system
US20220383463A1 (en) Method and device for image fusion, computing processing device, and storage medium
Li et al. An adaptive nonlocal regularized shadow removal method for aerial remote sensing images
CN110348425B (zh) 去底纹的方法、装置、设备及计算机可读存储介质
CN109859257B (zh) 一种基于纹理方向性的皮肤图像纹理评估方法及***
CN108510499A (zh) 一种基于模糊集和Otsu的图像阈值分割方法及装置
CN113781406B (zh) 电子元器件的划痕检测方法、装置及计算机设备
CN111310771B (zh) 遥感影像的道路图像提取方法、装置、设备及存储介质
Gupta et al. Linearly quantile separated weighted dynamic histogram equalization for contrast enhancement
CN114331873A (zh) 一种基于区域划分的非均匀光照彩色图像校正方法
CN112381727A (zh) 一种图像去噪方法、装置、计算机设备和存储介质
CN108765463B (zh) 一种结合区域提取与改进纹理特征的运动目标检测方法
Huang et al. Efficient contrast enhancement with truncated adaptive gamma correction
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及***
Bernander et al. Improving the stochastic watershed
CN110176021B (zh) 结合亮度校正的显著性信息的水平集图像分割方法及***
Zhaohui et al. Water body extraction from multi-source satellite images
CN113284066B (zh) 遥感影像自动云检测方法和装置
Zhang et al. Image haze removal algorithm based on nonsubsampled contourlet transform
CN114820665B (zh) 一种星图背景抑制方法、装置、计算机设备和存储介质
Liu et al. Shadow removal of text document images using background estimation and adaptive text enhancement
Abramova et al. Iterative method for blind evaluation of mixed noise characteristics on images
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
Das et al. Histogram equalization techniques for contrast enhancement: a review
CN110298816B (zh) 一种基于图像重生成的桥梁裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant