CN113838108A - 多尺度光谱tdicmos点线配准的电荷累积方向测试*** - Google Patents
多尺度光谱tdicmos点线配准的电荷累积方向测试*** Download PDFInfo
- Publication number
- CN113838108A CN113838108A CN202111147612.XA CN202111147612A CN113838108A CN 113838108 A CN113838108 A CN 113838108A CN 202111147612 A CN202111147612 A CN 202111147612A CN 113838108 A CN113838108 A CN 113838108A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- scale
- charge accumulation
- tdicmos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 40
- 238000009825 accumulation Methods 0.000 title claims abstract description 30
- 238000012360 testing method Methods 0.000 title claims abstract description 11
- 230000003595 spectral effect Effects 0.000 claims abstract description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000006798 recombination Effects 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004611 spectroscopical analysis Methods 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000012634 fragment Substances 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000005855 radiation Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
多尺度光谱TDICMOS点线配准的电荷累积方向测试***,涉及空间光学遥感技术邻域。包含分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元。TDICMOS采集原始的多光谱图像;依据片元图像空间特征的多样性,采用特征点线结合的单谱配准方法对原始图像进行配准拼接;依据多光谱图像分辨率差异较大以及辐射强度多样性较强的特征;采用多尺度多光谱配准方法实现对于频谱的特征点精确对准;最终根据各光谱图像匹配点的坐标精确计算出不同时差所产生的像移大小,分析像移实时变化,根据实时像移矢量的大小计算出电荷累积方向。实现多光谱TDICMOS图像空域和频域的联合配准与电荷累积方向快速测量。
Description
技术领域
本发明涉及空间光学遥感技术领域,具体涉及一种相机焦面TDICMOS多尺度图像配准与电荷累积量计算的方法。
背景技术
多光谱遥感技术广泛应用于农业监测、矿物探测、军事侦察等领域,是一种高精度地物探测手段。近年来,天基遥感探测不断朝着大视场、高宽幅的方向拓展,对CMOS的成像幅宽有了更高的要求。为了满足该要求,高分辨率相机一般采用多个片元错位拼接的方式来实现大视场成像。但错位拼接会引入偏流角、相移等一系列误差。
由于各个谱段感光尺寸相同且间距相等,卫星采用正向推扫的方式成像,会导致各谱段时域和空域并不一一对应,各谱段对同一目标点的成像的时间并不一致。因此,需一种高精度配准方式去实现多尺度、多光谱之间的时空域的配准。现有的图像配准算法大多基于特征点匹配,容易忽略图像中直线、几何形状等特征,造成图像的直线发生曲折,画面有撕裂感。多光谱的图像配准容易出现特征点失调,经常会出现匹配失败的情况,因此,需要一种全新的单谱拼接和多谱间配准方法。
像移是造成遥感成像质量下降的重要因素,依据配准结果反解出像移之间的关系,为消除像移影响提供重要的数据支撑。电荷累积方向是像移直接表现在CMOS上的形式,分析其大小对成像质量的影响意义重大。
发明内容
本发明为解决现有图像配准方法忽略图像中直线、几何形状等特征,造成图像的直线发生曲折,画面有撕裂感,导致图像配准易出现特征点失调,匹配失败等问题,提供一种多尺度光谱TDICMOS点线配准的电荷累积方向测试***。
多尺度光谱TDICMOS点线配准的电荷累积方向测试***,该***包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元由三段CMOS探测器的片元拼接组成,采用单摆运动模式推扫采集每个CMOS探测器的五个谱段的高分辨率图像;
所述多尺度片内点线结合配准单元接收所述五个谱段的高分辨率图像,采用特征点和特征线相结合配准的方法分别实现相同谱段图像精确配准拼接,获得五个独立谱段的拼接图像;
所述光谱维度的多尺度轮廓特征配准单元接收五个独立谱段的拼接图像,采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;
所述电荷累积方向计算单元根据所述光谱维度的多尺度轮廓特征配准单元输出的配准图像与原始图像的特征点位置偏移量,计算每个谱段每个位置曝光时间偏移量,并作为自变量,导出像移与时间的函数关系,进一步获得电荷累积方向与时间的关系。
本发明的有益效果:本发明所述的测试***,在模拟真实的推扫模式下,采用反射分光排布式TDICMOS采集原始的多光谱图像,相比传统错位拼接方式,采取反射拼接的方式会有效减少三段图像的偏流角误差,提高电荷矢量方向计算精度;依据片元图像空间特征的多样性,采用特征点线结合的单谱配准方法对原始图像进行配准拼接,解决只基于特征点匹配方式所导致拼接图像几何特征扭曲的问题;依据多光谱图像分辨率差异较大以及辐射强度多样性较强的特征,采用基于CSS检测改进型多尺度多光谱配准方法实现对于频谱的特征点精确对准,解决多光谱图像配准容易失调的问题;最终根据各光谱图像匹配点的坐标精确计算出不同时差所产生的像移大小,分析像移实时变化,根据实时像移矢量的大小计算出电荷累积方向。依据先后顺序评估每一个环节的精度,实现多光谱TDICMOS图像空域和频域的联合配准与电荷累积方向快速测量。
附图说明
图1为本发明所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试***的原理图;
图2为CMOS探测器的结构示意图;
图3为卫星成像模式原理图;
图4为单谱图像拼接原理图;
图5为基于点线结合的图像配准原理图;
图6为基于轮廓特征多光谱图像配准原理图。
具体实施方式
结合图1至图6说明本实施方式,如图1所示,多尺度光谱TDICMOS点线配准的电荷累积方向测试***,包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元的单个TDICMOS的感光区域如图2所示。每一个CMOS的面元的五个谱段呈纵向排布,分别是P、B1、B2、B3和B4谱段,其中全色谱段P对应的最小像元尺寸为7um,分辨率为8224*1;其它四个为多光谱段,最小像元尺寸为14um,分辨率为2056*1。遥感卫星依照图3所示的摆扫模式进行时间积分成像。所述分光式多光谱TDICMOS多级积分成像单元结构包含一个全色谱段P,四个多光谱段B。其中P谱与B谱分辨率相差4倍。光学***像面采用三段CMOS片元拼接而成,相机按单摆运动模式推扫采集五个谱段的三节高分辨率图像。
所述多尺度片内点线结合配准单元接收成像单元所成的高分辨率图像,采用特征点和特征线相结合配准的算法,分别对五个谱段的三节图像进行重叠区域的匹配点计算,实现每个谱三段子图像精确配准拼接,合成五幅相互独立的不同谱段的拼接图像。
本实施方式中,每个谱的图像均由三节待拼接子图组成。若将三节图像直接按几何关系拼接时,由装调或者机械振动引起的误差会导致图像配准精度下降。因此,需要在图像处理阶段采用高精度配准算法对图像进行配准。
遥感成像的地面目标中包含大量的规则的直线或者矩形特征,为保证两张子图拼接后直线不会发生曲折。采用特征点和特征线相结合配准的算法,特征点用于计算全局仿射变换矩阵,特征线用于精细分割区域,调整每个区域内的变换矩阵系数,实现各个部位精确配准。对于两张待拼接的图像,采用SURF快速检测出特征点对集合P1,P2,P3,P4、P1',P2',P3',P4',其中Pi(i=1,2,3,4)与Pi'一一对应,在实际的对应的空间位置上它们属于同一点。求解出全局仿射变换矩阵。采用最小二乘法拟合特征点集合,找出全局最大的直线特征矢量li、lj',依据点线关系做进一步配准。如图5所示,若右图特征点序列Pi(i=1,2,3,4)构成的矢量li在右图的投影矢量li'必须旋转一定的角度才能与左图全局最大特征矢量lj'匹配,则两张图像间出现了配准直线失准的情况。针对全局仿射变换直线失准的问题,必须建立以直线约束为依据的网格能量函数,对特征直线li'左右两侧分别求取子区域的坐标变换矩阵,进而估计图像之间的最优配准变换。
所述光谱维度的多尺度轮廓特征配准单元接收点线配准单元所成的像,针对不同光谱图像的存在像移问题,采用多尺度图像轮廓特征匹配的方式实现各个谱段之间的配准。多尺度图像轮廓特征匹配为对分辨率较低B谱图像超分辨重构,然后与P谱图像进行基于最大梯度轮廓特征点插值算法的精细匹配。
本实施方式中,面元P谱比B谱的分辨率高四倍,即使两谱段在空间位置上基本配准,但配准精度很低,会出现重影现象。采用超分辨技术对B谱图像进行重构,将问题转换为同尺度多光谱图像间的配准;地面目标的光谱特性复杂多样,不同谱段图像的特征点容易失调,但空间信息保留较好。采用改进型的CSS轮廓及角点检验算法,找出位于各谱图像相似轮廓上的特征点。虽然该特征点数目会大幅下降,但错误匹配的概率也会缩小。最后,为了进一步提高精度,将每相邻四个特征匹配点对角相连,令其交点作为最终的拟合特征点。
具体采取的方法为:
首先,对B谱图像进行超分辨率重构。采用PixelShuffle上采样方法,将B谱低分辨特征进行卷积重组,得到高分辨率的特征;采用改进型的CSS检测轮廓及角点,使用适用于多光谱图像特征主方向计算方法计算角点的主方向;提取角点及其描述子,按照序列提取匹配点并去除显著错误匹配;采用特征点插值的方式拟合最终的匹配点,提高匹配精度。
所述电荷累积方向计算单元接收光谱图像配准单元的图像,根据配准图像与原始图像的特征点位置偏移量,算出每个谱段每个位置曝光时间偏移量,作为自变量,导出像移与时间的函数关系,进而导出电荷累积方向与时间的关系。
如图6所示,由于像移的存在,同一特征点在不同谱段的位置会发生变换。依据推扫成像的模式,面元沿垂直于轨道方向运动,对于地面同一个点目标,B1谱要比B2谱先接收到该点的光强信息,其他谱段依次类推。时间差会导致各谱段的对目标点所成的像存在像移量。建立像插值匹配点追踪模型。记录各谱段匹配点原始坐标A0(λ)=(x0,y0),经过图像配准后,配准点的坐标为A(λ)=(x,y)。则像移量为各谱段图像时间偏移量的计算如下,其中v是CMOS推扫的速度。
式中,H=0,h,2h,3h,4h,h为P谱与B1谱感光区域的垂直间隔,λ为各个感光区域所对应中心波段波长。
最终,可得到ΔA(λ)和T(λ)的对应关系。最终依照电荷累积方向与像移量的线性关系得到电荷累积方向矢量的大小。
Claims (4)
1.多尺度光谱TDICMOS点线配准的电荷累积方向测试***,其特征是:该***包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元由三段CMOS探测器的片元拼接组成,采用单摆运动模式推扫采集每个CMOS探测器的五个谱段的高分辨率图像;
所述多尺度片内点线结合配准单元接收所述五个谱段的高分辨率图像,采用特征点和特征线相结合配准的方法分别实现相同谱段图像精确配准拼接,获得五个独立谱段的拼接图像;
所述光谱维度的多尺度轮廓特征配准单元接收五个独立谱段的拼接图像,采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;
所述电荷累积方向计算单元根据所述光谱维度的多尺度轮廓特征配准单元输出的配准图像与原始图像的特征点位置偏移量,计算每个谱段每个位置曝光时间偏移量,并作为自变量,导出像移与时间的函数关系,进一步获得电荷累积方向与时间的关系。
2.根据权利要求1所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试***,其特征在于:
所述分光式多光谱TDICMOS多级积分成像单元中每个CMOS探测器均包括一个全色谱段P,四个多光谱段B;全色谱段P与多光谱段谱的分辨率相差4倍。
3.根据权利要求1所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试***,其特征在于:
所述光谱维度的多尺度轮廓特征配准单元采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;具体过程为:
首先,对B谱图像进行超分辨率重构,采用上采样方法,将B谱低分辨特征进行卷积重组,获得高分辨率的特征;
然后,采用改进型的CSS检测轮廓及角点,采用适用于多光谱图像特征主方向计算方法计算角点的主方向;提取角点及其描述子,按照序列提取匹配点并去除显著错误匹配;
最后,与P谱图像进行基于最大梯度轮廓特征点插值的方式拟合最终的匹配点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147612.XA CN113838108B (zh) | 2021-09-29 | 2021-09-29 | 多尺度光谱tdicmos点线配准的电荷累积方向测试*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111147612.XA CN113838108B (zh) | 2021-09-29 | 2021-09-29 | 多尺度光谱tdicmos点线配准的电荷累积方向测试*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113838108A true CN113838108A (zh) | 2021-12-24 |
CN113838108B CN113838108B (zh) | 2023-07-21 |
Family
ID=78967370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111147612.XA Active CN113838108B (zh) | 2021-09-29 | 2021-09-29 | 多尺度光谱tdicmos点线配准的电荷累积方向测试*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113838108B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1122681A (zh) * | 1994-11-05 | 1996-05-22 | 华西医科大学 | 反射分光式体腔粘膜血定量仪 |
US20060208169A1 (en) * | 1992-05-05 | 2006-09-21 | Breed David S | Vehicular restraint system control system and method using multiple optical imagers |
CN103017907A (zh) * | 2011-09-27 | 2013-04-03 | 财团法人工业技术研究院 | 图像式彩色分析仪的校正方法及测量装置 |
CN106525238A (zh) * | 2016-10-27 | 2017-03-22 | 中国科学院光电研究院 | 一种基于超分辨率重建的星载多光谱成像***设计方法 |
CN110660089A (zh) * | 2019-09-25 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种卫星图像的配准方法及装置 |
CN112102887A (zh) * | 2020-09-02 | 2020-12-18 | 北京航空航天大学 | 多尺度集成可视化的高通量自动计算流程及数据智能*** |
CN113052879A (zh) * | 2021-04-08 | 2021-06-29 | 西安应用光学研究所 | 一种多光谱图像自动配准方法 |
CN113096749A (zh) * | 2021-06-10 | 2021-07-09 | 武汉大学深圳研究院 | n型共掺杂金刚石半导体材料制备的多尺度耦合仿真方法 |
-
2021
- 2021-09-29 CN CN202111147612.XA patent/CN113838108B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060208169A1 (en) * | 1992-05-05 | 2006-09-21 | Breed David S | Vehicular restraint system control system and method using multiple optical imagers |
CN1122681A (zh) * | 1994-11-05 | 1996-05-22 | 华西医科大学 | 反射分光式体腔粘膜血定量仪 |
CN103017907A (zh) * | 2011-09-27 | 2013-04-03 | 财团法人工业技术研究院 | 图像式彩色分析仪的校正方法及测量装置 |
CN106525238A (zh) * | 2016-10-27 | 2017-03-22 | 中国科学院光电研究院 | 一种基于超分辨率重建的星载多光谱成像***设计方法 |
CN110660089A (zh) * | 2019-09-25 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种卫星图像的配准方法及装置 |
CN112102887A (zh) * | 2020-09-02 | 2020-12-18 | 北京航空航天大学 | 多尺度集成可视化的高通量自动计算流程及数据智能*** |
CN113052879A (zh) * | 2021-04-08 | 2021-06-29 | 西安应用光学研究所 | 一种多光谱图像自动配准方法 |
CN113096749A (zh) * | 2021-06-10 | 2021-07-09 | 武汉大学深圳研究院 | n型共掺杂金刚石半导体材料制备的多尺度耦合仿真方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113838108B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN108955883B (zh) | 基于高光谱数据的遥感器辐射定标方法及定标*** | |
CN102194099B (zh) | 用于高光谱目标探测方法的高级背景估计技术和电路 | |
CN115236655B (zh) | 基于全极化sar的滑坡识别方法、***、设备及介质 | |
Herold et al. | The spectral dimension in urban land cover mapping from high-resolution optical remote sensing data | |
CN109934788B (zh) | 一种基于标准遥感图像的遥感图像缺失数据修复方法 | |
CN112598608B (zh) | 一种基于目标区域的光学卫星快速融合产品制作方法 | |
Zhu et al. | Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features | |
Zhang et al. | A mixed radiometric normalization method for mosaicking of high-resolution satellite imagery | |
CN104318550A (zh) | 八通道多光谱成像数据处理方法 | |
CN103728022A (zh) | 一种坏像元的校正方法 | |
CN107941241B (zh) | 一种用于航空摄影测量质量评价的分辨率板及其使用方法 | |
CN108335320A (zh) | 多源遥感影像的空间配准方法及空间配准*** | |
CN113838108A (zh) | 多尺度光谱tdicmos点线配准的电荷累积方向测试*** | |
Xiong et al. | An initial study on vehicle information extraction from single pass QuickBird satellite imagery | |
Cariou et al. | Automatic georeferencing of airborne pushbroom scanner images with missing ancillary data using mutual information | |
CN115082533A (zh) | 一种基于自监督的临近空间遥感图像配准方法 | |
Crespi et al. | Radiometric quality and DSM generation analysis of CartoSat-1 stereo imagery | |
Mishra et al. | Spatial enhancement of SWIR band from Resourcesat-2A by preserving spectral details for accurate mapping of water bodies | |
Xu et al. | Fast non-iterative blind restoration of hyperspectral images with spectrally-varying PSFs | |
Pateraki et al. | Analysis and performance of the Adaptive Multi-Image matching algorithm for airborne digital sensor ADS40 | |
Soszyńska et al. | Feasibility study of hyperspectral line-scanning camera imagery for remote sensing purposes | |
Zhou et al. | Accurate band-to-band registration of aotf imaging spectrometer using motion detection technology | |
CN117592001B (zh) | 一种数据融合方法及装置 | |
Miecznik et al. | Mutual information registration of multi-spectral and multi-resolution images of DigitalGlobe's WorldView-3 imaging satellite |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |