CN113837929B - 一种图形拼接装置及其方法 - Google Patents

Abstract

本发明提供一种图像拼接装置，包括双轴旋转平台和成像***；双轴旋转平台包括水平轴和垂直轴；成像***通过绕水平轴旋转调节俯仰角度，成像***通过绕垂直轴旋转实现360°周扫；成像***包括光学***和图像探测器，图像探测器的探测器靶面与光学***的光轴垂直，且探测器靶面的靶面中心与光轴相交。利用这种装置，本发明提出了图像拼接的方法，结合指向角度信息实现逐行自动配准的图像拼接方法。由于本方法采用的是非特征匹配的方式，有效的避免了传统拼接算法的不足，对于天空等特征不明显区域的全景成像具有较好的适应性与实时性。

Description

一种图形拼接装置及其方法

技术领域

本发明涉及到光学成像领域，特别涉及一种图形拼接装置及其方法。

背景技术

从近几年美国、无人机正逐渐成为精准军事打击的主要武器，改变着传统的作战方式。无人机具有攻击精度高，雷达反射面积(RCS)小，飞行高度低，雷达较难侦测的特点，目前世界各国都在探索有效的防御手段。

防空预警***采用不同波段的面阵图像探测器不间断周视扫描的方式，对指定空域进行实时全景成像，可以弥补雷达对低空、小目标探测能力弱的不足，具有识别能力强、预警精度高、隐蔽效果好、成本低、无辐射等特点。

防空预警***采用两轴稳定平台，实现俯仰可调节，方位360°周扫的工作模式，可实现面阵红外探测器清晰图像的获取。采用图像拼接技术，实时获取设备预警区域的全景图像。通过全景图像中可疑目标检测、多帧特性关联运算，实现可疑目标的自动捕获、识别和预警。图像拼接是实现全景成像的必要手段，也是决定防空预警***可视化水平的一项关键技术。

2014年，Julio Zaragoza等人为了避免当时常规拼接算法误对齐以及过分依赖后处理和消除伪影的问题，提出了APAP算法。目前大部分拼接应用都是采用APAP算法及其各种衍生算法。

申请号为CN201811625266.X、申请日为2018年12月28日的中国发明专利《视频拼接方法及装置》提出的图像拼接方法用于拼接第一视频和第二视频,包括：对第一视频的第一目标帧和第二视频的第二目标帧进行特征提取、特征匹配和筛选,获得第一目标帧和第二目标帧的第一特征点对集；对第一目标帧和第二目标帧进行前向追踪,获得第一目标帧和第二目标帧的第二特征点对集；对第一目标帧和第二目标帧进行后向追踪,获得第一目标帧和第二目标帧的第三特征点对集；以及根据第一目标帧和第二目标帧的第一特征点对集、第二特征点对集以及第三特征点对集的并集,计算第一目标帧和第二目标帧之间的几何变换关系，进行两帧图像的配准。

申请号为CN201611075609.0、申请日为2016年11月29日的中国发明专利《鱼眼图像拼接成全景图像和全景视频的方法及装置》公开了一种鱼眼图像拼接成全景图像和全景视频的方法及装置,利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；根据经纬度坐标、球面坐标和平面坐标的映射关系,将获取到N个柱面投影图像中每组柱面投影图像的相交区域进行特征点匹配,得到每组柱面投影图像相交区域的匹配特征点对；根据球面坐标和经纬度坐标的映射关系,获取匹配特征点对的姿态矩阵；以所述N个鱼眼镜头中的某一鱼眼镜头的坐标系为世界坐标系,利用匹配特征点对的姿态矩阵,计算得到每个鱼眼镜头在世界坐标系中的姿态矩阵；根据每个鱼眼镜头在世界坐标系中的姿态矩阵,确定全景图像中每个像素点的像素值；根据所述全景图像中每个像素点的像素值,获取所述全景图像。

申请号为CN202110388923.9申请日为2021年04月12日的中国发明专利《一种低空航拍图像拼接方法和***,》提出的一种低空航拍图像拼接方法和***,所述方法包括：搭建语义分割网络,采集低空航拍图像数据集,对所述图像数据中的显著建筑物进行标注,将经标注的图像数据送入语义分割网络进行训练；将待拼接航拍图送入经训练得到的语义分割模型中进行针对所述显著建筑物的检测和像素级分割,获取所述显著建筑物的外接矩形图,并在所述待拼接航拍图中对应所述外接矩形图的区域留白,获得正射性最佳的正射外接矩形图；对留白处理后的至少两张待拼接航拍图进行拼接后获得初始拼接图,将所述正射外接矩形图进行扩充,所得到的扩充矩形图和所述初始拼接图融合得到结果拼接图。利用本发明能够有效解决拼接低空航拍产生的非正射、鬼影、错切问题。

图像拼接的关键是相邻两帧图像重叠区域的有效配准。常见的图像配准方法一般是基于特征提取、特征对匹配的方式实现，此类算法存在如下局限性：一是对图像特征存在较强的依赖性，对于天空、海面等特征不明显区域适用性较差；二是算法运算量大，对于帧频较高或分辨率较大的***，难以满足实时性要求；三是基于特征的自动匹配方式容易出现误匹配，对于实时视频拼接，往往会导致全景视频的不连续性。

发明内容

本发明为解决上述问题，提供一种实现观测点周围指定空域的实时全景成像的图形拼接装置。

为实现非特征匹配的方式的图形拼接，本发明采用以下具体技术方案：

一种图像拼接装置，包括双轴旋转平台和成像***；

双轴旋转平台包括水平轴和垂直轴；

成像***通过绕水平轴旋转调节俯仰角，成像***通过绕垂直轴旋转实现360°周扫；

成像***包括光学***和图像探测器，图像探测器的探测器靶面与光学***的光轴垂直，且探测器靶面的靶面中心与光轴相交。

一种图像拼接的方法，包括以下步骤；

S1、成像***绕水平轴调整好俯仰角后保持不变，绕垂直轴进行360°周扫并连续成像，在每幅图像中写入当帧图像中心对应的指向角度；

S2、获得图像上像元的指向角度与图像中心的指向角度的对应关系；

S3、获得第y行的重叠像素数Δn_y；

S4、图像逐行配准与拼接；

根据第y行的重叠像素数Δn_y对两帧图像进行逐行融合拼接。

进一步的，步骤S2包括以下步骤：

S21、图像中心对应的方位角表示为Ac，俯仰角表示为Ec，在像素坐标系中位于(x,y)位置的像元相对于图像中心的角度偏差表示为(ΔA_x、ΔE_y)，则像元的指向角度用下式表示为：

ΔA_x用下式表示为：

其中，W为图像宽度；α为图像上每个像元对应的方位张角或俯仰张角

ΔE_y用下式表示为：

其中，H为图像高度。

进一步的，步骤S3包括以下步骤：

S31、连续两帧图像中心的方位角和俯仰角分别表示为(A_cN,E_cN)，(A_cN+1,E_cN+1)，则两幅图像中心方位角偏差ΔA用下式表示为：

ΔA＝A_cN+1-A_cN (4)

S32、对两帧图像中心方位角偏差ΔA进行修正

根据几何投影关系，将两幅图像中心方位角偏差ΔA修正为ΔA下式表示为：

ΔA′＝ΔAcosE (5)

S33、获得两帧图像中心图像列方位角对应的实际像素数n下式表示为：

n＝ΔA′/α (6)

其中，α为图像上每个像元对应的方位张角或俯仰张角；

S34、两帧图像重叠像素数Δn下式表示为：

Δn＝W-n (7)

其中，W为图像宽度；

当两帧图像重叠像素数Δn大于零时，表示两帧图像间存在重叠区域；当两帧图像重叠像素数Δn小于零时，表示两帧图像间不存在重叠区域；

S35、将公式(5)、公式(6)带入公式(7)，获得两帧图像重叠像素数Δn用下式表示为：

Δn＝W-ΔAcosE/α (8)

S36、将公式(1)带入公式(8)，获得到第y行像素对应的重叠数Δn_y用下式表示为：

进一步的，α的计算过程如下：

由成像***的几何光学成像关系可知，每个像元对应的方位或俯仰张角α用下式表示为：

α＝tan^-1(P_s/v) (10)

其中，P_s为图像探测器像元尺寸，v为像距；

由光学***共轭关系可知：

其中，u为物距，f为焦距，像距v等于焦距f；则α用下式表示为：

α＝tan^-1(P_s/f) (12)。

进一步的，步骤S4中采用渐入渐出算法对两帧图像进行逐行融合拼接，表达式为：

其中，g(x,y)为拼接后图像的(x,y)点对应的像素值，g1(x,y)、g2(x,y)分别为待拼接的图像(x,y)点对应的像素值；w1(x,y),w2(x,y)为融合过程中的权重系数，计算式为：

本发明能够取得以下技术效果：

1、本装置可以用于防空预警的面阵周扫类成像***的图像拼接，便于飞行目标的发现与状态分析。

2、采用基于设备指向角度的逐行配准方法。对于匀速转动的周扫设备，俯仰拍摄角度越高，相邻帧图像间的重叠区域越大，且图像内越靠近图像顶端的像素行重叠像素数越多，反之则重叠像素数越少。因此，本发明通过借助每帧图像附加的指向角度信息，逐行进行像素重叠数计算，以实现全景图像的实时拼接。由于本方法采用的是非特征匹配的方式，有效的避免了传统拼接算法的不足，对于天空等特征不明显区域的全景成像具有较好的适应性与实时性。本发明提出了一种结合指向角度信息实现逐行自动配准的图像拼接方法。由于本方法采用的是非特征匹配的方式，有效的避免了传统拼接算法的不足，对于天空等特征不明显区域的全景成像具有较好的适应性与实时性。

3、图形拼接方法不依赖于图像特征，对于天空、海面等特征不明显区域仍具有较好的适用性；

4、图形拼接的算法简单，运算量小，对于帧频较高或分辨率较大的***，仍具有良好的实时性；根据实际帧间夹角进行重叠区域计算，不存在误匹配问题，对于视频连续拼接，具有良好的稳定性和连续性。相对于常规拼接方法，本发明对于天空背景等特征不明显区域具有突出的拼接效果。对于其他场景，同样具有较好的拼接效果，只是对于天空、海面等特征不明显效果更为明显。

附图说明

图1是本发明实施例的图形拼接装置的结构示意图；

图2是本发明实施例的像元成像视场角的示意图；

图3是本发明实施例的相邻两帧图像参数示意图；

图4是本发明实施例的方位角投影关系示意图；

图5是本发明实施例的渐入渐出融合拼接过程图。

附图标记：

成像***1、水平轴2、垂直轴3。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

本发明的图形拼接装置为双轴(互相垂直的水平轴2、垂直轴3)旋转平台，如图1所示***工作过程中，成像***1可绕水平轴2实现俯仰角度调节，绕垂直轴3实现360°方位周扫。能实现俯仰角和方位角调节的双轴旋转平台是本领域的现有技术，这里不再赘述其结构。成像***1由光学***及图像探测器组成，图像探测器为单波段或多波段面阵图像探测器，探测器靶面与光学***的光轴垂直，且靶面中心与光学***的光轴相交。光学***可以为摄像透镜，图像探测器用于捕获经由摄像透镜形成的图像。***工作过程中，成像***1的光学***的光轴绕水平轴2旋转调整为合理俯仰角度E后保持不变，绕垂直轴360°连续周扫工作的同时，连续成像，且在每幅图像中写入当帧图像中心对应的指向角度信息，即方位角Ac，俯仰角Ec。

利用这种装置或其他设备，可以实现图形拼接，具体的一种图像拼接方法包括步骤：

S1、成像***绕水平轴调整好俯仰角后保持不变，绕垂直轴进行360°周扫并连续成像，且在每幅图像中写入当帧图像中心对应的指向角度、即方位角Ac，俯仰角Ec；

S2、获得所述图像上像元的指向角度与所述图像中心的指向角度的对应关系，包括以下步骤：

S21、由图2显示的像元成像视场角的几何光学成像关系可知，对于给定光学***、图像探测器，每个像元对应的方位或俯仰张角α，即α为每个像元对应的俯仰方向或方位方向的张角，α用下式表示为：

α＝tan^-1(P_s/v) (1)

其中，P_s为图像探测器像元尺寸，v为像距；

由光学***共轭关系可知：

其中，u为物距，v为像距，f为焦距。

对于预警***，为了保证全景视场成像，焦距一般远小于物距，那么像距v近似等于焦距f。因此，公式(1)的近似表达式为：

α＝tan^-1(P_s/f) (3)

已知图像中心对应的方位、俯仰指向角度分别为Ac，Ec，那么图像中位于(x,y)位置的像元相对于图像中心的角度偏差表达式为：

其中，W为图像宽度，H为图像高度；其中x,y表示为在像素坐标系中像元所在图像的列值和行值；

则图像中位于(x,y)位置的像元的指向角度用下式表示为：

S3、获得第y行的重叠像素数Δn_y，包括以下步骤：

S31、对于周扫防空预警设备，为了获得稳定的周扫图像，方位角E设定后不再发生变化，只进行方位旋转。因此，在图像拼接过程中，仅需考虑方位方向的像素重叠数Δn的计算。设连续两帧图像中心的方位俯仰角分别为(A_cN,E_cN)，(A_cN+1,E_cN+1)，E_cN与E_cN+1近似相等，如图3所示。两幅图像中心方位角偏差ΔA用下式表示为：

ΔA＝A_cN+1-A_cN (6)

S32、对所述两帧图像中心方位角偏差ΔA进行修正

由角度的投影原理可知，方位角A与俯仰角E存在投影关系(如图4所示)，那么两幅图像方位角偏差需要投影修正，修正后的表达式为：

ΔA′＝ΔAcosE (7)

S33、获得两帧图像中心图像列方位角对应的实际像素数n，图像中间的一列对应的方位角由公式(3)可知两幅图像中心图像列方位角对应的实际像素数n用下式表示为：

n＝ΔA′/α (8)

S34、两帧图像重叠像素数Δn用下式表示为：

Δn＝W-n (9)

当Δn大于零时，表示两帧图像间存在重叠区域，当Δn小于零时，表示两帧图像间不存在重叠区域。

S35、将公式(7)、(8)带入公式(9)，得到两帧图像重叠像素数Δn用下式表示为：

Δn＝W-ΔAcosE/α (10)

S36、将公式(4)、式(5)带入公式(10)，可得到第y行像素对应的重叠数Δn_y用下式表示为：

由公式(11)可以看出，当E_C固定时(典型范围为0-40°)，重叠像素数Δn_y相对于y为单调递减函数，即越接近图像顶端(y值越小)，重叠像素数Δn_y越多，反之越少。

S4、图像逐行配准与拼接

根据式(11)的计算结果，对两帧图像进行逐行融合拼接。融合拼接算法采用算法简单且经典的渐入渐出算法(如图4-5所示)，表达式为：

其中，x,y表示为在像素坐标系中，像元所在图像的列值和行值。g(x,y)为拼接后图像的(x,y)点对应的像素值，g1(x,y)、g2(x,y)分别为待拼接的图像(x,y)点对应的像素值；w1(x,y),w2(x,y)为融合过程中的权重系数，计算式为：

对两帧图像进行逐行融合拼接为现有技术，这里不再赘述。

目前大部分拼接应用都是采用APAP算法及其各种衍生算法。该类以特征点提取为基础的拼接算法，对特征点依赖较强，而防空预警***图像多为特征不明显的天空背景，重叠区域内的图像特征不明显，采用此类算法进行图像拼接存在如下局限性：一是对图像特征存在较强的依赖性，对于天空、海面等特征不明显区域适用性较差；二是算法运算量大，对于帧频较高或分辨率较大的***，难以满足实时性要求；三是基于特征的自动匹配方式容易出现误匹配，对于实时视频拼接，往往会导致全景视频的不连续性、接缝处小幅晃动。而本发明采用基于设备指向角度的逐行配准方法。对于匀速转动的周扫设备，俯仰拍摄角度越高，相邻帧图像间的重叠区域越大，且图像内越靠近图像顶端的像素行重叠像素数越多，反之则重叠像素数越少。因此，本发明通过借助每帧图像附加的指向角度信息，逐行进行像素重叠数计算，以实现全景图像的实时拼接。由于本方法采用的是非特征匹配的方式，有效的避免了传统拼接算法的不足，对于天空等特征不明显区域的全景成像具有较好的适应性与实时性。

相对于常规拼接方法，本发明对于天空背景等特征不明显区域具有突出的拼接效果。对于其他场景，同样具有较好的拼接效果，尤其对于天空、海面等特征不明显效果更为明显。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (2)

1.一种图像拼接的方法，其特征在于，包括以下步骤；

S1、成像***绕水平轴调整好俯仰角后保持不变，绕垂直轴进行360°周扫并连续成像，在每幅图像中写入当帧图像中心对应的指向角度；

S2、获得所述图像上像元的指向角度与所述图像中心的指向角度的对应关系；

S3、获得第y行的重叠像素数；

S4、图像逐行配准与拼接；

根据所述第y行的重叠像素数对两帧所述图像进行逐行融合拼接；

步骤S2包括以下步骤：

S21、所述图像中心对应的方位角表示为Ac，俯仰角表示为Ec，在像素坐标系中位于（x,y）位置的像元相对于所述图像中心的角度偏差表示为（、/>），则所述像元的指向角度用下式表示为：

(1)

所述用下式表示为：

（2）

其中，W为图像宽度；为图像上每个像元对应的方位张角或俯仰张角；

所述用下式表示为：

（3）

其中，H为图像高度；

步骤S3包括以下步骤：

S31、连续两帧图像中心的方位角和俯仰角分别表示为（），（/>），则两幅图像中心方位角偏差∆A用下式表示为：

(4)

S32、对所述两帧图像中心方位角偏差∆A进行修正

根据几何投影关系，将所述两幅图像中心方位角偏差∆A修正为并用下式表示为：

（5）

S33、获得两帧图像中心图像列方位角对应的实际像素数n用下式表示为：

（6）

S34、两帧图像重叠像素数∆n用下式表示为：

(7)

其中，W为图像宽度；

当所述两帧图像重叠像素数∆n大于零时，表示两帧图像间存在重叠区域；当所述两帧图像重叠像素数∆n小于零时，表示两帧图像间不存在重叠区域；

S35、将所述公式（5）、所述公式（6）带入所述公式（7），获得所述两帧图像重叠像素数∆n用下式表示为：

(8)

S36、将所述公式（1）带入所述公式（8），获得到所述第y行像素对应的重叠数用下式表示为：

(9)；

所述的计算过程如下：

由所述成像***的几何光学成像关系可知，每个像元对应的方位张角或俯仰张角用下式表示为：

(10)

其中，为图像探测器像元尺寸，v为像距；

由光学***共轭关系可知：

(11)

其中，u为物距，f为焦距，所述像距v等于所述焦距f；则所述用下式表示为：

(12)；

步骤S4中采用渐入渐出算法对两帧图像进行逐行融合拼接，表达式为：

(13)

其中，g(x,y)为拼接后图像的（x,y）点对应的像素值，g1(x,y)、g2(x,y)分别为待拼接的图像（x,y）点对应的像素值；w1(x,y),w2(x,y)为融合过程中的权重系数，计算式为：

(14)。

2.一种图像拼接装置，实施如权利要求1所述图像拼接方法的装置，其特征在于，包括双轴旋转平台和成像***（1）；

所述双轴旋转平台包括水平轴（2）和垂直轴（3）；

所述成像***（1）通过绕所述水平轴（2）旋转调节俯仰角，所述成像***（1）通过绕所述垂直轴（3）旋转实现360°周扫；

所述成像***（1）包括光学***和图像探测器，所述图像探测器的探测器靶面与所述光学***的光轴垂直，且所述探测器靶面的靶面中心与所述光轴相交。