CN108955642B - 一种大幅面等效中心投影影像无缝拼接方法 - Google Patents

Abstract

本发明公开了一种大幅面等效中心投影影像无缝拼接方法，包括以下步骤：a、基于旋转相机***的旋转影像采集；b、根据旋转摄影时全站仪提供的水平角读数将旋转影像纠正到选定的基准面上，完成旋转影像投影变换；c、根据旋转影像重叠范围内匹配获得的高精度同名像点，利用顾及相机位姿偏移的旋转影像精密相对定向模型求出旋转影像的精确相对方位元素；d、按照相对定向模型求得的精确方位元素将旋转影像纠正到参考平面上并实现大幅面等效中心投影影像无缝拼接；e、拼接精度评定，通过相对定向后旋转影像上同名特征点的单位权中误差估算拼接精度。本发明有效增大单个摄站的影像覆盖范围，解决数码相机视场角过小的不足。

Description

一种大幅面等效中心投影影像无缝拼接方法

技术领域

本发明涉及数字近景摄影测量及计算机视觉中大幅面影像获取领域，具体为一种大 幅面等效中心投影影像无缝拼接方法。

背景技术

当前数码相机成为数字摄影测量及计算机视觉数据获取的主流技术，实用化的数码 相机需同时具备高分辨率和大视场角的条件。然而数码相机有些性能却远不及传统的银 盐胶片成像，CCD或者CMOS感光传感面阵受材料与工艺的影响，承影面大大小于以 卤化银为感光材料的银盐模拟相机的胶片，导致同焦距下数码相机视场范围较小，而增 大地面覆盖利于提高空间点深度方向精度及作业效率。故用小面阵CCD获取高分辨率 影像时，由于相幅太小，难以同时满足近景摄影测量对影像重叠度和摄影基线的要求。

为解决数码相机应用于摄影测量存在的视场角小的问题，目前对于大幅面影像获取 大多基于航天航空摄影测量，航空数字相机所用感光器件主要有线阵和面阵两类，线阵推扫成像是利用线阵传感器相机以推扫成像方式对地面景物照相，线阵推扫成像测量范围较大，并能实现动态测量，因而在航天测绘相机中应用较多。

面阵相机采用严格的中心投影方式成像，可量测性高，因而在航空数字相机中得以 广泛应用。目前市场上数码相机的像幅一般只有5k×4k的水平，超过10k×10k的数码相机传感器还停留在研究和军事试用阶段，而且即使出现仍是价格昂贵，使用要求的环境 条件苛刻。由于技术水平和经济原因，目前能直接获取的CCD面阵传感器还不能满足 构建高分辨率大视场角摄影测量相机的要求。为解决数码相机应用于摄影测量存在的视 场角小的问题，目前航空摄影测量领域，大多采用多镜头成像拼接技术增大影像像幅。 国内外研制了多种组合型大面阵航摄相机。SWDC新型数字航测相机***基于四台非量 测型数字相机，单机像素数为3900万，像元大小为6.8，并集成高精度GPS、数字罗盘、 嵌入式工业控制计算机，航线设计与控制及大量后处理专业软件，成为超大幅面专业量 测型相机。组合宽角视场增加传感器的成像像幅，航向方向增加基高比提高高程测量精 度，旁向方向增加地面覆盖从而提高了作业效率。组合相机解决了单镜头数码相机视场 角小的问题。

多基线摄影测量是实现大视场的另一种形式，利用张祖勋院士提出的计算机视觉代 替人眼的“短基线、多影像摄影测量”原理，采用“多目”视觉方式，充分利用影像间 的多度重叠有效提高匹配的准确性及交会精度。

虽然国内外在大幅面影像获取方面取得了大量研究成果，但还需存在一定的缺陷。 目前对于大幅面影像获取大多基于航天航空摄影测量，很少涉及地面近景摄影测量。线 阵推扫成像不是一个投影中心，摄影测量解析模型难以直接应用；组合相机通过影像拼接实现了大幅面影像获取，但其成本高，设备大，地面开展不灵活；多基线摄影测量是 实现大幅面影像获取的另一种途径，但其影像重叠度要求高，野外实测难度大，难以满 足快速且低成本作业要求。

发明内容

发明目的：本发明目的是提供一种集影像采集与拼接于一体的大幅面等效中心投影 影像无缝拼接方法。

技术方案：本发明所述的一种大幅面等效中心投影影像无缝拼接方法，包括以下步 骤：

a、基于旋转相机***的旋转影像采集；

b、根据旋转摄影时全站仪提供的水平角读数将旋转影像纠正到选定的基准面上，完成旋转影像投影变换；

c、根据旋转影像重叠范围内匹配获得的高精度同名像点，利用顾及相机位姿偏移的旋转影像精密相对定向模型求出旋转影像的精确相对方位元素；

d、按照相对定向模型求得的精确方位元素将旋转影像纠正到参考平面上并实现大 幅面等效中心投影影像无缝拼接；

e、拼接精度评定，通过相对定向后旋转影像上同名特征点的单位权中误差估算拼接精度。

为了通过旋转摄影以扩大视场，提高相机应用于近景摄影测量的量测精度和作业效 率，步骤a中的旋转相机***包括旋转平台、相机、摄影控制与影像处理装置三部分， 旋转平台包括全站仪、螺栓和三脚架，全站仪和三脚架通过螺栓相连，全站仪通过金属 连接块和相机相连，相机通过USB数据线与摄影控制与影像处理装置相连。

步骤b中以正对被摄面的影像为基准影像，其空间直角坐标系为***坐标系 S-xyz，旋转影像以基准影像为基准绕y轴向右旋转

角摄影所获，基准影像的

旋转影像ω_i＝κ_i＝0，设(x_i,y_i)和(x_i0,y_i0)分别为空间点在旋转影像上的 坐标及在基准影像面上的坐标，f为焦距，旋转影像P_i的旋转角为

由共线方 程可得旋转影像与投影变换后影像相应像点之间的坐标关系式：

对应的旋转矩阵R_i为：

步骤c中设投影变换后旋转影像上某一像点坐标为(x_i,y_i)，经过微小旋转和平移后 的坐标为(x'_i,y'_i)，旋转影像摄影中心相对于基准影像摄影中心的坐标微小偏移量为

相对定向模型为：

步骤d中，对于非重叠区域直接取对应投影变换影像上的灰度值，重叠区域旋转影像拼接分水平和垂直方向分别处理。

步骤e中，设n为特征点个数×2，t为未知数个数，V为特征点在基准影像与相对 定向后待拼接旋转影像上的坐标差，通过相对定向后旋转影像上同名特征点的单位权中 误差估算拼接精度m的计算公式为：

工作原理：本发明的旋转摄影的目的是将旋转影像拼接成一幅同投影中心、同像平 面、同主距的大幅面影像，故首先需要选择一个基准影像，将该基准影像的平面直角坐标系确定为大幅面虚拟影像的平面直角坐标系，一般以垂直于被摄面的旋转影像为基 准。在此基础上根据设定旋转角拍摄旋转影像，并根据摄影时全站仪提供的旋转角值将 旋转影像粗投影至选定的基准影像面。

有益效果：本发明和现有技术相比，具有如下显著性特点：通过全站仪配合工业相机构成旋转相机，通过旋转摄影以扩大视场，以提高相机应用于近景摄影测量的量测精 度和作业效率；分析大幅面影像几何关系对精度的影响，推导旋转相机最大旋转角与影 像分辨率的关系以及相邻影像旋转角与像片重叠度的变化关系，优化旋转影像采集方 案，形成***的最优化旋转相机大幅面影像获取策略，针对旋转摄影时全站仪运动对成 像造成的不确定性，在深入分析大幅面等效中心投影影像与旋转影像的几何关系基础 上，构建顾及相机位姿偏移的大幅面影像无缝拼接模型，有效增大单个摄站的影像覆盖 范围，解决数码相机视场角过小的不足，为大幅面近景摄影测量影像获取奠定理论和技 术基础，并补充完善精密近景摄影测量理论。旋转相机安全稳定、廉价高效、组合方式 简单灵活，视场非固定、物镜可换，实时提供相机的外方位元素，直接获取被摄范围高 精度点位信息，能有效获取高质量大视场近景影像，集影像采集与拼接于一体，***化 自动化生成大幅面等效中心投影影像，具有广阔的推广应用价值。

附图说明

图1是本发明的流程图。

图2是本发明的结构示意图。

图3是本发明的大幅面等效中心投影拼接***的主界面。

图4是本发明的一个实拍基准影像图，(a)基准影像；(b)旋转影像；(c)精纠正影像； (d)大幅面等效中心投影影像。

图5是本发明的拼接精度报告。

图6是本发明的向左旋转的旋转影像图。

图7是本发明的0度基准影像。

图8是本发明的向右旋转的旋转影像图。

图9是图6精纠正后的旋转影像图。

图10是图8精纠正后的旋转影像图。

图11是本发明最终的旋转相机大幅面等效中心投影影像。

具体实施方式

大幅面等效中心投影影像无缝拼接方法的工作原理与流程如图1，包括：a、基于旋转相机的旋转影像采集；b、旋转影像投影变换；c、顾及相机位姿偏移的旋转影像精密 相对定向；d、大幅面等效中心投影影像无缝拼接；e、拼接精度评定。瞄准精密近景摄 影测量的应用需求，将精密工程测量与摄影测量有机结合，设计二维旋转平台搭载相机 的方法构成旋转相机，并配合计算机的应用程序构成大幅面等效中心投影影像获取一体 化***。

如图2，旋转相机***包括旋转平台4、相机6、摄影控制与影像处理装置8三部分，旋转平台4包括全站仪3、螺栓2和三脚架1，全站仪3和三脚架1通过螺栓2相连， 全站仪3通过金属连接块5和相机6相连，相机6通过USB2.0接口数据线与摄影控制 与影像处理装置8相连。摄影控制与影像处理装置8为计算机，通过计算机控制摄影及 高速稳定影像采集。相机6通过全站仪3的旋转运动扩大视场角并实时提供影像的外方 位元素，利用相机6进行高质量影像采集，并进行影像的存储与处理。全站仪3的自动 化程度高，可直接读取水平角值，本实施例中的二维旋转平台由TOPCON ES-600G全 站仪及三脚架1组成，TOPCON ES-600G全站仪的测角精度2″，测程3km，测距精度 2mm+2ppm Dkm，全站仪3起支撑和承载相机6、控制相机6在规定的水平方向运动的 作用，并通过全站仪3上读取的角值为相机6提供摄影时的精确位置参数。全站仪3既 可以充当相机架、也可通过手动旋转扩大相机视场，还可直接用于野外控制点的量测。

本实施例采用WP-UE1000工业相机及10MP5020C相机镜头，整个相机具有体积小巧、重量轻、成本低、适用性强、坚固耐用、散热性能强等等优点，其具体技术参数见 表1所示。

表1 WP-UE1000工业相机性能参数表

旋转影像的投影变换即根据旋转摄影时全站仪3提供的水平角读数将旋转影像纠正 到选定的基准面上，以便进行影像匹配与拼接。以正对被摄面的影像为基准影像，其空间直角坐标系为***坐标系S-xyz。旋转影像则以基准影像为基准绕y轴向右旋转

角 摄影所获，采用以y为主轴的

***，则基准影像的

由于拍摄过 程中相机6仅绕y轴旋转以增大x方向的视场角，故任意旋转影像ω_i＝κ_i＝0，由共线方 程可得旋转影像与投影变换后影像相应像点之间的严密坐标关系式：

式中，(x_i,y_i)和(x_i0,y_i0)分别为空间点在旋转影像上的坐标及在基准影像面上的坐 标，f为焦距，设旋转影像P_i的旋转角为

对应的旋转矩阵R_i为：

理想情况下旋转影像相对方位元素无误差，则重叠部分影像完全重合，旋转影像投 影变换完成后即可直接进行影像拼接。然而在实际拍摄过程存在相机位姿偏移，即工业相机投影中心与全站仪竖轴存在3个微小的位置偏移量(ΔS_X,ΔS_Y,ΔS_Z)，相机主光轴与全站仪视准轴存在3个微小的角度偏移量

若工业相机和全站仪连接成刚 体，那么对每张像片来说相机位姿偏移是固定不变的，可通过控制场对旋转相机检校得 以消除。然而由于机械安装的不稳定性以及全站仪自身的误差影响，在实际拍摄过程中， 六个相机位姿偏移量并不固定，造成各旋转影像的相对方位元素会与设计值存在微小的 差异。为减小由此引起的影像拼接误差，在充分考虑全站仪运动对成像造成的不确定性， ***分析旋转影像像方误差来源的基础上，根据旋转影像重叠范围内匹配获得的高精度 同名像点，利用顾及相机位姿偏移的旋转影像精密相对定向模型求出旋转影像的精确相 对方位元素。

考虑相机投影中心与全站仪竖轴存在的微小位置偏移及相机主光轴与全站仪视准 轴间的微小角度偏移影响的情况下，相对定向模型为：

式中，a_i,b_i,c_i(i＝1,2,3)为旋转矩阵的各元素，(x_i,y_i)为投影变换后旋转影像上某 一像点坐标，(x_i',y_i')为经过微小旋转和平移后的坐标，

为旋转影像摄影 中心相对于基准影像摄影中心的坐标微小偏移量，根据相对定向后影像重叠范围内同名 像点坐标相等的原则有：

式中，(x_i′,y_i′)、(x_j′,y_j′)分别为相对定向后基准影像与旋转影像上的同名像点坐标， 即旋转影像上某一像点在经微小旋转和平移改正后，应与基准影像上同名像点的坐标相 等。据此，可对影像重叠区的同名点列方程，求解旋转角及摄影中心位移的精确值。将式(3)代入式(4)，并线性化得：

由于精密相对定向的目的是将旋转影像精纠正到基准影像面上，则基准影像的

故可以根据上式列误差方程式：

式中初始值

(x⁰,y⁰)为基准影像上 特征点的坐标，(x_i′⁰,y_i′⁰)为旋转影像经过微小旋转和摄影中心平移后影像上对应特征点 (x_i′,y_i′)的像点坐标，可按(3)计算，将误差方程写成矩阵形式为：

V＝BX-L

其中

由误差方程构成法方程式，并解算每幅影像的3个角元素改正数

Δω_i、Δκ_i和 3个线元素改正数

X＝(B^TB)^-1B^TL (7)

将改正数与未知数相加，构造新的法方程并解算，如此迭代计算逐渐趋近。

旋转影像精密相对定向完成后，按照相对定向求得的精确方位元素将旋转影像按照 (3)式精纠正到参考平面上。

拼接过程中，对于非重叠区域直接取对应投影变换影像上的灰度值，重叠区域旋转 影像拼接分水平和垂直方向分别处理，为实现重叠区域灰度的连续过渡，水平方向采用渐入渐出法进行重采样，垂直方向仅取两幅影像的公共区域，略去错开部分。从而实现 重叠区域的平滑过渡，并生成旋转相机大幅面等效中心投影影像。

对大幅面影像拼接的精度评定，通过相对定向后旋转影像上同名特征点的单位权中 误差估算拼接精度，其计算公式如下：

式中：n为特征点个数×2，t为未知数个数，V为特征点在基准影像与相对定向后待拼接旋转影像上的坐标差。

如图3，本发明的大幅面等效中心投影拼接***为自主研发设计，包括工程管理、基准影像、旋转影像、旋转影像精纠正和大幅面影像拼接，详细使用步骤如下：

①工程管理

单击主界面工程管理，新建/打开工程，弹出工程文件对话框，给出指定路径与工程名，建立一个*.prj文件，***自动建立一个同名文件夹，用于存储拼接过程及成果 资料。点击新建工程，通过几个简单的选择便可完成工程目录的建立。

②基准影像

点击基准影像按钮，可随机拍摄一幅基准影像，也可直接导入已有基准影像，若选择拍摄一幅影像则***自动调用demoCam公共软件平台，进行相机的参数设置，主 要包括图片输出格式、存储路径等，然后进行旋转影像的拍摄及存贮。通过几个简单 的选择便可完成影像拍摄，实拍基准影像如图4(a)所示。

③旋转影像

点击旋转影像按钮按照指定旋转角度拍摄一幅旋转影像，旋转影像拍摄时相机参数设置应与基准影像拍摄时一致，也可导入已有旋转影像，如向右旋转3度拍摄的旋转 影像如图4(b)所示。

④旋转影像精纠正

点击旋转影像精纠正按钮，根据旋转摄影瞬间全站仪提供的旋转角值给定旋转影像 外方位元素ω附以初值，而其他元素(ω、κ、X_S、Y_S、Z_S)均设为0。然后点击精 纠正按钮***自动将旋转影像精纠正到基准影像同一坐标***下，如图4(c)所示。

⑤大幅面影像拼接

点击大幅面影像拼接按钮，***自动将精纠正旋转影像与基准影像进行拼接并裁切，如图4(d)所示。拼接精度报告以*.txt形式自动保存在工程文件夹下，如图5所示， 其中第一行表示旋转角值，精确相对定向的前三行为解算得到的精确角元素，后三行为 精确线元素，最后一行为拼接中误差。

然后将拼接后的大幅面影像作为新的基准影像，继续旋转摄影并拼接，实现更大幅 面的等效中心投影影像，以此类推逐渐增大影像覆盖范围。实验将旋转相机绕y轴进行旋转3度的旋转摄影，共拍摄11幅3度旋转的影像，图6自左到右分别为：-15度旋转 影像、-12度旋转影像、-9度旋转影像、-6度旋转影像、-3度旋转影像，图7位0度基 准影像，图8自左向右分别为：3度旋转影像、6度旋转影像、9度旋转影像、12度旋 转影像、15度旋转影像。

根据顾及相机位姿偏移的相对定向模型，通过迭代计算求解相对定向元素精确值， 据此将旋转影像逐一精纠正到参考影像面上，图6精纠正后的旋转影像如图9所示，图8精纠正后的旋转影像如图10所示。

并以拼接影像作为新的基准影像，与其相邻旋转影像进行拼接，以此类推，直至完成所有旋转影像的拼接及有效区域的裁切，最终生成本实验的旋转相机大幅面等效中心投影影像，如图11所示，为提高算法的运行效率，研究首先将旋转影像下采样为 916×687pixel(像素大小为6.68μm)进行拼接测试，平差结果见表2。

表2旋转影像拼接精度表

实验将旋转相机绕y轴旋转，将影像由单影像的916×687pixel增大到大幅面影像的4977×671pixel，地面覆盖从4.344m×3.258m增大到23.605m×3.182m，有效增大 了x方向的视场范围。

Claims (4)

1.一种大幅面等效中心投影影像无缝拼接方法，其特征在于包括以下步骤：

(a)基于旋转相机***的旋转影像采集；

(b)根据旋转摄影时全站仪提供的水平角读数将旋转影像纠正到选定的基准面上，完成旋转影像投影变换；

(c)根据旋转影像重叠范围内匹配获得的高精度同名像点，利用顾及相机位姿偏移的旋转影像精密相对定向模型求出旋转影像的精确相对方位元素；

(d)按照相对定向模型求得的精确方位元素将旋转影像纠正到参考平面上并实现大幅面等效中心投影影像无缝拼接；

(e)拼接精度评定，通过相对定向后旋转影像上同名特征点的单位权中误差估算拼接精度；

所述步骤(b)中以正对被摄面的影像为基准影像，其空间直角坐标系为***坐标系S-xyz，旋转影像以基准影像为基准绕y轴向右旋转

角摄影所获，基准影像的

旋转影像ω_i＝κ_i＝0，设(x_i，y_i)和(x_i0，y_i0)分别为空间点在旋转影像上的坐标及在基准影像面上的坐标，f为焦距，旋转影像P_i的旋转角为

由共线方程可得旋转影像与投影变换后影像相应像点之间的坐标关系式：

对应的旋转矩阵R_i为：

所述步骤(c)中设投影变换后旋转影像上某一像点坐标为(x_i，y_i)，经过微小旋转和平移后的坐标为(x′_i，y′_i)，旋转影像摄影中心相对于基准影像摄影中心的坐标微小偏移量为

相对定向模型为：

2.如权利要求1所述的一种大幅面等效中心投影影像无缝拼接方法，其特征在于：所述步骤(a)中的旋转相机***包括旋转平台、相机、摄影控制与影像处理装置三部分，所述旋转平台包括全站仪、螺栓和三脚架，所述全站仪和三脚架通过螺栓相连，所述全站仪通过金属连接块和相机相连，所述相机通过USB数据线与摄影控制与影像处理装置相连。

3.如权利要求1所述的一种大幅面等效中心投影影像无缝拼接方法，其特征在于：所述步骤(d)中，对于非重叠区域直接取对应投影变换影像上的灰度值，重叠区域旋转影像拼接分水平和垂直方向分别处理。

4.如权利要求1所述的一种大幅面等效中心投影影像无缝拼接方法，其特征在于：所述步骤(e)中，设n为特征点个数×2，t为未知数个数，V为特征点在基准影像与相对定向后待拼接旋转影像上的坐标差，通过相对定向后旋转影像上同名特征点的单位权中误差估算拼接精度m的计算公式为：

Images