CN116645496A - 一种基于网格变形的拖挂车动态环视拼接与稳定方法 - Google Patents
一种基于网格变形的拖挂车动态环视拼接与稳定方法 Download PDFInfo
- Publication number
- CN116645496A CN116645496A CN202310581967.2A CN202310581967A CN116645496A CN 116645496 A CN116645496 A CN 116645496A CN 202310581967 A CN202310581967 A CN 202310581967A CN 116645496 A CN116645496 A CN 116645496A
- Authority
- CN
- China
- Prior art keywords
- image
- grid
- motion
- splicing
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000000087 stabilizing effect Effects 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 184
- 239000013598 vector Substances 0.000 claims abstract description 118
- 238000005457 optimization Methods 0.000 claims abstract description 41
- 230000008447 perception Effects 0.000 claims abstract description 33
- 230000006641 stabilisation Effects 0.000 claims abstract description 13
- 238000011105 stabilization Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 44
- 238000009499 grossing Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000002829 reductive effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于网格变形的拖挂车动态环视拼接与稳定方法，在拖挂车的行驶过程中，由于车身非固连的特性，各相机图像会存在完全独立的抖动，且当车头与车身间的转角发生变化时，非固连相机在图像坐标系下的相对位置会随之发生变化；本发明通过特征点运动生成、局部特征运动传播、时域运动轨迹与拼接向量场生成、稳定‑拼接联合优化等模块，抑制由运动目标或景深变化引起的图像扭曲与变形，在统一的框架下表征并优化各路相机时域运动轨迹与空域对齐向量，最大限度地保持图像结构，同时完成各相机的视频增稳以及相机间的视频拼接，最终将处理完成的全景环视图像投影在三维感知模型上，为拖挂车提供车身四周稳定、无缝的360°动态环视图像。
Description
技术领域
本发明属于计算机视觉领域技术领域，具体为一种基于网格变形的拖挂车动态环视拼接与稳定方法。
背景技术
随着国民经济水平的不断提高以及汽车工业的高速发展，汽车已走进千家万户，成为人们生活中的必备品。然而，随着交通规模的飞速扩展，事故发生率呈不断上升趋势，交通安全问题日益突出。为辅助驾驶员掌握车身周围的环境信息并实现更加精准、安全的车辆控制，车载全景环视感知***已广泛应用于乘用车领域，并替代传统的倒车影像***，更加全面、广阔、无死角地展示车辆周围环境。然而，现有的车辆环视感知技术大多针对于小型乘用车辆，当面临大型非刚性全挂或半挂式车辆车头车尾不固连、车头与车厢独立振动、相机安装间距大等特点时，传统环视技术难以输出稳定无缝的拼接图像，给驾驶员的操作带来不便并产生潜在的安全隐患。因此，亟需研究面向大型非刚性拖挂式车辆的全景环视感知技术，尤其是解决由车头车身不固连以及车身高频振动带来的相机间相对位姿变化以及视频画面抖动问题。
车载全景环视感知***通过在车身四周安装覆盖周边360°视场范围的4至8个广角摄像头，在经过同步的多路视频流中提取出同一时刻的图像帧，其次基于与标定参数进行投影映射，最终生成2D或3D全景图像并显示于中控屏中，辅助驾驶员观察车身周围情况，直观且不存在任何盲点，从而有效减少刮蹭、碰撞、陷落等事故的发生。目前的车辆环视感知技术一般假设相机与汽车固连，并将车辆作为刚体进行处理，大多采用静态拼接方法，首先对固连的多路相机分别进行校正，获取去畸变图像；其次分别计算各路相机图像到投影平面的变换参数；然后将各路图像通过预标定参数投影在同一投影平面上，并进行图像融合处理，生成统一的2D/3D环视图像；最后通过虚拟视点等方法将投影平面转换到虚拟成像面上进行显示。目前，静态拼接方法由于相机布设简单、参数计算简单，实时性高等优点已受到广泛应用。然而在面临由车辆抖动、车身转动等引起的参数变化时，静态拼接方法中的预标定参数并不能动态变化，这使得目前的车辆环视感知技术无法适应于拖挂车等会发生车体转动的大型非刚体特种车辆。
针对上述问题，结合特征点提取与匹配、动态视频增稳等方向的最新成果，将基于网格的相机运动表征模型拓展到环视拼接领域，拖挂车等非刚性车辆的车辆环视图像的动态拼接与稳定已成为可能。
因此，基于网格变形的拖挂车动态环视拼接与稳定方法为可转动的非刚体车辆提供稳定的实时环视拼接图像，同时为车辆提供同一尺度下的三维感知视场融合模型，对特种车辆的环视显示以及近场感知***具有重要意义，有极高的实用价值。
发明内容
有鉴于此，面向具有非刚性车身的全挂或半挂式车辆，本发明提供一种基于网格变形的拖挂车动态环视拼接与稳定方法，通过特征点运动生成、特征运动传播、时域运动轨迹与拼接向量场生成、拼接稳定联合优化等模块，抑制由运动目标或景深变化引起的图像扭曲与变形，在统一的框架下表征并优化各路相机时域运动轨迹与空域对齐向量，最大限度地保持图像结构，同时完成各相机的视频增稳以及相机间的视频拼接，为拖挂车提供车身四周稳定、无缝的360°动态环视图像。
一种基于网格变形的拖挂车动态环视拼接与稳定方法，包括：
步骤S1、取两组相机，分别安装于拖挂车的拖车头与挂车上；从而获得视场角大于180°且存在共视区域的前视扇面拼接图像与后视扇面拼接图像；
步骤S2、获得同一时刻前视与后视拼接图像中的匹配特征点以及对应特征点在前后帧中的运动，根据两幅图像中匹配的特征点对以及特征点的前后帧运动，获得各特征点的空域对齐向量以及时域运动向量，具体为：
分别存储前视扇面拼接图像与后视扇面拼接图像其中N为截至当前时刻的图像总帧数；对于第i帧的前视扇面拼接图像fi A与后视扇面拼接图像fi B，进行特征提取与匹配，得到前视扇面拼接图像fi A与后视扇面拼接图像fi B中的对应特征点/>与/>M为图像中的提取的特征点数量；
利用生成的匹配特征点对分别在前视与后视拼接图像的前后帧进行光流跟踪，以获得各拼接图像特征点在时域上的运动趋势：
其中，分别代表特征点/>通过光流跟踪在第i+1帧得到的对应特征点；其次，利用生成的特征点对/>获得在图像坐标系下对齐相关特征点对所需的空域运动：
其中，为特征点对在图像坐标系下的虚拟中点；/>表示特征点/>与虚拟中点的坐标差值，/>表示特征点/>与虚拟中点的坐标差值；其次，引入MAGSAC++状态估计器排除数据中的噪声与误匹配，获得各特征点的空域对齐向量以及时域运动向量：
其中，为扇面图像fi k的特征点在对应前后帧的时域运动向量；为扇面图像fi k之间的空域对齐向量；
步骤S3、将图像划分成均匀网格，通过两阶段的特征传播将特征点的运动传播到各网格顶点。根据前视、后视扇面拼接图像的分辨率，将画面分割成m×n的均匀网格，各网格顶点在图像坐标系下的坐标为vg，g＝1,…,mn。关于时域运动向量，首先根据前后帧的特征点运动估计出全局映射的单应性矩阵：
其中，Homo()表示计算单应性矩阵；
根据获得的全局单应性矩阵，获得表征图像前后帧运动的网格顶点的全局运动：
再获得空域对齐向量：
用于引导前后扇面图像拼接的网格顶点的全局运动表达为：
各特征点的局部运动表达为：
采用MBA估计器将特征点的局部运动传播至均匀的网格顶点，用于时域运动以及空域对齐的局部网格顶点运动表示为：
根据获得的网格顶点全局与局部运动，分别获得表示时域运动以及空域对齐的网格顶点的运动向量：
其中，为表达前视扇面A与后视扇面B时域运动的网格顶点运动向量，为对齐前后扇面图像所需的网格顶点的空域运动；
步骤S4、根据获得的各网格顶点的时域运动向量与空域对齐向量，计算各网格顶点用于视频增稳的时域运动轨迹以及用于图像拼接的空域对齐向量场，具体为：
关于时域运动轨迹，从同步采集到的第2帧图像开始，逐帧累加各网格顶点的时域运动向量，第1帧图像各网格顶点的时域运动向量全部置0，前、后扇面拼接图像截至第i帧的时域运动轨迹表达为：
其中，为前、后扇面拼接图像中，网格顶点g在第i帧时在相对第一帧的图像坐标系中所处的位置。关于空域对齐向量场，按由左至右、由上至下的顺序依次排布某一帧中各网格顶点的空域对齐向量；
根据由车身多路相机采集的同步视频序列，可估计出前视或后视扇面拼接图像由起始帧至第i帧的时域运动轨迹以及对齐各帧图像所需的拼接向量场；
步骤S5、根据获得的时域运动轨迹以及各帧的拼接向量场，确定用于拼接-稳定联合优化的能量函数，在使能量函数自小的约束下，进行稳定-拼接联合优化，具体为：
用于优化时域轨迹的能量函数表示如下：
其中，为优化后的图像时域运动轨迹，ωi,j为高斯分布权重，定义为ωi,j＝exp(-‖j-i‖2/(σi/3)2)，即距离当前帧越近的帧的权重值越高；σi为时域平滑半径，即在优化第i帧时，引入第i帧前后设定范围内的其它帧的时域运动轨迹；在能量函数Lstable中，为形状保持项；/>为平滑项；λt(i)为调节参数，用于平衡形状保持项与平滑项的权重；
用于优化各帧拼接向量场的能量函数表示如下：
其中，为优化后的前i帧的拼接向量场；/>用于补偿在稳定过程中产生的网格顶点的位移；用于拼接-稳定联合优化的能量函数表示为：
其中，β为调节稳定项与拼接项的权重，即为经过联合优化产生的前视与后视扇面图像各网格顶点的稳定的时域运动轨迹以及各帧的拼接向量场，用于在稳定图像的同时引导各网格完成前后扇面的图像对齐与拼接；
步骤S6、在通过拼接-稳定联合优化得到各网格顶点的稳定时域运动轨迹与拼接向量场后，根据各顶点生成的运动向量对前视扇面图像fi A与后视扇面图像fi B在图像坐标系下进行网格变形，生成能够在时域上保持稳定的全景环视拼接图像；各网格顶点生成的运动向量表示为：
视频流中的各帧图像按序进行联合优化与网格变形，生成环视全景图；生成环视全景图后，在重叠区域使用多频段融合；
步骤S7、在获得经过融合的环视全景图后，将全景图通过像素重映射投影到三维感知模型中，在完成投影后，对整个感知视场进行全局亮度归一化与白平衡处理，其次基于虚拟视点输出拖挂车的环视感知视场数据。
较佳的，所述拖挂车动态环视***的载体采用阿克曼运动模型车辆，其硬件结构由若干具有相同图像采集性能的相机组成，拖挂车动态环视***整体感知范围在水平方向上覆盖拖挂车周围360°的区域。
较佳的，所述步骤S1中，所述相机成像模型采用Scaramuzza提出的泰勒展开式相机成像模型，其内参K包含逆投影参数和投影参数，通过四参数的预标定完成图像去畸变。
较佳的，所述步骤S1中，使用标定板分别对安装在拖车头与挂车上的相机组进行外参标定，生成相机间的相对位姿变换矩阵：
假设车头或车尾上装有固连相机C1与C2，相机C1内参为K1，相对标定板的外参为P1，相机C2内参为K2，相对标定板的外参为P2；相机C1与C2之间的本质矩阵为：
E＝[t]×R
其中，R与[t]是P2相对于P1的旋转矩阵和平移向量；假设相机C1与C2视角之间的相对姿态为纯旋转矩阵，通过本质矩阵计算出单应性矩阵：
其中，F为基础矩阵；根据基础矩阵可计算出图像间的单应性矩阵H为：
根据两幅图像间的单应性矩阵H，完成固连相机间的拼接任务；在图像拼接完成后，使用多频段融合方法对拼接缝周围区域进行处理。
较佳的，所述步骤S2中，使用LoFTR方法对生成的前视与后视扇面拼接图像进行处理，完成特征点生成与匹配任务。
较佳的，所述步骤S5中，所述在使能量函数最小的约束下，进行稳定-拼接联合优化的方法包括：
首先，对用于稳定的能量函数Lstable单独进行优化得到与/>
其次，根据已知的与/>求解用于拼接的能量函数Lstitch，得到/>与已知/>与/>后，通过求解如下线性方程：
得到新一轮的解求解方法仍可分为两步，首先，通过求解：
得到中间变量后，通过求解：
得到更新后的基于更新后的/>与/>再得到更新后的基于该流程进行迭代，可以得到最终优化后的/>
较佳的，所述步骤S5中，能量函数中平滑项的平滑窗口设置在30至50帧之间；迭代次数选择在50至100次之间。
较佳的，所述步骤S6中，在获得引导网格变形所需的顶点运动向量后，对前视与后视扇面拼接图像在虚拟图像平面中进行像素级重映射：首先，根据网格四个顶点的运动向量获得该网格对应的单应性矩阵；其次根据该单应性矩阵获得该网格在变换后对应的Mask；遍历该Mask中每个像素，通过单应性矩阵的逆映射确定Mask中每个像素对应的原图像中的像素，使用线性插值法进行像素级的重映射。
较佳的，所述步骤S6中，对前视与后视扇面拼接图像在虚拟图像平面中进行像素级重映射过程中，使用GPU进行并行计算。
较佳的，所述步骤S7中，所述的三维感知模型可选为柱状模型或类碗状模型，碗壁为抛物线、圆弧或其他二次曲线绕中心轴旋转构成的曲面；三维感知模型底面为预置的三位车辆在水平面上的投影。拼接后的环视全景图将根据360度经纬线分布投影在三维感知模型侧壁上，补充车辆周围360度环视视野；环视拼接图像到三维感知模型的投影与三维感知模型中的虚拟视点到虚拟投影面的投影均采取透视变换与逆透视变换方法。
本发明具有如下有益效果：
1.本发明提出的一种基于网格变形的拖挂车动态环视拼接与稳定方法能够为拖挂车等非刚性车辆提供能够动态更新的车身周围360°的无缝环视图像，全面、广阔、无死角地展示车辆周围环境，辅助驾驶员进行精准、安全的车辆控制，同时为自主泊车等智能驾驶辅助***提供完善的近场感知能力；
2.本发明提出的一种基于网格变形的拖挂车动态环视拼接与稳定方法能够稳定各路相机图像，去除由大型车辆高频振动以及非刚性车身引起的视频抖动，为驾驶者提供视觉观感更加良好的车辆全景环视感知图像；
3.本发明提出的一种基于网格变形的拖挂车动态环视拼接与稳定方法通过拼接-稳定联合优化以及网格变形等方法完成前视与后视扇面图像的实时拼接与增稳，能够应对由非刚性车辆车身转动引起的相邻相机间的位姿变化，改善传统静态方法产生的图像错位以及画面撕裂等问题；
4.本发明提出的一种基于网格变形的拖挂车动态环视拼接与稳定方法仅依赖环视***原有的视觉相机采集的图像，无需诸如IMU、角度传感器等任何其他硬件的辅助，能够降低拖挂车环视***的成本与复杂度，提升***可靠性。
附图说明
图1为本发明感知方法中的拖挂车环视***的相机布局以及图像分布示意图；
图2为本发明提出的基于网格变形的拖挂车动态环视拼接与稳定方法的总体框架图；
图3为本发明提出的基于网格变形的拖挂车动态环视拼接与稳定方法的算法流程图；
图4为本发明提出的稳定-拼接联合优化算法示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述，本领域技术人员可以根据本说明书所阐述的内容了解本发明的优点及功能。本发明还可以通过另外不同的方式加以实施及应用。
为了实现上述目的，本发明提出的一种基于网格变形的拖挂车动态环视拼接与稳定方法具体步骤如下：
步骤S1、根据拖挂车的实际尺寸、各相机的视场角大小以及载体运动约束确定相机的安装数量与排布方式。采用的相机应为具有较大视场角的平面相机，相机可被分为两组并分别安装于拖车头与挂车上。首先对各路相机图像进行曝光补偿，其次对两组相机分别进行标定，完成图像去畸变与各组固连相机间的图像预拼接，拼接缝两侧区域采用多频段融合方法，从而形成视场角大于180°的前视扇面拼接图像与后视扇面拼接图像，前视扇面拼接图像与后视扇面拼接图像之间应存在较大的共视区域。
在拖挂车的行驶过程中，由于车身非固连的特性，前视扇面图像与后视扇面图像会存在完全独立的抖动，且当车头与车身间的转角发生变化时，前视扇面图像与后视扇面图像在图像坐标系下的相对位置会随之发生变化。后续步骤将会针对上述问题，基于前、后视扇面拼接图像进行处理；
步骤S2、通过LoFTR特征提取与匹配方法以及KLT光流法获得同一时刻前视与后视拼接图像中的匹配特征点以及对应特征点在前后帧中的运动，根据两幅图像中匹配的特征点对以及特征点的前后帧运动，获得各特征点的空域对齐向量以及时域运动向量。分别存储前视扇面拼接图像与后视扇面拼接图像/>其中N为截至当前时刻的图像总帧数。对于第i帧的前视扇面拼接图像fi A与后视扇面拼接图像fi B，采用LoFTR方法进行特征提取与匹配；
其中与/>分别代表前视扇面拼接图像fi A与后视扇面拼接图像fi B中的对应特征点，M为图像中的提取的特征点数量。利用生成的匹配特征点对/>分别在前视与后视拼接图像的前后帧进行光流跟踪，以获得各拼接图像特征点在时域上的运动趋势
其中，分别代表特征点/>通过光流跟踪在第i+1帧得到的对应特征点。其次，利用生成的特征点对/>获得在图像坐标系下对齐相关特征点对所需的空域运动，为保持拼接后的图像结构并减少图像的扭曲，对齐特征点所需的空域运动将会被平均分配到两幅图像的特征点上：
其中，为特征点对在图像坐标系下的虚拟中点。/>表示特征点/>与虚拟中点的坐标差值，/>表示特征点/>与虚拟中点的坐标差值；其次，引入MAGSAC++状态估计器排除数据中的噪声与误匹配，获得各特征点的空域对齐向量以及时域运动向量：
其中，为扇面图像fi k的特征点在对应前后帧的时域运动向量，后续将用于前后扇面图像的视频稳定工作；/>为扇面图像fi k之间的空域对齐向量，后续将用于两组视频之间的图像拼接工作；
步骤S3、将图像划分成均匀网格，通过两阶段的特征传播将特征点的运动传播到各网格顶点。根据前视、后视扇面拼接图像的分辨率，将画面分割成m×n的均匀网格，各网格顶点在图像坐标系下的坐标为vg，g＝1,…,mm。关于时域运动向量，首先根据前后帧的特征点运动估计出全局映射的单应性矩阵：
其中，Homo()表示计算单应性矩阵；
根据获得的全局单应性矩阵，可获得表征图像前后帧运动的网格顶点的全局运动：
关于空域对齐向量，采取相似的策略：
用于引导前后扇面图像拼接的网格顶点的全局运动可表达为：
为了更加精确地估计前后扇面图像在时域上的运动同时在空间上引导网格对齐两个扇面的图像，并在最大程度上抑制运动物体对视频拼接与稳定的影响，除全局的特征运动外，还需将各特征点的局部运动传播到各个网格顶点上。各特征点的局部运动可表达为：
采用Multilevel B-Splines Approximation(MBA)估计器将特征点的局部运动传播至均匀的网格顶点。MBA可以通过采用分片多项式函数来平衡数据连贯性和准确性，从而作为一种有效的插值算法，用于将散乱的数据最优地分布至某个连续域中。通过这一方法，可以在保留特征点运动地前提下去除由运动目标或景深变化等引起的数据离群值及噪声。用于时域运动以及空域对齐的局部网格顶点运动可表示为
根据获得的网格顶点全局与局部运动，可分别获得表示时域运动以及空域对齐的网格顶点的运动向量
其中，为表达前视扇面A与后视扇面B时域运动的网格顶点运动向量，为对齐前后扇面图像所需的网格顶点的空域运动；
步骤S4、根据获得的各网格顶点的时域运动向量与空域对齐向量，计算各网格顶点用于视频增稳的时域运动轨迹以及用于图像拼接的空域对齐向量场。关于时域运动轨迹，从同步采集到的第2帧图像开始，逐帧累加各网格顶点的时域运动向量，第1帧图像各网格顶点的时域运动向量全部置0即可，前、后扇面拼接图像截至第i帧的时域运动轨迹可表达为：
其中，为前、后扇面拼接图像中，网格顶点g在第i帧时在相对第一帧的图像坐标系中所处的位置。关于空域对齐向量场，按由左至右、由上至下的顺序依次排布某一帧中各网格顶点的空域对齐向量即可；
根据由车身多路相机采集的同步视频序列，可估计出前视或后视扇面拼接图像由起始帧至第i帧的时域运动轨迹以及对齐各帧图像所需的拼接向量场；
步骤S5、根据获得的时域运动轨迹以及各帧的拼接向量场，在统一的框架下进行稳定-拼接联合优化，在设计的能量函数的约束下，同时完成前视与后视扇面图像的视频增稳与拼接。关于前视与后视扇面的时域运动轨迹，需要在最大程度降低视频抖动的同时降低图像的裁切与视野损失，即优化后的时域运动轨迹需要在保持平滑的同时尽可能贴近原有的运动轨迹，用于优化时域轨迹的能量函数表示如下：
其中，为优化后的图像时域运动轨迹，ωi,j为高斯分布权重，定义为ωi,j＝exp(-‖j-i‖2/(σi/3)2)，即距离当前帧越近的帧的权重值越高。σi为时域平滑半径，即在优化第i帧时，需要引入第i帧前后一定范围内的其它帧的时域运动轨迹，根据实际情况可设置在30至50之间。在能量函数Lstable中，/>为形状保持项，能够使优化后的轨迹保留有原轨迹的运动趋势，从而减小输出稳定图像的扭曲；/>为平滑项，能够平滑轨迹，降低输出视频的抖动，起到增稳效果。λt(i)为调节参数，用于平衡形状保持项与平滑项的权重。
由于基于网格的优化方式本身可以保证空间相对一致性，因此不需要附加额外的空间约束，并且各个网格顶点的轨迹优化可以使用并行计算以保证算法的效率。
当对齐前视与后视图像时，拼接向量场应当在对齐两幅图像的同时保证时域的平滑。用于优化各帧拼接向量场的能量函数表示如下：
其中，为优化后的前i帧的拼接向量场。/>用于补偿在稳定过程中产生的网格顶点的位移。用于拼接-稳定联合优化的能量函数即可表示为：
其中，β为调节稳定项与拼接项的权重，即为经过联合优化产生的各网格顶点的稳定的时域运动轨迹以及各帧的拼接向量场，能够在稳定图像的同时引导各网格完成前后扇面的图像对齐与拼接；
步骤S6、在通过拼接-稳定联合优化得到各网格顶点的稳定时域运动轨迹与拼接向量场后，根据各顶点生成的运动向量对前视扇面图像fi A与后视扇面图像fi B在图像坐标系下进行网格变形，生成能够在时域上保持稳定的全景环视拼接图像。各网格顶点生成的运动向量可表示为：
视频流中的各帧图像按序进行联合优化与网格变形，生成环视全景图。各网格的变形与像素重映射可以并行开展以提升算法效率。生成环视全景图后，在重叠区域使用多频段融合以减少鬼影与画面撕裂等不良效果。
步骤S7、在获得经过融合的环视全景图后，将全景图通过像素重映射投影到三维感知模型中。该三维模型可以是柱状模型或碗装模型，在完成投影后，对整个感知视场进行全局亮度归一化与白平衡处理，其次基于虚拟视点输出拖挂车的环视感知视场数据。
较佳的，所述的拖挂车动态环视***的载体是阿克曼运动模型车辆，其硬件结构由若干具有相同图像采集性能的相机组成，拖挂车动态环视***整体感知范围在水平方向上可以覆盖拖挂车周围360°的区域，实现水平方向上没有盲区的环境信息感知。***的重叠视场朝向纹理特征更加丰富的拖挂车两侧，在拖挂车运行时可以使更多的环境特征被不同的相机观测，有利于拖挂车动态环视***后续的特征匹配与运动提取。
较佳的，在步骤S1中，所述相机成像模型采用Scaramuzza提出的泰勒展开式相机成像模型，该模型可以适用于畸变较大的大视场相机，其内参K包含逆投影参数和投影参数，通过四参数的预标定完成图像去畸变。
较佳的，在步骤S1中，使用标定板分别对安装在拖车头与挂车上的固连相机组进行外参标定，生成固连相机间的相对位姿变换矩阵。假设车头或车尾上装有固连相机C1与C2，相机C1与C2之间的相对位姿不会发生变化，相机C1内参为K1，相对标定板的外参为P1，相机C2内参为K2，相对标定板的外参为P2。在相机C1与C2之间的本质矩阵为
E＝[R]×R
其中，R与[t]是P2相对于P1的旋转矩阵和平移向量。假设相机C1与C2视角之间的相对姿态为纯旋转矩阵，此时可以通过本质矩阵计算出单应性矩阵
其中，F为基础矩阵。根据基础矩阵可计算出图像间的单应性矩阵H为
根据两幅图像间的单应性矩阵H，即可完成固连相机间的拼接任务。在图像拼接完成后，使用多频段融合方法对拼接缝周围区域进行处理，融合的频段数可根据实际情况在3至7之间选择。
较佳的，在步骤S2中，使用LoFTR方法对生成的前视与后视扇面拼接图像进行处理，完成特征点生成与匹配任务。LoFTR摒弃了传统方法顺序执行图像特征检测，描述和匹配的步骤，直接以图像对作为输入进行局部图像特征匹配。LoFTR首先在粗粒度上建立逐像素的密集匹配，然后在细粒度上完善精细匹配。LoFTR使用了基于Transformers的自我和交叉注意力层(self-and-cross attention layers)来获取两个图像的特征描述符，其提供的全局感受野使LoFTR能够在低纹理、运动模糊或纹理重复区域产生高质量的密集匹配(通常情况下在低纹理区域，特征检测器通常难以产生可重复的特征点)，从而使提出的拖挂车动态环视***在各类复杂动态场景中具有稳定的性能。
较佳的，在步骤S2中，使用MAGSAC++方法对生成的特征点前后帧时域运动向量以及前后视图像间的对齐向量进行异常值剔除与噪声处理。MAGSAC++采用了阈值一致性(σ-consensus)的方法以及一种新的基于边缘化的迭代停止条件，以消除RANSAC中人为设定内点阈值的需求。该方法通过加权最小二乘法求解最优模型，最小二乘法的权重由数据内点的边缘概率确定且采用的质量评估函数不需要确定内点集以评估模型的质量。MAGSAC++不需要人为定义内点阈值，且能显著提高估计的精度，同时不会增加过多计算量。
较佳的，在步骤S3中，采用两阶段方法将特征运动向量传播至网格顶点，后续步骤均基于各网格顶点的运动向量进行优化。相较于稠密的像素级方法，基于网格顶点的优化策略可以在兼顾精度的前提下显著降低算法复杂度，提升拖挂车动态环视***的实时性能。同时，数值优化均直接使用各网格顶点的二维运动向量，避免直接回归每个网格的单应性矩阵，从而有效提升计算效率。
第一阶段利用基于特征运动生成的全局单应性矩阵进行网格顶点运动向量的初始化，获得各网格顶点的全局运动。基于全局单应矩阵的网格运动场生成能够抑制运动物体，如车辆、行人等对视频增稳与图像拼接的干扰。第二阶段，将剩余的局部特征运动传播到网格顶点上，以更加精确地还原图像的时域运动并引导网格对齐前后扇面图像，同时，采用的MBA传播算法能够很好地兼顾图像的空间一致性，在保持图像结构的基础上进一步抑制由景深变化以及运动物体引起的噪声。
较佳的，在步骤S5中，通过最小化能量函数完成图像时域运动轨迹与拼接向量场的优化。其中，用于视频稳定的能量函数包括拼接项与平滑项，平滑窗口可根据实际情况设置在30至50帧之间。该能量函数是一个线性二次型函数，因此可用线性雅可比迭代法进行求解，迭代次数可选择在50至100次之间。当进行拼接向量场的优化时，构造的拼接项能够约束优化后的各顶点拼接向量与初始的拼接向量相一致，同时，在能量函数中补偿由图像增稳引起的网格顶点偏移，以提升网格的对其精度，优化拼接质量。
较佳的，在步骤S5中，由于优化拼接向量场的能量函数Lstitch中同时包含与因此，用于拼接-稳定联合优化的能量函数/>为非线性函数，传统的基于梯度下降的迭代方法在这类问题中收敛较慢，不利于保证算法的运行效率。利用改进的最优化方法，可获得各向量在联合优化函数约束下的最优近似解，同时算法的每一步均是线性的，可以看作线性最小二乘问题使用线性迭代器进行求解。
首先，对用于稳定的能量函数Lstable单独进行优化得到与/>该能量函数为线性函数，可以使用雅可比迭代器进行求解；其次，根据已知的/>与/>求解用于拼接的能量函数Lstitch，得到/>与/>此时，由于/>与/>确定，故该函数仍然是线性的；已知/>与/>后，通过求解如下线性方程
得到新一轮的解求解方法仍可分为两步，首先，通过求解
得到中间变量后，通过求解
可以得到更新后的基于更新后的/>与/>通过相似的算法可以得到更新后的/>基于该流程进行迭代，可以得到最终优化后的该方法可以在保证精度的前提下最大程度地降低计算复杂度，提升算法效率。
较佳的，在步骤S6中，在获得引导网格变形所需的顶点运动向量后，对前视与后视扇面拼接图像在虚拟图像平面中进行像素级重映射。首先，根据网格四个顶点的运动向量获得该网格对应的单应性矩阵；其次根据该单应性矩阵获得该网格在变换后对应的Mask；遍历该Mask中每个像素，通过单应性矩阵的逆映射确定Mask中每个像素对应的原图像中的像素，使用线性插值法进行像素级的重映射。在这一过程中，各网格的变形与像素重映射均互不干涉，可使用GPU进行并行计算，从而大幅降低图像生成所需的时间。
较佳的，在步骤S7中，所述的三维感知模型可为柱状模型或类碗状模型，碗壁可为抛物线、圆弧或其他二次曲线绕中心轴旋转构成的曲面。三维感知模型底面为预置的三位车辆在水平面上的投影。拼接后的环视全景图将根据360度经纬线分布投影在三维感知模型侧壁上，补充车辆周围360度环视视野。感知视场上部可不闭合。环视拼接图像到三维感知模型的投影与三维感知模型中的虚拟视点到虚拟投影面的投影均可采取透视变换与逆透视变换方法。
实施例：
如附图1所示，本发明实施例中，拖挂车环视***配备6颗摄像头，以前3后3的方式分别安装于拖车头与挂车上。相机采用具有水平120°视角的广角镜头，能在确保覆盖足够范围的前提下最大程度减小图像畸变。其中，安装于拖车头的3个相机与安装于挂车上的3个相机均分别固连，形成前视扇面拼接图像与后视扇面拼接图像。
步骤S1、汽车环视视觉***图像采集。电路按照30Hz的频率同步触发6个相机，获取时间基准与包含时间戳信息的6个相机的图像数据，同时根据预先标定的内参和位姿变换外参，对相应的相机图像进行关联。在本实施案例中，6个相机按照所述的设计方式排布，通过GMSL接口接收触发信号并返回图像信息，泰勒展开式内参包含仿射变换参数5个参数、逆投影泰勒展开式系数4个参数和投影泰勒展开式系数9个参数，位姿变换外参包含Cayley旋转参数和平移向量参数共6个参数。基于纯旋转假设，结合预标定的外参对固连相机进行图像对齐，采用多频段融合方法对拼接缝周围的重叠区域进行融合，分别生成车辆前视扇面图像A与后视扇面图像B。
步骤S2、如附图2所示，在分别获得前视与后视扇面拼接图像以后，分析各扇面图像的时域信息以及同一时刻前后视扇面图像在虚拟图像平面中的相对位置关系，形成各图像的时域运动轨迹与用于空域对齐的拼接向量场。其流程如附图3所示。
(1)通过LoFTR方法完成同一时刻前世扇面图像与后视扇面图像的特征点提取与匹配，同时基于提取到的特征点分别在前后视图像对应的前后帧进行KLT光流跟踪，从而获得各特征点的前后帧运动向量与用于图像拼接的空域对齐向量；
(2)使用MAGSAC++估计器对提取到的特征点的运动向量进行处理，根据空域一致性原则，去除离群值以及噪声，从而抑制运动目标对于视频稳定及图像拼接的负面影响，生成最终各特征点的时域运动向量以及空域对齐向量/>
(3)将图像划分成m×n的均匀网格，并获得各网格顶点的坐标，利用两阶段法将各特征点的运动向量传播到网格顶点上。首先进行全局运动传播，根据所有特征点的运动，估计出全局单应性矩阵
其次，根据全局单应性矩阵计算各网格顶点的全局运动
/>
至此，第一阶段传播结束，得到各网格顶点的全局运动，开始第二阶段的特征运动传播。首先，根据第一阶段估计的全局单应性矩阵计算各特征点的局部运动
使用Multilevel B-Splines Approximation(MBA)估计器将特征点的局部运动传播至各网格顶点，MBA通过多级方式，能够在平滑度和准确性之间取得平衡，实现平滑而准确的估计结果。因此，即使没有额外的平滑滤波，也可以获得运动的空间平滑估计，得到各网格顶点的局部运动与/>累加网格顶点累积的全局运动与局部运动
得到各网格顶点的运动向量，包括表征各图像前后帧运动的时域运动向量与图像拼接所用的空域对齐向量；
(4)首先，累加各图像前后帧的时域运动向量分别形成前后视扇面图像的时域运动轨迹
在这一过程中，设置两组双端队列，分别存储运动向量的x与y分量，队列长度设置为100帧，即存储截至当前帧前100帧的数据，当视频流输入不足100帧时，以0填充。队列中的每个元素为一个(m+1)×(n+1)的二维数组，每个位置存储对应网格顶点的该时刻的时域运动轨迹。其次，对于关于空域对齐向量场，按由左至右、由上至下的顺序依次排布某一帧中各网格顶点的空域对齐向量即可
对于空域对齐向量场，同样创建一双端队列，存储截至当前帧前100帧的数据，队列中每个元素同样为(m+1)×(n+1)的二维数组，每个位置存储该帧对应网格顶点的空域对齐向量。
步骤S3、在获得累计一定帧数(可设置为10帧)的前后视图像时域运动轨迹与空域对齐向量场后，进行稳定-拼接联合优化，具体可视化流程如附图4所示。用于优化时域轨迹的能量函数表示如下
其中，Φ为一个buffer，长度为步骤S2中队列的长度，σi为时域优化半径，设置为30帧，ωi,j为高斯分布权重，定义为ωi,j＝exp(-‖j-i‖2/(σi/3)2)，λt(i)为调节参数，用于平衡形状保持项与平滑项的权重，可在1至100间调整，λt越大，算法对视频的稳定能力越强。
用于优化各帧拼接向量场的能量函数表示如下
用于拼接-稳定联合优化的能量函数即可表示为
其中，β为调节稳定项与拼接项的权重，设置为1即可。对于每一次优化，buffer中所有帧的时域运动轨迹以及空域对齐向量场均会被重构成一个多维矩阵进行优化，但仅当前帧的优化结果会被后续步骤采用。
步骤S4、获取当前帧各网格顶点优化后的的稳定时域运动轨迹与拼接向量场，引导各网格进行网格变形，进行像素级重映射，获取经过稳定与拼接的车辆环视全景图。各网格顶点生成的运动向量可表示为
视频流中的各帧图像按序进行联合优化与网格变形，生成环视全景图。各网格的变形与像素重映射可以并行开展以提升算法效率。生成环视全景图后，在重叠区域使用多频段融合以减少鬼影与画面撕裂等不良效果。算法部署在具备GPU的嵌入式计算设备中，使用Cuda编程进行加速，以提升全景环视***的实时性。
步骤S5、获得平面全景环视图像后，将全景图像通过逆透视变换方法投影在三维感知模型上，该感知模型为根据实际环境设置为柱状模型、碗装模型或其他形式的三维感知模型。其次将图像强度进行归一化处理，防止局部过量。最终，通过放置虚拟视点，在OpenGL库的辅助下进行图像渲染，从而实现拖挂车的全景3D环视显示。
本实施案例中所提供的附图只能说明本发明的基本构想，仅显示与本实施案例相关的组件，并非按照实际实施时的组件数目、尺寸绘制，实际实施过程中的各组件形态、数量可以随意改变。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，包括：
步骤S1、取两组相机，分别安装于拖挂车的拖车头与挂车上；从而获得视场角大于180°且存在共视区域的前视扇面拼接图像与后视扇面拼接图像；
步骤S2、获得同一时刻前视与后视拼接图像中的匹配特征点以及对应特征点在前后帧中的运动，根据两幅图像中匹配的特征点对以及特征点的前后帧运动，获得各特征点的空域对齐向量以及时域运动向量，具体为：
分别存储前视扇面拼接图像与后视扇面拼接图像/>其中N为截至当前时刻的图像总帧数；对于第i帧的前视扇面拼接图像fi A与后视扇面拼接图像fi B，进行特征提取与匹配，得到前视扇面拼接图像fi A与后视扇面拼接图像fi B中的对应特征点/>与/>M为图像中的提取的特征点数量；
利用生成的匹配特征点对分别在前视与后视拼接图像的前后帧进行光流跟踪，以获得各拼接图像特征点在时域上的运动趋势：
其中，分别代表特征点/>通过光流跟踪在第i+1帧得到的对应特征点；其次，利用生成的特征点对/>获得在图像坐标系下对齐相关特征点对所需的空域运动：
其中，为特征点对在图像坐标系下的虚拟中点；/>表示特征点/>与虚拟中点的坐标差值，/>表示特征点/>与虚拟中点的坐标差值；其次，引入MAGSAC++状态估计器排除数据中的噪声与误匹配，获得各特征点的空域对齐向量以及时域运动向量：
其中，为扇面图像fi k的特征点在对应前后帧的时域运动向量；/>为扇面图像fi k之间的空域对齐向量；
步骤S3、将图像划分成均匀网格，通过两阶段的特征传播将特征点的运动传播到各网格顶点：
根据前视、后视扇面拼接图像的分辨率，将画面分割成m×n的均匀网格，各网格顶点在图像坐标系下的坐标为vg，g＝1,…,mn；关于时域运动向量，首先根据前后帧的特征点运动估计出全局映射的单应性矩阵：
其中，Homo()表示计算单应性矩阵；
根据获得的全局单应性矩阵，获得表征图像前后帧运动的网格顶点的全局运动：
再获得空域对齐向量：
用于引导前后扇面图像拼接的网格顶点的全局运动表达为：
各特征点的局部运动表达为：
采用MBA估计器将特征点的局部运动传播至均匀的网格顶点，用于时域运动以及空域对齐的局部网格顶点运动表示为：
根据获得的网格顶点全局与局部运动，分别获得表示时域运动以及空域对齐的网格顶点的运动向量：
其中，为表达前视扇面A与后视扇面B时域运动的网格顶点运动向量，为对齐前后扇面图像所需的网格顶点的空域运动；
步骤S4、根据获得的各网格顶点的时域运动向量与空域对齐向量，计算各网格顶点用于视频增稳的时域运动轨迹以及用于图像拼接的空域对齐向量场，具体为：
对于时域运动轨迹，从同步采集到的第2帧图像开始，逐帧累加各网格顶点的时域运动向量，第1帧图像各网格顶点的时域运动向量全部置0，前、后扇面拼接图像截至第i帧的时域运动轨迹表达为：
其中，为前、后扇面拼接图像中，网格顶点g在第i帧时在相对第一帧的图像坐标系中所处的位置；对于空域对齐向量场，按由左至右、由上至下的顺序依次排布某一帧中各网格顶点的空域对齐向量；
根据由车身多路相机采集的同步视频序列，估计出前视或后视扇面拼接图像由起始帧至第i帧的时域运动轨迹以及对齐各帧图像所需的拼接向量场；
步骤S5、根据获得的时域运动轨迹以及各帧的拼接向量场，确定用于拼接-稳定联合优化的能量函数，在使能量函数自小的约束下，进行稳定-拼接联合优化，具体为：
用于优化时域轨迹的能量函数表示如下：
其中，为优化后的图像时域运动轨迹，ωi,j为高斯分布权重，定义为ωi,j＝exp(-‖j-i‖2/(σi/3)2)，即距离当前帧越近的帧的权重值越高；σi为时域平滑半径，即在优化第i帧时，引入第i帧前后设定范围内的其它帧的时域运动轨迹；在能量函数Lstable中，为形状保持项，/>为平滑项，λt(i)为调节参数，是用于平衡形状保持项与平滑项的权重；
用于优化各帧拼接向量场的能量函数表示如下：
其中，为优化后的前i帧的拼接向量场；/>用于补偿在稳定过程中产生的网格顶点的位移；用于拼接-稳定联合优化的能量函数表示为：
其中，β为调节稳定项与拼接项的权重，即为经过联合优化产生的前视与后视扇面图像各网格顶点的稳定的时域运动轨迹以及各帧的拼接向量场，用于在稳定图像的同时引导各网格完成前后扇面的图像对齐与拼接；
步骤S6、在通过拼接-稳定联合优化得到各网格顶点的稳定时域运动轨迹与拼接向量场后，根据各顶点生成的运动向量对前视扇面图像fi A与后视扇面图像fi B在图像坐标系下进行网格变形，生成能够在时域上保持稳定的全景环视拼接图像；各网格顶点生成的运动向量表示为：
视频流中的各帧图像按序进行联合优化与网格变形，生成环视全景图；生成环视全景图后，在重叠区域使用多频段融合；
步骤S7、在获得经过融合的环视全景图后，将全景图通过像素重映射投影到三维感知模型中，在完成投影后，对整个感知视场进行全局亮度归一化与白平衡处理，其次基于虚拟视点输出拖挂车的环视感知视场数据。
2.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述拖挂车动态环视***的载体采用阿克曼运动模型车辆，其硬件结构由若干具有相同图像采集性能的相机组成，拖挂车动态环视***整体感知范围在水平方向上覆盖拖挂车周围360°的区域。
3.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S1中，所述相机成像模型采用Scaramuzza提出的泰勒展开式相机成像模型，其内参K包含逆投影参数和投影参数，通过四参数的预标定完成图像去畸变。
4.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S1中，使用标定板分别对安装在拖车头与挂车上的相机组进行外参标定，生成相机间的相对位姿变换矩阵：
假设车头或车尾上装有固连相机C1与C2，相机C1内参为K1，相对标定板的外参为P1，相机C2内参为K2，相对标定板的外参为P2；相机C1与C2之间的本质矩阵为：
E＝[t]×R
其中，R与[t]是P2相对于P1的旋转矩阵和平移向量；假设相机C1与C2视角之间的相对姿态为纯旋转矩阵，通过本质矩阵计算出单应性矩阵：
其中，F为基础矩阵；根据基础矩阵可计算出图像间的单应性矩阵H为：
根据两幅图像间的单应性矩阵H，完成固连相机间的拼接任务；在图像拼接完成后，使用多频段融合方法对拼接缝周围区域进行处理。
5.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S2中，使用LoFTR方法对生成的前视与后视扇面拼接图像进行处理，完成特征点生成与匹配任务。
6.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S5中，所述在使能量函数最小的约束下，进行稳定-拼接联合优化的方法包括：
首先，对用于稳定的能量函数Lstable单独进行优化得到与/>
其次，根据已知的与/>求解用于拼接的能量函数Lstitch，得到/>与已知/>与/>后，通过求解如下线性方程：
得到新一轮的解求解方法仍可分为两步，首先，通过求解：
得到中间变量后，通过求解：
得到更新后的基于更新后的/>与/>再得到更新后的基于该流程进行迭代，可以得到最终优化后的/>
7.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S5中，能量函数中平滑项的平滑窗口设置在30至50帧之间；迭代次数选择在50至100次之间。
8.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S6中，在获得引导网格变形所需的顶点运动向量后，对前视与后视扇面拼接图像在虚拟图像平面中进行像素级重映射：首先，根据网格四个顶点的运动向量获得该网格对应的单应性矩阵；其次根据该单应性矩阵获得该网格在变换后对应的Mask；遍历该Mask中每个像素，通过单应性矩阵的逆映射确定Mask中每个像素对应的原图像中的像素，使用线性插值法进行像素级的重映射。
9.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S6中，对前视与后视扇面拼接图像在虚拟图像平面中进行像素级重映射过程中，使用GPU进行并行计算。
10.如权利要求1所述的一种基于网格变形的拖挂车动态环视拼接与稳定方法，其特征在于，所述步骤S7中，所述的三维感知模型可选为柱状模型或类碗状模型，碗壁为抛物线、圆弧或其他二次曲线绕中心轴旋转构成的曲面；三维感知模型底面为预置的三位车辆在水平面上的投影。拼接后的环视全景图将根据360度经纬线分布投影在三维感知模型侧壁上，补充车辆周围360度环视视野；环视拼接图像到三维感知模型的投影与三维感知模型中的虚拟视点到虚拟投影面的投影均采取透视变换与逆透视变换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310581967.2A CN116645496A (zh) | 2023-05-23 | 2023-05-23 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310581967.2A CN116645496A (zh) | 2023-05-23 | 2023-05-23 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645496A true CN116645496A (zh) | 2023-08-25 |
Family
ID=87618166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310581967.2A Pending CN116645496A (zh) | 2023-05-23 | 2023-05-23 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645496A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106101535A (zh) * | 2016-06-21 | 2016-11-09 | 北京理工大学 | 一种基于局部及整体运动差异补偿的视频稳定方法 |
| US20200104977A1 (en) * | 2018-09-30 | 2020-04-02 | Augentix Inc. | Method of Adaptive Image Stitching and Image Processing Device |
| CN111190181A (zh) * | 2020-01-09 | 2020-05-22 | 西安电子科技大学 | 颠簸平台无人机载sar实时成像处理方法 |
| CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
| CN112435163A (zh) * | 2020-11-18 | 2021-03-02 | 大连理工大学 | 一种直线特征保护与网格优化的无人机航拍图像拼接方法 |
| WO2022251701A1 (en) * | 2021-05-27 | 2022-12-01 | Sail Sv Llc | X-ray imaging system and method |
| CN115439322A (zh) * | 2022-08-11 | 2022-12-06 | 中国科学技术大学 | 一种基于可变形配准的车载环视拼接方法及*** |
| CN115619623A (zh) * | 2022-10-20 | 2023-01-17 | 北京理工大学 | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 |
-
2023
- 2023-05-23 CN CN202310581967.2A patent/CN116645496A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106101535A (zh) * | 2016-06-21 | 2016-11-09 | 北京理工大学 | 一种基于局部及整体运动差异补偿的视频稳定方法 |
| US20200104977A1 (en) * | 2018-09-30 | 2020-04-02 | Augentix Inc. | Method of Adaptive Image Stitching and Image Processing Device |
| CN111190181A (zh) * | 2020-01-09 | 2020-05-22 | 西安电子科技大学 | 颠簸平台无人机载sar实时成像处理方法 |
| CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
| CN112435163A (zh) * | 2020-11-18 | 2021-03-02 | 大连理工大学 | 一种直线特征保护与网格优化的无人机航拍图像拼接方法 |
| WO2022251701A1 (en) * | 2021-05-27 | 2022-12-01 | Sail Sv Llc | X-ray imaging system and method |
| CN115439322A (zh) * | 2022-08-11 | 2022-12-06 | 中国科学技术大学 | 一种基于可变形配准的车载环视拼接方法及*** |
| CN115619623A (zh) * | 2022-10-20 | 2023-01-17 | 北京理工大学 | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 迟龙云;张海;赵晨旭;: "基于局部单应性矩阵的图像拼接与定位算法研究", 导航定位与授时, no. 03, 15 May 2020 (2020-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107021015B (zh) | 用于图像处理的***及方法 | |
| US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
| CN108263283B (zh) | 多编组变角度车辆全景环视***标定及拼接方法 | |
| EP3565739B1 (en) | Rear-stitched view panorama for rear-view visualization | |
| CN109360245B (zh) | 无人驾驶车辆多相机***的外参数标定方法 | |
| CN104851076B (zh) | 用于商用车的全景环视泊车辅助***及摄像头安装方法 | |
| CN105763854B (zh) | 一种基于单目摄像头的全景成像***及其成像方法 | |
| US9509979B2 (en) | Stereo auto-calibration from structure-from-motion | |
| EP2523163B1 (en) | Method and program for calibrating a multicamera system | |
| EP2437494B1 (en) | Device for monitoring area around vehicle | |
| US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
| EP3221844B1 (en) | Localising portable apparatus | |
| US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
| US9524557B2 (en) | Vehicle detecting method and system | |
| US11263758B2 (en) | Image processing method and apparatus | |
| JP2013065298A (ja) | エゴモーション概算システムおよび方法 | |
| CN102163331A (zh) | 采用标定方法的图像辅助*** | |
| CN110363838B (zh) | 基于多球面相机模型的大视野图像三维重构优化方法 | |
| US8675081B2 (en) | Real time video stabilization | |
| CN112204614B (zh) | 来自非固定相机的视频中的运动分割 | |
| CN107972585A (zh) | 结合雷达信息的自适应3d环视场景重建***与方法 | |
| CN107364393A (zh) | 车辆后视图像的显示方法、装置、存储介质及电子设备 | |
| CN109263637A (zh) | 一种碰撞预测的方法及装置 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN112070886A (zh) | 矿用自卸车的影像监控方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |