CN114554158A - 一种基于道路交通场景下的全景视频拼接方法及*** - Google Patents

一种基于道路交通场景下的全景视频拼接方法及*** Download PDF

Info

Publication number
CN114554158A
CN114554158A CN202210188383.4A CN202210188383A CN114554158A CN 114554158 A CN114554158 A CN 114554158A CN 202210188383 A CN202210188383 A CN 202210188383A CN 114554158 A CN114554158 A CN 114554158A
Authority
CN
China
Prior art keywords
image
matching
panoramic video
images
road traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210188383.4A
Other languages
English (en)
Other versions
CN114554158B (zh
Inventor
杨秋红
董楠
赵晓龙
金涛
倪守城
孙炼杰
王学方
任凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210188383.4A priority Critical patent/CN114554158B/zh
Publication of CN114554158A publication Critical patent/CN114554158A/zh
Application granted granted Critical
Publication of CN114554158B publication Critical patent/CN114554158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于道路交通场景下的全景视频拼接方法及***,包含图像采集、图像畸变矫正及预处理、图像特征点提取、图像匹配、匹配特征点对过滤、获取投影变换的单应性矩阵和图像融合。本发明通过深度学习网络实现特征点的提取和特征点匹配,图像特征点提取的时候,分别对动态前景和静态背景进行特征点提取,通过提取不同摄像头之间重叠区域背景和前景的特征点,并对特征点进行匹配,动态获取不同摄像头之间的相对位置关系,实现了对片区道路交通***中摄像头间图像的实时融合拼接;解决了传统的单摄像头监控体系,需要相关人员人工调出相应多个摄像头图像,进行比对拼合,才能获取到有用信息等问题,同时完美解决了目标跨摄像头追踪问题。

Description

一种基于道路交通场景下的全景视频拼接方法及***
技术领域
本发明涉及交通管理和视频监控技术领域,具体涉及一种基于道路交通场景下的全景视频拼接方法及***。
背景技术
随着经济的逐步繁荣,科学技术的不断发展,对城市道路交通的全面实时监测变得越发重要,通过科学技术手段建立全面的道路交通图像管理平台成为各地交通管理部门的目标。目前,道路交通监测***已经基本实现覆盖城市和乡镇主干道,辅道和路口的数字网络***,并配备了相应的图像监视设备和操作软件,可实时将道路交通的运行状况传送至相应的调度中心,对道路交通运行状况进行监控。一旦出现问题,第一时间做出反馈。但是因为目前现有的监控设备,主要是现有的安防摄像头,存在摄像头之间没有直观的位置关系,一旦查找跨摄像头的情况,需要相关人员人工调出相应多个摄像头的图像,一一进行比对拼合,才能获取到有用信息,费事费力。
CN113055613A公开“一种基于矿山场景下的全景视频拼接的方法及装置”,其采用传统SURF算法提取特征点,并生成特征描述子,SURF算法在实际应用中不能实现视频帧的实时处理,基本可以排除工程应用;并且,特征匹配算法采用K最近邻分类算法,匹配误差较大。又如,CN103516995A公开“一种基于ORB特征的实时全景视频拼接方法和装置”采用的方法是:开启采集多路同步视频数据;采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量;采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵;根据单应性矩阵进行视频帧场景的拼接;最后输出拼接后的视频。但是,所述对比文件都是通过传统的图像特征点提取和匹配方法,比如sift或者surf,其存在特征点提取精度不高,提取时间太长,不能实现实时拼接。
发明内容
针对现有技术存在的上述不足,本发明的目的在于提供一种基于道路交通场景下的全景视频拼接方法及***,解决现有技术提取精度不高、查找费时费力和不能实现实时拼接的问题。
为实现上述目的,本发明采用如下技术方案:
一种基于道路交通场景下的全景视频拼接方法,包含以下步骤:
S1、图像采集:由多个摄像头同步采集测试路段中每路摄像头的图像,要求每个摄像头的时间戳严格一致;
S2、图像畸变矫正及预处理:采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理;
S3、图像特征点提取:采用深度学习网络superpoint对图像进行特征点的提取;提取摄像头之间重叠区域的特征点,包含角点和梯度变化明显的点,并生成特征描述子;
S4、图像匹配:采用基于图卷积神经网络的特征匹配算法superglue对图像进行特征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子,输出是图像特征之间的匹配关系;
S5、匹配特征点对过滤:利用K近邻算法对匹配上的特征点对进行过滤;
S6、获取投影变换的单应性矩阵,完成投影变换:过滤后剩余的匹配点对利用Ransac算法循环遍历,直到计算得到图像间投影所需的最佳单应性矩阵,完成图像间的拼接;
S7、图像融合:采用动态规划寻找最佳拼接线进行图像融合。
进一步,所述S3中重叠区域分为静态的背景和动态的前景,分别提取背景和前景特征点。
所述S4中,图像特征匹配包括静态匹配和动态匹配;静态匹配包括道路场景下的道路、交通标识、树木等静态物体的匹配;动态匹配包括指行人、车辆等的匹配。所述静态匹配对于图像而言基本相当于背景,可以单独对背景的特征点进行匹配;动态匹配对于图像而言相当于前景,可以单独对前景的特征点进行匹配。
进一步,所述图像融合使用快速颜色插值模型结合邻近最短距离法寻找最佳拼接线进行图像融合。
本发明还提供一种基于道路交通场景下的全景视频拼接***,包括摄像头和处理器,所述处理器执行上述全景视频拼接方法。
相比现有技术,本发明具有如下有益效果:
1、本发明通过深度学习网络来实现特征点的提取和特征点匹配,图像特征点提取的时候,分别对动态前景和静态背景进行特征点提取,通过提取不同摄像头之间重叠区域背景和前景的特征点,并对特征点进行匹配,动态获取不同摄像头之间的相对位置关系,也就是单应性矩阵,实现了对片区道路交通***中摄像头间图像的实时融合拼接。
2、本发明解决了传统的单摄像头监控体系,需要相关人员人工调出相应多个摄像头图像,一一进行比对拼合,才能获取到有用信息,费事费力的问题,同时完美解决了目标跨摄像头追踪问题。
3、本发明将同一片区存在重叠区域的摄像头图像按照相对位置关系,进行全景拼接和融合,然后直接投影到相应的监控大屏,可以更直观更清晰的监测整个片区的交通状况。
附图说明
图1为本发明基于道路交通场景下的全景视频拼接方法的流程图;
图2为采用广角摄像头获取的原图像示例;
图3为图像经矫正后效果图示例;
图4为图像拼接效果图示例;
图5为图像融合效果图示。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案,下面结合附图对本发明作进一步详细说明,但本发明的实施方式不仅限于此。
参见图1,为本发明基于道路交通场景下的全景视频拼接方法流程图。
第一步,图像采集:
同步多个摄像头同时采集测试路段中每路摄像头的图像,要求每个摄像头的时间戳严格一致,实际测试过程中对每路摄像头采用单独的进程进行图像采集,基本最快和最慢进程的时间差在0.5ms,是可以满足每秒25帧同步采集的。参见图2,为采用海康广角摄像头获取跨摄像头图像示例。
第二步,图像畸变矫正及预处理:
(2a)由于道路摄像头多采用广角摄像头,图像存在严重径向畸变,表现为桶状畸变(如图2),选取了三路摄像头的原始图像,造成图像特征失真,所以需要校正摄像头参数消除畸变影响,由处理器采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理。矫正后图像的效果示例如图3。
(2b)采用何凯明暗通道去雾算法对图像进行预处理。摄像头长期处于露天环境,镜头会有灰尘,雨天和雾天等都会造成图像不清晰,需要进行相应的预处理,提升图像质量。
第三步,图像特征点提取:
本发明采用深度学习网络superpoint对图像进行特征点的提取。Superpoint的输出不仅仅是特征点还有特征点的描述子。提取摄像头之间重叠区域的特征点,包含角点和梯度变化明显的点,并生成特征描述子。由于重叠区域之外的图像信息容易造成特征点的误匹配,所以可以只在重叠区域提取特征点,既能提升特征点提取的速度,又能提升匹配的准确度。重叠区域又可以分为静态的背景和动态的前景,可以分别对背景和前景提取特征点。
第四步,图像匹配:
图像匹配分静态和动态匹配,静态匹配主要指道路场景下的道路、交通标识、树木等静态物体的匹配,动态匹配是指行人、车辆等的匹配。根据提取的特征描述子,分别对图像的静态和动态物体进行特征匹配。本发明采用一种基于图卷积神经网络的特征匹配算法superglue对图像进行特征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子,输出是图像特征之间的匹配关系。
(4a)静态匹配对于图像而言基本相当于背景,可以单独对背景的特征点进行匹配;
(4b)动态匹配对于图像而言相当于前景,可以单独对前景的特征点进行匹配。
第五步,匹配特征点对过滤:
在特征模糊区域提取的特征点可能成为正确匹配的干扰点,导致失配,所以需要对匹配上的特征点对按照一定的规则进行过滤。利用K近邻算法对匹配上的特征点对进行过滤。
第六步,获取投影变换的单应性矩阵,完成投影变换:
过滤后剩余的匹配点对利用Ransac算法循环遍历,直到计算得到图像间投影所需的最佳单应性矩阵,完成图像间的拼接。图4为图像拼接效果图示例。
第七步,图像融合:
不同摄像头之间因为安装角度等原因,使得图像呈现出的颜色和亮度不统一,造成拼接处很生硬,效果不好,这种情况下还需对待拼接的图像进行图像融合操作。本发明采用动态规划即使用快速颜色插值模型结合邻近最短距离法寻找最佳拼接线进行图像融合。图5为图像融合效果图示。其中,快速颜色插值模型主要是利用相邻两个摄像头中的图像的颜色梯度差来平滑掉两幅图像拼接处的颜色差异值。平滑的规则是利用邻近最短距离法,即每个像素的颜色值都根据其八邻域的颜色值进行高斯滤波,实现平滑颜色差的目的。
由此可见,本发明提取精度高,实现实时全景拼接和融合,然后直接投影到相应的监控大屏,可以更直观更清晰的监测整个片区的状况。本发明的创新在于特征点提取的方法采用superpoint和特征匹配方法采用superglue;并且,superpoint在进行特征提取的时候,是分别对动态前景和静态背景进行特征点提取,使提取的特征点精度更高,不会将背景信息错误的跟前景信息中的相似点进行错误匹配;而且,克服了传统sift或surf提取特征点时间太长,导致不能实时拼接的问题。因为每帧图像中静态背景占比很高,但是前后帧变化率很低,sift方法是每帧都会提取整张图像的信息,很浪费计算时间,而superpoint则是把前一帧图像的背景信息保存,后续每一帧只需跟前一帧做差分,然后只在变化的差分图像上做特征提取即可,只对动态前景做特征提取,大大减少了特征提取所需的时间成本。
最后需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制技术方案,本领域的普通技术人员应当理解,那些对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于道路交通场景下的全景视频拼接方法,其特征在于,包含以下步骤:
S1、图像采集:由多个摄像头同步采集测试路段中每路摄像头的图像,要求每个摄像头的时间戳严格一致;
S2、图像畸变矫正及预处理:采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理;
S3、图像特征点提取:采用深度学习网络superpoint对图像进行特征点的提取;提取摄像头之间重叠区域的特征点,包含角点和梯度变化明显的点,并生成特征描述子;
S4、图像匹配:采用基于图卷积神经网络的特征匹配算法superglue对图像进行特征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子,输出是图像特征之间的匹配关系;
S5、匹配特征点对过滤:利用K近邻算法对匹配上的特征点对进行过滤;
S6、获取投影变换的单应性矩阵,完成投影变换:过滤后剩余的匹配点对利用Ransac算法循环遍历,直到计算得到图像间投影所需的最佳单应性矩阵,完成图像间的拼接;
S7、图像融合:采用动态规划寻找最佳拼接线进行图像融合。
2.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法,其特征在于,所述S3中,重叠区域分为静态的背景和动态的前景,分别提取背景和前景特征点。
3.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法,其特征在于,所述S4中,图像特征匹配包括静态匹配和动态匹配;静态匹配包括道路场景下的道路、交通标识、树木等静态物体的匹配;动态匹配包括指行人、车辆等的匹配。
4.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法,其特征在于,所述静态匹配对于图像而言基本相当于背景,可以单独对背景的特征点进行匹配;动态匹配对于图像而言相当于前景,可以单独对前景的特征点进行匹配。
5.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法,其特征在于,所述图像融合使用快速颜色插值模型结合邻近最短距离法寻找最佳拼接线进行图像融合。
6.一种基于道路交通场景下的全景视频拼接***,其特征在于,包括摄像头和处理器,所述处理器执行权利要求1-5任一全景视频拼接方法。
CN202210188383.4A 2022-02-28 2022-02-28 一种基于道路交通场景下的全景视频拼接方法及*** Active CN114554158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188383.4A CN114554158B (zh) 2022-02-28 2022-02-28 一种基于道路交通场景下的全景视频拼接方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188383.4A CN114554158B (zh) 2022-02-28 2022-02-28 一种基于道路交通场景下的全景视频拼接方法及***

Publications (2)

Publication Number Publication Date
CN114554158A true CN114554158A (zh) 2022-05-27
CN114554158B CN114554158B (zh) 2024-07-19

Family

ID=81680185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188383.4A Active CN114554158B (zh) 2022-02-28 2022-02-28 一种基于道路交通场景下的全景视频拼接方法及***

Country Status (1)

Country Link
CN (1) CN114554158B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011553A (zh) * 2023-07-19 2023-11-07 苏州旭智设计营造有限公司 一种多场景会议自由转换控制***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572450A (zh) * 2012-01-10 2012-07-11 中国传媒大学 基于sift特征与grnn网络的立体视频颜色校正方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像***及方法
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN111599007A (zh) * 2020-05-26 2020-08-28 张仲靖 一种基于无人机航拍的智慧城市cim道路贴图方法
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN113159043A (zh) * 2021-04-01 2021-07-23 北京大学 基于语义信息的特征点匹配方法及***
WO2021242809A1 (en) * 2020-05-26 2021-12-02 Hover Inc. Systems and methods for image capture
CN113793362A (zh) * 2021-09-22 2021-12-14 清华大学 基于多镜头视频的行人轨迹提取方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572450A (zh) * 2012-01-10 2012-07-11 中国传媒大学 基于sift特征与grnn网络的立体视频颜色校正方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像***及方法
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法
CN110827415A (zh) * 2019-11-11 2020-02-21 吉林大学 一种全天候未知环境无人自主工作平台
CN111599007A (zh) * 2020-05-26 2020-08-28 张仲靖 一种基于无人机航拍的智慧城市cim道路贴图方法
WO2021242809A1 (en) * 2020-05-26 2021-12-02 Hover Inc. Systems and methods for image capture
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN113159043A (zh) * 2021-04-01 2021-07-23 北京大学 基于语义信息的特征点匹配方法及***
CN113793362A (zh) * 2021-09-22 2021-12-14 清华大学 基于多镜头视频的行人轨迹提取方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘嗣超;武鹏达;赵占杰;李成名;: "交通监控视频图像语义分割及其拼接方法", 测绘学报, no. 04, 15 April 2020 (2020-04-15) *
贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;: "图像匹配方法研究综述", 中国图象图形学报, no. 05, 16 May 2019 (2019-05-16) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011553A (zh) * 2023-07-19 2023-11-07 苏州旭智设计营造有限公司 一种多场景会议自由转换控制***

Also Published As

Publication number Publication date
CN114554158B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN101276465B (zh) 广角图像自动拼接方法
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
CN108769578B (zh) 一种基于多路摄像头的实时全景成像***及方法
CN111968129A (zh) 具有语义感知的即时定位与地图构建***及方法
CN105184253B (zh) 一种人脸识别方法和人脸识别***
CN107274346A (zh) 实时全景视频拼接***
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、***及存储介质
CN100542303C (zh) 一种多视点视频颜色校正方法
CN106791623A (zh) 一种全景视频拼接方法及装置
CN107154022A (zh) 一种适用于拖车的动态全景拼接方法
CN107085842A (zh) 自学习多路图像融合的实时矫正方法及***
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
CN107992837A (zh) 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN112712487A (zh) 一种场景视频融合方法、***、电子设备及存储介质
CN114554158B (zh) 一种基于道路交通场景下的全景视频拼接方法及***
CN114898353A (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN117114997B (zh) 基于缝合线搜索算法的图像拼接方法及装置
Li et al. Gyroflow+: Gyroscope-guided unsupervised deep homography and optical flow learning
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN107067368B (zh) 基于影像变形的街景影像拼接方法及***
CN117372907A (zh) 一种基于人工智能无人机模拟训练的集群方法
CN114943823B (zh) 基于深度学习语义感知的无人机图像拼接方法及***
Medioni et al. Real-time billboard substitution in a video stream
CN116132729A (zh) 一种山体滑坡监测用全景视频拼接方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant