CN112565630B - 一种用于视频拼接的视频帧同步方法 - Google Patents

一种用于视频拼接的视频帧同步方法 Download PDF

Info

Publication number
CN112565630B
CN112565630B CN202011422728.5A CN202011422728A CN112565630B CN 112565630 B CN112565630 B CN 112565630B CN 202011422728 A CN202011422728 A CN 202011422728A CN 112565630 B CN112565630 B CN 112565630B
Authority
CN
China
Prior art keywords
time
video
frame
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011422728.5A
Other languages
English (en)
Other versions
CN112565630A (zh
Inventor
贾刚勇
宋子伟
李尤慧子
殷昱煜
蒋从锋
张纪林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011422728.5A priority Critical patent/CN112565630B/zh
Publication of CN112565630A publication Critical patent/CN112565630A/zh
Application granted granted Critical
Publication of CN112565630B publication Critical patent/CN112565630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种用于视频拼接的视频帧同步方法，包括如下步骤：（1）让用于图像拼接的边缘设备在进行图像拼接之前先拍摄一个微妙级的时钟；（2）边缘端采集视频信息，缓存每一帧图像和每一帧图像获取到的***时间；（3）读取并处理来自不同边缘端缓存的视频信息；（4）识别获取视频的每一帧图像拍摄到的毫秒级时钟的时间；（5）根据识别的结果计算和每帧图像的获取时间出不同边缘端的***时间差；（6）在视频图像拼接时，根据得到的***时间差对得到的视频帧图像的时间进行调整，使得用于拼接的视频帧是在同以时刻拍到的，以减小图像拼接时的误差。本发明可以有效的校准视频序列，避免拼接图像出现鬼影、物体割裂、模糊等情况，保证了拼接后视频的质量。

Description

一种用于视频拼接的视频帧同步方法
技术领域
本发明涉及图像拼接技术领域，涉及一种用于视频拼接的视频帧同步方法。
背景技术
随着数字图像技术的发展与进步，图像拼接技术领域的研究越来越火热，逐渐成为了计算机视觉处理、计算机图形学里的重要研究方向。而视频拼接在虚拟现实、安防监控、航空航天等领域都有着重要的应用。虽然目前对于图像拼接的研究技术日益成熟，但在视频图像的拼接中，由于视频拼接需要视频序列的配准和拼接，这需要巨大的计算能力，这使得目前的视频拼接很难在实时线完成，所以视频拼接仍然有很多问题需要解决。视频的拼接不同于图像拼接，在图像拼接中只需要考虑将平面的两张图像拼接在一起就可以，视频拼接还包含时间信息，还涉及到前景物体的运动。与图像拼接相比需要考虑时间的维度，因此对于视频图像拼接的处理不能等同于静态图像拼接。
传统的视频拼接忽略了在图像获取的时间上的误差，直接将得到的图像用于拼接，导致得到的结果会出现目标撕裂、分割和鬼影等情况。因为在视频的采集过程中会受到各种影响导致不同的视频在时间上存在偏差，比如摄像头未能同时开机、图像传输存在网络延迟和卡顿的情况。要解决这一问题需要对得到的视频进行时间上的同步校准，从而保证视频拼接的效果。
发明内容
本发明的目的在于：提供了一种用于多视频序列拼接的视频帧校准方法，使视频序列在进行拼接选取的图像是在时间上一致的视频帧。解决由时间上的差异引起的视频拼接中图像出现鬼影、物体分割、错位等情况，提升视频拼接的质量。
本发明的主要构思：在进行视频拼接之前，将不同边缘端的图像采集设备先对一个毫秒级的时钟采集图像，并同时记录下各自得到图像帧的时间，边缘设备将得到的图像信息发送到服务器。服务器通过识别视频序列的中拍到的时间，根据图像中时间一致的图像的时间差计算得到时间偏移量，通过引入毫秒级的时钟，将不同***上的时间维度进行统一，以此偏移量对视频帧的时间进行校准。
一种用于视频拼接的视频帧同步的方法，包括如下步骤：
(1)使用不同边缘端的图像采集设备对同一个毫秒级时钟采集视频序列；
(2)边缘端记录下视频系列每一帧图像的拍摄时间，并将视频序列传到服务器端；
(3)服务器端对得到的视频序列进行识别，得到视频帧图像上毫秒级时钟的时间信息；
(4)根据视频帧图像上得到的时间信息，将不同视频序列的视频帧进行匹配；
(5)根据匹配后的视频帧计算视频帧间的***时间差；
(6)将得到的***时间差作为拼接时候的校准偏移量，在对视频序列拼接时，将图像原本的时间加上得到的***时间差，将不同***的时间统一在相同的维度下，在此基础上选取时间相同的视频帧图像进行拼接
为了确保***时间差的准确性，***时间差需要计算多次。直到某一视频序列结束为止。从所有的得到的***时间差中选取其中的中位数作为最终的***时间差。
本发明的有益效果：由于摄像机之间的硬件的差异和网络的影响，使得摄像头无法在同一时刻拍摄图像，本发明在视频拼接之前，利用毫秒级的时钟的时间对不同边缘的摄像机进行时间的统一，计算出摄像机开机时间之间的毫秒级的偏移量，来校准拍摄时因硬件上的差异导致的开机时间不一致的问题。通过毫秒级的偏移量将用于拼视频接的视频帧之间的时间误差缩减到毫秒级别，极大地保障了视频帧拼接中用于拼接的视频帧在同一时间上的获得的。
附图说明
图1是本发明视频帧同步方法流程示意图；
图2是不同摄像机拍摄带毫秒级时钟示意图；
图3是带有时间校准的图像拼接流程图；
图4是没有除去相同帧和和模糊帧的***时间差的效果图；
图5是除去相同帧和和模糊帧的***时间差的效果图。
具体实施方式
下面结合实施例及附图，对本发明做进一步的详细说明，但本发明的实施方式不仅限于此；在介绍本发明的具体实施方式之前，首先对一些基本的概念进行说明：
(1)***时间：不同边缘端***内部的时间，各个边缘端的时间可能不一致；
(2)时钟时间：摄像头拍摄到的毫秒级时钟的时间。
传统的多视频处理领域，都是假设不同的视频源的视频序列都是在同一时刻获取到图像。忽略了网络延迟、相机开机不一致等时间上的误差，由于图像获取的时间存在差异，若直接将得到的图像用于拼接，得到的效果往往都会存在重影、图像割裂等情况。
在本实施例中的摄像头使用的是帧率为30，图像分辨率为680×480的摄像头，并且使用电脑上的毫秒显示器来显示毫秒级时间。本实施例的视频帧同步流程方法如图1所示，不同的边缘设备对统一区域进行视频采集，边缘端设备的摄像机的摆放如图2所示，并在采集图像的时候记录每一张视频帧拍摄的时间。将处理后的视频序列以2进制编码的形式发送到服务端，服务端接收后，对解码得到的图像进行数字识别处理，得到图像中毫秒级时钟的时间。
对于上述的数字进行识别：首先对得到的图像进行预处理去除图像的噪点，对处理后的图像进行角点检测提取图像中的形状，因为使用的毫秒级时间是在一个长方形中显示，所以对图像进行图形提取后时间信息就保存在得到的形状区域之中，再通过一些阈值的设定对图形形状进行筛选，获得带有时间信息的图形区域。再对得到的图形区域使用python的图像处理库tess将图像中的时间信息提取出来。
在对所有的视频帧都进行处理得到其相应的时间信息后，将不同视频序列的时钟时间进行匹配，根据匹配的结果计算出***时间的偏差Δt。其具体的计算方法如下：
(1)对视频序列A和序列B的第一帧图像进行检测，得到其时钟时间。
(2)将得到的时间进行转化后做差，计算它们之间的差值。
(3)若差值满足设定的阈值则转进行(5)。
(4)对于差值不满足的时候可能会出现以下的情况：
1)若序列A的时间大于序列B的时间则选择序列B的下一帧图像，重新检测时钟时间后与当前序列A的视频帧重新进行(2)；
2)若序列A的时间小于序列B的时间则选择序列A的下一帧图像，重新检测时钟时间后与当前序列B的视频帧重新进行(2)。
(5)将得到的***时间差值记录下来，重复上述过程，直到某一视频序列结束为止。
(6)取所有的***时间差值的中位数作为不同边缘端***的时间差Δt。
对于图像中的时间信息，电脑显示的毫秒时间与电脑显示屏的刷新率有关，由于毫秒级时钟的时间快速变化，这使得摄像机成像时会有部分图像出现虚影，这些虚影会导致视频序列在进行数字识别后提取出来的时间信息与原来的时间不一致的情况。当电脑屏幕的刷新率小于摄像头的帧率时会导致的连续多张视频帧获取到的时钟信息是完全相同的情况；对于这些连续多张视频帧提取出来的时间信息相同的视频帧和检测出来的时间信息不一致的视频帧因该在匹配前排除掉。
对于上述两种情况，需要采取对应的方法来处理，对于连续多张视频帧数字识别后的时钟时间一致的情况：若图像中的时间信息满足以下条件则认为该帧需要被剔除。
ti-1＝ti or ti＝ti+1
其中ti表示第i帧图像中的时钟时间。
对于图像中出现虚影导致错误识别的情况，视频帧序列在时间上有连贯性，上一帧图像获取的时间一定是小于下一帧图像的时间，且它们之间的差值会在一个范围内，若图像中的时间信息满足下式，则认为出现的虚影需要舍去。
ti-ti-1>τ
其中τ是设定的一个时间阈值，在本实例中相机的帧率是30fps，考虑到相机自身的波动，设置τ＝50ms。由该公式可以保证在选取是视频帧进行计算的时候不会由存在虚影的视频帧。
在得到边缘端的***时间差Δt之后，视频帧拼接的流程如图3所示，对于的边缘端的视频帧序，需要根据得到的***时间差对视频序列进行校准，以使拼接的两张视频帧是在同一时间得到的图像。
图4、图5是除去干扰帧前后的结果，可以发现在除去了有虚影的图像之后，明显提高了结果的稳定性。
本发明中未详细阐述的部分属于本领域技术人员的公知技术。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此邻域的技术人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (3)

1.一种用于视频拼接的视频帧同步方法，其特征在于，包括如下步骤：
(1)使用不同边缘端的图像采集设备对同一个毫秒级时钟采集视频序列；
(2)边缘端记录下视频序列每一帧图像的拍摄时间，并将视频序列传到服务器端；
(3)服务器端对得到的视频序列进行识别，得到图像上的时间信息；
(4)根据得到的图像上的时间信息，将不同视频序列的视频帧进行匹配；
(5)根据匹配后的视频帧计算视频帧间的***时间差；
步骤（4）-(5)具体是：
5-1、对视频序列A和序列B的第一帧图像进行检测，得到其时钟时间；
5-2、将得到的时钟时间进行转化后做差，计算它们之间的差值；
5-3、若差值满足设定的阈值则转进行5-5；
5-4、对于差值不满足的时候执行如下操作：
若序列A的时间大于序列B的时间则选择序列B的下一帧图像，重新检测时钟时间后与当前序列A的视频帧重新进行5-2 ；
若序列A的时间小于序列的时间则选择序列A的下一帧图像，重新检测时钟时间后与当前序列B的视频帧重新进行5-2 ；
5-5、将得到的时间差值记录下来，重复上述过程，直到某一视频序列结束为止；
5-6、取所有的时间差值的中位数作为不同边缘端***的时间差；
(6)在得到边缘端的***时间差Δt之后，对于边缘端的视频帧序列，根据得到的***时间差对视频序列进行校准，以使拼接的两张视频帧是在同一时间得到的图像；
对于图像中的时间信息，电脑显示的毫秒时间与电脑显示屏的刷新率有关，由于毫秒级时钟的时间快速变化，这使得摄像机成像时会有部分图像出现虚影，这些虚影会导致视频序列在进行数字识别后提取出来的时间信息与原来的时间不一致的情况；当电脑屏幕的刷新率小于摄像头的帧率时会导致的连续多张视频帧获取到的时钟信息是完全相同的情况；对于这些连续多张视频帧提取出来的时间信息相同的视频帧和检测出来的时间信息不一致的视频帧应该在匹配前排除掉；
对于上述两种情况，需要采取对应的方法来处理，对于连续多张视频帧数字识别后的时钟时间一致的情况：若图像帧中的时间信息满足以下条件则认为该帧需要被剔除；
ti-1＝ti or ti＝ti+1
其中ti表示第i帧图像中的时钟时间；
对于图像中出现虚影导致错误识别的情况，视频帧序列在时间上有连贯性，上一帧图像获取的时间一定是小于下一帧图像的时间，且它们之间的差值会在一个范围内，若图像中的时间信息满足下式，则认为出现的虚影需要舍去；
ti-ti-1>τ
其中τ是设定的一个时间阈值，考虑到相机自身的波动，设置τ＝50ms，由此可以保证在选取是视频帧进行计算的时候不会由存在虚影的视频帧。
2.如权利要求1所述的视频帧同步方法，其特征在于，步骤(3)在获取图像中的毫秒级时钟的时间使用了OCR数字识别。
3.如权利要求2所述的视频帧同步方法，其特征在于，所述OCR数字识别是根据拍摄的时钟的特点从视频帧中截取感兴趣区即：包含显示的时间的区域；对感兴趣区域进行数值识别得到图像拍摄的时钟的时间信息。
CN202011422728.5A 2020-12-08 2020-12-08 一种用于视频拼接的视频帧同步方法 Active CN112565630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011422728.5A CN112565630B (zh) 2020-12-08 2020-12-08 一种用于视频拼接的视频帧同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011422728.5A CN112565630B (zh) 2020-12-08 2020-12-08 一种用于视频拼接的视频帧同步方法

Publications (2)

Publication Number Publication Date
CN112565630A CN112565630A (zh) 2021-03-26
CN112565630B true CN112565630B (zh) 2023-05-05

Family

ID=75059640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011422728.5A Active CN112565630B (zh) 2020-12-08 2020-12-08 一种用于视频拼接的视频帧同步方法

Country Status (1)

Country Link
CN (1) CN112565630B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594315A1 (de) * 2004-05-05 2005-11-09 MacroSystem Digital Video AG Verfahren und Vorrichtung zum Synchronisieren von Videosignalen
CN110290287A (zh) * 2019-06-27 2019-09-27 上海玄彩美科网络科技有限公司 多摄像头帧同步方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857704B (zh) * 2012-09-12 2015-08-19 天津大学 带有时间域同步校准技术的多源视频拼接方法
CN108206966B (zh) * 2016-12-16 2020-07-03 杭州海康威视数字技术股份有限公司 一种视频文件同步播放方法及装置
CN107135330B (zh) * 2017-07-04 2020-04-28 广东工业大学 一种视频帧同步的方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1594315A1 (de) * 2004-05-05 2005-11-09 MacroSystem Digital Video AG Verfahren und Vorrichtung zum Synchronisieren von Videosignalen
CN110290287A (zh) * 2019-06-27 2019-09-27 上海玄彩美科网络科技有限公司 多摄像头帧同步方法

Also Published As

Publication number Publication date
CN112565630A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
EP2326091B1 (en) Method and apparatus for synchronizing video data
CN106899781B (zh) 一种图像处理方法及电子设备
CN103460248B (zh) 图像处理方法和装置
EP1665808A1 (en) Temporal interpolation of a pixel on basis of occlusion detection
CN110991287A (zh) 一种实时视频流人脸检测跟踪方法及检测跟踪***
CN112771843A (zh) 信息处理方法、装置和成像***
US20170116741A1 (en) Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts
CN111696044B (zh) 一种大场景动态视觉观测方法及装置
US11250581B2 (en) Information processing apparatus, information processing method, and storage medium
CN112565630B (zh) 一种用于视频拼接的视频帧同步方法
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
US11044399B2 (en) Video surveillance system
CN115830064B (zh) 一种基于红外脉冲信号的弱小目标跟踪方法及装置
CN116823611A (zh) 基于多聚焦图像的有参考超分辨率方法
CN112396639A (zh) 图像对齐方法
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN114998283A (zh) 一种镜头遮挡物检测方法及装置
CN112991419B (zh) 视差数据生成方法、装置、计算机设备及存储介质
CN111553408B (zh) 视频识别软件自动测试的方法
Low et al. Frame Based Object Detection--An Application for Traffic Monitoring
KR20100118811A (ko) 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
Hosen et al. An Effective Multi-Camera Dataset and Hybrid Feature Matcher for Real-Time Video Stitching
CN118279851A (zh) 目标跟踪方法及装置，车辆、存储介质和控制器
Chen et al. Revisiting Event-based Video Frame Interpolation
Korcak et al. Video shutter angle estimation using optical flow and linear blur

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant