CN112383769A - 一种视频与时空信息同步检测方法及装置 - Google Patents

一种视频与时空信息同步检测方法及装置 Download PDF

Info

Publication number
CN112383769A
CN112383769A CN202011132673.4A CN202011132673A CN112383769A CN 112383769 A CN112383769 A CN 112383769A CN 202011132673 A CN202011132673 A CN 202011132673A CN 112383769 A CN112383769 A CN 112383769A
Authority
CN
China
Prior art keywords
time
information
video stream
video
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011132673.4A
Other languages
English (en)
Other versions
CN112383769B (zh
Inventor
李英成
任亚锋
薛艳丽
高佳梁
戴芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Toprs Technology Co ltd
Original Assignee
China Toprs Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Toprs Technology Co ltd filed Critical China Toprs Technology Co ltd
Priority to CN202011132673.4A priority Critical patent/CN112383769B/zh
Priority claimed from CN202011132673.4A external-priority patent/CN112383769B/zh
Publication of CN112383769A publication Critical patent/CN112383769A/zh
Application granted granted Critical
Publication of CN112383769B publication Critical patent/CN112383769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供的一种视频流与时空信息融合同步性的检测方法，包括步骤：获取融合有时空信息的视频流；采用解码算法对所述视频流进行解码，得到所述视频帧中的标准时间和编码中解析的解析时间信息；将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。本申请通过对融合有时间信息的解码视频信息进行对比，计算得到时间差，从而得到精确的视频流信息和时空信息的同步情况，作为同步性衡量的标准，同时为纠正时空信息偏差提供数据。

Description

一种视频与时空信息同步检测方法及装置
技术领域
本发明实施例涉及摄影测量技术、卫星导航技术、电子信息技术领域，具体涉及一种视频与时空信息同步检测方法及装置。
背景技术
基于视频数据的实时性传输特性，面向应急等快速相应需求的视频与时空信息的联合测绘应用成为研究热点。视频与时空信息的同步精度直接影响了对地观测精度等问题。
目前国内外与本提案教委相关的围绕音视频同步问题展开的研究，所提及的音视频同步方案都以时间信号为基准，将音视频与视频信号进行同步，而未对时间信号进行检测，因此时间信号是否准确有待考证。
目前国内外暂时没有针对视频与时空信息同步检测的方法，较为相关的有围绕音视频同步问题展开的研究：
(1)罗斌于2016年发表了《基于4G网络车载视频监控***的音视频同步技术的研究》。文中阐述了音视频同步机制的实现；发送端尽可能的保证音视频数据采集的同步，接收端设置合理的缓冲区，进行了同步性测试：包括主观测试和客观测试。
(2)蒋兰于2005年发表了《基于PNX1300的音频和音视频同步的实现》。该***解决音视频同步问题的核心思想是采取时钟参考和时间戳技术。时钟参考常用来传输发送端相对于于接收端的时间。时间戳是编码***时间STC的采样值。时间戳用来传输特定事件的时间，例如，已编码的音视频信息的各个部分期望编码的时间，或是合成时间。
(3)高树立于2016年发表了《面向嵌入式***的音视频接收与同步播放***实现》。视频解码同步播放主要实现对视频PES包进行解析，将解析的视频ES数据送入解码器进行解码，解码后的视频帧送入视频同步播放控制模块。在视频同步播放控制模块中通过调整视频帧的播放时刻，实现音视频的同步播放。模块实现时按照PES包结构解析得到视频ES数据，将其送入视频解码器进行视频解码，并将解码后经过同步的视频帧使用FIMC(Fully Interactive Mobile Camera，FIMC)视频接口完成视频播放。
(4)杨蓓于2008年发表了《流媒体***中音视频同步机制的设计与实现》。重点研究了发送端和接收端的音视频同步控制方法，提出了一套基于RTP协议的带宽自适应媒体同步算法。从发送端和接收端两方面来解决流媒体***中音视频同步问题，并对流媒体音视频同步方案进行测试与分析。
(5)高树立于2016年发表了《面向嵌入式***的音视频接收与同步播放***实现》，基于音视频采集卡和通用计算机设计并实现对实时音视频进行采集、压缩和复用的音视频采集压缩***，基于MPEG-2音视频的格式在嵌入式ARM处理平台上设计并实现了对MPEG-2音视频数据进行解复用、解码和同步播放的音视频同步播放***。该***接收TS流数据并实现音视频数据的解码和同步播放，在该同步播放***上基于音视频时间戳同步法设计了一种有效的音视频同步方法，并对设计的音视频同步播放***进行同步性能测试。
现有技术方案中音视频同步方案都以时间信号为基准，将音频信号与视频信号进行同步，而未对时间信号进行检测，因此时间信号是否准确有待考证。
发明内容
为了保障实时视频测绘的精度，本申请研究基于GNSS授时技术的视频时空编码同步性检测技术，评价视频与时空信息融合成果的同步精度。其具体技术方案如下：
根据本发明实施例提供的一种视频流与时空信息融合同步性的检测方法，包括步骤：获取融合有时空信息的视频流；
采用解码算法对所述视频流进行解码，得到视频帧中的标准时间和编码融合信息中解析的解析时间信息；
将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
进一步的，所述标准时间通过如下步骤得到：
获取卫星标准授时；
对所述标准授时进行解析，得到标准时间。
进一步的，所述融合有时空信息的视频流通过如下步骤得到：
对解析的标准时间在显示屏上进行显示；
对显示有标准时间的所述显示屏进行拍摄，得到视频信息；
采用融合算法，将所述标准时间、标准空间位置信息与所述视频信息进行融合，得到融合有时空信息的视频信息；
采用编码算法将视频信息进行编码，得到视频流。
进一步的，所述编码算法采用SEI编码算法。
进一步对，所述标准时间和标准空间位置信息由GPS提供。
进一步的，所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
本发明的另一方面提供一种视频流与时空信息融合同步性的检测装置，包括
被检测装置，用于获取融合有时空信息的视频流；
检测装置，用于获取所述视频流中的标准时间和解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
进一步的，所述检测装置包括GPS模块，用于获取时空信息；时间解析模块，用于对所述标准授时进行解析，得到标准时间；时间显示模块，用于对解析的标准时间在显示屏上进行显示。
进一步的，所述检测装置还包括解码单元，用于获取所述视频流中的标准时间和并采用解码算法解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
进一步的，所述解码算法采用SEI解码算法；所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
本申请实施例提供的一种视频流与时空信息融合同步性的检测方法，包括步骤：获取融合有时空信息的视频流；采用解码算法对所述视频流进行解码，得到所述视频帧中的标准时间和编码中解析的解析时间信息；将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。本申请通过对融合有时间信息的解码视频信息进行对比，计算得到时间差，从而得到精确的视频流信息和时空信息的同步情况，作为同步性衡量的标准，同时为纠正时空信息偏差提供数据。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例提供的一种视频流与时空信息融合同步性的检测方法的优选实施方式方式流程图；
图2为本发明实施例提供的GPS时间划分示意图；
图3本发明实施例1提供的一种视频流与时空信息融合同步性的检测装置的优选实施方式结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的一种视频与时空信息同步检测方法应用于具有控制和处理功能的设备。
参见图1为本发明实施例提供的一种视频流与时空信息融合同步性的检测方法的优选实施方式方式流程图，包括步骤：
获取融合有时空信息的视频流；
采用解码算法对所述视频流进行解码，得到视频帧中的标准时间和编码融合信息中解析的解析时间信息；
将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
上述视频流通过如下步骤得到：
对解析的标准时间在显示屏上进行显示；
对显示有标准时间的所述显示屏进行拍摄，得到视频信息；
采用融合算法，将所述标准时间、标准空间位置信息与所述视频信息进行融合，得到融合有时空信息的视频信息；
采用编码算法将视频信息进行编码，得到视频流。
上述所码算法优选采用SEI编码算法，融合算法、SEI编码算法均属于本领的常用技术手段，在此不做赘述。
上述标准时间通过如下步骤得到：
获取卫星标准授时；
对所述标准授时进行解析，得到标准时间。
所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
需要说明的是，本申请可选实施方式中，上述标准时间和标准空间位置信息由GPS提供。GPS输出的秒脉冲(PPS)时间精确度高(纳秒级)，用来实时矫正检测装置与被监测装置的时钟，使两者保持同步。GPS语句中时间信息精确到秒，需将时间信息进行细分，细分方法如下：以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。如GPS信号刷新频率为mHz，则可将时间分辨率提高到
Figure BDA0002735658920000061
秒脉冲到来时刻时间为整秒，后续接收到的信号中时间信息依次增加
Figure BDA0002735658920000062
下一个秒脉冲到来时毫秒信号清零。最终将每条GPS语句中的时间修改为精确时间：年月日+时分秒+毫秒，如下图2所示，图2为本发明实施例提供的GPS时间划分示意图。
本申请实施例提供的一种视频流与时空信息融合同步性的检测方法，包括步骤：包括步骤：获取融合有时空信息的视频流；采用解码算法对所述视频流进行解码，得到所述视频帧中的标准时间和编码中解析的解析时间信息；将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。本申请通过对融合有时间信息的解码视频信息进行对比，计算得到时间差，从而得到精确的视频流信息和时空信息的同步情况，作为同步性衡量的标准，同时为纠正时空信息偏差提供数据。
本发明的另一方面提供一种视频流与时空信息融合同步性的检测装置，包括
被检测装置，用于获取融合有时空信息的视频流；
检测装置，用于获取所述视频流中的标准时间和解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
进一步的，所述检测装置包括GPS模块，用于获取时空信息；时间解析模块，用于对所述标准授时进行解析，得到标准时间；时间显示模块，用于对解析的标准时间在显示屏上进行显示。
进一步的，所述检测装置还包括解码单元，用于获取所述视频流中的标准时间和并采用解码算法解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
进一步的，所述解码算法采用SEI解码算法；所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
下面用一个具体实例对本申请技术方案做详细描述，利用时间信息解析模块通过GPS模块获取标准授时，并将标准时传输至显示模块；使用被检装置中的摄像头对显示模块进行视频拍摄，确保获取视频中可清晰识别显示模块中的当前标准时间；被检装置内部对已获取视频与时空信息进行融合；将具有时空信息的视频流导入解码单元，得到单幅视频帧及每幅视频帧对应的SEI编码信息；将单幅视频帧上显示的标准时间与SEI中的时间信息进行比对，从而完成视频流与时空信息融合同步性检测。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种视频流与时空信息融合同步性的检测方法，其特征在于，包括步骤：
获取融合有时空信息的视频流；
采用解码算法对所述视频流进行解码，得到视频帧中的标准时间和编码融合信息中解析的解析时间信息；
将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
2.根据权利要求1所述的视频流与时空信息融合同步性的检测方法，其特征在于，所述标准时间通过如下步骤得到：
获取卫星标准授时；
对所述标准授时进行解析，得到标准时间。
3.根据权利要求2所述的视频流与时空信息融合同步性的检测方法，其特征在于，所述融合有时空信息的视频流通过如下步骤得到：
对解析的标准时间在显示屏上进行显示；
对显示有标准时间的所述显示屏进行拍摄，得到视频信息；
采用融合算法，将所述标准时间、标准空间位置信息与所述视频信息进行融合，得到融合融合有时空信息的视频信息；
采用编码算法将视频信息进行编码，得到视频流。
4.根据权利要求3所述的视频流与时空信息融合同步性的检测方法，其特征在于，所述编码算法采用SEI编码算法。
5.根据权利要求3所述的视频流与时空信息融合同步性的检测方法，其特征在于，所述标准时间和标准空间位置信息由GPS提供。
6.根据权利要求5所述的视频流与时空信息融合同步性的检测方法，其特征在于，所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
7.一种视频流与时空信息融合同步性的检测装置，其特征在于，包括
被检测装置，用于获取融合有时空信息的视频流；
检测装置，用于获取所述视频流中的标准时间和解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
8.根据权利要求7所述的视频流与时空信息融合同步性的检测装置，其特征在于，所述检测装置包括GPS模块，用于获取时空信息；时间解析模块，用于对所述标准授时进行解析，得到标准时间；时间显示模块，用于对解析的标准时间在显示屏上进行显示。
9.根据权利要求8所述的视频流与时空信息融合同步性的检测装置，其特征在于，所述检测装置还包括解码单元，用于获取所述视频流中的标准时间和并采用解码算法解析出的融合在所述视频流中的解析时间信息，然后将所述标准时间与所述解析时间信息进行对比，计算出时间差，由所述时间差判断视频流与时空信息融合的同步性。
10.根据权利要求9所述的视频流与时空信息融合同步性的检测装置，其特征在于，所述解码算法采用SEI解码算法；所述GPS提供的时间信息精度到秒；以GPS秒脉冲为时间基准，根据GPS数据刷新频率将每秒时间进行细分。
CN202011132673.4A 2020-10-21 一种视频与时空信息同步检测方法及装置 Active CN112383769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011132673.4A CN112383769B (zh) 2020-10-21 一种视频与时空信息同步检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011132673.4A CN112383769B (zh) 2020-10-21 一种视频与时空信息同步检测方法及装置

Publications (2)

Publication Number Publication Date
CN112383769A true CN112383769A (zh) 2021-02-19
CN112383769B CN112383769B (zh) 2024-07-12

Family

ID=

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101478A1 (en) * 2006-10-31 2008-05-01 Kabushiki Kaisha Toshiba Decoding device and decoding method
JP2012109655A (ja) * 2010-11-15 2012-06-07 Mitsubishi Electric Corp メディア受信装置
US9025937B1 (en) * 2011-11-03 2015-05-05 The United States Of America As Represented By The Secretary Of The Navy Synchronous fusion of video and numerical data
CN105282110A (zh) * 2014-07-09 2016-01-27 北京合众思壮科技股份有限公司 一种融合gps定位信息的手机流媒体传输的方法及***
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置
CN107613159A (zh) * 2017-10-12 2018-01-19 北京工业职业技术学院 图像时间校准方法及***
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps
CN111457917A (zh) * 2020-04-13 2020-07-28 广东星舆科技有限公司 一种多传感器时间同步的测量方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080101478A1 (en) * 2006-10-31 2008-05-01 Kabushiki Kaisha Toshiba Decoding device and decoding method
JP2012109655A (ja) * 2010-11-15 2012-06-07 Mitsubishi Electric Corp メディア受信装置
US9025937B1 (en) * 2011-11-03 2015-05-05 The United States Of America As Represented By The Secretary Of The Navy Synchronous fusion of video and numerical data
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps
CN105282110A (zh) * 2014-07-09 2016-01-27 北京合众思壮科技股份有限公司 一种融合gps定位信息的手机流媒体传输的方法及***
CN105635616A (zh) * 2016-01-27 2016-06-01 中测新图(北京)遥感技术有限责任公司 一种视频数据和地理位置信息的融合方法和装置
CN107613159A (zh) * 2017-10-12 2018-01-19 北京工业职业技术学院 图像时间校准方法及***
CN111457917A (zh) * 2020-04-13 2020-07-28 广东星舆科技有限公司 一种多传感器时间同步的测量方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马宏雷;刘儿兀;朱军;: "非对称无线传输信道的音视频同步优化设计", 计算机仿真, no. 02, 15 February 2016 (2016-02-15) *

Similar Documents

Publication Publication Date Title
CN102668534B (zh) 视频和遥测数据的数据搜索、解析和同步
EP1639816B1 (en) Method and system for testing lip-synchronization of a digital television receiver
CN104349163A (zh) 端到端视频传输延迟测量显示装置及测量***
EP0801510A3 (en) Method and apparatus for measuring the jitter of a video program clock reference signal in an MPEG-2 transport stream
KR102192405B1 (ko) 비디오 데이터의 실시간 프레임 정렬
CN104284098A (zh) 视频数据的处理方法及***
CN111277804A (zh) 图像处理方法、装置和多摄像头同步***
US20200177935A1 (en) Smart camera, image processing apparatus, and data communication method
CN106507172B (zh) 信息编码方法、解码方法及装置
KR101473984B1 (ko) 모바일 단말을 이용한 현장 정보 수집 시스템
CN112383769A (zh) 一种视频与时空信息同步检测方法及装置
CN112383769B (zh) 一种视频与时空信息同步检测方法及装置
CN110447231B (zh) 传输来自多个源的超高清视频的方法及装置
JP7355609B2 (ja) 映像信号を受信する受信機
US6781581B1 (en) Apparatus for interfacing timing information in digital display device
JP2000244947A (ja) 動画伝送効率の測定装置
GB2586986A (en) Signal variation measurements
KR20160082368A (ko) 네트워크 기반 멀티 디스플레이에서 콘텐츠 간 동기화 방법 및 시스템
CN116489342B (zh) 确定编码延时的方法、装置、及电子设备、存储介质
EP3593532B1 (en) Symbology encoding in video data
CN103974020B (zh) 音视频数据采集方法及装置
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
CN117676267A (zh) 提高视频传输延时测试精度的设备和方法
CN113890959A (zh) 一种多模态图像同步采集***及方法
CN116939119A (zh) 影音信号同步方法与影音同步处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant