CN107835397B - 一种多镜头视频同步的方法 - Google Patents
一种多镜头视频同步的方法 Download PDFInfo
- Publication number
- CN107835397B CN107835397B CN201711405193.9A CN201711405193A CN107835397B CN 107835397 B CN107835397 B CN 107835397B CN 201711405193 A CN201711405193 A CN 201711405193A CN 107835397 B CN107835397 B CN 107835397B
- Authority
- CN
- China
- Prior art keywords
- code
- lens
- clock
- shot
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种多镜头视频同步的方法,本方案通过设计一组可以自动计时的时钟编码,在进行全景拍摄时,让工作人员或移动设备控制时钟编码绕全部镜头一圈,从而使得所有的镜头都记录下当前的时钟编码,最后将各镜头拍摄的画面中的时钟编码进行解码,获取每一个镜头的时间码,然后计算镜头的偏移量,从而调整多镜头拍摄的视频同步。
Description
技术领域
本发明涉及全景视频拍摄技术领域,具体涉及一种多镜头视频同步的方法。
背景技术
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频,用户在观看视频的时候,可以随意调节视频上下左右进行观看。在使用多个摄像机拍摄时,由于摄像机很难同时开始拍摄,所以每个摄像机拍摄的视频开始的时间各不相同,从而需要对视频进行同步,将视频按照实际的时间对齐,方便多个视频切换、编辑或者拼接。
目前多镜头视频同步技术有以下几种:(1)通过摄像机的时间码同步,需要硬件时钟同步,需要定制硬件。成本较高,而且对设备的限制比较多。(2)镜头打板,人工操作。很难应用在多镜头视频中,因为场记的画面不可能同时出现在所有镜头中,(3)人工编辑,手动同步。精度差,工作量大。(4)通过音频同步。例如现场拍一下手,各个摄像机录下声音,然后通过同步声音来同步视频。缺点是容易受到现场声音的干扰,从而无法计算机自动对齐。如果人工听声音或看波形对齐,效率较低。而且如果各个摄像机距离较远,导致各个摄像机的声音差别较大,会导致无法同步。
发明内容
本发明的目的在于克服现有技术的不足,提供一种多镜头视频同步的方法,不用定制硬件,成本低,自动同步,操作简便。
本发明的目的是通过以下技术方案来实现的:
一种多镜头视频同步的方法,包括以下步骤:
S01:设计一组能让摄影机清晰拍到的时钟图形编码APP;
S02:将时钟图形编码APP植入移动设备,并在移动设备显示端显示该图形时钟编码;
S03:多镜头开始拍摄时,图形时钟编码开始计时,使移动设备显示端显示的时间码出现各个摄像机前;
S04:通过识别技术,解码出时间码;或者通过人工识别出时间码,记录时间码信息;
S05:计算各镜头偏移量并根据偏移量同步视频。
优选的,所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成,所述毫秒位由十毫秒和百毫秒两位组成。
优选的,所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。
优选的,所述十毫秒位的显示编码是数字编码,由0-9十位数字字符串组成,计时开始时0-9的字体依次变大用于显示十毫秒,某一时刻下字体显示最大的数字为当前时刻的十毫秒位。
优选的,所述十毫秒位的显示编码是图形编码,所述图形编码包括两个点位,每个点位有四种颜色变化,通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
优选的,所述四种颜色为黑、红、绿、蓝,并定义0-9的显示组合方法。
优选的,所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理,然后利用二值化处理提取图形时钟编码。
优选的,所述移动设备显示端位于摄像机前拍摄时应保持稳定,避免晃动。
优选的,所述移动设备显示端可以是手机或平板电脑。
优选的,所述步骤S05的具体方法是根据得到各个镜头的时间码,选择一个最大的时间码作为参考时间码;根据最大时间码,结合各个镜头解码的帧号,最终换算成各个镜头的帧号偏移,使用计算的帧号偏移移动各个镜头到对应的位置,实现多镜头视频同步。
本发明的有益效果是:本方案通过设计一组可以自动计时的时钟编码,在进行全景拍摄时,让工作人员或移动设备控制时钟编码绕全部镜头一圈,从而使得所有的镜头都记录下当前的时钟编码,最后将各镜头拍摄的画面中的时钟编码进行解码,获取每一个镜头的时间码,然后计算镜头的偏移量,从而调整多镜头拍摄的视频同步。
附图说明
图1是本发明图形时钟编码显示图;
图2是本发明定义的十毫秒位点位组合方式。
具体实施方式
下面结合附图1-2和具体实施例进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
一种多镜头视频同步的方法,包括以下步骤:
S01:设计一组能让摄影机清晰拍到的时钟图形编码APP;
S02:将时钟图形编码APP植入移动设备,并在移动设备显示端显示该图形时钟编码;
S03:多镜头开始拍摄时,图形时钟编码开始计时,使移动设备显示端显示的时间码出现各个摄像机前;
S04:通过识别技术,解码出时间码;或者通过人工识别出时间码,记录时间码信息;
S05:计算各镜头偏移量并根据偏移量同步视频。
优选的,所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成,所述毫秒位由十毫秒和百毫秒两位组成。
优选的,所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码,如图1所示,十毫秒位的显示编码是数字编码,由0-9十位数字字符串组成,计时开始时0-9的字体依次变大用于显示十毫秒,某一时刻下字体显示最大的数字为当前时刻的十毫秒位;该设计的原因在于,数字编码在显示器上进行显示时,由于镜头存在曝光时间,从而会拍下短时间内两个连续的运动画面,也就是我们所说的虚影,如图1所示,当下毫秒单位显示是37,而在摄像机的曝光下37的前一时间为36,因此出现6和7重叠的现象,使得时间统计出现误差,为了消除该误差,设计了一个单独显示毫秒位的数字编码,该数字编码显示0-9的所有数字串,从0开始一直显示到9,时间的推移通过数字字体的变化来实现,也就是说0-9这九个数字从0开始依次变大到9结束,然后进行循环,每循环完一次表示100毫秒,0-9分别表示0毫秒、10毫秒、20毫秒……90毫秒;通过数字字体的变化从而清晰的显示出当下的时刻,便于后续图像处理中对时间的识别,从而计算偏移量。
优选的,上述十毫秒位的显示编码是还可以设计成图形编码,所述图形编码包括两个点位,每个点位有四种颜色变化,通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
优选的,所述四种颜色为黑、红、绿、蓝,并定义0-9的显示组合方法,在本实施例中定义如下:
0黑黑、1黑红、2黑绿、3黑蓝、4红红、5红绿、6红蓝、7绿绿、8绿蓝、9蓝蓝;分别用上述定义的颜色块表示十毫秒位的数值,其具体如图2所示。
优选的,所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理,然后利用二值化处理提取图形时钟编码。
将设计好的时钟编码,应用到时钟APP中。在开始拍摄时,开始计时。然后让每个摄像机拍摄时钟的画面。
实例操作如下:
将各个摄像机拍摄的视频,导入到视频编辑工具中,对视频中的时钟图像进行识别,依次包括以下操作。
区域分割:
依次获取每一个镜头图像数据,针对图像数据使用通用处理算法建立图像背景模型,并对图像的前景进行检测,最终得到包含前景和背景信息的灰度图像数据;然后对得到的各镜头灰度图像数据进行聚类得到聚类结果并记录各个聚类的上下边界点,针对各个聚类的的上下边界点,使用当前处理的上边界遍历查找上一个聚类的下边界,逐步遍历查找并合并上下边界。针对合并上下边界之后的聚类按照聚类内部点个数由大到小进行排序,得到聚类排序表。按照设置的最小阈值对聚类排序表进行过滤,留下大于最小阈值的聚类点,同时按照聚类点坐标值,按照左上角-右下角方式将当前聚类点生成图像上的矩形区域。接着针对生成的矩形区域按照有效阈值进行有效合并,得到剔除后的有效矩形区域。最后按照有效区间阈值对剔除后的有效矩形区域进行挑选和过滤,得到有效区间内的有效矩形区域灰度图。
处理有效区域:
将从上面得到的有效区域灰度图进行模糊处理,对模糊结果图像进行边缘检测,并对检测结果使用概率霍夫变换算法来检测直线,最终提取出多个区域的边缘直线。对检测出来的直线进行处理,计算各条线的水平夹角,得到多个不同角度的夹角类,然后对这些夹角类进行聚类,对每个聚类按照线段平移是否有公共部分再次进行聚类,得到夹角聚类集。再根据夹角聚类集形成的矩形计算两个矩形的公共部分,并提取公共部分附近的直线段,构成候选目标矩形,最终形成真正的矩形。最后根据这些矩形从灰度图中提取出时钟图像。
识别数字:
对得到的时钟灰度图像进行二值化处理,得到的二值化模型作为模板,对该二值化模型进行二值化点聚类,将得到的点聚类集合根据点坐标形成矩形区域。对这些矩形区域按照区域大小由大到小进行排序,得矩形区域有序表。紧接着对这个表进行过滤,剔除头部过大和尾部过小的矩形,得到有效矩形区域集合。对这些有效区域集合按照水平直线进行分割,分割后得到上下两个矩形区域集合,继续对这两个集合进行过滤,剔除头部过大和尾部过小的矩形区域,得到最终有效的上下两个矩形区域集合。使用上下两个有效矩形区域集合对时钟灰度图进行处理,将在有效区域内的灰度图像素值填成255,并提取有效区域内的数字图像。最后使用通用算法对提取的数字图像进行图像识别,得到真正的数字。最终,由这些数字形成同步视频所需要的时间码。
优选的,所述移动设备显示端位于摄像机前拍摄时应保持稳定,避免晃动,移动设备显示端可以是手机或平板电脑。
优选的,所述步骤S05的具体方法是根据得到各个镜头的时间码,选择一个最大的时间码作为参考时间码;根据最大时间码,结合各个镜头解码的帧号,最终换算成各个镜头的帧号偏移,使用计算的帧号偏移移动各个镜头到对应的位置,实现多镜头视频同步。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (9)
1.一种多镜头视频同步的方法,其特征在于包括以下步骤:
S01:设计一组能让摄影机清晰拍到的时钟图形编码APP;
S02:将时钟图形编码APP植入移动设备,并在移动设备显示端显示该图形时钟编码;
S03:多镜头开始拍摄时,图形时钟编码开始计时,使移动设备显示端显示的时间码出现各个摄像机前,让每个摄像机拍摄时钟的画面,得到拍摄到的图形;
S04:通过识别技术对拍摄到的图形进行识别,解码出时间码;或者通过人工对拍摄到的图形进行识别得出时间码,记录时间码信息;
S05:计算各镜头偏移量并根据偏移量同步视频;
根据得到各个镜头的时间码,选择一个最大的时间码作为参考时间码;根据最大时间码,结合各个镜头解码的帧号,最终换算成各个镜头的帧号偏移,使用计算的帧号偏移移动各个镜头到对应的位置,实现多镜头视频同步。
2.根据权利要求1所述的一种多镜头视频同步的方法,其特征在于,所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成,所述毫秒位由十毫秒和百毫秒两位组成。
3.根据权利要求2所述的一种多镜头视频同步的方法,其特征在于,所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。
4.根据权利要求3所述的一种多镜头视频同步的方法,其特征在于,所述十毫秒位的显示编码是数字编码,由0-9十位数字字符串组成,计时开始时0-9的字体依次变大用于显示十毫秒,某一时刻下字体显示最大的数字为当前时刻的十毫秒位。
5.根据权利要求3所述的一种多镜头视频同步的方法,其特征在于,所述十毫秒位的显示编码是图形编码,所述图形编码包括两个点位,每个点位有四种颜色变化,通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
6.根据权利要求5所述的一种多镜头视频同步的方法,其特征在于,所述四种颜色为黑、红、绿、蓝,并定义0-9的显示组合方法。
7.根据权利要求1所述的一种多镜头视频同步的方法,其特征在于,所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理,然后利用二值化处理提取图形时钟编码。
8.根据权利要求1所述的一种多镜头视频同步的方法,其特征在于,所述移动设备显示端位于摄像机前拍摄时应保持稳定,避免晃动。
9.根据权利要求8所述的一种多镜头视频同步的方法,其特征在于,所述移动设备显示端可以是手机或平板电脑。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711405193.9A CN107835397B (zh) | 2017-12-22 | 2017-12-22 | 一种多镜头视频同步的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711405193.9A CN107835397B (zh) | 2017-12-22 | 2017-12-22 | 一种多镜头视频同步的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107835397A CN107835397A (zh) | 2018-03-23 |
CN107835397B true CN107835397B (zh) | 2019-12-24 |
Family
ID=61645330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711405193.9A Active CN107835397B (zh) | 2017-12-22 | 2017-12-22 | 一种多镜头视频同步的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107835397B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110290287B (zh) * | 2019-06-27 | 2022-04-12 | 上海玄彩美科网络科技有限公司 | 多摄像头帧同步方法 |
CN111457917A (zh) * | 2020-04-13 | 2020-07-28 | 广东星舆科技有限公司 | 一种多传感器时间同步的测量方法及*** |
CN111464807A (zh) * | 2020-04-13 | 2020-07-28 | 广东星舆科技有限公司 | 一种双目同步的测量方法及*** |
CN114461165B (zh) * | 2022-02-09 | 2023-06-20 | 浙江博采传媒有限公司 | 虚实相机画面同步方法、装置及存储介质 |
CN114449260A (zh) * | 2022-03-09 | 2022-05-06 | 深圳锐视智芯科技有限公司 | 一种帧同步测试***及方法 |
CN117041691B (zh) * | 2023-10-08 | 2023-12-08 | 湖南云上栏山数据服务有限公司 | 一种基于tc码对超高清视频素材的分析方法及*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0838960A2 (en) * | 1996-10-28 | 1998-04-29 | Elop Electro-Optics Industries Ltd. | System and method for audio-visual content verification |
US6072832A (en) * | 1996-10-25 | 2000-06-06 | Nec Corporation | Audio/video/computer graphics synchronous reproducing/synthesizing system and method |
CN101646050A (zh) * | 2009-09-09 | 2010-02-10 | 中国电信股份有限公司 | 视频文件的文本注释方法和***、播放方法和*** |
CN102075668A (zh) * | 2009-11-13 | 2011-05-25 | 株式会社Ntt都科摩 | 用于同步视频数据的方法和设备 |
CN102708903A (zh) * | 2012-06-14 | 2012-10-03 | 大连三通科技发展有限公司 | 全自动视频回放*** |
JP2013187642A (ja) * | 2012-03-06 | 2013-09-19 | Sharp Corp | 撮像装置、撮像装置制御システム、及びコンピュータプログラム |
CN103839562A (zh) * | 2014-03-17 | 2014-06-04 | 杨雅 | 一种视频创作*** |
CN103957344A (zh) * | 2014-04-28 | 2014-07-30 | 广州杰赛科技股份有限公司 | 多摄像装置的视频同步方法和*** |
CN104270567A (zh) * | 2014-09-11 | 2015-01-07 | 深圳市南航电子工业有限公司 | 高精度同步的多路图像采集***及其时间同步方法 |
CN104980627A (zh) * | 2015-07-10 | 2015-10-14 | 小米科技有限责任公司 | 场记板、摄录控制方法及装置 |
CN205430457U (zh) * | 2016-03-29 | 2016-08-03 | 博瑞恒创(天津)科技有限公司 | 一种多媒体同步播放*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040179608A1 (en) * | 2003-02-27 | 2004-09-16 | Intel Corporation | Multiple-description coding methods and apparatus |
-
2017
- 2017-12-22 CN CN201711405193.9A patent/CN107835397B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6072832A (en) * | 1996-10-25 | 2000-06-06 | Nec Corporation | Audio/video/computer graphics synchronous reproducing/synthesizing system and method |
EP0838960A2 (en) * | 1996-10-28 | 1998-04-29 | Elop Electro-Optics Industries Ltd. | System and method for audio-visual content verification |
CN101646050A (zh) * | 2009-09-09 | 2010-02-10 | 中国电信股份有限公司 | 视频文件的文本注释方法和***、播放方法和*** |
CN102075668A (zh) * | 2009-11-13 | 2011-05-25 | 株式会社Ntt都科摩 | 用于同步视频数据的方法和设备 |
JP2013187642A (ja) * | 2012-03-06 | 2013-09-19 | Sharp Corp | 撮像装置、撮像装置制御システム、及びコンピュータプログラム |
CN102708903A (zh) * | 2012-06-14 | 2012-10-03 | 大连三通科技发展有限公司 | 全自动视频回放*** |
CN103839562A (zh) * | 2014-03-17 | 2014-06-04 | 杨雅 | 一种视频创作*** |
CN103957344A (zh) * | 2014-04-28 | 2014-07-30 | 广州杰赛科技股份有限公司 | 多摄像装置的视频同步方法和*** |
CN104270567A (zh) * | 2014-09-11 | 2015-01-07 | 深圳市南航电子工业有限公司 | 高精度同步的多路图像采集***及其时间同步方法 |
CN104980627A (zh) * | 2015-07-10 | 2015-10-14 | 小米科技有限责任公司 | 场记板、摄录控制方法及装置 |
CN205430457U (zh) * | 2016-03-29 | 2016-08-03 | 博瑞恒创(天津)科技有限公司 | 一种多媒体同步播放*** |
Non-Patent Citations (1)
Title |
---|
微电影录音指南;颜隆;《数码影像时代》;20131015;32-37 * |
Also Published As
Publication number | Publication date |
---|---|
CN107835397A (zh) | 2018-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107835397B (zh) | 一种多镜头视频同步的方法 | |
CN110503703B (zh) | 用于生成图像的方法和装置 | |
CN106664376B (zh) | 增强现实设备和方法 | |
US11343591B2 (en) | Method and system of presenting moving images or videos corresponding to still images | |
EP2252071A2 (en) | Improved image conversion and encoding techniques | |
US20100278450A1 (en) | Method, Apparatus And System For Alternate Image/Video Insertion | |
EP3031205A1 (en) | Systems and methods for providing synchronized content | |
CN101689292A (zh) | Banana多媒体数字信号编解码器 | |
CN105704559A (zh) | 一种海报生成方法及装置 | |
CN108965839B (zh) | 一种自动调整投影画面的方法及装置 | |
US11961237B2 (en) | Foreground data generation method and method for applying same, related apparatus, and system | |
CN108337471B (zh) | 视频画面的处理方法及装置 | |
CN110276769B (zh) | 一种视频画中画架构中直播内容定位方法 | |
TW201924317A (zh) | 基於增強實境的視頻處理方法、裝置及電子設備 | |
CN105374051B (zh) | 智能移动终端防镜头抖动视频运动目标检测方法 | |
CN108055423B (zh) | 一种多镜头视频同步偏移量计算方法 | |
CN112927349A (zh) | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 | |
CN113011403B (zh) | 手势识别方法、***、介质及设备 | |
CN112749696B (zh) | 一种文本检测方法及装置 | |
CN114694136A (zh) | 一种物品展示方法、装置、设备及介质 | |
CN106682670B (zh) | 一种台标识别方法及*** | |
CN110266955B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN112163993A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111353965A (zh) | 图像修复方法、装置、终端及存储介质 | |
CN110267079B (zh) | 待播放视频中人脸的替换方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |