CN106027886B - 一种全景视频实现同步帧的方法及*** - Google Patents

一种全景视频实现同步帧的方法及*** Download PDF

Info

Publication number
CN106027886B
CN106027886B CN201610332871.2A CN201610332871A CN106027886B CN 106027886 B CN106027886 B CN 106027886B CN 201610332871 A CN201610332871 A CN 201610332871A CN 106027886 B CN106027886 B CN 106027886B
Authority
CN
China
Prior art keywords
frame
synchronization
video
panoramic video
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610332871.2A
Other languages
English (en)
Other versions
CN106027886A (zh
Inventor
唐耿红
杨自和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen A Very Cool Granville Technology Co Ltd
Original Assignee
Shenzhen A Very Cool Granville Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen A Very Cool Granville Technology Co Ltd filed Critical Shenzhen A Very Cool Granville Technology Co Ltd
Priority to CN201610332871.2A priority Critical patent/CN106027886B/zh
Publication of CN106027886A publication Critical patent/CN106027886A/zh
Application granted granted Critical
Publication of CN106027886B publication Critical patent/CN106027886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种全景视频实现同步帧的方法，包括以下步骤：S1、多台设备开始录像；S2、所述多台设备同时多次接收到同步信号，并在当前编码的视频帧上绘制一识别码；S3、分别提取所述具有识别码的同步帧，并同步合成全景视频。一种全景视频实现同步帧的***，用于执行以上所述的方法；其包括微处理器、图像采集模块、存储模块和显示模块；所述图像采集模块、存储模块和显示模块均与微处理器连接。通过识别一帧特别处理的视频帧来作为全景视频的时间戳，实现全景视频的同步。克服了传统全景视频无法实现提供同步时间戳。通过识别特殊的视频帧，不需另加模块，实现起来更加灵活，方便，且能实现精确同步。广泛应用于图像拼接技术。

Description

一种全景视频实现同步帧的方法及***
技术领域
本发明涉及图像拼接技术，具体为全景视频实现同步帧的方法及***。
背景技术
I帧：又称为内部画面，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像。
gop：Group of Pictures，策略影响编码质量：所谓gop，意思是画面组，一个gop就是一组连续的画面。
YUV是被欧洲电视***所采用的一种颜色编码方法（属于PAL），是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视***中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号B－Y（即U）、R－Y（即V），最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。
全景视频即720度或者360度全景视频，它是在720度或者360度全景的技术之上发展延伸而来，它将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度左右上下360度的任意观看动态视频。现有的全景视频无法实现提供同步时间戳，仅以开始录像为全景视频的开始点，结束录像为全景视频的结束点。因此有必要进行改进。
发明内容
为了解决上述技术问题，本发明的目的是提供一种可灵活精确的实现全景视频的同步帧的方法及***。
本发明所采用的技术方案是：
一种全景视频实现同步帧的方法，包括以下步骤：S1、多台设备开始录像；
S2、所述多台设备同时多次接收到同步信号，并在当前编码的视频帧上绘制一识别码；
S3、分别提取所述具有识别码的同步帧，并同步合成全景视频。
作为该技术方案的改进，在所述步骤S2中，当前编码的视频帧为随机帧。
作为该技术方案的改进，所述步骤S3包括采用就近原则配对同步信号。
作为该技术方案的改进，所述识别码包括黑白相间的矩形图案。
进一步地，所述步骤S3包括采用YUV色彩空间来检测识别码的颜色分布。
进一步地，所述步骤S3包括：
将所述同步帧解码为YUV图像；
通过YUV格式的图像分别累加所述黑白相间矩形的各纯色块识别码区域的Y分量，求平均值，可获取识别码的颜色分布；
根据所得颜色分布进行同步帧的识别与提取。
另一方面，本发明还提供一种全景视频实现同步帧的***，包括存储程序的存储器和一处理器，所述处理器运行所述程序以执行所述的方法。
再一方面，本发明还提供一种全景视频实现同步帧的***，包括微处理器、图像采集模块、存储模块和显示模块；所述图像采集模块、存储模块和显示模块均与微处理器连接。
本发明的有益效果是：本发明通过识别一帧特别处理的视频帧来作为全景视频的时间戳，实现全景视频的同步。克服了传统全景视频无法实现提供同步时间戳。本发明通过识别特殊的视频帧为全景视频提供时间戳，不需另加模块，实现起来更加灵活，方便，且能实现精确同步。
本发明通过为合成全景视频提供时间戳，任意时候都可实现全景视频的同步，从而实现了全景视频可根据使用者任意裁剪及精确同步。本发明主要解决了全景视频制作时精确同步的问题。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是本发明一实施例的步骤流程示意图；
图2是本发明第二实施例的步骤流程示意图；
图3是本发明第三实施例的示意图；
图4是本发明第四实施例的***示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
一种全景视频实现同步帧的方法，包括以下步骤：S1、多台设备开始录像；
S2、所述多台设备同时多次接收到同步信号，并在当前编码的视频帧上绘制一识别码；
S3、分别提取所述具有识别码的同步帧，并同步合成全景视频。
作为该技术方案的改进，在所述步骤S2中，当前编码的视频帧为随机帧。
作为该技术方案的改进，所述步骤S3包括采用就近原则配对同步信号。
作为该技术方案的改进，所述识别码包括黑白相间的矩形图案。
进一步地，所述步骤S3包括采用YUV色彩空间来检测识别码的颜色分布。
进一步地，所述步骤S3包括：
将所述同步帧解码为YUV图像；
通过YUV格式的图像分别累加所述黑白相间矩形的各纯色块识别码区域的Y分量，求平均值，可获取识别码的颜色分布；
根据所得颜色分布进行同步帧的识别与提取。
参照图1，是本发明一实施例的步骤流程示意图。全景视频通过多台相机取景，通过同步帧的方式来获取每台相机的全景素材，从而实现全景视频的合成。一种全景视频实现同步帧的方法，包括以下步骤：
S1、多台设备开始录像；
S2、所述多台设备同时多次接收到同步信号，并在当前编码的视频帧上绘制一识别码；
S3、分别提取所述具有识别码的同步帧，并同步合成全景视频。
进一步地，在所述步骤S2中，当前编码的视频帧为随机帧。
作为优选的实施例，同步帧为I帧，使用I帧做为同步帧，则减小了gop周期，以此来降低因为gop周期导致的各相机I帧的时间差。
所述步骤S3包括采用就近原则配对同步信号。
具体地，同步信号（或同步帧）采取就近配对原则，第一个同步信号为同步开始信号，则第二个同步信号则为同步结束信号，以此类推。这2个信号之间的视频即为全景素材。例如有4个同步信号，则1、2信号配对，3、4信号配对；若有3个同步信号，则1、2配对，第3个同步信号舍弃。
参照图2，是本发明第二实施例的步骤流程示意图。一种全景视频实现同步帧的方法，其包括以下步骤：
S11，对多台相机建立同一控制台，由控制台作为帧同步基准，控制台可发出同步开始信号和同步结束信号；两种信号虽外部表现不同，本质上为同一处理方式，以下统称为同步信号。
S22，开始录像后，控制台发出同步请求，若相机已做好准备，则像控制台发出请求同步信号，当控制台接收到所有相机的请求信号后，向所有相机同时发出同步信号，结束全景时再由控制台统一同时发出结束信号。
S33，相机收到同步信号后，在当前编码的视频帧上绘制指定识别码，识别码的绘制方式如上图所示，为黑白相间色块。
S44，全景视频合成时，提取 H264同步帧解码为YUV图像。
S55，通过YUV格式的图像分别累加各纯色块识别码区域的Y分量，求平均值，即可获取识别码的颜色分布。
S66，检测到的第一个同步帧即为第一段全景视频的开始，全景视频的合成通过同步信号配对的方式来采样视频数据，完成全景视频的制作。
参照图3，是本发明第三实施例的示意图。作为本发明的一实施例，其中同步帧的标示方法为：当主控收到同步信号，在编码的视频帧的左上角区域绘制100*200像素黑白交叉实心矩形。采用黑白相间色块增加图像识别的容错率，避免应黑夜、纯色块以及特殊场景的误判，同时降低识别难度，通过分析矩形框中各个色块的颜色以及颜色面积来实现对同步帧的识别。
全景视频制作时，检测视频帧左上角区域200*100像素点矩形框中颜色分布，若检测到如上颜色分布，则记录该帧为同步帧，确定该处为全景视频开始点，同时继续向后检索下一个同步帧，以此确定全景视频的结束点，从而实现全景视频的同步。
正如几何上用坐标空间来描述坐标集合，色彩空间用数学方式来描述颜色集合。常见的3 个基本色彩模型是 RGB, CMYK和 YUV。通过采用YUV色彩空间来检测识别码的颜色分布，YUV的关键在于它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像，由于识别码为黑白色块，与彩色信息无关，使用Y信号分量即可检索颜色区域分布。
YCbCr 则是在世界数字组织视频标准研制过程中作为ITU - R BT.601 建议的一部分，其实是 YUV经过缩放和偏移的翻版。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到的图像质量的变化。YUV主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4，作为本发明的一实施例，使用由H264解码获得的YUV420采样格式。
另一方面，本发明还提供一种全景视频实现同步帧的***，包括存储程序的存储器和一处理器，所述处理器运行所述程序以执行所述的方法。
再一方面，本发明还提供一种全景视频实现同步帧的***，包括微处理器、图像采集模块、存储模块和显示模块；所述图像采集模块、存储模块和显示模块均与微处理器连接。
参照图4，是本发明第四实施例的***示意图。一种全景视频实现同步帧的***，其用于执行所述的一种全景视频实现同步帧的方法，其包括微处理器、图像采集模块、存储模块和显示模块；所述图像采集模块、存储模块和显示模块均与微处理器连接。
具体的，所述图像采集模块为摄像头模块，所述显示模块为LCD显示模块。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种全景视频实现同步帧的方法，其特征在于包括以下步骤：
S1、多台设备开始录像；
S2、所述多台设备同时多次接收到同步信号，并在当前编码的视频帧上绘制一识别码；所述识别码包括黑白相间的矩形图案；
S3、分别提取所述具有识别码的同步帧，并同步合成全景视频；
所述步骤S3包括采用YUV色彩空间来检测识别码的颜色分布；
将所述同步帧解码为YUV图像；
通过YUV格式的图像分别累加所述黑白相间矩形的各纯色块识别码区域的Y分量，求平均值，可获取识别码的颜色分布；
根据所得颜色分布进行同步帧的识别与提取；
所述步骤S3包括采用就近原则配对同步信号，第一个同步信号为同步开始信号，则第二个同步信号则为同步结束信号。
2.根据权利要求1所述的全景视频实现同步帧的方法，其特征在于，在所述步骤S2中，当前编码的视频帧为随机帧。
3.一种全景视频实现同步帧的***，包括存储程序的存储器和一处理器，其特征在于，所述处理器运行所述程序以执行权利要求1至2任一项所述的方法。
CN201610332871.2A 2016-05-17 2016-05-17 一种全景视频实现同步帧的方法及*** Active CN106027886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610332871.2A CN106027886B (zh) 2016-05-17 2016-05-17 一种全景视频实现同步帧的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610332871.2A CN106027886B (zh) 2016-05-17 2016-05-17 一种全景视频实现同步帧的方法及***

Publications (2)

Publication Number Publication Date
CN106027886A CN106027886A (zh) 2016-10-12
CN106027886B true CN106027886B (zh) 2019-08-06

Family

ID=57098914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610332871.2A Active CN106027886B (zh) 2016-05-17 2016-05-17 一种全景视频实现同步帧的方法及***

Country Status (1)

Country Link
CN (1) CN106027886B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234820A (zh) * 2016-12-21 2018-06-29 上海杰图软件技术有限公司 基于单路图像信号处理的实时拼接全景影像的方法及***
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
CN107231533B (zh) * 2017-06-12 2019-12-13 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN110933349B (zh) * 2019-11-19 2022-03-04 北京奇艺世纪科技有限公司 一种音频数据生成方法、装置、***及控制器
CN110896464B (zh) * 2019-11-19 2022-03-04 北京奇艺世纪科技有限公司 一种音频数据生成方法、装置、***及控制器
CN111586390B (zh) * 2020-04-23 2022-06-17 湖南傲英创视信息科技有限公司 一种用于周扫立体全景视频的处理方法、***与存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100518241C (zh) * 2007-04-04 2009-07-22 武汉立得空间信息技术发展有限公司 一种获得两个或两个以上的视频同步帧的方法
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN102510494B (zh) * 2011-10-09 2014-02-05 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
CN104184961A (zh) * 2013-05-22 2014-12-03 辉达公司 用于生成全景视频的移动设备和***
CN104301677B (zh) * 2014-10-16 2018-06-15 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN204090039U (zh) * 2014-10-16 2015-01-07 北京十方慧通科技有限公司 一体化大场景全景视频监控装置
CN105578199A (zh) * 2016-02-22 2016-05-11 北京佰才邦技术有限公司 虚拟现实全景多媒体处理***、方法及客户端设备

Also Published As

Publication number Publication date
CN106027886A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106027886B (zh) 一种全景视频实现同步帧的方法及***
US11138765B2 (en) Non-linear color correction
US11445201B2 (en) Video encoding and decoding method, device, and system, and storage medium
CN107633252B (zh) 肤色检测方法、装置及存储介质
US8970657B2 (en) Removing a self image from a continuous presence video image
CN103716547A (zh) 一种智能模式的拍照方法
WO2003005299A3 (en) Image segmentation by means of temporal parallax difference induction
US20200221008A1 (en) Reducing power consumption for enhanced zero shutter lag
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
CN104581103B (zh) 一种图片处理方法及装置
CN108391028B (zh) 一种自适应拍摄方向的可见光隐式成像通信方法
CN102300104A (zh) 3d电视机及其菜单处理的方法
US7688334B2 (en) Method and system for video format transformation in a mobile terminal having a video display
US8130317B2 (en) Method and system for performing interleaved to planar transformation operations in a mobile terminal having a video display
CN101923455B (zh) 一种yuv格式的数字图像显示和分析方法
CN109658488B (zh) 一种虚实融合***中通过可编程gpu加速解码摄像头视频流的方法
CN111052869B (zh) 改善用户观察到的图像的透视颜色感知的照明方法和***
WO2016183154A1 (en) Improved color space compression
TWI387325B (zh) 影像擷取裝置與影像前處理方法
WO2016086493A1 (zh) 一种智能移动终端的浸入式视频呈现方法
CN108205795A (zh) 一种直播过程中人脸图像处理方法及***
CN101729884B (zh) 影像撷取装置与影像前处理方法
CN106331649B (zh) 视频数据拷贝、拼接方法和***
TWI325125B (en) Method and apparatus for detecting motion in an image display device
US20140056524A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant