CN106851242A - 一种实现运动相机3d视频直播的方法及*** - Google Patents

一种实现运动相机3d视频直播的方法及*** Download PDF

Info

Publication number
CN106851242A
CN106851242A CN201611258705.9A CN201611258705A CN106851242A CN 106851242 A CN106851242 A CN 106851242A CN 201611258705 A CN201611258705 A CN 201611258705A CN 106851242 A CN106851242 A CN 106851242A
Authority
CN
China
Prior art keywords
moving camera
moving
video
camera
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611258705.9A
Other languages
English (en)
Inventor
焦松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Science And Technology Co Ltd
Original Assignee
Chengdu Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Science And Technology Co Ltd filed Critical Chengdu Science And Technology Co Ltd
Priority to CN201611258705.9A priority Critical patent/CN106851242A/zh
Publication of CN106851242A publication Critical patent/CN106851242A/zh
Priority to PCT/CN2017/120089 priority patent/WO2018121768A1/en
Priority to US16/465,843 priority patent/US20200029066A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种实现运动相机3D视频直播的方法及***,所述的方法包括：利用两个运动相机以相同的视角进行视频拍摄，并获取测量所述两个运动相机之间的距离；将运动相机之间的距离和各自拍摄得到的视频上传到服务器；服务器根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；服务器对3D视频进行直播；本发明根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值。

Description

一种实现运动相机3D视频直播的方法及***
技术领域
本发明涉及一种实现运动相机3D视频直播的方法及***。
背景技术
运动相机，是专门为运动而生的相机，相对于普通相机而言，其可以在相对恶劣的环境中，拍摄出优质的相片或者视频，因此运动相机广收户外运动者的欢迎。
随着近几年运动相机普及与相关技术的迅猛发展， 消费者对运动相机的体验提出了越来越多的要求，如运动相机视频直播等，所谓视频直播准确来讲是音视频直播，即把音视频信号压缩成数字信号，通过网络进行传输的一种流媒体应用，相对于传统视频点播的区别在于视频直播讲求信息的实时性广播。
现有的运动相机生产企业也在不断地对运动相机的视频直播进行优化，如申请号为201610197813.3的专利，针对而现有的视频直播方案都需要复杂的配置，冗繁的操作，不仅需要极其专业的设备和环境，还需要经过培训的专业操作人员的问题，提供了“一种运动相机上通过一键发起视频直播的方法”，能够通过运动相机上一键发起视频直播，操作简单便捷。又如申请号为201610197812.9的专利，提供了“一种运动相机多直播账号进行直播网络选择的***和方法”，在运动相机和智能手机上都具有不同的视频直播账号的情况下，当运动相机具有3G/4G数据连接，并且同时通过智能手机分享的WiFi热点连接到两个网络的情况下，运动相机可以选择使用自身注册的直播账号，或者使用作为热点的智能手机上的直播账号进行视频直播；对运动相机直播技术的发展都起到了很大的作用。
但是，就目前的运动相机直播***或者方法而言，运动相机在视频直播过程中，视频观看者会减少很多观看的真实感，不具有身临其境的感觉，无法满足消费者对运动相机直播提出的越来越高的要求。
发明内容
本发明的目的在于克服现有技术的不足，提供一种实现运动相机3D视频直播的方法及***，根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值。
本发明的目的是通过以下技术方案来实现的：一种实现运动相机3D视频直播的方法，包括以下步骤：
利用两个运动相机以相同的视角进行视频拍摄，并获取测量所述两个运动相机之间的距离；
将运动相机之间的距离和各自拍摄得到的视频上传到服务器；
服务器根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；
服务器对3D视频进行直播。
进一步地，利用两个运动相机以相同的视角进行视频拍摄的步骤包括：
将第一运动相机和第二运动相机通过支架固定且并行放置；
使第一运动相机和第二运动相机保持相同的拍摄角度；
利用第一运动相机拍摄得到每一帧视频图像均带有时间戳的第一视频；
利用第二运动相机拍摄得到每一帧视频图像均带有时间戳的第二视频。
进一步地，利用两个运动相机以相同的视角进行视频拍摄的步骤还包括：
使第一运动相机和第二运动相机在拍摄开始前进行时间同步。
进一步地，获取测量所述两个运动相机之间距离的步骤包括：
将第一运动相机和第二运动相机分别通过支架上的两个连接器固定；
第一运动相机和第二运动相机获取两连接器之间的距离。
其中，若所述第一运动相机和第二运动相机底部分别具有机械式固定卡口和位于卡口旁边的霍尔传感器；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理***，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有位置固定的第一连接器和第二连接器，用于分别与第一运动相机和第二运动相机的机械式固定卡口连接；支架上在第一连接器附近和第二连接器附近，还分别设置有第一磁铁和第二磁铁；
则所述第一运动相机和第二运动相机上的霍尔传感器感应到磁场变化时，两台相机的数据处理***获取预存的第一连接器和第二连接器的固定距离，作为两个运动相机之间的距离信息。
其中，若所述第一运动相机和第二运动相机底部均具有机电式固定卡口，用于与支架建立机械连接和电连接；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理***，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有可滑动的第三连接器和第四连接器，用于分别与第一运动相机和第二运动相机的机电式固定卡口相连接；支架还设置有由导体材料构成的滑轨和电阻检测模块，第三连接器和第四连接器能够在支架的滑轨上运动，并通过导体与滑轨接触形成一个滑动变阻器，电阻检测模块用于检测当前滑动变阻器的阻值；
则当第一运动相机与第二运动相机在支架上固定完成后，电阻检测模块开始工作，测定当前滑动变阻器阻值，并通过第三连接器和第四连接器，将阻值信息分别向第一运动相机和第二运动相机传输；第一运动相机和第二运动相机获取到阻值信息后，与预存的滑动变阻器信息进行比对运算，获得当前第一运动相机与第二运动相机之间的间距。
进一步地，对两个运动相机拍摄得到的视频进行合成处理包括以下子步骤：
对两个视频的各帧的时间戳进行识别，挑选出同步帧对；
将每一个同步帧对中进行图像匹配，并计算出视差数据；
根据视差数据，结合两个运动相机的距离，计算得出深度数据；
利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
将同步帧对形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
进一步地，所述图像帧对的挑选步骤包括：对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，该两帧图像即为所述的同步帧对。
一种实现运动相机3D视频直播的***，包括：
运动相机直播支架装置，两个运动相机从相同的角度进行视频拍摄，并获取所述两个运动相机之间的距离，将运动相机之间的距离和各自拍摄得到的视频上传到服务器；
服务器，用于根据视频携带的时间戳和运动相机之间的距离，将两个运动相机拍摄得到的视频合成一个3D视频；
直播模块，用于对合成的3D视频进行直播。
所述的运动相机直播支架装置包括第一运动相机、第二运动相机和支架；第一运动相机、第二运动相机和***支架至少其中之一具有与服务器通讯的数据传输模块；
第一运动相机和第二运动相机通过支架固定且并行放置；第一运动相机用于获取每一帧视频图像均带有时间戳的第一视频，第二运动相机用于获取每一帧视频图像均带有时间戳的第二视频，且第一运动相机和第二运动相机在连接支架后获取两相机之间的间距。
所述的服务器包括：
同步帧对挑选单元，对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，得到同步帧对；
视差计算单元，用于对每一个同步帧对进行图像匹配，并计算出视差数据；
深度计算单元，用于根据视差数据，结合两个运动相机的距离，计算得出深度数据；
3D图像帧生成单元，用于利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
3D视频合成单元，用于将形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
所述的数据传输模块包括但不限于WIFI模块、3G通讯模块或4G LTE通讯模块；相应的，所述运动相机将视频传输给服务器的方式包括但不限于WIFI通讯传输、3G通讯传输或4G LTE通讯传输。
本发明的有益效果是：对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值；基于两个运动相机拍摄得到的每一帧视频图像时间戳，来进行视频图像的3D合成，运动相机不需要同时开始直播，服务器会根据视频流时间戳进行处理，极大减小操作难度。
附图说明
图1为本发明的方法流程图；
图2为运动相机3D直播支架装置的实施例一机械连接图；
图3为运动相机3D直播支架装置的实施例一电气连接图；
图4为运动相机3D直播支架装置的实施例二机械连接图；
图5为运动相机3D直播支架装置的实施例二电气连接图；
图6为本发明的***原理框图，
图中，1-支架，2-第一运动相机，3-第二运动相机，4-机械式固定卡口，5-霍尔传感器，6-第一连接器，7-第二连接器，8-第一磁铁，9-第二磁铁，10-机电式固定卡口，11-第三连接器，12-第四连接器，13-滑轨，14-电阻检测模块。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种实现运动相机3D视频直播的方法，包括以下步骤：
利用第一运动相机2拍摄第一视频，第二运动相机3拍摄第二视频，两相机视角相同；并获得所述两个运动相机之间的距离信息；
将运动相机之间的距离和第一视频、第二视频上传到服务器；
服务器根据第一视频和第二视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；
服务器对3D视频通过流媒体进行直播。
在具体实施过程中，利用第一运动相机2、第二运动相机3拍摄视频包括以下子步骤：
将第一运动相机2和第二运动相机3通过支架固定且并行放置；
使第一运动相机2和第二运动相机3保持相同的拍摄角度；
利用第一运动相机2拍摄得到每一帧视频图像均带有时间戳的第一视频；
利用第二运动相机3拍摄得到每一帧视频图像均带有时间戳的第二视频。
在该实施过程中，利用第一运动相机2、第二运动相机3拍摄视频除以上步骤外，还包括：使第一运动相机2和第二运动相机3在拍摄开始前进行时间同步。同步可以通过GPS或服务器授时完成，也可以通过在第一相机和第二相机之间建立数据连接来完成。
在本申请中的具体实施过程中，获得所述两个运动相机之间的距离信息包括如下子步骤：
将第一运动相机1和第二运动相机2分别通过支架1上的两个连接器固定；
将两连接器之间的距离输入第一运动相机1和第二运动相机2；
根据支架上的连接器是否固定，运动相机之间距离信息的获得分为如下两个具体实施例：
实施例一，对于具有固定连接点的支架1，距离信息可以通过在运动相机的交互界面人工选择支架型号输入相机，也可以通过位于支架上的磁性装置和位于运动相机上的磁检测装置输入相机：
图2~3示出了一种运动相机3D直播支架装置，如图2~3所示，该装置包括支架1、第一运动相机2和第二运动相机3，第一运动相机2和第二运动相机3均分别具有无线通信模块（数据传输模块）和数据处理***，可相互建立无线连接，以及分别连接到远程服务器；第一运动相机2和第二运动相机3底部分别具有机械式固定卡口4和位于卡口旁边的霍尔传感器5；支架1上设置有位置固定的第一连接器6和第二连接器7（两连接器的具体为D1），用于分别与第一运动相机2和第二运动相机3的机械式固定卡口4连接；支架1上在第一连接器6附近和第二连接器7附近，还分别设置有第一磁铁8和第二磁铁9。
当第一运动相机2与第一连接器6固定完成时，第一磁铁8使得位于第一运动相机2上的霍尔传感器5感应到磁场变化，提示第一运动相机2的数据处理***连接完成；当第二运动相机3与第二连接器7固定完成时，第二磁铁9使得位于第二运动相机3上的霍尔传感器5感应到磁场变化，提示第二运动相机3的数据处理***连接完成。此时，第一运动相机和第二运动相机通过无线连接交换数据，确认两台相机均连接到***支架；两台相机的数据处理***获取预存在其中的第一距离D1作为两个运动相机之间的距离信息。
实施例二，对于具有可动连接点的支架，距离信息也可以通过支架上的测距装置测量之后，通过位于近场通信装置，磁感应装置或者位于连接点的数据接口输入第一运动相机和第二运动相机：
图4~5示出了另一种运动相机的3D直播支架装置，如图4~5所示，该装置包括支架1，第一运动相机2和第二运动相机3，其中第一运动相机2和第二运动相机3均分别具有无线通信模块（数据传输模块）和数据处理***，可相互建立无线连接，以及分别连接到远程服务器；第一运动相机2和第二运动相机3底部均具有机电式固定卡口10，用于与支架建立机械连接和电连接；支架1上设置有可动的第三连接器11和第四连接器12，用于分别与第一运动相机2和第二运动相机3的机电式固定卡口10相连接；***支架还设置有由导体材料构成的滑轨13和电阻检测模块14，第三连接器11和第四连接器12能够在在支架1的滑轨13上运动，并通过导体与滑轨接触形成一个滑动变阻器，电阻检测模块14用于检测当前滑动变阻器的阻值；
当第一运动相机2与第三连接器11固定完成，且第二运动相机3与第四连接器12固定完成时，第一运动相机2和支架1以及第二运动相机3均建立电连接。此时，第一运动相机2和第二运动相机3的数据处理***认定连接完成。支架1上的电阻检测模块开始工作，测定当前滑动变阻器阻值，并通过第三连接器11和第四连接器12，将阻值信息分别向第一运动相机2和第二运动相机3传送。第一运动相机2和第二运动相机3获取到阻值信息后，与预存的滑动变阻器信息进行比对运算，获得当前第一运动相机2与第二运动相机之间3的间距D。例如，假设***滑轨长度为75cm，滑轨总阻值为50k，上述信息预存于第一运动相机与第二运动相机的数据处理***中。电阻检测模块测得当前阻值信息为30k，则此时第一运动相机与第二运动相机的间距D=75×30/50=45cm。
在本申请的具体实施过程中，所述的步骤S3包括以下子步骤：
对两个视频的各帧的时间戳进行识别，挑选出同步帧对；
将每一个同步帧对中进行图像匹配，并计算出视差数据；
根据视差数据，结合两个运动相机的距离，计算得出深度数据；
利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
将同步帧对形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
所述图像帧对的挑选步骤包括：对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，该两帧图像即为所述的同步帧对。
具体的，上述阈值为1/2f，f表示视频频率，当两帧图像的时间戳相差不超过1/2f时，该两帧图像同步，或者说该两帧图像为第一运动相机和第二运动相机在同一时刻拍摄的图像。
图6示出了根据本发明一个实施例的运动相机3D直播***示意图，所述***包括：
运动相机直播支架装置，用于使两个运动相机从相同的角度进行视频拍摄，并获取所述两个运动相机之间的距离，将运动相机之间的距离和各自拍摄得到的视频上传到服务器；
服务器，用于根据视频携带的时间戳和运动相机之间的距离，将两个运动相机拍摄得到的视频合成一个3D视频；
直播模块，用于对合成的3D视频通过流媒体进行直播，供用户观看。
其中，运动相机直播支架装置包括第一运动相机2、第二运动相机3和支架1；第一运动相机2、第二运动相机3和***支架1至少其中之一具有与服务器通讯的数据传输模块；第一运动相机2和第二运动相机3通过支架3固定且并行放置；第一运动相机2用于获取每一帧视频图像均带有时间戳的第一视频，第二运动相机3用于获取每一帧视频图像均带有时间戳的第二视频，第一运动相机2和第二运动相机3在连接支架后获得两相机之间的间距。
所述的服务器包括：
同步帧对挑选单元，对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，得到同步帧对；
视差计算单元，用于对每一个同步帧对进行图像匹配，并计算出视差数据；
深度计算单元，用于根据视差数据，结合两个运动相机的距离，计算得出深度数据；
3D图像帧生成单元，用于利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
3D视频合成单元，用于将形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
所述的数据传输模块包括但不限于WIFI模块、3G通讯模块或4G LTE通讯模块；相应地，所述运动相机将视频传输给服务器的方式包括但不限于WIFI通讯传输、3G通讯传输或4G LTE通讯传输。
本发明中对两个运动相机拍摄得到的视频进行合成处理，得到3D视频进行直播,让观众在观看直播的过程中能有身临其境的感觉，提升用户体验和运动相机的运用价值，对运动相机的直播技术的发展起到了很大的作用；基于两个运动相机拍摄得到的每一帧视频图像时间戳，来进行视频图像的3D合成，运动相机不需要同时开始直播，服务器会将时间戳相差不超过阈值的帧图像，作为同一时间拍摄的视频图像帧进行合成，极大减小了操作难度。

Claims (11)

1.一种实现运动相机3D视频直播的方法，其特征在于：包括以下步骤：
利用两个运动相机以相同的视角进行视频拍摄，并获取测量所述两个运动相机之间的距离；
将运动相机之间的距离和各自拍摄得到的视频上传到服务器；
服务器根据视频携带的时间戳和运动相机之间的距离对两个运动相机拍摄得到的视频进行合成处理，得到3D视频；
服务器对3D视频进行直播。
2.根据权利要求1所述的一种实现运动相机3D视频直播的方法，其特征在于：利用两个运动相机以相同的视角进行视频拍摄的步骤包括：
将第一运动相机和第二运动相机通过支架固定且并行放置；
使第一运动相机和第二运动相机保持相同的拍摄角度；
利用第一运动相机拍摄得到每一帧视频图像均带有时间戳的第一视频；
利用第二运动相机拍摄得到每一帧视频图像均带有时间戳的第二视频。
3.根据权利要求2所述的一种实现运动相机3D视频直播的方法，其特征在于：利用两个运动相机以相同的视角进行视频拍摄的步骤还包括：
使第一运动相机和第二运动相机在拍摄开始前进行时间同步。
4.根据权利要求2所述的一种实现运动相机3D视频直播的方法，其特征在于：获取测量所述两个运动相机之间距离的步骤包括：
将第一运动相机和第二运动相机分别通过支架上的两个连接器固定；
第一运动相机和第二运动相机获取两连接器之间的距离。
5.根据权利要求4所述的一种实现运动相机3D视频直播的方法，其特征在于：所述第一运动相机和第二运动相机底部分别具有机械式固定卡口和位于卡口旁边的霍尔传感器；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理***，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有位置固定的第一连接器和第二连接器，用于分别与第一运动相机和第二运动相机的机械式固定卡口连接；支架上在第一连接器附近和第二连接器附近，还分别设置有第一磁铁和第二磁铁；
所述第一运动相机和第二运动相机上的霍尔传感器感应到磁场变化时，两台相机的数据处理***获取预存的第一连接器和第二连接器的固定距离，作为两个运动相机之间的距离信息。
6.根据权利要求4所述的一种实现运动相机3D视频直播的方法，其特征在于：所述第一运动相机和第二运动相机底部均具有机电式固定卡口，用于与支架建立机械连接和电连接；且所述第一运动相机和第二运动相机均分别具有无线通信模块和数据处理***，能够相互建立无线连接，以及分别连接到远程服务器；支架上设置有可滑动的第三连接器和第四连接器，用于分别与第一运动相机和第二运动相机的机电式固定卡口相连接；支架还设置有由导体材料构成的滑轨和电阻检测模块，第三连接器和第四连接器能够在支架的滑轨上运动，并通过导体与滑轨接触形成一个滑动变阻器，电阻检测模块用于检测当前滑动变阻器的阻值；
当第一运动相机与第二运动相机在支架上固定完成后，电阻检测模块开始工作，测定当前滑动变阻器阻值，并通过第三连接器和第四连接器，将阻值信息分别向第一运动相机和第二运动相机传输；第一运动相机和第二运动相机获取到阻值信息后，与预存的滑动变阻器信息进行比对运算，获得当前第一运动相机与第二运动相机之间的间距。
7.根据权利要求1所述的一种实现运动相机3D视频直播的方法，其特征在于：对两个运动相机拍摄得到的视频进行合成处理包括以下子步骤：
对两个视频的各帧的时间戳进行识别，挑选出同步帧对；
将每一个同步帧对中进行图像匹配，并计算出视差数据；
根据视差数据，结合两个运动相机的距离，计算得出深度数据；
利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
将同步帧对形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
8.根据权利要求7所述的一种实现运动相机3D视频直播的方法，其特征在于：所述图像帧对的挑选步骤包括：对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，该两帧图像即为所述的同步帧对。
9.一种实现运动相机3D视频直播的***，其特征在于：包括：
运动相机直播支架装置，用于使两个运动相机从相同的角度进行视频拍摄，并获取所述两个运动相机之间的距离，将运动相机之间的距离和各自拍摄得到的视频上传到服务器；
服务器，用于根据视频携带的时间戳和运动相机之间的距离，将两个运动相机拍摄得到的视频合成一个3D视频；
直播模块，用于对合成的3D视频进行直播。
10.根据权利要求9所述的一种实现运动相机3D视频直播的***，其特征在于：所述的运动相机直播支架装置包括第一运动相机、第二运动相机和支架；第一运动相机、第二运动相机和***支架至少其中之一具有与服务器通讯的数据传输模块；
第一运动相机和第二运动相机通过支架固定且并行放置；第一运动相机用于获取每一帧视频图像均带有时间戳的第一视频，第二运动相机用于获取每一帧视频图像均带有时间戳的第二视频，且第一运动相机和第二运动相机在连接支架后获取两相机之间的间距。
11.根据权利要求9所述的一种实现运动相机3D视频直播的***，其特征在于：所述的服务器包括：
同步帧对挑选单元，对于来自第一视频的每一帧图像，从第二视频挑选出于其时间戳相差不超过阈值的帧图像，得到同步帧对；
视差计算单元，用于对每一个同步帧对进行图像匹配，并计算出视差数据；
深度计算单元，用于根据视差数据，结合两个运动相机的距离，计算得出深度数据；
3D图像帧生成单元，用于利用同步帧对的匹配结果和对应的深度数据，计算得出3D图像的立体信息，形成3D图像帧；
3D视频合成单元，用于将形成的3D图像帧按照对应时间戳信息进行排列，并合成3D视频。
CN201611258705.9A 2016-12-30 2016-12-30 一种实现运动相机3d视频直播的方法及*** Pending CN106851242A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611258705.9A CN106851242A (zh) 2016-12-30 2016-12-30 一种实现运动相机3d视频直播的方法及***
PCT/CN2017/120089 WO2018121768A1 (en) 2016-12-30 2017-12-29 Systems and methods for three-dimensional live streaming
US16/465,843 US20200029066A1 (en) 2016-12-30 2017-12-29 Systems and methods for three-dimensional live streaming

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611258705.9A CN106851242A (zh) 2016-12-30 2016-12-30 一种实现运动相机3d视频直播的方法及***

Publications (1)

Publication Number Publication Date
CN106851242A true CN106851242A (zh) 2017-06-13

Family

ID=59113812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611258705.9A Pending CN106851242A (zh) 2016-12-30 2016-12-30 一种实现运动相机3d视频直播的方法及***

Country Status (3)

Country Link
US (1) US20200029066A1 (zh)
CN (1) CN106851242A (zh)
WO (1) WO2018121768A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121768A1 (en) * 2016-12-30 2018-07-05 Chengdu Ck Technology Co., Ltd. Systems and methods for three-dimensional live streaming
CN109936677A (zh) * 2017-12-15 2019-06-25 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
WO2020006657A1 (zh) * 2018-07-02 2020-01-09 深圳市大疆创新科技有限公司 视频拍摄处理方法、设备以及视频拍摄处理***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670282B (zh) * 2017-10-17 2023-12-22 深圳富泰宏精密工业有限公司 解锁***、解锁方法及电子装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
CN201845171U (zh) * 2010-08-20 2011-05-25 上海立体数码科技发展有限公司 摄像模组
JP2011135294A (ja) * 2009-12-24 2011-07-07 Sony Corp カメラシステム及びカメラ制御方法
CN102238407A (zh) * 2010-04-21 2011-11-09 刘家方 可裸眼观看的立体视频直播装置及其使用方法和应用
WO2012111970A2 (ko) * 2011-02-16 2012-08-23 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
CN204697159U (zh) * 2015-06-16 2015-10-07 成都西可科技有限公司 一种支持实时视频直播的运动相机
CN105472374A (zh) * 2015-11-19 2016-04-06 广州华多网络科技有限公司 一种3d视频直播方法、装置及***
CN105791885A (zh) * 2016-03-31 2016-07-20 成都西可科技有限公司 一种运动相机上通过一键发起视频直播的方法
CN105847851A (zh) * 2016-04-19 2016-08-10 北京金山安全软件有限公司 全景视频直播方法、装置和***以及视频源控制设备
CN106019590A (zh) * 2016-07-05 2016-10-12 上海乐相科技有限公司 一种虚拟现实设备及间距调整方法
CN106210525A (zh) * 2016-07-29 2016-12-07 乐视控股（北京）有限公司 用于实现视频直播的相机及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102480622A (zh) * 2010-11-30 2012-05-30 比亚迪股份有限公司 立体图像获取方法及***、移动终端
CN106851242A (zh) * 2016-12-30 2017-06-13 成都西纬科技有限公司 一种实现运动相机3d视频直播的方法及***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
JP2011135294A (ja) * 2009-12-24 2011-07-07 Sony Corp カメラシステム及びカメラ制御方法
CN102238407A (zh) * 2010-04-21 2011-11-09 刘家方 可裸眼观看的立体视频直播装置及其使用方法和应用
CN201845171U (zh) * 2010-08-20 2011-05-25 上海立体数码科技发展有限公司 摄像模组
WO2012111970A2 (ko) * 2011-02-16 2012-08-23 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
CN204697159U (zh) * 2015-06-16 2015-10-07 成都西可科技有限公司 一种支持实时视频直播的运动相机
CN105472374A (zh) * 2015-11-19 2016-04-06 广州华多网络科技有限公司 一种3d视频直播方法、装置及***
CN105791885A (zh) * 2016-03-31 2016-07-20 成都西可科技有限公司 一种运动相机上通过一键发起视频直播的方法
CN105847851A (zh) * 2016-04-19 2016-08-10 北京金山安全软件有限公司 全景视频直播方法、装置和***以及视频源控制设备
CN106019590A (zh) * 2016-07-05 2016-10-12 上海乐相科技有限公司 一种虚拟现实设备及间距调整方法
CN106210525A (zh) * 2016-07-29 2016-12-07 乐视控股（北京）有限公司 用于实现视频直播的相机及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121768A1 (en) * 2016-12-30 2018-07-05 Chengdu Ck Technology Co., Ltd. Systems and methods for three-dimensional live streaming
CN109936677A (zh) * 2017-12-15 2019-06-25 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN109936677B (zh) * 2017-12-15 2021-07-27 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN113395409A (zh) * 2017-12-15 2021-09-14 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN113395409B (zh) * 2017-12-15 2022-10-11 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
WO2020006657A1 (zh) * 2018-07-02 2020-01-09 深圳市大疆创新科技有限公司 视频拍摄处理方法、设备以及视频拍摄处理***

Also Published As

Publication number Publication date
WO2018121768A1 (en) 2018-07-05
US20200029066A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN106851242A (zh) 一种实现运动相机3d视频直播的方法及***
US11363240B2 (en) System and method for augmented reality multi-view telepresence
Stankiewicz et al. A free-viewpoint television system for horizontal virtual navigation
US10003786B2 (en) Method and system of 3D image capture with dynamic cameras
US9445081B1 (en) Method and system of 3D image capture with dynamic cameras
CN101651841B (zh) 一种立体视频通讯的实现方法、***和设备
US10785443B2 (en) Augmented reality video stream synchronization across a network
EP3516873A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
US20070147827A1 (en) Methods and apparatus for wireless stereo video streaming
CN107948577A (zh) 一种全景视讯会议的方法及其***
CN101600124B (zh) 图像编码设备和图像编码方法
JP2013511176A (ja) マルチビューセッションキャプチャにおけるカメラ同期
CN107592452B (zh) 一种全景音视频采集设备及方法
WO2018222229A1 (en) Methods and systems for using 2d captured imagery of a scene to provide virtual reality content
CN103716611A (zh) 具有运动传感器的用于立体视频的设备和方法
US20200372933A1 (en) Image acquisition system and method
CN107172413A (zh) 现实场景视频显示方法和***
CN106980369A (zh) 虚拟现实项目的第三视角视频的合成和输出***及方法
CN110139095B (zh) 一种裸眼3d显示模组检测方法、***和可读存储介质
CN110798676A (zh) 一种利用内镜镜头动态图像形成3d视觉的方法及装置
US20190132577A1 (en) Stereoscopic calibration using a multi-planar calibration target
CN104982038B (zh) 处理视频信号的方法和设备
EP2590419A2 (en) Multi-depth adaptation for video content
CN202135264U (zh) 立体拍摄模组
CN114040184B (zh) 图像显示方法、***、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613