WO2018094866A1 - 一种基于无人机的全景直播方法及终端 - Google Patents

一种基于无人机的全景直播方法及终端 Download PDF

Info

Publication number
WO2018094866A1
WO2018094866A1 PCT/CN2017/071411 CN2017071411W WO2018094866A1 WO 2018094866 A1 WO2018094866 A1 WO 2018094866A1 CN 2017071411 W CN2017071411 W CN 2017071411W WO 2018094866 A1 WO2018094866 A1 WO 2018094866A1
Authority
WO
WIPO (PCT)
Prior art keywords
live broadcast
panoramic live
picture
viewing angles
different viewing
Prior art date
Application number
PCT/CN2017/071411
Other languages
English (en)
French (fr)
Inventor
刘均
宋朝忠
欧阳张鹏
Original Assignee
深圳市元征科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市元征科技股份有限公司 filed Critical 深圳市元征科技股份有限公司
Publication of WO2018094866A1 publication Critical patent/WO2018094866A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to the field of terminal technologies, and in particular, to a panoramic live broadcast method and terminal based on a drone.
  • the current live program is usually obtained by shooting with a personal shoulder camera, or in a large scene, such as a football field, by a plurality of fixed cameras, and then selecting different ones according to needs.
  • the camera captures the live broadcast; the live broadcast effect is too single, and the angle of the live broadcast is fixed.
  • the user cannot operate the live broadcast according to the perspective that he wants to watch.
  • the live broadcast is not good and the user experience is poor.
  • the technical problem to be solved by the embodiments of the present invention is to provide a panoramic live broadcast method and a terminal based on a drone, which can realize multi-directional and multi-angle panoramic live broadcast and improve the flexibility of the live broadcast picture.
  • the embodiment of the present invention provides a method for panoramic live broadcast based on a drone, wherein the drone includes M cameras, and the M cameras are installed in a support orientation and/or On the gimbal of the pitch angle adjustment, the method includes:
  • the seamlessly splicing the captured images of the different viewing angles to generate a corresponding panoramic live broadcast image includes:
  • the parallel display manner includes a display manner arranged side by side in a horizontal direction, or a display manner arranged side by side in a vertical direction;
  • the master-slave display manner includes a picture-in-picture manner.
  • the seamlessly splicing the captured images of the different viewing angles to generate a corresponding panoramic live broadcast image includes:
  • the method further includes:
  • the embodiment of the present invention further provides a terminal, where the terminal includes:
  • a receiving module configured to receive, by the M cameras on the drone, a shooting picture of different angles of view acquired by the shooting object, where the shooting pictures of different viewing angles include shooting pictures of different orientations and/or elevation angles;
  • the drone includes M cameras, and the M camera portions are mounted on a pan/tilt that supports azimuth and/or pitch angle adjustment;
  • a generating module configured to seamlessly splicing the captured images of different views to generate a corresponding panoramic video
  • the push module is configured to push the panoramic live broadcast screen to the corresponding live broadcast client to play the panoramic live broadcast screen.
  • the generating module is specifically configured to seamlessly splicing the shooting images of different viewing angles according to the set parallel display mode or the master-slave display mode, to obtain a combined panoramic live broadcast screen;
  • the generating module is further configured to collect the synthesized panoramic live broadcast screen by using a dynamic rate adaptive technology, and perform encoding processing on the collected panoramic live broadcast screen to obtain The encoded panoramic live view.
  • the parallel display manner includes a display manner arranged side by side in a horizontal direction or a display manner arranged side by side in a vertical direction; the master-slave display manner includes a picture-in-picture manner.
  • the generating module is configured to perform three-dimensional reconstruction on the captured images of the different viewing angles according to a set frequency, to generate a corresponding panoramic live broadcast image of the captured object in a three-dimensional space;
  • the generating module is further configured to perform coding and optimization on a panoramic live picture of the captured object in a three-dimensional space, to obtain a coded panoramic live broadcast picture.
  • the generating module is further configured to: when the receiving frame sent by any one or more of the M cameras is not received, generate corresponding prompt information to prompt the corresponding camera to malfunction.
  • Embodiments of the present invention may follow a shooting picture of different viewing angles acquired by a shooting object by receiving M cameras mounted on the drone, and the shooting pictures of different viewing angles include shooting pictures with different orientations and/or elevation angles.
  • the M cameras are partially mounted on the pan/tilt of the drone that supports the azimuth and/or elevation adjustment, and then seamlessly splicing the captured images of the different views to generate a corresponding panoramic live view.
  • the panoramic live broadcast screen is pushed to the corresponding live broadcast client to play the panoramic live broadcast screen; thus, the multi-directional or multi-angle panoramic live broadcast can be realized, and the flexibility of the live broadcast screen is improved.
  • FIG. 1 is a schematic flow chart of a method for panoramic live broadcast based on a drone according to an embodiment of the present invention
  • FIG. 2 is a schematic flow chart of another method for panoramic live broadcast based on a drone according to an embodiment of the present invention
  • FIG. 3 is a schematic structural diagram of a terminal according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of another terminal according to an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of a method for a live broadcast of a drone based on a drone according to an embodiment of the present invention.
  • the method of the embodiment of the present invention can be applied to, for example, a smart phone, a tablet, and a smart wearable device.
  • a terminal with a communication network function it can be specifically implemented by a processor of these terminals.
  • the method of an embodiment of the invention further comprises the following steps.
  • the M cameras installed by the receiving drone follow the shooting images of different viewing angles collected by the shooting object, and the shooting images of the different viewing angles include shooting images of different orientations and/or elevation angles, and the M cameras.
  • Partially mounted on the head of the drone that supports azimuth and/or pitch angle adjustment.
  • the user can install a fixed camera with a fixed azimuth and a fixed angle (ie, the shooting angle is not adjustable) on the drone, and can also pass the gimbal (pTZ controller) on the drone.
  • the mobile camera can be adjusted by installing some orientations and/or shooting angles (ie, pitch angles).
  • the number of the fixed camera and the moving camera can be one or more. When the number of the fixed camera and the moving camera exceeds two, The fixed camera and the mobile camera may refer to the same camera or different cameras, which are not limited in the embodiment of the present invention.
  • the user can operate the drone to make a follow-up of the photographed object as the photographed object moves, that is, by using a plurality of cameras mounted on the drone, here set For M, M is a positive integer, M is an integer greater than or equal to 1. When M is 1 ⁇ , then this camera can be selected as a mobile camera to be installed on the drone through a pan/tilt or pan/tilt controller. When M is a positive integer greater than 1, you can arbitrarily choose to install some fixed cameras and some mobile cameras on the drone.
  • the embodiment of the invention is not limited.
  • the M cameras can follow the flight dynamics of the drone to take a photographing object (such as a person) that needs to be photographed, and optionally the M cameras can also communicate by wire/wireless communication (such as data). Line, WIFI, Bluetooth, etc.)
  • the M cameras are sent to the corresponding terminals with the different viewing angles (ie different orientations and/or different pitch angles) captured by the subject.
  • the terminal receives a shooting picture of different angles of view collected by the M cameras on the drone and the captured object.
  • the terminal may include an Internet device such as a smart phone (such as an Android mobile phone, an IOS mobile phone, etc.), a personal computer, a tablet computer, a palmtop computer, a mobile Internet device (MID, Mobile Internet Devices), or a wearable smart device, and the present invention
  • a smart phone such as an Android mobile phone, an IOS mobile phone, etc.
  • a personal computer such as an Android mobile phone, an IOS mobile phone, etc.
  • a tablet computer such as a tablet computer, a palmtop computer, a mobile Internet device (MID, Mobile Internet Devices), or a wearable smart device
  • MID Mobile Internet Devices
  • S102 Seamlessly stitch the captured images of different viewing angles to generate a corresponding panoramic live broadcast screen.
  • the terminal may analyze the captured images of different views obtained above, and then seamlessly splicing/synthesizing to generate a corresponding panoramic live view.
  • the seamlessly splicing the captured images of the different viewing angles to generate a corresponding panoramic live broadcast image includes:
  • the terminal may rearrange the shooting pictures of the different viewing angles according to the set parallel sorting display manner or the master-slave sorting display manner, and perform no Splicing or splicing to obtain a synthesized panoramic live broadcast screen; further, the terminal may further perform sampling and collecting the synthesized panoramic live broadcast screen by using dynamic rate adaptive technology, and then set the collected panoramic live broadcast screen. Encoding/compression processing of the format to obtain a coded panoramic live view. It should be understood that in order to ensure the security of the transmission without losing frames, some video streams are usually encoded and transmitted, which reduces the occupation of bandwidth resources and ensures the security of the transmitted data.
  • the parallel display manner includes a display manner arranged side by side in a horizontal direction, or a display manner arranged side by side in a vertical direction;
  • the master-slave display manner includes a picture-in-picture manner.
  • the parallel sort display manner of the embodiment of the present invention may refer to performing in a horizontal direction.
  • the arrangement of the left and right screens may be arranged in a vertical direction, or alternatively, the arrangement of any structure or pattern in the set direction (arbitrary direction).
  • the master-slave sorting display mode may be a sorting display manner according to a picture-in-picture display, or a layer overlay/coverage, or another sorting display manner, which is not limited in the embodiment of the present invention.
  • the seamlessly splicing the captured images of the different viewing angles to generate a corresponding panoramic live broadcast image includes:
  • the terminal may perform three-dimensional reconstruction on the captured images of the different viewing angles according to the set operating frequency (ie, the set frequency) to generate
  • the panoramic live view of the three-dimensional ie, three-dimensional space
  • the terminal can encode and optimize the formed three-dimensional panoramic live broadcast image (such as removing the edge).
  • the terminal may directly convert the encoded panoramic live broadcast screen or directly display the panoramic live broadcast screen.
  • the panoramic live broadcast screen; or the client receives the unencoded panoramic live broadcast screen, then the panoramic live broadcast screen can be directly played.
  • the method further includes:
  • corresponding prompt information is generated to prompt the corresponding camera to malfunction.
  • the terminal may detect that the terminal does not receive one or more of the M cameras to capture and send the captured image, and the terminal may generate corresponding prompt information to prompt the user to view the corresponding camera. Not a malfunction or damage.
  • Embodiments of the present invention may follow a shooting image of different viewing angles acquired by a shooting object by receiving M cameras mounted on the drone, and the shooting images of the different viewing angles include shooting images of different orientations and/or elevation angles.
  • the M cameras are partially mounted on the pan/tilt of the drone that supports the azimuth and/or elevation adjustment, and then seamlessly splicing the captured images of the different views to generate a corresponding panoramic live view.
  • the panoramic live broadcast screen is pushed to the corresponding live broadcast client to play the panoramic live broadcast screen; thus, the multi-directional or multi-angle panoramic live broadcast can be realized, and the flexibility of the live broadcast screen is improved.
  • FIG. 2 is a schematic flowchart of another method for a live broadcast of a drone based on an embodiment of the present invention.
  • the method of the embodiment of the present invention can be applied to, for example, a smart phone, a tablet, and a smart wearable.
  • a terminal with a communication network function such as a device, the processor of these terminals can be specifically implemented.
  • the method of an embodiment of the invention further comprises the following steps.
  • the M cameras in the receiving drone follow the shooting images of different viewing angles collected by the shooting object, and the shooting images of the different viewing angles include shooting images of different orientations and/or elevation angles.
  • S202 seamlessly splicing the captured images of different viewing angles according to the set parallel display mode or the master-slave display mode, to obtain a combined panoramic live broadcast screen; wherein the parallel display manner includes horizontal directions The display mode of the side-by-side arrangement, or the display mode arranged side by side in the vertical direction; the master-slave display mode includes a picture-in-picture mode.
  • S203 Collect the synthesized panoramic live broadcast screen by using a dynamic rate adaptive technology, and perform encoding processing on the collected panoramic live broadcast screen to obtain a coded panoramic live broadcast screen.
  • S204 Perform three-dimensional reconstruction on the captured images of the different viewing angles according to the set frequency to generate a corresponding panoramic live broadcast image of the captured object in a three-dimensional space.
  • S205 Perform coding and optimization on a panoramic live picture of the captured object in a three-dimensional space to obtain a coded panoramic live broadcast picture.
  • Embodiments of the present invention may follow a shooting image of different viewing angles acquired by a shooting object by receiving M cameras mounted on the drone, and the shooting images of the different viewing angles include shooting images of different orientations and/or elevation angles.
  • the M cameras are partially mounted on the pan/tilt of the drone that supports the azimuth and/or elevation adjustment, and then seamlessly splicing the captured images of the different views to generate a corresponding panoramic live view.
  • the panoramic live broadcast screen is pushed to the corresponding live broadcast client to play the panoramic live broadcast screen; thus, the multi-directional or multi-angle panoramic live broadcast can be realized, and the flexibility of the live broadcast screen is improved.
  • the terminal 3 of the embodiment of the present invention includes:
  • the receiving module 30 is configured to receive a shooting image of different angles of view captured by the M cameras on the drone, and the shooting images of the different viewing angles include shooting images of different orientations and/or elevation angles;
  • the drone includes M cameras, and the M camera portions are mounted on a pan/tilt that supports azimuth and/or pitch angle adjustment;
  • a generating module 31 configured to seamlessly splicing the captured images of the different viewing angles to generate a corresponding panoramic live broadcast screen
  • the push module 32 is configured to push the panoramic live broadcast screen to the corresponding live broadcast client to play the panoramic live broadcast screen.
  • the generating module 31 is specifically configured to seamlessly splicing the shooting images of the different viewing angles according to the set parallel display mode or the master-slave display mode, to obtain a combined panoramic live broadcast screen;
  • the generating module 31 is further configured to collect the synthesized panoramic live broadcast screen by using a dynamic rate adaptive technology, and perform encoding processing on the collected panoramic live broadcast screen, Get the encoded panoramic live view.
  • the parallel display manner includes a display manner arranged side by side in a horizontal direction or a display manner arranged side by side in a vertical direction; the master-slave display manner includes a picture-in-picture manner.
  • the generating module 31 is configured to perform three-dimensional reconstruction on the captured images of the different viewing angles according to a set frequency, to generate a corresponding panoramic live broadcast image of the captured object in a three-dimensional space;
  • the generating module 31 is further configured to perform encoding and optimization on a panoramic live view of the captured object in a three-dimensional space to obtain a coded panoramic live broadcast screen.
  • the generating module 31 is further configured to: when the receiving frame sent by any one or more of the M cameras is not received, generate corresponding prompt information to prompt that the corresponding camera is faulty.
  • Embodiments of the present invention may follow a shooting picture of different viewing angles acquired by a shooting object by receiving M cameras mounted on the drone, and the shooting pictures of different viewing angles include shooting pictures of different orientations and/or elevation angles.
  • the M cameras are partially mounted on the pan/tilt of the drone that supports the azimuth and/or elevation adjustment, and then seamlessly splicing the captured images of the different views to generate a corresponding panoramic live view.
  • the panoramic live broadcast screen is pushed to the corresponding live broadcast client to play the panoramic live broadcast screen; thus, the multi-directional or multi-angle panoramic live broadcast can be realized, and the flexibility of the live broadcast screen is improved.
  • the terminal may be a device with a communication network function, such as a smart phone, a tablet computer, or an intelligent wearable device.
  • the terminal in the embodiment of the present invention may include a display screen, a button, a speaker, a pickup, and the like. And further comprising: at least one bus 501, at least one processor 502 connected to the bus 501, and at least one memory 503 connected to the bus 501, a communication device 505 implementing a communication function, and a power supply device 504 for powering each power consumption module of the terminal. .
  • the processor 502 can call the code stored in the memory 503 to perform related functions through the bus 501, where the memory 503 includes an operating system and a data transfer application.
  • the processor 502 is configured to: [0096] The M cameras in the receiving drone follow the shooting images of different viewing angles acquired by the shooting object, and the shooting images of the different viewing angles include shooting images with different orientations and/or elevation angles;
  • processor 502 is specifically configured to:
  • the parallel display manner includes a display manner arranged side by side in a horizontal direction or a display manner arranged side by side in a vertical direction; the master-slave display manner includes a picture-in-picture manner.
  • processor 502 is specifically configured to:
  • processor 502 is further configured to:
  • the embodiment of the present invention can follow the shooting pictures of different viewing angles collected by the shooting object by receiving M cameras mounted on the drone, and the shooting pictures of different viewing angles include shooting pictures with different orientations and/or elevation angles.
  • the M cameras are partially mounted on the pan/tilt of the drone that supports the azimuth and/or elevation adjustment, and then seamlessly splicing the captured images of the different views to generate a corresponding panoramic live view.
  • the panoramic live broadcast screen is pushed to the corresponding live broadcast client to play the panoramic live broadcast screen; thus, the multi-directional or multi-angle panoramic live broadcast can be realized, and the flexibility of the live broadcast screen is improved.
  • the embodiment of the present invention further provides a computer storage medium, wherein the computer storage medium may store a program, where the program execution includes some or all of the drone-based panoramic live broadcast method described in the foregoing method embodiment. step.
  • the disclosed apparatus may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division, and the actual implementation may have another division manner, for example, multiple units or components may be combined or may be Integration into another system, or some features can be ignored, or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical or otherwise.
  • the unit described as a separate component may or may not be physically distributed.
  • the component displayed as a unit may or may not be a physical unit, that is, may be located in one place, or may be distributed to multiple On the network unit. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented either in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention contributes in essence or to the prior art or all or part of the technical solution. It may be embodied in the form of a software product stored in a storage medium, comprising instructions for causing a computer device (which may be a personal computer, server or network device, etc.) to perform the embodiments of the present invention. All or part of the steps of the method.
  • the foregoing storage medium includes: a USB flash drive, a read only memory (ROM, Read-Only)
  • RAM Random Access Memory
  • removable hard disk disk or optical disk, and other media that can store program code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种基于无人机的全景直播方法及终端，其中，所述无人机包括M个摄像头，所述摄像头被安装在支持方位和/或俯仰角调节的云台上，所述方法包括：接收所述无人机中的M个摄像头跟随拍摄物体所采集的不同视角的拍摄画面，所述不同视角的拍摄画面包括不同方位和/或俯仰角的拍摄画面；对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直播画面；将所述全景直播画面推送给对应的直播客户端，以播放所述全景直播画面。采用本发明实施例，可实现多方位多角度的全景直播。

Description

一种基于无人机的全景直播方法及终端
[0001] 技术领域
[0002] 本发明涉及终端技术领域， 尤其涉及一种基于无人机的全景直播方法及终端。
[0003] 背景技术
[0004] 随着网络技术的不断发展， 网络技术的应用现已普及到社会生活的方方面面， 曾经只能通过电视观看直播节目， 现在已经能够通过网络观看直播， 方便了人 们的生活。
[0005] 目前的直播节目， 通常是通过个人肩抗摄像机进行拍摄所获取的， 或是在大形 场景下， 如足球场等， 由多个固定的摄像头进行拍摄， 然后根据需要， 选择不 同的摄像头拍摄画面进行直播； 上述直播效果过于单一， 并且直播画面的角度 都是固定可不变的， 用户不能根据自己想要观看的视角来操作直播画面， 直播 效果不佳、 用户体验差。
[0006] 发明内容
[0007] 本发明实施例所要解决的技术问题在于， 提供一种基于无人机的全景直播方法 及终端， 可实现多方位多角度的全景直播， 提升直播画面的灵活性。
[0008] 一方面， 本发明实施例公幵提供了一种基于无人机的全景直播方法， 所述无人 机包括 M个摄像头， 且所述 M个摄像头部分被安装在支持方位和 /或俯仰角调节 的云台上， 所述方法包括：
[0009] 接收所述无人机中的 M个摄像头跟随拍摄物体所采集的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面；
[0010] 对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直播画面；
[0011] 将所述全景直播画面推送给对应的直播客户端， 以播放所述全景直播画面。
[0012] 其中可选地， 所述对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景 直播画面， 包括：
[0013] 按照设定的并列显示方式或主从显示方式， 对所述不同视角的拍摄画面进行无 缝拼接， 得到合成后的全景直播画面； 还包括： [0014] 采用动态码率自适应技术对所述合成后的全景直播画面进行采集， 并对所述采 集的全景直播画面进行设定格式的编码处理， 以得到编码后的全景直播画面。
[0015] 其中可选地， 所述并列显示方式包括按照水平方向并列排布的显示方式、 或按 照竖直方向并列排布的显示方式； 所述主从显示方式包括画中画方式。
[0016] 其中可选地， 所述对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景 直播画面， 包括：
[0017] 按照设定频率对所述不同视角的拍摄画面进行三维重构， 以生成对应的所述拍 摄物体在三维空间中的全景直播画面； 还包括：
[0018] 对所述拍摄物体在三维空间中的全景直播画面进行设定格式的编码和优化， 得 到编码后的全景直播画面。
[0019] 其中可选地， 所述方法还包括：
[0020] 当接收不到所述 M个摄像头中的任意一个或多个摄像头发送的拍摄画面吋， 生 成对应的提示信息， 以提示对应摄像头出现故障。
[0021] 另一方面， 本发明实施例还公幵提供了一种终端， 所述终端包括：
[0022] 接收模块， 用于接收无人机上 M个摄像头跟随拍摄物体所采集的不同视角的拍 摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面； 其中
， 所述无人机包括 M个摄像头， 且所述 M个摄像头部分被安装在支持方位和 /或 俯仰角调节的云台上；
[0023] 生成模块， 用于对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直 播画面；
[0024] 推送模块， 用于将所述全景直播画面推送给对应的直播客户端， 以播放所述全 景直播画面。
[0025] 其中可选地，
[0026] 所述生成模块， 具体用于按照设定的并列显示方式或主从显示方式， 对所述不 同视角的拍摄画面进行无缝拼接， 得到合成后的全景直播画面；
[0027] 所述生成模块， 还具体用于用动态码率自适应技术对所述合成后的全景直播画 面进行采集， 并对所述采集的全景直播画面进行设定格式的编码处理， 以得到 编码后的全景直播画面。 [0028] 其中可选地， 所述并列显示方式包括按照水平方向并列排布的显示方式、 或按 照竖直方向并列排布的显示方式； 所述主从显示方式包括画中画方式。
[0029] 其中可选地，
[0030] 所述生成模块， 具体用于按照设定频率对所述不同视角的拍摄画面进行三维重 构， 以生成对应的所述拍摄物体在三维空间中的全景直播画面；
[0031] 所述生成模块， 还具体用于对所述拍摄物体在三维空间中的全景直播画面进行 设定格式的编码和优化， 得到编码后的全景直播画面。
[0032] 其中可选地，
[0033] 所述生成模块， 还用于当接收不到所述 M个摄像头中的任意一个或多个摄像头 发送的拍摄画面吋， 生成对应的提示信息， 以提示对应摄像头出现故障。
[0034] 本发明实施例可通过接收被安装在无人机上的 M个摄像头跟随拍摄物体所采集 的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的 拍摄画面， 其中， 所述 M个摄像头部分安装在支持方位和 /或俯仰角调节的所述 无人机的云台上， 接着对所述不同视角的拍摄画面进行无缝拼接以生成对应的 全景直播画面， 最后将所述全景直播画面推送给对应的直播客户端， 以播放所 述全景直播画面； 这样可实现多方位甚至多角度的全景直播， 提升直播画面的 灵活性。
[0035] 附图说明
[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或 现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的 附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创 造性劳动的前提下， 还可以根据这些附图获得其他的附图。
[0037] 图 1是本发明实施例的一种基于无人机的全景直播方法的流程示意图；
[0038] 图 2是本发明实施例的另一种基于无人机的全景直播方法的流程示意图；
[0039] 图 3是本发明实施例的一种终端的结构示意图；
[0040] 图 4是本发明实施例的另一种终端的结构示意图。
[0041] 具体实施方式
[0042] 为了使本技术领域的人员更好地理解本发明方案， 下面将结合本发明实施例中 的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述 的实施例仅仅是本发明一部分的实施例， 而不是全部的实施例。 基于本发明中 的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其 他实施例， 都应当属于本发明保护的范围。
[0043] 本发明的说明书和权利要求书及上述附图中的术语"第一"、 "第二 "和"第三" （ 如果存在） 等是用于区别不同对象， 而非用于描述特定顺序。 此外， 术语"包括" 以及它们任何变形， 意图在于覆盖不排他的包含。 例如包含了一系列步骤或单 元的过程、 方法、 ***、 产品或设备没有限定于已列出的步骤或单元， 而是可 选地还包括没有列出的步骤或单元， 或可选地还包括对于这些过程、 方法、 产 品或设备固有的其它步骤或单元。
[0044] 请参见图 1， 是本发明实施例的一种基于无人机的全景直播方法的流程示意图 ， 本发明实施例的所述方法可以应用在诸如智能手机、 平板电脑、 智能可穿戴 设备等带通信网络功能的终端中， 具体可由这些终端的处理器来实现。 本发明 实施例的所述方法还包括如下步骤。
[0045] S101、 接收无人机安装的 M个摄像头跟随拍摄物体所采集的不同视角的拍摄画 面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面， 所述 M个 摄像头部分被安装在支持方位和 /或俯仰角调节的所述无人机的云台上。
[0046] 本发明实施例中， 用户可以在无人机上安装一些固定方位、 固定角度 （即拍摄 角度不可调） 的固定摄像头， 还可以通过云台 （云台控制器） 在所述无人机上 安装一些方位和 /或拍摄角度 （即俯仰角度） 可以调整变化的移动摄像头， 上述 固定摄像头和移动摄像头的数量可以是一个或多个， 当所述固定摄像头和移动 摄像头的数量超过两个吋， 所述固定摄像头和移动摄像头可以是指相同的摄像 头或者不同的摄像头， 本发明实施例不作限定。
[0047] 用户可以对所述无人机进行操作， 使其随着拍摄物体移动， 对所述拍摄物体进 行跟拍， 也即是利用安装在所述无人机上的多个摄像头， 这里设定为 M个， M为 正整数， M为大于等于 1的整数， 当 M为 1吋， 那么可以将这一个摄像头选择为移 动摄像头通过云台或云台控制器将其安装到所述无人机上， 当 M为大于 1的正整 数吋， 可以任意选择安装一些固定摄像头和一些移动摄像头在所述无人机上， 本发明实施例不作限定。
[0048] 所述 M个摄像头可以随着无人机的飞行动态跟拍需要拍摄的拍摄物体 （如人等 ) ， 可选地所述 M个摄像头还可以通过有线 /无线通讯的方式 （如数据线、 WIFI 、 蓝牙等） 将所述 M个摄像头跟拍所述拍摄物所采集的不同视角 （即不同方位和 /或不同俯仰角度） 的拍摄画面发送给对应的终端。 所述终端接收所述无人机上 M个摄像头跟拍所述拍摄物体所采集的不同视角的拍摄画面。
[0049] 所述终端可以包括智能手机 （如 Android手机、 IOS手机等） 、 个人电脑、 平板 电脑、 掌上电脑、 移动互联网设备 （MID， Mobile Internet Devices) 或穿戴式智 能设备等互联网设备， 本发明实施例不作限定。
[0050] S102、 对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直播画面。
[0051] 本发明实施例中， 终端可以对上述获取的不同视角的拍摄画面进行分析， 并进 而无缝拼接 /合成以生成对应的全景直播画面。
[0052] 其中可选地， 所述对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景 直播画面， 包括：
[0053] 按照设定的并列显示方式或主从显示方式， 对所述不同视角的直播画面进行无 缝拼接， 得到合成后的全景直播画面； 还包括：
[0054] 采用动态码率自适应技术对所述合成后的全景直播画面进行采集， 并对所述采 集的全景直播画面进行设定格式的编码处理， 以得到编码后的全景直播画面。
[0055] 作为本发明实施例的一种可能的实现方式， 所述终端可以按照设定的并列排序 显示方式或主从排序显示方式来对所述不同视角的拍摄画面进行重排、 以及进 行无缝拼接或合成以得到合成后的全景直播画面； 进一步地所述终端还可以采 用动态码率自适应技术对所述合成后的全景直播画面进行采样采集， 进而对采 集的全景直播画面进行设定格式的编码 /压缩处理， 以得到编码后的全景直播画 面。 应理解的是， 为保证传输的安全不失帧， 通常将一些视频流进行编码再传 输， 减少带宽资源的占用， 还能保证传输数据的安全性。
[0056] 其中可选地， 所述并列显示方式包括按照水平方向并列排布的显示方式、 或按 照竖直方向并列排布的显示方式； 所述主从显示方式包括画中画方式。
[0057] 应理解的是， 本发明实施例张的并列排序显示方式可以是指按照水平方向进行 左右画面的排布显示方式、 又可是指按照竖直方向进行上下画面的排布显示方 式， 可选地， 还可以是指以设定方向 （任意方向） 进行的任意结构或图案的画 面拼接排序显示方式。 所述主从排序显示方式可以是指按照画中画显示、 或图 层覆盖 /掩盖的排序显示方式， 或者其他的排序显示方式， 本发明实施例不作限 定。
[0058] 其中可选地， 所述对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景 直播画面， 包括：
[0059] 按照设定频率对所述不同视角的拍摄画面进行三维重构， 以生成对应的所述拍 摄物体在三维空间中的全景直播画面； 还包括：
[0060] 对所述拍摄物体在三维空间中的全景直播画面进行设定格式的编码和优化， 得 到编码后的全景直播画面。
[0061] 作为本发明实施例的另一种可能的实现方式， 所述终端可以按照设定的运行频 率 （即设定频率） 对获取的所述不同视角的拍摄画面进行三维重构， 以生成三 维立体 （即三维空间） 的全景直播画面， 使得用户观赏更有真实感、 有趣味性 ； 进而所述终端可以将构成的三维立体的全景直播画面进行设定格式的编码以 及优化 （如去除边角、 或分辨率较低的画面 /码流等） 得到编码后的全景直播画 面。
[0062] S103、 将所述全景直播画面推送给对应的直播客户端， 以播放所述全景直播画 面。
[0063] 本发明实施例中， 所述终端得到编码后的全景直播画面后， 或得到上述无缝拼 接得到全景直播画面后， 所述终端可以将编码后的全景直播画面或直接将全景 直播画面通过网络发送给对应的直播客户端或观众客户端， 以便在客户端接收 到编码后的全景直播画面吋， 先对其进行解码以还原出对应的全景直播画面， 进而在客户端侧来播放该全景直播画面； 或者客户端接收没编码的全景直播画 面， 那么可以直接播放该全景直播画面。
[0064] 其中可选地， 所述方法还包括：
[0065] 当接收不到所述 M个摄像头中的任意一个或多个摄像头发送的拍摄画面吋， 生 成对应的提示信息， 以提示对应摄像头出现故障。 [0066] 所述终端在检测到本终端接收不了 M个摄像头中的一个或多个摄像头拍摄和发 送的拍摄画面吋， 所述终端可以生成对应的提示信息， 以提示用户査看对应的 摄像头是不是出现故障或损坏了。
[0067] 本发明实施例可通过接收被安装在无人机上的 M个摄像头跟随拍摄物体所采集 的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的 拍摄画面， 其中， 所述 M个摄像头部分安装在支持方位和 /或俯仰角调节的所述 无人机的云台上， 接着对所述不同视角的拍摄画面进行无缝拼接以生成对应的 全景直播画面， 最后将所述全景直播画面推送给对应的直播客户端， 以播放所 述全景直播画面； 这样可实现多方位甚至多角度的全景直播， 提升直播画面的 灵活性。
[0068] 请参见图 2， 是本发明实施例的另一种基于无人机的全景直播方法的流程示意 图， 本发明实施例的所述方法可以应用在诸如智能手机、 平板电脑、 智能可穿 戴设备等带通信网络功能的终端中， 具体可由这些终端的处理器来实现。 本发 明实施例的所述方法还包括如下步骤。
[0069] S201、 接收无人机中的 M个摄像头跟随拍摄物体所采集的不同视角的拍摄画面 ， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面。
[0070] S202、 按照设定的并列显示方式或主从显示方式， 对所述不同视角的拍摄画面 进行无缝拼接， 得到合成后的全景直播画面； 其中， 所述并列显示方式包括按 照水平方向并列排布的显示方式、 或按照竖直方向并列排布的显示方式； 所述 主从显示方式包括画中画方式。
[0071] S203、 采用动态码率自适应技术对所述合成后的全景直播画面进行采集， 并对 所述采集的全景直播画面进行设定格式的编码处理， 以得到编码后的全景直播 画面。
[0072] S204、 按照设定频率对所述不同视角的拍摄画面进行三维重构， 以生成对应的 所述拍摄物体在三维空间中的全景直播画面。
[0073] S205、 对所述拍摄物体在三维空间中的全景直播画面进行设定格式的编码和优 化， 得到编码后的全景直播画面。
[0074] 需要说明的是， 上述步骤 S202-S203与上述步骤 S204-S205是并列的方案， 终端 可以任意选取其中一套方案步骤进行执行， 本发明实施例步骤限定。
[0075] S206、 将所述全景直播画面推送给对应的直播客户端， 以播放所述全景直播画 面。
[0076] S207、 当接收不到所述 M个摄像头中的任意一个或多个摄像头发送的拍摄画面 吋， 生成对应的提示信息， 以提示对应摄像头出现故障。
[0077] 本发明实施例可通过接收被安装在无人机上的 M个摄像头跟随拍摄物体所采集 的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的 拍摄画面， 其中， 所述 M个摄像头部分安装在支持方位和 /或俯仰角调节的所述 无人机的云台上， 接着对所述不同视角的拍摄画面进行无缝拼接以生成对应的 全景直播画面， 最后将所述全景直播画面推送给对应的直播客户端， 以播放所 述全景直播画面； 这样可实现多方位甚至多角度的全景直播， 提升直播画面的 灵活性。
[0078] 请参见图 3， 是本发明实施例的一种终端的结构示意图， 本发明实施例的所述 终端 3包括：
[0079] 接收模块 30， 用于接收无人机上的 M个摄像头跟随拍摄物体所采集的不同视角 的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面； 其中， 所述无人机包括 M个摄像头， 且所述 M个摄像头部分被安装在支持方位和 /或俯仰角调节的云台上；
[0080] 生成模块 31， 用于对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景 直播画面；
[0081] 推送模块 32， 用于将所述全景直播画面推送给对应的直播客户端， 以播放所述 全景直播画面。
[0082] 其中可选地，
[0083] 所述生成模块 31， 具体用于按照设定的并列显示方式或主从显示方式， 对所述 不同视角的拍摄画面进行无缝拼接， 得到合成后的全景直播画面；
[0084] 所述生成模块 31， 还具体用于用动态码率自适应技术对所述合成后的全景直播 画面进行采集， 并对所述采集的全景直播画面进行设定格式的编码处理， 以得 到编码后的全景直播画面。 [0085] 其中可选地， 所述并列显示方式包括按照水平方向并列排布的显示方式、 或按 照竖直方向并列排布的显示方式； 所述主从显示方式包括画中画方式。
[0086] 其中可选地，
[0087] 所述生成模块 31， 具体用于按照设定频率对所述不同视角的拍摄画面进行三维 重构， 以生成对应的所述拍摄物体在三维空间中的全景直播画面；
[0088] 所述生成模块 31， 还具体用于对所述拍摄物体在三维空间中的全景直播画面进 行设定格式的编码和优化， 得到编码后的全景直播画面。
[0089] 其中可选地，
[0090] 所述生成模块 31， 还用于当接收不到所述 M个摄像头中的任意一个或多个摄像 头发送的拍摄画面吋， 生成对应的提示信息， 以提示对应摄像头出现故障。
[0091] 本发明实施例中涉及的各个模块的具体实现可参考图 1至图 2对应实施例中相关 功能模块或者实施步骤的描述， 在此不赘述。
[0092] 本发明实施例可通过接收被安装在无人机上的 M个摄像头跟随拍摄物体所采集 的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的 拍摄画面， 其中， 所述 M个摄像头部分安装在支持方位和 /或俯仰角调节的所述 无人机的云台上， 接着对所述不同视角的拍摄画面进行无缝拼接以生成对应的 全景直播画面， 最后将所述全景直播画面推送给对应的直播客户端， 以播放所 述全景直播画面； 这样可实现多方位甚至多角度的全景直播， 提升直播画面的 灵活性。
[0093] 再请参见图 4， 是本发明实施例的一种终端的结构示意图。 所述终端可以为智 能手机、 平板电脑、 智能可穿戴设备等带通信网络功能的设备， 如图 4所示， 本 发明实施例的所述终端可以包括显示屏、 按键、 扬声器、 拾音器等模块， 并且 还包括： 至少一个总线 501、 与总线 501相连的至少一个处理器 502以及与总线 50 1相连的至少一个存储器 503， 实现通信功能的通信装置 505， 为终端各耗电模块 供电的电源装置 504。
[0094] 所述处理器 502可通过总线 501， 调用存储器 503中存储的代码以执行相关的功 育 ， 其中， 存储器 503包括操作***、 数据传输应用程序。
[0095] 所述处理器 502， 用于： [0096] 接收无人机中的 M个摄像头跟随拍摄物体所采集的不同视角的拍摄画面， 所述 不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄画面；
[0097] 对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直播画面；
[0098] 将所述全景直播画面推送给对应的直播客户端， 以播放所述全景直播画面； [0099] 其中， 所述无人机包括 M个摄像头， 且所述 M个摄像头部分被安装在支持方位 和 /或俯仰角调节的云台上。
[0100] 进一步可选地， 所述处理器 502具体用于：
[0101] 按照设定的并列显示方式或主从显示方式， 对所述不同视角的拍摄画面进行无 缝拼接， 得到合成后的全景直播画面；
[0102] 采用动态码率自适应技术对所述合成后的全景直播画面进行采集， 并对所述采 集的全景直播画面进行设定格式的编码处理， 以得到编码后的全景直播画面。
[0103] 进一步可选地， 所述并列显示方式包括按照水平方向并列排布的显示方式、 或 按照竖直方向并列排布的显示方式； 所述主从显示方式包括画中画方式。
[0104] 进一步可选地， 所述处理器 502具体用于：
[0105] 按照设定频率对所述不同视角的拍摄画面进行三维重构， 以生成对应的所述拍 摄物体在三维空间中的全景直播画面；
[0106] 对所述拍摄物体在三维空间中的全景直播画面进行设定格式的编码和优化， 得 到编码后的全景直播画面。
[0107] 进一步可选地， 所述处理器 502还用于：
[0108] 当接收不到所述 M个摄像头中的任意一个或多个摄像头发送的拍摄画面吋， 生 成对应的提示信息， 以提示对应摄像头出现故障。
[0109] 本发明实施例可通过接收被安装在无人机上的 M个摄像头跟随拍摄物体所采集 的不同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的 拍摄画面， 其中， 所述 M个摄像头部分安装在支持方位和 /或俯仰角调节的所述 无人机的云台上， 接着对所述不同视角的拍摄画面进行无缝拼接以生成对应的 全景直播画面， 最后将所述全景直播画面推送给对应的直播客户端， 以播放所 述全景直播画面； 这样可实现多方位甚至多角度的全景直播， 提升直播画面的 灵活性。 [0110] 本发明实施例还提供一种计算机存储介质， 其中， 该计算机存储介质可存储有 程序， 该程序执行吋包括上述方法实施例中记载的基于无人机的全景直播方法 的部分或全部步骤。
[0111] 需要说明的是， 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一 系列的动作组合， 但是本领域技术人员应该知悉， 本发明并不受所描述的动作 顺序的限制， 因为依据本发明， 某些步骤可以采用其他顺序或者同吋进行。 其 次， 本领域技术人员也应该知悉， 说明书中所描述的实施例均属于优选实施例 ， 所涉及的动作和模块并不一定是本发明所必须的。
[0112] 在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述的 部分， 可以参见其他实施例的相关描述。
[0113] 在本申请所提供的几个实施例中， 应该理解到， 所揭露的装置， 可通过其它的 方式实现。 例如， 以上所描述的装置实施例仅仅是示意性的， 例如所述单元的 划分， 仅仅为一种逻辑功能划分， 实际实现吋可以有另外的划分方式， 例如多 个单元或组件可以结合或者可以集成到另一个***， 或一些特征可以忽略， 或 不执行。 另一点， 所显示或讨论的相互之间的耦合或直接耦合或通信连接可以 是通过一些接口， 装置或单元的间接耦合或通信连接， 可以是电性或其它的形 式。
[0114] 所述作为分离部件说明的单元可以是或者也可以不是物理上分幵的， 作为单元 显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可 以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部单元 来实现本实施例方案的目的。
[0115] 另外， 在本发明的各个实施例中的各功能单元可以集成在一个处理单元中， 也 可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中 。 上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形 式实现。
[0116] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用 吋， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分 可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备 （可为个人计算机、 服务器或者网络设 备等） 执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质 包括： U盘、 只读存储器 （ROM, Read-Only
Memory) 、 随机存取存储器 (RAM, Random Access Memory) 、 移动硬盘、 磁 碟或者光盘等各种可以存储程序代码的介质。
以上所述， 以上实施例仅用以说明本发明的技术方案， 而非对其限制； 尽管参 照前述实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术 特征进行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本 发明各实施例技术方案的范围。
技术问题
问题的解决方案
发明的有益效果

Claims

权利要求书
[权利要求 1] 一种基于无人机的全景直播方法， 其特征在于， 所述无人机包括 M个 摄像头， 且所述 M个摄像头部分被安装在支持方位和 /或俯仰角调节 的云台上， 所述方法包括：
接收所述无人机中的 M个摄像头跟随拍摄物体所采集的不同视角的拍 摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯仰角的拍摄 画面；
对所述不同视角的拍摄画面进行无缝拼接以生成对应的全景直播画面 将所述全景直播画面推送给对应的直播客户端， 以播放所述全景直播 画面。
[权利要求 2] 如权利要求 1所述的方法， 其特征在于， 所述对所述不同视角的拍摄 画面进行无缝拼接以生成对应的全景直播画面， 包括：
按照设定的并列显示方式或主从显示方式， 对所述不同视角的拍摄画 面进行无缝拼接， 得到合成后的全景直播画面； 还包括：
采用动态码率自适应技术对所述合成后的全景直播画面进行采集， 并 对所述采集的全景直播画面进行设定格式的编码处理， 以得到编码后 的全景直播画面。
[权利要求 3] 如权利要求 2所述的方法， 其特征在于， 所述并列显示方式包括按照 水平方向并列排布的显示方式、 或按照竖直方向并列排布的显示方式 ； 所述主从显示方式包括画中画方式。
[权利要求 4] 如权利要求 1所述的方法， 其特征在于， 所述对所述不同视角的拍摄 画面进行无缝拼接以生成对应的全景直播画面， 包括：
按照设定频率对所述不同视角的拍摄画面进行三维重构， 以生成对应 的所述拍摄物体在三维空间中的全景直播画面； 还包括： 对所述拍摄物体在三维空间中的全景直播画面进行设定格式的编码和 优化， 得到编码后的全景直播画面。
[权利要求 5] 如权利要求 1-4中任意一项所述的方法， 其特征在于， 所述方法还包 括：
当接收不到所述 M个摄像头中的任意一个或多个摄像头发送的拍摄画 面吋， 生成对应的提示信息， 以提示对应摄像头出现故障。
[权利要求 6] —种终端， 其特征在于， 所述终端包括：
接收模块， 用于接收无人机上的 M个摄像头跟随拍摄物体所采集的不 同视角的拍摄画面， 所述不同视角的拍摄画面包括不同方位和 /或俯 仰角的拍摄画面； 其中， 所述无人机包括 M个摄像头， 且所述 M个摄 像头部分被安装在支持方位和 /或俯仰角调节的云台上；
生成模块， 用于对所述不同视角的拍摄画面进行无缝拼接以生成对应 的全景直播画面；
推送模块， 用于将所述全景直播画面推送给对应的直播客户端， 以播 放所述全景直播画面。
[权利要求 7] 如权利要求 6所述的终端， 其特征在于，
所述生成模块， 具体用于按照设定的并列显示方式或主从显示方式， 对所述不同视角的拍摄画面进行无缝拼接， 得到合成后的全景直播画 面；
所述生成模块， 还具体用于用动态码率自适应技术对所述合成后的全 景直播画面进行采集， 并对所述采集的全景直播画面进行设定格式的 编码处理， 以得到编码后的全景直播画面。
[权利要求 8] 如权利要求 7所述的终端， 其特征在于， 所述并列显示方式包括按照 水平方向并列排布的显示方式、 或按照竖直方向并列排布的显示方式 所述主从显示方式包括画中画方式。
[权利要求 9] 如权利要求 6所述的终端， 其特征在于，
所述生成模块， 具体用于按照设定频率对所述不同视角的拍摄画面进 行三维重构， 以生成对应的所述拍摄物体在三维空间中的全景直播画 面；
所述生成模块， 还具体用于对所述拍摄物体在三维空间中的全景直播 画面进行设定格式的编码和优化， 得到编码后的全景直播画面。
[权利要求 10] 如权利要求 6-9中任意一项所述的终端， 其特征在于，
所述生成模块， 还用于当接收不到所述 M个摄像头中的任意一个或多 个摄像头发送的拍摄画面吋， 生成对应的提示信息， 以提示对应摄像 头出现故障。
[权利要求 11] 一种终端， 其特征在于， 所述终端包括： 通信装置、 电源装置、 存储 器和处理器， 其中， 所述处理器用于执行如上权利要求 1-5任一项所 述的方法。
PCT/CN2017/071411 2016-11-25 2017-01-17 一种基于无人机的全景直播方法及终端 WO2018094866A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611060338.1A CN106657733A (zh) 2016-11-25 2016-11-25 一种基于无人机的全景直播方法及终端
CN201611060338.1 2016-11-25

Publications (1)

Publication Number Publication Date
WO2018094866A1 true WO2018094866A1 (zh) 2018-05-31

Family

ID=58812165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/071411 WO2018094866A1 (zh) 2016-11-25 2017-01-17 一种基于无人机的全景直播方法及终端

Country Status (2)

Country Link
CN (1) CN106657733A (zh)
WO (1) WO2018094866A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302632A (zh) * 2018-10-18 2019-02-01 广州酷狗计算机科技有限公司 获取直播视频画面的方法、装置、终端及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702369B (zh) * 2017-11-06 2021-02-09 深圳市大疆创新科技有限公司 无人机的移动终端和云端平台的交互方法及装置
CN109076193A (zh) * 2017-11-07 2018-12-21 深圳市大疆创新科技有限公司 全景图像显示方法和***、全景图像处理方法和地面站
CN108702487A (zh) * 2017-11-20 2018-10-23 深圳市大疆创新科技有限公司 无人机的图像传输方法和装置
CN107861436A (zh) * 2017-12-01 2018-03-30 上海市环境科学研究院 一种多旋翼无人机高空环境侦测***
WO2019127333A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 一种图像处理方法、移动平台、控制设备及***
CN110881093B (zh) * 2018-09-05 2022-03-11 华为技术有限公司 分布式摄像机
CN109660720B (zh) * 2018-12-12 2020-10-30 河北汉光重工有限责任公司 一种应用于陆防监控双红外低空探测***的扇扫拼接方法
CN109688374A (zh) * 2018-12-12 2019-04-26 深圳慧源创新科技有限公司 无人机双路图传分屏显示技术
CN111247811A (zh) * 2018-12-24 2020-06-05 深圳市大疆创新科技有限公司 一种数据处理方法、无人机、眼镜设备及存储介质
CN110062153A (zh) * 2019-03-18 2019-07-26 北京当红齐天国际文化发展集团有限公司 一种全景拍照无人机***及全景拍照方法
CN114866789A (zh) * 2021-02-04 2022-08-05 华为技术有限公司 一种车载直播方法及装置
CN114205527A (zh) * 2021-12-13 2022-03-18 广州穿越千机创新科技有限公司 一种基于无人机的全景拍摄方法、装置及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130073775A1 (en) * 2009-05-29 2013-03-21 Jack Wade Systems and methods for image stream processing
CN103634555A (zh) * 2012-08-27 2014-03-12 腾讯科技（深圳）有限公司 一种全景视频通信的方法及***
CN104890875A (zh) * 2015-05-28 2015-09-09 天津大学 全景拍摄用多旋翼无人机
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播***
CN105775151A (zh) * 2016-01-29 2016-07-20 上海云舞网络科技有限公司 360°全景航拍摄影摄像无人机及机架框
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996088B1 (en) * 2014-09-10 2018-08-29 My Virtual Reality Software AS Method for visualising surface data together with panorama image data of the same surrounding
CN205265789U (zh) * 2015-12-03 2016-05-25 广州极飞电子科技有限公司 用于无人机的全景拍摄装置及无人机
CN105744231A (zh) * 2016-03-18 2016-07-06 普宙飞行器科技（深圳）有限公司 无人机移动直播方法及无人机移动直播***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130073775A1 (en) * 2009-05-29 2013-03-21 Jack Wade Systems and methods for image stream processing
CN103634555A (zh) * 2012-08-27 2014-03-12 腾讯科技（深圳）有限公司 一种全景视频通信的方法及***
CN104890875A (zh) * 2015-05-28 2015-09-09 天津大学 全景拍摄用多旋翼无人机
CN105775151A (zh) * 2016-01-29 2016-07-20 上海云舞网络科技有限公司 360°全景航拍摄影摄像无人机及机架框
CN105704501A (zh) * 2016-02-06 2016-06-22 普宙飞行器科技（深圳）有限公司 一种基于无人机全景视频的虚拟现实直播***
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302632A (zh) * 2018-10-18 2019-02-01 广州酷狗计算机科技有限公司 获取直播视频画面的方法、装置、终端及存储介质
CN109302632B (zh) * 2018-10-18 2021-09-28 广州酷狗计算机科技有限公司 获取直播视频画面的方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN106657733A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2018094866A1 (zh) 一种基于无人机的全景直播方法及终端
US10665261B2 (en) Camera array including camera modules
US10003741B2 (en) System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US11153615B2 (en) Method and apparatus for streaming panoramic video
CN106992959B (zh) 一种3d全景音视频直播***及音视频采集方法
WO2017181777A1 (zh) 全景视频直播方法、装置和***以及视频源控制设备
US9843725B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US20160037068A1 (en) System and method of stitching together video streams to generate a wide field video stream
WO2019140621A1 (zh) 视频处理方法及终端设备
CN104902263A (zh) 一种图像信息展现***和方法
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播***和方法
WO2018076883A1 (zh) 视频拍摄盒及视频拍摄方法、装置和存储介质
WO2018040910A1 (zh) 一种直播方法及***
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
WO2023169297A1 (zh) 动画特效生成方法、装置、设备及介质
JP2019103067A (ja) 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
Gaddam et al. Be your own cameraman: Real-time support for zooming and panning into stored and live panoramic video
CN113794844B (zh) 自由视角视频采集***、方法、装置、服务器和介质
US11546556B2 (en) Redundant array of inexpensive cameras
CN114531564A (zh) 处理方法及电子设备
CN109756683B (zh) 全景音视频录制方法、装置、存储介质和计算机设备
CN108141564B (zh) 用于视频广播的***和方法
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN112788198B (zh) 摄影装置、传送***及方法、记录介质和计算机装置
KR101193129B1 (ko) 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17873512

Country of ref document: EP

Kind code of ref document: A1