CN107835435B - 一种赛事宽视角直播设备和相关联的直播***和方法 - Google Patents

一种赛事宽视角直播设备和相关联的直播***和方法 Download PDF

Info

Publication number
CN107835435B
CN107835435B CN201710432037.5A CN201710432037A CN107835435B CN 107835435 B CN107835435 B CN 107835435B CN 201710432037 A CN201710432037 A CN 201710432037A CN 107835435 B CN107835435 B CN 107835435B
Authority
CN
China
Prior art keywords
wide
view
live
video stream
media server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710432037.5A
Other languages
English (en)
Other versions
CN107835435A (zh
Inventor
支小牧
刘善红
王旭
倪建聪
段硕
李宝玉
陈龙
陈光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhi Xiaomu
Original Assignee
Fblife Beijing Media Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fblife Beijing Media Technology Co ltd filed Critical Fblife Beijing Media Technology Co ltd
Priority to CN201710432037.5A priority Critical patent/CN107835435B/zh
Publication of CN107835435A publication Critical patent/CN107835435A/zh
Application granted granted Critical
Publication of CN107835435B publication Critical patent/CN107835435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了赛事直播***，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；其运行计算机指令序列以获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。

Description

一种赛事宽视角直播设备和相关联的直播***和方法
技术领域
本申请涉及直播设备和方法，具体而言涉及赛事直播设备、***和方法。
背景技术
赛事直播通常指实时地将赛事现场的图像、声音通过有线电视网络、广播网络、或者互联网等传输给例如，电视、收音机、电脑、移动终端的过程。随着互联网技术的发展，基于互联网的直播技术得到了长足发展，例如，流媒体技术的出现，其可分段地将媒体数据可压缩后经过网络发送数据，在网络上即时传输影音以供观赏者使用特定的播放软件播放观赏，观赏者已经可以使用播放软件基本实时地欣赏某一视频采集设备的拍摄角度的直播画面。
转播诸如拉力赛等竞技类赛车赛事时通常需要比较宽的视角以体现宏大的场面，而长时间的播放宽视角的视频会使观赏者产生厌倦情绪，从而失去对直播的兴趣。传统的直播技术通常采用按时间顺序的画面切换的方式实现不同角度的直播，例如在第一时间播放第一局部的特写片段、而在第二时间段播放全景片段等。虽然也有画中画技术，但该技术在数字传输模式中会占用额外资源，因此在数字电视***中已很少应用。
因此，需要一种能实现赛事宽视角直播的装置、***和相关方法。
发明内容
本申请的一些实施例提供了赛事直播***，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。
本申请的一些实施例提供了赛事直播***，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像帧；至少一个声音采集单元，用于获取所述竞技类赛车直播设备的声场信号；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；对所述样本宽视角图像帧进行前置处理；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；获取多个直播宽视角图像帧；将所述声场信号数字化成音频数据；将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及将所述像素坐标映射关系矩阵传送至所述流媒体服务器；将所述宽视角音视频流以及所述传送至所述流媒体服务器。
本申请的一些实施例提供了赛事直播***，其包括播放设备，其包括处理器和存储器；所述存储器存储有计算机指令序列，当所述计算机指令序列运行时，所述播放设备：从至少一个流媒体服务器接收针对至少一个宽视角图像采集设备的像素坐标映射关系矩阵以及由该宽视角图像采集设备获取宽视角视频流或音视频流；对所述宽视角视频流或音视频流进行解码得到多个宽视角图像帧；建立半球面模型；使用所述像素坐标映射矩阵变换对应的半球面纹理坐标；将所述多个宽视角图像帧的每一帧纹理贴图在所述半球面模型上以呈现校正后的图像帧。
本申请的一些实施例提供了一种赛事直播***，其包括至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括宽视角图像采集单元，用于获取宽视角图像帧；存储器，用于存储第一计算机指令序列；处理器，执行所述第一计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；对所述样本宽视角图像帧进行前置处理；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；获取基于多个直播宽视角图像帧形成直播宽视角视频流；流媒体服务器，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：从所述至少一个宽视角直播设备接收所述直播宽视角视频流和所述像素坐标映射关系矩阵；对将所述像素坐标映射关系矩阵和所述宽视角视频流进行缓存和调度。
本申请的一些实施例提供了一种赛事直播***，其包括至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括宽视角图像采集单元，用于获取宽视角图像帧；存储器，用于存储第一计算机指令序列；处理器，执行所述第一计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；获取基于多个直播宽视角图像帧形成宽视角视频流；将所述以及内参数矩阵和畸变系数矩阵传送至流媒体服务器；以及将所述宽视角视频流传送至所述流媒服务器；流媒体服务器，其与至少一个宽视角直播设备通信，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：根据从所述至少一个宽视角直播设备中接收的所述样本宽视角图像帧以及宽视角直播设备的宽视角图像采集单元的内参数矩阵和畸变系数矩阵推导出所述宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；在本地保存所述宽视角直播设备像素坐标映射关系矩阵；接收来自所述宽视角直播设备的宽视角视频流或音视频流；对所述宽视角视频流进行缓存；以及对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度。
本申请提供的诸多宽视角直播***和直播方法特别适用于诸如赛事直播等场景，为例如越野赛事直播等提供了合适的解决方案，特别是提供了赛事宽视角直播设备可实现对流媒体直播平台的应用。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为依据本申请的实施例的场景示意图；
图2为依据本申请的实施例的一种宽视角直播设备的结构原理示意图；
图3A为依据本申请的实施例的宽视角直播设备的处理流程图；
图3B为依据本申请的实施例的宽视角直播设备的另一种处理流程图；
图4为依据本申请的实施例的宽视角直播***的原理图；
图5为依据本申请的一种实施例的用户设备的播放界面的示意图；
图6为依据本申请的实施例的用户设备的处理流程图；
图7为像素坐标映射关系矩阵的生成的功能的示意图；以及
图8为像素坐标映射关系矩阵更新功能的原理图。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“服务器”是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。
其中，所述用户设备包括但不限于智能手机、PDA、PC、笔记本电脑等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
本发明的一种具体实施方式中的赛事直播***可以适用于例如车辆竞技类赛事的直播，所述车辆竞技例如可以包括场地赛车竞技，例如方程式赛车以及越野赛车竞技，例如拉力赛。图1示出了一种车辆竞技赛事的直播***场景示意图。如图1所示，通常的车辆竞技赛事包括至少两辆车，其中至少一辆车上装有直播设备。赛事的场地上可有设有定向于不同拍摄角度的直播设备，这些直播设备10可生成图像(图片)、视频流、音频流或音视频流，视频流、音频流或音视频流可被传送至流媒体服务器，流媒体服务器20可对接收到视频流、和/或音视频流进行解码，还原为图像帧，并对每个图像帧进行处理。并将处理后的图像帧进行编码、压缩后传送通过直播平台传送至客户侧的用户设备，例如智能手机进行播放。直播平台30可以是直播服务器，其可具有导播***控制传送至用户设备的视频流、音频流或音视频流，并对直播平台30接收到的视频流、音频流或音视频流进行选择。直播平台30可以将接收到的视频流、音频流或音视频流保存于不同的存储位置，用户设备40(播放设备)可通过访问直播平台指定的地址观赏视频流、音频流或音视频流。
在图1所示的直播设备中，有些直播设备可以是具有宽视角图像采集单元的宽视角直播设备10。宽视角图像采集单元例如大于170度的视角的采集装置。所述宽视角图像采集单元可以例如是具有鱼眼镜头的图像采集模块或视频采集模块，例如鱼眼摄像头，具有220度以上的视角。这些具有宽视角镜头的装置例如可以部署在车辆的内部，例如仪表台或者车顶，或者是赛车场地的任意位置。
在图1所示的图例中，部分车辆安装有具有鱼眼摄像头的宽视角直播设备10，这种直播设备又可称为鱼眼直播设备，鱼眼直播设备10A、10B、10C和10D例如可安装在车辆上，还可以安装于赛场内，如直播设备10E和10F所示。
图2示出了一种实施例中的具有鱼眼摄像头的宽视角直播设备10的原理图。参照图2，所述直播设备包括鱼眼摄像头11，存储器12，有线或无线输出单元13和处理器14。处理器可以通过总线16与鱼眼摄像头，存储器，有线或无线输出单元通信。鱼眼摄像头11采集到的图像基本为大于180度视角的宽视角图像，也可称为鱼眼图像，可以在存储器12存储计算机程序，计算机程序可以是指令序列。如图3A、3B所示，当处理器运行该程序时，将首先获取或接收由鱼眼摄像头采集到的样本宽视角图像S101以及摄像头内参数和畸变参数S102，然后对获取或接收的样本宽视角图像进行前置处理S200。其中，鱼眼摄像头的内参数矩阵和畸变系数矩阵，包括径向畸变和切向畸变可以通过例如基于主动视觉的工业相机自标定方法、直接求解Kruppa方程的工业相机自标定方法、分层逐步标定法、基于二次曲面的自标定方法等自标定法得到。也可采用诸如基于棋盘标定法获得。
所述前置处理，可以包括对宽视角图像进行暗角处理、宽视角图像位置校正中的一种或多种。所述暗角处理例如可以包括对宽视角图像的裁剪。多数位置校正可以包括例如对正处理等。
在图3A描绘的实施例中，宽视角直播设备可以基于该内参数和畸变参数计算该设备的给定尺寸的样本宽视角图像，例如鱼眼图像和展开图像的像素坐标映射关系矩阵，S300。像素坐标映射关系矩阵可以通过获取一张或者多张样本宽视角图像并基于所述内参数矩阵和畸变系数矩阵计算获得。此后获取的宽视角图像或宽视角图像帧并生成宽视角视频流，继而可将该宽视角图像或宽视角视频流连同该像素坐标映射关系矩阵被传送至流媒体服务器。所述宽视角图像可被称为直播宽视角图像，所述视频流可被称为宽视角视频流。
例如，可以基于RTMP协议将像素坐标映射关系矩阵以及经过或未经过前置处理的宽视角图像编码压缩成视频流并发送给流媒体服务器，例如，可以通过RTMP协议中的metadata数据包将像素坐标映射关系矩阵发送给流媒体服务器。例如可以用几帧直播宽视角图像编码成宽视角视频流并传送，或者基于图像组(GOP)的格式生成宽视角视频流传送。
流媒体服务器缓存的直播宽视角视频流可经由直播平台传送至用户设备，或称播放设备的播放功能，例如全景播放器，由全景播放器呈现。
例如，如图6所描绘的，所述用户设备40接收到宽视角视频流和/或音视频流后S601，可对其进行解码，还原宽视角图像帧，例如还原图像组中的内部编码帧I，所述用户设备还可以例如通过应用而建立全景播放器，播放时，可先建立一个立体模型S602，例如，针对鱼眼图像帧，可以建立半球面模型，使用像素坐标映射矩阵变换对应的球面纹理坐标S603，再应用纹理贴图技术将图像帧贴图至建立的半球面模型上S604，即可展示一帧校正的图像。
在图3B描绘的实施例中，经由直播设备获取的图像(或称图片)也可以直接压缩并被传送至富媒体服务器以文件形式保存，或者经过编码、压缩的视频流的形式传送至流媒体服务器，同时，将测得的内参数和畸变系数通过rtmp的metadata数据包发送给流服务器而，再由流媒体服务器中的像素坐标映射关系矩阵计算功能计算出给定尺寸的宽视角图片，例如鱼眼图片，和展开图片的像素坐标映射关系矩阵，并在所述流媒体服务器本地保存。在***中，所述流媒体服务器可以有多个，每个都可以分别根据从特定直播设备获取的内参数和畸变系数矩阵推导出该特定直播设备的像素坐标映射关系矩阵。
流媒体服务器可以根据需要设置一个，两个或者多个，能够对来自部分或所有宽视角直播设备的视频流或音视频流进行缓存和调度。
在另一种实施例中，如图7所示，所述流媒体服务器20可以具有像素坐标映射关系矩阵推导功能21，该功能可由编程实现，例如一个指令序列，该程序被流媒体服务器的处理器运行后，基于接收自该宽视角直播设备的内参数和畸变系数计算出该宽视角直播设备的给定尺寸的宽视角，例如鱼眼，图像帧和其全景展开图像的像素坐标映射关系矩阵。流媒体服务器还可以具有像素坐标映射关系矩阵存储功能22，如果所述宽视角直播设备有多个，则流媒体服务器在本地存储多个这样的像素坐标映射关系矩阵。
通常像素坐标映射关系矩阵一经计算出，只要特定宽视角直播设备与流媒体服务器保持连接，则流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备。流媒体服务器可以包括像素坐标映射关系矩阵更新功能23，当流媒体服务器与该宽视角直播设备的连接断开后S231，则流媒体服务器会删除该像素坐标映射关系矩阵。而当连接重新建立后，流媒体服务器则重新从特定直播设备获取的内参数和畸变系数矩阵S232，并计算该宽视角直播设备的像素坐标映射关系矩阵S233，再传送给用户设备S234，如图8所示。
类似的，富媒体服务器可以基于用户设备40的请求将所述经过前置处理的宽视角图像传送至所述用户设备进行显示。宽视角直播设备可以基于内参数矩阵和畸变系数矩阵对宽视角图像进行展开形成展开的宽视角图像，并将该展开的图片传送至富媒体服务器。或者，宽视角直播设备可以对采集的宽视角图像进行前置处理以及展开处理，并将展开后的图像发送至富媒体服务器保存，在接收到用户设备请求传送单张展开图像的请求后，则可编码压缩并传送所述单张展开图像。
用户设备40从所述富媒体服务器接收所述经过前置处理的宽视角图像，例如鱼眼图像的全景展开图片进行展示。
用户设备40还从流媒体服务器接收所述宽视角视频流，例如基于鱼眼图像的宽视角视频流，以及所述像素坐标映射关系矩阵。用户设备可以具有还原功能以对接收到的宽视角视频流进行还原，例如针对以图像组格式传送的视频流还原其内部编码帧I。所述用户设备可以包括全景显示功能，所述全景显示功能可以继而如图6中所描绘的那样，建立半球面模型，使用像素坐标映射矩阵变换对应的球面纹理坐标，再应用纹理贴图技术将每一图像帧贴图至建立的半球面模型上，即可展示校正后的图像帧。
可以在用户设备提供全景视频播放器实现前述还原功能，并使得宽视角视频流的初始的聚焦点对准全景图像的几何中心。
所述流媒体服务器20可以在地理上位于远离直播平台30的位置。例如，流媒体服务器20可以设置于封闭赛道的场地中央，或者位于任意一辆车辆上。
流媒体服务器20可以将接收到的视频流分段存放于直播平台30的存储位置31供客户端调取，或者也可直接通过直播平台基于RTMP、HLS协议或者HTTP FLV协议传送至客户端。
可以为直播设备10提供声音采集单元15，声音采集单元15采集声场信号，可以由处理器运行程序将声场信号数字化为音频数据，音频数据在直播设备进行前置处理，例如去噪声。将经前置处理的音频数据与宽视角图像帧进行同步，编码压缩封装成音视频流基于RTMP协议推送至流媒体服务器20。
也可以由流媒体服务器20定时向直播设备10发出传送视频流或音视频流的请求,直播设备10可响应该请求将编码压缩生成的视频流或音视频流并传送给流媒体服务器20。
流媒体服务器20通过直播平台30将获得的流进行缓存并同时直播给观赏者的用户设备40。
直播***30还可以从普通视角直播设备50获取视频流。普通视角直播设备50可以布置一个或多个。可以布置在车辆上或赛场的任意位置处。普通视角直播设备可以与宽视角直播设备具有类似的结构。例如可以同样包括图像采集单元，处理器、存储器、总线、有线或无线输出单元等。普通视角直播设备50仅需对采集到的图像作校正后即可生成视频流，并将视频流推送至流媒体服务器。
类似的，普通视角直播设备50也可以包括声音采集单元，用于获取声场信号，并数字化生成音频数据。音频数据可编码形成音频流推送至流媒体服务器或与视频流一同封装成音视频流并推送至流媒体服务器。
可以经由直播平台的导播***32控制展开的宽视角视频流或音视频流以及普通视角展开视频流或音视频流的传送。直播平台可以是现有的云直播平台。
普通视角直播设备50生成的视频流、音频流或音视频流可以和宽视角直播设备生成的展开的宽视角视频流或音视频流并行推送至流媒体服务器20。流媒体服务器20可以将宽视角视频流或音视频流与普通视角视频流或音视频流同步后传送至直播平台进行存储，或通过直播平台同步传送给例如的智能手机等用户设备。
也可以异步地将宽视角视频流或音视频流与普通视角视频流或音视频流传送给播放设备。
可以在播放设备提供多角度的播放界面，例如，可以提供如图5所示的播放界面，其包括位于中部的全景播放器屏幕，例如，全景播放屏幕1、全景播放屏幕2以及全景播放屏幕3。以及位于展开的宽视角屏幕两侧的具有普通视角宽高比的普通视角屏幕1至普通视角屏幕4。普通视角屏幕播放的***可以是前述设置于赛场上的普通视角直播设备或设置于赛车上的普通视角直播设备推送的视频流。
例如，还可以在全景播放屏幕与普通视角屏幕中的一个播放视频流或音视频流，而在其他屏幕重复播放视频流一个时间循环中的片段，并在用户通过例如点击或触摸操作选择该循环播放的片段时，从直播平台的存储器拉取对应直播装备已经换成的视频流或音视频流或者从流媒体服务器实时地拉取流媒体服务器刚刚从直播设备刚刚获得的视频流或音视频流。
所述播放界面还可以在接收到用户对某一直播设备对应的屏幕的操作时，判断屏幕的是否需要从展开的宽视角屏幕切换至普通视角屏幕，或相反操作，如果判断需要切换，则替换播放界面。
在切换播放屏幕时，所述流媒体服务器可以被配置为重新计算所述像素坐标映射关系矩阵。例如，所述全景播放屏幕2被选定而全景播放屏幕1被取消选定后，全景播放屏幕1又被重新选定，则流媒体服务器可被配置为重新计算全景播放屏幕1对应的宽视角直播设备的像素坐标映射关系矩阵，并将其传送给用户设备用于呈现全景视频。
所述播放设备40可以包括触感控制单元，所述触感控制单元被配置为接收触感输入而改变所述虚拟摄像单元的视角方向。
本领域技术人员应能理解，上述各功能选项及其对应的赛事直播应用仅为示例，用于解释说明本发明之目的，而不应被理解为对本发明的任何限制，其他现有的或将来的功能选项及其对应的直播应用如可应用于本发明，均应被包含在本发明的专利保护范围之内。
需要注意的是，本发明的处理部分可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
本申请的示例包括：
1.一种赛事直播***，其包括宽视角直播设备，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
采集多个直播宽视角图像帧；
用所述采集的多个直播宽视角图像帧创建宽视角视频流；
将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。
2.根据示例1所述的赛事直播***，对所述直播宽视角视频流的每一帧进行前置处理后再传送至所述流媒体服务器。
3.根据示例1所述的赛事直播***，所述直播宽视角视频流以图像组的形式呈现。
4.根据示例1所述的赛事直播***，其特征在于：所述直播宽视角视频流被编码压缩成视频流基于RTMP协议推送至流媒体服务器。
5.根据示例4所述的赛事直播***，其特征在于：所述样本宽视角图像帧和/或所述直播宽视角图像帧为样本鱼眼图像帧和/或直播鱼眼图像帧，所述宽视角直播设备为鱼眼直播设备。
6.根据示例1所述的赛事直播***，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵，推导出宽视角图片和展开图片的像素坐标映射关系矩阵；
对所述宽视角图像进行前置处理以去除无效数据图像部分；
基于所述内参数矩阵和畸变系数矩阵对所述去除无效数据部分后的所述宽视角图像进行展开形成宽视角展开图像；
将所述宽视角展开图像传送至富媒体服务器。
7.根据示例1所述的赛事直播***，还包括声音采集单元，用于获取所述竞技类赛车直播设备的声场信号。
8.根据示例7的赛事直播***，所述存储器还存储有计算机指令，所述处理器执行所述计算机指令以实现
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图帧像封装成宽视角音视频流；以及
将所述宽视角音视频流传送至所述流媒体服务器。
9.一种赛事直播***，包括宽视角直播设备，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像帧；
至少一个声音采集单元，用于获取所述竞技类赛车直播设备的声场信号；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取多个直播宽视角图像帧；
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及
将所述像素坐标映射关系矩阵传送至所述流媒体服务器；将所述宽视角音视频流以及所述传送至所述流媒体服务器。
10.根据示例9所述的赛事直播***，对所述直播宽视角视频流的每一帧进行前置处理后再传送至所述流媒体服务器。
11.根据示例9所述的赛事直播***，所述直播宽视角视频流以图像组的形式呈现。
12.根据示例9所述的赛事直播***，所述直播宽视角视频流被编码压缩成视频流基于RTMP协议推送至流媒体服务器。
13.根据示例12所述的赛事直播***，所述样本宽视角图像帧和/或所述直播宽视角图像帧为样本鱼眼图像帧和/或直播鱼眼图像帧，所述宽视角直播设备为鱼眼直播设备。
14.根据示例9所述的赛事直播***，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
对所述宽视角图像进行预处理以去除无效数据图像部分；
基于所述内参数矩阵和畸变系数矩阵对所述去除无效数据部分后的所述宽视角图像进行展开形成宽视角展开图像；
将所述宽视角展开图像传送至富媒体服务器。
15.一种赛事直播***，包括
播放设备，其包括处理器和存储器；所述存储器存储有计算机指令序列，当所述计算机指令序列运行时，所述播放设备：
从至少一个流媒体服务器接收针对至少一个宽视角图像采集设备的像素坐标映射关系矩阵以及由该宽视角图像采集设备获取宽视角视频流或音视频流；
对所述宽视角视频流或音视频流进行解码得到多个宽视角图像帧；
建立半球面模型；
使用所述像素坐标映射矩阵变换对应的半球面纹理坐标；
将所述多个宽视角图像帧的每一帧纹理贴图在所述半球面模型上以呈现校正后的图像帧。
16.根据权利要15所述的赛事直播***，还包括虚拟摄像单元，所述虚拟摄像单元位于所述半球面模型的所述半球面所在的球体中心；所述虚拟摄像单元的视角方向可调。
17.根据示例16的赛事直播***，所述播放设备包括触感控制单元，所述触感控制单元被配置为接收触感输入而改变所述虚拟摄像单元的视角方向。
18.根据示例15的赛事直播***，所述宽视角直播设备将所述宽视角视频流基于RTMP协议推送至所述流媒体服务器，或者所述宽视角直播设备基于所述流媒体服务器的请求将所述展开的宽视角视频流基于传送至所述流媒体服务器。
19.根据示例18的赛事直播***，还包括至少一个普通视角直播设备，所述普通视角直播设备产生普通视角视频流，并将所述普通视角视频流传送至所述流媒体服务器。
20.根据示例16的赛事直播***，所述流媒体***将自所述普通视角直播设备接收的所述普通指教视频流和自所述宽视角直播设备接收的所述展开的宽视角视频流并行传送至直播服务器。
21.一种赛事直播***，包括
至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储第一计算机指令序列；
处理器，执行所述第一计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取基于多个直播宽视角图像帧形成直播宽视角视频流；
流媒体服务器，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：
从所述至少一个宽视角直播设备接收所述直播宽视角视频流和所述像素坐标映射关系矩阵；
对将所述像素坐标映射关系矩阵和所述宽视角视频流进行缓存和调度。
22.一种赛事直播***，包括
至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储第一计算机指令序列；
处理器，执行所述第一计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
获取基于多个直播宽视角图像帧形成宽视角视频流；
将所述以及内参数矩阵和畸变系数矩阵传送至流媒体服务器；以及
将所述宽视角视频流传送至所述流媒服务器；
流媒体服务器，其与至少一个宽视角直播设备通信，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：
根据从所述至少一个宽视角直播设备中接收的所述样本宽视角图像帧以及宽视角直播设备的宽视角图像采集单元的内参数矩阵和畸变系数矩阵推导出所述宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
在本地保存所述宽视角直播设备像素坐标映射关系矩阵；
接收来自所述宽视角直播设备的宽视角视频流或音视频流；
对所述宽视角视频流进行缓存；以及
对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度。
23.根据示例22的赛事直播***，对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度包括将所述宽视角视频流或音视频流连同所述像素坐标映射关系矩阵发送给目标播放设备。
24.根据示例22的赛事直播***，所述流媒体服务器保留所述像素坐标映射关系矩阵直至所述流媒体服务器与所述宽视角直播设备的连接中断。
25.根据示例23的赛事直播***，所述流媒体服务器在切换用户设备的对来自不同的宽视角直播设备的视频流或音视频流的请求时，根据最近接到的样本宽视角图像推导出新的像素坐标映射关系矩阵并替换存储的像素坐标映射关系矩阵。
26.一种赛事直播方法，用于控制包括宽视角图像采集单元宽视角直播设备，包括
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
采集多个直播宽视角图像帧；
用所述采集的多个直播宽视角图像帧创建宽视角视频流；
将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器的步骤。
27一种赛事直播方法，用于控制包括宽视角图像采集单元宽视角直播设备，包括获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取多个直播宽视角图像帧；
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及
将所述像素坐标映射关系矩阵传送至所述流媒体服务器；将所述宽视角音视频流以及所述传送至所述流媒体服务器。
28.一种计算机可读存储介质，其存储有计算机指令序列，以实现所述权利要求26或27所述的方法。

Claims (28)

1.一种赛事直播***，其包括宽视角直播设备，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
采集多个直播宽视角图像帧；
用所述采集的多个直播宽视角图像帧创建宽视角视频流；
将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器，所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
2.根据权利要求1所述的赛事直播***，对所述直播宽视角视频流的每一帧进行前置处理后再传送至所述流媒体服务器。
3.根据权利要求1所述的赛事直播***，所述直播宽视角视频流以图像组的形式呈现。
4.根据权利要求1所述的赛事直播***，其特征在于：所述直播宽视角视频流被编码压缩成视频流基于RTMP协议推送至流媒体服务器。
5.根据权利要求4所述的赛事直播***，其特征在于：所述样本宽视角图像帧和/或所述直播宽视角图像帧为样本鱼眼图像帧和/或直播鱼眼图像帧，所述宽视角直播设备为鱼眼直播设备。
6.根据权利要求1所述的赛事直播***，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵，推导出宽视角图片和展开图片的像素坐标映射关系矩阵；
对所述宽视角图像进行前置处理以去除无效数据图像部分；
基于所述内参数矩阵和畸变系数矩阵对所述去除无效数据部分后的所述宽视角图像进行展开形成宽视角展开图像；
将所述宽视角展开图像传送至富媒体服务器。
7.根据权利要求1所述的赛事直播***，还包括声音采集单元，用于获取所述直播设备的声场信号。
8.根据权利要求7的赛事直播***，所述存储器还存储有计算机指令，所述处理器执行所述计算机指令以实现
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图帧像封装成宽视角音视频流；以及
将所述宽视角音视频流传送至所述流媒体服务器。
9.一种赛事直播***，包括宽视角直播设备，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像帧；
至少一个声音采集单元，用于获取竞技类赛车直播设备的声场信号；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取多个直播宽视角图像帧；
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及
将所述像素坐标映射关系矩阵传送至流媒体服务器；将所述宽视角音视频流以及所述直播宽视角图像帧传送至所述流媒体服务器；
所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
10.根据权利要求9所述的赛事直播***，对所述直播宽视角视频流的每一帧进行前置处理后再传送至所述流媒体服务器。
11.根据权利要求9所述的赛事直播***，所述直播宽视角视频流以图像组的形式呈现。
12.根据权利要求9所述的赛事直播***，所述直播宽视角视频流被编码压缩成视频流基于RTMP协议推送至流媒体服务器。
13.根据权利要求12所述的赛事直播***，所述样本宽视角图像帧和/或所述直播宽视角图像帧为样本鱼眼图像帧和/或直播鱼眼图像帧，所述宽视角直播设备为鱼眼直播设备。
14.根据权利要求9所述的赛事直播***，所述宽视角直播设备包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储计算机指令序列；
处理器，执行所述计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
对所述宽视角图像进行预处理以去除无效数据图像部分；
基于所述内参数矩阵和畸变系数矩阵对所述去除无效数据部分后的所述宽视角图像进行展开形成宽视角展开图像；
将所述宽视角展开图像传送至富媒体服务器。
15.一种赛事直播***，包括
播放设备，其包括处理器和存储器；所述存储器存储有计算机指令序列，当所述计算机指令序列运行时，所述播放设备：
从至少一个流媒体服务器接收针对至少一个宽视角图像采集设备的该宽视角直播设备的宽视角图像帧和该宽视角图像帧对应的全景展开图像帧的像素坐标映射关系矩阵，以及从该宽视角图像采集设备获取宽视角视频流或音视频流；
对所述宽视角视频流或音视频流进行解码得到多个宽视角图像帧；
建立半球面模型；
使用所述像素坐标映射矩阵变换对应的半球面纹理坐标；
将所述多个宽视角图像帧的每一帧纹理贴图在所述半球面模型上以呈现校正后的图像帧；
所述流媒体服务器配置为：只要所述宽视角采集设备与所述流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵。
16.根据权利要求 15所述的赛事直播***，还包括虚拟摄像单元，所述虚拟摄像单元位于所述半球面模型的所述半球面所在的球体中心；所述虚拟摄像单元的视角方向可调。
17.根据权利要求16的赛事直播***，所述播放设备包括触感控制单元，所述触感控制单元被配置为接收触感输入而改变所述虚拟摄像单元的视角方向。
18.根据权利要求15的赛事直播***，所述宽视角直播设备将所述宽视角视频流基于RTMP协议推送至所述流媒体服务器，或者所述宽视角直播设备基于所述流媒体服务器的请求将所述宽视角视频流传送至所述流媒体服务器。
19.根据权利要求18的赛事直播***，还包括至少一个普通视角直播设备，所述普通视角直播设备产生普通视角视频流，并将所述普通视角视频流传送至所述流媒体服务器。
20.根据权利要求19的赛事直播***，所述流媒体服务器将自所述普通视角直播设备接收的所述普通视角 视频流和自所述宽视角直播设备接收的所述宽视角视频流并行传送至直播服务器。
21.一种赛事直播***，包括
至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储第一计算机指令序列；
处理器，执行所述第一计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取基于多个直播宽视角图像帧形成直播宽视角视频流；
流媒体服务器，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：
从所述至少一个宽视角直播设备接收所述直播宽视角视频流和所述像素坐标映射关系矩阵；
对将所述像素坐标映射关系矩阵和所述宽视角视频流进行缓存和调度；
所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
22.一种赛事直播***，包括
至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括
宽视角图像采集单元，用于获取宽视角图像帧；
存储器，用于存储第一计算机指令序列；
处理器，执行所述第一计算机指令序列以：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
获取基于多个直播宽视角图像帧形成宽视角视频流；
将所述内参数矩阵和畸变系数矩阵传送至流媒体服务器；以及
将所述宽视角视频流传送至所述流媒服务器；
流媒体服务器，其与至少一个宽视角直播设备通信，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：
根据从所述至少一个宽视角直播设备中接收的所述宽视角图像帧以及宽视角直播设备的宽视角图像采集单元的内参数矩阵和畸变系数矩阵推导出所述宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
在本地保存所述宽视角直播设备像素坐标映射关系矩阵；
接收来自所述宽视角直播设备的宽视角视频流或音视频流；
对所述宽视角视频流进行缓存；以及
对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度。
所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
23.根据权利要求22的赛事直播***，对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度包括将所述宽视角视频流或音视频流连同所述像素坐标映射关系矩阵发送给目标播放设备。
24.根据权利要求22的赛事直播***，所述流媒体服务器保留所述像素坐标映射关系矩阵直至所述流媒体服务器与所述宽视角直播设备的连接中断。
25.根据权利要求23的赛事直播***，所述流媒体服务器在切换用户设备的对来自不同的宽视角直播设备的视频流或音视频流的请求时，根据最近接到的样本宽视角图像推导出新的像素坐标映射关系矩阵并替换存储的像素坐标映射关系矩阵。
26.一种赛事直播方法，用于控制包括宽视角图像采集单元宽视角直播设备，包括
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
采集多个直播宽视角图像帧；
用所述采集的多个直播宽视角图像帧创建宽视角视频流；
将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器的步骤；
所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
27.一种赛事直播方法，用于控制包括宽视角图像采集单元的宽视角直播设备，包括：
获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；
采集样本宽视角图像帧；
对所述样本宽视角图像帧进行前置处理；以及
根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；
获取多个直播宽视角图像帧；
获取所述宽视角直播设备的声场信号；
将所述声场信号数字化成音频数据；
将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及
将所述像素坐标映射关系矩阵传送至流媒体服务器；将所述宽视角音视频流以及所述直播宽视角图像帧传送至所述流媒体服务器；
所述流媒体服务器配置为：经由直播平台将所述宽视角视频流传送至用户设备；并且只要所述宽视角直播设备与流媒体服务器保持连接，则所述流媒体服务器会一直将该像素坐标映射关系矩阵传送给用户设备；当流媒体服务器与所述宽视角直播设备的连接断开后，则流媒体服务器会删除该像素坐标映射关系矩阵；
所述用户设备被配置为接收并还原所述宽视角视频流，所述还原所述宽视角视频流包括建立立体模型，使用所述像素坐标映射关系矩阵变换对应所述立体模型的立体纹理坐标，再应用纹理贴图技术将所述直播宽视角图像帧贴图至所述立体模型上以展示校正的图像。
28.一种计算机可读存储介质，其存储有计算机指令序列，以实现所述权利要求26或27所述的方法。
CN201710432037.5A 2017-06-09 2017-06-09 一种赛事宽视角直播设备和相关联的直播***和方法 Active CN107835435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710432037.5A CN107835435B (zh) 2017-06-09 2017-06-09 一种赛事宽视角直播设备和相关联的直播***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710432037.5A CN107835435B (zh) 2017-06-09 2017-06-09 一种赛事宽视角直播设备和相关联的直播***和方法

Publications (2)

Publication Number Publication Date
CN107835435A CN107835435A (zh) 2018-03-23
CN107835435B true CN107835435B (zh) 2021-08-20

Family

ID=61643037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710432037.5A Active CN107835435B (zh) 2017-06-09 2017-06-09 一种赛事宽视角直播设备和相关联的直播***和方法

Country Status (1)

Country Link
CN (1) CN107835435B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559686B1 (ko) * 2018-12-17 2023-07-27 현대자동차주식회사 차량 및 차량 영상 제어방법
WO2020258047A1 (en) * 2019-06-25 2020-12-30 Beijing Xiaomi Mobile Software Co., Ltd. Omnidirectional media playback method and device and computer readable storage medium thereof
CN112689175A (zh) * 2020-12-21 2021-04-20 四川一电航空技术有限公司 一种可直播滑板车
CN114866789A (zh) * 2021-02-04 2022-08-05 华为技术有限公司 一种车载直播方法及装置
CN114630142B (zh) * 2022-05-12 2022-07-29 北京汇智云科技有限公司 一种大型运动会转播信号调度方法和播出制作***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102291527A (zh) * 2011-08-11 2011-12-21 杭州海康威视软件有限公司 基于单个鱼眼镜头的全景视频漫游方法及装置
CN106060571A (zh) * 2016-05-30 2016-10-26 湖南纽思曼导航定位科技有限公司 一种行车记录仪及视频直播方法
CN106570938A (zh) * 2016-10-21 2017-04-19 哈尔滨工业大学深圳研究生院 基于opengl 的全景监控方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009139701A (ja) * 2007-12-07 2009-06-25 Olympus Imaging Corp ズームレンズ及びそれを用いた撮像装置
CN103033913A (zh) * 2011-10-06 2013-04-10 鸿富锦精密工业（深圳）有限公司 变焦镜头及成像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN102291527A (zh) * 2011-08-11 2011-12-21 杭州海康威视软件有限公司 基于单个鱼眼镜头的全景视频漫游方法及装置
CN106060571A (zh) * 2016-05-30 2016-10-26 湖南纽思曼导航定位科技有限公司 一种行车记录仪及视频直播方法
CN106570938A (zh) * 2016-10-21 2017-04-19 哈尔滨工业大学深圳研究生院 基于opengl 的全景监控方法及***

Also Published As

Publication number Publication date
CN107835435A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播***和方法
US11381801B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
JP7045856B2 (ja) 独立符号化バックグラウンド更新に基づく映像伝送
CN107211081B (zh) 基于独立编码的背景更新的视频传输
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
WO2007061068A1 (ja) 受信装置及び本線映像配信装置
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
CN114007059A (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
JP5520146B2 (ja) 映像受信装置、及びその制御方法
CN107835433B (zh) 一种赛事宽视角直播***、相关联的设备和直播方法
CN107835434B (zh) 赛事宽视角直播设备和相关联的直播***和方法
CN109479147B (zh) 用于时间视点间预测的方法及技术设备
WO2019072861A1 (en) SELECTING AN ANIMATED VIEWING ANGLE IN AN IMMERSIVE VIRTUAL ENVIRONMENT
CN112203101B (zh) 一种远程视频直播方法、装置及电子设备
US20230222754A1 (en) Interactive video playback techniques to enable high fidelity magnification
CN113038262A (zh) 一种全景直播方法和装置
JP2022034941A (ja) 動画通信システム
JP2003235058A (ja) 視点自由形画像表示装置及び方法、記憶媒体、コンピュータ・プログラム、放送システム、並びに、付加情報管理装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211126

Address after: Room 501, gate 9, 9 / F, zhixueyuan, No. 29, Xierqi Road West, Haidian District, Beijing 100085

Patentee after: Zhi Xiaomu

Address before: Room 1513, building 3, No. 3, Xijing Road, Badachu high tech park, Shijingshan District, Beijing 100041

Patentee before: FBLIFE (BEIJING) MEDIA TECHNOLOGY CO.,LTD.