CN113784209B - 多媒体数据流处理方法及装置 - Google Patents

多媒体数据流处理方法及装置 Download PDF

Info

Publication number
CN113784209B
CN113784209B CN202111031283.2A CN202111031283A CN113784209B CN 113784209 B CN113784209 B CN 113784209B CN 202111031283 A CN202111031283 A CN 202111031283A CN 113784209 B CN113784209 B CN 113784209B
Authority
CN
China
Prior art keywords
video frame
data stream
multimedia data
target
frame picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111031283.2A
Other languages
English (en)
Other versions
CN113784209A (zh
Inventor
董浩
刘永明
郑龙
夏佳梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202111031283.2A priority Critical patent/CN113784209B/zh
Publication of CN113784209A publication Critical patent/CN113784209A/zh
Application granted granted Critical
Publication of CN113784209B publication Critical patent/CN113784209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种多媒体数据流处理方法。该方法包括：通过解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；通过数据选择器从多路多媒体数据流的视频帧画面选定输入至滤波器中的目标视频帧画面；通过帧判定模块判断目标视频帧画面是否经过滤波器进行修改处理；当判定出目标视频帧画面未经过滤波器进行修改处理时，通过帧判定模块判断目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同；当判定出目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，将目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。本申请可以避免高质量输入的视频流进行重编码，提升输出流的质量。

Description

多媒体数据流处理方法及装置
技术领域
本申请涉及视频技术领域，尤其涉及一种多媒体数据流处理方法及装置。
背景技术
直播业务在对多路点播文件或直播流媒体的编辑、切换、混合时，会使用云导播台服务。具体而言，在多个输入的视频流(包括音视频信号)经过解码后，由导播台操作者通过编辑模块中的数据选择器进行输入的切换，然后把指定输入的音视频信号通过编辑模块中的滤波器进行滤波，滤波后的信号输入到编码器进行压缩，之后，可以将压缩后的视频流传输至流媒体服务器中。
然而，发明人发现，由于不同输入的视频流的编码参数可能各不相同，经过编辑模块处理后的音视频信号数据会被统一按同一套编码参数进行编码，且由于云导播台的输出一般都是直播流媒体，为了保证低延迟并且维持帧率，编码的复杂度较低。这会导致当某些输入是高质量的视频流时(如经过高复杂度压缩的4K、8K视频)，在进行第二次的编码会大大降低视频质量。
发明内容
有鉴于此，现提供一种多媒体数据流处理方法、装置、计算机设备及计算机可读存储介质，以解决现有的云播台在对高质量的视频流时进行第二次的编码会大大降低视频质量的问题。
本申请提供了一种多媒体数据流处理方法，应用于包括云导播台中，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，所述方法包括：
所述云导播台通过所述解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；
所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定输入至所述滤波器中的目标视频帧画面；
所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理；
当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同；
当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，所述云导播台将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
可选地，所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理的步骤之后，还包括：
当判定出所述目标视频帧画面经过所述滤波器进行修改处理时，所述云导播台通过所述编码器对经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
可选地，所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同的步骤之后，还包括：
当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，所述云导播台通过所述编码器对未经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
可选地，所述方法还包括：
当所述数据选择器接收到用户触发的切流操作时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面；
当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
可选地，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面的步骤之后，还包括：
当判定出当前时刻输入至所述滤波器中的目标视频帧画面为满足预设条件的视频帧画面时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧；
当判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
可选地，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧的步骤之后，还包括：
当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第一目标帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一目标帧画面为所述切流操作之前选定的多媒体数据流中的帧画面；
当第二时刻通过所述帧判定模块判定出输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第二目标帧画面作为第三时刻输入至所述滤波器中的目标视频帧画面，其中，所述第二目标帧画面为所述切流操作对应的多媒体数据流中的帧画面，所述第二时刻为晚于所述第一时刻且早于所述第三时刻的时间，所述第三时刻为所述第二时刻之后的时间。
可选地，所述方法还包括：
当所述第三时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面不为关键帧时，所述云导播台通过所述编码器对所述第二目标帧画面得进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中；
当所述第四时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面为关键帧时，所述云导播台将所述第二目标帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
本申请还提供了一种多媒体数据流处理装置，应用于包括云导播台中，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，所述多媒体数据流处理装置包括：
解码模块，用于通过所述解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；
选定模块，用于通过所述数据选择器从多路多媒体数据流的视频帧画面中选定输入至所述滤波器中的目标视频帧画面；
第一判断模块，用于通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理；
第二判断模块，用于当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同；
输出模块，用于当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
本申请还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例多媒体数据流处理方法，通过云导播台增设帧判定模块来对视频帧画面进行判定，并在判定出视频帧画面为满足要求的输入帧时将该视频帧实现跳过编码器处理的操作，而是直接将未解码的视频二进制数据输出至流媒体服务器中；反之则将解码后的信号数据传至编码器编码，从而可以避免高质量输入的视频流进行重编码，提升输出流的质量，同时也保留了云导播台流畅切换所有输入流的特性。
附图说明
图1为现有技术中的云导播台服务***的架构图；
图2为本申请所述的多媒体数据流处理方法的一种实施例的流程图；
图3为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图4为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图5为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图6为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图7为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图8为本申请所述的多媒体数据流处理方法的另一种实施例的流程图；
图9为本申请所述的多媒体数据流处理***的一种实施例的架构图；
图10为本申请实施例提供的执行多媒体数据流处理方法的计算机设备的硬件结构示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本申请的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。
为了方便对本申请的发明原理的理解，先对现有的云导播台服务***进行介绍。
为了方便对本申请的发明原理的理解，先对现有的云导播台服务***进行介绍。
参阅图1，云导播台服务***包括云导播台、流媒体服务器及视频播放器。
其中，云导播台包括解码器、编辑模块、编码器、封装传输模块。解码器用于对输入的多路视频流数据(如点播音视频文件、直播流媒体等)进行解码。编辑模块、用于对解码后得到的多路视频流数据进行编辑，比如，由导播台操作者通过编辑模块中的数据选择器选择输入的视频流数据，并将选择的视频流数据通过滤波器进行编辑，并将编辑后得到的视频流数据输入至编码器中。编码器用于对接收到的视频流数据进行编码，并将编码后的视频流数据输入至封装传输模块。封装传输模块用于对接收到的视频流数据进行封装，并将封装后的视频流数据传输至流媒体服务器。视频播放器用于从流媒体服务器中获取视频流数据，并对获取到的视频流数据进行渲染，以播放视频。
云导播台是一种部署在云上的多媒体服务，可以对多个多媒体数据流(如点播音视频文件、直播流媒体等)进行混合、切换、编辑等操作后，转换为新的多媒体输出。
其中，流媒体指以流方式在网络中传送音频、视频和多媒体文件的媒体形式。相对于下载后观看的网络播放形式而言，流媒体的典型特征是把连续的音频和视频信息压缩后放到网络服务器上，用户边下载边观看，而不必等待整个文件下载完毕。由于流媒体技术的优越性，该技术广泛应用于视频点播、视频会议、远程教育、远程医疗和在线直播***中。作为新一代互联网应用的标志，流媒体技术在近几年得到了飞速的发展。
流媒体服务器是流媒体应用的核心***，是运营商向用户提供视频服务的关键平台。流媒体服务器的主要功能是对流媒体内容进行采集、缓存、调度和传输播放。流媒体应用***的主要性能体现都取决于媒体服务器的性能和服务质量。因此，流媒体服务器是流媒体应用***的基础，也是最主要的组成部分。
参阅图2，其为本申请一实施例的多媒体数据流处理方法的流程示意图。本申请的方法应用于所述云导播台中，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，本可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。从图中可以看出，本实施例中所提供的多媒体数据流处理方法包括：
步骤S20、所述云导播台通过所述解码器对输入的多路多媒体数据流进行解码，得到多路视频帧画面。
具体地，所述多路多媒体数据流可以为多路直播流数据，也可以多路磁盘文件，或者可以同时包括N路直播流数据及M路磁盘文件，其中，N和M为大于或者等于1的自然数。
需要说明的是，本实施例中的磁盘文件指的是存储在存储装置中的多媒体文件(比如点播视频文件)。
其中，解码是指把经过编码的二进制数据，经过对应的解压缩算法，得到视频的亮度、色彩信号或音频采样信号的过程。
作为示例，假设输入的多路多媒体数据流是电竞赛事的主、备直播流，则云导播台可以对主、备直播流进行解码得到主路直播流对应的直播视频帧画面，以及得到备用路直播流对应的直播视频帧画面。
步骤S21，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面选定输入至所述滤波器中的目标视频帧画面。
具体地，用户可以通过数据选择器从多路多媒体数据流中选择出输出哪一路多媒体数据流至流媒体服务器中。当用户选定后，数据选择器会从多路多媒体数据流的视频帧画面选定属于用户选定的那路多媒体数据流的视频帧画面作为输入至滤波器中的目标视频帧画面。
步骤S22，所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理。
具体地，所述修改处理包括对目标视频帧画面进行打码、涂抹，音频变声、调整音量等。
步骤S23，当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同。
具体地，当帧判定模块判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，所述帧判定模块会进一步判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同。
其中，所述参数信息指的是视频帧画面的关键参数，可以包括分辨率、编码格式、像素格式，声道、信号格式和采样率。
所述目标多媒体数据流可以为用户预先指定的用于当作参考的多媒体数据流，也可以默认设置为多路多媒体数据流中的质量最高的多媒体数据流，这样就无需用户进行指定。作为示例，多路多媒体数据流总共包括3路，分别为分辨率为720P、1080P和4K的多媒体数据流，则用户可以指定4K的多媒体数据流为所述目标多媒体数据流。
需要说明的是，在本申请中提到的视频帧画面是指包括图像数据以及对应的音频数据的帧画面。
步骤S24，当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，所述云导播台将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
具体地，当帧判定模块判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，所述云导播台可以直接将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中，而无需先将所述二视频帧画面先输入至滤波器中，之后将滤波器输出的视频帧画面再输入至编码器中进行编码，最后，通过编码器将编码后得到的视频二进制数据输入至流媒体服务器中。也就是说，当帧判定模块判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，可以跳过编码器编码的步骤。
本申请实施例多媒体数据流处理方法，通过云导播台增设帧判定模块来对视频帧画面进行判定，并在判定出视频帧画面为满足要求的输入帧时将该视频帧实现跳过编码器处理的操作，而是直接将未解码的视频二进制数据输出至流媒体服务器中；反之则将解码后的信号数据传至编码器编码，从而可以避免高质量输入的视频流进行重编码，提升输出流的质量，同时也保留了云导播台流畅切换所有输入流的特性。
在一示例性的实施方式中，参阅图3，所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理的步骤之后，还包括：步骤S30，当判定出所述目标视频帧画面经过所述滤波器进行修改处理时，所述云导播台通过所述编码器对经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；步骤S31，所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
具体地，当帧判定模块判定出所述目标视频帧画面经过所述滤波器进行修改处理时，编码器会对经过滤波器进行修改处理后输出的视频帧画面进行编码处理，以将该视频帧画面编码成对应的视频二进制数据，在完成编码后，编码器会将该视频二进制数据输出至所述流媒体服务器中。
其中，编码是指编码把视频的亮度、色彩信号或音频采样信号通过一定算法进行有损压缩，得到二进制数据的过程。
本实施例中，通过帧判定模块判定出所述目标视频帧画面经过所述滤波器进行修改处理时，对视频帧画面进行编码处理，从而可以保证输出至用户观看的视频是稳定的。
在一示例性的实施方式中，参阅图4，所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同的步骤之后，还包括：步骤S40，当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，所述云导播台通过所述编码器对未经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；步骤S41，所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
具体地，当帧判定模块判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，表明所述目标视频帧画面不是高质量的视频帧画面，则为了保证输出至用户观看的视频是稳定的，编码器会对未经过所述滤波器进行修改处理(只做了普通的滤波处理，比如滤除噪声信号)得到的视频帧画面进行编码处理，以将该视频帧画面编码成对应的视频二进制数据，在完成编码后，编码器会将该视频二进制数据输出至所述流媒体服务器中。
实施例中，通过帧判定模块判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，对视频帧画面进行编码处理，从而可以保证输出至用户观看的视频是稳定的。
在一示例性的实施方式中，参阅图5，所述方法还包括：
步骤S50，当所述数据选择器接收到用户触发的切流操作时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面。
具体地，所述切流操作用于将当前输入第N路多媒体数据流切换至第M路多媒体数据流。比如，将当前输入的第一路多媒体数据流切换至第3路多媒体数据流作为输出流。
所述预设条件为所述目标视频帧画面没有经过滤波器进行修改处理，且所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同。
所述当前时刻为接收到用户触发切流操作的时间。
步骤S51，当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
具体地，当帧判定模块判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，数据选择器会从多路多媒体数据流的视频帧画面选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面。
作为示例，假设当前时刻为12点5分10秒，切流操作为将第1路多媒体数据流切换至第2路多媒体数据流，则在12点5分10秒之后，数据选择器会从多路多媒体数据流的视频帧画面选择属于第2路多媒体数据流的帧画面作为输入至所述滤波器中的目标视频帧画面，从而实现视频帧画面的切换。
本实施例中，通过在判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，直接实现视频帧画面的切换，从而可以提高切换的准确度。
在一示例性的实施方式中，参阅图6，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面的步骤之后，还包括：
步骤S60，当判定出当前时刻输入至所述滤波器中的目标视频帧画面为满足预设条件的视频帧画面时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧。
具体地，关键帧(I frame)又称为内部画面(intra picture)，I帧通常是每个GOP(MPEG所使用的一种视频压缩技术)的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像，属于帧内压缩。
当帧判定模块判定出当前时刻输入至所述滤波器中的目标视频帧画面为满足预设条件的视频帧画面时，所述帧判定模块会进一步判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧。
步骤S61，当判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
具体地，当帧判定模块判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，数据选择器会从多路多媒体数据流的视频帧画面选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面。
作为示例，假设当前时刻为12点5分10秒，切流操作为将第1路多媒体数据流切换至第2路多媒体数据流，且当前时刻输入至所述滤波器中的目标视频帧画面为关键帧，则在12点5分10秒之后，数据选择器会从多路多媒体数据流的视频帧画面选择属于第2路多媒体数据流的帧画面作为输入至所述滤波器中的目标视频帧画面，从而实现视频帧画面的切换。
本实施例中，通过在判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，直接实现视频帧画面的切换，从而可以提高切换的准确度。
在一示例性的实施方式中，参阅图7，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧的步骤之后，还包括：
步骤S70，当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第一目标帧画面作为所述第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一目标帧画面为所述切流操作之前选定的多媒体数据流中的帧画面。
具体地，目标视频帧画面不为关键帧指的是目标视频帧画面为P帧或者B帧。
其中，P帧是根据本帧与相邻的前一帧(关键帧或P帧)的不同点来压缩本帧数据得到的帧。采取P帧和关键帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹，属于帧间压缩。
B帧是是采用双向预测的帧间压缩算法来压缩本帧数据得到的帧。当把一帧压缩成B帧时，它根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。只有采用B帧压缩才能达到200：1的高压缩。一般地，关键帧压缩效率最低，P帧较高，B帧最高。
所述第一目标帧画面为所述切流操作之前选定的多媒体数据流中的帧画面，比如，在切流操作之前，选定第1路多媒体数据流作为输出，则所述第一目标帧画面即为多路多媒体数据流的视频帧画面中属于1路多媒体数据流的帧画面。
步骤S71，当第二时刻通过所述帧判定模块判定出输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第二目标帧画面作为第三时刻输入至所述滤波器中的目标视频帧画面，其中，所述第二目标帧画面为所述切流操作对应的多媒体数据流中的帧画面，所述第二时刻为晚于所述第一时刻且早于所述第三时刻的时间，所述第三时刻为所述第二时刻之后的时间。
具体地，所述帧判定模块会实时判定当前输入至所述滤波器中的目标视频帧画面是否为关键帧，当帧判定模块在第二时刻判定出当前输入至所述滤波器中的目标视频帧画面为关键帧时，所述数据选择器会从多路多媒体数据流的视频帧画面中选定第二目标帧画面作为第三时刻输入至所述滤波器中的目标视频帧画面。
所述第一目标帧画面为所述切流操作对应的的多媒体数据流中的帧画面，比如，切流操作为将第1路多媒体数据流切换至第2路多媒体数据流，则所述第二目标帧画面即为多路多媒体数据流的视频帧画面中属于2路多媒体数据流的帧画面。
作为示例，假设第一时刻为12点5分10秒，第二时刻为12点5分15秒，第三时刻为12点5分15秒之后的时间，切流操作为将第1路多媒体数据流切换至第2路多媒体数据流，则12点5分15秒的时刻判定出输入至所述滤波器中的目标视频帧画面为I帧时，数据选择器会从12点5分15秒之后开始将多路多媒体数据流的视频帧画面中属于2路多媒体数据流的帧画面作为输入至所述滤波器中的目标视频帧画面。数据选择器在12点5分10秒～12点5分15秒之间会仍然将多路多媒体数据流的视频帧画面中属于1路多媒体数据流的帧画面作为输入至所述滤波器中的目标视频帧画面，其真实切流逻辑如下表所示：
在本实施例中，当在输入1中的B帧接收到用户触发的切流操作将输入1切换到输入2时，实际输入至流媒体服务中的视频帧依次为输入1的B帧、P帧、B帧、B帧、P帧、I帧以及输入2的B帧、B帧、P帧、I帧及P帧。
本实施例通过在切换到其他输入多媒体数据流的过程中，永远以I帧收尾，避免触发切流后，之前的帧永远不会出现找不到参考帧的情况。
在一示例性的实施方式中，参阅图8，所述方法还包括：步骤S80，当所述第三时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面不为关键帧时，所述云导播台通过所述编码器对所述第二目标帧画面得进行编码处理；步骤S81，所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中；步骤S82，当所述第四时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面为关键帧时，所述云导播台将所述第二目标帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中，其中，所述第四时刻为所述第三时刻之后的时间。
具体地，当在第三时刻输入至滤波器的视频帧画面为需要跳过编码步骤的视频帧画面为关键帧时，此时，为了保证输出画面的稳定性，可以不跳过编码步骤，而是通过所述编码器对所述第二目标帧画面得进行编码处理，之后，将编码器将编码得到的视频二进制数据输出至所述流媒体服务中，直到在第四时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面为关键帧时，才会将所述第二目标帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
作为示例，比如第三时刻为12点5分15秒，第四时刻为12点5分20秒，则在12点5分15秒～12点5分20秒时，会将第二目标帧画面输入至编码器中进行编码，并将编码后得到的视频二进制数据输入至所述流媒体服务器。在12点5分20秒之后才将第二目标帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
本实施例中，通过在两条输入流的关键帧空档期，进行重编码来保证输出画面的稳定性。
参阅图9所示，是本申请多媒体数据流处理装置90一实施例的程序模块图。
本实施例中，所述多媒体数据流处理装置90应用于云导播台中，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，多媒体数据流处理装置90包括一系列的存储于存储器上的计算机程序指令，当该计算机程序指令被处理器执行时，可以实现本申请各实施例的多媒体数据流处理功能。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，多媒体数据流处理装置90可以被划分为一个或多个模块，具体可以划分的模块如下：
解码模块91，用于通过所述解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；
选定模块92，用于通过所述数据选择器从多路多媒体数据流的视频帧画面中选定输入至所述滤波器中的目标视频帧画面；
第一判断模块93，用于通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理；
第二判断模块94，用于当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同；
输出模块95，用于当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中。
在一示例性的实施方式中，多媒体数据流处理装置90还包括编码模块。
编码模块，用于当判定出所述目标视频帧画面经过所述滤波器进行修改处理时，通过所述编码器对经过所述滤波器进行修改处理得到的视频帧画面进行编码处理。
输出模块95，还用于通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
在一示例性的实施方式中，编码模块，还用于当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，通过所述编码器对未经过所述滤波器进行修改处理得到的视频帧画面进行编码处理。
输出模块95，还用于通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
在一示例性的实施方式中，多媒体数据流处理装置90还包括第三判断模块。
所述第三判断模块，用于当所述数据选择器接收到用户触发的切流操作时，通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面。
所述选定模块92，还用于当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
在一示例性的实施方式中，多媒体数据流处理装置90还包括第四判断模块。
所述第四判断模块，用于当判定出当前时刻输入至所述滤波器中的目标视频帧画面为满足预设条件的视频帧画面时，通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧。
所述选定模块92，还用于当判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
在一示例性的实施方式中，所述选定模块92，还用于当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为关键帧时，通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第一目标帧画面作为所述第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一目标帧画面为所述切流操作之前选定的多媒体数据流中的帧画面。
所述选定模块92，还用于当第二时刻通过所述帧判定模块判定出输入至所述滤波器中的目标视频帧画面为关键帧时，通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第二目标帧画面作为第三时刻输入至所述滤波器中的目标视频帧画面，其中，所述第二目标帧画面为所述切流操作对应的多媒体数据流中的帧画面，所述第二时刻为晚于所述第一时刻且早于所述第三时刻的时间，所述第三时刻为所述第二时刻之后的时间。
在一示例性的实施方式中，所述编码模块，还用于当所述第三时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面不为关键帧时，通过所述编码器对所述第二目标帧画面得进行编码处理。
所述输出模块95，还用于通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
所述输出模块95，还用于当所述第四时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面为关键帧时，将所述第二目标帧画面对应的未经解码的视频二进制数据输出至所述流媒体服务器中，其中，所述第四时刻为所述第三时刻之后的时间。
本申请实施例多媒体数据流处理方法，通过云导播台增设帧判定模块来对视频帧画面进行判定，并在判定出视频帧画面为满足要求的输入帧时将该视频帧实现跳过编码器处理的操作，而是直接将未解码的视频二进制数据输出至流媒体服务器中；反之则将解码后的信号数据传至编码器编码，从而可以避免高质量输入的视频流进行重编码，提升输出流的质量，同时也保留了云导播台流畅切换所有输入流的特性。
图10示意性示出了根据本申请实施例的适于实现多媒体数据流处理方法的计算机设备10的硬件架构示意图。本实施例中，计算机设备10是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图10所示，计算机设备10至少包括但不限于：可通过***总线相互通信链接存储器120、处理器121、网络接口122。其中：
存储器120至少包括一种类型的计算机可读存储介质，该可读存储介质可以是易失性的，也可以是非易失性的，具体而言，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器120可以是计算机设备10的内部存储模块，例如该计算机设备10的硬盘或内存。在另一些实施例中，存储器120也可以是计算机设备10的外部存储设备，例如该计算机设备10上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器120还可以既包括计算机设备10的内部存储模块也包括其外部存储设备。本实施例中，存储器120通常用于存储安装于计算机设备10的操作***和各类应用软件，例如多媒体数据流处理方法的程序代码等。此外，存储器120还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器121在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其它多媒体数据流处理芯片。该处理器121通常用于控制计算机设备10的总体操作，例如执行与计算机设备10进行数据交互或者通信相关的控制和处理等。本实施例中，处理器121用于运行存储器120中存储的程序代码或者处理数据。
网络接口122可包括无线网络接口或有线网络接口，该网络接口122通常用于在计算机设备10与其它计算机设备之间建立通信链接。例如，网络接口122用于通过网络将计算机设备10与外部终端相连，在计算机设备10与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图10仅示出了具有部件120～122的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器120中的多媒体数据流处理方法可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器121)所执行，以完成本申请。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的多媒体数据流处理方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例中的多媒体数据流处理方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要筛选出其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种多媒体数据流处理方法，应用于包括云导播台中，其特征在于，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，所述方法包括：
所述云导播台通过所述解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；
所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定输入至所述滤波器中的目标视频帧画面，所述目标视频帧画面是从多路多媒体数据流中选择的任一路多媒体数据流所对应的视频帧画面；
所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理；
当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同，其中，所述目标多媒体数据流为所述多路多媒体数据流中的质量最高的多媒体数据流，所述参数信息为视频帧画面包括的分辨率、编码格式、像素格式、声道、信号格式和采样率；
当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，所述云导播台将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中；
所述云导播台通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同的步骤之后，还包括：
当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，所述云导播台通过所述编码器对未经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
2.根据权利要求1所述的多媒体数据流处理方法，其特征在于，所述云导播台通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理的步骤之后，还包括：
当判定出所述目标视频帧画面经过所述滤波器进行修改处理时，所述云导播台通过所述编码器对经过所述滤波器进行修改处理得到的视频帧画面进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
3.根据权利要求1至2任一项所述的多媒体数据流处理方法，其特征在于，所述方法还包括：
当所述数据选择器接收到用户触发的切流操作时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面；
当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为满足预设条件的视频帧画面时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
4.根据权利要3所述的多媒体数据流处理方法，其特征在于，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为满足预设条件的视频帧画面的步骤之后，还包括：
当判定出当前时刻输入至所述滤波器中的目标视频帧画面为满足预设条件的视频帧画面时，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧；
当判定出当前时刻输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定与所述切流操作对应的多媒体数据流中的帧画面作为第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一时刻为所述当前时刻之后的时间。
5.根据权利要求4所述的多媒体数据流处理方法，其特征在于，所述云导播台通过所述帧判定模块判断当前时刻输入至所述滤波器中的目标视频帧画面是否为关键帧的步骤之后，还包括：
当判定出当前时刻输入至所述滤波器中的目标视频帧画面不为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第一目标帧画面作为所述第一时刻输入至所述滤波器中的目标视频帧画面，其中，所述第一目标帧画面为所述切流操作之前选定的多媒体数据流中的帧画面；
当第二时刻通过所述帧判定模块判定出输入至所述滤波器中的目标视频帧画面为关键帧时，所述云导播台通过所述数据选择器从多路多媒体数据流的视频帧画面中选定第二目标帧画面作为第三时刻输入至所述滤波器中的目标视频帧画面，其中，所述第二目标帧画面为所述切流操作对应的多媒体数据流中的帧画面，所述第二时刻为晚于所述第一时刻且早于所述第三时刻的时间，所述第三时刻为所述第二时刻之后的时间。
6.根据权利要5所述的多媒体数据流处理方法，其特征在于，所述方法还包括：
当所述第三时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面不为关键帧时，所述云导播台通过所述编码器对所述第二目标帧画面得进行编码处理；
所述云导播台通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中；
当所述第四时刻通过所述帧判定模块判定出输入至所述滤波器中的第二目标帧画面为满足所述预设条件的视频帧画面，且所述第二目标帧画面为关键帧时，所述云导播台将所述第二目标帧画面对应的未经解码的视频二进制数据输出至所述流媒体服务器中，其中，所述第四时刻为所述第三时刻之后的时间。
7.一种多媒体数据流处理装置，应用于包括云导播台中，其特征在于，所述云导播台包括解码器，编辑模块、帧判定模块及编码器，所述编辑模块包括数据选择器和滤波器，所述多媒体数据流处理装置包括：
解码模块，用于通过所述解码器对输入的多路多媒体数据流进行解码，得到多路多媒体数据流的视频帧画面；
选定模块，用于通过所述数据选择器从多路多媒体数据流的视频帧画面中选定输入至所述滤波器中的目标视频帧画面，所述目标视频帧画面是从多路多媒体数据流中选择的任一路多媒体数据流所对应的视频帧画面；
第一判断模块，用于通过所述帧判定模块判断所述目标视频帧画面是否经过所述滤波器进行修改处理；
第二判断模块，用于当判定出所述目标视频帧画面未经过所述滤波器进行修改处理时，通过所述帧判定模块判断所述目标视频帧画面中的参数信息是否与目标多媒体数据流的参数信息相同，其中，所述目标多媒体数据流为所述多路多媒体数据流中的质量最高的多媒体数据流，所述参数信息为视频帧画面包括的分辨率、编码格式、像素格式、声道、信号格式和采样率；
输出模块，用于当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息相同时，将所述目标视频帧画面对应的未经解码的视频二进制数据输出至流媒体服务器中；
所述输出模块，还用于当判定出所述目标视频帧画面中的参数信息与目标多媒体数据流的参数信息不相同时，通过所述编码器对未经过所述滤波器进行修改处理得到的视频帧画面进行编码处理，通过所述编码器将编码得到的视频二进制数据输出至所述流媒体服务中。
8.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法的步骤。
CN202111031283.2A 2021-09-03 2021-09-03 多媒体数据流处理方法及装置 Active CN113784209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031283.2A CN113784209B (zh) 2021-09-03 2021-09-03 多媒体数据流处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031283.2A CN113784209B (zh) 2021-09-03 2021-09-03 多媒体数据流处理方法及装置

Publications (2)

Publication Number Publication Date
CN113784209A CN113784209A (zh) 2021-12-10
CN113784209B true CN113784209B (zh) 2023-11-21

Family

ID=78840973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031283.2A Active CN113784209B (zh) 2021-09-03 2021-09-03 多媒体数据流处理方法及装置

Country Status (1)

Country Link
CN (1) CN113784209B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808233A (zh) * 2009-02-18 2010-08-18 杭州海康威视数字技术股份有限公司 一种通用的手机视频监控实现***和方法
CN102318356A (zh) * 2010-05-07 2012-01-11 西门子企业通讯有限责任两合公司 用于修改编码数据流的方法和设备
CN107027045A (zh) * 2017-04-11 2017-08-08 广州华多网络科技有限公司 视频流推送控制方法、装置及视频流导播端
CN107197320A (zh) * 2017-06-21 2017-09-22 北京小米移动软件有限公司 视频直播方法、装置和***
CN108259923A (zh) * 2017-09-27 2018-07-06 广州华多网络科技有限公司 一种视频直播方法、***及设备
WO2019007027A1 (zh) * 2017-07-04 2019-01-10 武汉斗鱼网络科技有限公司 视频播出方法、***、电子设备及可读取存储介质
CN109391822A (zh) * 2017-08-10 2019-02-26 徐文波 线上视频导播方法、装置及终端设备
WO2020019180A1 (zh) * 2018-07-25 2020-01-30 深圳市大疆创新科技有限公司 图像的编码控制方法、装置、存储介质及无人机
CN111182316A (zh) * 2019-10-24 2020-05-19 腾讯科技（深圳）有限公司 媒体资源的流切换方法和装置、存储介质及电子装置
CN111327896A (zh) * 2018-12-13 2020-06-23 浙江宇视科技有限公司 视频传输方法、装置、电子设备及可读存储介质
CN111669619A (zh) * 2020-06-04 2020-09-15 北京奇艺世纪科技有限公司 一种视频流数据切换方法、装置、终端和可读存储介质
CN111918096A (zh) * 2020-07-21 2020-11-10 上海网达软件股份有限公司 云导播快速切换输入源的方法、装置、设备及存储介质
CN113079406A (zh) * 2021-03-19 2021-07-06 上海哔哩哔哩科技有限公司 视频处理方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808233A (zh) * 2009-02-18 2010-08-18 杭州海康威视数字技术股份有限公司 一种通用的手机视频监控实现***和方法
CN102318356A (zh) * 2010-05-07 2012-01-11 西门子企业通讯有限责任两合公司 用于修改编码数据流的方法和设备
CN107027045A (zh) * 2017-04-11 2017-08-08 广州华多网络科技有限公司 视频流推送控制方法、装置及视频流导播端
CN107197320A (zh) * 2017-06-21 2017-09-22 北京小米移动软件有限公司 视频直播方法、装置和***
WO2019007027A1 (zh) * 2017-07-04 2019-01-10 武汉斗鱼网络科技有限公司 视频播出方法、***、电子设备及可读取存储介质
CN109391822A (zh) * 2017-08-10 2019-02-26 徐文波 线上视频导播方法、装置及终端设备
CN108259923A (zh) * 2017-09-27 2018-07-06 广州华多网络科技有限公司 一种视频直播方法、***及设备
WO2020019180A1 (zh) * 2018-07-25 2020-01-30 深圳市大疆创新科技有限公司 图像的编码控制方法、装置、存储介质及无人机
CN112204970A (zh) * 2018-07-25 2021-01-08 深圳市大疆创新科技有限公司 图像的编码控制方法、装置、存储介质及无人机
CN111327896A (zh) * 2018-12-13 2020-06-23 浙江宇视科技有限公司 视频传输方法、装置、电子设备及可读存储介质
CN111182316A (zh) * 2019-10-24 2020-05-19 腾讯科技（深圳）有限公司 媒体资源的流切换方法和装置、存储介质及电子装置
CN111669619A (zh) * 2020-06-04 2020-09-15 北京奇艺世纪科技有限公司 一种视频流数据切换方法、装置、终端和可读存储介质
CN111918096A (zh) * 2020-07-21 2020-11-10 上海网达软件股份有限公司 云导播快速切换输入源的方法、装置、设备及存储介质
CN113079406A (zh) * 2021-03-19 2021-07-06 上海哔哩哔哩科技有限公司 视频处理方法及装置

Also Published As

Publication number Publication date
CN113784209A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN102150427B (zh) 用于使用自适应环路滤波器进行视频编码的***和方法
US9942557B2 (en) Method and system of video encoding optimization
AU2014275405B2 (en) Tuning video compression for high frame rate and variable frame rate capture
JP3840895B2 (ja) 動画像符号化データ変換装置及びその方法
US9992456B2 (en) Method and apparatus for hypothetical reference decoder conformance error detection
JP2006203662A (ja) 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
CN111800653B (zh) 视频解码方法、***、设备及计算机可读存储介质
US8170094B2 (en) Method and system for scalable bitstream extraction
CN102630040A (zh) 利用带宽优化的快速频道改变伴流解决方案
CN115134629A (zh) 视频传输方法、***、设备及存储介质
CN101523918B (zh) 视频编码
CN113784209B (zh) 多媒体数据流处理方法及装置
CN108353183B (zh) 用于基于图片组(gop)对视频数据流进行编码的方法
CN114257818A (zh) 视频的编、解码方法、装置、设备和存储介质
JP5173613B2 (ja) 動画像符号化装置及びその制御方法
KR102001549B1 (ko) 선행 디코딩없이 복수의 인코딩된 비디오 스트림들을 절단하는 장치 및 방법
CN110300305B (zh) 视频编码装置与方法
JP7273504B2 (ja) 映像符号化ストリーム編集装置及びプログラム
US20160360236A1 (en) Method and Apparatus for Entropy Transcoding
CN113784210B (zh) 预监视频播放方法及云导播台服务***
CN110636332A (zh) 一种视频处理方法、装置及计算机可读存储介质
CN113784159A (zh) 多媒体数据流切换方法及装置
JP5486670B2 (ja) 動画像符号化装置及びその制御方法
CN116668776A (zh) 视频审核方法、装置、计算机设备及存储介质
CN105791837A (zh) 一种视频数据编码方法、解码方法、转码方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant