CN104980750A

CN104980750A - 一种视频转码日志的收集方法、装置及***

Info

Publication number: CN104980750A
Application number: CN201510372410.3A
Authority: CN
Inventors: 刘凤; 陈赫
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2015-06-30
Filing date: 2015-06-30
Publication date: 2015-10-14
Anticipated expiration: 2035-06-30
Also published as: CN104980750B

Abstract

本发明公开了一种视频转码日志的收集方法、装置及***，一种视频转码日志的收集方法包括：将转码服务器产生的视频转码日志放入本地缓存；监控转码服务器是否在进行视频转码；若是，进行如下步骤：从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；将获得的部分视频转码日志发送到中心存储器上；否则，进行如下步骤：将本地缓存中的视频转码日志发送到中心存储器上。由于在上述过程中，在转码服务器进行视频转码时，仅将满足预设条件的部分视频转码日志发送到中心存储器上。所以本发明的技术方案与现有技术相比减少了在视频转码过程中发送视频转码日志所占用的计算资源，进一步地，提高了转码服务器进行视频转码的效率。

Description

一种视频转码日志的收集方法、装置及***

技术领域

本发明涉及视频转码技术领域，特别是涉及一种视频转码日志的收集方法、装置及***。

背景技术

随着互联网科技的发展，越来越多的人通过互联网观看各种视频。在互联网视频生产的过程中，需要通过转码服务器进行视频转码，同时会产生大量的视频转码日志。该视频转码日志具有重要的作用，例如：①通过分析异常视频的视频转码日志，可以得出错误原因，有利于修复问题；②通过分析正常视频的视频转码日志，可以得到视频转码过程中各步骤的耗时，找到视频转码服务的瓶颈，以便进一步优化；③通过分析视频转码日志可以及时地发现视频生产过程中的错误，并发送预警信息以减小损失等等。因此，视频转码日志的收集具有重要的意义。

目前，现有技术中的视频转码日志是通过收集***实时收集的，如图1所示，现有技术中视频转码日志的收集***包括：多个转码服务器101、中心存储器102和日志处理集群103。其中，转码服务器101在进行视频转码的同时，不断地将产生的视频转码日志发送到中心存储器102上，以方便日志处理集群103对中心存储器102上存储的视频转码日志进行计算和统计处理。

由于现有技术中转码服务器进行视频转码和发送视频转码日志的过程是同步进行的，而视频转码的过程和发送视频转码日志的过程均需要占用转码服务器中大量的计算资源，导致进行视频转码时计算资源的不足，这将影响到转码服务器进行视频转码的效率。

发明内容

本发明实施例的目的在于提供一种视频转码日志的收集方法、装置及***，以减少视频转码过程中，发送视频转码日志所占用的计算资源。

为达到上述目的，本发明实施例公开了一种视频转码日志的收集方法，应用于转码服务器中，包括步骤：

将转码服务器产生的视频转码日志放入本地缓存；

监控转码服务器是否在进行视频转码；

当监控到转码服务器在进行视频转码时，进行如下步骤：

从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；

将获得的部分视频转码日志发送到中心存储器上；

当监控到转码服务器没有在进行视频转码时，进行如下步骤：

将本地缓存中的视频转码日志发送到中心存储器上。

其中，所述从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志的步骤，可以包括：

将本地缓存中的视频转码日志划分为不同的类别；

获得预设类别的视频转码日志；

所述将获得的部分视频转码日志发送到中心存储器上的步骤包括：

将获得的预设类别的视频转码日志发送到中心存储器上。

所述将获得的部分视频转码日志发送到中心存储器上的步骤，可以包括：

提取所述部分视频转码日志的第一特征值；

将所述第一特征值进行统计计算，得到第一统计结果；

将所述第一统计结果进行压缩处理，得到第一处理结果；

将第一处理结果发送到中心存储器上。

所述将本地缓存中的视频转码日志发送到中心存储器上的步骤，可以包括：

提取本地缓存中的视频转码日志的第二特征值；

对所述第二特征值进行统计计算，得到第二统计结果；

将所述第二统计结果进行压缩处理，得到第二处理结果；

将第二处理结果和本地缓存中的视频转码日志发送到中心存储器上。

所述将第二处理结果和本地缓存中的视频转码日志发送到中心存储器上的步骤，可以包括：

将本地缓存中的视频转码日志进行压缩处理；

将第二处理结果和压缩处理后的本地缓存中的视频转码日志发送到中心存储器上。

所述中心存储器可以包含多个存储服务器，根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。

在将转码服务器产生的视频转码日志放入本地缓存后，还可以包括：

根据产生的视频转码日志的内容，监控视频转码的运行是否正常；

当视频转码运行异常时，输出预警信号。

本发明实施例还公开了一种视频转码日志的收集装置，应用于转码服务器中，包括：

视频转码日志缓存单元：用于将转码服务器产生的视频转码日志放入本地缓存；

监控单元：用于监控转码服务器是否在进行视频转码；若是，触发部分视频转码日志获得单元和部分视频转码日志发送单元；否则，触发视频转码日志发送单元；

部分视频转码日志获得单元：用于从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；

部分视频转码日志发送单元：用于将获得的部分视频转码日志发送到中心存储器上；

视频转码日志发送单元：用于将本地缓存中的视频转码日志发送到中心存储器上。

其中，所述部分视频转码日志获得单元可以包括：

类别划分子单元：用于将本地缓存中的视频转码日志划分为不同的类别；

部分视频转码日志获得子单元：用于获得预设类别的视频转码日志；

所述部分视频转码日志发送单元包括：

部分视频转码日志发送子单元：用于将获得的预设类别的视频转码日志发送到中心存储器上。

所述部分视频转码日志发送单元可以包括：

第一特征值提取子单元：用于提取所述部分视频转码日志的第一特征值；

第一统计结果获得子单元：用于将所述第一特征值进行统计计算，得到第一统计结果；

第一处理结果获得子单元：用于将所述第一统计结果进行压缩处理，得到第一处理结果；

第一发送子单元：用于将第一处理结果发送到中心存储器上。

所述视频转码日志发送单元可以包括：

第二特征值提取子单元：用于提取本地缓存中的视频转码日志的第二特征值；

第二统计结果获得子单元：用于对所述第二特征值进行统计计算，得到第二统计结果；

第二处理结果获得子单元：用于将所述第二统计结果进行压缩处理，得到第二处理结果；

第二发送子单元：用于将第二处理结果和本地缓存中的视频转码日志发送到中心存储器上。

所述第二发送子单元可以包括：

压缩子单元：用于将本地缓存中的视频转码日志进行压缩处理；

发送子单元：用于将第二处理结果和压缩处理后的本地缓存中的视频转码日志发送到中心存储器上。

所述装置还可以包括：

预警单元：用于根据产生的视频转码日志的内容，监控视频转码的运行是否正常；当视频转码运行异常时，输出预警信号。

本发明实施例还公开了一种视频转码日志的收集***，包括多个转码服务器和中心存储器；

其中，每个转码服务器，用于将自身产生的放入本地缓存中的视频转码日志进行预处理：当监控到该转码服务器在进行视频转码时，从所述本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；将获得的部分视频转码日志发送到中心存储器上；当监控到转码服务器没有在进行视频转码时，将所述本地缓存中的视频转码日志发送到中心存储器上；

中心存储器用于存储各个转码服务器发送的视频转码日志。

其中，所述中心存储器可以提供用户查询接口，供用户对中心存储器中存储的视频转码日志进行查询。

所述中心存储器可以包含多个存储服务器，每个转码服务器根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。

本发明实施例所提供的技术方案，将转码服务器产生的视频转码日志放入本地缓存。监控转码服务器是否在进行视频转码。若是，进行如下步骤：从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；将获得的部分视频转码日志发送到中心存储器上。否则，进行如下步骤：将本地缓存中的视频转码日志发送到中心存储器上。由于在上述过程中，在转码服务器进行视频转码时，仅将满足预设条件的部分视频转码日志发送到中心存储器上，在转码服务器未进行视频转码时才将本地缓存中的视频转码日志发送到中心存储器上。所以本发明的技术方案与现有技术相比减少了在视频转码过程中发送视频转码日志所占用的计算资源，进一步地，提高了转码服务器进行视频转码的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的一种视频转码日志的收集***的结构示意图；

图2为本发明实施例一种视频转码日志的收集方法的实施流程图；

图3为本发明实施例一种视频转码日志的收集装置的结构示意图；

图4为本发明实施例一种视频转码日志的收集***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，本发明实施例提供的一种视频转码日志的收集方法，该方法可以包括：

步骤S201，将转码服务器产生的视频转码日志放入本地缓存；

下面对本发明的技术方案的实施过程做一下具体的说明。首先，转码服务器在进行视频转码的过程中将产生大量的视频转码日志，并将转码服务器产生的视频转码日志放入本地缓存。其中，将转码服务器产生的视频转码日志放入本地缓存的方法属于现有技术，这里不再赘述。

步骤S202，监控转码服务器是否在进行视频转码；当监控到转码服务器在进行视频转码时，则执行步骤S203和步骤S204，否则执行步骤S205。

步骤S203，从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；

步骤S204，将获得的部分视频转码日志发送到中心存储器上；

首先，从本地缓存中的视频转码日志中获得满足预设条件的部分视频转码日志。进一步地，将获得的部分视频转码日志发送到中心存储器上，以使上述获得的部分转码日志存储在中心存储器上。其中，步骤S203中满足预设条件的部分视频转码日志可以是异常的视频转码日志，也可以是视频转码日志中的关键语句等等。

在本发明的一种具体实施方式中，步骤S203可以包括：

将本地缓存中的视频转码日志划分为不同的类别；

获得预设类别的视频转码日志。

相应地，步骤S204可以包括：

将获得的预设类别的视频转码日志发送到中心存储器上。

其中，在对本地缓存中的视频转码日志划分类别时，可以有多种划分方式。例如，可以将本地缓存中的视频转码日志划分为视频日志、音频日志等等类别；也可以将本地缓存中的视频转码日志划分为正常的视频转码日志和异常的视频转码日志，还可以将本地缓存中的视频转码日志的语句划分为关键语句和非关键语句。

当本地缓存中的视频转码日志划分类别结束后，进一步地，获得预设类别的视频转码日志，并将该预设类别的视频转码日志发送到中心存储器上。例如当本地缓存中的视频转码日志被划分为视频日志和音频日志时，本步骤中，可以仅选择视频日志发送给中心存储器；或本地缓存中的视频转码日志被划分为正常日志和异常日志时，本步骤中，可以仅将异常日志发送给中心存储器。

在本发明的另一种具体实施方式中，步骤S204可以包括：

提取所述部分视频转码日志的第一特征值；

将所述第一特征值进行统计计算，得到第一统计结果；

将所述第一统计结果进行压缩处理，得到第一处理结果；

将第一处理结果发送到中心存储器上。

其中，在具体实施中，上述第一特征值具体可以是部分视频转码日志的中心词，也可以是视频转码的成功率等信息。

步骤S205，将本地缓存中的视频转码日志发送到中心存储器上。

在本发明具体实施的过程中，步骤S105可以包括：

提取本地缓存中的视频转码日志的第二特征值；

对所述第二特征值进行统计计算，得到第二统计结果；

将所述第二统计结果进行压缩处理，得到第二处理结果；

其中，在具体实施中，上述第二特征值可以是本地缓存中的视频转码日志的中心词，也可以是视频转码的各个步骤的耗时信息，当然，还可以是视频转码的成功率等信息。

需要说明的是，在本发明具体实施中，也可以不对第一统计结果和/或第二统计结果进行压缩处理，直接将第一统计结果和/或第二统计结果发送到中心存储器上。另外，本发明中的第一特征值和第二特征值可以是相应的视频转码日志的重要语句，也可以是相应的视频转码日志的中心词，还可以是反映视频转码过程中每个步骤耗时情况的视频转码日志等等。

在本发明的一种具体实施方式中，所述将第二处理结果和本地缓存中的视频转码日志发送到中心存储器上的步骤可以包括：

将本地缓存中的视频转码日志进行压缩处理；

实际上，现有技术中，由日志处理集群103来对存储到中心存储器102的视频转码日志进行特征值提取和统计以及压缩处理。而本发明实施例中，可以由转码服务器在空闲时，对本地缓存中的视频转码日志进行上述处理。从而，提高了转码服务器的资源利用率。其中，上述对第一特征值和第二特征值进行提取、统计、以及对第一统计结果，第二统计结果和本地缓存中的视频转码日志进行压缩处理的过程可以与现有技术日志处理集群103的处理过程完全相同，这里不再赘述。

另外，在本发明具体实施的过程中，上述步骤中所提到的中心存储器可以包含多个存储服务器，根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。其中，预设规则可以是预先约定的，例如，可以预先约定将第一处理结果放入到一个存储服务器中，而将第二处理结果和本地缓存中的视频转码日志放入到另一个存储服务器中。

需要进一步说明的是：上述过程中实现了对步骤S203中获取的部分视频转码日志和本地缓存中的视频转码日志的计算和处理，这与现有技术中的视频转码日志的收集***(参见图1所示)相比，充分利用了转码服务器的计算资源，特别是转码服务器空闲时的计算资源，且无需购置专门的日志处理集群。

在本发明的一种具体实施方式中，在将转码服务器产生的视频转码日志放入本地缓存后，还可以包括：

当视频转码运行异常时，输出预警信号。

由于上述过程中在分析出视频转码运行异常时，及时输出了预警信号。例如，发现视频转码过程的某一步骤的耗时超出了预期时，输出预警信号；或发现转码服务器产生的视频转码日志的错误率超出指定值时，输出预警信号等等。这有利于提醒工作人员及时对异常情况作出处理，减少损失。

相对于上面的方法实施例，本发明还提供一种视频转码日志的收集装置，参见图3所示，该装置可以包括：

视频转码日志缓存单元301：用于将转码服务器产生的视频转码日志放入本地缓存；

监控单元302：用于监控转码服务器是否在进行视频转码；若是，触发部分视频转码日志获得单元和部分视频转码日志发送单元；否则，触发视频转码日志发送单元；

部分视频转码日志获得单元303：用于从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；

部分视频转码日志发送单元304：用于将获得的部分视频转码日志发送到中心存储器上；

视频转码日志发送单元305：用于将本地缓存中的视频转码日志发送到中心存储器上。

其中，上述视频转码日志的收集装置，可以是运行在转码服务器上的具有日志收集功能的某种软件和/或硬件，例如可以是日志采集器。

在本发明的一种具体实施方式中，

所述部分视频转码日志获得单元303可以包括：

所述部分视频转码日志发送单元304可以包括：

在本发明的一种具体实施方式中，所述部分视频转码日志发送单元304可以包括：

在本发明的一种具体实施方式中，所述视频转码日志发送单元305可以包括：

在本发明的一种具体实施方式中，所述第二发送子单元可以包括：

在本发明的一种具体实施方式中，上述实施例中的视频转码日志的收集装置，还可以包括：

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明实施例还提供一种视频转码日志的收集***，参见图4所示，该***可以包括包括多个转码服务器401和中心存储器402；

其中，每个转码服务器401，用于将自身产生的放入本地缓存中的视频转码日志进行预处理：当监控到该转码服务器401在进行视频转码时，从所述本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志；将获得的部分视频转码日志发送到中心存储器402上；当监控到转码服务器401没有在进行视频转码时，将所述本地缓存中的视频转码日志发送到中心存储器402上；

中心存储器402用于存储各个转码服务器401发送的视频转码日志。

在本发明的一种具体实施方式中，所述中心存储器402提供用户查询接口，供用户对中心存储器402中存储的视频转码日志进行查询。

在本发明的一种具体实施方式中，所述中心存储器402包含多个存储服务器，每个转码服务器根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。其中，此处的预设规则与方法实施例中所提到的预设规则相同，这里不再赘述。进一步地，可以理解的是：在本发明具体实施中，也可以在转码服务器和中心存储器之间建立规则。例如，可以将指定的转码服务器获得的部分视频转码日志和本地缓存中的视频转码发送到一个存储服务器中，其中，指定的转码服务器的个数为一个或多个；将剩余的转码服务器获得的部分视频转码日志和本地缓存中的视频转码发送到另一个存储服务器中。

在本发明具体实施中，上述实施例中的视频转码日志的收集***还可以包括：日志处理集群，该日志处理集群用于对中心存储器402存储的视频转码日志做进一步的处理。例如，日志处理集群可以对中心存储器402中的存储视频转码日志进行分析和计算，进而得出转码服务时各个步骤的耗时，以便对转码服务做进一步的优化。其中，上述日志处理集群可以位于上述中心存储器上，也可以独立于上述中心存储器。在日志处理集群独立于上述中心存储器时，该日志处理集群上设置有供用户查询日志处理集群处理结果的接口。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种视频转码日志的收集方法，其特征在于，应用于转码服务器中，包括步骤：

将转码服务器产生的视频转码日志放入本地缓存；

监控转码服务器是否在进行视频转码；

当监控到转码服务器在进行视频转码时，进行如下步骤：

将获得的部分视频转码日志发送到中心存储器上；

将本地缓存中的视频转码日志发送到中心存储器上。

2.根据权利要求1所述的方法，其特征在于，

所述从本地缓存中的视频转码日志中，获得满足预设条件的部分视频转码日志的步骤包括：

将本地缓存中的视频转码日志划分为不同的类别；

获得预设类别的视频转码日志；

将获得的预设类别的视频转码日志发送到中心存储器上。

3.根据权利要求1所述的方法，其特征在于，所述将获得的部分视频转码日志发送到中心存储器上的步骤包括：

提取所述部分视频转码日志的第一特征值；

将所述第一特征值进行统计计算，得到第一统计结果；

将所述第一统计结果进行压缩处理，得到第一处理结果；

将第一处理结果发送到中心存储器上。

4.根据权利要求3所述的方法，其特征在于，所述将本地缓存中的视频转码日志发送到中心存储器上的步骤包括：

提取本地缓存中的视频转码日志的第二特征值；

对所述第二特征值进行统计计算，得到第二统计结果；

将所述第二统计结果进行压缩处理，得到第二处理结果；

5.根据权利要求4所述的方法，其特征在于，所述将第二处理结果和本地缓存中的视频转码日志发送到中心存储器上的步骤包括：

将本地缓存中的视频转码日志进行压缩处理；

6.根据权利要求4所述的方法，其特征在于，所述中心存储器包含多个存储服务器，根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。

7.根据权利要求1所述的方法，其特征在于，在将转码服务器产生的视频转码日志放入本地缓存后，还包括：

当视频转码运行异常时，输出预警信号。

8.一种视频转码日志的收集装置，其特征在于，应用于转码服务器中，包括：

9.根据权利要求8所述的装置，其特征在于，

所述部分视频转码日志获得单元包括：

所述部分视频转码日志发送单元包括：

10.根据权利要求8所述的装置，其特征在于，所述部分视频转码日志发送单元包括：

11.根据权利要求10所述的装置，其特征在于，所述视频转码日志发送单元包括：

12.根据权利要求11所述的装置，其特征在于，所述第二发送子单元包括：

13.根据权利要求8所述的装置，其特征在于，还包括：

14.一种视频转码日志的收集***，其特征在于，包括多个转码服务器和中心存储器；

中心存储器用于存储各个转码服务器发送的视频转码日志。

15.根据权利要求14所述的***，其特征在于，所述中心存储器提供用户查询接口，供用户对中心存储器中存储的视频转码日志进行查询。

16.根据权利要求14所述的***，其特征在于，所述中心存储器包含多个存储服务器，每个转码服务器根据预设规则，将获得的部分视频转码日志和本地缓存中的视频转码日志发送到相同或不同的存储服务器中。