CN112351252B - 监控视频编解码装置 - Google Patents

Abstract

本公开的实施例公开了监控视频编解码装置。该装置的一具体实施方式包括：视频采集装置、特征提取装置、机器视觉装置、编码参数设置装置、视频编码装置，其中：视频采集装置用于采集监控范围内的视频信息，以及将视频信息发送给特征提取装置和视频编码装置；特征提取装置用于接收视频采集装置发送的视频信息，以及对视频信息进行特征提取处理以生成特征提取信息；机器视觉装置用于接收特征提取装置发送的特征提取信息；编码参数设置装置用于接收特征提取装置发送的特征提取信息；视频编码装置用于接收视频采集装置采集的视频信息，以及对视频信息进行编码处理以生成视频编码流。该实施方式提高了***处理视频信息的性能和效率。

Description

监控视频编解码装置

技术领域

本公开的实施例涉及信息传输技术领域，具体涉及一种监控视频编解码装置。

背景技术

由于机器视觉技术近年来取得了突破性进展，在各项视觉任务方面的突出表现也加速了其在大量应用领域的普及，包括视频监控。用户可以通过机器观看和解读视频数据。

然而，用户通过机器观看和解读视频数据通常会存在以下技术问题：

第一，现有的视频编解码标准算法，通常以人类观众为内容接收者，对视频编码的评估不准确，导致目前视频编解码标准算法，直接应用于基于机器视觉处理的视频监控***时，降低了***对视频编解码的性能；

第二，传统的标准编解码算法一般默认用户为视频信息接收者，没有针对机器视觉进行设计和优化，导致***性能无法达到最优状态。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了监控视频编解码装置，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提出了一种监控视频编解码装置，包括：视频采集装置、特征提取装置、机器视觉装置、编码参数设置装置、视频编码装置，其中：上述视频采集装置用于采集监控范围内的视频信息，以及将上述视频信息发送给上述特征提取装置和上述视频编码装置；上述特征提取装置与上述视频采集装置通信连接，其中，上述特征提取装置用于接收上述视频采集装置发送的视频信息，以及对上述视频信息进行特征提取处理以生成特征提取信息；上述机器视觉装置与上述特征提取装置通信连接，其中，上述机器视觉装置用于接收上述特征提取装置发送的特征提取信息；上述编码参数设置装置与上述特征提取装置通信连接，其中，上述编码参数设置装置用于接收上述特征提取装置发送的特征提取信息；上述视频编码装置与上述视频采集装置通信连接，其中，上述视频编码装置用于接收上述视频采集装置采集的视频信息，以及对上述视频信息进行编码处理以生成视频编码流。

在一些实施例中，上述监控视频编解码装置还包括存储传输装置，其中：上述视频编码装置与上述存储传输装置通信连接，上述视频编码装置还用于将上述视频编码流发送至上述存储传输装置；上述存储传输装置用于接收上述视频编码流，以及对上述视频编码流进行存储和传输。

在一些实施例中，上述特征提取装置还用于将上述特征提取信息发送至上述机器视觉装置和上述编码参数设置装置，其中，上述视频编码装置与上述机器视觉装置通信连接，用于将上述视频编码流发送至上述机器视觉装置。

在一些实施例中，上述机器视觉装置还用于接收上述视频编码装置发送的视频编码流，以及对上述视频编码流进行特征提取处理以生成特征提取视频编码信息。

在一些实施例中，上述机器视觉装置还用于根据预设的特征参数，对所生成的特征提取视频编码信息进行评估处理以生成评估后的特征提取视频编码信息。

在一些实施例中，上述机器视觉装置与上述编码参数设置装置通信连接，用于将上述评估后的特征提取视频编码信息发送至上述编码参数设置装置。

在一些实施例中，上述编码参数设置装置还用于接收上述机器视觉装置发送的评估后的特征提取视频编码信息，以及按照预先设置的参数信息，将上述特征提取信息和上述评估后的特征提取视频编码信息之间的参数误差确定为编码参数。

在一些实施例中，上述编码参数设置装置与上述视频编码装置通信连接，上述编码参数设置装置用于将上述编码参数发送至上述视频编码装置。

在一些实施例中，上述视频编码装置还用于接收上述编码参数设置装置发送的编码参数，以及根据上述编码参数，调整视频编码装置中的预设参数。

在一些实施例中，上述视频编码装置还用于根据调整后的预设参数，对上述视频编码流进行优化处理，以及将优化处理后的视频编码流发送至上述存储传输装置和机器视觉装置。

在一些实施例中，上述机器视觉装置支持包括卷积层、池化层和全连接层的神经网络，其中：上述卷积层用于提取视频信息的特征；上述池化层用于对所提取信息的特征进行降维处理；上述全连接层用于表征上述视频信息和上述特征提取信息之间的关系。

本公开的上述各个实施例具有如下有益效果：首先，可以通过视频采集装置进行视频信息的采集。其次，可以将上述视频信息发送给上述特征提取装置和上述视频编码装置。接着，视频编码装置可以对接收到的视频信息进行编码处理。由此，可以为对视频信息进行优化提供数据支持。然后，特征提取装置可以对视频信息进行特征提取处理。接着，可以将特征提取信息发送至机器视觉装置和编码参数设置装置。由此，可以为评估视频信息的误差提供数据支持。再然后，视频编码装置可以将视频编码流发送至机器视觉装置。从而，机器机器视觉装置可以对视频编码流进行特征提取处理，以及根据特征提取信息，对特征提取视频编码信息进行评估，为下一步调整编码参数提供了参考依据。接着，编码参数设置装置按照预设的参数信息，确定接收到的特征提取信息和评估后的特征提取视频编码信息之间的参数误差，以及将参数误差发送至视频编码装置，以供视频编码装置对视频编码流进行参数调整。由此，可以对采集的视频信息进行优化，提高了***的输出视频信息的质量。从而，提高了***处理视频信息的性能和效率。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是本公开的一些实施例的监控视频编解码装置的示例性***架构图；

图2是根据本公开的一些实施例的监控视频编解码装置的一个实施例的结构示意图；

图3是根据本公开的一些实施例的监控视频编解码装置的又一个实施例的结构示意图；

图4是根据本公开的一些实施例的监控视频编解码装置中的机器视觉装置支持包括卷积层、池化层和全连接层的神经网络的网络结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面将参考附图并结合实施例来详细说明本公开。

图1示出了根据本公开实施例的监控视频编解码装置的示例性***架构100。

请参见图1，***架构100可以包括视频采集装置101、特征提取装置102、机器视觉装置103、编码参数设置装置104、视频编码装置105、存储传输装置106，网络107、网络108、网络109、网络110和网络111。网络107用以视频采集装置101和特征提取装置102之间提供通信链路的介质。网络108用以特征提取装置102和机器视觉装置103之间提供通信链路的介质。网络109用以视频采集装置101和视频编码装置105之间提供通信链路的介质。网络110用以特征提取装置102和机器视觉装置103之间提供通信链路的介质。网络110还用以机器视觉装置103和视频编码装置105之间提供通信链路的介质。网络110还用以编码参数设置装置104和视频编码装置105之间提供通信链路的介质。网络111用以视频编码装置105和存储传输装置106之间提供通信链路的介质。网络107、网络108、网络109、网络110和网络111可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

视频采集装置101可以通过网络107与特征提取装置102交互，以发送视频信息。视频采集装置101可以是各种视频信息采集设备，包括但不限于光学图像传感器、红外传感器、电子雷达等等。

视频采集装置101可以通过网络109与视频编码装置105交互，以发送视频信息。视频编码装置105可以包括但不限于音视频压缩编解码器芯片、信息输入通道、信息输出通道、网络接口、音视频接口、协议接口控制、串行通信接口和嵌入软件等等。

特征提取装置102可以通过网络108与编码参数设置装置104交互，以发送特征提取信息。特征提取装置102可以支持包括以下至少一项的卷积层，池化层，全连接层的神经网络。

特征提取装置102可以通过网络110与机器视觉装置103交互，以发送特征提取信息。机器视觉装置103可以支持包括卷积层、池化层和全连接层的神经网络。

机器视觉装置103可以通过网络110与编码参数设置装置104交互，以发送评估后的特征提取视频编码信息。

视频编码装置105可以通过网络110与机器视觉装置103交互，以发送视频编码流。

编码参数设置装置104可以通过网络110与视频编码装置105交互，以发送编码参数。编码参数设置装置104可以支持机器学习的评估方式对特征提取信息和评估后的特征提取视频编码信息进行误差评估。

视频编码装置105可以通过网络111与存储传输装置106交互，以发送视频编码流。存储传输装置106可以是各种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中所描述的功能。

应该理解，图1中的视频采集装置、特征提取装置、机器视觉装置、编码参数设置装置、视频编码装置、存储传输装置和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的视频采集装置、特征提取装置、机器视觉装置、编码参数设置装置、视频编码装置、存储传输装置和网络。

继续参见图2，其示出了本公开提供的监控视频编解码装置的一个实施例的结构示意图。如图2所示，本实施例的监控视频编解码装置可以包括：视频采集装置1、特征提取装置2、机器视觉装置3、编码参数设置装置4、视频编码装置5。

在一些实施例中，上述视频采集装置1可以是各种视频信息采集设备，包括但不限于光学图像传感器、红外传感器、电子雷达等等。在这里，视频采集装置1可以用于采集监控范围内的视频信息，以及将视频信息发送给特征提取装置2和视频编码装置5。这里，视频信息可以是视频信号。

在一些实施例中，上述特征提取装置2可以接收视频采集装置1发送的视频信息，以及对视频信息进行特征提取处理以生成特征提取信息。上述特征提取装置2还用于将特征提取信息发送至机器视觉装置3和编码参数设置装置4。这里，特征提取信息包括但不限于空间信息、时间信息、色彩信息、人物信息、车辆信息、运动信息等等。这里，特征提取装置2可以支持使用机器学习的提取方式。

在一些实施例中，上述机器视觉装置3可以接收视频编码装置5发送的视频编码流。这里，视频编码流可以指编码视频信号。机器视觉装置3还用于对视频编码流进行特征提取操作，以及将提取到的特征信息作为输入信号发送给编码参数设置装置4。这里，特征信息包括但不限于视频的空间信息、时间信息、色彩信息、人物信息、车辆信息、运动信息等。这里，机器视觉装置3可以支持但不限于机器学习的方式对视频编码流进行特征提取操作。

在一些实施例中，上述编码参数设置装置4可以接收特征提取装置2发送的特征提取信息和机器视觉装置3发送的评估后的特征提取视频编码信息。可选的，编码参数设置装置4还可以按照预先设置的参数信息，将特征提取信息和评估后的特征提取视频编码信息之间的参数误差确定为编码参数。这里，预先设置的参数信息可以包括但不限于特征信息之间的范数数值、多维特征之间的分量加权距离测度等。这里，参数信息可以通过机器学习的方式取得。这里，编码参数的生成可以采用但不限于机器学习的方式取得。编码参数设置装置4还用于将编码参数发送至视频编码装置5。

在一些实施例中，上述视频编码装置5可以接收视频采集装置1发送的视频信息和编码参数设置装置4发送的编码参数。可选的，视频编码装置5可以通过编码参数设置装置4发送的编码参数对视频采集装置1发送的视频信息进行编码。可选的，视频编码装置5还可以将视频编码流发送至机器视觉装置3以供评估。机器视觉装置3通过对视频编码流进行评估，可以进一步通过编码参数设置装置4调整参数，以提高***的性能。

本实施例中的监控视频编解码装置具有如下有益效果：首先，可以通过视频采集装置进行视频信息的采集。其次，可以将上述视频信息发送给上述特征提取装置和上述视频编码装置。接着，视频编码装置可以对接收到的视频信息进行编码处理。由此，可以为对视频信息进行优化提供数据支持。然后，特征提取装置可以对视频信息进行特征提取处理。接着，可以将特征提取信息发送至机器视觉装置和编码参数设置装置。由此，可以为评估视频信息的误差提供数据支持。再然后，视频编码装置可以将视频编码流发送至机器视觉装置。从而，机器视觉装置可以对视频编码流进行特征提取处理，以及根据特征提取信息，对特征提取视频编码信息进行评估，为下一步调整编码参数提供了参考依据。接着，编码参数设置装置按照预设的参数信息，确定接收到的特征提取信息和评估后的特征提取视频编码信息之间的参数误差，以及将参数误差发送至视频编码装置，以供视频编码装置对视频编码流进行参数调整。由此，可以对采集的视频信息进行优化，提高了***的输出视频信息的质量。从而，提高了***处理视频信息的性能和效率。

继续参见图3，其示出了本公开提供的监控视频编解码装置的一个实施例的结构示意图。与图2实施例中的监控视频编解码装置相同的是，本实施例中的监控视频编解码装置同样可以包括视频采集装置1、特征提取装置2、机器视觉装置3、编码参数设置装置4、视频编码装置5。具体结构关系可以参见图2实施例中的相关描述，此处不再赘述。

与图2实施例中的监控视频编解码装置不同的是，本实施例中的监控视频编解码装置还包括存储传输装置6，其中：视频编码装置与存储传输装置通信连接，视频编码装置还用于将视频编码流发送至存储传输装置；存储传输装置用于接收视频编码流，以及对视频编码流进行存储和传输。

与图2实施例中的监控视频编解码装置不同的是，本实施例中的视频编码装置5还用于接收编码参数设置装置4发送的编码参数，以及根据编码参数，调整视频编码装置中的预设参数。

与图2实施例中的监控视频编解码装置不同的是，本实施例中的视频编码装置5还用于根据调整后的预设参数，对视频编码流进行优化处理，以及将优化处理后的视频编码流发送至存储传输装置6和机器视觉装置3。

与图2实施例中的监控视频编解码装置不同的是，本实施例中的机器视觉装置3支持包括卷积层、池化层和全连接层的神经网络，其中：卷积层用于提取视频信息的特征；池化层用于对所提取信息的特征进行降维处理；全连接层用于表征视频信息和特征提取信息之间的关系。

本公开的上述各个实施例具有如下有益效果：首先，可以通过视频采集装置进行视频信息的采集。其次，可以将上述视频信息发送给上述特征提取装置和上述视频编码装置。接着，视频编码装置可以对接收到的视频信息进行编码处理。由此，可以为对视频信息进行优化提供数据支持。然后，特征提取装置可以对视频信息进行特征提取处理。接着，可以将特征提取信息发送至机器视觉装置和编码参数设置装置。由此，可以为评估视频信息的误差提供数据支持。再然后，视频编码装置可以将视频编码流发送至机器视觉装置。从而，机器视觉装置可以对视频编码流进行特征提取处理，以及根据特征提取信息，对特征提取视频编码信息进行评估，为下一步调整编码参数提供了参考依据。接着，编码参数设置装置按照预设的参数信息，确定接收到的特征提取信息和评估后的特征提取视频编码信息之间的参数误差，以及将参数误差发送至视频编码装置，以供视频编码装置对视频编码流进行参数调整。由此，可以对采集的视频信息进行优化，提高了***的输出视频信息的质量。从而，提高了***处理视频信息的性能和效率。机器视觉装置3和编码参数设置装置4作为本公开的一个发明点，由此解决了背景技术提及的技术问题二“传统的标准编解码算法一般默认用户为视频信息接收者，没有针对机器视觉进行设计和优化，导致***性能无法达到最优状态”。导致不能针对机器视觉进行设计和优化的因素往往如下：用户无法对视频信息作出设计和优化。如果解决了上述因素，就能达到对机器视觉进行设计和优化，提高***性能的效果。为了达到这一效果，本公开引入了机器视觉装置3和编码参数设置装置4。这里，引入机器视觉装置3是为了通过机器学习的方式对视频编码流进行评估，以对视频编码装置处理的视频信息进行初步特征提取。由此，对输入视频和编码视频中的特征信息进行比较评估，可以将初步评估的结果提供给编码参数设置装置4，以供编码参数设置装置4对编码参数进行调整。这里，引入编码参数设置装置4，可以对来自于特征提取装置和机器视觉装置的特征信息进行评估，并通过机器学习的方式对评估产生的误差进行计算以生成编码参数。最后，将编码参数发送给视频编码装置以供对视频信息进行编码。通过对机器视觉装置3和编码参数设置装置4引入基于机器学习的智能信息处理方法，以对视频信息进行评估和编码，解决了无法对视频信息作出设计和优化的问题，提高了***的输出视频信息的质量。

继续参见图4，其示出了本公开提供的监控视频编解码装置中的机器视觉装置支持包括卷积层、池化层和全连接层的神经网络的网络结构示意图。

如图4所示，机器视觉装置支持包括卷积层、池化层和全连接层的神经网络，其中：卷积层用于提取视频信息的特征；池化层用于对所提取信息的特征进行降维处理；全连接层用于表征上述视频信息和上述特征提取信息之间的关系。作为示例，可以在视频信息上述执行卷积操作，生成第一层的特征图C1。在特征图C1上执行池化操作，生成第二层的特征图S2。重复执行卷积和池化的操作，可以生成更多的特征图(例如，特征图C3和特征图S4)。在特征图上执行全连接操作，可以生成识别结果C5。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (1)

1.一种监控视频编解码装置，其中，所述监控视频编解码装置包括：视频采集装置、特征提取装置、机器视觉装置、编码参数设置装置、视频编码装置，其中：

所述视频采集装置用于采集监控范围内的视频信息，以及将所述视频信息发送给所述特征提取装置和所述视频编码装置；

所述特征提取装置与所述视频采集装置通信连接，其中，所述特征提取装置用于接收所述视频采集装置发送的视频信息，以及对所述视频信息进行特征提取处理以生成特征提取信息；

所述机器视觉装置与所述特征提取装置通信连接，其中，所述机器视觉装置用于接收所述特征提取装置发送的特征提取信息；

所述编码参数设置装置与所述特征提取装置通信连接，其中，所述编码参数设置装置用于接收所述特征提取装置发送的特征提取信息；

所述视频编码装置与所述视频采集装置通信连接，其中，所述视频编码装置用于接收所述视频采集装置采集的视频信息，以及对所述视频信息进行编码处理以生成视频编码流；

所述监控视频编解码装置还包括存储传输装置，其中：

所述视频编码装置与所述存储传输装置通信连接，所述视频编码装置还用于将所述视频编码流发送至所述存储传输装置；

所述存储传输装置用于接收所述视频编码流，以及对所述视频编码流进行存储和传输；

所述特征提取装置还用于将所述特征提取信息发送至所述机器视觉装置和所述编码参数设置装置，其中，所述视频编码装置与所述机器视觉装置通信连接，用于将所述视频编码流发送至所述机器视觉装置；

所述机器视觉装置还用于接收所述视频编码装置发送的视频编码流，以及对所述视频编码流进行特征提取处理以生成特征提取视频编码信息；

所述机器视觉装置还用于根据预设的特征参数，对所生成的特征提取视频编码信息进行评估处理以生成评估后的特征提取视频编码信息；

所述机器视觉装置与所述编码参数设置装置通信连接，用于将所述评估后的特征提取视频编码信息发送至所述编码参数设置装置；

所述编码参数设置装置还用于接收所述机器视觉装置发送的评估后的特征提取视频编码信息，以及按照预先设置的参数信息，将所述特征提取信息和所述评估后的特征提取视频编码信息之间的参数误差确定为编码参数，其中，预先设置的参数信息包括特征信息之间的范数数值、多维特征之间的分量加权距离测度；

所述编码参数设置装置与所述视频编码装置通信连接，所述编码参数设置装置用于将所述编码参数发送至所述视频编码装置；

所述视频编码装置还用于接收所述编码参数设置装置发送的编码参数，以及根据所述编码参数，调整视频编码装置中的预设参数；

所述视频编码装置还用于根据调整后的预设参数，对所述视频编码流进行优化处理，以及将优化处理后的视频编码流发送至所述存储传输装置和机器视觉装置；

所述机器视觉装置支持包括卷积层、池化层和全连接层的神经网络，其中：所述卷积层用于提取视频信息的特征；所述池化层用于对所提取信息的特征进行降维处理；所述全连接层用于表征所述视频信息和所述特征提取信息之间的关系。