CN103167265A - 基于智能图像识别的视频处理方法及*** - Google Patents

Abstract

本发明涉及一种基于智能图像识别的视频处理方法，包括：监控平台向IVU输入PU录制或实时采集的视频信息；IVU按照预设的监控规则对视频信息进行图像分析和监控对象的识别，形成识别结果；IVU将识别结果发送给IVM；IVM将识别结果返回给监控平台；监控平台将识别结果发送给PU，以便PU将识别结果以附加的智能信息的方式叠加在视频信息对应的视频画面中，并重新编码后存储。本发明涉及一种基于智能图像识别的视频处理***。本发明将IVU的智能处理能力和PU结合起来，将IVU分析和识别得到的识别结果提供给PU，由PU进行这些智能信息的视频叠加处理和保存，进而使用户从PU可以方便地获取带有智能信息的视频信息。

Description

基于智能图像识别的视频处理方法及***

技术领域

本发明涉及智能视频监控应用技术领域，尤其涉及一种基于智能图像识别的视频处理方法及***。

背景技术

随着视频监控技术的发展，视频监控技术已经在各个领域得到了广泛的应用，随之产生了海量的视频资源。对于这些监控视频资源来说，以往的多数监控平台仍然采用人工处理的方式进行处理，而这种人工处理的方式对人力物力的浪费较大，难以在商用化产品形成规模应用。

目前智能监控技术已成为视频监控的重要发展方向，在智能监控的实现模式下，通过在监控平台上部署只能应用模块来实现一定的图像智能分析能力，使视频监控自动化智能化，从而克服人工处理方式的种种缺陷。

但目前的智能监控方案中尚存在以下问题：目前在监控平台上集中的部署了图像智能处理能力以及数据存储能力，这种方式虽然给管理上带来了便利，但对于监管人员来说，如果希望对智能处理后的视频内容进行浏览，则只能通过向平台获取数据的方式，因此往往会因为网络、终端等因素而受到一定的制约，可能问题如下：

1、包括智能应用数据的视频信息只能通过平台才能获取，而如果在较长时间内未及时去平台调取信息，则可能平台已经清除该部分记录；

2、在获取视频内容时，监管人员可能直接从前端获取相应的录像视频来进行回放和检查，但由于前端不具备智能分析功能，因此无法展示出智能内容，给监管人员带来不便。

发明内容

本发明的目的是提出一种基于智能图像识别的视频处理方法及***，能够使用户从前端单元方便地获取带有智能信息的视频信息。

为实现上述目的，本发明提供了一种基于智能图像识别的视频处理方法，包括：

监控平台向智能图像识别单元输入前端单元录制或实时采集的视频信息；

所述智能图像识别单元按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果；

所述智能图像识别单元将所述识别结果发送给智能图像管理服务器；

所述智能图像管理服务器将所述识别结果返回给所述监控平台；

所述监控平台将所述识别结果发送给所述前端单元，以便所述前端单元将所述识别结果以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

进一步的，所述智能图像识别单元按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别的操作具体为：

所述智能图像识别单元对所述视频信息进行图像分析，形成相应的图像语义描述；

所述智能图像识别单元根据所述图像语义描述，按照预设的监控规则来识别出监控对象的相关信息。

进一步的，在所述监控平台向智能图像识别单元输入前端单元录制或实时采集的视频信息之后，还包括：

所述智能图像识别单元将所述视频信息中的物体移动情况的原始统计信息发送给所述智能图像管理服务器；

所述智能图像管理服务器将所述原始统计信息返回给所述监控平台；

所述监控平台将所述原始统计信息发送给所述前端单元，以便所述前端单元将所述原始统计信息以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

进一步的，还包括：所述前端单元接收由客户端单元发出的视频请求，将存储的包含智能信息的视频信息经由所述监控平台转发给所述客户端单元。

为实现上述目的，本发明还提供了一种基于智能图像识别的视频处理***，包括监控平台、智能图像识别单元、前端单元和智能图像管理服务器，其中，

监控平台，用于向所述智能图像识别单元输入所述前端单元录制或实时采集的视频信息，以及在接收到识别结果时，将所述识别结果发送给所述前端单元；

智能图像识别单元，用于按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果，并且将所述识别结果发送给所述智能图像管理服务器；

智能图像管理服务器，用于将所述识别结果返回给所述监控平台；

前端单元，用于将所述识别结果以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

进一步的，所述智能图像识别单元具体包括：

智能图像分析单元，用于对所述视频信息进行图像分析，形成相应的图像语义描述；

监控对象识别单元，用于根据所述图像语义描述，按照预设的监控规则来识别出监控对象的相关信息；

第一发送单元，用于将所述识别结果发送给所述智能图像管理服务器。

进一步的，所述智能图像识别单元还包括：

物体移动统计单元，用于对所述视频信息中的物体移动情况进行统计，得到原始统计信息；

第二发送单元，用于将所述原始统计信息返回给所述监控平台。

进一步的，所述前端单元具体包括：

叠加编码单元，用于将所述识别结果和/或原始统计信息以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码；

视频保存单元，用于存储所述重新编码后的视频信息。

进一步的，所述前端单元还包括：

视频请求响应单元，用于接收由客户端单元发出的视频请求，将存储的包含智能信息的视频信息经由所述监控平台转发给所述客户端单元。

基于上述技术方案，本发明将智能图像识别单元的智能处理能力和前端单元结合起来，将智能图像识别单元分析和识别得到的识别结果提供给前端单元，由前端单元进行这些智能信息的视频叠加处理和保存，进而使用户从前端单元可以方便地获取带有智能信息的视频信息。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于智能图像识别的视频处理方法实施例的一种应用场景的网络架构图。

图2为本发明基于智能图像识别的视频处理方法的一实施例的流程示意图。

图3为本发明基于智能图像识别的视频处理方法的另一实施例的信令流程示意图。

图4为本发明基于智能图像识别的视频处理***的一实施例的结构示意图。

图5为本发明基于智能图像识别的视频处理***的另一实施例中智能图像识别单元的具体结构示意图。

图6为本发明基于智能图像识别的视频处理***的又一实施例中前端单元的具体结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，为本发明基于智能图像识别的视频处理方法实施例的一种应用场景的网络架构图。在该应用场景中，中心管理服务器1(Central Management Server，简称CMS)分别与智能图像管理服务器2(Intelligent Video Management，简称IVM)、智能图像识别单元3(Intelligent Video Unit，简称IVU)、视频转分发单元7(VideoTransfer and Distribute Unit，简称VTDU)、网络录像单元6(NetworkRecode Unit，简称NRU)、客户端单元4(Client Unit，简称CU)和前端单元5(Peripheral Unit，简称PU)相连，其他连接关系参见图1。监控平台可由CMS 1、VTDU 7和NRU 6等构成，但并不限于图中所示的几种设备，允许减少设备或增加新的设备。

图1对本发明的视频处理方法的可能的应用场景进行了介绍，但本领域的技术人员可以理解，除了图1中给出的应用场景之外，也允许其他可能的应用场景及相应的网络架构。

如图2所示，为本发明基于智能图像识别的视频处理方法的一实施例的具体流程示意图。在本实施例中，基于智能图像识别的视频处理流程包括以下步骤：

步骤101、监控平台向IVU输入PU录制或实时采集的视频信息；

步骤102、IVU按照预设的监控规则对视频信息进行图像分析和监控对象的识别，形成识别结果；

步骤103、IVU将识别结果发送给IVM，IVM将识别结果返回给监控平台；

步骤104、监控平台将识别结果发送给PU，以便PU将识别结果以附加的智能信息的方式叠加在视频信息对应的视频画面中，并重新编码后存储。

在本实施例中，监控平台可能直接向IVU发起视频分析请求，也可以是应PU的请求来向IVU发起视频分析请求，具体的视频分析请求中可以包括PU已录制的视频信息或PU实时采集的视频信息，或者这些视频信息的地址信息等。

IVU可以根据预设的监控规则对所述视频信息进行图像分析和监控对象的识别，监控规则可由用户通过CU来设定，例如希望对上午8点到11点的A地点经过的某类型车辆进行分析。IVU可以先对视频信息进行图像分析，形成相应的图像语义描述，例如类型为大型客车，车牌为京XXXXX等，根据得到的图像语义描述，按照预设的监控规则来识别出监控对象的相关信息。

IVU将识别出的识别结果发送给IVM，经由IVM将识别结果返回给监控平台。该识别结果作为智能信息，再由监控平台发送给对应的PU，该PU就可以将该识别结果以附加的智能信息的方式叠加在视频信息对应的视频画面中，通过重新编码保存，从而在PU中形成了带有智能信息的视频信息。从形式上智能信息以类似字幕的方式与视频画面同步出现，方便用户浏览。

当用户利用CU发出视频请求时，PU可以根据接收到的该视频请求将存储的包含智能信息的视频信息经由监控平台转发给CU，并利用CU自身的呈现功能将带有智能信息的视频信息呈现出来，这就极大的方便了用户的查阅过程。

在监控平台向IVU输入视频信息之后，IVU还可以将视频信息中的物体移动情况的原始统计信息(例如道路口的人流、车流的流量、流速等信息)发送给IVM。IVM可以将该原始统计信息返回监控平台，监控平台将原始统计信息发送给PU，PU可以将这些原始统计信息以附加的智能信息的方式叠加在视频信息对应的视频画面中，并重新编码后存储。进一步的，PU可以将得到的原始统计信息以及识别结果均以附加的智能信息的方式叠加在视频信息对应的视频画面中，从而使视频画面信息量更大，满足使用者的查证需求。

如图3所示，为本发明基于智能图像识别的视频处理方法的另一实施例的信令流程示意图。在本实施例中，视频处理流程包括：

步骤201、CU通过监控平台设置需要某个PU的视频叠加某类智能信息的条件，例如某个PU在某个时间段的大型车辆在该PU所在路口的通过情况等。

步骤202、监控平台向IVU发出智能分析请求，并将该PU录制或实时采集的视频信息提供给IVU。

步骤203、IVU按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果，也可以对视频信息中的物体移动情况进行统计，得到原始统计信息。

步骤204、IVU经由IVM将识别结果(也可以是原始统计信息)发送给监控平台。

步骤205、监控平台将识别结果(也可以是原始统计信息)发送给PU。

步骤206、PU将识别结果(也可以是原始统计信息)以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

步骤207、CU可以经由监控平台向PU发出视频请求，PU将存储的包含智能信息的视频信息经由监控平台转发给CU。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图4所示，为本发明基于智能图像识别的视频处理***的一实施例的结构示意图。在本实施例中，基于智能图像识别的视频处理***包括监控平台8、IVU 3、PU 5和IVM 2。其中监控平台8可以向IVU 3输入PU 5录制或实时采集的视频信息，以及在接收到识别结果时，将所述识别结果发送给PU 5。监控平台8的具体结构也可以参照图1所示的由CMS 1、VTDU 7和NRU 6等构成的结构。

IVU 3负责按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果，并且将所述识别结果发送给IVM 2。IVM 2负责将识别结果返回给监控平台8。PU 5负责将所述识别结果以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

本实施例将IVU的智能处理能力和PU结合起来，将IVU分析和识别得到的识别结果提供给PU，由PU进行这些智能信息的视频叠加处理和保存，进而使用户从PU可以方便地获取带有智能信息的视频信息

如图5所示，为本发明基于智能图像识别的视频处理***的另一实施例中智能图像识别单元的具体结构示意图。在本实施例中，IVU具体包括：智能图像分析单元31、监控对象识别单元32和第一发送单元33。其中，智能图像分析单元31负责对所述视频信息进行图像分析，形成相应的图像语义描述。监控对象识别单元32负责根据所述图像语义描述，按照预设的监控规则来识别出监控对象的相关信息。第一发送单元33负责将所述识别结果发送给IVM。

在另一个实施例中，IVU还可以进一步包括：物体移动统计单元和第二发送单元，其中物体移动统计单元负责对所述视频信息中的物体移动情况进行统计，得到原始统计信息。第二发送单元负责将原始统计信息返回给所述监控平台。

如图6所示，为本发明基于智能图像识别的视频处理***的又一实施例中前端单元的具体结构示意图。在本实施例中，PU 5具体包括：叠加编码单元51和视频保存单元52，其中叠加编码单元51负责将所述识别结果和/或原始统计信息以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码。视频保存单元52负责存储所述重新编码后的视频信息。

在另一个实施例中，PU还可以进一步包括：视频请求响应单元，用于接收由CU发出的视频请求，将存储的包含智能信息的视频信息经由监控平台转发给CU。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (9)

1.一种基于智能图像识别的视频处理方法，包括：

监控平台向智能图像识别单元输入前端单元录制或实时采集的视频信息；

所述智能图像识别单元按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果；

所述智能图像识别单元将所述识别结果发送给智能图像管理服务器；

所述智能图像管理服务器将所述识别结果返回给所述监控平台；

所述监控平台将所述识别结果发送给所述前端单元，以便所述前端单元将所述识别结果以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

2.根据权利要求1所述的方法，其中所述智能图像识别单元按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别的操作具体为：

所述智能图像识别单元对所述视频信息进行图像分析，形成相应的图像语义描述；

所述智能图像识别单元根据所述图像语义描述，按照预设的监控规则来识别出监控对象的相关信息。

3.根据权利要求2所述的方法，其中在所述监控平台向智能图像识别单元输入前端单元录制或实时采集的视频信息之后，还包括：

所述智能图像识别单元将所述视频信息中的物体移动情况的原始统计信息发送给所述智能图像管理服务器；

所述智能图像管理服务器将所述原始统计信息返回给所述监控平台；

所述监控平台将所述原始统计信息发送给所述前端单元，以便所述前端单元将所述原始统计信息以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

4.根据权利要求1～3任一所述的方法，其中还包括：

所述前端单元接收由客户端单元发出的视频请求，将存储的包含智能信息的视频信息经由所述监控平台转发给所述客户端单元。

5.一种基于智能图像识别的视频处理***，包括监控平台、智能图像识别单元、前端单元和智能图像管理服务器，其中，

监控平台，用于向所述智能图像识别单元输入所述前端单元录制或实时采集的视频信息，以及在接收到识别结果时，将所述识别结果发送给所述前端单元；

智能图像识别单元，用于按照预设的监控规则对所述视频信息进行图像分析和监控对象的识别，形成识别结果，并且将所述识别结果发送给所述智能图像管理服务器；

智能图像管理服务器，用于将所述识别结果返回给所述监控平台；

前端单元，用于将所述识别结果以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码后存储。

6.根据权利要求5所述的***，其中所述智能图像识别单元具体包括：

智能图像分析单元，用于对所述视频信息进行图像分析，形成相应的图像语义描述；

监控对象识别单元，用于根据所述图像语义描述，按照预设的监控规则来识别出监控对象的相关信息；

第一发送单元，用于将所述识别结果发送给所述智能图像管理服务器。

7.根据权利要求6所述的***，其中所述智能图像识别单元还包括：

物体移动统计单元，用于对所述视频信息中的物体移动情况进行统计，得到原始统计信息；

第二发送单元，用于将所述原始统计信息返回给所述监控平台。

8.根据权利要求7所述的***，其中所述前端单元具体包括：

叠加编码单元，用于将所述识别结果和/或原始统计信息以附加的智能信息的方式叠加在所述视频信息对应的视频画面中，并重新编码；

视频保存单元，用于存储所述重新编码后的视频信息。

9.根据权利要求5-8任一所述的***，其中所述前端单元还包括：

视频请求响应单元，用于接收由客户端单元发出的视频请求，将存储的包含智能信息的视频信息经由所述监控平台转发给所述客户端单元。

Images