CN105678267A - 一种场景识别方法及装置 - Google Patents

Abstract

本发明提供一种场景识别方法及装置，所述方法包括：获取目标监控图像的前景区域图像；分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。应用本发明实施例可以提高场景识别的准确率。

Description

一种场景识别方法及装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种场景识别方法及装置。

背景技术

智能监控的一个重要用途就是及时监测摄像机覆盖范围内的异常情况，并及时产生警报处理。智能视频监控对异常场景的检测不仅可以及时发现不正当场景告知工作人员及时处理，阻止不法场景的发生，而且可节省大量的存储空间，避免不法场景发生后工作人员海量的查找和取证。一些基于运动矢量和单纯前背景建模方案的监测模型，如入侵监测，滞留，徘徊等，已经得到较普遍的应用，但对场景复杂情景的分析，如跌倒检测，人群拥挤，机动车不礼让行人等，目前还存在较大的误判和漏判。

发明内容

本发明提供一种场景识别方法及装置，以提高场景识别的准确率。

根据本发明实施例的第一方面，提供一种场景识别方法，包括：

获取目标监控图像的前景区域图像；

分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；

将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。

根据本发明实施例的第二方面，提供一种场景识别装置，包括：

获取单元，用于获取目标监控图像的前景区域图像；

特征提取单元，分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；

场景识别单元，用于将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。

应用本发明实施例，通过获取目标监控图像的前景区域图像，并分别将该前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到该前景区域图像对应的目标特征以及事件特征，进而，将目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到目标监控图像对应的事件类型，提高了场景识别的准确率。

附图说明

图1是本发明实施例提供的一种场景识别方法的流程示意图；

图2是本发明实施例提供的一种场景识别装置的结构示意图；

图3是本发明实施例提供的另一种场景识别装置的结构示意图；

图4是本发明实施例提供的另一种场景识别装置的结构示意图；

图5是本发明实施例提供的另一种场景识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

请参见图1，图1为本发明实施例提供的一种场景识别方法的流程示意图，如图1所示，该场景识别方法可以包括以下步骤：

步骤101、获取目标监控图像的前景区域图像。

本发明实施例中，上述方法可以应用于视频监控***，如应用于视频监控***的后台服务器中，为便于描述，以下以上述方法的执行主体为服务器为例进行描述。

本发明实施例中，目标监控图像并不指代某一固定的监控图像，而是可以指代任一需要进行场景识别的监控图像。

本发明实施例中，当服务器需要对目标监控图像进行场景识别时，为了排除目标监控图像中背景区域对场景识别的干扰，服务器可以对目标监控图像进行前景区域与背景区域的分离，以获取目标监控图像的前景区域图像。

可选地，服务器可以通过建立GMM(GaussianMixtureModel，高斯混合模型)模型的方式，实现目标监控图像的前景区域与背景区域的分离，进而获取目标监控图像的前景区域图像，其具体实现在此不再赘述。

步骤102、分别将前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到前景区域图像对应的目标特征以及事件特征。

本发明实施例中，服务器获取到目标监控图像的前景区域图像之后，服务器并不会直接根据该前景区域图像进行场景识别，而是需要先分别确定该前景区域图像的目标特征以及事件特征，进而，同时根据前景区域图像对应的目标特征以及事件特征进行场景识别，以提高场景识别的准确率。

其中，服务器获取前景区域图像的目标特征以及事件特征的具体实现方式将在下文中描述，本发明实施例在此不再赘述。

作为一种可选的实施方式，在本发明实施例中，上述分别将前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型之前，还可以包括以下步骤：

11)、判断前景区域图像中是否存在预设目标；

12)、若存在，则确定执行上述分别将前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型的步骤。

在该实施方式中，可以预先设定需要关注的事件，即设定服务器需检测的事件类型，如打架、机动车拥堵以及人群拥挤等。进而，可以根据该需要关注的事件，确定需要关注的目标，例如，对于打架，需要关注的目标可以包括人；对于机动车拥堵需要关注的目标可以包括机动车；对于人群拥挤，需要关注的目标可以包括人和非机动车等。

相应地，基于上述设定，服务器在获取到目标监控图像的前景区域图像之后，可以判断该前景区域图像中是否存在预设目标，如是否存在人、机动车以及非机动车中的一个或多个，若存在，则将前景区域图像输入到预设的目标检测网络模型以及第一事件类型检测网络模型中，以进行目标特征以及事件特征的提取。

可选地，服务器对前景区域图像的筛选可以通过SVM(SupportVectorMachine，支持向量机)分类器实现。具体的，假设预设目标包括机动车、非机动车以及人三类，则可以通过事先采集的正负样本(包括预设目标的样本为正样本，未包括预设目标的样本为负样本)对SVM分类器进行训练，以使SVM分类器识别正负样本(例如，对正样本输出1；对负样本输出0)的准确率满足预设条件。基于上述训练，当服务器获取到目标监控图像的前景区域图像之后，可以将该前景区域图像输入到训练好的SVM分类器；若SVM分类器输出1，则表明该前景区域图像中存在预设目标，服务器可以对该前景区域图像进行后续的目标特征以及事件特征的提取；若SVM分类器输出0，则表明该前景区域图像中不存在预设目标，服务器可以删除该前景区域图像，不对该前景区域图像进行后续的目标特征以及事件特征的提取。

步骤103、将目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到目标监控图像对应的事件类型。

本发明实施例中，服务器提取到目标监控图像的前景区域图像对应的目标特征以及事件特征之后，可以将该目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到目标监控图像对应的事件类型。

可选地，服务器获取到前景区域图像对应的目标特征以及事件特征之后，可以将获取到的目标特征和事件特征串行成一组新的特征组合，并将该特征组合输入到第二事件类型检测网络模型中，由该第二事件类型检测网络模型输出对应的事件类型。

作为一种可选的实施方式，第二事件类型检测网络模型可以是SVM事件类型分类器。

在该实施方式中，服务器可以按照步骤101和步骤102所描述的方式获取事先采集的训练样本对应的目标特征以及事件特征。对于任一训练样本，将该训练样本对应的目标特征以及事件特征串行成一组新的特征组合，并将其输入到预先构建的SVM事件类型分类器中进行训练，以使该SVM事件类型分类器的输出结果满足预设条件，如对事件类型的识别率超过预设阈值。

基于上述训练后的SVM事件类型分类器，当服务器需要进行场景识别时，服务器可以将目标监控图像的前景区域图像对应的目标特征以及事件特征输入到训练后的SVM事件类型分类器，以得到目标监控图像对应的事件类型。

可见，在图1所示的方法流程中，通过获取目标监控图像的前景区域图像，并分别提取该前景区域图像的目标特征以及事件特征，进而，根据该目标特征以及事件特征对目标监控图像进行场景识别，提高了场景识别的准确率。

为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面对本发明实施例中目标检测网络模型以及第一事件类型检测网络模型的构建以及应用进行描述。其中，以目标检测网络模型以及第一事件类型检测网络模型均为卷积神经网络(ConvolutionalNeuralNetwork，简称CNN)为例。

在该实施例中，目标检测网络模型以及第一事件类型检测网络模型均主要由输入层、卷积和池化层、全连接层、softmax层等组成。

具体的，对于目标检测网络模型：

在该实施方式中，对于事先采集的各训练样本，服务器在获取到各训练样本的前景区域图像之后，可以根据前景区域图像中包括的目标(如人、机动车、非机动车或其它目标等)对前景区域图像进行分割，以得到多个目标候选区域，并判断各目标候选区域中包括的目标是否为有效目标(即预设目标)并确定具体的目标类型，通过遍历所有的目标候选区域，得到所有有效目标在前景区域图像中的位置信息。

服务器识别出前景区域图像中各有效目标的位置信息之后，可以将该前景区域图像划分为若干个独立的子图像区域Area{}。例如，假设前景区域图像中包括n个有效目标，则可以得到n个独立的子图像区域：Area₁、Area₂…Area_n，每个子图像区域中包括一个独立的有效目标，进而服务器可以将该n个独立的子图像区域输入到预设的目标检测网络模型中进行训练。

其中，对于第i个图像子区域Area_i，该目标检测网络模型的第一层卷积函数输出为：

${\mathrm{Out}}_{(x,y)\∈N_i}^{(l,k)}=\tanh \left(\underset{t=0}{\overset{f-1}{\Σ}}\underset{r=0}{\overset{k_h}{\Σ}}\underset{c=0}{\overset{k_w}{\Σ}}{w}_{(r,c)}^{(k,t)}\right){\mathrm{Out}}_{(x+r,x+c)}^{(l-1,t)}+{\mathrm{Bias}}^{(l,k)}$

其中，tanh为双曲函数，输入层为l-1，输出层为l，k为预设的常量参数，w是一个k_w*k_h大小的卷积核，f是卷积核的个数，Bias是输出偏置量，k_h，k_w是卷积核的高和宽，N_i为第i个图像子区域内各像素点在二维图像平面的坐标值集合，(x，y)为第i个图像子区域内像素点在二维图像平面的坐标值。

对于第一事件类型检测网络模型：

输入层：服务器可以将获取到的训练样本的前景区域图像作为第一事件类型检测网络模型的输入，接入到输入层；

卷积层：卷积层中每一个卷积层通过上一层的卷积结果与卷积核进行二维卷积，激励结果输出经过非线性激励函数和偏置值相加得到；

分类层(softmax)：选取合适的卷积核和max-pooling矩形的大小，将最后一个卷积层的输出降采样到一个像素，最后一个卷积层的输出和全连接层的连接为一维矩阵。最后一层通常为一个全连接层，每一个输出对应一种事件类型。在该实施方式中，采用softmax回归作为最后一层的激励函数将每一个神经元的输出理解为每个输入图像所对应事件类型的可能性。

可选地，第一事件类型检测网络的训练参数调整公式如下：

${\mathrm{Out}}_{(x,y)\∈N}^{(l,k)}=\tanh \left(\underset{t=0}{\overset{f-1}{\Σ}}\underset{r=0}{\overset{k_h}{\Σ}}\underset{c=0}{\overset{k_w}{\Σ}}{w}_{(r,c)}^{(k,t)}\right){\mathrm{Ou}}_{(x+r,x+c)}^{(l-1,t)}+{\mathrm{Bias}}^{(l,k)}$

其中，N为整个前景区域图像内各像素点在二维图像平面的坐标值集合，(x，y)为整个前景区域图像内像素点在二维图像平面的坐标值。

可见，在目标检测网络模型中，同一子图像区域内的参数训练模式为权重共享训练模式，但不同子图像空间之间的参数训练并不遵循权重共享原则，即目标检测网络模型的参数训练模式为局部权重共享训练模式(即同一子图像区域内共享，子图像区域之间不共享)；第一事件类型检测网络模型则直接使用权重共享训练模式进行参数训练。

在该实施方式中，服务器构建并训练好上述目标检测网络模型以及第一事件类型检测网络模型后，可以通过该目标检测网络模型以及第一事件类型检测网络模型获取目标监控图像的前景区域图像对应的目标特征以及事件特征，并将该目标特征以及事件特征进行串联，得到一个高维组合特征，并将该高维组合特征输入到训练好的第二事件类型检测网络模型，如SVM事件类型分类器，并根据输出结果确定目标监控图像对应的事件类型。

通过以上描述可以看出，在本发明实施例提供的技术方案中，通过获取目标监控图像的前景区域图像，并分别将该前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到该前景区域图像对应的目标特征以及事件特征，进而，将目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到目标监控图像对应的事件类型，提高了场景识别的准确率。

请参见图2，为本发明实施例提供的一种场景识别装置的结构示意图，其中，该场景识别装置可以应用于上述方法实施例中的视频监控***，例如，应用于视频监控***的后台服务器中，如图2所示，该场景识别装置可以包括：

获取单元210，用于获取目标监控图像的前景区域图像；

特征提取单元220，分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；

场景识别单元230，用于将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。

请一并参阅图3，图3为本发明实施例提供的另一种场景识别装置的结构示意图，在图2所示实施例的基础上，图3所示场景识别装置还可以包括：

判断单元240，用于判断所述前景区域图像中是否存在预设目标；

相应地，所述特征提取单元220，可以具体用于当所述判断单元判断结果为存在时，分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型。

请一并参阅图4，图4为本发明实施例提供的另一种场景识别装置的结构示意图，在图2所示实施例的基础上，图4所示场景识别装置中，特征提取单元220可以包括：

划分子单元221，用于根据所述前景区域中存在的有效目标将所述前景区域划分为多个独立子图像区域，其中，每个子图像区域中包括一个独立的有效目标；

提取子单元222，用于将所述多个独立子图像区域输入到预设的目标检测网络模型中，以得到所述前景区域图像对应的目标特征。

在可选实施例中，所述目标检测网络模型为卷积神经网络模型，对于第i个图像子区域，所述目标检测网络模型的第一层卷积函数输出公式为：

${\mathrm{Out}}_{(x,y)\∈N_i}^{(l,k)}=\tanh \left(\underset{t=0}{\overset{f-1}{\Σ}}\underset{r=0}{\overset{k_h}{\Σ}}\underset{c=0}{\overset{k_w}{\Σ}}{w}_{(r,c)}^{(k,t)}\right){\mathrm{Out}}_{(x+r,x+c)}^{(l-1,t)}+{\mathrm{Bias}}^{(l,k)}$

其中，tanh为双曲函数，输入层为l-1，输出层为l，k为预设的常量参数，w是一个k_w*k_h大小的卷积核，f是卷积核的个数，Bias是输出偏置量，k_h，k_w是卷积核的高和宽，N_i为第i个图像子区域内各像素点在二维图像平面的坐标值集合，(x，y)为第i个图像子区域内像素点在二维图像平面的坐标值。

在可选实施例中，所述第二事件类型检测网络模型为支持向量机SVM事件类型分类器；

相应地，请一并参阅5，图5为本发明实施例提供的另一种场景识别装置的结构示意图，在图2所示实施例的基础上，图5所示场景识别装置中，场景识别单元230可以包括：

特征组合子单元231，用于将所述目标特征以及事件特征进行串联，以得到对应的特征组合；

场景识别子单元232，用于将所述特征组合输入到训练好的SVM事件类型分类器，并根据所述SVM事件类型分类器的输出结果确定所述目标监控图像对应的事件类型。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

由上述实施例可见，通过获取目标监控图像的前景区域图像，并分别将该前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到该前景区域图像对应的目标特征以及事件特征，进而，将目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到目标监控图像对应的事件类型，提高了场景识别的准确率。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种场景识别方法，其特征在于，包括：

获取目标监控图像的前景区域图像；

分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；

将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。

2.根据权利要求1所述的方法，其特征在于，所述分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型之前，还包括：

判断所述前景区域图像中是否存在预设目标；

若存在，则确定执行所述分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型的步骤。

3.根据权利要求1所述的方法，其特征在于，将所述前景区域图像输入预设的目标检测网络模型，以得到所述前景区域图像对应的目标特征，包括：

根据所述前景区域中存在的有效目标将所述前景区域划分为多个独立子图像区域，其中，每个子图像区域中包括一个独立的有效目标；

将所述多个独立子图像区域输入到预设的目标检测网络模型中，以得到所述前景区域图像对应的目标特征。

4.根据权利要求3所述的方法，其特征在于，所述目标检测网络模型为卷积神经网络模型，对于第i个图像子区域，所述目标检测网络模型的第一层卷积函数输出公式为：

${\mathrm{Out}}_{(x,y)\∈N_i}^{(l,k)}=\tanh \left(\underset{t=0}{\overset{f-1}{\Σ}}\underset{r=0}{\overset{k_h}{\Σ}}\underset{c=0}{\overset{k_w}{\Σ}}{w}_{(r,c)}^{(k,t)}\right){\mathrm{Out}}_{(x+r,x+c)}^{(l-1,t)}+{\mathrm{Bias}}^{(l,k)}$

其中，tanh为双曲函数，输入层为l-1，输出层为l，k为预设的常量参数，w是一个k_w*k_h大小的卷积核，f是卷积核的个数，Bias是输出偏置量，k_h，k_w是卷积核的高和宽，N_i为第i个图像子区域内各像素点在二维图像平面的坐标值集合，(x，y)是第i个图像子区域内像素点在二维图像平面的坐标值。

5.根据权利要求1所述的方法，其特征在于，所述第二事件类型检测网络模型为支持向量机SVM事件类型分类器；

所述将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型，包括：

将所述目标特征以及事件特征进行串联，以得到对应的特征组合；

将所述特征组合输入到训练好的SVM事件类型分类器，并根据所述SVM事件类型分类器的输出结果确定所述目标监控图像对应的事件类型。

6.一种场景识别装置，其特征在于，包括：

获取单元，用于获取目标监控图像的前景区域图像；

特征提取单元，分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型，以得到所述前景区域图像对应的目标特征以及事件特征；

场景识别单元，用于将所述目标特征以及事件特征输入到预设的第二事件类型检测网络模型，以得到所述目标监控图像对应的事件类型。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断单元，用于判断所述前景区域图像中是否存在预设目标；

所述特征提取单元，具体用于当所述判断单元判断结果为存在时，分别将所述前景区域图像输入预设的目标检测网络模型以及第一事件类型检测网络模型。

8.根据权利要求7所述的装置，其特征在于，所述特征提取单元，包括：

划分子单元，用于根据所述前景区域中存在的有效目标将所述前景区域划分为多个独立子图像区域，其中，每个子图像区域中包括一个独立的有效目标；

提取子单元，用于将所述多个独立子图像区域输入到预设的目标检测网络模型中，以得到所述前景区域图像对应的目标特征。

9.根据权利要求8所述的装置，其特征在于，所述目标检测网络模型为卷积神经网络模型，对于第i个图像子区域，所述目标检测网络模型的第一层卷积函数输出公式为：

${\mathrm{Out}}_{(x,y)\∈N_i}^{(l,k)}=\tanh \left(\underset{t=0}{\overset{f-1}{\Σ}}\underset{r=0}{\overset{k_h}{\Σ}}\underset{c=0}{\overset{k_w}{\Σ}}{w}_{(r,c)}^{(k,t)}\right){\mathrm{Out}}_{(x+r,x+c)}^{(l-1,t)}+{\mathrm{Bias}}^{(l,k)}$

其中，tanh为双曲函数，输入层为l-1，输出层为l，k为预设的常量参数，w是一个k_w*k_h大小的卷积核，f是卷积核的个数，Bias是输出偏置量，k_h，k_w是卷积核的高和宽，N_i为第i个图像子区域内各像素点在二维图像平面的坐标值集合，(x，y)是第i个图像子区域内像素点在二维图像平面的坐标值。

10.根据权利要求6所述的装置，其特征在于，所述第二事件类型检测网络模型为支持向量机SVM事件类型分类器；

所述场景识别单元，包括：

特征组合子单元，用于将所述目标特征以及事件特征进行串联，以得到对应的特征组合；

场景识别子单元，用于将所述特征组合输入到训练好的SVM事件类型分类器，并根据所述SVM事件类型分类器的输出结果确定所述目标监控图像对应的事件类型。