CN110555342A

CN110555342A - 一种图像识别方法、装置和图像设备

Info

Publication number: CN110555342A
Application number: CN201810552832.2A
Authority: CN
Inventors: 黄芳
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2019-12-10
Anticipated expiration: 2038-05-31
Also published as: CN110555342B

Abstract

本申请提供一种图像识别方法、装置和图像设备。本申请提供的图像识别方法，应用于图像设备，所述方法包括：从第一数据格式的数据中提取数据特征；所述第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据；对所述数据特征进行智能识别处理，以识别出目标数据。本申请提供的图像识别方法、装置和图像设备，在进行图像识别时，直接从光源信号转换为数字信号的数据中提取数据特征，进而对提取的数据特征进行智能识别处理。这样，由于光源信号转换为数字信号的数据包含有丰富的图像信息，基于该数据进行识别时，可充分利用丰富的图像信息进行识别，有利于提升识别准确率。

Description

一种图像识别方法、装置和图像设备

技术领域

本申请涉及图像识别技术领域，尤其涉及一种图像识别方法、装置和图像装置。

背景技术

图像识别指利用计算机对图像进行处理、分析和理解，以检测并识别各种不同模式的目标的技术。目前，随着图像识别技术的发展，图像识别技术已广泛应用于各个领域。例如，应用于安防领域等。

近年来，常采用神经网络进行图像识别。但是，目前，在进行图像识别时，输入数据一般为经过图像处理(例如，经过滤波处理、增强处理)、编解码处理后的数据。由于图像处理、编解码处理会造成原始信息的损失，这样，在利用输入数据进行图像识别时，由于输入数据丢失了部分原始信息，不利于提高识别准确率。

发明内容

有鉴于此，本申请提供一种图像识别方法、装置和图像设备，以提供一种有利于提高识别准确率的图像识别方法。

本申请第一方面提供一种图像识别方法，所述方法应用于图像设备，所述方法包括：

从第一数据格式的数据中提取数据特征；所述第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据；

对所述数据特征进行智能识别处理，以识别出目标数据。

本申请第二方面提供一种图像识别装置，所述装置应用于图像设备，所述装置包括提取模块和识别模块，其中，

所述提取模块，用于从第一数据格式的数据中提取数据特征；所述第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据；

所述识别模块，用于对所述数据特征进行智能识别处理，以识别出目标数据。

本申请第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面提供的任一项所述方法的步骤。

本申请第四方面提供一种图像设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的任一项所述方法的步骤。

本申请提供的图像识别方法、装置和图像设备，在进行图像识别时，通过从光源信号转换为数字信号的数据中提取数据特征，进而对提取的数据特征进行智能识别处理。这样，由于光源信号转换为数字信号的数据包含有丰富的图像信息，基于该数据进行识别时，可充分利用丰富的图像信息进行识别，有利于提升识别准确率。

附图说明

图1A为本申请提供的图像识别方法实施例一的流程图；

图1B为本申请一示例性实施例示出的图像识别装置的示意图；

图1C为本申请一示例性实施例示出的第一运算模块的实现原理图；

图1D为本申请一示例性实施例示出的第一运算模块的示意图；

图2为本申请提供的图像识别方法实施例二的流程图；

图3A为本申请一示例性实施例示出的第一神经网络对第一数据格式的数据进行色彩处理的实现逻辑图；

图3B为本申请一示例性实施例示出的第一神经网络对第一数据格式的数据进行色彩处理的示意图；

图4为本申请一示例性实施例示出的对色彩处理结果进行卷积滤波处理的示意图；

图5为本申请提供的图像识别方法实施例三的流程图；

图6为一示例性实施例示出的对滤波处理结果进行压缩处理的示意图；

图7为本申请提供的图像识别方法实施例四的流程图；

图8为本申请一示例性实施例示出的第三神经网络对第一数据格式的数据进行色彩处理的实现逻辑图；

图9为本申请一示例性实施例示出的图像识别方法的实现逻辑图；

图10为本申请一示例性实施例示出的图像识别装置所在图像设备的硬件结构图；

图11为本申请提供的图像识别装置实施例一的结构示意图；

图12为本申请提供的图像识别装置实施例二的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

具体的，智能识别技术作为人工智能的一个重要分支，主要指采用人工智能技术对图像进行分析、理解，以检测并识别各种不同模式的目标和对象的技术。在诸多领域，尤其是安防领域，若使用人来观察图像或视频进行目标识别，不仅工作量较大、识别效率较低，而且经常出现漏查现象。而智能识别技术作为一种研究如何使用计算机代替人类去自动处理物理信息的技术，解决了人类所无法识别或者识别过程过于耗费资源的问题。

进一步地，深度学习技术是机器学习研究中的一个新的领域，其动机在于建立模拟人脑进行分析学习的神经网络，以模仿人脑的机制来解释数据，例如图像，声音和文本。近些年，随着深度学习技术的发展，深度学习技术已在目标检测、目标分类、目标识别等领域获得巨大突破。近年来，在安防领域，基于深度学习的智能识别技术已备受用户关注。例如，基于深度学习的图像识别技术已经广泛应用于各个领域。

现有的基于深度学习的图像识别技术，在进行图像识别时，待识别的数据通常为第二数据格式的数据，其中，第二数据格式的数据指适于显示或传输的任意一种图像格式的数据。例如，该第二数据格式的数据可以是对图像采集设备采集到的光源信号转换为数字信号的数据进行处理(该处理可以包括位宽裁剪、图像处理和编解码处理等)后的数据。这样，由于第二数据格式的数据是经过处理后的数据，这些处理会造成原始信息损失，致使该第二数据格式的数据含有的信息量较少。这样，在利用第二数据格式的数据进行图像识别时，不利于提高识别准确率。

下面给出几个具体的实施例，用于详细介绍本申请的技术方案。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1A为本申请提供的图像识别方法实施例一的流程图。该实施例的执行主体可以为图像识别装置，也可以为集成有图像识别装置的图像设备。下面以执行主体为集成有图像识别装置的图像设备为例进行说明。请参照图1A，本实施例提供的方法，可以包括：

S101、从第一数据格式的数据中提取数据特征；上述第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据。

具体的，图像设备可以为图像采集设备，此时，该图像设备可以直接从第一数据格式的数据中提取数据特征。此外，图像设备还可以为独立于图像采集设备的其他设备，此时，图像设备可先从图像采集设备获取第一数据格式的数据，进而从第一数据格式的数据中提取数据特征。其中，第一数据格式的数据是图像采集设备采集的原始图像数据。本实施例中，不对此作出限定。

需要说明的是，第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据。具体的，图像采集设备采集图像的原理一般为：采集光源信号，将采集到的光源信号转换为模拟信号，将模拟信号转换为数字信号，将数字信号输入到处理芯片进行处理(该处理可以包括位宽裁剪、图像处理和编解码处理等)，得到第二数据格式的数据，将第二数据格式的数据传输给显示设备进行显示。第一数据格式为图像采集设备将采集到的光源信息转换为数字信号时的数据，该数据未经过处理芯片进行处理，位宽高，相比于经过位宽裁剪、图像处理和编解码处理的第二数据格式的数据，包含丰富的图像信息。

可选地，在本申请一可能的实现方式中，上述第一数据格式的数据为图像采集设备将采集到的波长范围为380nm～780nm的光源信号和/或波长范围为780nm～2500nm的光源信号转换为数字信号的数据。

具体的，本步骤中，可利用神经网络从第一数据格式的数据中提取数据特征，有关该步骤的具体实现过程和实现原理将在下面的实施例中详细介绍，此处不再赘述。

S102、对上述数据特征进行智能识别处理，以识别出目标数据。

具体的，根据应用方向的不同，智能识别处理可以包括：目标检测、目标分类和目标比对等处理。相应的，当智能识别处理为目标检测时，此时，识别出的目标数据为目标在图形中的坐标。此时，该步骤的具体实现过程可通过回归器实现，以得到目标在图像中的坐标。此外，当智能识别处理为目标分类时，此时，识别出的目标数据为目标类别。此时，该本步骤的具体实现过程可通过分类器或支持向量机实现，以得到目标类别。进一步地，当智能识别处理为目标比对时，例如，为1：1目标比对或1：N目标比对时，此时，识别出的目标数据为相似度。此时，该步骤的具体实现过程可以包括：计算上述数据特征与模板的数据特征之间的相似度。

下面以智能识别处理为目标分类为例进行说明。本例中，可利用softmax分类器实现。假设已有样本库有m个类别，则待测目标x为第j类的概率为：

其中，x⁽ⁱ⁾为待测目标x的数据特征，y⁽ⁱ⁾为x⁽ⁱ⁾的标签，θ为参数，预先通过最小化损失函数获得。这样，可计算得到待测目标x属于各个类别的概率，进而将最大概率对应的类别确定为待测目标x所属的类别。

下面以智能识别处理为1:1目标比对为例进行说明。本例中，可计算两目标特征之间的欧式距离，进而基于计算得到的欧式距离，得到两目标特征之间的相似度。其中，两目标特征之间的欧式距离越小，两目标特征越相似，两目标特征之间的相似度越小。

具体的，两目标特征之间的欧式距离采用如下公式计算：

其中，d为两目标特征f_1i和f_2i之间的欧式距离；

N为目标特征的维度。

本实施例提供的方法，在进行图像识别时，通过从光源信号转换为数字信号的数据中提取数据特征，进而对提取的数据特征进行智能识别处理。这样，由于光源信号转换为数字信号的数据包含有丰富的图像信息，基于该数据进行识别时，可充分利用丰富的图像信息进行识别，有利于提升识别准确率。

需要说明的是，上述方法流程可由图像识别装置执行。图1B为本申请一示例性实施例示出的图像识别装置的示意图。如图1B所示，该图像识别装置主要包含3个模块：第一运算模块101、第二运算模块102和第三模块103。其中，第一运算模块101用于执行上述步骤S101，第二运算模块102用于执行上述步骤S102。

其中，第一运算模块101、第二运算模块102为在线模块，第三运算模块103可为离线模块或在线模块。图像设备获取的第一数据格式的数据直接输入到第一运算模块101，以从第一数据格式的数据中提取数据特征，然后由第二运算模块102对数据特征进行智能识别处理，输出目标数据。其中，第一运算模块101与第二运算模块102运行时所需的参数预先由第三运算模块103学习得到，第三运算模块103根据标定数据进行多次迭代训练，获得第一运算模块101和第二运算模块102运行时所需的参数。

在其中一个实施例中，如图1C所示(图1C为本申请一示例性实施例示出的第一运算模块的实现原理图)，第一运算模块101通过神经网络从第一数据格式的数据中提取数据特征。此时，该第一运算模块101可以由第一运算子单元1011、第二运算子单元1012和其他运算子单元1013构成，其中，第一运算子单元1011与第二运算子单元1012为关键且必不可少的运算子单元，其他运算子单元1013为可选单元，且第一运算子单元1011、第二运算子单元1012与其他运算子单元1013的个数及位置可根据实际需要进行调整，本文不对此做限定。第一运算模块101输出的数据特征不限定为该模块最后子单元的输出，它也可以为该模块中间子单元的输出，或多个子单元输出的合并。

可选的，图1D为本申请一示例性实施例示出的第一运算模块的示意图。请参照图1D，输入的第一数据格式的数据依次经过第一运算子单元1011、第二运算子单元1012和两个其他运算子单元1013之后，输出数据特征。

其中，第一运算子单元1011的功能是将输入数据进行色彩处理，如色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理、数据合并处理、色彩通道分离处理等，并输出单通道数据或多通道数据，该单通道数据或多通道数据即为色彩处理结果，进而由第二运算子单元1012和两个其他运算子单元1013对色彩处理结果进行特征提取，如对色彩处理后得到的单通道数据或多通道数据进行卷积滤波处理得到多通道特征图，对所述多通道特征图进行压缩处理、聚合处理或加权处理等。

需要说明的是，第一运算子单元1011可以通过神经网络的方式实现，如卷积处理、反卷积处理、合并处理、Eltwise处理等，且该神经网络的第一层为卷积层，该卷积层的卷积核移动的步长为第一数据格式的数据的色彩排列模式的最小单元的整数倍，以这种步长进行卷积处理时，不会破坏第一数据格式的数据的色彩空间位置。其中，该第一运算子单元1011的参数可通过训练学习得到，也可根据色彩处理原理进行人工设定。

本申请不对第一运算子单元1011的具体实现方式和输出数据维度作限定。另外，在本申请的思想下，将第一运算子单元1011从第一运算模块101中抽出，在网络外进行第一运算子单元1011的操作，或采用其他等同于该思想的处理方式，均在该专利的范围内。

需要说明的是，参见前面的介绍，步骤S101中，从第一数据格式的数据中提取数据特征的步骤，至少包括对所述第一数据格式的数据进行色彩处理，以及对色彩处理结果进行特征提取的过程。

其中，一种实施例中，对所述第一数据格式的数据进行色彩处理，包括：对所述第一数据格式的数据进行色彩通道分离处理、色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理、数据合并处理中的至少一种，得到单通道数据或多通道数据，并将所述单通道数据或多通道数据作为色彩处理结果。

需要说明的是，色彩处理还可以包括其他处理，此处不一一赘述。

在一种实施例中，所述对所述第一数据格式的数据进行色彩处理，包括：

对所述第一数据格式的数据进行卷积处理实现色彩通道分离处理，得到多通道数据，将所述多通道数据作为色彩通道分离处理结果；或者是，

对所述第一数据格式的数据依次进行卷积处理、反卷积处理和卷积处理实现色彩信息重组合处理，得到色彩信息重组合处理结果；或者是，

对所述第一数据格式的数据依次进行卷积处理、反卷积处理、卷积处理和合并处理实现数据合并处理，得到多通道数据，将所述多通道数据作为数据合并处理结果。

进一步地，所述对色彩处理结果进行特征提取的过程，包括：

对色彩处理结果进行卷积滤波处理得到多通道特征图，并对所述多通道特征图进行至少一项第二处理，将所述第二处理结果确定为提取的特征；其中，所述第二处理包括：压缩处理、聚合处理和加权处理。

下面将给出几个具体的实施例，用于详细介绍上面所述过程，以详细介绍本申请提供的技术方案。

图2为本申请提供的图像识别方法实施例二的流程图。请参照图2，本实施例提供的方法，在上述实施例的基础上，步骤S101，从第一数据格式的数据中提取数据特征的步骤，可以包括：

S201、将上述第一数据格式的数据输入到第一神经网络，由上述第一神经网络对上述第一数据格式的数据进行色彩处理，得到第一色彩处理结果，并对上述第一色彩处理结果进行特征提取；其中，上述第一神经网络包括至少一个用于进行色彩处理的卷积层，上述卷积层的卷积核移动的步长为上述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

具体的，本实施例提供的方法，通过第一神经网络从第一数据格式的数据中提取数据特征。需要说明的是，色彩处理包括以下至少一项处理：色彩通道分离处理、色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理和数据合并处理。需要说明的是，色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理和数据合并处理均是在色彩通道分离处理的基础上实现的。因此，为实现色彩处理，该第一神经网络包括至少一个用于进行色彩处理的卷积层，该卷积层用于对第一数据格式的数据进行色彩通道分离。此外，为了不破坏第一数据格式的数据的色彩空间位置，要求该卷积层的卷积核移动的步长为第一数据格式的数据的色彩排列模式的最小单元的整数倍。

需要说明的是，本实施例中，不对该卷积层的卷积核大小、卷积核个数以及卷积核参数的获取方式进行限定。例如，一实施例中，卷积核参数可通过训练获得。另一实施例中，卷积核参数为指定的参数。

下面以色彩处理包括色彩通道分离处理和灰度信息提取处理为例进行说明。

图3A为本申请一示例性实施例示出的第一神经网络对第一数据格式的数据进行色彩处理的实现逻辑图。图3B为本申请一示例性实施例示出的第一神经网络对第一数据格式的数据进行色彩处理的示意图。首先，请参照图3B，本例中，第一数据格式的数据的色彩排列模式为“RGGB模式”，该色彩排列模式的最小单元为2×2，因此，本例中，图3A所示的卷积处理中，卷积核移动的步长为2的整数倍。例如，本例中，以卷积核移动的步长为2为例进行说明。请继续参照图3B，本例中，有4个卷积核，各个卷积核的大小均为2×2，这4个卷积核分别为[1，0，0，0]，[0，1，0，0]，[0，0，1，0]，[0，0，0，1]。进一步地，请同时参照图3A和图3B，可通过卷积处理实现色彩通道分离。本例中，经过卷积处理，便可以得到色彩通道分离处理结果(该色彩通道分离处理结果为4通道数据)。

进一步地，请继续参照图3A和图3B，可进一步对上述色彩通过分离处理结果进行反卷积处理，得到反卷积处理后的4通道图像数据，进而将反卷积处理后的4通道图像数据按照指定的权重进行加权平均，得到单通道的数据，实现灰度信息提取处理(该单通道数据即为提取的灰度信息)。需要说明的是，参照图3A，该加权处理可通过卷积处理实现。此外，指定的权重是根据实际需要设定的。例如，一实施例中，对于反卷积处理后的4通道数据，设置各通道数据的权重分别为2，1，1，2。

需要说明的是，第一神经网络还可以包括其他层，以实现不同的功能。例如，为实现图3A和图3B所示示例的功能，第一神经网络可以包括第一卷积层、第二卷积层和第三卷积层，其中，第一卷积层，进行卷积处理，用于实现色彩通道分离处理；该卷积层的卷积核移动的步长为第一数据格式的数据的色彩排列模式的最小单元的整数倍；第二卷积层，进行反卷积处理，用于得到反卷积处理后的4通道图像数据；第三卷积层，进行卷积处理，实现加权处理，以实现灰度信息提取处理。

此外，第一神经网络在对第一数据格式的数据进行色彩处理之前，还可以先对第一数据格式的数据进行预处理。例如，进行下采样处理，本实施例中，不对此作出限定。

具体的，本步骤中，对第一色彩处理结果进行特征提取，可以包括：对第一色彩处理结果进行卷积滤波处理得到多通道特征图，将上述多通道特征图确定为提取的特征。或者是，对第一色彩处理结果进行卷积滤波处理得到多通道特征图，对上述多通道特征图进行至少一项第二处理，并将第二处理结果确定为提取的特征；其中，上述第二处理包括：压缩处理、聚合处理和加权处理。需要说明的是，第二处理还可以包括其他处理，此处不一一列举。

具体的，对色彩处理结果进行卷积滤波处理，具体指对色彩处理结果进行高维映射，提取数据更高层的特征，得到数据特征。图4为本申请一示例性实施例示出的对色彩处理结果进行卷积滤波处理的示意图。请参照图4，卷积滤波处理的过程可通过卷积滤波器实现。例如，可通过卷积滤波器对色彩处理结果进行卷积滤波，输出多通道特征图。例如，一实施例中，可按照如下公式对色彩处理结果进行卷积滤波处理：

F_h＝g(W₂*F_c+B₂)

其中，F_h为输出的多通道特征图，F_c为输入的色彩处理结果，W₂和B₂分别为卷积滤波器的权重系数和偏移系数，*表示卷积操作，g()表示激活函数，当激活函数为ReLU(Rectified Linear Unit)时，g(x)＝max(0,x)。

例如，一实施例中，假设输入的色彩处理结果F_c的维度为W_In×H_In×C_In，卷积滤波器的卷积层的卷积核的维度为C_In×K₁×K₂×C_Out，卷积滤波器扩边大小为pad，滤波步进为stride，则输出的多通道特征图F_h的维度为W_Out×H_Out×C_Out，其中，

需要说明的是，本实施例中，不对卷积滤波器中卷积核的大小、个数和卷积核移动的步长进行限定。

S202、将上述第一神经网络提取的特征确定为上述数据特征。

本实施例提供的方法，在从第一数据格式的数据中提取数据特征时，通过将第一数据格式的数据输入到第一神经网络，由第一神经网络对第一数据格式的数据进行色彩处理，得到第一色彩处理结果，并对第一色彩处理结果进行特征提取；进而将第一神经网络提取的特征确定为从第一数据格式中提取的数据特征。这样，通过对第一数据格式的数据进行色彩处理，可有效地提取第一数据格式数据的信息，提高数据特征的区分度，提高智能识别的识别准确率。

图5为本申请提供的图像识别方法实施例三的流程图。请参照图5，本实施例提供的方法，步骤S101，从第一数据格式的数据中提取数据特征的步骤，可以包括：

S501、对上述第一数据格式的数据进行色彩处理，得到第二色彩处理结果。

例如，一实施例中，色彩处理包括色彩通道分离处理。第一数据格式的数据的色彩排列模式为“RGGB模式”，此时，可针对每一个色彩排列模式的最小单元，分别提取该单元中的R分量，第一个G分量，第二个G分量，B分量，最后将各个单元的R分量进行合并，第一个G分量进行合并，第二个G分量进行合并，B分量进行合并，得到色彩通道分离处理结果。

再例如，一实施例中，色彩处理包括色彩通道分离处理。第一数据格式的数据的色彩排列模式为“RGGB模式”，此时，可针对每一个色彩排列模式的最小单元，分别提取该单元中的R分量，G分量，B分量，形成RGB三通道分量，该三通道分量中的R、G、B各分量的位置与第一数据格式的数据保持一致，并对空缺位置进行数字填补，例如，填补一指定的数字，得到数字填补后的RGB三通道分量，该RGB三通道分量即为色彩通道分离处理结果。

S502、将上述第二色彩处理结果输入到第二神经网络，由上述第二神经网络对上述第二色彩处理结果进行特征提取。

具体的，一实施例中，第二神经网络可以对第二色彩处理结果进行卷积滤波处理得到多通道特征图，并将多通道特征图确定为提取的特征。有关卷积滤波处理的实现原理可以参照前面实施例中的描述，此处不再赘述。

另一实施例中，第二神经网络可以对第二色彩处理结果进行卷积滤波处理得到多通道特征图，并对上述多通道特征图进行至少一项第二处理，将第二处理结果确定为提取的特征；其中，上述第二处理包括：压缩处理、聚合处理和加权处理等。例如，一实施例中，第二神经网络可以对第二色彩处理结果进行卷积滤波处理得到多通道特征图，进而对多通道特征图进行压缩处理，并将压缩处理结果确定为提取的特征。

需要说明的是，卷积滤波处理可以通过卷积层实现，压缩处理、聚合处理和加权处理可以通过池化层或全连接层实现。例如，图6为一示例性实施例示出的对滤波处理结果进行压缩处理的示意图。请参照图6，本例中，通过池化层来实现压缩处理，其中，池化窗口为2×2，池化方式为最大池化，池化过程中，池化窗口不重合，此时，对图6所示的滤波处理结果进行压缩处理后，得到如图6所示的压缩处理结果。

S503、将上述第二神经网络提取的特征确定为上述数据特征。

本实施例提供的方法，在从第一数据格式的数据中提取数据特征时，通过对第一数据格式的数据进行色彩处理，得到第二色彩处理结果，进而将第二色彩处理结果输入到第二神经网络，由第二神经网络对第二色彩处理结果进行特征提取，从而将第二神经网络提取的特征确定为从第一数据格式中的数据中提取的数据特征。这样，可更为有效的从第一数据格式的数据中提取数据特征，提高数据特征的区分度，提高识别准确率。

图7为本申请提供的图像识别方法实施例四的流程图。请参照图7，本实施例提供的方法，步骤S501，对上述第一数据格式的数据进行色彩处理的步骤，可以包括：

S701、将上述第一数据格式的数据输入到第三神经网络，由上述第三神经网络对上述第一数据格式的数据进行色彩处理；其中，上述第三神经网络包括至少一个用于进行色彩通道处理的卷积层，上述卷积层的卷积核移动的步长为上述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

具体的，参见前面的介绍，色彩处理包括以下至少一项处理：色彩通道分离处理、色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理和数据合并处理。需要说明的是，色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理和数据合并处理均是在色彩通道分离处理的基础上实现的。因此，第三神经网络包括至少一个用于进行色彩处理的卷积层，该卷积层用于对第一数据格式的数据进行色彩通道分离。此外，为了不破坏第一数据格式的数据的色彩空间位置，要求该卷积层的卷积核移动的步长为第一数据格式的数据的色彩排列模式的最小单元的整数倍。需要说明的是，根据实际需要，第三神经网络还可以包括其他层，以实现不同的功能。本实施例中，不对此作出限定。

图8为本申请一示例性实施例示出的第三神经网络对第一数据格式的数据进行色彩处理的实现逻辑图。请同时参照图8和图3B，以及前面实施例中的介绍，第三神经网络可先对第一数据格式的数据进行卷积处理，以实现色彩通道分离处理，得到色彩通道分离处理结果。其次，再对色彩通道分离处理结果进行反卷积处理，得到反卷积处理结果。进一步地，例如，一实施例中，可将反卷积处理结果再次进行卷积处理(该卷积处理实现加权处理的功能)，以实现色彩信息重组合处理。例如，将反卷积处理结果中的第二通道数据和第三通道数据合并为一个通道，实现色彩信息重组合处理。具体实现时，可将反卷积处理结果中的第二通道数据和第三通道数据进行加权求平均，合并为一个通道，最终得到三通道数据，实现色彩信息重组合处理。

进一步地，另一实施例中，可对反卷积处理结果进行卷积处理(该卷积处理实现加权处理的功能)，实现色彩空间转换处理。例如，在图3B所示示例中，可按下如下公式计算YUV数据：

Y＝0.229A+0.2835B+0.2935C+0.114D

U＝-0.169A-0.1655B-0.1655C+0.5D

V＝0.5A-0.2095B-0.2095-0.081D

其中：A为反卷积处理结果中的第一通道数据；

B为反卷积处理结果中的第二通道数据；

C为反卷积处理结果中的第三通道数据；

D为反卷积处理结果中的第四通道数据。

进一步地，参见前面的介绍，还可以按照2:1:1:2的方式对反卷积处理结果进行卷积处理，实现灰度信息提取处理，得到单通道的灰度信息。此外，参照图8，例如，在图8所示实例中，通过卷积处理(该卷积处理实现加权处理的功能)，得到单通道的灰度信息。此时，还可以将反卷积处理结果和灰度信息提取处理结果进行合并，得到5通道的数据。

S702、将上述第三神经网络的输出结果确定为上述第二色彩处理结果。

本实施例提供的方法，利用第三神经网络进行色彩处理，这样，可得到更丰富的色彩处理结果，以提取更丰富的数据特征，进而提高识别准确率。

需要说明的是，本申请中的第一神经网络，第二神经网络和第三神经网络可以是预先训练好的网络，也可以是实时训练实时使用的网络。下面以第一神经网络为例，介绍神经网络的训练过程。具体的，该过程可以包括：

(1)搭建神经网络

例如，本例中，可在第一神经网络的第一层设置一用于进行色彩通道分离处理的卷积层。

(2)获取训练样本

例如，可获取带标签的第一数据格式的数据，作为训练样本。例如，一实施例中，获取到m个训练样本，这m个训练样本为：

{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}

其中，x⁽ⁱ⁾表示第一数据格式的数据，y⁽ⁱ⁾表示x⁽ⁱ⁾的标签。

(3)利用获取到的训练样本训练上述神经网络，得到训练好的神经网络

具体的，可先将第一神经网络中的网络参数设定为指定值，然后利用获取到的训练样本训练上述神经网络，得到训练好的神经网络。

具体的，该过程可以包括前向传播和后向传播两个阶段：前向传播，即输入一个训练样本，对训练样本进行前向传播提取数据特征，计算损失函数；后向传播，利用损失函数从第一神经网络的最后一层依次往前反向传播，同时利用梯度下降法修改第一神经网络的网络参数，以使损失函数收敛。

具体的，损失函数可按照如下公式计算得到：

其中，p_i表示训练样本x⁽ⁱ⁾属于标签y⁽ⁱ⁾的概率，即

下面给出一个更具体的例子，用于详细本申请提供的图像识别方法。请参照图9，图9为本申请一示例性实施例示出的图像识别方法的实现逻辑图。请参照图9，在图9所示示例中，第一神经网络可以包括第一卷积层、第二卷积层、池化层和全连接层，其中，第一卷积层，用于对第一数据格式的数据进行色彩处理，第二卷积层、池化层和全连接层，用于对色彩处理结果进行特征提取，得到数据特征。具体的，第二卷积层，用于对色彩处理结果进行滤波处理，得到滤波处理结果；池化层，用于对滤波处理结果进行压缩处理，得到压缩处理结果；全连接层，用于对压缩处理结果进行聚合处理，得到聚合处理结果；该聚合处理结果即为提取到的数据特征。softmax分类器，用于对数据特征进行目标分类，以识别目标类别。需要说明的是，一实施例中，该softmax分类器可以集成在第一神经网络中，本实施例中，不对此作出限定。

具体的，图9所示实例中，通过第一神经网络，实现从第一数据格式的数据中提取数据特征的过程，进而通过softmax分类器实现对数据特征进行智能识别处理，以识别出目标数据的步骤。有关各步骤的具体实现过程和实现原理可以参见前面实施例中的介绍，此处不再赘述。

与前述图像识别方法的实施例相对应，本申请还提供了图像识别装置的实施例。

本申请图像识别装置的实施例可以应用在图像设备上。例如，可应用于摄像机。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在图像设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本申请一示例性实施例示出的图像识别装置所在图像设备的硬件结构图，除了图10所示的存储器1、处理器2、内存3和网络接口4之外，实施例中装置所在的图像设备通常根据该图像识别装置的实际功能，还可以包括其他硬件，对此不再赘述。

图11为本申请提供的图像识别装置实施例一的结构示意图。请参照图11，本实施例提供的图像识别装置，应用于图像设备，所述装置包括提取模块100和识别模块200，其中，

所述提取模块100，用于从第一数据格式的数据中提取数据特征；所述第一数据格式的数据为图像采集设备将采集到的光源信号转换为数字信号的数据；

所述识别模块200，用于对所述数据特征进行智能识别处理，以识别出目标数据。

进一步地，所述提取模块100，用于将述第一数据格式的数据输入到第一神经网络，由所述第一神经网络对所述第一数据格式的数据进行色彩处理，得到第一色彩处理结果，并对所述第一色彩处理结果进行特征提取；将所述第一神经网络提取的特征确定为所述数据特征；其中，所述第一神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

进一步地，图12为本申请提供的图像识别装置实施例二的结构示意图。请参照图12，本实施例提供的装置，所述提取模块100包括处理模块110和特征提取模块120，

其中，所述处理模块110，用于对所述第一数据格式的数据进行色彩处理，得到第二色彩处理结果；

所述特征提取模块120，用于将所述第二色彩处理结果输入到第二神经网络，由所述第二神经网络对所述第二色彩处理结果进行特征提取；将所述第二神经网络提取的特征确定为所述数据特征。

进一步地，所述处理模块110，用于将所述第一数据格式的数据输入到第三神经网络，由所述第三神经网络对所述第一数据格式的数据进行色彩处理；将所述第三神经网络的输出结果确定为所述第二色彩处理结果；其中，所述第三神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

进一步地，所述对所述第一数据格式的数据进行色彩处理，包括：

对所述第一数据格式的数据进行色彩通道分离处理、色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理、数据合并处理中的至少一种，得到单通道数据或多通道数据，将所述单通道数据或多通道数据作为色彩处理结果。

进一步地，初次卷积处理的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

进一步地，对色彩处理结果进行特征提取的过程，包括：对色彩处理结果进行卷积滤波处理得到多通道特征图，并对所述多通道特征图进行第二处理，将第二处理结果确定为提取的特征；其中，上述第二处理包括：压缩处理、聚合处理和加权处理。

进一步地，所述第一数据格式的数据为图像采集设备将采集到的波长范围为380nm～780nm的光源信号和/或波长范围为780nm～2500nm的光源信号转换为数字信号的数据。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面提供任一图像识别方法的步骤。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。

请继续参照图10，本申请还提供一种图像设备，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器2执行所述程序时实现本申请第一方面提供任一图像识别方法的步骤。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种图像识别方法，其特征在于，所述方法应用于图像设备，所述方法包括：

对所述数据特征进行智能识别处理，以识别出目标数据。

2.根据权利要求1所述的方法，其特征在于，所述从第一数据格式的数据中提取数据特征，包括：

将所述第一数据格式的数据输入到第一神经网络，由所述第一神经网络对所述第一数据格式的数据进行色彩处理，得到第一色彩处理结果，并对所述第一色彩处理结果进行特征提取；其中，所述第一神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍；

将所述第一神经网络提取的特征确定为所述数据特征。

3.根据权利要求1所述的方法，其特征在于，所述从第一数据格式的数据中提取数据特征，包括：

对所述第一数据格式的数据进行色彩处理，得到第二色彩处理结果；

将所述第二色彩处理结果输入到第二神经网络，由所述第二神经网络对所述第二色彩处理结果进行特征提取；

将所述第二神经网络提取的特征确定为所述数据特征。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一数据格式的数据进行色彩处理，得到第二色彩处理结果，包括：

将所述第一数据格式的数据输入到第三神经网络，由所述第三神经网络对所述第一数据格式的数据进行色彩处理；其中，所述第三神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍；

将所述第三神经网络的输出结果确定为所述第二色彩处理结果。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述对所述第一数据格式的数据进行色彩处理，包括：

对所述第一数据格式的数据进行色彩通道分离处理、色彩信息重组合处理、色彩空间转换处理、灰度信息提取处理、数据合并处理中的至少一种，得到单通道数据或多通道数据，并将所述单通道数据或多通道数据作为色彩处理结果。

6.根据权利要求2或4所述的方法，其特征在于，所述对所述第一数据格式的数据进行色彩处理，包括：

7.根据权利要求6所述的方法，其特征在于，初次卷积处理的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

8.根据权利要求2至4任一项所述的方法，其特征在于，对色彩处理结果进行特征提取的过程，包括：

9.根据权利要求1所述的方法，其特征在于，所述第一数据格式的数据为图像采集设备将采集到的波长范围为380nm～780nm的光源信号和/或波长范围为780nm～2500nm的光源信号转换为数字信号的数据。

10.一种图像识别装置，其特征在于，所述装置应用于图像设备，所述装置包括提取模块和识别模块，其中，

11.根据权利要求10所述的装置，其特征在于，所述提取模块，用于将所述第一数据格式的数据输入到第一神经网络，由所述第一神经网络对所述第一数据格式的数据进行色彩处理，得到第一色彩处理结果，并对所述第一色彩处理结果进行特征提取；将所述第一神经网络提取的特征确定为所述数据特征；其中，所述第一神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

12.根据权利要求10所述的装置，其特征在于，所述提取模块包括处理模块和特征提取模块，其中，

所述处理模块，用于对所述第一数据格式的数据进行色彩处理，得到第二色彩处理结果；

所述特征提取模块，用于将所述第二色彩处理结果输入到第二神经网络，由所述第二神经网络对所述第二色彩处理结果进行特征提取；将所述第二神经网络提取的特征确定为所述数据特征。

13.根据权利要求12所述的装置，其特征在于，所述处理模块，用于将所述第一数据格式的数据输入到第三神经网络，由所述第三神经网络对所述第一数据格式的数据进行色彩处理；将所述第三神经网络的输出结果确定为所述第二色彩处理结果；其中，所述第三神经网络包括至少一个用于进行色彩处理的卷积层，所述卷积层的卷积核移动的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

14.根据权利要求10至13任一项所述的装置，其特征在于，所述对所述第一数据格式的数据进行色彩处理，包括：

15.根据权利要求10或13所述的装置，其特征在于，所述对所述第一数据格式的数据进行色彩处理，包括：

16.根据权利要求14所述的装置，其特征在于，初次卷积处理的步长为所述第一数据格式的数据的色彩排列模式的最小单元的整数倍。

17.根据权利要求10至13任一项所述的装置，其特征在于，对色彩处理结果进行特征提取的过程，包括：对色彩处理结果进行卷积滤波处理得到多通道特征图，并对所述多通道特征图进行至少一项第二处理，将所述第二处理结果确定为提取的特征；其中，所述第二处理包括：压缩处理、聚合处理和加权处理。

18.根据权利要求10所述的装置，其特征在于，所述第一数据格式的数据为图像采集设备将采集到的波长范围为380nm～780nm的光源信号和/或波长范围为780nm～2500nm的光源信号转换为数字信号的数据。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。

20.一种图像设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9任一项所述方法的步骤。