CN110458903A - 一种编码脉冲序列的图像处理方法 - Google Patents

Abstract

本发明公布了一种编码脉冲序列的图像处理方法，对图像进行多层面的信息编码，并将图像不同层面的信息按照时序关系编码为脉冲序列；包括：将图像转换为灰度图像并对图像的灰度值做标准化处理；将灰度图像的形状、特征点、色彩、纹理编码为脉冲；再将编码的脉冲按照设定顺序排列起来，组合成一串脉冲序列。本发明有效利用图像携带的各个层面的信息，同时减少了非关键信息。对于脉冲神经网络，提高了神经网络输入的脉冲序列的信息完备性，减少信息的冗余，可提高脉冲神经网络的信息处理效率。对于信号处理，提高了信源的信息容量和信息的编码效率。

Description

一种编码脉冲序列的图像处理方法

技术领域

本发明属于类脑计算、脉冲神经网络、图像编码技术领域，具体涉及一种把图像编码为脉冲序列的方法，尤其涉及一种应用在脉冲神经网络信息处理领域的图像处理方法。

背景技术

近年来，类脑计算领域逐渐引起了众多学者的关注，研究人员纷纷在生物神经元、连接方式、脉冲神经网络等领域展开研究，试图从微观到宏观层面对大脑进行建模，进一步推进当前以深度学习技术为基础的人工智能进程，最终实现通用人工智能的目标。

脉冲神经网络(SNN，Spiking Neuron Networks)被誉为“第三代神经网络”，相比于目前广为流行的数值深度学习神经网络，脉冲神经网络在连接方式、信息处理机制和突触权重学习方法上都更加具仿脑特性，因此也是类脑计算的一个重要研究方向。脉冲神经网络处理的是脉冲序列，而脉冲序列的获取方式，一般有两种途径：一种是将图像按照某种编码方式(例如：阈值编码法、高斯差分法、频率编码法等)转化为脉冲序列，另一种是直接来源于神经形态相机。但目前由于神经形态相机在生产工艺上不够成熟、购买渠道上不方便、且销售价格上昂贵等，使得神经形态相机的应用并不普遍，很多研究学者并没有实际可使用的设备。因此，目前广泛用于脉冲神经网络信息处理的脉冲序列主要来源于第一种方式。

目前用于把图像编码为脉冲序列的方法存在着信息丢失严重、编码效率低下等问题，进而成为了导致脉冲神经网络识别率较低的原因之一。例如上文提及的阈值编码法，其实施方式是设定一个阈值，超过阈值的像素激发脉冲，低于阈值的像素不激发脉冲，该方式原理过于简单，使得编码后的脉冲序列相比于最初的图像，丢失了大量的信息(例如色彩、纹理等)；高斯差分法是检测图像的局部对比度，按照对比度的强弱确定脉冲的发放次序，该方法会引入大量的高斯噪声，进而会严重影响脉冲神经网络识别效果；频率编码法是设定每个像素激发脉冲的频率正比于该像素的强度值，通过统计仿真时间间隔内每个像素激发的脉冲数目，来还原出该像素的光强度，这种方式虽然保留了原始图像的光强信息，但编码一幅图像需要比较长的仿真时间，造成了识别速度的大大降低，效率低下。

发明内容

针对目前现有技术中将图像编码为脉冲的过程中存在着信息丢失严重、编码效率低下等问题，本发明提供了一种新的图像脉冲编码方法，该方法在多个层面提取原图像的信息，大大减少了图像编码成脉冲后引起的信息损失，并且编码生成的脉冲序列片段长度较短(一般在10个脉冲帧以内)，有效提高了编码的效率。

本发明的核心创新点是：

本发明提出了一种将图像编码为一组脉冲序列的图像处理方法，对灰度图像的形状、特征点、色彩、纹理进行编码；再将编码按照设定顺序排列起来，组合成一串脉冲序列。该方法根据人眼对物体的观察方式，人眼观察物体的过程不是一蹴而就的，而是循序渐进的：首先看到的是图像的外形轮廓，然后注意到色彩，接着会观察到纹理等……基本上是一个从全局到局部再到细节的过程，且每个环节关注的重点不同。本发明提出的方法对图像进行多个层面的信息挖掘，并将不同层面的信息按照时序关系编码为脉冲序列。因此脉冲序列的每个脉冲帧均刻画了不同层面的图像特征，当脉冲神经网络处理这种脉冲序列时，其处理过程与人眼观察事物的过程相似，是循序渐进的过程，能够提升图像处理结果的自然性和真实感。

本发明提供的技术方案是：

一种图像脉冲编码方法，对图像进行多层面的信息挖掘和编码，并将不同层面的信息按照时序关系编码为脉冲序列；本发明将图像编码为脉冲的方法包含以下步骤(如附图1)：

1)将输入图像进行尺度变换，转换成尺寸一致的图像(长和宽分别计为H和W)。

2)将同一尺寸的图像转换为灰度图像并对图像的灰度值做标准化处理。

3)对灰度图像做形状编码，先使用高斯滤波器对图像滤波，然后使用边缘检测算法提取出灰度图像的边缘轮廓，再将轮廓信息做二值化处理(有轮廓的位置值为1，无轮廓的位置值为0)后记录在一个与灰度图像长(H)和宽(W)相同的二维矩阵中，该矩阵计作S1。

4)对灰度图像做特征点编码，先确定图像中的关键特征以及表征关键特征需要的特征点数目，然后用特征点检测算法提取出特征点的位置坐标，再定义一个与灰度图像长(H)和宽(W)相同的二维矩阵并初始化为0，把该二维矩阵中与特征点坐标相同的位置设置为1，该矩阵计作S2；

5)对灰度图像做色彩编码，将灰度图像色彩(灰度图为256阶)按照实际需要划分为多个段，定义一个长(H)和宽(W)与灰度图尺寸相同、高(M)与划分段数相同的三维矩阵S3，矩阵初始化为0。当划分段数为5段时，M取值为5。

具体实施时，将每个色彩段分别与三维矩阵S3的M维的刻度分别为0到M-1的二维矩阵相对应；以划分段数为5段为例，则色彩划分为0～51、52～102、103～153、154～204、205～255五段。将每个色彩段分别与三维矩阵S3中第M维的刻度分别为0、1、2、3、4的二维矩阵相对应，即0～51对应于S3(M＝0)，52～102对应于S3(M＝1)，103～153对应于S3(M＝2)，154～204对应于S3(M＝3)，205～255对应于S3(M＝4)。然后遍历灰度图像每个像素的灰阶值，确定其所处的色彩段i(i，取值范围为[0,M-1]的整数)，并将S3(M＝i)矩阵与该像素相同位置的值设为1。

6)对灰度图像做纹理编码，首先观察图像的整体纹理类型，然后提取图像的一种或多种纹理，例如粗糙度、方向度、线性度等，再定义一个与灰度图像长(H)和宽(W)相同的二维矩阵并初始化为0，将提取的纹理特征进行二值化处理后记录在矩阵中，该矩阵计作S4；

7)将上述矩阵S1～S4按照某种设定顺序排列起来，即组合成一串脉冲序列S。

通过上述方法得到图像的脉冲序列，同时从轮廓、纹理、特征点等多个层面表征原始图像，大大提高了原始图像的信息利用率。而且利用这种方法编码得到的脉冲序列具有时序特性，对于一些擅长挖掘、学习及识别图像脉冲序列时序信息的脉冲神经网络算法而言(例如：基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法，专利申请号：2019104814209)，提供了一种非常匹配的图像脉冲序列数据类型。

需要特别说明的是，对于不同的输入图像以及不同的脉冲信息处理场景，上述矩阵S1～S4所对应的方法是可以做调整的，以及S1～S4的顺序也可以根据实际应用场景做出调整。对于一些较为简单的应用场景，可以适当减少S1～S4的信息处理环节，而对于一些较为复杂的应用场景，可以根据需要适当增加其他类型的图像处理方法。

与现有技术相比，本发明的有益效果是：

利用本发明提出的图像脉冲编码方法，不仅是提取得到图像的轮廓或是对图像的光强进行编码，更是从不同的层面对一幅图像进行信息挖掘，有效利用图像携带的各个层面的信息，并且同时减少了一些对于识别而言并不是特别关键的信息(例如图像的光强)。从脉冲神经网络方面而言，本发明提高了神经网络输入的脉冲序列的信息完备性，并同时减少了信息的冗余，可以提高脉冲神经网络的信息处理效率。从信号处理方面而言，本发明提高了信源的信息容量，并提高了信息的编码效率。

附图说明

图1为本发明提供的图像脉冲编码方法的实施步骤流程框图。

图2为本发明实施例采用脉冲编码方法进行编码的原始图像示例。

图3为本发明实施例中脉冲序列S的每个脉冲矩阵；

其中，(1)为形状编码矩阵S1，(2)为特征点编码矩阵S2，(3)～(7)为色彩编码矩阵S3，(8)为纹理编码矩阵S4。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种编码脉冲序列的图像处理方法，是一种新的图像脉冲编码方法，该方法在多个层面提取原图像的信息，并将不同层面的信息按照时序关系编码为脉冲序列，大大减少了图像编码成脉冲后引起的信息损失，并且编码生成的脉冲序列片段长度较短，有效提高了编码的效率，能够解决现有技术中将图像编码为脉冲的过程中存在着信息丢失严重、编码效率低下等问题。

图1为本发明提供的图像脉冲编码方法的实施步骤流程框图。图2为本发明实施例采用脉冲编码方法进行编码的原始图像示例。具体实施时，将图像编码成脉冲序列包括如下步骤：

1)将示例图像进行尺寸变换，转换成长和宽分别为H和W的图像；

2)将尺寸变换的图像转换为灰度图像，并对图像的灰度值做标准化处理；

3)对灰度图像进行形状编码，先使用高斯滤波器对图像滤波，然后使用边缘检测算法提取出灰度图像的边缘轮廓，再将轮廓信息做二值化处理(有轮廓的位置值为1，无轮廓的位置值为0)后记录在一个与灰度图像长(H)和宽(W)相同的二维矩阵中，该矩阵计作S1。图3中的(1)即为本实施例得到的形状编码矩阵S1；

4)对灰度图像做特征点编码，先确定图像中的关键特征以及表征关键特征需要的特征点数目，然后用特征点检测算法提取出特征点的位置坐标，再定义一个与灰度图像长(H)和宽(W)相同的二维矩阵并初始化为0，把该二位矩阵中与特征点坐标相同的位置设置为1，该矩阵计作S2；图3中的(2)即为本实施例得到的特征点编码矩阵S2；

5)对灰度图像做色彩编码，将图像色彩(灰度图为256阶)按照实际需要划分为多个段，定义一个长(H)和宽(W)与灰度图尺寸相同、高(M)与划分段数相同的三维矩阵S3，矩阵初始化为0。

具体实施时，以划分段数为5段为例，则色彩划分为0～51、52～102、103～153、154～204、205～255五段。将每个色彩段分别与三维矩阵S3中第M维刻度分别为0、1、2、3、4的二维矩阵相对应，即0～51对应于S3(M＝0)，52～102对应于S3(M＝1)，103～153对应于S3(M＝2)，154～204对应于S3(M＝3)，205～255对应于S3(M＝4)。然后遍历灰度图像每个像素的灰阶值，确定其所处的色彩段i(i，取值范围为[0,M-1]的整数)，并将S3(M＝i)矩阵与该像素相同位置的值设为1。图3中的(3)～(7)即为本实施例得到的色彩编码矩阵S3。

6)对灰度图像做纹理编码，首先观察图像的整体纹理类型，然后提取图像的一种或多种纹理，例如粗糙度、方向度、线性度等，再定义一个与灰度图像长(H)和宽(W)相同的二维矩阵并初始化为0，将提取的纹理特征进行二值化处理后记录在矩阵中，该矩阵计作S4；，图3中的(8)即为本实施例得到的纹理编码矩阵S4。

7)将上述矩阵S1～S4按照某种设定顺序排列起来，即组合成一串脉冲序列S。

通过上述方法得到图像的脉冲序列，同时从轮廓、纹理、特征点等多个层面表征原始图像，大大提高了原始图像的信息利用率。而且利用这种方法编码得到的脉冲序列具有时序特性，对于一些擅长挖掘脉冲序列时序信息的脉冲神经网络算法而言(例如：基于Spike cubeSNN的图像脉冲数据时空信息学习及识别方法，专利申请号：2019104814209)，提供了一种非常匹配的图像脉冲序列数据类型。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种图像脉冲编码方法，对图像进行多层面的信息编码，并将图像不同层面的信息按照时序关系编码为脉冲序列；包括以下步骤：

1)将输入图像进行尺度变换，得到长和宽分别为H和W的图像；

2)将该图像转换为灰度图像，并对图像的灰度值进行标准化处理；

3)对灰度图像进行形状编码；包括：

31)先对图像滤波；

32)然后提取出灰度图像的边缘轮廓，再将轮廓信息进行二值化处理，有轮廓的位置值为1，无轮廓的位置值为0；

33)将二值化的值记录在一个H*W的二维矩阵中，该二维矩阵计作S1；

4)对灰度图像进行特征点编码，包括：

41)先确定图像中的关键特征和表征关键特征需要的特征点数目；

42)然后用特征点检测算法提取出特征点的位置坐标；

43)再定义一个H*W的二维矩阵S2并初始化为0，将该二维矩阵中与特征点坐标相同的位置设置为1；

5)对灰度图像进行色彩编码，包括：

51)灰度图像色彩为256阶，将灰度图像色彩划分为多个段；

52)定义一个H*W*M的三维矩阵S3，其中，M为色彩划分的段数；

53)将三维矩阵S3初始化为0；

54)将每个色彩段分别与三维矩阵S3的维度M相对应；即将每个色彩段分别与三维矩阵S3的M维的刻度分别为0到M-1的二维矩阵相对应；

55)遍历灰度图像每个像素的灰阶值，确定其所处的色彩段i，i取值为0～M-1；将该色彩段所对应的第Mi维S3矩阵中该像素的相同位置的值设为1；

6)对灰度图像进行纹理编码，包括：

61)根据图像的纹理类型，提取图像的一种或多种纹理；

62)定义一个H*W的二维矩阵S4，并初始化为0；

63)将提取的纹理特征进行二值化处理后记录在二维矩阵S4中；

7)将上述矩阵S1～S4按照设定顺序排列起来，即组合成一串脉冲序列S；

通过上述步骤，实现将图像多层面信息编码为脉冲序列。

2.如权利要求1所述的图像脉冲编码方法，其特征是，步骤3)中，具体使用高斯滤波器对图像滤波；具体使用边缘检测算法提取出灰度图像的边缘轮廓。

3.如权利要求1所述的图像脉冲编码方法，其特征是，步骤5)中，色彩划分的段数为5段，分别为灰阶值0～51、52～102、103～153、154～204、205～255；色彩段i取值范围为[0,4]的整数。

4.如权利要求1所述的图像脉冲编码方法，其特征是，步骤6)对灰度图像进行纹理编码，所述纹理包括粗糙度、方向度、线性度中的一种或多种。

5.如权利要求1所述的图像脉冲编码方法，其特征是，根据不同的输入图像及不同的脉冲信息处理场景，可调整矩阵S1～S4所对应的获取方法。

6.如权利要求1所述的图像脉冲编码方法，其特征是，步骤7)将矩阵S1～S4按顺序排列起来组合成一串脉冲序列S。

7.将利用权利要求1～6所述的图像脉冲编码方法对图像进行编码得到的脉冲序列应用于图像脉冲数据时空信息学习及识别处理。