CN109508627A - 一种层内共享参数cnn的无人机动态图像识别***与方法 - Google Patents

Abstract

本发明公开了一种层内共享参数CNN的无人机动态图像识别***与方法，包括：无人机获取原始图像；用M*M的区域在原始图像上进行数据选择，形成二维数据；将二维数据输入到CNN中的卷积层及池化层，产生新的二维数据；将以上二维数据，采用并行的瓶颈连接结构在网络中传输，同时共享层内参数，丢弃最多50％参数，随后将所有瓶颈连接的输出求和，获得二维数据，重复进行至少2次数据传输，将二维数据传送到CNN中的全连接层，并将上述二维数据转化成一个一维向量数据；将一维向量数据输入到***，获得识别的图像。本发明的目的在于提出一种并行CNN架构，共享同层参数，减少传输参数量，从而提高图像传输速度与识别的准确率。

Description

一种层内共享参数CNN的无人机动态图像识别***与方法

技术领域

本发明涉及图像识别的领域，特别是指一种层内共享参数CNN的无人机动态图像识别***与方法。

背景技术

由于计算机技术和信息技术的不断发展，图像识别技术的使用领域越来越广泛：如人脸的识别、手写汉字的识别、手势的识别、机器人视觉等等，并且随着实践活动社会化的需要，需要分类识别的事物种类越来越丰富，而且被识别对象的内容也越来越复杂。例如，通过无人机在火灾现场，进行火焰变化的实时图像传输，过火面积以及火焰大小，从图像分析出火灾趋势，人员安全救助范围等；再如水灾，山洪，地震等多种自然或突发灾难现场，需要通过无人机传输图像，帮助救援人员对灾情进行判断，将损失降低；通过对庄稼的颜色和形态长势判断何时需要浇水、施肥等等。总而言之，图像识别技术不仅在农业、工业、医学和高科技产业等各个领域发挥着非常重要的作用，并且已经越来越多地渗透到了我们的日常生活中。好的识别技术是关键所在，因此，怎么样提高识别率意义重大，而涉及到人员及财产安全的无人机动态图像识别更是关乎民生的大事。

图像数据高效传输也日益被广泛重视。自Alex在2012年提出的AlexNet网络结构模型，引爆了神经网络的应用热潮。CNN(CNN，Convolutional Neural Network，卷积神经网络)架构应用越来越深。与基本的神经网络相比，CNN结构中层数的增加带来性能提升，接踵而来的是退化现象和参数量过大的问题。在实际应用中，存在数据传输量大，传输速度缓慢，数据丢失，图像失真的现象。

无人机机载芯片小，计算处理能力不高，改进数据传输方式，提高数据传输速度和图像识别率成为需要改进的地方。

发明内容

有鉴于此，本发明的目的在于提出一种层内共享参数CNN的无人机动态图像识别***与方法。

基于上述目的，本发明提供了一种层内共享参数CNN的无人机动态图像识别方法，包括：

通过无人机获取原始图像，用一个M*M的一个区域在所述原始图像上进行数据选择，形成二维数据；

通过CNN中的第一个卷积层，获取所述二维数据中的每个像素位置的值，形成第二批二维数据；

通过CNN中的第一个池化层，用滑动窗的方式从所述第二批二维数据中逐个提取最大数值，形成第三批二维数据；

使所述第三批二维数据，通过CNN中的至少两个并行的瓶颈连接结构，每个所述瓶颈连接结构，丢弃最多50％参数，并将剩余参数共享，将所有所述瓶颈连接结构的输出求和，获得第四批二维数据，重复本步所述至少两次，获得至少两个第四批二维数据；

通过一个全连接层，将获得的至少两个所述第四批二维数据整合为一个一维向量数据；

根据所述一维向量数据，输出识别结果。

在实施方式中，所述M至少是2像素,M的值为224像素。

卷积神经网的第一个卷积层，卷积层包括至少两个卷积核，所述卷积核的尺寸为N*N，N至少为2像素，N的值为7像素；卷积核个数为64个。

在实施方式中，CNN的网络结构中采取K个并行瓶颈连接结构，K取值为2的n次方，n至少为1，K的值为8。

在实施方式中，CNN的网络结构中采取并行瓶颈连接结构，且每个所述瓶颈连接结构包括：三个分卷积：第一分卷积用1x1，16个滤波；第二分卷积用N*N且N最少为2，N的值为3，16个滤波；第三分卷积用1x1，256个滤波。

在上述实施方式中，丢弃最多50％参数包括：将所有参数按照从大到小的顺序依次排序，全部保留较大的前50％参数，部分舍弃或全部舍弃后50％参数。

另一方面，本发明还提供了一种层内共享参数CNN的无人机动态图像识别***，包括：

采集模块，通过无人机获取原始图像，用一个M*M的区域在所述原始图像上进行数据选择，形成二维数据，M至少是2像素，优选M的值为224像素；

传输模块，通过CNN中的第一个卷积层，卷积层包括至少两个卷积核，所述卷积核的尺寸为N*N，N至少为2像素，优选N的值为7像素；卷积核个数为64个；获取所述二维数据中的每个像素位置的值，形成第二批二维数据；

池化模块，通过CNN中的第一个池化层，用滑动窗的方式从所述第二批二维数据中逐个提取最大数值，形成第三批二维数据；

并行及共享模块，使所述第三批二维数据，通过CNN中的至少两个并行的瓶颈连接结构，所述结构中采取K个并行瓶颈连接结构，K取值为2的n次方，n至少为1，优选K的值为8；且每个所述瓶颈连接结构包括：三个分卷积：第一分卷积用1x1，16个滤波；第二分卷积用N*N且N最少为2，N的值为3，16个滤波；第三分卷积用1x1，256个滤波；每个所述瓶颈连接结构，丢弃最多50％参数包括：将所有参数按照从大到小的顺序依次排序，全部保留较大的前50％参数，部分舍弃或全部舍弃后50％参数，并将剩余参数共享；将所有所述瓶颈连接结构的输出求和，获得第四批二维数据，重复本步所述至少两次，获得至少两个第四批二维数据；

传输全连接模块，通过一个全连接层，将获得的至少两个所述第四批二维数据整合为一个一维向量数据；

识别输出模块，根据所述一维向量数据，输出识别结果。

从上面所述可以看出，本发明提供的是一种层内共享参数CNN的无人机动态图像识别***与方法，改进了数据传输方式，提高了数据传输速度，增加了图像识别准确率，增强了图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例流程图；

图2为本发明方案示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本发明实施例提供了一种层内共享参数CNN的无人机动态图像识别方法，参考图1，所述方法包括以下步骤：

通过无人机获取原始图像，对无人机获取到的不同尺寸的原始图像进行随机裁剪，即用M*M的一个区域在原始图像上进行数据选择，在保证整个框都落入原始图像的前提下，将落入该区域的数据作为输出数据，得到了尺寸为M*M的图像，且M至少为2像素,目前M的值为224像素，形成第一批二维数据。

第一批二维数据通过第一个卷积层。卷积层包括至少两个卷积核，卷积核是一个二维的滤波器矩阵，卷积核的作用是对于图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作为该像素位置的值。卷积核的尺寸为N*N，且N至少为2像素,目前N的值为7像素，共有64个卷积核，形成第二批二维数据。

第二批二维数据通过第一个池化层。池化层的作用是减少下一层的输入数据。池化的方法是采用滑动窗的方式逐个提取滑动窗区域内数据的均值或滑动窗区域内数据的最大值，在本例中，池化层使用提取滑动窗区域内数据的最大值的方法，滑动窗尺寸为N*N，且N至少为2像素,目前N的值为7像素的数据，形成第三批二维数据。

采取并行结构，以及在此结构上共享层内参数。方法如下：

1)并行的瓶颈连接结构。例如，瓶颈连接的输入是尺寸为16*16＝256维的数据，在CNN的网络结构中每个瓶颈连接结构都起到降低参数数目的作用，瓶颈连接中一共三个卷积：第一分卷积1x1把256维降到64维，第二分卷积3x3维持64维不变，第三分卷积1x1恢复256维。一共使用参数个数为：1*1*256*64+3*3*64*64+1*1*64*256＝69632。在我们的方法中，将每一个瓶颈连接结构改为并行瓶颈连接结构，也就是说每个256维数据，都经过K个并行,且K取值至少为2，且K的取值范围为2的n次方，即2，4，8，16等，目前K的最优值为8的并行的瓶颈连接。而每个瓶颈连接包含三个分卷积：第一分卷积1x1把256维降到128/K维，第二分卷积N*N，N至少为2,目前N的值为3的卷积，维持128/K维不变，第三分卷积用1x1，恢复256维。随后将所有瓶颈连接的输出求和，并仍然用短路连接的方法进行输入输出直连，获得第四批次二维数据。

2)在并行的瓶颈连接结构基础上，进一步共享层内的参数，即参数按照从大到小的顺序依次排序后，共享至少位于前50％的参数。事实上在卷积神经网络中，不少层中的参数对最后的结果影响不大，也就是说层内参数冗余较多，相对数值较小的参数在训练期间可以被随机丢弃，同时使用共享参数的办法，来进一步降低参数量。举例来说，可以在K＝8个并行的瓶颈连接中第二分卷积处共享3x3的卷积核,并在第一分卷积和第三分卷积丢弃50％的参数，因此一共使用参数个数为：50％*8*1*1*256*128/8+3*3*128/8*128/8+50％*8*1*1*128/8*256＝35072。

3)重复通过至少两次以上数据传输过程，目前重复7次，获得多批次二维数据。

通过一个全连接层。全连接层也是一种卷积层，其卷积核大小与输入的数据尺寸完全相同，因此可以把第四批次及以后输出的多批次二维数据转化成一个一维向量数据。

把e中输出的一维向量数据，通过识别生成对应的图像。一维向量数据的每个值代表了输入图像属于每个类别的得分，最高得分对应的类别就是输入图像的类别，也就是图像的识别结果。

基于同一发明构思，本发明提出一种层内共享参数CNN的无人机动态图像识别***，包括：

采集模块，通过无人机获取原始图像，用一个M*M的区域在所述原始图像上进行数据选择，形成二维数据，M至少是2像素，M的值为224像素；

传输模块，通过CNN中的第一个卷积层，卷积层包括至少两个卷积核，所述卷积核的尺寸为N*N，N至少为2像素，N的值为7像素；卷积核个数为64个；获取所述二维数据中的每个像素位置的值，形成第二批二维数据；

池化模块，通过CNN中的第一个池化层，用滑动窗的方式从所述第二批二维数据中逐个提取最大数值，形成第三批二维数据；

并行及共享模块，使所述第三批二维数据，通过CNN中的至少两个并行的瓶颈连接结构，所述结构中采取K个并行瓶颈连接结构，K取值为2的n次方，n至少为1，K的值为8；且每个所述瓶颈连接结构包括：三个分卷积：第一分卷积用1x1，16个滤波；第二分卷积用N*N且N最少为2，N的值为3，16个滤波；第三分卷积用1x1，256个滤波；每个所述瓶颈连接结构，丢弃最多50％参数包括：将所有参数按照从大到小的顺序依次排序，全部保留较大的前50％参数，部分舍弃或全部舍弃后50％参数，并将剩余参数共享；将所有所述瓶颈连接结构的输出求和，获得第四批二维数据，重复本步所述至少两次，获得至少两个第四批二维数据；

传输全连接模块，通过一个全连接层，将获得的至少两个所述第四批二维数据整合为一个一维向量数据；

识别输出模块，根据所述一维向量数据，输出识别结果。

以上实施流程可以参照图1。而本发明方案可以参照图2。

上述实施例的***用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种层内共享参数CNN的无人机动态图像识别方法，其特征在于，包括：

通过无人机获取原始图像，用一个M*M的一个区域在所述原始图像上进行数据选择，形成二维数据；

通过CNN中的第一个卷积层，获取所述二维数据中的每个像素位置的值，形成第二批二维数据；

通过CNN中的第一个池化层，用滑动窗的方式从所述第二批二维数据中逐个提取最大数值，形成第三批二维数据；

使所述第三批二维数据，通过CNN中的至少两个并行的瓶颈连接结构，每个所述瓶颈连接结构，丢弃最多50％参数，并将剩余参数共享，将所有所述瓶颈连接结构的输出求和，获得第四批二维数据，重复本步所述至少两次，获得至少两个第四批二维数据；

通过一个全连接层，将获得的至少两个所述第四批二维数据整合为一个一维向量数据；

根据所述一维向量数据，输出识别结果。

2.根据权利要求1所述的方法，其特征在于，所述M至少是2像素。

3.根据权利要求2所述的方法，其特征在于，所述M的值为224像素。

4.根据权利要求1所述的方法，其特征在于，所述卷积神经网的第一个卷积层，卷积层包括至少两个卷积核，所述卷积核的尺寸为N*N，N至少为2像素。

5.根据权利要求4所述的方法，其特征在于，所述N的值为7像素；卷积核个数为64个。

6.根据权利要求1所述的方法，其特征在于，所述在CNN的网络结构中采取K个并行瓶颈连接结构，K取值为2的n次方，n至少为1。

7.根据权利要求1所述的方法，其特征在于，所述CNN的网络结构中采取并行瓶颈连接结构，且每个所述瓶颈连接结构包括：三个分卷积：第一分卷积用1x1，16个滤波；第二分卷积用N*N且N最少为2，16个滤波；第三分卷积用1x1，256个滤波。

8.根据权利要求6，7所述的方法，其特征在于，所述K的值为8的并行的瓶颈连接结构；且第二分卷积N*N，N的值为3。

9.根据权利要求6所述的方法，其特征在于，所述丢弃最多50％参数包括：将所有参数按照从大到小的顺序依次排序，全部保留较大的前50％参数，部分舍弃或全部舍弃后50％参数。

10.一种层内共享参数CNN的无人机动态图像识别***，其特征在于，包括：

采集模块，用于通过无人机获取原始图像，用一个M*M的区域在所述原始图像上进行数据选择，形成二维数据；

传输模块，通过CNN中的第一个卷积层，获取所述二维数据中的每个像素位置的值，形成第二批二维数据；

池化模块，通过CNN中的第一个池化层，用滑动窗的方式从所述第二批二维数据中逐个提取最大数值，形成第三批二维数据；

并行及共享模块，使所述第三批二维数据，通过CNN中的至少两个并行的瓶颈连接结构，每个所述瓶颈连接结构，丢弃最多50％参数，并将剩余参数共享，将所有所述瓶颈连接结构的输出求和，获得第四批二维数据，重复本步所述至少两次，获得至少两个第四批二维数据；

传输全连接模块，通过一个全连接层，将获得的至少两个所述第四批二维数据整合为一个一维向量数据；

识别输出模块，根据所述一维向量数据，输出识别结果。