CN106340137A - 一种基于深度学习的自动称重机及其程序控制方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的自动称重机及其程序控制方法，涉及到基于深度学习的图像识别技术和物联网技术，其主要解决了人工称重物品种类繁多，价格数字难记，操作效率低等问题，通过构建物品识别深度学习模型，基于物品样本图像训练深度学习模型，利用重量传感器采集所称重物品的重量，采集所称重物品的图像并进行识别，就可查询出其对应的信息，如单价、厂商、生产日期等，来对物品信息进行按需处理，从而降低操作人员的工作量，提高称重效率。

Description

一种基于深度学习的自动称重机及其程序控制方法

技术领域：

本发明涉及机器视觉领域，尤其涉及一种基于深度学习的自动称重机及其程序控制方法。

背景技术：

随着电子技术的发展，各种电子称重器在大到商城超市，小到集市便利店，以及各行各业的物品称重，都被普遍使用。但目前的称重器都需要人工输入物品代码或名称等方式，来实现不同物品的称重。这既要记住物品的名字或代码，又要记住对应的价格，是一件非常困难的事，并且物品和价格还经常变动。记不住的操作人员就只能一点一点的查找，称重效率非常的低。因此本发明提出了基于深度学习的自动称重机，来实现物品自动称重，从而降低操作人员的工作量，提高称重效率。

深度学习是目前最先进的机器视觉应用方法，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，其广泛应用于图像，声音和文本识别领域，它比传统图像识别方法，速度快，准确率高，自主性强，可以高效的实现图像智能化、自动化识别。

发明内容：

针对上述问题，本发明要解决的技术问题是提供一种基于深度学习的自动称重机及其程序控制方法。

本发明的一种基于深度学习的自动称重机，包括上显示屏、相机、支撑杆、承重托盘和控制器，所述承重托盘上设有支撑杆，所述支撑杆中部通过连接杆连接有相机，支撑杆顶端设有上显示屏，所述承重托盘边侧还设有下显示屏、键盘、打签口、扬声器及USB接口，所述承重托盘内部设有控制器、重量传感器、Flash存储器、SD卡、通信模块、电源模块及价签打印机，所述控制器分别与重量传感器、Flash存储器、SD卡、通信模块、电源模块、价签打印机、键盘、上显示屏、下显示屏、扬声器、USB接口及相机连接。

优选的，所述控制器包括arm处理器及GPU。

优选的，所述通信模块为无线通信模块。

本发明的一种基于深度学习的自动称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建物品识别深度学习模型，深度学习模型采用卷积神经网络CNN、深度置信网络DBN或循环神经网络RNN，构建一个6层的卷积神经网络CNN，整个网络包含两个卷积层，两个采样层，两层全连接，输入层只包含一层，S层为特征提取层，C层为特征映射层，最后采用全连接人工神经网络作为分类器；

b.基于物品样本图像训练步骤a中的深度学习模型，使其生成一个用于物品识别的深度学习网络，每一个卷积层通过M^n-1输入的图像与卷积核K_x×K_y进行二维卷积，通过M^n-1卷积响应的和经过非线性激励函数得到激励结果Y，输出图像Mⁿ，非线性激励函数公式为：

(1)

其中，n代表层数，Y是一个M^x×M^y的图像，W_ij是一个K_x×K_y大小的卷积核连接输入图像i和输出图像j，是输出图像j的偏置量，对于一个大小的输入图像Y^n-1和尺寸为的卷积核W，输出图像Yⁿ的大小为：

(2)

(3)；

c.利用重量传感器采集所称重物品的重量；

d.通过相机采集所称重物品的图像并输入到步骤b中训练好的深度学习网络中进行识别；

e.根据步骤d中返回的物品信息，进行按需计算处理所称重物品的相关信息。

本发明有益效果：本发明提出的一种基于深度学习的自动称重机及其程序控制方法，实现了物品的自动称重，从而降低操作人员的工作量，提高称重效率，且其比传统图像识别方法，速度快，准确率高，自主性强，可以高效的实现图像智能化、自动化识别。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是自动称重器外部结构示意图；

图2是自动称重器电子部分结构图；

图3是自动称重器称重过程；

图4 是卷积神经网络结构模型；

图5-6是CPU-POWER电路图；

图7是CPU-BUS电路图；

图8-9是CPU-XTAL电路图；

图10是CPU-VGA电路图；

图11是Flash存储器电路图；

图12-13是SD卡电路图；

图14是扬声器电路图；

图15-16是USB接口电路图；

图17-18是电源模块电路图；

图19是通信模块电路图。

图中：1-上显示屏；2-相机；3-支撑杆；4-承重托盘；5-下显示屏；6-键盘；7-打签口；8-扬声器；9-连接杆；10-控制器；11-重量传感器；12-Flash存储器；13-SD卡；14-通信模块；15-价签打印机；16-电源模块。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1-19所示，本实施例的一种基于深度学习的自动称重机，包括上显示屏1、相机2、支撑杆3、承重托盘4和控制器10，所述承重托盘4上设有支撑杆3，所述支撑杆3中部通过连接杆9连接有相机2，支撑杆3顶端设有上显示屏1，所述承重托盘4边侧还设有下显示屏5、键盘6、打签口7、扬声器8及USB接口，所述承重托盘4内部设有控制器10、重量传感器11、Flash存储器12、SD卡13、通信模块14、电源模块16及价签打印机15，所述控制器10分别与重量传感器11、Flash存储器12、SD卡13、通信模块14、电源模块16、价签打印机15、键盘6、上显示屏1、下显示屏5、扬声器8、USB接口及相机2连接。

具体的，图1描述了自动称重器外部结构示意图。其中，上显示屏1：用来显示物品的信息；相机2：用来采集托盘上要称重物品的图像；支撑杆3：用来支撑上显示屏1和相机2；承重托盘4：用来放要称重的物品；下显示屏5：用来显示***操作信息；键盘6：提供***功能设置，以及人工操作备用；打签口7：是票据打印出口；扬声器8：用来播放***或物品信息。

具体地，图2描述了自动称重器电子部分结构图。其中，控制器10：可选用arm处理器加高性能GPU或深度学习专用处理器；重量传感器11：用来测量物品的重量；Flash存储卡12：存储应用程序和物品信息数据；通信模块14：为无线通信模块，用来与上位机***通信，以更新深度学习网络，物品信息数据，远程设置***参数等；电源模块16：为***各部件提供电源；SD卡13：用来存储***或物品数据，扩展存储；USB接口：用来供电，或者从设备上上传或下载文件；价签打印机15：用来打印物品价钱，信息等。

本发明的一种基于深度学习的自动称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建物品识别深度学习模型；

b.基于物品样本图像训练步骤a中的深度学习模型，使其生成一个用于物品识别的深度学习网络；

c.利用重量传感器采集所称重物品的重量；

d.通过相机采集所称重物品的图像并输入到步骤b中训练好的深度学习网络中进行识别；

e.根据步骤d中返回的物品信息，进行按需计算处理所称重物品的相关信息。

具体地，步骤a中构建构建物品识别深度学习模型，这个模型可以使用目前较成熟的深度学习模型，如卷积神经网络CNN，深度置信网络DBN，循环神经网络RNN等。例如用神经网络工具Caffe构建一个6层的卷积神经网络CNN，如图4所示，整个网络包含两个卷积层，两个采样层，两层全连接。输入层只包含一层，它直接接受二维视觉模式，S层为特征提取层，C层为特征映射层，最后采用全连接人工神经网络作为分类器。

具体地，步骤b将事先收集好的物品样本图像，拿来训练步骤A中构建的深度学习模型，使其生成一个用于物品识别的深度学习网络。如图4，在输入层输入尺寸统一的训练样本图片，S1层包含4个卷积特征向量，通过设定大小的卷积窗口对图像进行卷积操作提取输入图像的内在特征。以此类推，最后C2与全连接层连接，对图像分类并输出。经过这样一番对样本的训练，就会自动生成一个可识别物品的神经网络模型，这个模型就包含了物品训练样本的特征，这样就可以利用这些提取的特征，来识别新输入的图片是哪一类物品。

具体地，步骤c利用重量传感器来采集要称重物品的重量。

具体地，步骤d用相机采集要称重物品的图像，并将采集的图像输入到步骤b中训练好的深度学习网络，模型就会识别出输入的图像是哪一类物品，然后查找后台数据库，返回物品信息，如单价，厂商、生产日期等，这些信息是事先存储在后台数据库中的，每一种物品都对应有其自己的信息。

具体地，步骤e根据步骤d中返回的物品信息，进行按需计算处理，如计算总价，在屏幕上显示物品信息等。

具体地，图3描述了自动称重器称重过程：步骤S1：自动称重器启动后，需要初始化硬件控制设备，如价签打印机，屏幕，存储器，相机，称重传感器等部件；步骤S2：重量传感器采集托盘上物品的重量；步骤S3：通过采集的重量来判断托盘上是否有需要称重的物品，如果有则执行下一步，如果没有则继续返回采集托盘上物品的重量；步骤S4：用相机采集托盘上物品的图像；步骤S5：将采集的物品图片，输入训练好的深度学习网络；步骤S6：判断深度学习网络是否识别出物品，没有识别出则继续拍照识别，识别出则执行下一步；步骤S7：识别出物品后，通过查询物品信息数据库，计算处理物品信息，如计算物品总价，在上显示屏上显示物品的总价格、名字、厂商、生产日期等信息。

具体地，图4描述了卷积神经网络CNN的结构模型:考虑均衡CNN网络的训练时间和识别时间，本发明设计了包含两个卷积层，两个采样层，两层全连接，共6层的CNN网络，结构如图4所示。

卷积层：每一个卷积层通过M^n-1输入的图像与卷积核K_x×K_y进行二维卷积，通过M^n-1卷积响应的和经过非线性激励函数得到激励结果Y，输出图像Mⁿ，具体描述如公式（1）所示：

(1)

其中，n代表层数，Y是一个M^x×M^y的图像，W_ij是一个K_x×K_y大小的卷积核连接输入图像i和输出图像j，是输出图像j的偏置量。对于一个大小的输入图像Y^n-1和尺寸为的卷积核W，输出图像Yⁿ的大小为：

(2)

(3)

子采样层：将上层卷积层的输出分为n个K_x×K_y大小的矩形区域，取每个子区域的最大值进行降采样产生平移不变性。

全连接分类层：选取合适的卷积核和子采样层中矩形的大小，将最后一个卷积层的输出降采样到一个像素，最后一个卷积层的输出和全连接层的连接为一维矩阵。最后一层通常为一个全连接层，每一个输出对应一种分类可能。最后采用softmax 回归作为最后一层的激励函数，将每一个神经元的输出理解为每个输入图像所属种类的可能性。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于深度学习的自动称重机，其特征在于：包括上显示屏、相机、支撑杆、承重托盘和控制器，所述承重托盘上设有支撑杆，所述支撑杆中部通过连接杆连接有相机，支撑杆顶端设有上显示屏，所述承重托盘边侧还设有下显示屏、键盘、打签口、扬声器及USB接口，所述承重托盘内部设有控制器、重量传感器、存储器、存储卡、通信模块、电源模块及价签打印机，所述控制器分别与重量传感器、存储器、存储卡、通信模块、电源模块、价签打印机、键盘、上显示屏、下显示屏、扬声器、USB接口及相机连接。

2.根据权利要求1所述的一种基于深度学习的自动称重机，其特征在于：所述控制器包括arm处理器及GPU。

3.根据权利要求1所述的一种基于深度学习的自动称重机，其特征在于：所述通信模块为无线通信模块。

4.一种基于深度学习的自动称重机的程序控制方法，其特征在于：包括以下步骤：

a.构建物品识别深度学习模型，深度学习模型采用卷积神经网络CNN、深度置信网络DBN或循环神经网络RNN，构建一个6层的卷积神经网络CNN，整个网络包含两个卷积层，两个采样层，两层全连接；

b.基于物品样本图像训练步骤a中的深度学习模型，使其生成一个用于物品识别的深度学习网络，每一个卷积层通过M^n-1输入的图像与卷积核K_x×K_y进行二维卷积，通过M^n-1卷积响应的和经过非线性激励函数得到激励结果Y，输出图像Mⁿ，非线性激励函数公式为：

其中，n代表层数，Y是一个M^x×M^y的图像，W_ij是一个K_x×K_y大小的卷积核连接输入图像i和输出图像j，是输出图像j的偏置量，对于一个大小的输入图像Y^n-1和尺寸为的卷积核W，输出图像Yⁿ的大小为：

；

c.利用重量传感器采集所称重物品的重量；

d.通过相机采集所称重物品的图像并输入到步骤b中训练好的深度学习网络中进行识别；

e.根据步骤d中返回的物品信息，进行按需计算处理所称重物品的相关信息。