CN107944860A - 一种基于神经网络的烘焙食品识别与收银***及方法 - Google Patents

Abstract

本发明涉及一种基于神经网络的烘焙食品识别与收银***及方法，所述的***包括放置收银托盘的收银区、固定在收银区正上方的CCD相机、与CCD相机连接的图像识别模块以及与图像识别模块连接的收银模块，图像识别模块设有用于识别图像的神经网络图像检测单元；所述的方法包括：1)图像拍摄：利用CCD相机对收银托盘中的烘焙食品拍照，将拍摄的图片传入图像识别模块；2)图像识别：图像识别模块对图像进行检测识别，统计图像中包含的烘焙食品类别及每种类别的数量，并将统计结果实时传输至收银模块；3)账单生成：收银模块根据预设的烘焙食品价格计算账单，账单结算后，账单数据记入收银数据库。与现有技术相比，本发明具有快速方便、成本低等优点。

Description

一种基于神经网络的烘焙食品识别与收银***及方法

技术领域

本发明涉及餐厅烘焙食品收银领域，尤其是涉及一种基于神经网络的烘焙食品识别与收银***及方法。

背景技术

目前在类似面包店、西饼屋等出售烘培食品的店面中，点货和收银通过人工清点，即手动输入产品数量，类别与价格。烘焙类食品的特点是当日生产，无包装，因此不便使用条形码和FRID贴电子标签。即使用条形码的袋装面包产品，也需要工作人员手动依次扫描条形码。这使得收银和点货过程中，人力劳动大，耗时长，且对于大流量客户的烘培商家来说，人力成本高，在手工点货收银时耗时也较长，为顾客带来诸多不便。

基于FRID的点货***虽已趋近成熟，但需要在商品上附加电子标签。而商家每日需要消耗的电子标签量大，造成高昂的成本；且电子标签具有一定的厚度，使用不便。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种方便快捷、准确率高的基于神经网络的烘焙食品识别与收银***及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于神经网络的烘焙食品识别与收银***，该***包括盛放烘焙食品的收银托盘、放置收银托盘的收银区、固定在收银区正上方的CCD相机、与CCD相机连接的图像识别模块以及与图像识别模块连接的收银模块，所述的图像识别模块设有用于识别图像的神经网络图像检测单元，该神经网络图像检测单元与CCD相机连接。

优选地，所述的CCD相机的分辨率为1920*1080。

优选地，所述的图像识别模块还包括用于存储烘焙食品特征信息的图像数据库，该图像数据库与神经网络图像检测单元连接。

优选地，所述的收银模块包括与图像识别模块连接的收银数据库、与收银数据库连接的价格计算单元，以及与价格计算单元连接的POS机。

优选地，所述的图像识别模块为PC，所述的PC与CCD相机通过USB连接线连接。

一种烘焙食品识别与收银方法，应用基于神经网络的烘焙食品识别与收银***，该方法包括以下步骤：

1)图像拍摄：利用固定在收银区正上方的CCD相机对收银托盘中的烘焙食品拍照，将拍摄的三通道彩色图片传入图像识别模块；

2)图像识别：图像识别模块对传入的图像进行检测识别，统计图像中包含的烘焙食品类别及每一种类别的数量，并将统计结果实时地传输至收银模块；

3)账单生成：收银模块根据预设的烘焙食品价格计算账单，账单结算后，账单数据记入收银数据库。

优选地，所述的步骤2)的具体内容为：

21)将三通道彩色图片作为输入数据输入神经网络图像检测单元中的神经网络框架，进入下一步；

22)神经网络框架采用深度卷积网，对输入的三通道彩色图像进行卷积特征提取，获取卷积特征图；

23)采用区域建议网在卷积特征图上获取兴趣区，提取兴趣区对应的特征向量；

24)采用两个全连接层对特征向量进行处理，获取固定维度的特征向量，并分别输入至分类器和回归器；

25)分类器处理特征向量，获取兴趣区内包含的目标种类；回归器处理特征向量，获取兴趣区内包含的目标在图像中的位置。

与现有技术相比，本发明具有以下优点：

一、快速方便：本发明利用高分辨率的CCD相机对收银托盘中的烘焙食品拍照，并通过带有神经网络图像检测单元的图像识别模块对拍摄的图像进行处理，可实时地一次性检测识别所包含的烘焙食品种类和数量，通过收银模块预设的烘焙食品价格，实现实时的快速结账；

二、识别率高：在保证成像清晰完整的条件下，本发明使用基于神经网络的图像识别方法，对百类烘焙食品的识别，准确率在98％以上；

三、成本低：本发明采用分辨率为1920*1080的高清CCD相机，该相机只需一台intel i5级别的CPU或者显存超过2G的独立显卡即可达到实时检测，相比于传统复杂的收银***，大大降低了成本。

附图说明

图1为一种基于神经网络的烘焙食品识别与收银***的结构示意图；

图2为一种烘焙食品识别与收银方法的流程图；

图3为本发明实施例中一种烘焙食品识别与收银方法的图像检测识别流程图；

图4为本发明实施例中一种烘焙食品识别与收银方法的神经网络图像检测框架流程图。

图1中标号所示：

1、CCD相机，2、图像识别模块，3、收银模块，4、收银托盘，5、烘焙食品，6、收银区。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明涉及一种基于神经网络的烘焙食品识别与收银***及方法，其中：

一种基于神经网络的烘焙食品识别与收银***包括收银区6、CCD相机1、图像识别模块2和收银模块3，如图1所示。CCD相机1固定在收银区6正上方，图像识别模块2与CCD相机1连接，收银模块3与图像识别模块2连接。烘焙食品5放置在收银托盘4上，收银托盘4放置在收银区6中。

CCD相机1的分辨率为1920*1080，该种类相机只需一台intel i5级别的CPU或者显存超过2G的独立显卡即可达到实时检测。CCD相机1固定在收银区6正上方，用于获取收银区内完整的正视影像。

图像识别模块2设有神经网络图像检测单元和图像数据库，神经网络图像检测单元的一端与CCD相机连接，另一端与图像数据库连接。图像数据库储存有烘焙食品特征信息。图像识别模块2为PC，其与CCD相机1通过USB连接线连接。

收银模块3包括收银数据库、与之相连的价格计算单元、与价格计算单元连接的顾客显示屏、与价格计算单元连接的打印机和POS机。价格计算单元设有所有烘焙食品对应的价格信息；收银数据库负责存储图像识别模块识别后的烘焙食品类别和数量信息；价格计算单元用于计算烘焙食品总额。价格计算总额通过顾客显示屏显示，并通过打印机打印账单，POS机用于顾客支付账单。顾客显示屏可采用lcd显示屏或led显示屏。

一种烘焙食品识别与收银方法，应用基于神经网络的烘焙食品识别与收银***，该方法的流程如图2所示，包括：

1)利用固定在收银区正上方的CCD相机对收银托盘中的烘焙食品拍照，将拍摄的三通道彩色图片传入图像识别模块。

2)图像识别模块对传入的图像进行检测识别，统计图像中包含的烘焙食品类别及每一种类别的数量，并将统计结果实时地传输至收银模块。

3)收银模块根据预设的烘焙食品价格计算账单，账单结算后，账单数据记入收银数据库。

步骤2)中，图像识别模块通过神经网络图像检测单元进行图像识别，如图3所示，该步骤具体包括：

21)将三通道彩色图片作为输入数据输入神经网络图像检测单元中的神经网络框架，进入下一步；

22)神经网络框架采用13个卷积层和5个下采样层的深度卷积网，对输入的三通道彩色图像进行卷积特征提取，获取卷积特征图；

23)采用区域建议网在卷积特征图上获取兴趣区，提取兴趣区对应的特征向量；

24)采用两个全连接层处理特征向量，获取固定维度的特征向量，并分别输入至分类器和回归器；

25)分类器处理特征向量，获取兴趣区内包含的目标种类；回归器处理特征向量，获取兴趣区内包含的目标在图像中的位置。

步骤25)结束后，收银模块统计获取的种类和每个种类出现的目标数量。

在步骤21)中，CCD相机输入1920×1080分辨率的RGB彩色图像，并将图像缩放到1056×640的分辨率。

在步骤22)中，采用具有13卷积层，5个下采样层的基于VGG16结构的深度卷积网对缩放图像进行处理。其中，每一个卷积层中滤波器的大小均为3×3，步长为1，每次卷积后使用ReLU函数对卷积特征图进行激活。其中每一个下采样层的滤波器大小均为2×2，步长为2，且采用最大值池化方法，对输入的卷积特征图结果进行1倍的下采样，使得特征图长宽尺寸缩小一半。深度卷积网最终得到一个33×20大小的卷积特征图。

在步骤23)中，区域建议网将33×20大小的卷积特征图进行兴趣区提取，获取可能包含烘焙食品目标的兴趣区对应的特征向量后，输入至两个全连接层。

在步骤24)中，经过两个全连接层处理后，获取兴趣区的4096维的特征向量，分别输入分类器和回归器。

在步骤25)中，分类器采用Softmax函数对4096维特征向量进行分类，取概率值最高的类别输出，即为神经网络预测烘焙食品类别；回归器采用Smooth L1损失函数求解出目标位置修正4参数(2平移，2缩放)，可获得神经网络预测烘焙食品图像位置。

经过多次尝试，采用本发明方法对百类烘焙食品的识别准确率在98％以上，达到了理想的效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于神经网络的烘焙食品识别与收银***，其特征在于，该***包括盛放烘焙食品的收银托盘、放置收银托盘的收银区、固定在收银区正上方的CCD相机、与CCD相机连接的图像识别模块以及与图像识别模块连接的收银模块，所述的图像识别模块设有用于识别图像的神经网络图像检测单元，该神经网络图像检测单元与CCD相机连接。

2.根据权利要求1所述的一种基于神经网络的烘焙食品识别与收银***，其特征在于，所述的CCD相机的分辨率为1920*1080。

3.根据权利要求1所述的一种基于神经网络的烘焙食品识别与收银***，其特征在于，所述的图像识别模块还包括用于存储烘焙食品特征信息的图像数据库，该图像数据库与神经网络图像检测单元连接。

4.根据权利要求1所述的一种基于神经网络的烘焙食品识别与收银***，其特征在于，所述的收银模块包括与图像识别模块连接的收银数据库、与收银数据库连接的价格计算单元，以及与价格计算单元连接的POS机。

5.根据权利要求1所述的一种基于神经网络的烘焙食品识别与收银***，其特征在于，所述的图像识别模块为PC，所述的PC与CCD相机通过USB连接线连接。

6.一种应用如权利要求1-5任一项所述的基于神经网络的烘焙食品识别与收银***的烘焙食品识别与收银方法，其特征在于，该方法包括以下步骤：

1)图像拍摄：利用固定在收银区正上方的CCD相机对收银托盘中的烘焙食品拍照，将拍摄的三通道彩色图片传入图像识别模块；

2)图像识别：图像识别模块对传入的图像进行检测识别，统计图像中包含的烘焙食品类别及每一种类别的数量，并将统计结果实时地传输至收银模块；

3)账单生成：收银模块根据预设的烘焙食品价格计算账单，账单结算后，账单数据记入收银数据库。

7.根据权利要求6所述的一种烘焙食品识别与收银方法，其特征在于，所述的步骤2)的具体内容为：

21)将三通道彩色图片作为输入数据输入神经网络图像检测单元中的神经网络框架，进入下一步；

22)神经网络框架采用深度卷积网，对输入的三通道彩色图像进行卷积特征提取，获取卷积特征图；

23)采用区域建议网在卷积特征图上获取兴趣区，提取兴趣区对应的特征向量；

24)采用两个全连接层对特征向量进行处理，获取固定维度的特征向量，并分别输入至分类器和回归器；

25)分类器处理特征向量，获取兴趣区内包含的目标种类；回归器处理特征向量，获取兴趣区内包含的目标在图像中的位置。