CN107679573A - 智慧货柜的物品识别***及其方法 - Google Patents

Abstract

本发明公开一种智慧货柜的物品识别***及其方法，该***首先通过货柜上的摄像头获取客户所拿物品的图像信息，并将图像信息传递到柜台机器人上，柜台机器人将图像信息发送到物品识别服务器进行图像数据处理，最终物品识别服务器将识别结果通过柜台机器人上的广告展示模块进行展示。物品识别服务器在进行以第一次物品识别前，首先通过训练模块进行已标注物品的自动识别学习以及特征储存，当需要识别物品时，推理模块便通过训练模块得到的特征分类器进行待识别物品的图像解析，最终获取图像的识别结果。本发明迁移人工智能相关算法到零售行业中，提高零售行业的便利性，智能程度，改善人们的购物体验，同时也节省了劳动力。

Description

智慧货柜的物品识别***及其方法

技术领域

本发明涉及人工智能的技术领域，尤其涉及一种智慧货柜的物品识别***及其方法。

背景技术

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。

传统的零售业是劳动密集型的工作，工作时间长，流程规整，规律，人工智能技术替代难度不高。大家都在技术研发初期，市面上还没有相对完善，成熟的技术方案。因为当前还没有成熟的人工智能销售技术的方案在商业场景中应用，相关方案缺失，所以相关技术方案会受到非常高的瞩目。

发明内容

针对上述技术中存在的不足之处，本发明提供一种便利而节省劳动力的智慧货柜的物品识别***及其方法。

为了达到上述目的，本发明一种智慧货柜的物品识别***，包括物品识别服务器、柜台机器人以及安装有摄像头的货柜；

所述物品识别服务器包括：

训练模块，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

以及服务器管理模块，根据处理逻辑协调训练模块以及推理模块的运行；

所述柜台机器人包括：

图像采集模块，通过货柜上的摄像头获取物品各角度的图像信息；

广告展示模块，根据物品识别服务器所识别的物品种类，将该物品的广告信息进行展示；

机器人主控模块，进行图像信息的分析与传递以及物品识别信息的分析与展示；

所述训练模块以及推理模块均与服务器管理模块通讯连接，所述图像采集模块的输入端与摄像头相连，且所述图像采集模块的输出端与机器人主控模块相连，所述广告展示模块的输入端与机器人主控模块相连，所述服务器管理模块与机器人主控模块通讯连接。

其中，所述训练模块包括将***已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，所述已知图像采集单元的输入端与***已有数据库相连，所述已知图像采集单元的输出端与特征学习单元的输入端相连，所述Softmax统计单元的输入端与特征学习单元的输出端相连，所述Softmax统计单元的输出端与分类更新单元相连。

其中，所述特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

其中，所述推理模块包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为可识别商品的精准判断单元，所述识别图像采集单元的输出端与特征提取单元的输入端相连，所述特征提取单元的输出端与分类计算单元的输入端相连，所述分类计算单元的输出端与与精准判断单元的输入端相连。

其中，所述特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

其中，所述物品识别服务器上还设有监控推理模块物品识别率波动并协调训练模块运行的监控更新模块，所述监控更新模块的输入端与监控模块相连，写所述监控更新模块的输出端与服务器管理模块相连。

其中，所述柜台机器人还包括与客户进行语音交流的语音交互模块以及将客户所说语言进行翻译理解的语义理解模块，所述语音交互模块的输入端与机器人主控模块相连，所述语音交互模块的输出端与扬声器相连，所述语义理解模块的输入端与听筒相连，且所述语义理解模块的输出端与机器人主控模块相连；所述物品识别服务器上还设有进行网络连接的网络设置模块、判断是否可访问服务器的***权限设置模块以及控制相关程序启动顺序的程序启动优先模块，所述网络设置模块、***权限设置模块以及程序启动优先模块均与服务器管理模块通讯连接。

本发明一种智慧货柜的物品识别方法，包括以下步骤：

S1、物品识别服务器的识别训练，***将标注好的图像发送到训练模块中使训练模块训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，将货架上的摄像头安装在能发现客户拿起物品的位置，当客户拿起物品后，摄像头将物品的图像信息传递到图像采集模块并传送到机器人主控模块，由机器人主控模块传递到服务器管理模块；

S3、物品的推理，推理模块以30分之一秒采集一帧的速度从服务器管理模块提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、柜台机器人反馈，推理模块将识别的物品种类通过服务器管理模块传递到机器人主控模块，机器人主控模块根据客户语义理解模块的信号传递与客户之间生成对话应答，同时通过广告展示模块将识别的物品种类广告信息进行更新展示；

S5、特征分类器更新，当物品识别率波动大，服务器管理模块提醒训练模块对失败的用例进行分析处理，在***进行重新标注后，再次进行训练，当训练完成时，***自动在线更新特征分类器的模型，实现模型自动在线更新。

其中，在S1的物品识别服务器的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将***已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

其中，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为可识别物品；

S35、广告展示，如果通过过滤规则判断该物品为可识别物品，则通过广告展示模块进行相关物品的广告展示，如果判断该物品不是可识别物品，则返回识别图像采集单元重新进行图像的识别。

本发明的有益效果是：

与现有技术相比，本发明的物品识别***首先通过货柜上的摄像头获取客户所拿物品的图像信息，并将图像信息传递到柜台机器人上，柜台机器人将图像信息发送到物品识别服务器进行图像数据处理，最终物品识别服务器将识别结果通过柜台机器人上的广告展示模块进行展示。物品识别服务器在进行以第一次物品识别前，首先通过训练模块进行已标注物品的自动识别学习以及特征储存，当需要识别物品时，推理模块便通过训练模块得到的特征分类器进行待识别物品的图像解析，最终获取图像的识别结果。本发明迁移人工智能相关算法到零售行业中，提高零售行业的便利性，智能程度，改善人们的购物体验，同时也节省了劳动力。

附图说明

图1为本发明智慧货柜的物品识别***的结构示意图；

图2为本发明智慧货柜的物品识别***的硬件构架图；

图3为本发明智慧货柜的物品识别方法的流程框架图；

图4为本发明智慧货柜的物品识别方法的训练流程框架图；

图5为本发明智慧货柜的物品识别方法的推理流程框架图；

图6为本发明智慧货柜的物品识别方法的模拟训练数据统计图。

主要元件符号说明如下：

1、物品识别服务器 2、柜台机器人

3、货柜

11、训练模块 12、推理模块

13、服务器管理模块 14、监控更新模块

21、机器人主控模块 22、图像采集模块

23、广告展示模块 24、语音交互模块

25、语义理解模块

31、摄像头。

具体实施方式

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

参阅图1-2，本发明一种智慧货柜3的物品识别***，包括物品识别服务器1、柜台机器人2以及安装有摄像头31的货柜3；

物品识别服务器1包括：

训练模块11，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块12，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

以及服务器管理模块13，根据处理逻辑协调训练模块11以及推理模块12的运行；

柜台机器人2包括：

图像采集模块22，通过货柜3上的摄像头31获取物品各角度的图像信息；

广告展示模块23，根据物品识别服务器1所识别的物品种类，将该物品的广告信息进行展示；

机器人主控模块21，进行图像信息的分析与传递以及物品识别信息的分析与展示；

训练模块11以及推理模块12均与服务器管理模块13通讯连接，图像采集模块22的输入端与摄像头31相连，且图像采集模块22的输出端与机器人主控模块21相连，广告展示模块23的输入端与机器人主控模块21相连，服务器管理模块13与机器人主控模块21通讯连接。

相较于现有技术，本发明的物品识别***首先通过货柜3上的摄像头31获取客户所拿物品的图像信息，并将图像信息传递到柜台机器人2上，柜台机器人2将图像信息发送到物品识别服务器1进行图像数据处理，最终物品识别服务器1将识别结果通过柜台机器人2上的广告展示模块23进行展示。物品识别服务器1在进行以第一次物品识别前，首先通过训练模块11进行已标注物品的自动识别学习以及特征储存，当需要识别物品时，推理模块12便通过训练模块11得到的特征分类器进行待识别物品的图像解析，最终获取图像的识别结果。本发明迁移人工智能相关算法到零售行业中，提高零售行业的便利性，智能程度，改善人们的购物体验，同时也节省了劳动力。

在本实施例中，训练模块11包括将***已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，已知图像采集单元的输入端与***已有数据库相连，已知图像采集单元的输出端与特征学习单元的输入端相连，Softmax统计单元的输入端与特征学习单元的输出端相连，Softmax统计单元的输出端与分类更新单元相连。

在本实施例中，特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

在本实施例中，推理模块12包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为可识别商品的精准判断单元，识别图像采集单元的输出端与特征提取单元的输入端相连，特征提取单元的输出端与分类计算单元的输入端相连，分类计算单元的输出端与与精准判断单元的输入端相连。

在本实施例中，特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

在本实施例中，物品识别服务器1上还设有监控推理模块12物品识别率波动并协调训练模块11运行的监控更新模块14，监控更新模块14的输入端与监控模块相连，写监控更新模块14的输出端与服务器管理模块13相连。

在本实施例中，柜台机器人2还包括与客户进行语音交流的语音交互模块24以及将客户所说语言进行翻译理解的语义理解模块25，语音交互模块24的输入端与机器人主控模块21相连，语音交互模块24的输出端与扬声器相连，语义理解模块25的输入端与听筒相连，且语义理解模块25的输出端与机器人主控模块21相连；物品识别服务器1上还设有进行网络连接的网络设置模块、判断是否可访问服务器的***权限设置模块以及控制相关程序启动顺序的程序启动优先模块，网络设置模块、***权限设置模块以及程序启动优先模块均与服务器管理模块13通讯连接。

进一步参阅图3，本发明一种智慧货柜3的物品识别方法，包括以下步骤：

S1、物品识别服务器1的识别训练，***将标注好的图像发送到训练模块11中使训练模块11训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，将货架上的摄像头31安装在能发现客户拿起物品的位置，当客户拿起物品后，摄像头31将物品的图像信息传递到图像采集模块22并传送到机器人主控模块21，由机器人主控模块21传递到服务器管理模块13；

S3、物品的推理，推理模块12以30分之一秒采集一帧的速度从服务器管理模块13提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、柜台机器人2反馈，推理模块12将识别的物品种类通过服务器管理模块13传递到机器人主控模块21，机器人主控模块21根据客户语义理解模块25的信号传递与客户之间生成对话应答，同时通过广告展示模块23将识别的物品种类广告信息进行更新展示；

S5、特征分类器更新，当物品识别率波动大，服务器管理模块13提醒训练模块11对失败的用例进行分析处理，在***进行重新标注后，再次进行训练，当训练完成时，***自动在线更新特征分类器的模型，实现模型自动在线更新。

进一步参阅图4，在S1的物品识别服务器1的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将***已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

进一步参阅图5，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为可识别物品；

S35、广告展示，如果通过过滤规则判断该物品为可识别物品，则通过广告展示模块23进行相关物品的广告展示，如果判断该物品不是可识别物品，则返回识别图像采集单元重新进行图像的识别。

具体的训练过程为，物品10个种类，每个种类300个图片，迭代20万次，训练耗用18小时。推理阶段，每个图片100ms便完成结果计算。***的实时性，准确性都比较好。经过三次不同数据集300k，600k，900k，分为80%数据量为训练集，20%为测试数据集。进行训练的神经网络模型，在训练过程中统计准确度如下图图6所示。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种智慧货柜的物品识别***，其特征在于，包括物品识别服务器、柜台机器人以及安装有摄像头的货柜；

所述物品识别服务器包括：

训练模块，对标注好的物品图像进行训练并储存相关物品图像的特征，基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

推理模块，判断物品种类，以30分之一秒采集一帧的速度，通过已经训练好的特征分类器进行特征提取，然后进行特征分布概率统计，根据特征概率分布，判断物品种类；

以及服务器管理模块，根据处理逻辑协调训练模块以及推理模块的运行；

所述柜台机器人包括：

图像采集模块，通过货柜上的摄像头获取物品各角度的图像信息；

广告展示模块，根据物品识别服务器所识别的物品种类，将该物品的广告信息进行展示；

机器人主控模块，进行图像信息的分析与传递以及物品识别信息的分析与展示；

所述训练模块以及推理模块均与服务器管理模块通讯连接，所述图像采集模块的输入端与摄像头相连，且所述图像采集模块的输出端与机器人主控模块相连，所述广告展示模块的输入端与机器人主控模块相连，所述服务器管理模块与机器人主控模块通讯连接。

2.根据权利要求1所述的智慧货柜的物品识别***，其特征在于，所述训练模块包括将***已经标注的图像进行采集并预处理的已知图像采集单元，对采集的图像特征进行归纳和总结的特征学习单元，比较已学习图像的共有特征的Softmax统计单元，以及将图像进行分类并对图像共有特征进行实时更新的分类更新单元，所述已知图像采集单元的输入端与***已有数据库相连，所述已知图像采集单元的输出端与特征学习单元的输入端相连，所述Softmax统计单元的输入端与特征学习单元的输出端相连，所述Softmax统计单元的输出端与分类更新单元相连。

3.根据权利要求2所述的智慧货柜的物品识别***，其特征在于，所述特征学习单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征总结的低粒度特征总结块，进行图像局部图案特征总结的中粒度特征总结块，以及进行图像整体图案特征总结的高粒度特征总结块。

4.根据权利要求1所述的智慧货柜的物品识别***，其特征在于，所述推理模块包括将待识别物品图像进行采集并预处理的识别图像采集单元，对采集的图像特征进行分析与提取的特征提取单元，计算识别特征与训练好的特征近似度的分类计算单元，以及通过过滤规则判断是否为可识别商品的精准判断单元，所述识别图像采集单元的输出端与特征提取单元的输入端相连，所述特征提取单元的输出端与分类计算单元的输入端相连，所述分类计算单元的输出端与与精准判断单元的输入端相连。

5.根据权利要求4所述的智慧货柜的物品识别***，其特征在于，所述特征提取单元由三个特征总结块构成，三个特征块分别为进行图像像素块特征提取的低粒度特征提取块，进行图像局部图案特征提取的中粒度特征提取块，以及进行图像整体图案特征提取的高粒度特征提取块。

6.根据权利要求1所述的智慧货柜的物品识别***，其特征在于，所述物品识别服务器上还设有监控推理模块物品识别率波动并协调训练模块运行的监控更新模块，所述监控更新模块的输入端与监控模块相连，写所述监控更新模块的输出端与服务器管理模块相连。

7.根据权利要求1所述的智慧货柜的物品识别***，其特征在于，所述柜台机器人还包括与客户进行语音交流的语音交互模块以及将客户所说语言进行翻译理解的语义理解模块，所述语音交互模块的输入端与机器人主控模块相连，所述语音交互模块的输出端与扬声器相连，所述语义理解模块的输入端与听筒相连，且所述语义理解模块的输出端与机器人主控模块相连；所述物品识别服务器上还设有进行网络连接的网络设置模块、判断是否可访问服务器的***权限设置模块以及控制相关程序启动顺序的程序启动优先模块，所述网络设置模块、***权限设置模块以及程序启动优先模块均与服务器管理模块通讯连接。

8.一种智慧货柜的物品识别方法，其特征在于，包括以下步骤：

S1、物品识别服务器的识别训练，***将标注好的图像发送到训练模块中使训练模块训练并储存相关物品图像的特征形成特征分类器；基于CNN卷积神经网络算法设计多层网络在tensorflow框架中对标注好的物品图像，通过多次实践分析得到最优的参数，通过多轮迭代执行向前传播和向后传播算法，梯度算法找到相对较快的路径，使学习的特征值和真实值间的差值更快缩小到最小值，从而实现找到最优解；

S2、图像信息的采集，将货架上的摄像头安装在能发现客户拿起物品的位置，当客户拿起物品后，摄像头将物品的图像信息传递到图像采集模块并传送到机器人主控模块，由机器人主控模块传递到服务器管理模块；

S3、物品的推理，推理模块以30分之一秒采集一帧的速度从服务器管理模块提取图像，通过已经训练好的特征分类器进行特征提取，然后进行特征分布统计概率，根据特征概率分布，判断物品种类；

S4、柜台机器人反馈，推理模块将识别的物品种类通过服务器管理模块传递到机器人主控模块，机器人主控模块根据客户语义理解模块的信号传递与客户之间生成对话应答，同时通过广告展示模块将识别的物品种类广告信息进行更新展示；

S5、特征分类器更新，当物品识别率波动大，服务器管理模块提醒训练模块对失败的用例进行分析处理，在***进行重新标注后，再次进行训练，当训练完成时，***自动在线更新特征分类器的模型，实现模型自动在线更新。

9.根据权利要求8所述的智慧货柜的物品识别方法，其特征在于，在S1的物品识别服务器的识别训练具体过程如下：

S11、采集图像，已知图像采集单元将***已经标注的图像进行采集并预处理；

S12、特征学习，特征学习单元依次进行图像像素块特征总结、图像局部图案特征总结以及图像整体图案特征总结；

S13、Softmax统计，Softmax统计单元比较已学习图像的共有特征，不断归纳与更新同一类别的共有特征；

S14、分类，分类更新单元将图像按照标注的类别进行分类并对图像共有特征进行实时更新储存。

10.根据权利要求8所述的智慧货柜的物品识别方法，其特征在于，在S3的物品的推理具体过程如下：

S31、采集图像，识别图像采集单元将待识别物品图像进行采集并预处理；

S32、特征提取，特征提取单元依次进行图像像素块特征提取、图像局部图案特征提取以及图像整体图案特征提取，从而对采集的图像特征进行分析与提取；

S33、分类，分类计算单元计算识别特征与训练好的特征近似度；

S34、判断物品，精准判断单元通过过滤规则判断是否为可识别物品；

S35、广告展示，如果通过过滤规则判断该物品为可识别物品，则通过广告展示模块进行相关物品的广告展示，如果判断该物品不是可识别物品，则返回识别图像采集单元重新进行图像的识别。