CN111797896B - 基于智慧烘焙的商品识别方法及装置 - Google Patents

基于智慧烘焙的商品识别方法及装置 Download PDF

Info

Publication number
CN111797896B
CN111797896B CN202010483443.6A CN202010483443A CN111797896B CN 111797896 B CN111797896 B CN 111797896B CN 202010483443 A CN202010483443 A CN 202010483443A CN 111797896 B CN111797896 B CN 111797896B
Authority
CN
China
Prior art keywords
image
preset
commodity
area
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010483443.6A
Other languages
English (en)
Other versions
CN111797896A (zh
Inventor
卓智强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruijie Networks Co Ltd
Original Assignee
Ruijie Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruijie Networks Co Ltd filed Critical Ruijie Networks Co Ltd
Priority to CN202010483443.6A priority Critical patent/CN111797896B/zh
Publication of CN111797896A publication Critical patent/CN111797896A/zh
Application granted granted Critical
Publication of CN111797896B publication Critical patent/CN111797896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于智慧烘焙的商品识别方法及装置，该方法应用于通过云端与至少一个客户端连接的服务端，包括：接收客户端上传的待识别商品的第一图像；利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。本发明实施例能够解决现有技术中存在的烘焙店商品识别效率低且成本较高的问题。

Description

基于智慧烘焙的商品识别方法及装置
技术领域
本发明涉及图像识别技术领域，尤指一种基于智慧烘焙的商品识别方法及装置。
背景技术
传统烘焙店的商品，如面包，特别是新鲜烘烤的面包是没有包装和价格标签的，因此不能像传统自助收银那样，扫一下条形码就能识别出商品价格。在结算收款过程中，需要收银员对面包蛋糕的价格进行计算，但前提是需要店员记得每个商品的价格，对店员的要求和培训成本来说都比较高。
尤其当顾客在挑选完面包等烘焙商品需要结账时，人工计算面包蛋糕价格速度慢，易出错，消费高峰期，易出现顾客长时间排队等候问题；人力成本较高且效率低。
发明内容
本发明实施例提供一种基于智慧烘焙的商品识别方法及装置，用以解决现有技术中存在的烘焙店商品识别效率低且成本较高的问题。
本发明实施例提供一种基于智慧烘焙的商品识别方法，所述方法应用于通过云端与至少一个客户端连接的服务端，包括：
接收客户端上传的待识别商品的第一图像；
利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及
利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；
若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。
其中，所述利用预设的分类模型确定所述第一图像是否存在商品重叠，包括：
所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；
当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
其中，通过卷积神经网络进行深度学习得到分类模型，包括：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；
对所述卷积处理结果进行最大值池化，得到池化处理结果；
对所述池化处理结果进行正则化处理，输出分类结果；
将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；
当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。
其中，所述利用预设的异常检测算法对所述第一图像进行图像检测，包括：
确定所述第一图像中的物体的轮廓信息；
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；
遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；
当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；
当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；
当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；
相应地，所述根据检测结果确定所述第一图像是否满足识别条件，包括：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
进一步地，所述方法，还包括：
若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端；
相应地，当新增商品种类时，所述方法还包括：
接收客户端上传的新商品样本图像；
利用预设的自动标注算法对所述新商品样本图像进行标注；
利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
其中，所述利用预设的自动标注算法对所述新商品样本图像进行标注，包括：
确定所述新商品样本图像中的物体的轮廓信息；
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；
若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形。
本发明实施例还提供一种基于智慧烘焙的商品识别装置，所述装置应用于通过云端与至少一个客户端连接的服务端，包括：接收单元、第一检测单元、第二检测单元以及反馈单元；其中，
所述接收单元，用于接收客户端上传的待识别商品的第一图像；
所述第一检测单元，用于利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及
所述第二检测单元，用于利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；
所述反馈单元，用于若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。
其中，所述第一检测单元，利用预设的分类模型确定所述第一图像是否存在商品重叠，具体用于：
利用所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
其中，所述第一检测单元，通过卷积神经网络进行深度学习得到分类模型，具体用于：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；对所述卷积处理结果进行最大值池化，得到池化处理结果；对所述池化处理结果进行正则化处理，输出分类结果；将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。
其中，所述第二检测单元，利用预设的异常检测算法对所述第一图像进行图像检测，具体用于：
确定所述第一图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；
相应地，所述第二检测单元，根据检测结果确定所述第一图像是否满足识别条件，具体用于：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
进一步地，所述装置，还包括：识别单元，用于若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端；
相应地，当新增商品种类时，所述识别单元，还用于：接收客户端上传的新商品样本图像；利用预设的自动标注算法对所述新商品样本图像进行标注；利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
其中，所述识别单元，利用预设的自动标注算法对所述新商品样本图像进行标注，具体用于：
确定所述新商品样本图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形。
本发明有益效果如下：
本发明实施例提供的基于智慧烘焙的商品识别方法及装置，通过云端与至少一个客户端连接的服务端接收客户端上传的待识别商品的第一图像；利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。本发明实施例中服务端通过云端可以与多个客户端进行连接，能够有效减少服务端的布局数量，有效节约了成本，并通过卷积神经网络深度学习得到的分类模型对商品重叠进行检测，通过图像识别的异常检测算法对图像的异常情况进行检测，能够有效排查商品识别过程中摆放重叠、放置盘摆放补正、待识别商品超出识别范围、有障碍物遮挡等问题，并针对问题进行提示以修正，并且能够对模型不断训练，保证识别准确率的同时提高了烘焙店商品识别效率，节约了人力成本。
附图说明
图1为本发明实施例中基于智慧烘焙的商品识别方法的流程图；
图2为本发明实施例中基于智慧烘焙的商品识别装置的结构示意图。
具体实施方式
针对现有技术中存在的烘焙店商品识别效率低且成本较高的问题，本发明实施例提供的基于智慧烘焙的商品识别方法，首先通过单服务端对应多客户端的方式节约成本，其次服务端通过卷积神经网络深度学习的分类模型以及异常检测算法对待识别商品的图像进行检测，根据检测结果确定图像是否能够正确识别出商品，当不可以时，可发送错误提示给客户端以进行修正。本发明方法的流程如图1所示，执行步骤如下：
步骤101，接收客户端上传的待识别商品的第一图像；
这里，所述客户端配置有摄像头以及打光台，当用户挑选完烘焙商品需要结账时，可将待识别商品放置在打光台，客户端通过摄像头获取待识别商品的图像，为方便表述，将获取到的待识别商品的图像记为第一图像；客户端通过云端与服务端相连，具体地可通过无线通信模块将第一图像发送给服务端。
步骤102，利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；
这里，当待识别的商品是重叠摆放的情况时，是无法保证商品识别的正确率，因此，该种情况属于一种异常情况，需要提示用户重新对待识别商品进行正确摆放。
步骤103，利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；
该步骤主要是针对常见的异常情况进行识别，这里，异常情况可以包括但不限于摄像头被遮挡、餐盘未放置正确、烘焙物品超出餐盘等等情况。
当检测出存在上述异常情况时，则确定所述第一图像不满足识别条件。
应当理解，步骤102和步骤103并无严格的先后执行顺序。
步骤104，若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。
可选地，步骤102中所述利用预设的分类模型确定所述第一图像是否存在商品重叠，包括：
所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；
这里，由于第一图像是二维图像，并无三维深度信息，因此需要通过卷积神经网络进行深度学习得到的分类模型对第一图像进行分类，才能够对商品重叠进行有效识别。
当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
其中，通过卷积神经网络进行深度学习得到分类模型，包括：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；对所述卷积处理结果进行最大值池化，得到池化处理结果；对所述池化处理结果进行正则化处理，输出分类结果；将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。优选地，可以利用一个13层的深度学习网络进行模型学习，具体算法实现操作如下：
1)采集重叠面包样本和不重叠面包样本各600张，分辨率640×480，其中各500张作为训练集，总计1000张，将这1000张分为两类，重叠(OL)类和非重叠(NoOL)类，并对图片预处理，resize为224X224分辨率，作为网络输入。
2)将训练集带入该13层的深度学习网络进行OverLapNet网络训练，这里，由于深度学习网络的层数较少，可根据实际需要设置一个较短的训练时间，如5min；
3)训练完成后进行测试，直至OverLapNet网络对于是否重叠图片准确率高达95％后结束训练。
可选地，步骤103中所述利用预设的异常检测算法对所述第一图像进行图像检测，包括：
确定所述第一图像中的物体的轮廓信息；获取轮廓信息的方式有多种，本发明实施例并不对此进行限定，优选较为简便高效的方式进行举例说明：首先可对所述第一图像进行灰度化处理，将第一图像转换为单通道灰度图，以减少计算量；通过二值化将图像中的像素点灰度值设置为0或255，即将整个图像呈现出明显的黑白效果，二值化后的图像仅包括两种颜色：黑色和白色；根据二值化的结果确定物体的轮廓信息。
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；这里，具体根据可识别商品中最小的商品进行预设第一面积阈值的设定，即将预设第一面积阈值设置为可识别的最小商品的面积，若最小外接矩形的面积比可识别的最小商品还小，则可以确定该最小外接矩形为无效外接矩形，可进行删除操作以减少后续运算量。
遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；
当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；例如，可以将预设可视面积设置为餐盘面积等等。当目标外接矩形的面积大于预设可视面积，说明存在烘焙物品超出餐盘的情况。
当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；
当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；这里，预设第二面积阈值可以根据需要设置为可视面积的1/10、1/15等等。
相应地，所述根据检测结果确定所述第一图像是否满足识别条件，包括：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
进一步地，所述方法，还包括：
若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端；
相应地，当新增商品种类时，所述方法还包括：
接收客户端上传的新商品样本图像；
利用预设的自动标注算法对所述新商品样本图像进行标注；
利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
这里，所述图像识别模型选择深度学***滑的通道剪枝过程和比较的小的精度损失。如此，可得到一个精简的、高效的神经网络模型Sparse-Mobilenet-YOLOv3作为图像识别模型进行商品识别，如在1050GPU上运行时间由32ms降至20ms，在网络模型缩小的同时，识别率并没有大幅减低，并通过实验证明基本可保持在95％左右。
优选地，所述利用预设的自动标注算法对所述新商品样本图像进行标注，包括：
确定所述新商品样本图像中的物体的轮廓信息；获取轮廓信息的方式有多种，本发明实施例并不对此进行限定，优选较为简便高效的方式进行举例说明：首先可对所述第一图像进行灰度化处理，将第一图像转换为单通道灰度图，以减少计算量；通过二值化将图像中的像素点灰度值设置为0或255，即将整个图像呈现出明显的黑白效果，二值化后的图像仅包括两种颜色：黑色和白色；根据二值化的结果确定物体的轮廓信息。
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；
若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形，由于新增商品种类是逐一进行，因此，进行样本标注时需要得到一个样本标注矩形即可，若存在多个候选外接矩形时，仍需要对多个候选外接矩形进行合并处理，得到最终一个样本标注矩形，具体地，可利用非极大值抑制算法进行合并处理，现有技术中其他合并处理方式也可以，本发明实施例对此并不进行限定。
基于同一发明构思，本发明实施例提供一种基于智慧烘焙的商品识别装置，该装置可以应用于通过云端与至少一个客户端连接的服务端，结构如图2所示，包括包括：接收单元21、第一检测单元22、第二检测单元23以及反馈单元24；其中，
所述接收单元21，用于接收客户端上传的待识别商品的第一图像；
所述第一检测单元22，用于利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及
所述第二检测单元23，用于利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；
所述反馈单元24，用于若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。
其中，所述第一检测单元22，利用预设的分类模型确定所述第一图像是否存在商品重叠，具体用于：
利用所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
其中，所述第一检测单元22，通过卷积神经网络进行深度学习得到分类模型，具体用于：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；对所述卷积处理结果进行最大值池化，得到池化处理结果；对所述池化处理结果进行正则化处理，输出分类结果；将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。
其中，所述第二检测单元23，利用预设的异常检测算法对所述第一图像进行图像检测，具体用于：
确定所述第一图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；
相应地，所述第二检测单元23，根据检测结果确定所述第一图像是否满足识别条件，具体用于：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
进一步地，所述装置，还包括：识别单元，用于若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端；
相应地，当新增商品种类时，所述识别单元，还用于：接收客户端上传的新商品样本图像；利用预设的自动标注算法对所述新商品样本图像进行标注；利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
其中，所述识别单元，利用预设的自动标注算法对所述新商品样本图像进行标注，具体用于：
确定所述新商品样本图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形。
应当理解，本发明实施例提供的基于智慧烘焙的商品识别装置实现原理及过程与上述图1及所示的实施例类似，在此不再赘述。
本发明实施例提供的基于智慧烘焙的商品识别方法及装置，通过云端与至少一个客户端连接的服务端接收客户端上传的待识别商品的第一图像；利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端。本发明实施例中服务端通过云端可以与多个客户端进行连接，能够有效减少服务端的布局数量，有效节约了成本，并通过卷积神经网络深度学习得到的分类模型对商品重叠进行检测，通过图像识别的异常检测算法对图像的异常情况进行检测，能够有效排查商品识别过程中摆放重叠、放置盘摆放补正、待识别商品超出识别范围、有障碍物遮挡等问题，并针对问题进行提示以修正，并且能够对模型不断训练，保证识别准确率的同时提高了烘焙店商品识别效率，节约了人力成本。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202、203等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于智慧烘焙的商品识别方法，其特征在于，所述方法应用于通过云端与至少一个客户端连接的服务端，包括：
接收客户端上传的待识别商品的第一图像；
利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及
利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件，当检测存在异常情况时，则确定所述第一图像不满足识别条件；
若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端；
若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述利用预设的分类模型确定所述第一图像是否存在商品重叠，包括：
所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；
当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
3.根据权利要求1或2所述的方法，其特征在于，通过卷积神经网络进行深度学习得到分类模型，包括：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；
对所述卷积处理结果进行最大值池化，得到池化处理结果；
对所述池化处理结果进行正则化处理，输出分类结果；
将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；
当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。
4.根据权利要求1所述的方法，其特征在于，所述利用预设的异常检测算法对所述第一图像进行图像检测，包括：
确定所述第一图像中的物体的轮廓信息；
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；
遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；
当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；
当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；
当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；
相应地，所述根据检测结果确定所述第一图像是否满足识别条件，包括：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
5.根据权利要求1所述的方法，其特征在于，
当新增商品种类时，所述方法还包括：
接收客户端上传的新商品样本图像；
利用预设的自动标注算法对所述新商品样本图像进行标注；
利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
6.根据权利要求5所述的方法，其特征在于，所述利用预设的自动标注算法对所述新商品样本图像进行标注，包括：
确定所述新商品样本图像中的物体的轮廓信息；
根据所述轮廓信息确定每个轮廓的最小外接矩形；
将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；
若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形。
7.一种基于智慧烘焙的商品识别装置，其特征在于，所述装置应用于通过云端与至少一个客户端连接的服务端，包括：接收单元、第一检测单元、第二检测单元、反馈单元以及识别单元；其中，
所述接收单元，用于接收客户端上传的待识别商品的第一图像；
所述第一检测单元，用于利用预设的分类模型确定所述第一图像是否存在商品重叠，所述分类模型为通过卷积神经网络进行深度学习得到的模型；以及
所述第二检测单元，用于利用预设的异常检测算法对所述第一图像进行图像检测，根据检测结果确定所述第一图像是否满足识别条件；当检测存在异常情况时，则确定所述第一图像不满足识别条件；所述反馈单元，用于若所述第一图像存在商品重叠或不满足识别条件，则发送错误提示给所述客户端；
识别单元，用于若所述第一图像不存在商品重叠且满足识别条件，则通过预设的图像识别模型对所述第一图像进行商品识别，并发送识别结果给所述客户端。
8.根据权利要求7所述的装置，其特征在于，所述第一检测单元，利用预设的分类模型确定所述第一图像是否存在商品重叠，具体用于：
利用所述分类模型按照预设类库对所述第一图像进行分类；所述预设类库包括重叠类库和非重叠类库；当所述第一图像属于重叠类库时，则确定所述第一图像存在商品重叠。
9.根据权利要求7或8所述的装置，其特征在于，所述第一检测单元，通过卷积神经网络进行深度学习得到分类模型，具体用于：
对训练集中的每个训练图像进行两层卷积处理，得到卷积处理结果；对所述卷积处理结果进行最大值池化，得到池化处理结果；对所述池化处理结果进行正则化处理，输出分类结果；将所述分类结果与所述训练图像的类别进行比对，确定本次训练的分类准确率；当所述分类准确率小于预设准确率阈值时，再次循环训练，直至所述分类准确率达到预设准确率阈值。
10.根据权利要求7所述的装置，其特征在于，所述第二检测单元，利用预设的异常检测算法对所述第一图像进行图像检测，具体用于：
确定所述第一图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于预设第一面积阈值的最小外接矩形删除，得到候选最小外接矩形；遍历计算所述候选最小外接矩形的面积，将面积最大的候选最小外接矩形确定为目标外接矩形；当所述目标外接矩形的面积大于预设可视面积时，则检测结果为异常；当所述目标外接矩形的面积不大于预设可视面积时，计算所述目标外接矩形的面积和预设可视面积的差值绝对值；当所述差值绝对值大于预设第二面积阈值时，则检测结果为异常；
相应地，所述第二检测单元，根据检测结果确定所述第一图像是否满足识别条件，具体用于：
当所述检测结果为异常，则确定所述第一图像不满足识别条件。
11.根据权利要求7所述的装置，其特征在于，所述装置，还包括：
所述识别单元还用于：当新增商品种类时，接收客户端上传的新商品样本图像；利用预设的自动标注算法对所述新商品样本图像进行标注；利用标注后的新商品样本图像对所述图像识别模型进行训练以完成新商品样本的添加。
12.根据权利要求11所述的装置，其特征在于，所述识别单元，利用预设的自动标注算法对所述新商品样本图像进行标注，具体用于：确定所述新商品样本图像中的物体的轮廓信息；根据所述轮廓信息确定每个轮廓的最小外接矩形；将面积小于所述新商品面积阈值的最小外接矩形删除，得到候选外接矩形；若所述候选外接矩形为多个时，则将所述候选外接矩形进行合并，得到样本标注矩形。
CN202010483443.6A 2020-06-01 2020-06-01 基于智慧烘焙的商品识别方法及装置 Active CN111797896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010483443.6A CN111797896B (zh) 2020-06-01 2020-06-01 基于智慧烘焙的商品识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010483443.6A CN111797896B (zh) 2020-06-01 2020-06-01 基于智慧烘焙的商品识别方法及装置

Publications (2)

Publication Number Publication Date
CN111797896A CN111797896A (zh) 2020-10-20
CN111797896B true CN111797896B (zh) 2023-06-27

Family

ID=72806625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010483443.6A Active CN111797896B (zh) 2020-06-01 2020-06-01 基于智慧烘焙的商品识别方法及装置

Country Status (1)

Country Link
CN (1) CN111797896B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627315B (zh) * 2022-01-31 2023-04-18 南通爱米食品有限公司 大批量糕点烘焙阶段识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3217324A1 (en) * 2016-03-07 2017-09-13 Ricoh Company, Ltd. Hybrid detection recognition system
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
JP7300699B2 (ja) * 2018-11-12 2023-06-30 株式会社イシダ 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置
CN109816045A (zh) * 2019-02-11 2019-05-28 青岛海信智能商用***股份有限公司 一种商品识别方法及装置
CN109919211A (zh) * 2019-02-26 2019-06-21 南京旷云科技有限公司 商品识别方法、装置、***和计算机可读介质
CN110222587A (zh) * 2019-05-13 2019-09-10 杭州电子科技大学 一种基于特征图的商品定位检测重识别方法
CN110458096A (zh) * 2019-08-09 2019-11-15 广州众聚智能科技有限公司 一种基于深度学习的大规模商品识别方法
CN110807808A (zh) * 2019-10-14 2020-02-18 浙江理工大学 一种基于物理引擎和深度全卷积网络的商品识别方法
CN111079699A (zh) * 2019-12-30 2020-04-28 北京每日优鲜电子商务有限公司 商品识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进Faster RCNN与Grabcut的商品图像检测;胡正委等;《计算机***应用》;20181114(第11期);全文 *

Also Published As

Publication number Publication date
CN111797896A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
WO2019228063A1 (zh) 商品检测终端、方法、***以及计算机设备、可读介质
US11593656B2 (en) Using a first stain to train a model to predict the region stained by a second stain
CN106163381B (zh) 信息处理设备、信息处理***和程序
JP2019035626A (ja) タイヤ画像の認識方法及びタイヤ画像の認識装置
CN106096932A (zh) 基于餐具形状的菜品自动识别***的计价方法
CN109871765B (zh) 一种基于图像的非标物品堆叠检测方法、***及电子设备
CN103914708A (zh) 基于机器视觉的食品品种检测方法及***
CN108579094A (zh) 一种用户界面检测方法及相关装置、***和存储介质
JP7496364B2 (ja) 人工知能を使用した大きな画像データセット中の目的の細胞の検出
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
Rossi et al. FishAPP: A mobile App to detect fish falsification through image processing and machine learning techniques
US20200082206A1 (en) Systems and methods for occlusion handling in a neural network via activation subtraction
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和***
CN111797896B (zh) 基于智慧烘焙的商品识别方法及装置
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN103714498A (zh) 一种基于图像识别技术的快速付费***及其方法
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN115760724A (zh) 食品质量检测方法和***
CN103279944A (zh) 一种基于生物地理优化的图像分割方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN111325084A (zh) 一种基于yolo神经网络的菜品信息识别方法、终端
CN116434223A (zh) 一种水果伤损检测的方法及装置
CN104764402A (zh) 柑橘体积的视觉检测方法
CN110110594B (zh) 一种产品分布识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant