CN115346110A - 餐盘识别方法、***、电子设备和存储介质 - Google Patents

餐盘识别方法、***、电子设备和存储介质 Download PDF

Info

Publication number
CN115346110A
CN115346110A CN202211283750.5A CN202211283750A CN115346110A CN 115346110 A CN115346110 A CN 115346110A CN 202211283750 A CN202211283750 A CN 202211283750A CN 115346110 A CN115346110 A CN 115346110A
Authority
CN
China
Prior art keywords
dinner plate
target
image
characteristic information
meal tray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211283750.5A
Other languages
English (en)
Inventor
梁秉豪
张传刚
袁明明
王凯
王涛
倪健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN202211283750.5A priority Critical patent/CN115346110A/zh
Publication of CN115346110A publication Critical patent/CN115346110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据识别技术领域，提供一种餐盘识别方法、***、电子设备和存储介质，该方法包括：采集目标餐盘图像；将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。本发明通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。

Description

餐盘识别方法、***、电子设备和存储介质
技术领域
本发明涉及数据识别技术领域，尤其涉及一种餐盘识别方法、***、电子设备和存储介质。
背景技术
随着经济的不断发展，人力成本不断提升，越来越多餐厅在制菜、点单和清洁等环节通过机器人和人工智能算法实现了自动化。在智慧餐厅中，在餐前通过自选菜品和自动计价方式，在餐后通过自动分类回收餐具的方式，可以大幅缩减餐厅的人力成本，同时减少了人与人之间的直接接触，更有利于保障食品安全。由于餐盘种类较多，同时容易被放置于餐盘中的菜品遮挡，因此通过目标检测算法往往较难准确识别，从而导致餐盘识别准确率低。
发明内容
本发明提供一种餐盘识别方法、***、电子设备和存储介质，用以解决餐盘识别准确率低的问题，通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。
本发明提供一种餐盘识别方法，包括：
采集目标餐盘图像；
将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
在一个实施例中，所述餐盘识别模型基于以下步骤获得：
采集多帧餐盘样本图像；
对任一帧所述餐盘样本图像进行数据增强，并确定每帧所述餐盘样本图像的分类标签，以构建多个所述训练样本；
利用多个所述训练样本对预先构建的实例分割模型进行训练，得到所述餐盘识别模型。
在一个实施例中，所述确定每帧所述餐盘样本图像的分类标签，包括：
确定每帧所述餐盘样本图像的像素信息；
基于所述像素信息对每帧所述餐盘样本图像中每个像素点进行数据标注，得到所述分类标签。
在一个实施例中，确定所述物体知识库，包括：
确定不同餐盘类型对应的第二特征信息，以建立所述餐盘类型与所述第二特征信息的映射信息；
基于所述映射信息确定所述物体知识库。
在一个实施例中，所述根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别，包括：
将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配，以基于匹配结果确定目标餐盘的餐盘类型；
根据所述目标餐盘的餐盘类型的置信度，确定所述目标餐盘的餐盘类型。
在一个实施例中，所述将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配之后，还包括：
若所述匹配结果为所述第一特征信息与所述第二特征信息不匹配，则基于所述第一特征信息更新所述物体知识库。
在一个实施例中，所述采集目标餐盘图像，包括：
采集目标餐盘的视频信息；
从所述视频信息中抽取至少一帧图像作为所述目标餐盘图像。
本发明还提供一种餐盘识别***，包括：
采集模块，用于采集目标餐盘图像；
图像实例分割模块，用于将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；
物体知识库模块，用于管理物体知识库；
餐盘识别模块，用于根据所述第一特征信息以及所述物体知识库对所述目标餐盘图像进行餐盘识别。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述餐盘识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述餐盘识别方法。
本发明提供的餐盘识别方法、***、电子设备和存储介质，通过采集目标餐盘图像；将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。本发明通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的餐盘识别方法的流程示意图；
图2是本发明提供的餐盘识别***的结构示意图；
图3是本发明提供的基于餐盘识别***进行餐盘识别的流程示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的餐盘识别方法、***、电子设备和存储介质。
具体地，本发明提供了一种餐盘识别方法，参照图1，图1是本发明提供的餐盘识别方法的流程示意图。
本发明实施例提供的餐盘识别方法，包括：
步骤100，采集目标餐盘图像；
需要说明的是，本发明实施例提供的餐盘识别方法的执行主体可以是服务器、计算机设备，例如手机、平板电脑、笔记本电脑、掌上电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本或者个人数字助理（personal digitalassistant，PDA）等。
本发明实施例提供的餐盘识别方法适用于餐厅、食堂、饭馆等餐饮场所，本发明实施例以餐厅为应用场景进行解析说明。
在餐厅的餐盘检测区域（如取餐盘区、收餐盘区）架设固定的俯拍摄像头，该摄像头用于对托盘中各种餐盘进行拍摄，其中，拍摄角度为高空俯拍，拍摄区域为整个托盘。在餐盘识别过程中，通过摄像头采集目标餐盘图像，其中，目标餐盘图像是指待检测餐盘的图像，一帧目标餐盘图像中可以包括多个不同种类或款式的目标餐盘。
步骤200，将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
需要说明的是，餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的，餐盘识别模型用于对餐盘的位置、形状，纹理，颜色等特征信息进行分割识别。
在采集到目标餐盘图像后，将目标餐盘图像输入至餐盘识别模型，以获取由餐盘识别模型输出的第一特征信息，也即采用预先训练的餐盘识别模型对目标餐盘图像进行实例分割，得到目标餐盘的第一特征信息，该第一特征信息包括餐盘的位置、形状，纹理，颜色等特征。
例如，餐盘识别模型基于图像实例分割（Instance Segmentation）算法对目标餐盘图像进行实例分割，其中，图像实例分割可以分离对象的前景与背景，实现像素级别的对象分离，同时实例分割可以分割出同一个类中的不同实例的物体。
本发明实施例通过餐盘识别模型实现了对图像像素点级别的分类，通过分离对象的前景与背景，降低了餐盘中的菜品对识别结果的影响，相比于传统基于目标检测算法的餐盘识别模型具有更好的鲁棒性、模型可解释性和准确率。
步骤300，根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
需要说明的是，物体知识库可以理解为餐盘知识库，用于存储不同餐盘类型对应的第二特征信息，不同餐盘类型之间的从属关系，以及基于卷积神经网络生成图像的指纹等信息。
基于餐盘识别模型输出目标餐盘的第一特征信息后，根据第一特征信息以及物体知识库中的第二特征信息进行餐盘识别，例如，基于第一特征信息在物体知识库中匹配对应的餐盘类型，然后基于所匹配餐盘类型的置信度确定目标餐盘的餐盘类型。
在确定目标餐盘的餐盘类型后，可通过餐盘类型和自选菜品价格自动计费，还可以通过餐盘类型自动分类回收餐具，如此可以大幅缩减餐厅的人力成本，同时减少了人与人之间的直接接触，更有利于保障食品安全。
本发明实施例提供的餐盘识别方法，通过采集目标餐盘图像；将目标餐盘图像输入至餐盘识别模型，以获取由餐盘识别模型输出的第一特征信息；餐盘识别模型是采用实例分割算法以及训练样本对预先构建的神经网络模型进行训练后得到的；根据第一特征信息以及物体知识库对目标餐盘图像进行餐盘识别。本发明通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。
基于上述实施例，所述餐盘识别模型基于以下步骤获得：采集多帧餐盘样本图像；对任一帧所述餐盘样本图像进行数据增强，并确定每帧所述餐盘样本图像的分类标签，以构建多个所述训练样本；利用多个所述训练样本对预先构建的实例分割模型进行训练，得到所述餐盘识别模型。
通过餐盘检测区域的摄像头采集餐盘样本图像，其中，餐盘样本图像包括从不同时间段采集的样本图像，例如在用餐前采集的样本图像，在选餐时采集的图像以及在用餐后采集的样本图像，其中，采集餐盘样本图像的步骤包括：
（1）基于固定架设的摄像头对放置在托盘上的一个或多个餐盘进行图像采集，其中，拍摄角度为高空俯拍，拍摄区域为整个托盘。
（2）在用餐前将不同款式的餐盘随机组合放置在托盘中，然后将采集到的餐盘样本图像作为模型训练的第一原始数据集，其中，餐盘样本图像包含托盘以及托盘上放置的空餐盘。
（3）在用户选餐时，对用餐人员自选的菜品组合进行拍摄，然后将采集到的餐盘样本图像作为模型训练的第二原始数据集，其中，餐盘样本图像包含托盘以及托盘上放置的餐盘和菜品。
（4）在用餐后对托盘进行拍摄，然后将采集到的餐盘样本图像作为模型训练的第三原始数据集，其中，餐盘样本图像包含托盘以及托盘上放置的餐盘和剩菜。
从不同时间段采集到餐盘样本图像后，对任一帧餐盘样本图像进行数据增强，其中，数据增强包括翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换和反射变换等操作。通过对餐盘样本图像进行数据增强，可以改善图像的视觉效果，提高了图像重要细节信息或者目标的辨识度，继而提高餐盘识别的准确性。
确定每帧餐盘样本图像的分类标签，例如，使用通用数据标注工具（如labelme和LabelImg）对第一原始数据集，第二原始数据集以及第三原始数据集的图像进行数据标注，得到每帧餐盘样本图像的分类标签。
基于数据增强后的餐盘样本图像以及分类标签确定训练样本，也即，训练样本由数据增强后的餐盘样本图像以及分类标签组成。进一步对训练样本进行数据划分，例如，将训练样本划分为训练集、验证集和测试集，其中，训练集、验证集和测试集的划分比例为6:2:2，该划分比例可基于训练需求确定，在此不做限定。
利用多个训练样本对预先构建的实例分割模型进行训练，例如，利用多个训练样本对实例分割深度学习模型（如：Mask R-CNN、SOLO以及Deep Snake等）进行训练，得到餐盘识别模型。
本发明实施例通过采集多帧餐盘样本图像；对任一帧所述餐盘样本图像进行数据增强，并确定每帧所述餐盘样本图像的分类标签，以构建多个所述训练样本；利用多个所述训练样本对预先构建的实例分割模型进行训练，得到所述餐盘识别模型。如此，通过餐盘识别模型快速获取图像的实例分割结果，从而提高餐盘识别效率和准确性。
基于上述实施例，所述确定每帧所述餐盘样本图像的分类标签，包括：确定每帧所述餐盘样本图像的像素信息；基于所述像素信息对每帧所述餐盘样本图像中每个像素点进行数据标注，得到所述分类标签。
在采集餐盘样本图像后，确定每帧餐盘样本图像的像素信息，然后基于像素信息对每帧餐盘样本图像中每个像素点进行数据标注，得到分类标签，也即得到每帧图像像素级的分类标签，其中，分类标签包含了图中每个像素点对应的物体ID（即餐盘ID），基于该物体ID可以确定餐盘所属的餐盘类型或者款式，例如：[横坐标：1，纵坐标：1，物体ID：001]。
本发明实施例通过确定每帧所述餐盘样本图像的像素信息；基于所述像素信息对每帧所述餐盘样本图像中每个像素点进行数据标注，得到所述分类标签，基于此，提高了餐盘识别的准确性。
基于上述实施例，确定所述物体知识库，包括：确定不同餐盘类型对应的第二特征信息，以建立所述餐盘类型与所述第二特征信息的映射信息；基于所述映射信息确定所述物体知识库。
需要说明的是，不同餐盘类型或者款式对应不同的第二特征信息，其中，第二特征信息包括颜色、形状以及纹理等特征。基于餐盘类型与第二特征信息之间的映射信息建立物体知识库，其中，物体知识库可以采用知识图谱的方式存储数据，也可以采用表格的方式存储数据。
例如，对不同餐盘类型分配一个身份ID，同时记录餐盘的形状、大小、纹理和颜色等外观特征，例如：[物体ID：001，形状：圆形，大小：30cm*30cm，纹理：001，颜色：红色]，标注餐盘类型之间的从属关系，得到父子对，例如：[父类物体ID：001，子类物体ID：002]，最终得到树状知识图谱，同时基于卷积神经网络生成图像的指纹，例如：[物体ID：001，指纹：‘特征字符串’]。
本发明实施例通过确定不同餐盘类型对应的第二特征信息，以建立所述餐盘类型与所述第二特征信息的映射信息；基于所述映射信息确定所述物体知识库。本发明通过引入物体知识库，实现对需识别目标的动态配置，同时可以对餐盘从属分类进行分级管理和识别，支持通过知识库动态更新识别模型，无序重新训练，降低***运维成本和难度。
基于上述实施例，所述根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别，包括：将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配，以基于匹配结果确定目标餐盘的餐盘类型；根据所述目标餐盘的餐盘类型的置信度，确定所述目标餐盘的餐盘类型。
基于餐盘识别模型获取目标餐盘的第一特征信息后，将该第一特征信息与物体知识库中存储的不同餐盘类型对应的第二特征信息进行匹配，然后基于匹配结果确定目标餐盘的餐盘类型，并确定目标餐盘所属餐盘类型的置信度，再将置信度高的餐盘类型确定为目标餐盘的餐盘类型。其中，置信度也称为可靠度，或置信水平、置信系数。
例如，假设目标餐盘图像中包括目标餐盘A、目标餐盘B以及目标餐盘C，将目标餐盘A、B、C的第一特征信息分别与物体知识库中的第二特征信息进行匹配，基于匹配结果确定概率值比较高的餐盘类别ID及置信度，然后将置信度最高的餐盘类型确定为目标餐盘的类型。
本发明实施例通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。
基于上述实施例，所述将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配之后，还包括：若所述匹配结果为所述第一特征信息与所述第二特征信息不匹配，则基于所述第一特征信息更新所述物体知识库。
如果匹配结果为第一特征信息与各第二特征信息不匹配，则判断物体知识库中不存在目标餐盘的特征信息，说明目标餐盘为新增的餐盘，此时直接基于目标餐盘的第一特征信息更新物体知识库，而无需重新训练模型。
本发明通过引入物体知识库，实现对需识别目标的动态配置，同时可以对餐盘从属分类进行分级管理和识别，支持通过知识库动态更新识别模型，无序重新训练，降低***运维成本和难度。
基于上述实施例，所述采集目标餐盘图像，包括：采集目标餐盘的视频信息；从所述视频信息中抽取至少一帧图像作为所述目标餐盘图像。
在餐盘识别过程中，通过餐盘检测区域的摄像头采集目标餐盘的视频信息，然后从视频信息中抽取至少一帧图像作为目标餐盘图像。例如，采用视频抽帧方式获取目标餐盘图像，其中，视频抽帧是指在一段视频中，通过设定时间间隔抽取视频帧。
可选地，还可以预先对采集的视频信息进行识别，基于识别结果确定存在目标餐盘的视频帧，然后对这些视频帧进行抽取。
本发明实施例通过采集目标餐盘的视频信息；从视频信息中抽取至少一帧图像作为所述目标餐盘图像，如此，提高了图像采集的效率，继而提高餐盘识别效率。
图2是本发明提供的餐盘识别***的结构示意图，参照图2，本发明的实施例提供了一种餐盘识别***，包括：
采集模块，用于采集目标餐盘图像；
图像实例分割模块，用于将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；
物体知识库模块，用于管理物体知识库；
餐盘识别模块，用于根据所述第一特征信息以及所述物体知识库对所述目标餐盘图像进行餐盘识别。
例如，采集模块通过餐盘检测区域的摄像头采集目标餐盘的视频信息，然后采用视频抽帧方式从视频信息中抽取至少一帧图像作为目标餐盘图像。
图像实例分割模块采用餐盘识别模型对目标餐盘图像中所有物体实例进行分割，得到所有目标餐盘的第一特征信息，如位置、形状、纹理以及颜色等。
物体知识库模块用于管理物体知识库，包括管理物体的形状、纹理和颜色等信息，以及物体之间类别的从属关系等信息。
餐盘识别模块通过结合实例分割结果和物体知识库的数据进行多模态融合，得到目标餐盘图像中所有餐盘概率比较高的前N项餐盘类别ID及置信度，然后基于该餐盘类别ID及置信度确定目标餐盘图像中的餐盘类型。
其中，餐盘识别***还包括结果返回模块，用于将模型推理服务封装成API接口供外部***调用。
参考图3，在本发明实施例中，基于餐盘识别***进行餐盘识别的步骤如下所示：
（1）获取抽帧后的图像，采用餐盘识别模型对该图像进行实例分割；
（2）基于分割结果判断图像中是否包含目标对象，即目标餐盘；
（3）如果包括目标对象，则结合物体知识库，对所有目标对象进行分类；如果不包括目标对象，则说明该目标对象没有指定款式餐盘；
（4）基于分类结果判定是否出现指定款式餐盘；
（5）如果出现指令款式餐盘，则返回餐盘的形状、纹理特征、颜色等信息。
本发明实施例通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现对目标餐盘的动态配置，同时可以对餐盘从属分类进行分级管理和识别，支持通过物体知识库动态更新餐盘识别模型，无需重新训练，降低***运维成本和难度。
本发明的实施例提供了一种餐盘识别装置，包括第一采集模块，第一图像实例分割模块和第一餐盘识别模块。
所述第一采集模块，用于采集目标餐盘图像；
所述第一图像实例分割模块，用于将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
所述第一餐盘识别模块，用于根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
本发明实施例提供的餐盘识别装置，通过采集目标餐盘图像；将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。本发明通过采集实例分割技术和物体知识库进行餐盘识别，提升了餐盘识别准确率，实现了对需识别目标形状、纹理和颜色等信息的灵活配置。
在一个实施例中，所述餐盘识别装置还包括训练模块，所述训练模块具体用于：
采集多帧餐盘样本图像；
对任一帧所述餐盘样本图像进行数据增强，并确定每帧所述餐盘样本图像的分类标签，以构建多个所述训练样本；
利用多个所述训练样本对预先构建的实例分割模型进行训练，得到所述餐盘识别模型。
在一个实施例中，所述训练模块具体用于：
确定每帧所述餐盘样本图像的像素信息；
基于所述像素信息对每帧所述餐盘样本图像中每个像素点进行数据标注，得到所述分类标签。
在一个实施例中，所述餐盘识别装置还包括知识库确定模块，所述知识库确定模块具体用于：
确定不同餐盘类型对应的第二特征信息，以建立所述餐盘类型与所述第二特征信息的映射信息；
基于所述映射信息确定所述物体知识库。
在一个实施例中，所述第一餐盘识别模块具体用于：
将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配，以基于匹配结果确定目标餐盘的餐盘类型；
根据所述目标餐盘的餐盘类型的置信度，确定所述目标餐盘的餐盘类型。
在一个实施例中，所述第一餐盘识别模块还包括：
若所述匹配结果为所述第一特征信息与所述第二特征信息不匹配，则基于所述第一特征信息更新所述物体知识库。
在一个实施例中，所述第一采集模块具体用于：
采集目标餐盘的视频信息；
从所述视频信息中抽取至少一帧图像作为所述目标餐盘图像。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行餐盘识别方法，该方法包括：
采集目标餐盘图像；
将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的餐盘识别方法，该方法包括：
采集目标餐盘图像；
将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种餐盘识别方法，其特征在于，包括：
采集目标餐盘图像；
将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；所述餐盘识别模型是采用训练样本对预先构建的实例分割模型进行训练后得到的；
根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别。
2.根据权利要求1所述的餐盘识别方法，其特征在于，所述餐盘识别模型基于以下步骤获得：
采集多帧餐盘样本图像；
对任一帧所述餐盘样本图像进行数据增强，并确定每帧所述餐盘样本图像的分类标签，以构建多个所述训练样本；
利用多个所述训练样本对预先构建的实例分割模型进行训练，得到所述餐盘识别模型。
3.根据权利要求2所述的餐盘识别方法，其特征在于，所述确定每帧所述餐盘样本图像的分类标签，包括：
确定每帧所述餐盘样本图像的像素信息；
基于所述像素信息对每帧所述餐盘样本图像中每个像素点进行数据标注，得到所述分类标签。
4.根据权利要求1所述的餐盘识别方法，其特征在于，确定所述物体知识库，包括：
确定不同餐盘类型对应的第二特征信息，以建立所述餐盘类型与所述第二特征信息的映射信息；
基于所述映射信息确定所述物体知识库。
5.根据权利要求4所述的餐盘识别方法，其特征在于，所述根据所述第一特征信息以及物体知识库对所述目标餐盘图像进行餐盘识别，包括：
将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配，以基于匹配结果确定目标餐盘的餐盘类型；
根据所述目标餐盘的餐盘类型的置信度，确定所述目标餐盘的餐盘类型。
6.根据权利要求5所述的餐盘识别方法，其特征在于，所述将所述第一特征信息与所述物体知识库中的所述第二特征信息进行匹配之后，还包括：
若所述匹配结果为所述第一特征信息与所述第二特征信息不匹配，则基于所述第一特征信息更新所述物体知识库。
7.根据权利要求1所述的餐盘识别方法，其特征在于，所述采集目标餐盘图像，包括：
采集目标餐盘的视频信息；
从所述视频信息中抽取至少一帧图像作为所述目标餐盘图像。
8.一种餐盘识别***，其特征在于，应用于上述权利要求1至7中任一项的餐盘识别方法，包括：
采集模块，用于采集目标餐盘图像；
图像实例分割模块，用于将所述目标餐盘图像输入至餐盘识别模型，以获取由所述餐盘识别模型输出的第一特征信息；
物体知识库模块，用于管理物体知识库；
餐盘识别模块，用于根据所述第一特征信息以及所述物体知识库对所述目标餐盘图像进行餐盘识别。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述餐盘识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述餐盘识别方法。
CN202211283750.5A 2022-10-20 2022-10-20 餐盘识别方法、***、电子设备和存储介质 Pending CN115346110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211283750.5A CN115346110A (zh) 2022-10-20 2022-10-20 餐盘识别方法、***、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211283750.5A CN115346110A (zh) 2022-10-20 2022-10-20 餐盘识别方法、***、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115346110A true CN115346110A (zh) 2022-11-15

Family

ID=83957074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211283750.5A Pending CN115346110A (zh) 2022-10-20 2022-10-20 餐盘识别方法、***、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115346110A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别***的计价方法
CN107992871A (zh) * 2017-12-21 2018-05-04 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法
CN111178136A (zh) * 2019-12-03 2020-05-19 广东马上信息科技有限公司 一种基于大数据的智慧校园身份识别方法及***
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和***
CN114708555A (zh) * 2022-04-18 2022-07-05 刘文珍 基于数据处理的森林防火监控方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096932A (zh) * 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别***的计价方法
CN107992871A (zh) * 2017-12-21 2018-05-04 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法
CN111178136A (zh) * 2019-12-03 2020-05-19 广东马上信息科技有限公司 一种基于大数据的智慧校园身份识别方法及***
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和***
CN114708555A (zh) * 2022-04-18 2022-07-05 刘文珍 基于数据处理的森林防火监控方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨露菁 等: "《智能图像处理及应用》", 31 March 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503614A (zh) * 2023-04-27 2023-07-28 杭州食方科技有限公司 餐盘形状特征提取网络训练方法和餐盘形状信息生成方法

Similar Documents

Publication Publication Date Title
Aguilar et al. Grab, pay, and eat: Semantic food detection for smart restaurants
CN109670532B (zh) 生物体器官组织图像的异常识别方法、装置及***
CN111898547B (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN108596046A (zh) 一种基于深度学习的细胞检测计数方法及***
CN106845513B (zh) 基于条件随机森林的人手检测器及方法
CN110781805B (zh) 一种目标物体检测方法、装置、计算设备和介质
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视***
CN111476319B (zh) 商品推荐方法、装置、存储介质和计算设备
CN107169106A (zh) 视频检索方法、装置、存储介质及处理器
CN109829072A (zh) 构建图谱方法及相关装置
CN111680603A (zh) 一种菜品检测和识别方法
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
Shetty et al. Segmentation and labeling of documents using conditional random fields
CN111275060A (zh) 识别模型更新处理方法、装置、电子设备及存储介质
Rossi et al. FishAPP: A mobile App to detect fish falsification through image processing and machine learning techniques
US11600088B2 (en) Utilizing machine learning and image filtering techniques to detect and analyze handwritten text
CN112581438A (zh) 切片图像识别方法、装置和存储介质及电子设备
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN115346110A (zh) 餐盘识别方法、***、电子设备和存储介质
CN110097603B (zh) 一种时尚图像主色调解析方法
CN110956157A (zh) 基于候选框选择的深度学习遥感影像目标检测方法及装置
CN112950658A (zh) 一种光盘评定方法、装置、设备及存储介质
Zhu et al. Scene text relocation with guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221115