CN110852733A - 一种基于rfid融合菜品图像匹配识别的智能餐饮结算*** - Google Patents

一种基于rfid融合菜品图像匹配识别的智能餐饮结算*** Download PDF

Info

Publication number
CN110852733A
CN110852733A CN201911007739.4A CN201911007739A CN110852733A CN 110852733 A CN110852733 A CN 110852733A CN 201911007739 A CN201911007739 A CN 201911007739A CN 110852733 A CN110852733 A CN 110852733A
Authority
CN
China
Prior art keywords
dish
information
dinner plate
algorithm
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911007739.4A
Other languages
English (en)
Inventor
许来钊
柳培海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xuequan Intelligent Technology Co Ltd
Original Assignee
Hangzhou Xuequan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xuequan Intelligent Technology Co Ltd filed Critical Hangzhou Xuequan Intelligent Technology Co Ltd
Priority to CN201911007739.4A priority Critical patent/CN110852733A/zh
Publication of CN110852733A publication Critical patent/CN110852733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0008—General problems related to the reading of electronic memory record carriers, independent of its reading method, e.g. power transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，配置有图像采集装置、射频单元、餐盘结算感应餐台、以及一套基于AI图像识别算法的软件算法和智能结算管理软件***。本***让RFID射频技术解决菜品价格的灵活设定和管理，AI图像识别菜品名称和成分，实现智能餐饮结算。射频单元固定在餐盘上，与射频无线感应读写器实现对菜品价格的二次灵活匹配绑定，与餐盘结算感应餐台自助、智能结算。菜品特征数据库存储有样品特征信息，菜品匹配识别模块用于接收菜品采集到的图像，与菜品特征数据库中的样品特征信息进行匹配和识别，根据AI图像识别算法处理输出菜品相关信息，实现食堂、快餐厅智能结算和就餐者个性化服务。

Description

一种基于RFID融合菜品图像匹配识别的智能餐饮结算***
技术领域
本发明涉及智能餐饮结算技术领域，尤其是涉及一种基于RFID融合菜品图像匹配识别的智能餐饮结算***。
背景技术
现有的RFID智能餐饮结算***，首先需要消费者到菜品窗口进行自主选菜，接着消费者要将装有菜品的餐盘放到指定的餐盘感应区内，通过识别餐盘底部内置的写入固定价格的RFID射频芯片进行菜品计价。但是由于其本身***设计较为复杂，可靠性不高，不能完全满足餐饮结算高效，快捷以及准确的需求。这种结算方式主要存在如下几方面缺陷：
(1)由于每个盛放菜品的餐盘都被植入了指定价格标签的RFID射频芯片，当把不同价位的菜品放入同一个餐盘时，就会产生计价错误，损害商家和消费者的利益；
(2)由于其本身***的不稳定性，在具体结算过程中，也不能很好的保持高效和快捷的结算效率。
发明内容
本发明的目的在于提供了一种智能识别菜品并快速进行价格结算的基于RFID以及菜品匹配识别的智能餐饮结算***。
为实现上述目的，本发明采取的技术方案为：一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，配置有图像采集装置，
所述基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括餐盘分割方法、菜品识别方法，
所述餐盘分割方法包括餐盘分割策略，所述餐盘分割策略为获取图像采集装置拍摄的餐盘图像信息作为待识别的餐盘图像信息；餐盘分割算法根据餐盘分割算法参数从所述待分割的餐盘图像信息中划分得到待识别餐盘区域；
所述菜品识别方法包括菜品识别策略以及菜品对比策略，所述菜品识别策略将获得的待识别餐盘区域作为待识别的图像信息，菜品识别算法根据菜品识别参数从待识别的图像信息中提取得到待识别的菜品特征信息；
菜品比对策略，比对算法将待识别的菜品特征信息与数据库中的标准菜品特征信息进行对比得到待识别菜品的菜品信息。
作为本发明的进一步改进，所述数据库的构建方法为：获取菜品图像信息作为待入库的图像信息，所述菜品识别算法根据所述菜品识别参数从待入库的图像信息中提取得到待入库的菜品特征信息，将待入库的菜品特征信息输入数据库得到标准菜品特征信息。
作为本发明的进一步改进，所述基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括出菜子***，所述出菜子***配置有射频单元、价格输入装置以及用于放置餐盘的配菜感应区，所述射频单元固定于用于盛放菜品的餐盘上，所述射频单元配置有RFID射频芯片，所述射频单元配置有独立的餐盘编码信息，当所述射频单元进入配菜感应区时，所述配菜感应区获取所述餐盘编码信息，当所述射频单元放置在价格输入装置上或进入配菜感应区时，所述价格输入装置或配菜感应区获取所述餐盘编码信息；
所述出菜子***还包括射频识别模块以及后台服务器，所述后台服务器配置有价格数据库，所述射频识别模块包括价格输入单元以及上传单元，所述价格输入单元用于识别餐盘编码信息，并将识别的餐盘编码信息以及菜品价格信息传输到上传单元，所述上传单元用于将餐盘编码信息以及菜品价格数据上传到后台服务器中的价格数据库中，所述后台服务器用于识别餐盘编码信息，并以所述餐盘编码信息为索引从价格数据库中获取对应的价格以输出菜品结算信息。
作为本发明的进一步改进，所述价格输入装置包括固定价格输入装置，所述价格输入单元配置为固定价格输入单元，所述固定价格输入单元用于识别餐盘编码信息，并将识别的餐盘编码信息以及固定价格输入单元中设定的菜品价格信息传输给上传单元。
作为本发明的进一步改进，所述价格输入装置包括手动价格输入装置，所述价格输入单元配置为手动价格输入单元，所述手动价格输入单元用于识别餐盘编码信息，并将识别的餐盘编码信息以及手动输入的菜品价格信息传输给上传单元。
作为本发明的进一步改进，所述餐盘分割方法还包括餐盘训练策略，
所述餐盘训练策略包括以下步骤：
餐盘配置步骤，获取餐盘图像信息作为待标记的餐盘图像信息，划分所述待标记的餐盘图像信息得到餐盘标记区域；
餐盘训练步骤，获取餐盘图像信息作为待训练的餐盘图像信息，所述餐盘分割算法根据餐盘分割参数划分所述待训练的餐盘图像信息得到餐盘分割区域；
餐盘误差步骤，餐盘误差算法根据餐盘标记区域和对应的餐盘分割区域的产值生成餐盘分割误差信息；
餐盘修正步骤，根据所述餐盘分割误差信息修正所述餐盘分割算法参数。
作为本发明的进一步改进，所述餐盘分割算法配置有以下子算法，
在输入的餐盘图像信息***添加3层全0行；
卷积操作并紧跟一个批量正则化层，使用Relu函数作为激活函数进行激活，最后使用最大池化层；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理两次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理四次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
使用平均池化层进行降维处理，最后再使用两个全连接层进行处理，
所述第一优化子算法包括对输入的餐盘图像信息进行卷积操作和批量正则化后得到第一优化信息；对输入的餐盘图像信息先进行卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，然后进行第二次卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，最后再进行一次卷积操作和一个批量正则化层得到第二优化信息，将第一优化信息和第二优化信息进行相加得到第三优化信息，最后使用Relu函数作为激活函数，
所述第二优化子算法包括对输入的餐盘图像信息进行卷积操作，紧跟一个批量正则化层和Relu函数，最后再使用一次卷积操作和一个批量正则化层，得到第四优化处理信息，分割区域信息与第四优化处理信息进行相加得到第五优化处理信息，最后再使用Relu函数作为激活函数，
所述卷积操作配置有第一餐盘识别子参数，所述卷积操作通过所述第一餐盘识别子参数识别所述待分割的餐盘图像信息，所述餐盘分割算法参数包括所述第一餐盘识别子参数。
作为本发明的进一步改进，所述菜品识别方法还包括菜品训练策略，
所述菜品训练策略包括以下步骤：
基准菜品特征信息获取步骤，获取菜品一的图像信息作为第一图像信息，所述菜品识别算法根据菜品识别参数从第一图像信息中提取得到基准菜品特征信息；
同类菜品特征信息获取步骤，获取和菜品一同类的菜品二的图像信息作为第二图像信息，所述菜品识别算法根据菜品识别参数从第二图像信息中提取得到同类菜品特征信息；
同类菜品相似度获取步骤，相似度识别算法根据提取得到的所述基准菜品特征信息和所述同类菜品特征信息，计算得到菜品一与菜品二的第一相似度值；
异类特征信息获取步骤，获取和菜品一异类的菜品三的图像信息作为第三图像信息，所述菜品识别算法根据菜品识别参数从第三图像信息中提取得到异类菜品特征信息；
异类菜品相似度获取步骤，相似度识别算法根据提取得到的所述基准菜品特征信息和所述异类菜品特征信息，计算得到菜品一与菜品三的第二相似度值；
菜品误差信息获取步骤，菜品误差算法根据第一相似度值和第二相似度值生成综合误差信息；
菜品识别参数修正步骤，根据所述综合误差信息修正所述菜品识别参数。
作为本发明的进一步改进，所述相似度识别算法具体为计算基准菜品特征信息与同类菜品特征信息或基准菜品特征信息与异类菜品特征信息之间的欧氏距离。
作为本发明的进一步改进，所述菜品误差算法具体为第一相似度减去第二相似度加上一个大于零的常数a，若计算结果小于0，则菜品误差默认取0。
与现有技术相比，本发明的有益效果为：
1、本发明设有用于学习的餐盘训练策略，利用庞大丰富的数据令其进行深度学习，提高算法的健壮性和泛化能力，能快速、准确地分割得到餐盘图像信息中餐盘分割区域。并设有用于实际分割餐盘的餐盘分割策略，餐盘分割算法根据餐盘分割算法参数从待分割的餐盘图像信息中划分得到待识别餐盘区域；
2、本发明包括了用于学习的菜品训练策略，利用庞大丰富的数据令其进行深度学习，提高算法的健壮性和泛化能力，能快速、准确地识别得到菜品图像信息中丰富的菜品特征信息。并且采用比对算法将所述待识别的菜品特征信息与数据库中的标准菜品特征信息进行比对，得到待识别菜品的菜品信息；
3、采用硬件和软件相结合，实现内置RFID射频芯片的餐具和菜品价格可动态捆绑，结合价格数据库实现实时配对，在结算阶段实时读取价格数据库的方式完成菜品的结算计价，其***灵活性更高且操作人员操作更加便捷方便；
4、不需要将菜品价格二次写入餐具内置的RFID芯片，提高本发明***稳定性更好、效率更高、操作更便捷。
附图说明
图1为餐品识别模块、菜品识别模块以及菜品对比模块识别菜品内容信息的流程图；
图2为射频单元与射频识别模块识别菜品结算信息的流程图；
图3为餐品训练模块进行修正第一餐品识别参数及用此参数对餐盘区域进行识别的流程图；
图4为菜品训练模块进行修正第一菜品识别参数及用此参数对菜品进行识别的流程图；
附图标记：1、射频单元；2、固定价格输入单元；3、手动价格输入单元；4、上传单元；5、后台服务器。
具体实施方式
下面结合附图和实施例，对本发明进一步详细说明。
实施例1：
一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，配置有图像采集装置，
基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括餐盘分割方法、菜品识别方法，
如图1所示，餐盘分割方法包括餐盘分割策略，餐盘分割策略为获取图像采集装置拍摄的餐盘图像信息作为待识别的餐盘图像信息；餐盘分割算法根据餐盘分割算法参数从待分割的餐盘图像信息中划分得到待识别餐盘区域。以以下内容，对餐盘分割策略进行说明，
摄像机通过拍摄待结算的菜品得到餐盘图像信息(如包含勺子的装有菜品的餐盘)；
餐盘分割算法根据餐盘分割算法参数从待分割的餐盘图像信息中划分得到待识别餐盘区域(如包含餐盘的圆形区域)。
菜品识别方法包括菜品识别策略以及菜品对比策略，菜品识别策略将获得的待识别餐盘区域作为待识别的图像信息，菜品识别算法根据菜品识别参数从待识别的图像信息中提取得到待识别的菜品特征信息；
菜品比对策略，比对算法将待识别的菜品特征信息与数据库中的标准菜品特征信息进行对比得到待识别菜品的菜品信息。以以下内容，对对菜品识别策略以及菜品比对策略进行说明，
获取菜品图像信息作为待识别的图像信息(如装有油麦菜的餐盘)，菜品识别算法根据菜品识别参数从待识别的图像信息中提取得到待识别的菜品特征信息(如菜叶和菜杆)；
比对算法将待识别的菜品特征信息与数据库中的标准菜品特征信息进行对比得到待识别菜品的菜品信息(绿色蔬菜类)。
作为本发明的进一步改进，数据库的构建方法为：获取菜品图像信息作为待入库的图像信息，菜品识别算法根据菜品识别参数从待入库的图像信息中提取得到待入库的菜品特征信息，将待入库的菜品特征信息输入数据库得到标准菜品特征信息。
如图2所示，作为本发明的进一步改进，基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括出菜子***，出菜子***配置有射频单元1、固定价格输入装置以及用于放置餐盘的配菜感应区，射频单元1固定于用于盛放菜品的餐盘上，射频单元1配置有RFID射频芯片，射频单元1配置有独立的餐盘编码信息，当射频单元1进入配菜感应区时，配菜感应区获取餐盘编码信息，当射频单元1放置在固定价格输入装置上或进入配菜感应区时，固定价格输入装置或配菜感应区获取餐盘编码信息；
出菜子***还包括射频识别模块以及后台服务器5，后台服务器5配置有价格数据库，射频识别模块包括固定价格输入单元2以及上传单元4，固定价格输入单元2用于识别餐盘编码信息，并将识别的餐盘编码信息以及菜品价格信息传输到上传单元4，上传单元4用于将餐盘编码信息以及菜品价格数据上传到后台服务器5中的价格数据库中，后台服务器5用于识别餐盘编码信息，并以餐盘编码信息为索引从价格数据库中获取对应的价格以输出菜品结算信息。以以下内容，对射频识别模块进行说明，
两个不同菜品价格的打菜区分别设有一个设定的价格不同的固定价格输入装置，工作人员将打好菜的餐盘(如ID号为001)放置在固定价格输入装置上，此时固定价格单元将餐盘的餐盘编码信息和固定设好的菜品价格信息(如001，15元)通过上传单元4上传到价格数据库；工作人员将另一个打菜区的打好菜的餐盘(如ID号为002)放置在另一个固定价格输入装置上，此时固定价格单元将餐盘的餐盘编码信息和固定设好的菜品价格信息(如002，20元)通过上传单元4上传到价格数据库；消费人员将两份不同餐盘编码信息的装有菜品的餐盘(如ID号分别为001，002)放入配菜感应区，配菜感应区获取上述两份装有菜品的餐盘的餐盘编码信息(如001，002)，后台服务器5以餐盘编码信息(如001，002)为索引从价格数据库中获取对应的价格信息(如15元，20元)并输出菜品结算信息(如共35元)。
射频单元1与餐盘可拆卸连接。射频单元1与餐盘卡接。射频单元1与餐盘粘接。当餐盘或射频单元1损坏时，拆除损坏的餐盘或射频单元1并更换上完好的餐盘或射频单元1，可避免餐盘和射频单元1射需要同时丢弃。
如图3所示，作为本发明的进一步改进，餐盘分割方法还包括餐盘训练策略，
餐盘训练策略包括以下步骤：
餐盘配置步骤，获取餐盘图像信息作为待标记的餐盘图像信息，划分待标记的餐盘图像信息得到餐盘标记区域；
餐盘训练步骤，获取餐盘图像信息作为待训练的餐盘图像信息，餐盘分割算法根据餐盘分割参数划分待训练的餐盘图像信息得到餐盘分割区域。以以下内容，对餐盘训练策略进行说明，
摄像机通过拍摄待结算的菜品得到餐盘图像信息(如包含餐盘的图片)；通过手动标注的方式得到餐盘标记区域(如包含餐盘的圆形区域)；
获取上述摄像机拍摄的子图得到待训练的餐盘图像信息(如包含餐盘的图片)，餐盘分割算法根据餐盘分割算法参数从待训练的餐盘图像信息中划分得到餐盘分割区域(如包含餐盘的椭圆形区域)
餐盘误差步骤，餐盘误差算法根据餐盘标记区域和对应的餐盘分割区域的产值生成餐盘分割误差信息。餐盘误差算法根据餐盘标记区域(如包含餐盘的圆形区域)和对应的餐盘分割区域(如包含餐盘的椭圆形区域)的差值生成餐盘误差信息。餐盘误差算法配置为损失函数L，
L＝Lels+Lbax+Lmask
其中Lels是对目标类别进行预测的损失函数，它反映了菜品真实种类和预测种类之间的差距程度；Lbax是对目标位置的进行预测的损失函数，它反映了图中菜品实际坐标位置与预测的菜品坐标位置之间的差距；Lmask是对目标进行语义分割的损失函数，它反映了菜品实际像素位置和预测的菜品像素位置之间的差距。
餐盘修正步骤，根据餐盘分割误差信息修正餐盘分割算法参数。
作为本发明的进一步改进，餐盘分割算法配置有以下子算法，
在输入的餐盘图像信息***添加3层全0行；
卷积操作并紧跟一个批量正则化层，使用Relu函数作为激活函数进行激活，最后使用最大池化层；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理两次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理四次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
使用平均池化层进行降维处理，最后再使用两个全连接层进行处理，
第一优化子算法包括对输入的餐盘图像信息进行卷积操作和批量正则化后得到第一优化信息；对输入的餐盘图像信息先进行卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，然后进行第二次卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，最后再进行一次卷积操作和一个批量正则化层得到第二优化信息，将第一优化信息和第二优化信息进行相加得到第三优化信息，最后使用Relu函数作为激活函数，
第二优化子算法包括对输入的餐盘图像信息进行卷积操作，紧跟一个批量正则化层和Relu函数，最后再使用一次卷积操作和一个批量正则化层，得到第四优化处理信息，分割区域信息与第四优化处理信息进行相加得到第五优化处理信息，最后再使用Relu函数作为激活函数，
卷积操作配置有第一餐盘识别子参数，卷积操作通过第一餐盘识别子参数识别待分割的餐盘图像信息，餐盘分割算法参数包括第一餐盘识别子参数。
如图4所示，作为本发明的进一步改进，菜品识别方法还包括菜品训练策略，
菜品训练策略包括以下步骤：
基准菜品特征信息获取步骤，获取菜品一的图像信息作为第一图像信息，菜品识别算法根据菜品识别参数从第一图像信息中提取得到基准菜品特征信息；
同类菜品特征信息获取步骤，获取和菜品一同类的菜品二的图像信息作为第二图像信息，菜品识别算法根据菜品识别参数从第二图像信息中提取得到同类菜品特征信息；
同类菜品相似度获取步骤，相似度识别算法根据提取得到的基准菜品特征信息和同类菜品特征信息，计算得到菜品一与菜品二的第一相似度值；
异类特征信息获取步骤，获取和菜品一异类的菜品三的图像信息作为第三图像信息，菜品识别算法根据菜品识别参数从第三图像信息中提取得到异类菜品特征信息；
异类菜品相似度获取步骤，相似度识别算法根据提取得到的基准菜品特征信息和异类菜品特征信息，计算得到菜品一与菜品三的第二相似度值；
菜品误差信息获取步骤，菜品误差算法根据第一相似度值和第二相似度值生成综合误差信息；
菜品识别参数修正步骤，根据综合误差信息修正菜品识别参数。以以下内容，对菜品训练策略进行说明，
获取菜品一的图像信息作为第一图像信息(如装有油麦菜的餐盘)，菜品识别算法根据菜品识别参数从第一图像信息中提取得到基准菜品特征信息(如菜叶和菜杆)；
获取和菜品一同类的菜品二的图像信息作为第二图像信息(如装有生菜的餐盘)，菜品识别算法根据菜品识别参数从第二图像信息中提取得到同类菜品特征信息(如菜叶和菜杆)；
相似度识别算法计算提取得到的基准菜品特征信息和同类菜品特征信息之间的欧氏距离，计算得到菜品一与菜品二的第一相似度值；
获取和菜品一异类的菜品三的图像信息作为第三图像信息(如装有红烧肉的餐盘)，菜品识别算法根据菜品识别参数从第三图像信息中提取得到异类菜品特征信息(如肉皮和肥肉)；
相似度识别算法计算提取得到的基准菜品特征信息和异类菜品特征信息之间的欧氏距离，计算得到菜品一与菜品三的第二相似度值；
菜品误差信息获取步骤，第一相似度减去第二相似度加上一个大于零的常数a，若计算结果小于0，则菜品误差默认取0生成综合误差信息。
具体计算公式为：
Value＝S1+a-S2
菜品误差＝max{value，0}
S1:第一相似度
S2:第二相似度
a：大于0的常数；
菜品识别参数修正步骤，根据综合误差信息修正菜品识别参数。
实施例2：
将固定价格输入装置替换为手动价格输入装置，固定价格输入单元2替换为手动价格输入单元3，手动价格输入单元3用于识别餐盘编码信息，并将识别的餐盘编码信息以及手动输入的菜品价格信息通过上传单元4上传到价格数据库。
以以下内容，对射频识别模块进行说明，
一个打菜区放置有不同价格的菜品，一个打菜区设有一个手动价格输入装置，工作人员将打好菜的餐盘(如ID号为003)放置在手动价格输入装置上，并手动输入菜品价格信息(如10元)，此时手动价格单元将餐盘的餐盘编码信息和手动输入的菜品价格信息(如003,10元)通过上传单元4上传到价格数据库；工作人员将另一个打好菜的餐盘(如ID号为004)放置在手动价格输入装置上，并手动输入菜品价格信息(如30元)，此时手动价格单元将餐盘的餐盘编码信息和手动输入的菜品价格信息(如004,30元)通过上传单元4上传到价格数据库；消费人员将两份不同餐盘编码信息的装有菜品的餐盘(如ID号分别为003，004)放入配菜感应区，配菜感应区获取上述两份装有菜品的餐盘的餐盘编码信息(如003，004)，后台服务器5以餐盘编码信息(如003，004)为索引从价格数据库中获取对应的价格信息(如10元,30元)并输出菜品结算信息(如共40元)。
实施例3：
与实施例1不同之处在于出菜子***还配置有手动价格输入装置，射频识别模块还包括手动价格输入单元3，手动价格输入单元3用于识别餐盘编码信息，并将识别的餐盘编码信息以及手动输入的菜品价格信息传输给价格数据库。
以以下内容，对射频识别模块进行说明，
一共有三个打菜区，其中两个打菜区分别设有一个设定的价格不同的固定价格输入装置，最后一个打菜区设有一个手动价格输入装置。工作人员将打好菜的餐盘(如ID号为005)放置在固定价格输入装置上，此时固定价格单元将餐盘的餐盘编码信息和固定设好的菜品价格信息(如005,15元)通过上传单元4上传到价格数据库；工作人员将另一个打菜区的打好菜的餐盘(如ID号为006)放置在另一个固定价格输入装置上，此时固定价格单元将餐盘的餐盘编码信息和固定设好的菜品价格信息(如006,20元)通过上传单元4上传到价格数据库；工作人员将打好菜的餐盘(如ID号为007)放置在手动价格输入装置上，并手动输入菜品价格信息(如10元)，此时手动价格单元将餐盘的餐盘编码信息和手动输入的菜品价格信息(如10元)通过上传单元4上传到价格数据库；工作人员将另一个打好菜的餐盘(如ID号为008)放置在手动价格输入装置上，并手动输入菜品价格信息(如30元)，此时手动价格单元将餐盘的餐盘编码信息和手动输入的菜品价格信息(如008,30元)通过上传单元4上传到价格数据库；消费人员将四份不同餐盘编码信息的装有菜品的餐盘(如ID号分别为005，006，007，008)放入配菜感应区，配菜感应区获取上述四份装有菜品的餐盘的餐盘编码信息(如ID号分别为005，006，007，008)，后台服务器5以餐盘编码信息(如ID号分别为005，006，007，008)为索引从价格数据库中获取对应的价格信息(如15元，20元，10元,30元)并输出菜品结算信息(如共75元)。
以上对本发明的一个实施例进行了详细说明，但内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于配置有图像采集装置，
所述基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括餐盘分割方法、菜品识别方法，
所述餐盘分割方法包括餐盘分割策略，所述餐盘分割策略为获取图像采集装置拍摄的餐盘图像信息作为待识别的餐盘图像信息；餐盘分割算法根据餐盘分割算法参数从所述待分割的餐盘图像信息中划分得到待识别餐盘区域；
所述菜品识别方法包括菜品识别策略以及菜品对比策略，所述菜品识别策略将获得的待识别餐盘区域作为待识别的图像信息，菜品识别算法根据菜品识别参数从待识别的图像信息中提取得到待识别的菜品特征信息；
菜品比对策略，比对算法将待识别的菜品特征信息与数据库中的标准菜品特征信息进行对比得到待识别菜品的菜品信息。
2.根据权利要求1所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述数据库的构建方法为：获取菜品图像信息作为待入库的图像信息，所述菜品识别算法根据所述菜品识别参数从待入库的图像信息中提取得到待入库的菜品特征信息，将待入库的菜品特征信息输入数据库得到标准菜品特征信息。
3.根据权利要求1所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述基于RFID融合菜品图像匹配识别的智能餐饮结算***还包括出菜子***，所述出菜子***配置有射频单元(1)、价格输入装置以及用于放置餐盘的配菜感应区，所述射频单元(1)固定于用于盛放菜品的餐盘上，所述射频单元(1)配置有RFID射频芯片，所述射频单元(1)配置有独立的餐盘编码信息，当所述射频单元(1)进入配菜感应区时，所述配菜感应区获取所述餐盘编码信息，当所述射频单元(1)放置在价格输入装置上或进入配菜感应区时，所述价格输入装置或配菜感应区获取所述餐盘编码信息；
所述出菜子***还包括射频识别模块以及后台服务器(5)，所述后台服务器(5)配置有价格数据库，所述射频识别模块包括价格输入单元以及上传单元(4)，所述价格输入单元用于识别餐盘编码信息，并将识别的餐盘编码信息以及菜品价格信息传输到上传单元(4)，所述上传单元(4)用于将餐盘编码信息以及菜品价格数据上传到后台服务器(5)中的价格数据库中，所述后台服务器(5)用于识别餐盘编码信息，并以所述餐盘编码信息为索引从价格数据库中获取对应的价格以输出菜品结算信息。
4.根据权利要求3所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述价格输入装置包括固定价格输入装置，所述价格输入单元配置为固定价格输入单元(2)，所述固定价格输入单元(2)用于识别餐盘编码信息，并将识别的餐盘编码信息以及固定价格输入单元(2)中设定的菜品价格信息传输给上传单元(4)。
5.根据权利要求3所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述价格输入装置包括手动价格输入装置，所述价格输入单元配置为手动价格输入单元(3)，所述手动价格输入单元(3)用于识别餐盘编码信息，并将识别的餐盘编码信息以及手动输入的菜品价格信息传输给上传单元(4)。
6.根据权利要求1所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述餐盘分割方法还包括餐盘训练策略，
所述餐盘训练策略包括以下步骤：
餐盘配置步骤，获取餐盘图像信息作为待标记的餐盘图像信息，划分所述待标记的餐盘图像信息得到餐盘标记区域；
餐盘训练步骤，获取餐盘图像信息作为待训练的餐盘图像信息，所述餐盘分割算法根据餐盘分割参数划分所述待训练的餐盘图像信息得到餐盘分割区域；
餐盘误差步骤，餐盘误差算法根据餐盘标记区域和对应的餐盘分割区域的产值生成餐盘分割误差信息；
餐盘修正步骤，根据所述餐盘分割误差信息修正所述餐盘分割算法参数。
7.根据权利要求1或6所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述餐盘分割算法配置有以下子算法，
在输入的餐盘图像信息***添加3层全0行；
卷积操作并紧跟一个批量正则化层，使用Relu函数作为激活函数进行激活，最后使用最大池化层；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理两次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理四次；
第一优化子算法进行处理，然后第二优化子算法进行处理并重复第二优化子算法再处理一次；
使用平均池化层进行降维处理，最后再使用两个全连接层进行处理，
所述第一优化子算法包括对输入的餐盘图像信息进行卷积操作和批量正则化后得到第一优化信息；对输入的餐盘图像信息先进行卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，然后进行第二次卷积操作，紧跟一个批量正则化层，使用Relu函数作为激活函数，最后再进行一次卷积操作和一个批量正则化层得到第二优化信息，将第一优化信息和第二优化信息进行相加得到第三优化信息，最后使用Relu函数作为激活函数，
所述第二优化子算法包括对输入的餐盘图像信息进行卷积操作，紧跟一个批量正则化层和Relu函数，最后再使用一次卷积操作和一个批量正则化层，得到第四优化处理信息，分割区域信息与第四优化处理信息进行相加得到第五优化处理信息，最后再使用Relu函数作为激活函数，
所述卷积操作配置有第一餐盘识别子参数，所述卷积操作通过所述第一餐盘识别子参数识别所述待分割的餐盘图像信息，所述餐盘分割算法参数包括所述第一餐盘识别子参数。
8.根据权利要求1所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述菜品识别方法还包括菜品训练策略，
所述菜品训练策略包括以下步骤：
基准菜品特征信息获取步骤，获取菜品一的图像信息作为第一图像信息，所述菜品识别算法根据菜品识别参数从第一图像信息中提取得到基准菜品特征信息；
同类菜品特征信息获取步骤，获取和菜品一同类的菜品二的图像信息作为第二图像信息，所述菜品识别算法根据菜品识别参数从第二图像信息中提取得到同类菜品特征信息；
同类菜品相似度获取步骤，相似度识别算法根据提取得到的所述基准菜品特征信息和所述同类菜品特征信息，计算得到菜品一与菜品二的第一相似度值；
异类特征信息获取步骤，获取和菜品一异类的菜品三的图像信息作为第三图像信息，所述菜品识别算法根据菜品识别参数从第三图像信息中提取得到异类菜品特征信息；
异类菜品相似度获取步骤，相似度识别算法根据提取得到的所述基准菜品特征信息和所述异类菜品特征信息，计算得到菜品一与菜品三的第二相似度值；
菜品误差信息获取步骤，菜品误差算法根据第一相似度值和第二相似度值生成综合误差信息；
菜品识别参数修正步骤，根据所述综合误差信息修正所述菜品识别参数。
9.根据权利要求8所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述相似度识别算法具体为计算基准菜品特征信息与同类菜品特征信息或基准菜品特征信息与异类菜品特征信息之间的欧氏距离。
10.根据权利要求8所述的一种基于RFID融合菜品图像匹配识别的智能餐饮结算***，其特征在于，所述菜品误差算法具体为第一相似度减去第二相似度加上一个大于零的常数a，若计算结果小于0，则菜品误差默认取0。
CN201911007739.4A 2019-10-22 2019-10-22 一种基于rfid融合菜品图像匹配识别的智能餐饮结算*** Pending CN110852733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007739.4A CN110852733A (zh) 2019-10-22 2019-10-22 一种基于rfid融合菜品图像匹配识别的智能餐饮结算***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007739.4A CN110852733A (zh) 2019-10-22 2019-10-22 一种基于rfid融合菜品图像匹配识别的智能餐饮结算***

Publications (1)

Publication Number Publication Date
CN110852733A true CN110852733A (zh) 2020-02-28

Family

ID=69597698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007739.4A Pending CN110852733A (zh) 2019-10-22 2019-10-22 一种基于rfid融合菜品图像匹配识别的智能餐饮结算***

Country Status (1)

Country Link
CN (1) CN110852733A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和***
CN111724548A (zh) * 2020-04-21 2020-09-29 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算***与结算方法
CN112508131A (zh) * 2020-12-28 2021-03-16 神思电子技术股份有限公司 一种基于芯片和深度学习的半自动菜品样本采集方法
CN112504419A (zh) * 2020-12-24 2021-03-16 河南工业大学 一种配菜动态自识别可扩展称重计量方法
CN112650866A (zh) * 2020-08-19 2021-04-13 上海志唐健康科技有限公司 一种基于图像语义深度学习的餐饮健康分析方法
CN114445614A (zh) * 2020-10-16 2022-05-06 技嘉科技股份有限公司 餐饮内容识别方法以及餐饮内容识别***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104464086A (zh) * 2014-11-17 2015-03-25 中国联合网络通信集团有限公司 一种智能饭菜计费方法、装置、***及勺子、刷卡机
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106251513A (zh) * 2016-07-29 2016-12-21 杭州雄伟科技开发股份有限公司 一种菜品结算的方法和***
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、***、装置及介质
WO2019119525A1 (zh) * 2017-12-21 2019-06-27 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法
CN110084642A (zh) * 2019-04-19 2019-08-02 哈尔滨新中新电子股份有限公司 基于目标检测和图像检索的菜品识别方法
CN110348829A (zh) * 2019-06-13 2019-10-18 深圳市科拜斯物联网科技有限公司 餐饮结算***和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104464086A (zh) * 2014-11-17 2015-03-25 中国联合网络通信集团有限公司 一种智能饭菜计费方法、装置、***及勺子、刷卡机
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106251513A (zh) * 2016-07-29 2016-12-21 杭州雄伟科技开发股份有限公司 一种菜品结算的方法和***
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
WO2019119525A1 (zh) * 2017-12-21 2019-06-27 陕西伟景机器人科技有限公司 基于图像识别的餐厅自动结账方法
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、***、装置及介质
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法
CN110084642A (zh) * 2019-04-19 2019-08-02 哈尔滨新中新电子股份有限公司 基于目标检测和图像检索的菜品识别方法
CN110348829A (zh) * 2019-06-13 2019-10-18 深圳市科拜斯物联网科技有限公司 餐饮结算***和方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724548A (zh) * 2020-04-21 2020-09-29 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算***与结算方法
CN111724548B (zh) * 2020-04-21 2023-11-14 广东绿膳餐饮服务有限公司 一种用于餐饮领域的智能结算***与结算方法
CN111640268A (zh) * 2020-04-22 2020-09-08 深圳拓邦股份有限公司 一种基于餐盘形状和颜色的智能结算方法和***
CN112650866A (zh) * 2020-08-19 2021-04-13 上海志唐健康科技有限公司 一种基于图像语义深度学习的餐饮健康分析方法
CN114445614A (zh) * 2020-10-16 2022-05-06 技嘉科技股份有限公司 餐饮内容识别方法以及餐饮内容识别***
CN112504419A (zh) * 2020-12-24 2021-03-16 河南工业大学 一种配菜动态自识别可扩展称重计量方法
CN112508131A (zh) * 2020-12-28 2021-03-16 神思电子技术股份有限公司 一种基于芯片和深度学习的半自动菜品样本采集方法
CN112508131B (zh) * 2020-12-28 2023-04-07 神思电子技术股份有限公司 一种基于芯片和深度学习的半自动菜品样本采集方法

Similar Documents

Publication Publication Date Title
CN110852733A (zh) 一种基于rfid融合菜品图像匹配识别的智能餐饮结算***
CN102538379B (zh) 一种冰箱食品信息管理装置及方法
CN104269003A (zh) 一种食物识别方法、装置及***
CN104361041A (zh) 智能冰箱的辅助方法及辅助***
EP2765535A2 (en) System for monitoring product quality in real time
Aslan et al. Benchmarking algorithms for food localization and semantic segmentation
Ciocca et al. State recognition of food images using deep features
CN111061890A (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN109523428A (zh) 基于图像识别技术的智能餐饮结算方法、***、装置及介质
CN109166614A (zh) 一种推荐个人健康菜谱的***及方法
CN111080493B (zh) 一种菜品信息识别方法、装置及菜品自助结算***
US20180330224A1 (en) Diet information recommendation system and diet information recommendation method
CN111899131A (zh) 物品配送方法、装置、机器人和介质
CN112329866A (zh) 一种餐厅智能健康点餐***及方法
CN106022467A (zh) 一种基于神经网络的农作物疾病检测***
CN110931109A (zh) 一种饮食情况分析方法及***
CN107730321A (zh) 一种基于餐食图像特征的识别计价***
CN108549278A (zh) 一种应用于图书馆的图书馆服务机器人
CN112464013A (zh) 信息的推送方法和装置、电子设备和存储介质
CN109887574B (zh) 基于食材识别的食养食疗指导方法及装置
CN108537280A (zh) 一种基于机器视觉的散装商品计费***
CN105809587A (zh) 智能收银方法及其***
CN110852403A (zh) 一种基于rfid可快速定价的出菜***
CN111882524A (zh) 食物重量计算方法、装置及存储介质
CN107944852A (zh) 一种餐厅自动点菜***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination