CN115761729A - 一种基于深度学习的菜品精准识别方法及*** - Google Patents
一种基于深度学习的菜品精准识别方法及*** Download PDFInfo
- Publication number
- CN115761729A CN115761729A CN202211300219.4A CN202211300219A CN115761729A CN 115761729 A CN115761729 A CN 115761729A CN 202211300219 A CN202211300219 A CN 202211300219A CN 115761729 A CN115761729 A CN 115761729A
- Authority
- CN
- China
- Prior art keywords
- dish
- menu
- obj
- lbl
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000007635 classification algorithm Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 235000021186 dishes Nutrition 0.000 description 18
- 238000001514 detection method Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 235000013311 vegetables Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 244000218514 Opuntia robusta Species 0.000 description 3
- 235000003166 Opuntia robusta Nutrition 0.000 description 3
- 241000287828 Gallus gallus Species 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 235000013618 yogurt Nutrition 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 240000007124 Brassica oleracea Species 0.000 description 1
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 1
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 1
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 1
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 241001609213 Carassius carassius Species 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 244000070406 Malus silvestris Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 244000082204 Phyllostachys viridis Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013605 boiled eggs Nutrition 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 235000015067 sauces Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的菜品精准识别方法及***，该基于深度学习的菜品精准识别方法包括：S1：预置菜单项，生成菜品菜单特征集Menu_F；S2：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。本发明实施例所述基于深度学习的菜品精准识别方法预置菜单项，基于提取的菜品特征，通过增加菜单集中同类菜品的数量，并基于KNN分类算法来对相似菜品进行识别，相较于常规的菜品识别方法，提高了菜品识别的准确率。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的菜品精准识别方法及***。
背景技术
传统人工计费方式急需要通过引进新的技术来改革，人工智能图像识别技术，近两三年得到雨后春笋般地发展，运用到各行各业中。而菜品识别，就是属于此AI技术的应用范畴，解决食堂或餐厅的前端收银问题，将采集到的菜品交易信息进行大数据分析，为团餐大平台提供有力的数据支撑。
基于特征比对的菜品识别方法，首先通过较小标签规模训练得到的目标检测网络进行餐盘中不同菜品位置的确定，然后对抠取的菜品子图进行特征提取，并与数据库中菜品特征进行匹配，识别菜品类别。该方法通过检测菜品容器(餐盘或者餐碗)来确定菜品位置，可适用于不固定类别或灵活新增的菜品识别，具有较强的泛化能力。
在真实的餐饮结算场景中，当录入菜单数据库中菜品和被识别的同一菜品的目标菜品子图外观相差较大时，在经过特征提取后进行相似度匹配时，很可能匹配不上，产生误识别；另外，对于外观相似的菜品，比如牛奶和豆浆、娃娃菜和大白菜等，由于提取到的特征也很相似，进行特征相似度匹配时，也容易产生误识别。
发明内容
为了克服现有技术中相关产品的不足，本发明提出一种基于深度学习的菜品精准识别方法及***。
本发明提供了一种基于深度学习的菜品精准识别方法，包括如下步骤：
S1：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
S2：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
在本发明的某些实施方式中，步骤S2具体包括：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目,其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
在本发明的某些实施方式中，所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
本发明还提供了一种基于深度学习的菜品精准识别***，应用于上述任一项所述基于深度学习的菜品精准识别方法，包括：
菜单项预制模块：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
菜品识别模块：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
在本发明的某些实施方式中，所述菜品识别模块具体用于：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目,其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
在本发明的某些实施方式中，所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
与现有技术相比，本发明有以下优点：
本发明实施例所述基于深度学习的菜品精准识别方法预置菜单项，基于提取的菜品特征，通过增加菜单集中同类菜品的数量，并基于KNN分类算法来对相似菜品进行识别，相较于常规的菜品识别方法，提高了菜品识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述基于深度学习的菜品精准识别方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
参阅图1所示，为本发明实施例所述基于深度学习的菜品精准识别方法的流程示意图，包括如下步骤：
S1：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别(如宫保鸡丁、红烧鲫鱼、水煮肉片等)；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别(如宫保鸡丁、红烧鲫鱼、水煮肉片等)，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
S2：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
在步骤S1之前，本发明实施例分别确定需要识别的非菜品物品(如煮鸡蛋、酸奶盒、单个水果等)的种类，并通过训练相应的目标检测模型和菜品特征提取模型来对待识别的菜品图片进行菜品识别，对于菜单Menu中的每一个菜单项Dish对应的菜单项图片Dish_Img，可以通过特征提取算法和模型，提取得到对应的菜单项特征Dish_F，最终生成菜品菜单特征集Menu_F。
对待识别的菜品图片，应用目标检测算法和目标检测模型得到检测结果集Res_D＝{Obj_Di|i＝1，...，p}，检测目标数目为p，检测目标Obj_D＝(Obj_Pos，Obj_Lbl),Obj_Pos表示检测目标Obj_D在图片P上Box框的位置，Obj_Lbl表示标签类别，Obj_Lbl∈L，如果Obj_Lbl∈{E1，...，En}，直接输出检测目标所属的非物品类别(鸡蛋、酸奶盒、苹果、橘子、香蕉等)；如果Obj_Lbl＝D0，说明检测目标Obj_D属于装在各种餐盘或者餐碗里的菜品，需要执行以下步骤确定具体菜品类别；根据Box框的位置Obj_Pos从菜品图片P抠取目标菜品子图Obj_P,得到目标菜品子图集Obj_PS＝{Obj_Pi|i＝1，...，q，q<＝p}，菜品目标数目为q；生成目标菜品子图特征集Obj_FS。对于目标菜品子图集Obj_PS中的每一个目标菜品子图Obj_P，应用特征提取算法和特征提取模型得到子图特征Obj_F，生成子图特征集Obj_FS＝{Obj_Fi|i＝1，...，q，q<＝p}。
在本发明实施例中，步骤S2具体包括：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目(比如宫爆鸡丁的菜单项有3项),其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
实施例1
本发明实施例训练Resnet50深度学习网络模型提取菜品特征向量。训练数据集采用开源的ChineseFoodNet数据集，208类，样本数166568，其中训练集145690，验证集20878。Resnet50模型训练参数设置如下：
input-size：224x224
epochs：120
batch：32
learning-rate：0.02
模型训练完成后，在验证集上的准确率为77.84％。采用Resnet50最后一个卷积层输出的2048维向量作为菜品特征向量。
设定菜单类别集Menu_Lbls＝{L1，L2，L3}，L1表示番茄炒鸡蛋，L2表示米饭，L3表示炸藕夹；设定菜单Menu＝{Dish1，...，Dish7}，Dish1、Dish2的类别是L1，Dish3、Dish4的类别是L2，Dish5、Dish6、Dish7的类别是L3；每个菜单类别包含的菜单项数目L_CNT＝{2，2，3}；在KNN分类算法中设定K＝MIN(L_CNT)＝2；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，7}；
生成子图特征集Obj_FS＝{Obj_Fi|i＝1，...，3}；
对于子图特征集Obj_FS中的每一个子图特征Obj_F，通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的2个菜单特征组成的结果集Res_F＝{Dish_RFi|Dish_RFi∈Menu_F，i＝1，...，2}；
获取子图特征Obj_F的菜品类别为结果集Res_F的2个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)：如果Dish_RF1和Dish_RF2同类别，Obj_Lbl设定为Dish_RF1或者Dish_RF2的类别；否则，Obj_Lbl设定为Dish_RF1、Dish_RF2两者中距离Obj_F最近者的类别。
本发明实施例所述基于深度学习的菜品精准识别方法预置菜单项，基于待检测图片中提取的菜品特征，通过增加菜单集中同类菜品的数量，并基于KNN分类算法来对相似菜品进行识别，相较于常规的菜品识别方法，提高了菜品识别的准确率。
在上述实施例的基础上，本发明还提供了一种基于深度学习的菜品精准识别***，应用于任一实施例所述基于深度学习的菜品精准识别方法，包括：
菜单项预制模块：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
菜品识别模块：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
在本发明实施例中，所述菜品识别模块具体用于：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目,其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
本发明实施例所述的基于深度学习的菜品精准识别***可执行上述实施例所提供的基于深度学习的菜品精准识别方法，所述基于深度学习的菜品精准识别***具备上述实施例所述基于深度学习的菜品精准识别方法相应的功能步骤以及有益效果，具体请参阅上述基于深度学习的菜品精准识别方法的实施例，本发明实施例在此不再赘述。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (6)
1.一种基于深度学习的菜品精准识别方法，其特征在于，包括如下步骤：
S1：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
S2：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
2.根据权利要求1所述的基于深度学习的菜品精准识别方法，其特征在于，步骤S2具体包括：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目,其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
3.根据权利要求2所述的基于深度学习的菜品精准识别方法，其特征在于：所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
4.一种基于深度学习的菜品精准识别***，应用于权利要求1-3任一项所述基于深度学习的菜品精准识别方法，其特征在于，包括：
菜单项预制模块：预置菜单项，生成菜品菜单特征集Menu_F，其中，设定的菜单项Menu＝{Dish1，...，Dishk}，菜单项数目为k，Dish1，...，Dishk表示k个菜单项；菜单类别集Menu_Lbls＝{L1，...，Lt},L1，...，Lt表示t个菜品类别；菜单项Dish＝(Dish_Lbl，Dish_F)，Dish_Lbl表示菜品类别，Dish_Lbl∈Menu_Lbls，Dish_F表示菜单项特征；菜品菜单特征集Menu_F＝{Dish_Fi|Dish_Fi＝Dishi.Dish_F，对于i＝1，...，k}；
菜品识别模块：对于目标菜品子图特征集Obj_FS中的每一个子图特征Obj_F，基于KNN分类算法获取菜品类别Obj_Lbl。
5.根据权利要求4所述的基于深度学习的菜品精准识别***，其特征在于，所述菜品识别模块具体用于：
定义L_CNT＝{CNTi＝Count({Dishj.Dish_Lbl＝Li|Dishj∈Menu，j＝1，...，k})|Li∈Menu_Lbls，i＝1，...，t}，分别表示为每个菜单类别包含的菜单项数目,其中Count(Set)函数用于计算集合Set的元素个数；
在KNN分类算法中设定K＝MIN(L_CNT)，MIN(L_CNT)表示菜单类别包含的菜单项最小数目；
通过KNN分类算法计算菜品菜单特征集Menu_F中与子图特征Obj_F距离最小的K个菜单特征组成的结果集Res_F＝{Dish_Fi|Dish_Fi∈Menu_F，i＝1，...，K}；
获取子图特征Obj_F的菜品类别为结果集Res_F的K个菜单特征所属最多的菜品类别Obj_Lbl(Obj_Lbl∈Menu_Lbls)；
如果K个菜单特征中所属最多的菜品类别不只一个，则选择所属最多的菜单特征中距离子图特征Obj_F距离最近的菜品类别作为Obj_Lbl。
6.根据权利要求5所述的基于深度学习的菜品精准识别***，其特征在于：所述菜单特征与子图特征Obj_F的距离采用1-余弦相似度度量，其中，余弦相似度为Obj_Sim，对应的两个向量分别为A和B，Ai、Bi分别为向量A和向量B的各分量，则向量A和向量B的余弦相似度计算如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211300219.4A CN115761729A (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的菜品精准识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211300219.4A CN115761729A (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的菜品精准识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761729A true CN115761729A (zh) | 2023-03-07 |
Family
ID=85352844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211300219.4A Pending CN115761729A (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的菜品精准识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761729A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090319454A1 (en) * | 2003-06-16 | 2009-12-24 | Drexel University | Automated learning of model classifications |
| US20190303475A1 (en) * | 2018-03-30 | 2019-10-03 | Microsoft Technology Licensing, Llc | Learning Optimizer for Shared Cloud |
| CN111274972A (zh) * | 2020-01-21 | 2020-06-12 | 北京妙医佳健康科技集团有限公司 | 基于度量学习的菜品识别方法及装置 |
| CN112115906A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 基于深度学习目标检测和度量学习的开放性菜品识别方法 |
-
2022
- 2022-10-24 CN CN202211300219.4A patent/CN115761729A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090319454A1 (en) * | 2003-06-16 | 2009-12-24 | Drexel University | Automated learning of model classifications |
| US20190303475A1 (en) * | 2018-03-30 | 2019-10-03 | Microsoft Technology Licensing, Llc | Learning Optimizer for Shared Cloud |
| CN111274972A (zh) * | 2020-01-21 | 2020-06-12 | 北京妙医佳健康科技集团有限公司 | 基于度量学习的菜品识别方法及装置 |
| CN112115906A (zh) * | 2020-09-25 | 2020-12-22 | 广州市派客朴食信息科技有限责任公司 | 基于深度学习目标检测和度量学习的开放性菜品识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | RPC: A large-scale retail product checkout dataset | |
| Aguilar et al. | Grab, pay, and eat: Semantic food detection for smart restaurants | |
| He et al. | Application of deep learning in integrated pest management: a real‐time system for detection and diagnosis of oilseed rape pests | |
| CN110348319A (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN109325395A (zh) | 图像的识别方法、卷积神经网络模型的训练方法及装置 | |
| Miriti | Classification of selected apple fruit varieties using Naive Bayes | |
| WO2020215952A1 (zh) | 物品识别方法和*** | |
| CN106886760B (zh) | 一种基于空谱信息结合的高光谱舰船检测方法 | |
| Zhu et al. | Segmentation assisted food classification for dietary assessment | |
| CN110309875A (zh) | 一种基于伪样本特征合成的零样本目标分类方法 | |
| CN114998220A (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN110399804A (zh) | 一种基于深度学习的食品检测识别方法 | |
| CN106023159A (zh) | 设施蔬菜叶部病斑图像分割方法及*** | |
| Mohammadpoor et al. | An intelligent technique for grape fanleaf virus detection | |
| Alahmari et al. | Food state recognition using deep learning | |
| CN109255290B (zh) | 菜单识别方法、装置、电子设备及存储介质 | |
| CN115909323A (zh) | 一种基于深度学习的菜品识别方法及*** | |
| CN103268494A (zh) | 基于稀疏表示的寄生虫虫卵识别方法 | |
| RU2724797C1 (ru) | Кассовая система и способ для идентификации блюд на подносе | |
| Horvath et al. | A higher-order active contour model of a ‘gas of circles’ and its application to tree crown extraction | |
| NR et al. | A Framework for Food recognition and predicting its Nutritional value through Convolution neural network | |
| CN115761729A (zh) | 一种基于深度学习的菜品精准识别方法及*** | |
| CN109902690A (zh) | 图像识别技术 | |
| CN112508659B (zh) | 商品结算处理方法、装置及计算设备、计算机存储介质 | |
| CN113361494B (zh) | 基于人脸识别的自助服务方法及自助服务*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230307 |
|
| RJ01 | Rejection of invention patent application after publication |