CN111461017A - 一种用于城市级规模的餐饮后厨工作服高精度识别方法 - Google Patents

Abstract

一种用于城市级规模的餐饮后厨工作服高精度识别方法，属于图像识别技术领域，包括以下步骤：步骤一、建立专用数据集；步骤二、训练人体关键点提取网络OpenPose,并提取图像中人体关键点；步骤三、根据步骤二中得到的关键点计算出人体外接矩形框和上身外接矩形框以及下身外接矩形框的图像；步骤四、将步骤三得到人体外接矩形框区域的图像输入到款式分类网络进行类型识别，与相应的用户数据库进行比对；步骤五、将比对获得的结果反馈至相应的门店；本发明极大提高算法准确性和鲁邦性。较好的解决了后厨场景中面临的问题；通过网络级联结构确保运行速度快和资源开销相对较小，能够满足现场部署的要求。

Description

一种用于城市级规模的餐饮后厨工作服高精度识别方法

技术领域

本发明属于图像识别技术领域，特别涉及一种用于城市级规模的餐饮后厨工作服高精度识别方法。

背景技术

卫生是餐厅赖以生存的基本条件。若不注意餐厅卫生，不仅会影响顾客的健康，也可能波及整个社会，其中的严重性及重要性，是每个餐厅经营者都不可轻视的事情。顾客对餐厅消费的首要条件就是卫生环境，餐厅为顾客提供合乎卫生标准的餐点及饮料是餐厅的重要职责。对于餐厅本身来说，质量是生命，卫生是最起码也是最基本的条件。现在全国食品防疫部门或***门对餐厅的食品卫生实施监督的要求非常严格，食品监督管理局实施明厨亮灶等工程，要求餐饮门店后厨装配监控相机并接入到监督局的监控***中进行统一监控后厨作业流程、后厨人员行为和着装和后厨环境等。但是人工监控和筛查后厨人员行为和着装非常缓慢和耗时。运用计算机视觉自动识别后厨人员着装的需求越来越迫切。

有很多计算机视觉的方法已经应用于工作服检测，但是城市级食安监管平台，需要用算法自动分析全城数万个监控摄像头视频(包括各种类型餐饮后厨、学校食堂)，从中寻找出违规操作和食安隐患。后厨场景相对其他的环境存在以下几个难点：1.后厨服装颜色，类型特别繁多，因为餐饮类型不同工作服颜色和类型就会存在差异；2.场景较复杂，后厨场景光照变化较多，后厨作业会严重影响光照条件导致图像质量下降；3.后厨遮挡非常严重，后厨空间较为狭窄，物品设备及人员较多会出现人员遮挡。城市级规模的后厨场景较为复杂且不可控，对算法的鲁棒性提出了很高的要求，现有的算法存在明显缺陷：1.采用单一网络直接判定工作服颜色和类型，这种简单粗暴地办法只适合在场景单一的近景场景，在城市级规模环境会因为上述三个问题造成大量误判和漏判；2.采用图像分割算法进行工作服识别，这种算法对光照极其敏感，无法应对光照复杂的环境，并且该算法资源消耗特别高，运行速度较慢，给实际部署造成极大成本开销。

发明内容

本发明的目的在于提供一种用于城市级规模的餐饮后厨工作服高精度识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种用于城市级规模的餐饮后厨工作服高精度识别方法，包括以下步骤：

步骤一、建立专用数据集；

步骤二、训练人体关键点提取网络OpenPose,并提取图像中人体关键点；

步骤三、根据步骤二中得到的关键点计算出人体外接矩形框和上身外接矩形框以及下身外接矩形框的图像；

步骤四、将步骤三得到人体外接矩形框区域的图像输入到款式分类网络进行类型识别，得到工作服类型，若服装类型为上衣裤子，再将上身外接矩形框以及下身外接矩形框的图像输入到颜色分类网络识别，最后，将工作服类型和颜色与相应的用户数据库进行比对；

步骤五、将比对获得的结果反馈至相应的门店。

作为优选，所述步骤一中的专用数据库包含总计人体目标超过100万个。

作为优选，所述步骤一的具体内容如下：

①工作服数据集DataSet_color包含上衣颜色和下身衣服颜色2个大类，其中，上衣颜色和下身衣服颜色均包含白色、红色、蓝色、黑色、黄色、灰色、绿色、紫色及非纯色任意图案；工作服款式数据集DataSet_style包括衣服样式和围裙样式，其中，围裙样式包括半身式、全包式、挂肩式、挂颈式以及未穿围裙，衣服样式包括上衣裤子、大衣、连衣裙子、上衣裙子以及上衣短裤；

②采用上述两个数据集作为网络训练集训练用于识别工作服的识别网络。采用工作服款式数据集DataSet_style训练工作服款式分类网络Net_style，其中，训练工作服款式分类网络Net_style选用resnet50作为特征提取网络，然后，在darknet框架下采用迁移学习方法训练，具体来说，将初始学习率l_r＝0.01，采用steps方法进行学习率更新，同时，通过随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试，当迭代测试iters＝260000时，网络模型的准确率最高；同理，工作服颜色数据集DataSet_color训练工作服颜色分类网络Net_color，网络选用resnet18作为特征提取网络，在darknet框架下采用迁移学习方法训练上述网络，其中，初始学习率设定为l_r＝0.001，采用随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试迭代iters＝180000次网络模型的准确率最高。

作为优选，所述步骤二具体内容如下：

S1：首先添加后厨样本重新训练人体关键点提取网络OpenPose；利用上述的网络提取人体关键点坐标矩阵：

其中，n表示人体ID，在该发明中提取人体中25个关键点，p_n0表示第n个人体的第一个关键点，p_n24表示第n个人体的第24个关键点，其中p_n24＝[x y]，x,y为坐标点的横纵坐标。

作为优选，根据上述关键点计算人体外接矩形框：

其中，n为人体ID，x_n为第n个人体外接矩形框的左上点的横坐标，y_n为第n个人体外接矩形框的左上点的纵坐标，w_n为第n个人体外接矩形框的宽度，h_n为第n个人体外接矩形框的高度，此时，人体上半身外接矩形框：

以及人体下半身外接矩形框：

人体外接矩形框计算过程是遍历keypoints，找到每一行最小横坐标x_min，最大横坐标x_max，最小纵坐标y_min，最大纵坐标y_max，计算外接矩形框左上点和右下点的坐标:

y_leftup＝y_min；

y_rightbottom＝y_max；

进而求得：

x_n＝x_leftup，

y_n＝y_leftup，

w_n＝x_rightbottom-x_leftup，

h_n＝y_rightbottom-y_leftup；

同理，人体上半身外接矩形框计算过程是遍历keypoints，找到人体颈部关键点的横纵坐标x_neck、y_neck，找到人体臀部关键点的横纵坐标x_midhip，y_midhip,进而求得：

x_n＝x_leftup，

y_n＝y_neck，

w_n＝x_rightbottom-x_leftup，

h_n＝y_midhip-y_neck；

人体下半身外接矩形框计算过程是：

x_n＝x_leftup，y_n＝y_midhip，w_n＝x_rightbottom-x_leftup，h_n＝y_rightbottom-y_midhip。

作为优选，所述步骤四的具体步骤内容如下：

SS1：如果得到服装类型t_n＝上衣裤子，在输入图像中分别截取上述得到人体上半身和下半身外接矩形框区域的图像输入到颜色分类网络进行颜色识别，得到上衣颜色和裤子颜色的矩阵：

其中，c_upn表示上衣颜色，c_downn表示裤子颜色。

SS2:将款式分类网络和颜色分类网络两个网络得到的上衣颜色，裤子颜色，衣服款式，围裙款式进行汇总，得到工作服信息矩阵：

其中，t_n表示服装类型，c_n表示服装颜色，将该信息矩阵输入到门店数据库进行比对确定是否违规。

SS3：如果得到服装类型t_n＝大衣、连衣裙、围裙，则不需要进行颜色识别，直接将服装类型和门店数据库比对。

与现有技术相比，本发明的有益效果是：本发明建立了庞大的专用数据集，为网络模型的准确性提供了保障；采用人体关键点网络与两个分类网络级联的方法进行判定，能够极大提高算法准确性和鲁邦性。较好的解决了后厨场景中面临的问题；人体关键点网络的应用解决后厨场景中遮挡比较严重的问题，并且精准分割上身和下身边界，用于减小后续的分类网络的难度；两个分类网络分别负责识别着装类型和着装颜色，将颜色和类型结合起来进行决策，提高准确率；网络级联结构运行速度快和资源开销相对较小，能够满足现场部署的要求。

附图说明

图1是本发明架构示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清除，完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。

如图1所示的一种用于城市级规模的餐饮后厨工作服高精度识别方法，包括人体关键点网络、第一分类网络和第二分类网络；其中，第一分类网络为款式分类网络，第二分类网络为颜色分类网络，通过人体关键点网络与两个分类网络级联的方法提高算法准确性和鲁棒性，提高识别的准确率，具体步骤如下：

步骤一：建立庞大的专用数据集，所述专用数据集包括工作服颜色数据集DataSet_color和工作服款式数据集DataSet_style，数据集DataSet_color和DataSet_style包含总计人体目标超过100万个，提高了工作服识别模型和检测模型的准确率。

①工作服数据集DataSet_color包含上衣颜色和下身衣服颜色2个大类，其中，上衣颜色和下身衣服颜色均包含白色、红色、蓝色、黑色、黄色、灰色、绿色、紫色及非纯色任意图案；工作服款式数据集DataSet_style包括衣服样式和围裙样式，其中，围裙样式包括半身式、全包式、挂肩式、挂颈式以及未穿围裙，衣服样式包括上衣裤子、大衣、连衣裙子、上衣裙子以及上衣短裤；值得一说的是，若工作服款式为大衣、连衣裙、围裙，则不需要进行颜色识别。

②采用上述两个数据集作为网络训练集训练用于识别工作服的识别网络。采用工作服款式数据集DataSet_style训练工作服款式分类网络Net_style，其中，训练工作服款式分类网络Net_style选用resnet50作为特征提取网络，然后，在darknet框架下采用迁移学习方法训练，具体来说，将初始学习率l_r＝0.01，采用steps方法进行学习率更新，同时，通过随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试，当迭代测试iters＝260000时，网络模型的准确率最高；同理，工作服颜色数据集DataSet_color训练工作服颜色分类网络Net_color，网络选用resnet18作为特征提取网络，在darknet框架下采用迁移学习方法训练上述网络，其中，初始学习率设定为l_r＝0.001，采用随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试迭代iters＝180000次网络模型的准确率最高。

步骤二：重新训练人体关键点提取网络OpenPose,并提取图像中人体关键点。具体内容如下：

S1：首先添加后厨样本重新训练人体关键点提取网络OpenPose；利用上述的网络提取人体关键点坐标矩阵：

其中，n表示人体ID，在该发明中提取人体中25个关键点，p_n0表示第n个人体的第一个关键点，p_n24表示第n个人体的第24个关键点，其中，

p_n24＝[x y]，x,y为坐标点的横纵坐标。

S2:根据上述关键点计算出人体外接矩形框和上身外接矩形框以及下身外接矩形框。根据上述关键点计算人体外接矩形框：

其中，n为人体ID，x_n为第n个人体外接矩形框的左上点的横坐标，y_n为第n个人体外接矩形框的左上点的纵坐标，w_n为第n个人体外接矩形框的宽度，h_n为第n个人体外接矩形框的高度，此时，

人体上半身外接矩形框：

以及人体下半身外接矩形框：

人体外接矩形框计算过程是遍历keypoints，找到每一行最小横坐标x_min，最大横坐标x_max，最小纵坐标y_min，最大纵坐标y_max，计算外接矩形框左上点和右下点的坐标:

y_leftup＝y_min；

y_rightbottom＝y_max；

进而求得，x_n＝x_leftup，y_n＝y_leftup，w_n＝x_rightbottom-x_leftup，h_n＝y_rightbottom-y_leftup；同理，人体上半身外接矩形框计算过程是遍历keypoints，找到人体颈部关键点的横纵坐标x_neck、y_neck，找到人体臀部关键点的横纵坐标x_midhip，y_midhip,进而求得x_n＝x_leftup，y_n＝y_neck，w_n＝x_rightbottom-x_leftup，h_n＝y_midhip-y_neck；人体下半身外接矩形框计算过程是x_n＝x_leftup，y_n＝y_midhip，w_n＝x_rightbottom-x_leftup，h_n＝y_rightbottom-y_midhip。

步骤三：输入图像，即截取步骤得到人体外接矩形框区域的图像输入到款式分类网络进行类型识别，得到工作服类型的矩阵：

其中t_n表示服装类型。

SS1：如果得到服装类型t_n＝上衣裤子，在输入图像中分别截取上述得到人体上半身和下半身外接矩形框区域的图像输入到颜色分类网络进行颜色识别，得到上衣颜色和裤子颜色的矩阵：

其中，c_upn表示上衣颜色，c_downn表示裤子颜色。

SS2:将款式分类网络和颜色分类网络两个网络得到的上衣颜色，裤子颜色，衣服款式，围裙款式进行汇总，得到工作服信息矩阵：

其中，t_n表示服装类型，c_n表示服装颜色，将该信息矩阵输入到门店数据库进行比对确定是否违规。

SS3：如果得到服装类型t_n＝大衣、连衣裙、围裙，则不需要进行颜色识别，直接将服装类型和门店数据库比对。

步骤四：将比对获得的结果反馈至相应的门店。

在本发明的描述中，需要理解的是，术语“中心”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“若干个”的含义是两个或两个以上。另外，术语“包括”及其任何变形，意图在于覆盖不排他的包含。

本发明按照实施例进行了说明，在不脱离本原理的前提下，本装置还可以作出若干变形和改进。应当指出，凡采用等同替换或等效变换等方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：包括以下步骤：

步骤一、建立专用数据集；

步骤二、训练人体关键点提取网络OpenPose,并提取图像中人体关键点；

步骤三、根据步骤二中得到的关键点计算出人体外接矩形框和上身外接矩形框以及下身外接矩形框的图像；

步骤四、将步骤三得到人体外接矩形框区域的图像输入到款式分类网络进行类型识别，得到工作服类型，若服装类型为上衣裤子，再将上身外接矩形框以及下身外接矩形框的图像输入到颜色分类网络识别，最后，将工作服类型和颜色与相应的用户数据库进行比对；

步骤五、将比对获得的结果反馈至相应的门店。

2.根据权利要求1所述的一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：所述步骤一中的专用数据库包含总计人体目标超过100万个。

3.根据权利要求1所述的一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：所述步骤一的具体内容如下：

①工作服数据集DataSet_color包含上衣颜色和下身衣服颜色2个大类，其中，上衣颜色和下身衣服颜色均包含白色、红色、蓝色、黑色、黄色、灰色、绿色、紫色及非纯色任意图案；工作服款式数据集DataSet_style包括衣服样式和围裙样式，其中，围裙样式包括半身式、全包式、挂肩式、挂颈式以及未穿围裙，衣服样式包括上衣裤子、大衣、连衣裙子、上衣裙子以及上衣短裤；

②采用上述两个数据集作为网络训练集训练用于识别工作服的识别网络；采用工作服款式数据集DataSet_style训练工作服款式分类网络Net_style，其中，训练工作服款式分类网络Net_style选用resnet50作为特征提取网络，然后，在darknet框架下采用迁移学习方法训练，具体来说，将初始学习率l_r＝0.01，采用steps方法进行学习率更新，同时，通过随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试，当迭代测试iters＝260000时，网络模型的准确率最高；同理，工作服颜色数据集DataSet_color训练工作服颜色分类网络Net_color，网络选用resnet18作为特征提取网络，在darknet框架下采用迁移学习方法训练上述网络，其中，初始学习率设定为l_r＝0.001，采用随机裁剪，曝光，旋转以及镜像等方法进行训练数据增强，经过测试迭代iters＝180000次网络模型的准确率最高。

4.根据权利要求1所述的一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：所述步骤二具体内容如下：S1：首先添加后厨样本重新训练人体关键点提取网络OpenPose；利用上述的网络提取人体关键点坐标矩阵：

其中，n表示人体ID，在该发明中提取人体中25个关键点，p_n0表示第n个人体的第一个关键点，p_n24表示第n个人体的第24个关键点，其中p_n24＝[x y]，x,y为坐标点的横纵坐标。

5.根据权利要求1所述的一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：根据上述关键点计算人体外接矩形框：

其中，n为人体ID，x_n为第n个人体外接矩形框的左上点的横坐标，y_n为第n个人体外接矩形框的左上点的纵坐标，w_n为第n个人体外接矩形框的宽度，h_n为第n个人体外接矩形框的高度，此时，

人体上半身外接矩形框

以及人体下半身外接矩形框

人体外接矩形框计算过程是遍历keypoints，找到每一行最小横坐标x_min，最大横坐标x_max，最小纵坐标y_min，最大纵坐标y_max，计算外接矩形框左上点和右下点的坐标:

y_leftup＝y_min；

y_rightbottom＝y_max；进而求得x_n＝x_leftup，y_n＝y_leftup，w_n＝x_rightbottom-x_leftup，h_n＝y_rightbottom-y_leftup；同理，人体上半身外接矩形框计算过程是遍历keypoints，找到人体颈部关键点的横纵坐标x_neck、y_neck，找到人体臀部关键点的横纵坐标x_midhip，y_midhip,进而求得x_n＝x_leftup，y_n＝y_neck，w_n＝x_rightbottom-x_leftup，h_n＝y_midhip-y_neck；人体下半身外接矩形框计算过程是x_n＝x_leftup，y_n＝y_midhip，w_n＝x_rightbottom-x_leftup，h_n＝y_rightbottom-y_midhip。

6.根据权利要求1所述的一种用于城市级规模的餐饮后厨工作服高精度识别方法，其特征在于：所述步骤四的具体步骤内容如下：SS1：如果得到服装类型t_n＝上衣裤子，在输入图像中分别截取上述得到人体上半身和下半身外接矩形框区域的图像输入到颜色分类网络进行颜色识别，得到上衣颜色和裤子颜色的矩阵

其中，c_upn表示上衣颜色，c_downn表示裤子颜色。

SS2:将款式分类网络和颜色分类网络两个网络得到的上衣颜色，裤子颜色，衣服款式，围裙款式进行汇总，得到工作服信息矩阵

其中，t_n表示服装类型，c_n表示服装颜色，将该信息矩阵输入到门店数据库进行比对确定是否违规。

SS3：如果得到服装类型t_n＝大衣、连衣裙、围裙，则不需要进行颜色识别，直接将服装类型和门店数据库比对。

Images