CN114359299A - 一种饮食分割方法及慢病患者的饮食营养管理方法 - Google Patents

Abstract

本发明公开了一种饮食分割方法及慢病患者的饮食营养管理方法，涉及饮食营养管理技术领域。该方法包括：S1、获取目标患者的饮食图片；S2、将饮食图片输入饮食目标检测模型进行目标识别，输出若干饮食目标图；S3、将若干饮食目标图依次输入食材分割模型进行食材分割，输出得到若干像素级的食材分割图；S4、基于食材分割图计算得出所有食材含有的营养成分之比。本发明支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性。

Description

一种饮食分割方法及慢病患者的饮食营养管理方法

技术领域

本发明涉及饮食营养管理技术领域，尤其涉及一种饮食分割方法及慢病患者的饮食营养管理方法。

背景技术

目前，随着生活水平的提高，人们越来越关心自己的身体健康，从饮食层面来说，人们从以前关心吃的好不好逐渐改变为关心吃的健不健康，即关注食物中的营养成分以及卡路里等指标的含量，尤其针对慢病患者来说饮食控制尤为重要。

现有在线饮食管理，多通过用户拍摄饮食图片上传***，通过***分析饮食图片中的营养成分从而对用户提供健康的饮食建议。但是在实际的执行中，如果用户一餐食用的菜品较多，则需要用户一菜一拍，形成单个的饮食图片，然后经由***进行饮食分割，识别出各食材的食用比例，从而给出合理的饮食建议。整个过程，用户需要进行多次拍摄、上传饮食图片的操作，复杂度高，用户恐嫌麻烦会少拍或者出现漏拍的情况，这会导致最终的饮食分析及建议不准确，降低用户体验和依从性。

基于此，亟需一种饮食分割方法及慢病患者的饮食营养管理方法，用以解决如上提到的问题。

发明内容

本发明的目的在于提供一种饮食分割方法及慢病患者的饮食营养管理方法，能够对饮食图片中的多菜进行识别定位，支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性。

为达此目的，本发明采用以下技术方案：

本发明提供了一种饮食分割方法，其包括如下步骤：

S1、获取目标患者的饮食图片；

S2、将饮食图片输入饮食目标检测模型进行目标识别，输出若干饮食目标图；

S3、将若干饮食目标图依次输入食材分割模型进行食材分割，输出得到若干像素级的食材分割图；

S4、基于食材分割图计算得出所有食材含有的营养成分之比。

可选地，在步骤S2之前还包括：

S10、训练饮食目标检测模型。

可选地，步骤S10具体包括：

S101、采集用于训练的目标患者的饮食图片；

S102、建立饮食目标标签集：将饮食图片输入图像处理软件，以将饮食图片中的单体食物和餐具实体分别用方框圈出，输出得到饮食目标标签集；

S103、将饮食图片与相应的饮食目标标签集依次输入饮食目标检测模型内进行训练，保存训练所得的饮食目标检测模型。

可选地，利用复合损失函数对饮食目标检测模型的输出结果与步骤S102得到的饮食目标标签数据进行比对，计算损失并根据该损失对饮食目标检测模型进行迭代优化，直至损失值降至数值稳定区域。

可选地，在步骤S10之后、步骤S2之前还包括：

S20、训练食材分割模型。

可选地，步骤S20具体包括：

S201、建立食材分割标签集：将食材类别分别对应到饮食图片中相应的食材区域，并将该食材区域内的像素标记为相应食材类别，以使每张饮食图片均生成像素级标注的模板图，形成食材分割标签集；

S202、将饮食目标检测模型输出的训练数据作为输入数据、步骤S201得到的食材分割标签集作为训练标签均输入食材分割模型进行训练、饮食图片上的每个像素点视为一个分类操作，保存训练所得的食材分割模型。

可选地，利用交叉熵损失函数对食材分割模型的输出结果与步骤S201得到的食材分割标签数据进行比对，计算损失并根据该损失对食材分割模型进行迭代优化，直至损失值降至数值稳定区域。

可选地，在步骤S4之前还包括：

S40、对各食材分割图进行透视还原。

可选地，步骤S40包括：

S401、使用拍摄器从各个角度、各距离实拍各餐具在透视效果下的视频，将视频拆分为图片帧，得到各餐具在不同透视下的图片数据；

S402、通过分析若干相同场景图片中同一餐具在不同位置呈现出的不同像素尺寸，计算得到透视缩放系数

；

S403、使用梯度下降法优化如下公式：

，其中，i为数据迭代游标；T是转置符，代表将列向量转为行向量；

为第i个样本的<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；m为一次参与损失值计算的样本数量；W、b为待优化参数；

经过多轮迭代之后，得出使该公式取到极小值的参数W、b，将该参数保存；

S404、通过公式

，估算出饮食图片中的餐具因透视效果造成的缩放系数y；

其中，x为<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；

S405、将食材分割图中位于较远处的食材区域除以缩放系数y，则得出各食材以较近处食材为基准的还原尺寸。

可选地，步骤S4包括：

S41、对所有食材分割图中的菜品进行同类食材合并，得出不同食材的像素量之比；

S42、分析各食材的营养成分含量，计算得出饮食图片中所有食材的各营养成分之比。

本发明还提供了一种慢病患者的饮食营养管理方法，其包括如上所述的饮食分割方法，在步骤S4之后还包括：

S5、对目标患者提出个性化饮食建议。

可选地，步骤S5具体包括：结合目标患者的生理体征数据和患病信息数据，进行个性化饮食建议；

个性化饮食建议包括膳食营养比例建议、特殊菜品建议、食材种类建议和烹饪方式建议。

可选地，在步骤S4之前还包括：

S30、构建营养知识库、慢病饮食管理知识库和营养建议话术库。

本发明的有益效果：

本发明提供了一种饮食分割方法及慢病患者的饮食营养管理方法，目标患者上传的饮食图片先经过饮食目标检测模型识别成多个饮食目标图，每个饮食目标图经食材分割模型后输出若干像素级的食材分割图，然后***可根据食材分割图计算得出所有食材含有的营养成分之比，根据该营养成分比例即可为目标患者提出健康合理的饮食建议。

本发明能够对饮食图片中的多菜进行识别定位，支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性。

附图说明

图1是本发明实施例提供的饮食分割方法的主要步骤流程图；

图2是本发明实施例提供的饮食分割方法的详细步骤流程图；

图3是本发明实施例提供的饮食图片进行食材分割标注的前后对比图；

图4是本发明实施例提供的慢病患者的饮食营养管理方法的主要步骤流程图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案做进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，除非另有明确的规定和限定，术语“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明实施例公开了一种饮食分割方法，如图1所示，该饮食分割方法包括如下步骤：S1、获取目标患者的饮食图片；S2、将饮食图片输入饮食目标检测模型进行目标识别，输出若干饮食目标图；S3、将若干饮食目标图依次输入食材分割模型进行食材分割，输出得到若干像素级的食材分割图；S4、基于食材分割图计算得出所有食材含有的营养成分之比。

目标患者上传的饮食图片先经过饮食目标检测模型识别成多个饮食目标图，每个饮食目标图经食材分割模型后输出若干像素级的食材分割图，然后***可根据食材分割图计算得出所有食材含有的营养成分之比，根据该营养成分比例即可为目标患者提出健康合理的饮食建议。本发明能够对饮食图片中的多菜进行识别定位，支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性。

下面，结合附图2和附图3，对该饮食分割方法的各步骤进行详细介绍。

S1、获取目标患者的饮食图片。

本实施例中，目标患者为慢病患者，慢病患者为患有糖尿病、高血压等疾病的人群。慢病是一种病程持久且缓慢，又没有特效治疗方案的疾病。在慢病的治疗过程中，院外疗养相比于院内治疗往往更重要，而科学合理的饮食在院外慢病疗养的过程中是非常重要的一环，本发明能够为慢病患者提供更科学合理的饮食建议，帮助其健康饮食管理。当然，在其他实施例中，也可以为患有其他疾病的患者提供健康饮食建议，不局限于本实施例中。

S2、将饮食图片输入饮食目标检测模型进行目标识别，输出若干饮食目标图。

通过该步骤可将饮食图片中的多个饮食目标识别出来并输出形成若干饮食目标图。

其中，饮食目标识包括饮食图片中的单体食物和餐具实体，具体地，单体食物指例如馒头、鸡蛋、苹果等独立且易于识别的食物，餐具实体是指盛放多食材复杂混合食物的餐具，例如盛放各类炒菜、沙拉、火锅等的餐具，此处餐具包括但不限于普通家用圆形餐盘、工作餐用分格餐盘、饭盒、碗、锅等。需要说明的是，本实施例中在饮食目标识别过程中无需对复杂混合食物进行细分，仅按照标准目标检测的标注方式在图像处理软件中将饮食图片中相应的饮食目标用方框圈出即可、快速高效。

进一步地，在步骤S2之前还包括：S10、训练饮食目标检测模型。

步骤S10具体包括：

S101、采集用于训练的目标患者的饮食图片；

S102、建立饮食目标标签集：将饮食图片输入图像处理软件，以将饮食图片中的单体食物和餐具实体分别用方框圈出，输出得到饮食目标标签集；

S103、将饮食图片与相应的饮食目标标签集依次输入饮食目标检测模型内进行训练，保存训练所得的饮食目标检测模型。

此处需要采集大量的饮食图片，可从网络设备采集也可由相应的目标患者提供获得。

该步骤中用到的图像处理软件为本领域专业内公知技术，可以是第三方提供的，也可以为公开免费获取的开源软件，在此不再赘述。

饮食目标检测模型为神经网络模型，能够进行深度学习，将饮食图片与相应的饮食目标标签集小批量依次输入饮食目标检测模型内（即神经网络模型内）进行训练，训练得到的饮食目标检测模型可识别出饮食图片中的所有饮食目标（单体食物以及盛放着复杂混合食物的餐具），用方框圈出所有饮食目标，将这些饮食目标从原饮食图片中截出，输出得到若干饮食目标图。本发明支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性。

优选地，利用复合损失函数对饮食目标检测模型的输出结果与步骤S102得到的饮食目标标签数据进行比对，计算损失并根据该损失对饮食目标检测模型进行迭代优化，直至损失值降至数值稳定区域，则停止训练，保存训练所得的饮食目标检测模型，以提高饮食目标检测模型的准确性。本实施例中，复合损失函数由CIOU（Complete Intersection OverUnion，完全相交）损失函数与目标框分类损失函数组成，当然，在其他实施例中，也可利用IoU、GIoU或DIoU损失函数与目标框分类损失函数组成的复合损失函数对饮食目标检测模型的输出结果进行迭代优化，不局限于本实施例的方案。

相应地，在步骤S10之后、步骤S2之前还包括：S20、训练食材分割模型。

可选地，步骤S20具体包括：

S201、建立食材分割标签集：将食材类别分别对应到饮食图片中相应的食材区域，并将该食材区域内的像素标记为相应食材类别，以使每张饮食图片均生成像素级标注的模板图，形成食材分割标签集；

S202、将饮食目标检测模型输出的训练数据作为输入数据、步骤S201得到的食材分割标签集作为训练标签均输入食材分割模型进行训练、饮食图片上的每个像素点视为一个分类操作，保存训练所得的食材分割模型。

在食材分割标签集的建立时，要根据糖尿病饮食管理的特点适当进行类别划分粒度的调整。例如：生菜、油麦菜、小白菜虽然是不同的菜类，但是它们对于糖尿病管理来说，都是有利于患者健康的绿色蔬菜，通常在糖尿病饮食管理领域对于这类蔬菜的建议都是相同的，均是鼓励患者多食用的，因此，这类蔬菜不必细分，可以合并为“绿色蔬菜”。再例如：“鱼肉”，如果使用清蒸的做法，属于低油脂含有优质蛋白的白肉类，可以推荐给没有痛风类疾病的糖尿病患者，如果鱼肉经过了煎炸，则含有较高油脂，是不建议糖尿病患者食用的。因此，这里的“鱼肉”应根据烹饪方式划分为“煎炸过的鱼肉”，“清淡鱼肉”等，其他各种食材均要以此根据糖尿病饮食管理标准进行类别划分。

采用像素级标注方式，将饮食图片输入图像标注***中，***会依次显示图片，标注人员选择饮食图片中各食材所对应的类别并在相应食材区域使用鼠标涂抹，完整涂抹后点击提交，***会根据涂抹的区域生成一张像素级模板图，模板图中的每个像素标注着该像素点对应在原饮食图片的位置是哪一类食材。

例如：如图3所示，该饮食图片（图3中左侧的照片）中含有“绿色蔬菜”、“豆浆”、“白煮蛋”等，标注人员可以分别依次选择“绿色蔬菜”、“豆浆”、“白煮蛋”，并在相应食材区域进行涂抹，涂抹完成后，***会自动生成像素级模板图，图中每一区域内的像素点代表了相应的食材类型。图3中右侧的图片是按不同食材分区域涂抹后的结果，最后右侧图拿掉背景底图，上面的白色蒙版就是像素级标注的模板图。

本发明采用不同于现有饮食识别***的图片分类方案，现有的技术方案单单仅靠识别菜名，通过菜名去分析食材成分，而本发明提供的饮食分割方案能够对上传的饮食图片进行更细粒度的食材类别分割，从而得出各食材的营养成分配比。综上，本发明的食材分割方案更细致、更准确，能够为用户提供更精确的饮食建议。

需要说明的是，该步骤中用到的图像处理软件、图像标注***为本领域专业内公知技术，涉及使用的相关软件可以是第三方提供的，也可以为公开免费获取的开源软件，在此不再赘述。

在食材分割模型训练中，将饮食目标检测模型输出的饮食目标图和相应的分割模板标签图小批量的输入分割神经网络模型进行训练，得到训练后的食材分割模型可对输入饮食图片的每个像素点进行分类，相当于分割出了饮食图片中每种食材所占据的像素区域，实现饮食的食材分割，从而了解到目标患者每餐吃了什么。上述的饮食目标检测模型与食材分割模型均是利用了神经网络深度学习技术，其原理及应用皆属于现有技术，在此不再赘述。

本实施例中，将饮食目标检测模型与食材分割模型依次串联至***内，目标患者的饮食图片依次经过饮食目标检测模型和食材分割模型，最后输出若干像素级的食材分割图，从而完成饮食分割。

同样地，利用交叉熵损失函数对食材分割模型的输出结果与步骤S201得到的食材分割标签数据进行比对，计算损失并根据该损失对食材分割模型进行迭代优化，直至损失值降至数值稳定区域，则停止训练，保存训练所得的食材分割模型，以减小食材分割模型的误差。

本实施例中，将饮食目标检测模型与食材分割模型依次串联至GPU服务器，目标患者为糖尿病患者，糖尿病患者上传的饮食图片先经过饮食目标检测模型，识别出饮食图片中各饮食目标（单体食物和盛有混合食物的餐具实体）的位置，并用方框将这些饮食目标从原饮食图片中截出，得到若干饮食目标图，再将这些饮食目标图分别输入食材分割模型，进一步细粒度的分割饮食目标图中的每种食材，从而知道糖尿病患者每餐吃的是什么，以利于给出精确化的饮食建议。在其他实施例中，目标患者也可为其他慢病患者。

本实施例中，饮食目标检测模型可以提供多菜识别的能力，一张饮食图片（含有多个菜品）输入饮食目标检测模型后就被划分输出为若干饮食目标图，无需用户为每个菜品单独拍照，简化用户操作、提高用户依从性。而进一步将饮食目标图输入饮食分割模型则能得到每一饮食目标图中包括哪些食材，以便于进行针对化的饮食建议。

在步骤S4之前还包括：

S40、对各食材分割图进行透视还原。

一般情况下，目标患者拍摄饮食图片的时候，大多很难或者不会有意识将手机保持水平且从竖直方向上拍摄饮食菜品的俯视图，因此，拍成的饮食图片中的若干饮食目标会出现近大远小的透视效果，这在评估食材分割图中饮食量级的时候会造成误差，因此本发明中设计了透视还原步骤以减小拍摄时产生的透视误差，为用户提供更准确的饮食建议。

具体地，步骤S40包括：

S401、使用拍摄器从各个角度、各距离实拍各餐具在透视效果下的视频，将视频拆分为图片帧，得到各餐具在不同透视下的图片数据；

S402、通过分析若干相同场景图片中同一餐具在不同位置呈现出的不同像素尺寸，计算得到透视缩放系数

；

S403、使用梯度下降法优化如下公式：

，其中，i为数据迭代游标；T是转置符，代表将列向量转为行向量；

为第i个样本的<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；m为一次参与损失值计算的样本数量；W、b为待优化参数；

经过多轮迭代之后，得出使该公式取到极小值的参数W、b，将该参数保存；

S404、通过公式

，估算出饮食图片中的餐具因透视效果造成的缩放系数y；

其中，x为<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；

S405、将食材分割图中位于较远处的食材区域除以缩放系数y，则得出各食材以较近处食材为基准的还原尺寸。

上述步骤S401-S403为还原模型的训练，通过迭代训练能够得到参数W和b的取值，步骤S404-S405为实际线上的透视还原工作。通过将训练得出的参数W和b代入公式

，就能够推测出饮食图片中对应餐具的透视缩放系数y，进而实现对饮食图片中的各食材进行透视还原，使其均在一个基准点上进行参照比对，提高饮食分析的准确性，为后期的饮食建议提供更好的事实依据。

具体地，本实施例中，拍摄器为手机，采用手机水平仪记录手机当前倾角，将手机固定，打开视频拍摄，将标准餐盘、标准碗、餐盒等饮食图片中涉及的餐具由近及远推出，再将视频拆分为视频帧，就得到了手机在不同倾角下拍摄得到的同一餐具在不同距离下的图片数据。由于一个视频含有大量的视频帧，因此，该方法可得到大量的手机从不同倾角、不同距离实拍同一餐具呈现出的不同尺寸的图片数据，便于对比计算得出因透视原因造成的缩放系数

。

需要说明的是，虽然拍摄过程中可以通过手机水平仪获得手机的倾斜角度，但是大多数手机没有测距功能，不能得到距离数据，手机与地平线的夹角不等于手机的摄像视线与餐具的夹角，当距离数据缺失的时候，无法直接通过几何方法计算因角度引起的几何畸变。

基于此，本实施例对距离单位重新定义，此处使用餐具实体的像素宽度作为距离度量单位，当饮食图片中仅有一个餐具实体时，则不进行校正，如果饮食图片中有多个餐具实体，则将距拍摄者最近的餐具实体定义为基准点（饮食图片上最靠下的餐具），其他餐具实体出现的位置距基准点的距离相对于自身宽度的倍数被定义为餐具距离基准点的距离。本实施例中，距离的定义不依赖任何实际测量工具，也不使用任何绝对值，只定义一个基准点并使用相对量来定义距离，计算简单同时也减少了测量误差。

同时，还需考虑一点，如果涉及的餐具大小不一，当两个不等大的餐具摆放在同一水平线上时，若以餐具像素宽度为距离单位，则计算出的距离值，小餐具的距离是大于大餐具的，因此还需要将餐具自身的宽度考虑进来，提高数据的可靠性。由于上述这些特征之间的关系，是很难人为定义出来的，因此此处通过梯度下降公式（见上述步骤S403）进行迭代训练，数值优化，自动寻找函数关系。最终，餐具的特征向量构建为<餐具像素宽度，餐具距基准点的距离，手机拍摄角度，由于透视原因造成的缩放系数>，其中，“餐具像素宽度”、“餐具距基准点的距离”、“手机拍摄角度”均为输入数据，“由于透视原因造成的缩放系数”为预测目标。

使用梯度下降法经过多轮迭代之后，得出该梯度下降函数取到极小值的参数W、b，此处的W代表权重向量，W包含

三个向量元素，分别是<餐具距基准点的距离，餐具像素宽度，手机拍摄角度>对应的权重分量，因此由上述的梯度下降函数训练得到的W和b实质上是

和一个数值b。

进一步地，将参数W和b带入公式

，此处，x代表<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量，即为已知输入量，“手机拍摄角度”由手机水平仪读出，“餐具像素宽度”和“餐具距基准点的距离”从图片像素中计算得出。在本实施例中，手机拍摄角度用angle代入，餐具像素宽度用width代入，餐具距基准点的距离用L代入，则得到一般计算公式：

当然，如果更为具体地，可将width设为200、angle设为30、L设为1，代入公式则得到：

，以此计算出由透视原因造成的缩放系数y。

最后，将步骤S4中较远处食材分割图中的食材区域面积(即食材所占像素量)除以缩放系数y，则得出该食材透视还原后的尺寸（以拍摄器最近的食材区域为基准点）。当然，在其他实施例中，还可通过将饮食图片中的各餐具或单体食物所占的区域面积除以该缩放系数y，也可以对饮食图片中的各食材进行透视还原，进一步读取餐具内各食材所占区域的像素量或单体食物所占的像素量即可得到透视还原后的食材尺寸。

可以理解的是，在其他实施例中，也可通过相机等其他拍摄器材进行不同角度、不同距离下的餐具拍摄，同时，上述的width、angle、L的取值均可根据实际需要进行变化，不局限于本实施例中。

此外，经过步骤S40透视还原后将得到饮食图片中所有菜品的位置信息，同时还能够获取每个菜品的食材、烹饪方式等信息，例如从饮食图片中检测到西红柿炒鸡蛋，进一步获取其食材包括西红柿和鸡蛋，烹饪方式为炒制。

可选地，步骤S4、基于食材分割图计算得出所有食材含有的营养成分之比。

进一步地，步骤S4包括：

S41、对所有食材分割图中的菜品进行同类食材合并，得出不同食材的像素量之比；

S42、分析各食材的营养成分含量，计算得出饮食图片中所有食材的各营养成分之比。

具体地，在透视还原后的食材分割图中将同类食材合并（主要指不同菜品间同类食材的合并），例如西红柿炒鸡蛋内鸡蛋占像素100点，木耳炒鸡蛋内鸡蛋占像素200点，则将西红柿炒鸡蛋和木耳炒鸡蛋的鸡蛋像素合并为300点，其他食材按此方式进行合并并读取合并后各类食材的像素量，得到各食材的像素量之比。进一步计算出各食材含有的营养成分之比，由该营养成分之比可知目标患者食用摄入的营养成分比例是否符合要求，从而为目标患者提出更健康的饮食建议，帮助其健康恢复。

需要说明的是，这里采用营养成分之比而不是用绝对值，是因为拍摄的视觉上的餐饮量会受到摄像头与饮食之间的距离影响，而手机不具有测距功能，因此不能使用绝对值，而通过营养配比进行评估，使得结果更可靠。

为便于理解本实施例，下面进行举例说明。假设糖尿病患者拍了三个菜，经过透视还原均被统一至同一基准尺寸。菜1是黄瓜炒鸡蛋，其中黄瓜占据像素1000个，鸡蛋占据像素800个；菜2是番茄炒鸡蛋，其中番茄占据像素1500个，鸡蛋占据像素700个；菜3是炸鸡翅，其中鸡翅占据像素2000个。则进行同类项食材合并后，得到黄瓜像素1000个，番茄像素1500个，鸡蛋像素1500个，炸鸡翅像素2000个，因此得到黄瓜、番茄、鸡蛋、炸鸡翅的比例为1:1.5:1.5:2。

接着，根据营养知识库查询各食材的营养信息得出：黄瓜每100g含有碳水化合物2.5克、脂肪0.2克；番茄每100g含有碳水化合物4克、脂肪0.2克；鸡蛋每100g含有碳水化合物1.3克、脂肪11.1克；炸制的鸡翅每100g含有碳水化合物12.8g、脂肪23.6g。已知黄瓜：番茄：鸡蛋：炸鸡翅=1:1.5:1.5:2，则碳水化合物和脂肪的计算方式如下：

碳水化合物=2.5*1+4*1.5+1.3*1.5+12.8*2=36.05(g)

脂肪=0.2*1+0.2*1.5+11.1*1.5+23.6*2=64.35(g)

则得到营养成分之比为碳水化合物：脂肪=1：1.79。此处为避免冗余，仅列举了碳水化合物与脂肪两种营养成分，不代表***中仅存在这两种营养成分，其余营养成分计算方式同理。

同时，本实施例还公开了一种慢病患者的饮食营养管理方法，其包括如前文所述的饮食分割方法，基于该分割方法得到的各营养成分之比，可以帮助慢病患者更好地进行饮食营养管理，帮助其健康饮食。

如图4所示，进一步地，在步骤S4之前还包括步骤S30、构建营养知识库、慢病饮食管理知识库和营养建议话术库。

具体地，营养知识库的构建参照中国疾病预防控制中心营养与健康所颁布的《中国食物成分表》，基本涵盖常见的食材类别及包含的营养成分，录入各种食材含有的营养成分，从而构建形成“营养知识库”。

慢病饮食管理知识库应包括各类慢病的饮食控制标准，例如糖尿病、高血压等饮食控制标准，主要来源于各类慢病的权威防治指南、刊物，以及相关科室的权威专家和营养师的建议，本实施例中主要参照糖尿病饮食控制标准对糖尿病患者进行合理的饮食建议，在其他实施例中，可根据目标患者所患的慢病类型参照相应的饮食控制标准。

营养建议话术库应包括针对各种违反慢病（本实施例特指糖尿病）饮食防控标准的行为的警告建议，主要来源于相关科室的专家和营养师的建议。具体地，可通过招募大量医护工作者，为糖尿病患者提供院外饮食点评工作，从而收集到专业医护人员对饮食的点评。例如，糖尿病患者摄入了过量的主食类食物，***根据营养建议话术库提示“这一餐主食摄入量太多了，糖尿病病人建议少吃多餐，每餐主食保持一拳的量为宜”。

进一步地，将收集到的点评建议进行预处理，删除脏数据（即无用信息），筛选出高质量自然语言话术。更进一步地，应用文本分类技术将筛选后的高质量话术划分到多个预警分类，预警分类包括饮食营养比例建议、特殊菜品建议、食材种类建议、烹饪方式建议等等，例如：将“本餐脂肪/主食摄入过高，应减少高油脂食物的摄入”划分至饮食营养比例建议分类下、将“不应吃肥肉或鸡皮鸭皮等高脂肪食物”划分至特殊菜品建议分类下、将“本餐应摄入绿色蔬菜”划分至食材种类建议分类下等等、将“不应食用油炸、油煎食物”或“将油炸油煎食物改为水煮、清蒸替代”划分至烹饪方式建议分类下等等，此处不再一一列举。进一步为确保话术质量与分类准确性，本实施例再对分类结果辅之以人工审核，最后分门别类存入数据库，作为营养建议话术库。

本发明通过构建营养建议话术库，其内储存着大量慢病患者可直观接受的自然语言的营养建议话术，相比于常见的营养素指标提示等数据式提示，更能使目标患者易于理解和接受。

其次，在步骤S4之后还包括：

S5、对目标患者提出个性化饮食建议。

本实施例中，目标患者根据计算出的营养成分之比，我们知道目标患者一餐食用的各营养成分之比，针对该营养成分的比例并参照患者相关的饮食条例，为目标患者提出健康合理的饮食建议。

步骤S5具体包括：结合目标患者的生理体征数据和患病信息数据，进行个性化饮食建议；

个性化饮食建议包括“膳食营养比例建议”、“特殊菜品建议”、“食材种类建议”和“烹饪方式建议”。

具体地，参照慢病饮食管理知识库和营养建议话术库进行个性化饮食建议。参照慢病饮食管理知识库对比糖尿病患者的营养摄入情况，结合营养建议话术库进行个性化饮食建议。

进一步地，结合目标患者（本实施例为糖尿病患者）的生理体征数据和患病信息数据，进行个性化饮食建议。本实施例中，生理体征数据包括：性别、年龄、身高、体重、BMI、劳动强度等；患病信息数据包括患病类型、患病时间以及用药情况等。

个性化饮食建议包括“膳食营养比例建议”、“特殊菜品建议”、“食材种类建议”和“烹饪方式建议”。“膳食营养比例建议”主要针对目标患者饮食比例不合理的情况进行建议，例如摄入过多或过少比例的主食、蔬菜等，此时会建议应摄入主食或蔬菜；“特殊菜品建议” 主要在目标患者食用与慢病相忌的食物时进行建议，例如如果糖尿病患者上传的饮食图片含有肥肉、鸡皮等，则会建议不应食用；“食材种类建议” 主要针对目标患者饮食类别不合理的情况进行建议，例如在饮食图片上没有绿色蔬菜时，则会建议应摄入适量绿色蔬菜，提醒用户合理饮食；“烹饪方式建议”主要针对目标患者食用油炸、油煎等高油脂烹饪食物时进行建议，例如在饮食图片上有油炸酥肉、炸鸡翅等，则会建议不应食用油炸酥肉、炸鸡翅，以减少脂肪摄入。最后结合慢病饮食管理库中的营养标准，从各方面对目标患者的健康饮食进行合理建议，更全面具体，有助于用户健康恢复。

具体地，上述已计算得出碳水化合物：脂肪=1：1.79。此时，如果一个2型糖尿病患者的信息是BMI超标、糖化血红蛋白超标，且上一餐的餐后血糖超标，属于肥胖型糖尿病患者。根据慢病饮食管理知识库中2型糖尿病防治指南中要求糖尿病患者推荐每日碳水化合物比例为45%-60%，脂肪摄入比例为25%-30%，***要求糖尿病患者尽量每餐都按照这个比例进食，同时对于肥胖型患者更要强化减脂。但从上述计算的结果来看，脂肪摄入比例明显偏高，而造成脂肪比例偏高的主要食物是炸鸡翅。因此，结合营养建议话术库应有如下提示：

针对膳食营养比例建议应提示：“本餐脂肪摄入过高，应减少高油脂食物的摄入”；

针对特殊菜品建议，因为本餐并没有和糖尿病病症相忌的食物，因此无提示。但如果鸡翅含有鸡皮被拍到，则应提示“不应吃鸡皮，因为鸡皮脂肪含量过高”；

针对食材种类建议，本餐既含有绿色蔬菜又有蛋白类食物，但是没有主食的摄入，因而***应提示患者“要吃主食，避免用药后出现低血糖”，但同时也应提示“主食量以2两为宜，如果不方便测量，以一拳的体积为宜”；

针对烹饪方式建议，本餐使用了“炸”的烹饪方式，会极大的提高本餐的油脂摄入，因此应提示“不应食用炸鸡翅”。

当然，上述案例是为更好地理解本发明，在其他实施例中，患者的患病类型不同或拍摄的饮食图片不同，则提供的饮食建议也有所不同，具体视情况而定。

综上，本发明实施例提供了一种饮食分割方法及慢病患者的饮食营养管理方法，其具备如下优势：

（1）能够对饮食图片中的多菜进行识别定位，支持用户一次拍摄多菜，避免用户分开拍摄，简化用户操作，从而提高用户体验及依从性；

（2）通过对食材分割图的透视还原，在一定程度上缓解了透视效果造成的误差，从而为患者提供更准确、健康的饮食建议。

显然，本发明的上述实施例仅仅是为了清楚说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (13)

1.一种饮食分割方法，其特征在于，包括如下步骤：

S1、获取目标患者的饮食图片；

S2、将饮食图片输入饮食目标检测模型进行目标识别，输出若干饮食目标图；

S3、将若干饮食目标图依次输入食材分割模型进行食材分割，输出得到若干像素级的食材分割图；

S4、基于食材分割图计算得出所有食材含有的营养成分之比。

2.根据权利要求1所述的饮食分割方法，其特征在于，在步骤S2之前还包括：

S10、训练饮食目标检测模型。

3.根据权利要求2所述的饮食分割方法，其特征在于，步骤S10具体包括：

S101、采集用于训练的目标患者的饮食图片；

S102、建立饮食目标标签集：将饮食图片输入图像处理软件，以将饮食图片中的单体食物和餐具实体分别用方框圈出，输出得到饮食目标标签集；

S103、将饮食图片与相应的饮食目标标签集依次输入饮食目标检测模型内进行训练，保存训练所得的饮食目标检测模型。

4.根据权利要求3所述的饮食分割方法，其特征在于，利用复合损失函数对饮食目标检测模型的输出结果与步骤S102得到的饮食目标标签数据进行比对，计算损失并根据该损失对饮食目标检测模型进行迭代优化，直至损失值降至数值稳定区域。

5.根据权利要求2所述的饮食分割方法，其特征在于，在步骤S10之后、步骤S2之前还包括：

S20、训练食材分割模型。

6.根据权利要求5所述的饮食分割方法，其特征在于，步骤S20具体包括：

S201、建立食材分割标签集：将食材类别分别对应到饮食图片中相应的食材区域，并将该食材区域内的像素标记为相应食材类别，以使每张饮食图片均生成像素级标注的模板图，形成食材分割标签集；

S202、将饮食目标检测模型输出的训练数据作为输入数据、步骤S201得到的食材分割标签集作为训练标签均输入食材分割模型进行训练、饮食图片上的每个像素点视为一个分类操作，保存训练所得的食材分割模型。

7.根据权利要求6所述的饮食分割方法，其特征在于，利用交叉熵损失函数对食材分割模型的输出结果与步骤S201得到的食材分割标签数据进行比对，计算损失并根据该损失对食材分割模型进行迭代优化，直至损失值降至数值稳定区域。

8.根据权利要求1-7任一项所述的饮食分割方法，其特征在于，在步骤S4之前还包括：

S40、对各食材分割图进行透视还原。

9.根据权利要求8所述的饮食分割方法，其特征在于，步骤S40包括：

S401、使用拍摄器从各个角度、各距离实拍各餐具在透视效果下的视频，将视频拆分为图片帧，得到各餐具在不同透视下的图片数据；

S402、通过分析若干相同场景图片中同一餐具在不同位置呈现出的不同像素尺寸，计算得到透视缩放系数

；

S403、使用梯度下降法优化如下公式：

，其中，i为数据迭代游标；T是转置符，代表将列向量转为行向量；

为第i个样本的<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；m为一次参与损失值计算的样本数量；W、b为待优化参数；

经过多轮迭代之后，得出使该公式取到极小值的参数W、b，将该参数保存；

S404、通过公式

，估算出饮食图片中的餐具因透视效果造成的缩放系数y；

其中：x为<餐具像素宽度，餐具距基准点的距离，手机拍摄角度>输入特征向量；

S405、将食材分割图中位于较远处的食材区域除以缩放系数y，则得出各食材以较近处食材为基准的还原尺寸。

10.根据权利要求1-7任一项所述的饮食分割方法，其特征在于，步骤S4包括：

S41、对所有食材分割图中的菜品进行同类食材合并，得出不同食材的像素量之比；

S42、分析各食材的营养成分含量，计算得出饮食图片中所有食材的各营养成分之比。

11.一种慢病患者的饮食营养管理方法，其特征在于，包括如权利要求1-10任一项所述的饮食分割方法，在步骤S4之后还包括：

S5、对目标患者提出个性化饮食建议。

12.根据权利要求11所述的慢病患者的饮食营养管理方法，其特征在于，步骤S5具体包括：结合目标患者的生理体征数据和患病信息数据，进行个性化饮食建议；

个性化饮食建议包括膳食营养比例建议、特殊菜品建议、食材种类建议和烹饪方式建议。

13.根据权利要求11所述的慢病患者的饮食营养管理方法，其特征在于，在步骤S4之前还包括：

S30、构建营养知识库、慢病饮食管理知识库和营养建议话术库。

Images