CN116821405A - 基于智能眼镜的卡路里识别方法、装置、设备及存储介质 - Google Patents
基于智能眼镜的卡路里识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116821405A CN116821405A CN202310211192.XA CN202310211192A CN116821405A CN 116821405 A CN116821405 A CN 116821405A CN 202310211192 A CN202310211192 A CN 202310211192A CN 116821405 A CN116821405 A CN 116821405A
- Authority
- CN
- China
- Prior art keywords
- calorie
- dish
- area image
- dish area
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000011521 glass Substances 0.000 title claims abstract description 40
- 235000013305 food Nutrition 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 235000013311 vegetables Nutrition 0.000 claims abstract description 13
- 244000218514 Opuntia robusta Species 0.000 claims description 19
- 235000003166 Opuntia robusta Nutrition 0.000 claims description 19
- 239000004984 smart glass Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000036541 health Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 235000005911 diet Nutrition 0.000 abstract description 11
- 230000037213 diet Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 10
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 240000007651 Rubus glaucus Species 0.000 description 6
- 235000011034 Rubus glaucus Nutrition 0.000 description 6
- 235000009122 Rubus idaeus Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000386 athletic effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 235000019577 caloric intake Nutrition 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005802 health problem Effects 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000009847 Cucumis melo var cantalupensis Nutrition 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 201000001431 Hyperuricemia Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 229920006351 engineering plastic Polymers 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 201000001421 hyperglycemia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 235000021574 pickled cabbage Nutrition 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请提供了一种基于智能眼镜的卡路里识别方法、装置、设备及存储介质，该方法包括：获取智能眼镜拍摄的原始食物图像；基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像；基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息；基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。通过本申请方案的实施，利用智能眼镜对用户饮食过程中的食物图像进行采集，然后基于级联的神经网络模型依次进行菜品区域检测以及菜品种类识别，最后根据所识别类型查询得到饮食摄入热量，整体实现过程可以在最大程度上脱离人工，提高了实现便捷性，并且有效保证了热量摄入评估结果的准确性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于智能眼镜的卡路里识别方法、装置、设备及存储介质。
背景技术
随着时代的发展和国民生活水平的不断提高，健康问题正越来越多地受到人们关注。高血压、高血脂、高血糖、高尿酸血症、肥胖等健康问题正呈现扩大化、年轻化的趋势，而这些健康问题与不良饮食习惯密切相关，由此，人们愈发重视饮食管理。
热量摄入评估是饮食管理中较为重要的一个方面，目前，用户通常仅基于个人经验数据来评估饮食过程中所摄入的热量，热量摄入评估结果的准确性较差，且在饮食过程中涉及的食物种类较为繁杂时，基于个人经验数据来评估热量摄入将不再具有可实现性。
发明内容
本申请实施例提供了一种基于智能眼镜的卡路里识别方法、装置、设备及存储介质，至少能够解决相关技术中用户基于个人经验数据人工评估热量摄入水平的准确性和可实现性较差的问题。
本申请实施例第一方面提供了一种基于智能眼镜的卡路里识别方法，包括：获取智能眼镜拍摄的原始食物图像；基于预设目标检测网络对所述原始食物图像进行目标检测，得到菜品区域图像；基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息；基于预设卡路里数据库查询对应于所述菜品种类信息的单位热量数据。
本申请实施例第二方面提供了一种基于智能眼镜的卡路里识别装置，包括：获取模块，用于获取智能眼镜拍摄的原始食物图像；检测模块，用于基于预设目标检测网络对所述原始食物图像进行目标检测，得到菜品区域图像；识别模块，用于基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息；查询模块，用于基于预设卡路里数据库查询对应于所述菜品种类信息的单位热量数据。
本申请实施例第三方面提供了一种电子设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的卡路里识别方法中的各步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的卡路里识别方法中的各步骤。
由上可见，根据本申请方案所提供的基于智能眼镜的卡路里识别方法、装置、设备及存储介质，获取智能眼镜拍摄的原始食物图像；基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像；基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息；基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。通过本申请方案的实施，利用智能眼镜对用户饮食过程中的食物图像进行采集，然后基于级联的神经网络模型依次实现菜品区域检测以及菜品种类识别，最后根据所识别类型查询得到饮食摄入热量，整体实现过程可以在最大程度脱离人工，提高了实现便捷性，并且有效保证了热量摄入评估结果的准确性。
附图说明
图1为本申请一实施例提供的应用场景的场景示意图；
图2为本申请一实施例提供的智能眼镜的部件安装原理示意图；
图3为本申请一实施例提供的电子设备的结构示意图；
图4为本申请一实施例提供的卡路里识别方法的基本流程示意图；
图5为本申请一实施例提供的卡路里识别方法的细化流程示意图；
图6为本申请一实施例提供的一种级联网络架构的结构示意图；
图7为本申请一实施例提供的卡路里识别装置的程序模块示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面将结合附图详细说明本申请实施例的一种基于智能眼镜的卡路里识别方法、装置、设备及存储介质。
为了解决相关技术中用户基于个人经验数据人工评估热量摄入水平的准确性和可实现性较差的问题，本申请一实施例提供了一种基于智能眼镜的卡路里识别方法，应用于如图1所示的场景，在该应用场景中，可以包括智能眼镜10以及服务器20，两者可以采用无线通信连接方式进行交互，在实际应用中，用户佩戴的智能眼镜10执行食物图像的拍摄，然后将所拍摄的食物图像上传至服务器20，由服务器基于食物图像执行如下基于智能眼镜的卡路里识别方法的流程：获取智能眼镜拍摄的原始食物图像；基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像；基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息；基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。
在本实施例中，智能眼镜可以配置有惯性测量单元、中央控制单元以及图像传感器，惯性测量单元采用MPU6050陀螺仪实现，中央控制单元采用树莓派Zero嵌入式计算机实现，图像传感器采用RPi Zero V1.3摄像头实现。应当说明的是，树莓派Zero 2W具有体积小、能耗低、操作简单且移动便携的特点，用于图像采集的RPi Zero V1.3摄像头拥有500万像素及CSI接口，易于与树莓派集成；MPU6050型号六轴运动姿态陀螺仪传感器，可用于测量三轴加速度及三维角速度，MPU6050还可以根据以上原始数据在数字运动处理器中使用算法进行姿态级联解算出三轴的角度数据。树莓派计算机和摄像头在工作时会大量发热，因此本实施例选取TEC1-04901半导体制冷片进行散热，在原理上，当一块N型半导体材料和一块P型半导体材料联结成的热电偶对中有电流通过时，两端之间就会产生热量转移，将热量从一端快速地转移到另一端。本实施例的眼镜主体框架可以采用3D打印技术，使用的材料是Abs工程塑料，该材料具有耐热、扛冲击、耐低温、制品尺寸稳定的特性。最后，本实施例的智能眼镜使用TR 18650锂电池为存储能量，并于ESP32 1路18650锂电池扩展板搭配，进行有效供电及充电。
如图2所示为本实施例提供的一种智能眼镜的部件安装原理示意图，树莓派主板安装于眼镜腿部框架，该部位可提供足够的安装空间兼之拥有更好的承重能力。因树莓派在同性能的微型计算机当中拥有较轻的重量，所以长期佩戴并不会给用户带来不适。RPiZero V1.3摄像头固定在眼镜桩头，可提供广阔无遮挡视野从而便于拍摄食品图像。MPU6050陀螺仪尺寸小、读数精确，适于安装在以眼镜为载体的设备上使用。陀螺仪装配在摄像头与主板之间，可有效收集佩戴者头部位姿变化，从而降低误触发的可能性。与此同时，因树莓派体积小，其散热能力相对较弱，因此本实施例使用TEC1-04901半导体制冷片散热。电池设计于另一侧眼镜腿部框架，其作用是与主板达到重量平衡，同时更高效地供电。
在本实施例中，智能眼镜的板载控制程序运行于树莓派Zero微型嵌入式计算机上，操作***为Linux的Raspbian发行版。嵌入式主控程序由Python3.8语言编写，通过Python-smbus程序包操纵GPIO针脚，使用I2C通信协议实现对陀螺仪等传感器的读写控制。
在一些实施方式中，智能眼镜上的惯性测量单元检测到用户低头动作时触发图像传感器拍摄原始食物图像。具体的，用户佩戴智能眼镜并开机后，通过轻轻点头的方式与眼镜交互，触发图像传感器的拍照操作并将图片上传服务器分析记录。该人机交互方式自然流畅，减轻了用户的使用成本。
如图3所示为本申请一实施例提供的一种电子设备的结构示意图。该电子设备示例性的为图1所示场景中的服务器，主要包括：存储器301及处理器302，处理器302的数量可以是一个或多个，存储器301上存储有可在处理器302上运行的计算机程序303，存储器301和处理器302通信连接，处理器302执行该计算机程序303时，实现前述卡路里识别方法的流程。
应当说明的是，存储器可以是内部存储单元，例如硬盘或内存；存储器也可以是外部存储设备，例如配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括内部存储单元也包括外部存储设备，存储器还可以用于暂时地存储已经输出或者将要输出的数据。需要说明的是，当处理器为神经网络芯片时，电子设备可不包括存储器，电子设备是否需使用存储器存储相应的计算机程序取决于处理器的类型。
另外，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)、神经网络芯片或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于前述电子设备中，该计算机可读存储介质可以是前述图2所示实施例中的存储器。
该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可实现前述卡路里识别方法的流程。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4为本申请一实施例提供的卡路里识别方法的基本流程图，具体包括以下步骤：
步骤401、获取智能眼镜拍摄的原始食物图像。
在本实施例中，用户在摄入食物时可以通过手动操作的方式触发智能眼镜拍摄食物图像，也可以通过前述实施方式中所提及的智能眼镜检测低头动作后自动触发食物图像拍摄，当用户端的智能眼镜采集完成食物图像后，将采用无线网络通信的方式将食物图像上传至后台端的服务器。
步骤402、基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像。
具体的，本实施例的目标检测网络优选的可以为YOLOv5神经网络，引入YOLO的目的是对不同的菜品进行检测，单独勾勒出图片中每道不同的菜肴，降低背景和画面同时出现多道菜品对食物识别的影响。在实际应用中，将食物图像转换至RGB空间确保图像颜色通道顺序一致，然后输入至YOLOv5神经网络，输出菜品区域图像，以实现进行菜品定位并输出相关参数，例如餐盘数量、包围框坐标、宽等。
接下来，考虑到实际应用中用户通常会食用多道菜品，本实施例可以进一步对菜品区域图像进行预处理，也即图像裁剪处理，具体的，首先，获取菜品区域图像的图像参数，然后，计算图形参数中包围框坐标的最大值与最小值的差值，最后，基于差值对菜品区域图像进行裁剪，得到预处理完成的菜品区域图像。
步骤403、基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息。
具体的，本实施例的目标分类网络与目标检测网络组成级联架构，目标分类网络优选的可以为ResNet神经网络，通过将两个独立的卷积神经网络级联在一起，使其为图像分析带来更为准确的数据，使用卷积神经网络级联算法有分类的准确度高、学习能力高效的优点，使得整个机器学习的过程变得高效且准确。在实际应用中，当原始食物图像中包括多道菜品时，则相应将多个菜品区域图像输入至目标分类网络，由目标分类网络分别输出多道菜品的分类标签，例如红烧猪肉、哈密瓜、酸菜鱼、肉夹馍、羊肉串等。
步骤404、基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。
具体的，服务端预置有卡路里数据库，该数据库中保存有不同菜品种类与单位热量数据的映射关系，由此，可以基于该数据库查询得到用户本次食用的菜品的单位热量数据。应当说明的是，本实施例可以进一步基于单位热量数据生成相应的用户端展示数据，然后将用户端展示数据发送至智能眼镜进行显示提示，示例性的，用户端展示数据包括标注有单位热量数据的原始食物图像，由此可向用户提高准确的健康管理指示信息。
在本实施例一种可选实施方式中，上述基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息的步骤，包括：基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息以及餐盘种类信息。
相应的，上述基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据的步骤之后，还包括：基于餐盘种类信息获取相应的餐盘标准容量；结合餐盘标准容量以及菜品区域图像的图像参数中的菜品包围框坐标、餐盘包围框坐标，计算待摄入菜品量；根据待摄入菜品量以及单位热量数据，计算实际摄入热量数据。
具体的，考虑到前述实施方式中向用户输出单位热量数据并无法直接指示用户当前用餐所摄入的实际热量数据，为了更有效的向用户提供健康管理指示，本实施例的目标分类网络除了对菜品种类进行分类识别之外，还进一步对盛放菜品的餐盘进行分类识别，在实际应用中，不同种类餐盘的容量有所区别，本实施例可以根据餐盘种类确定餐盘实际容量，然后以餐盘实际容量为参考来确定菜品量。本实施例可以通过菜品区域图像中菜品包围框坐标以及餐盘包围框坐标来确定菜品区域尺寸以及餐盘区域尺寸，然后求取菜品区域尺寸与餐盘区域尺寸的比值，接下来再计算该比值、餐盘实际容量的乘积，进一步地，基于该乘积与预设转换系数，即可计算得到待摄入菜品量，最后，求取待摄入菜品量与菜品种类相应的单位热量数据的乘积，即得到用户食用该菜品的实际摄入热量。
进一步地，在本实施例一种可选实施方式中，上述根据待摄入菜品量以及单位热量数据，计算实际摄入热量数据的步骤之后，还包括：获取用餐用户的身体指标信息；结合实际摄入热量数据以及身体指标信息生成相应的运动建议信息。
具体的，健康管理除了适量饮食之外通常还需要搭配合理的运动方案，本实施例的智能眼镜中可以定期更新用户的身体指标信息，例如体重、身高、体脂率等，本实施例适应于用户每次用餐的实际摄入热量，进一步结合其身体指标来相应制定运动方案，例如有氧运动量、无氧运动量等等，本实施例的运动建议信息示例性的可以包括步行量、慢跑量、平板支撑量等等，以向用户提供更科学的健康管理指导。
再进一步地，在本实施例一种可选实施方式中，上述结合实际摄入热量数据以及身体指标信息生成相应的运动建议信息的步骤之后，还包括：获取智能眼镜在预设运动监督时段所采集的用户运动数据；基于用户运动数据相对于运动建议信息的达标程度，生成相应的用户健康管理评分。
具体的，为了保证健康管理方案可被用户有效贯彻执行，本实施例会在向用户提供运动建议信息之后，在餐后的特定运动监督时段通过用户佩戴的智能眼镜采集用户实际运动过程中的运动数据，然后计算实际运动数据相对于运动建议信息的达标程度，然后根据该达标程度来生成相应的用户健康管理评分，以实现用户的健康管理监督。
图5中的方法为本申请一实施例提供的一种细化的卡路里识别方法，基于图6所示的级联网络架构实现，该卡路里识别方法的实现流程包括如下步骤：
步骤501、获取智能眼镜上的惯性测量单元检测到用户低头动作时触发图像传感器拍摄的原始食物图像；
步骤502、基于YOLOv5神经网络对原始食物图像进行目标检测，得到菜品区域图像；
步骤503、获取菜品区域图像的图像参数，并计算图形参数中包围框坐标的最大值与最小值的差值，然后基于差值对菜品区域图像进行裁剪，得到预处理完成的菜品区域图像；
步骤504、基于ResNet神经网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息以及餐盘种类信息；
步骤505、基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据，并基于预设餐盘容量数据库查询对应于餐盘种类信息的餐盘标准容量；
步骤506、结合餐盘标准容量以及菜品区域图像的图像参数中的菜品包围框坐标、餐盘包围框坐标，计算待摄入菜品量；
步骤507、根据待摄入菜品量以及单位热量数据，计算实际摄入热量数据；
步骤508、将实际摄入热量数据标注于原始食物图像的相应菜品区域，并将标注得到的原始食物图像发送至智能眼镜。
应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。
图7为本申请一实施例提供的一种基于智能眼镜的卡路里识别装置，该卡路里识别装置可用于实现前述实施例中的卡路里识别方法，该卡路里识别装置主要包括：
获取模块701，用于获取智能眼镜拍摄的原始食物图像；
检测模块702，用于基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像；
识别模块703，用于基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息；
查询模块704，用于基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。
在本实施例的一些实施方式中，上述获取模块具体用于：获取智能眼镜上的惯性测量单元检测到用户低头动作时触发图像传感器拍摄的原始食物图像。
在本实施例的一些实施方式中，该卡路里识别装置还包括：裁剪模块，用于获取菜品区域图像的图像参数；计算图形参数中包围框坐标的最大值与最小值的差值；基于差值对菜品区域图像进行裁剪，得到预处理完成的菜品区域图像。
在本实施例的一些实施方式中，上述识别模块具体用于：基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息以及餐盘种类信息。相应的，该卡路里识别装置还包括：计算模块，用于基于餐盘种类信息获取相应的餐盘标准容量；结合餐盘标准容量以及菜品区域图像的图像参数中的菜品包围框坐标、餐盘包围框坐标，计算待摄入菜品量；根据待摄入菜品量以及单位热量数据，计算实际摄入热量数据
进一步地，在本实施例的一些实施方式中，该卡路里识别装置还包括：生成模块，用于：获取用餐用户的身体指标信息；结合实际摄入热量数据以及身体指标信息生成相应的运动建议信息。
更进一步地，在本实施例的一些实施方式中，上述生成模块还用于：获取智能眼镜在预设运动监督时段所采集的用户运动数据；基于用户运动数据相对于运动建议信息的达标程度，生成相应的用户健康管理评分。
应当说明的是，前述实施例中的卡路里识别方法均可基于本实施例提供的卡路里识别装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的卡路里识别装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于本申请上述实施例的技术方案，获取智能眼镜拍摄的原始食物图像；基于预设目标检测网络对原始食物图像进行目标检测，得到菜品区域图像；基于预设目标分类网络对菜品区域图像进行分类识别，得到对应于菜品区域图像的菜品种类信息；基于预设卡路里数据库查询对应于菜品种类信息的单位热量数据。通过本申请方案的实施，利用智能眼镜对用户饮食过程中的食物图像进行采集，然后基于级联的神经网络模型依次实现菜品区域检测以及菜品种类识别，最后根据所识别类型查询得到饮食摄入热量，整体实现过程可以在最大程度脱离人工，提高了实现便捷性，并且有效保证了热量摄入评估结果的准确性。
应当说明的是，在本申请所提供的几个实施例中所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的基于智能眼镜的卡路里识别方法、装置、设备及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于智能眼镜的卡路里识别方法，其特征在于，包括：
获取智能眼镜拍摄的原始食物图像；
基于预设目标检测网络对所述原始食物图像进行目标检测，得到菜品区域图像；
基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息；
基于预设卡路里数据库查询对应于所述菜品种类信息的单位热量数据。
2.根据权利要求1所述的卡路里识别方法，其特征在于，所述目标检测网络为YOLOv5神经网络，所述目标分类网络为ResNet神经网络。
3.根据权利要求1所述的卡路里识别方法，其特征在于，所述获取智能眼镜拍摄的原始食物图像的步骤，包括：
获取智能眼镜上的惯性测量单元检测到用户低头动作时触发图像传感器拍摄的原始食物图像。
4.根据权利要求1所述的卡路里识别方法，其特征在于，所述基于预设目标分类网络对所述菜品区域图像进行分类识别的步骤之前，还包括：
获取所述菜品区域图像的图像参数；
计算所述图形参数中包围框坐标的最大值与最小值的差值；
基于所述差值对所述菜品区域图像进行裁剪，得到预处理完成的所述菜品区域图像。
5.根据权利要求1至4中任意一项所述的卡路里识别方法，其特征在于，所述基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息的步骤，包括：
基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息以及餐盘种类信息；
所述基于预设卡路里数据库查询对应于所述菜品种类信息的单位热量数据的步骤之后，还包括：
基于所述餐盘种类信息获取相应的餐盘标准容量；
结合所述餐盘标准容量以及所述菜品区域图像的图像参数中的菜品包围框坐标、餐盘包围框坐标，计算待摄入菜品量；
根据所述待摄入菜品量以及所述单位热量数据，计算实际摄入热量数据。
6.根据权利要求5所述的卡路里识别方法，其特征在于，所述根据所述待摄入菜品量以及所述单位热量数据，计算实际摄入热量数据的步骤之后，还包括：
获取用餐用户的身体指标信息；
结合所述实际摄入热量数据以及所述身体指标信息生成相应的运动建议信息。
7.根据权利要求6所述的卡路里识别方法，其特征在于，所述结合所述实际摄入热量数据以及所述身体指标信息生成相应的运动建议信息的步骤之后，还包括：
获取所述智能眼镜在预设运动监督时段所采集的用户运动数据；
基于所述用户运动数据相对于所述运动建议信息的达标程度，生成相应的用户健康管理评分。
8.一种基于智能眼镜的卡路里识别装置，其特征在于，包括：
获取模块，用于获取智能眼镜拍摄的原始食物图像；
检测模块，用于基于预设目标检测网络对所述原始食物图像进行目标检测，得到菜品区域图像；
识别模块，用于基于预设目标分类网络对所述菜品区域图像进行分类识别，得到对应于所述菜品区域图像的菜品种类信息；
查询模块，用于基于预设卡路里数据库查询对应于所述菜品种类信息的单位热量数据。
9.一种电子设备，其特征在于，包括存储器及处理器，其中：
所述处理器用于执行存储在所述存储器上的计算机程序；
所述处理器执行所述计算机程序时，实现权利要求1至7中任意一项所述的卡路里识别方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述的卡路里识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310211192.XA CN116821405A (zh) | 2023-03-06 | 2023-03-06 | 基于智能眼镜的卡路里识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310211192.XA CN116821405A (zh) | 2023-03-06 | 2023-03-06 | 基于智能眼镜的卡路里识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116821405A true CN116821405A (zh) | 2023-09-29 |
Family
ID=88111584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310211192.XA Pending CN116821405A (zh) | 2023-03-06 | 2023-03-06 | 基于智能眼镜的卡路里识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116821405A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316384A (zh) * | 2023-11-28 | 2023-12-29 | 亿慧云智能科技（深圳）股份有限公司 | 运动计划自适应调整方法、装置、设备及存储介质 |
| CN117911795A (zh) * | 2024-03-18 | 2024-04-19 | 杭州食方科技有限公司 | 食品图像识别方法、装置、电子设备和计算机可读介质 |
-
2023
- 2023-03-06 CN CN202310211192.XA patent/CN116821405A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316384A (zh) * | 2023-11-28 | 2023-12-29 | 亿慧云智能科技（深圳）股份有限公司 | 运动计划自适应调整方法、装置、设备及存储介质 |
| CN117316384B (zh) * | 2023-11-28 | 2024-04-09 | 亿慧云智能科技（深圳）股份有限公司 | 运动计划自适应调整方法、装置、设备及存储介质 |
| CN117911795A (zh) * | 2024-03-18 | 2024-04-19 | 杭州食方科技有限公司 | 食品图像识别方法、装置、电子设备和计算机可读介质 |
| CN117911795B (zh) * | 2024-03-18 | 2024-06-11 | 杭州食方科技有限公司 | 食品图像识别方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116821405A (zh) | 基于智能眼镜的卡路里识别方法、装置、设备及存储介质 | |
| Hassannejad et al. | Automatic diet monitoring: a review of computer vision and wearable sensor-based methods | |
| US10900943B2 (en) | Method, apparatus and system for food intake and physical activity assessment | |
| Kong et al. | DietCam: Automatic dietary assessment with mobile camera phones | |
| Stumbo | New technology in dietary assessment: a review of digital methods in improving food record accuracy | |
| US20190122424A1 (en) | Generation of Body Models and Measurements | |
| Wang et al. | A review on vision-based analysis for automatic dietary assessment | |
| KR20100087551A (ko) | 사용자의 행동 분류에 따른 칼로리 균형 계산 장치 | |
| Jiang et al. | Food nutrition visualization on Google glass: Design tradeoff and field evaluation | |
| CN104778374A (zh) | 一种基于图像处理识别方法的自动膳食评估装置 | |
| Pouladzadeh et al. | You are what you eat: So measure what you eat! | |
| CN109961097B (zh) | 一种嵌入式场景下基于边缘计算的图像分类调度方法 | |
| CN108229674A (zh) | 聚类用神经网络的训练方法和装置、聚类方法和装置 | |
| KR20180005016A (ko) | 스마트패드 기반 섭취칼로리 계측시스템 | |
| CN112970026B (zh) | 一种估算物体参数的方法以及电子设备 | |
| CN112364905A (zh) | 一种基于注意力机制SENet的Fater R-CNN食物分类和GL值识别方法 | |
| KR20210104360A (ko) | 이미지 인식 기반 인공지능 서비스 제공방법 및 시스템 | |
| CN209347003U (zh) | 一种智能健康状态检测*** | |
| CN103838357B (zh) | 一种画面交互方法、装置、***和移动终端 | |
| CN110062183A (zh) | 获取进食数据的方法、装置、服务器、存储介质及*** | |
| CN112535113B (zh) | 智能耳标及智能耳标*** | |
| Dinic et al. | EatAR tango: Results on the accuracy of portion estimation | |
| CN209607022U (zh) | 一种生猪体尺测量设备、***及猪圈 | |
| CN106997428A (zh) | 目诊*** | |
| Kong | Automatic food intake assessment using camera phones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |