CN109725117A - 冰箱中食品热量检测的方法及装置 - Google Patents
冰箱中食品热量检测的方法及装置 Download PDFInfo
- Publication number
- CN109725117A CN109725117A CN201711047914.3A CN201711047914A CN109725117A CN 109725117 A CN109725117 A CN 109725117A CN 201711047914 A CN201711047914 A CN 201711047914A CN 109725117 A CN109725117 A CN 109725117A
- Authority
- CN
- China
- Prior art keywords
- food
- image
- detected
- refrigerator
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明公开了冰箱中食品热量检测的方法及装置，属于智能家电技术领域。该方法包括：获取冰箱中食品的图像；根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。这样，冰箱可对食品的热量进行管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
Description
技术领域
本发明涉及智能家电技术领域，特别涉及冰箱中食品热量检测的方法及装置。
背景技术
随着智能家电技术的发展，空调、冰箱、洗衣机等等家电都可进行智能控制。冰箱作为一种智能家电，不仅可以冷藏及冷冻食品，还可对储藏的食品进行管理。
目前，一些智能冰箱可识别出存储食品的种类，并记录储藏日期等等，这样，用户可根据智能冰箱的这些管理信息，进行膳食搭配，并且，还可优化食品的消耗过程，减少食品因过期或变质带来的资源浪费。但是，随着生活质量的进一步提高，用户在摄取食物时，不仅需要考虑食物的搭配，还需考虑食物的营养价值，例如：蛋白摄入，热量消耗等等，这就对冰箱的食品管理提出更高的要求。
发明内容
本发明实施例提供了一种冰箱中食品热量检测的方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面，提供了一种冰箱中食品热量检测的方法，包括：
获取冰箱中食品的图像；
根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；
根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。
本发明一实施例中，所述获取冰箱中食品的图像之前，包括：
根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或。
从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
本发明一实施例中，所述根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息包括：
根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；
根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。
本发明一实施例中，所述确定所述待检测食品的体积包括：
对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像；
根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。
本发明一实施例中，所述对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像包括：
当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；
根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；
根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
根据本发明实施例的第二方面，提供一种冰箱中食品热量检测的装置，包括：
获取单元，用于获取冰箱中食品的图像；
识别单元，用于根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；
检测单元，用于根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。
本发明一实施例中，所述装置还包括：存储单元，用于根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
本发明一实施例中，所述检测单元包括：
第一确定模块，用于根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；
第二确定模块，用于根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。
本发明一实施例中，所述第一确定模块，具体用于对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像，以及根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。
本发明一实施例中，所述第一确定模块，具体用于当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明实施例中，冰箱不仅可识别出食品的种类，还可识别出食品的外形特征信息，从而，可根据种类和外形特征信息，检测出食品的热量信息。这样，冰箱可对食品的热量进行管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程示意图；
图2是根据一示例性实施例示出的一种基准图的示意图；
图3是根据一示例性实施例示出的一种食品三维重建的示意图；
图4是根据一示例性实施例示出的一种食品三维重建的示意图；
图5是根据一示例性实施例示出的一种食品三维重建的示意图；
图6是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程示意图；
图7是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图；
图8是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
冰箱已是日常生活中常见的设备了，不仅能冷藏或冷冻食品，而且还可对存储的食品进行管理。本实施例中，冰箱可识别出食品的种类以及外形特征信息，并可根据种类和外形特征信息，检测出食品的热量信息。这样，冰箱对食品的管理还可包括食品热量的管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
图1是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程图。如图1所示，冰箱中食品热量检测的过程包括：
步骤101：获取冰箱中食品的图像。
可通过冰箱中的摄像设备，获取冰箱中食品的图像。
步骤102：根据保存的食品图像训练模型，从图像中识别出待检测食品的种类和外形特征信息。
冰箱可具有人工智能机器学习的能力，这样，冰箱在出厂前，或使用过程中，获得大量的已知食品位置和种类的冰箱食品图像，从而，可根据这些已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存。
或者，由于冰箱是智能设备，可与服务器进行通讯，为减少冰箱的内存压力，食品图像训练模型可由服务器确定，而冰箱与服务器通讯，从而，从服务器中获取并保存食品图像训练模型，其中，食品图像训练模型是服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
这样，冰箱中保存了食品图像训练模型，从而，可根据食品图像训练模型，进行图像的匹配和识别，从获取的图像识别出待检测食品的种类和外形特征信息。其中，待检测食品可图像中包括的一个、两个或多个食品。
由于食品图像训练模型是根据已知食品位置和种类的冰箱食品图像集合确定的，因此，也可从图像中识别出待检测食品的种类和外形特征信息。这里，外形特征信息可包括：待检测食品的外接边框图像和待检测食品的图像类别信息。例如：外接边框图像可为外接最小矩形框图像，或外接最小圆形框图像等等，图像类别信息包括：圆柱体、球体、正方体等等。
当然，外形特征信息还可是其他的一些图形特征信息，根据这些图像特征信息可计算出待检测食品的体积。
步骤103：根据待检测食品的种类和外形特征信息，检测待检测食品的热量信息。
已确定待检测食品的种类和外形特征信息，其中，外形特征信息包括待检测食品的外接边框图像和待检测食品的图像类别信息时，这样，检测待检测食品的热量信息的过程可包括：根据外形特征信息，进行三维重建，确定待检测食品的体积；然后，根据保存的食品卡路里对应关系，确定与待检测食品的种类以及体积对应的待检测食品的热量。
其中，根据外形特征信息确定待检测食品的体积，需要采用图像畸形校正技术以及三维重建技术。通过图像畸形校正，以及三维重建即可确定待检测食品的体积。并且，已知了待检测食品的种类，从而，可根据保存的食品卡路里对应关系，确定待检测食品的热量。
本实施例中，保存的食品卡路里对应关系可包括：食材卡路里索引字典，从而，可在该食材卡路里索引字典进行查找，确定与待检测食品的种类以及体积对应的卡路里，即检测出了待检测食品的热量。
冰箱检测出食品的热量后，可呈现储藏食品的热量，这样，用户可根据本身的健康运动情况，合适选择食品进行摄入，进一步合理健康的搭配膳食，满足的用户需求，从而，提高了冰箱的智能性。
可见，本实施例中，冰箱可识别出食品的种类以及外形特征信息，并可根据种类和外形特征信息，检测出食品的热量信息。这样，冰箱对食品的管理还可包括食品热量的管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
本发明实施例中，冰箱在检测食品热量的过程中需采用图像畸形校正技术，而图像畸形校正的方案可以有多种，这里，可采用回归迭代的方式来进行图像畸形校正。
图2是根据一示例性实施例示出的一种基准图的示意图。如图2所示，从基准图上找三个点(r1,s1)(r2,s2)(r3,s3)，它们在畸变图像上对应的三个点的坐标为(x1,y1)(x2,y2)(x3,y3),把这三对点的坐标带入公式(1)
x'＝a00+a10x+a01y
y'＝b00+b10x+b01y------------------------------------------(1)
公式(1)为一次方程，其中，x,y分别为畸变图像上点的坐标，而x'，y'为矫正图像上点的坐标。而公式(1)对应的矩阵形式为公式(2)和(3)：
通过解联立方程或矩阵求逆，可得到各系数aij,bijj，即矫正参数，i＝0、1、或2，j＝0、1、或2。这样可确定畸变公式，进一步可采用间接法来矫正畸变图像。
当然，还可采用二次方程来进行图像畸变矫正处理，这样，畸变公式可为二元二次多项式，可用来描述理想图像坐标点(x，y)和畸变图像坐标(x',y')之间的关系，数学表达式为公式(4):
其中，公式(4)中包含12个未知的矫正参数，因此，需要6对像素坐标点，通过解联立方程或矩阵求逆，即可确定12个未知的矫正参数，这样，确定畸变公式。
这样，无论畸变公式采用公式(1)或公式(4)都可对外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像。较佳地，当外接边框图像为外接最小矩形框图像时，确定外接最小矩形框图像中四个角的点坐标(x，y)；
根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；
根据每个矫正点坐标(x',y')，获得外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
当然，本发明实施例中，冰箱在检测食品热量的过程中还需采用到三维重建的技术。不同的外接边框图像对应不同的三维重建的技术，即可根据校正边框图像中边界点的坐标信息，以及与外形特征信息中的图像类别信息对应的体积运算公式，确定待检测食品的体积。
当外接边框图像为外接最小矩形框图像，通过图像畸形校正处理，获得了外接最小矩形框图像的校正矩形框图像上四个角的点坐标(x',y')，这样，可外形特征信息中的图像类别信息进行三维重建。
图3是根据一示例性实施例示出的一种食品三维重建的示意图。如图3所示，待检测食品的图像类别信息为圆柱体，获得校正矩形框图像上四个角的点坐标分别为(x'1,y'1)，(x'2,y'2)，(x'3,y'3)，(x'4,y'4)。从而，可根据确定待检测食品的体积。
图4是根据一示例性实施例示出的一种食品三维重建的示意图。如图4所示，待检测食品的图像类别信息为正方体，获得校正矩形框图像上四个角的点坐标分别为(x'1,y'1)，(x'2,y'2)，(x'3,y'3)，(x'4,y'4)。从而，可根据V＝(x'2-x'1)3确定待检测食品的体积。
图5是根据一示例性实施例示出的一种食品三维重建的示意图。如图5所示，待检测食品的图像类别信息为球体，获得校正矩形框图像上四个角的点坐标分别为(x'1,y'1)，(x'2,y'2)，(x'3,y'3)，(x'4,y'4)。从而，可根据确定待检测食品的体积。
可见，根据待检测食品的外形特征信息，分别进行图像畸形校正处理以及三维重建，即可确定待检测食品的体积，从而，可确定与待检测食品的种类以及体积对应的待检测食品的热量。这样，冰箱对食品的管理还可包括食品热量的管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
下面将操作流程集合到具体实施例中，举例说明本公开实施例提供的方法。
本实施例中，冰箱可与管理智能家电的服务器进行通讯，从服务器中获取并保存食品图像训练模型，其中，食品图像训练模型是服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。这样，冰箱中已保存了食品图像训练模型。
图6是根据一示例性实施例示出的一种冰箱中食品热量检测方法的流程示意图。如图6所示，冰箱中食品热量检测的过程如下：
步骤601：获取冰箱中食品的图像。
步骤602：根据保存的食品图像训练模型，从图像中识别出待检测食品的种类、外接最小矩形框图像以及图像类别信息。
步骤603：确定外接最小矩形框图像中四个角的点坐标(x，y)，根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')，根据每个矫正点坐标(x',y')，获得外接最小矩形框图像的校正矩形框图像。
步骤604：根据校正矩形框图像中对应的矫正点坐标(x',y')以及与图像类别信息对应的体积运算公式，确定待检测食品的体积。
步骤605：根据保存的食品卡路里对应关系，确定与待检测食品的种类以及体积对应的待检测食品的热量。
可见，本实施例中，通过图像识别、图像畸形校正，以及图像三维重建可确定待检测食品的体积，从而，可确定与待检测食品的种类以及体积对应的待检测食品的热量。这样，冰箱可对食品的热量进行管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
根据上述冰箱中食品热量检测的过程，可构建一种冰箱中食品热量检测的装置。
图7是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图。如图7所示，该装置可应用于冰箱中，包括：获取单元100、识别单元200以及检测单元300，其中，
获取单元100，用于获取冰箱中食品的图像。
识别单元200，用于根据保存的食品图像训练模型，从图像中识别出待检测食品的种类和外形特征信息。
检测单元300，用于根据待检测食品的种类和外形特征信息，检测待检测食品的热量信息。
本发明一实施例中，装置还包括：存储单元，用于根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，从服务器中获取并保存食品图像训练模型，其中，食品图像训练模型是服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
本发明一实施例中，检测单元300包括：
第一确定模块，用于根据外形特征信息，进行三维重建，确定待检测食品的体积；
第二确定模块，用于根据保存的食品卡路里对应关系，确定与待检测食品的种类以及体积对应的待检测食品的热量。
本发明一实施例中，第一确定模块，具体用于对外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像，以及根据校正边框图像中边界点的坐标信息，以及与外形特征信息中的图像类别信息对应的体积运算公式，确定待检测食品的体积。
本发明一实施例中，第一确定模块，具体用于当外接边框图像为外接最小矩形框图像时，确定外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个矫正点坐标(x',y')，获得外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
下面举例说明本公开实施例提供的装置。
图8是根据一示例性实施例示出的一种冰箱中食品热量检测装置的框图。如图8所示，该装置包括：获取单元100、识别单元200和检测单元300，还包括存储单元400。其中，检测单元300包括：第一确定模块310和第二确定模块320。
其中，存储单元400可根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存。
这样，获取单元100获取冰箱中食品的图像后，识别单元200可根据第一存储单元400中存储的食品图像训练模型，从图像中识别出待检测食品的种类和外形特征信息。从而，检测单元300可根据待检测食品的种类和外形特征信息，检测待检测食品的热量信息。
其中，当识别单元200识别的外形特征信息包括外接最小矩形框图像时，检测单元300中的第一确定模块310可确定外接最小矩形框图像中四个角的点坐标((x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个矫正点坐标(x',y')，获得外接最小矩形框图像的校正矩形框图像。并且，第一确定模块310还可根据校正矩形框图像中的每个矫正点坐标(x',y')，以及与外形特征信息中的图像类别信息对应的体积运算公式，确定待检测食品的体积。
而检测单元300中的第二确定模块320可根据保存的食品卡路里对应关系，确定与待检测食品的种类以及体积对应的待检测食品的热量。
可见，本实施例中，根据待检测食品的外形特征信息，分别进行图像畸形校正处理以及三维重建，即可确定待检测食品的体积，从而，可确定与待检测食品的种类以及体积对应的待检测食品的热量。这样，冰箱对食品的管理还可包括食品热量的管理，进一步提高了冰箱的智能性，并且，用户根据冰箱管理的食品热量信息，选择合适的食品进行摄入，进一步提高用户的健康饮食，改善生活质量，提高用户体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种冰箱中食品热量检测的方法，其特征在于，包括：
获取冰箱中食品的图像；
根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；
根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。
2.如权利要求1所述的方法，其特征在于，所述获取冰箱中食品的图像之前，包括：
根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，
从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息包括：
根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；
根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。
4.如权利要求3所述的方法，其特征在于，所述确定所述待检测食品的体积包括：
对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像；
根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。
5.如权利要求3所述的方法，其特征在于，所述对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像包括：
当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；
根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；
根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
6.一种冰箱中食品热量检测的装置，其特征在于，包括：
获取单元，用于获取冰箱中食品的图像；
识别单元，用于根据保存的食品图像训练模型，从所述图像中识别出待检测食品的种类和外形特征信息；
检测单元，用于根据所述待检测食品的种类和外形特征信息，检测所述待检测食品的热量信息。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
存储单元，用于根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习，确定食品图像训练模型并保存；或，从服务器中获取并保存食品图像训练模型，其中，所述食品图像训练模型是所述服务器根据已知食品位置和种类的冰箱食品图像集合，进行人工智能机器学习后确定的。
8.如权利要求6或7所述的装置，其特征在于，所述检测单元包括：
第一确定模块，用于根据所述外形特征信息，进行三维重建，确定所述待检测食品的体积；
第二确定模块，用于根据保存的食品卡路里对应关系，确定与所述待检测食品的种类以及所述体积对应的所述待检测食品的热量。
9.如权利要求8所述的装置，其特征在于，
所述第一确定模块，具体用于对所述外形特征信息中的外接边框图像进行图像畸形校正处理，获得校正边框图像，以及根据所述校正边框图像中边界点的坐标信息，以及与所述外形特征信息中的图像类别信息对应的体积运算公式，确定所述待检测食品的体积。
10.如权利要求9所述的装置，其特征在于，
所述第一确定模块，具体用于当所述外接边框图像为外接最小矩形框图像时，确定所述外接最小矩形框图像中四个角的点坐标(x，y)；根据公式(4)，确定与每个点坐标(x，y)对应的矫正点坐标(x',y')；根据每个所述矫正点坐标(x',y')，获得所述外接最小矩形框图像的校正矩形框图像；
其中，aij,bij为矫正参数，i＝0、1、或2，j＝0、1、或2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711047914.3A CN109725117A (zh) | 2017-10-31 | 2017-10-31 | 冰箱中食品热量检测的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711047914.3A CN109725117A (zh) | 2017-10-31 | 2017-10-31 | 冰箱中食品热量检测的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109725117A true CN109725117A (zh) | 2019-05-07 |
Family
ID=66293136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711047914.3A Pending CN109725117A (zh) | 2017-10-31 | 2017-10-31 | 冰箱中食品热量检测的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109725117A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112394149A (zh) * | 2019-08-13 | 2021-02-23 | 青岛海尔智能技术研发有限公司 | 食材成熟度检测提示的方法及装置、厨电设备 |
| CN113465265A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种智能冰箱及食材检测方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005164054A (ja) * | 2003-11-28 | 2005-06-23 | Toshiba Corp | 健康管理冷蔵庫、および健康管理システム |
| CN101729737A (zh) * | 2008-10-29 | 2010-06-09 | 鸿富锦精密工业（深圳）有限公司 | 影像校正***及方法 |
| US8605952B2 (en) * | 2008-09-05 | 2013-12-10 | Purdue Research Foundation, Inc. | Dietary assessment system and method |
| CN103514450A (zh) * | 2012-06-29 | 2014-01-15 | 华为技术有限公司 | 一种图像特征提取方法和图像校正方法以及设备 |
| CN105184719A (zh) * | 2015-08-28 | 2015-12-23 | 小米科技有限责任公司 | 食品监控方法及装置 |
| CN105260693A (zh) * | 2015-12-01 | 2016-01-20 | 浙江工业大学 | 一种激光二维码定位方法 |
| WO2016081831A1 (en) * | 2014-11-21 | 2016-05-26 | Mutti Christopher M | Imaging system for object recognition and assessment |
| CN105809598A (zh) * | 2016-03-10 | 2016-07-27 | 青岛海尔智能家电科技有限公司 | 饮食摄入的管理方法、装置及云平台 |
| CN106152691A (zh) * | 2016-07-05 | 2016-11-23 | 合肥华凌股份有限公司 | 冰箱内食物重量的检测方法及装置 |
| CN106339576A (zh) * | 2016-07-20 | 2017-01-18 | 美的集团股份有限公司 | 一种健康管理方法和*** |
| CN106372198A (zh) * | 2016-08-31 | 2017-02-01 | 乐视控股（北京）有限公司 | 一种基于图像识别技术的数据提取方法及其移动终端 |
| CN106529427A (zh) * | 2016-10-24 | 2017-03-22 | 合肥华凌股份有限公司 | 图像中目标物体识别方法、冰箱内食品识别方法及*** |
| CN107077709A (zh) * | 2014-08-26 | 2017-08-18 | Aqua株式会社 | 营养素量计算装置及具备该装置的冰箱 |
| US20180149583A1 (en) * | 2015-07-29 | 2018-05-31 | Do Yeon PI | Method and apparatus for providing food information |
-
2017
- 2017-10-31 CN CN201711047914.3A patent/CN109725117A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005164054A (ja) * | 2003-11-28 | 2005-06-23 | Toshiba Corp | 健康管理冷蔵庫、および健康管理システム |
| US8605952B2 (en) * | 2008-09-05 | 2013-12-10 | Purdue Research Foundation, Inc. | Dietary assessment system and method |
| CN101729737A (zh) * | 2008-10-29 | 2010-06-09 | 鸿富锦精密工业（深圳）有限公司 | 影像校正***及方法 |
| CN103514450A (zh) * | 2012-06-29 | 2014-01-15 | 华为技术有限公司 | 一种图像特征提取方法和图像校正方法以及设备 |
| CN107077709A (zh) * | 2014-08-26 | 2017-08-18 | Aqua株式会社 | 营养素量计算装置及具备该装置的冰箱 |
| WO2016081831A1 (en) * | 2014-11-21 | 2016-05-26 | Mutti Christopher M | Imaging system for object recognition and assessment |
| US20180149583A1 (en) * | 2015-07-29 | 2018-05-31 | Do Yeon PI | Method and apparatus for providing food information |
| CN105184719A (zh) * | 2015-08-28 | 2015-12-23 | 小米科技有限责任公司 | 食品监控方法及装置 |
| CN105260693A (zh) * | 2015-12-01 | 2016-01-20 | 浙江工业大学 | 一种激光二维码定位方法 |
| CN105809598A (zh) * | 2016-03-10 | 2016-07-27 | 青岛海尔智能家电科技有限公司 | 饮食摄入的管理方法、装置及云平台 |
| CN106152691A (zh) * | 2016-07-05 | 2016-11-23 | 合肥华凌股份有限公司 | 冰箱内食物重量的检测方法及装置 |
| CN106339576A (zh) * | 2016-07-20 | 2017-01-18 | 美的集团股份有限公司 | 一种健康管理方法和*** |
| CN106372198A (zh) * | 2016-08-31 | 2017-02-01 | 乐视控股（北京）有限公司 | 一种基于图像识别技术的数据提取方法及其移动终端 |
| CN106529427A (zh) * | 2016-10-24 | 2017-03-22 | 合肥华凌股份有限公司 | 图像中目标物体识别方法、冰箱内食品识别方法及*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112394149A (zh) * | 2019-08-13 | 2021-02-23 | 青岛海尔智能技术研发有限公司 | 食材成熟度检测提示的方法及装置、厨电设备 |
| CN112394149B (zh) * | 2019-08-13 | 2023-12-22 | 青岛海尔智能技术研发有限公司 | 食材成熟度检测提示的方法及装置、厨电设备 |
| CN113465265A (zh) * | 2020-04-27 | 2021-10-01 | 海信集团有限公司 | 一种智能冰箱及食材检测方法 |
| CN113465265B (zh) * | 2020-04-27 | 2022-04-01 | 海信集团有限公司 | 一种智能冰箱及食材检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Semantic scene completion from a single depth image | |
| Xiang et al. | Beyond pascal: A benchmark for 3d object detection in the wild | |
| US9984473B2 (en) | Feature trackability ranking, systems and methods | |
| CN107330750B (zh) | 一种推荐产品配图方法及装置，电子设备 | |
| Xing et al. | Malleable 2.5 D convolution: Learning receptive fields along the depth-axis for RGB-D scene parsing | |
| Kong et al. | Pixel-wise attentional gating for parsimonious pixel labeling | |
| CN106504265B (zh) | 运动估计优化方法、设备和*** | |
| CN113762280A (zh) | 一种图像类别识别方法、装置及介质 | |
| CN110674925B (zh) | 基于3d卷积神经网络的无参考vr视频质量评价方法 | |
| CN105225222A (zh) | 对不同图像集的感知视觉质量的自动评估 | |
| CN105847987A (zh) | 通过电视和体感配件矫正人体动作及*** | |
| CN113408566A (zh) | 目标检测方法及相关设备 | |
| CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
| CN110765882A (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
| CN109725117A (zh) | 冰箱中食品热量检测的方法及装置 | |
| CN107918767A (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
| Xie et al. | Poly-pc: A polyhedral network for multiple point cloud tasks at once | |
| CN104573113B (zh) | 一种信息处理方法及服务器 | |
| CN107944340A (zh) | 一种结合直接度量和间接度量的行人再识别方法 | |
| Messai et al. | Deep learning and cyclopean view for no-reference stereoscopic image quality assessment | |
| CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
| CN106326395B (zh) | 一种局部视觉特征选择方法及装置 | |
| CN111611993A (zh) | 冰箱中食材体积识别的方法、装置及计算机存储介质 | |
| Ye et al. | Food recognition and dietary assessment for healthcare system at mobile device end using mask R-CNN | |
| US20220114392A1 (en) | Automatic generation system of training image and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190507 |