CN107886028A - 一种冰箱的食材录入方法及食材录入装置 - Google Patents

Abstract

本发明涉及一种冰箱的食材录入方法及食材录入装置，该食材录入方法包括：获取储物间室内的食材图像，根据所述食材图像识别出的N种预测食材种类及其置信度，其中N为正整数，根据所述N种预测食材种类及其置信度确定所述食材的种类，此外还提供了采用该方法的食材录入装置。采用本技术方案，使得在食材识别过程中，提高了识别的准确性，减少资源浪费，并提升用户体验。

Description

一种冰箱的食材录入方法及食材录入装置

技术领域

本发明涉及冰箱领域，尤其涉及一种冰箱的食材录入方法及食材录入装置。

背景技术

随着家电智能化的发展，冰箱也开始智能化，目前市场上带显示屏、图像识别装置、有食谱管理功能的智能冰箱越来越多。

目前很多冰箱通过图像识别来进行食材录入或者存储管理，以此减少人工进行食材录入。但是由于在冰箱内的物品存放过程中，不可避免的存在食材重叠、食材特征相像等状况，导致物品的图像识别率较低，而针对这些不能识别的食材需要用户人工输入设置，频繁的人工操作不仅影响用户的使用体验，同时还导致图像识别过程的资源浪费。

发明内容

本发明旨在至少部分解决现有技术中存在的问题，提供一种主要基于冰箱的食材识别方法，使得在食材识别过程中，提高识别的准确性，减少资源浪费，提升用户体验。

本发明采用的技术方案为：

一种冰箱的食材录入方法，包括：

获取储物间室内的食材图像；

根据所述食材图像识别出的N种预测食材种类及其置信度，其中N为正整数；

根据所述N种预测食材种类及其置信度确定所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

进一步的，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

进一步的，当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类步骤后，还包括：

当检测到所述冰箱门体的动作信息时；

在预设周期内再次根据预设方法识别出所述食材的种类；

当所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

进一步的，在检测到所述冰箱门体的动作信息步骤后，还包括：

检测所述储物间室内食材的位置信息和/或重量信息；

当所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

进一步的，当所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材种类为所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

将所述N种预测食材种类按照所述置信度降序排列；

当Xi-Xi+1≥预设阈值，则排除第i+1预测食材种类为所述食材种类，其中，i为小于N的正整数；

根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

当所述当前的季节和/或地域信息与预测食材种类相对应的季节和/或地域信息不同时，则排除所述预测食材种类；

根据排除后的预测食材种类及其置信度确定所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

根据季节和/或地域信息调整所述预设的加权系数；

根据调整后的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值。

进一步的，在确定所述食材的种类步骤后，还包括：

显示或向用户发送所述食材的确定种类信息；

根据预设时间内的用户确认信息确定所述食材的种类。

进一步的，根据预设时间内的用户确认信息确定所述食材的种类包括：

获取用户更正后的食材种类；

根据更正后的食材种类调整所述食材的食用惯性值和/或加权系数。

进一步的，所述食用惯性值包括以下之一：食用次数、食用频率、食用数量、食用消耗率。

此外，还提供了一种冰箱的食材录入装置，包括：

图像获取模块，用于获取储物间室内的食材图像；

识别处理模块，用于识别处理所述食材图像以得到所述食材的预测食材种类及其置信度；

种类确定模块，用于根据所述预测食材种类的置信度确定所述食材的种类。

进一步的，所述种类确定模块包括：

第一种类确定子单元，用于当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

第二种类确定子单元，用于当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

进一步的，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

进一步的，还包括：

第一检测模块，用于在所述第二种类确定子单元确定所述食材的种类后，检测所述冰箱门体的动作信息；

所述识别处理模块，还用于在预设周期内再次根据预设方法识别出所述食材的种类；

所述种类确定模块，还用于在所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

进一步的，还包括：

第二检测模块，用于在第一检测模块检测到所述冰箱门体的动作信号后，检测所述储物间室内食材的位置信息和/或重量信息；

所述识别处理模块，还用于在所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

进一步的，包括：

所述第一种类确定子单元，还用于在所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材为所述食材的种类。

进一步的，还包括：

筛选模块，用于将所述N种预测食材种类按照所述置信度降序排列，并在Xi-Xi+1≥预设阈值时，则排除第i+1预测食材为所述食材种类，其中，i为小于N的正整数；

所述种类确定模块，还用于根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。

采用上述技术方案的有益效果是：

首先，根据根据储物间室内内的食材图像识别出的预测食材种类及其置信度，确定所述食材的种类。具体的，当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的加权系数计算所述预测食材种类的置信度和与其对应的食用惯性值的加权平均值，确定所述加权平均值最高的预测食材为所述食材种类。通过对识别的置信度进行区间划分，分别进行直接确定与模糊确定，尤其针对模糊确定，根据预设的加权系数并结合基于用户***均值，从而进一步提高食材识别录入的成功率。

其次，由于在用户每次存取食材时，都可能导致对之前存储的食材进行移动，尤其针对原先被遮挡的食材可能因此而显露在图像获取装置的图像获取范围内，而原先显露较少的食材可能因此而显露较多，因此，在所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类步骤后，还进行冰箱门体的动作信息检测，并在预设周期内再次根据预设方法识别出所述食材的种类，当所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类，从而对原先通过模糊识别的食材进行再次识别，以此提高图像识别的准确性。进一步的，还在检测到所述冰箱门体的动作信息后检测所述储物间室内食材的位置信息和/或重量信息，当所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类，以此避免用户仅打开冰箱门查看储物间室内的食材而未进行食材存取情况下启动图像识别处理。进一步的，当所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材种类为所述食材的种类，以此自动对先前通过模糊确定的食材种类进行更正，进而提高了食材识别录入的准确性。

再次，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：将所述N种预测食材种类按照所述置信度降序排列，当Xi-Xi+1≥预设阈值时，则排除第i+1预测食材种类为所述食材种类，其中，i为小于N的正整数，根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。进一步的，还通过获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息，当所述当前的季节和/或地域信息与预测食材种类相对应的季节和/或地域信息不同时，则排除所述预测食材种类，并根据排除后的预测食材种类及其置信度确定所述食材的种类，从而剔除预测食材种类种的噪声，提高后续方法中根据预设的算法计算确定所述食材的种类的准确性。

最后，在确定所述食材的种类，还通过显示或向用户发送所述食材的确定种类信息，然后根据预设时间内的用户确认信息确定所述食材的种类。进一步的，当用户更正所述食材的种类后，根据用户更正后的食材种类调整所述食材的食用惯性值和/或加权系数，以此提高下次食材识别录入过程的准确性。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明第一方面实施例中的食材录入方法流程图；

图2是本发明一个具体实施例中的食材录入方法流程图；

图3是本发明另一个具体实施例中的食材录入工作流程图；

图4是本发明又一个具体实施例中的食材录入工作流程图；

图5是本发明第二方面实施例中的食材录入装置结构示意图；

图6是本发明另一个具体实施例中的食材录入装置结构示意图。

具体实施方式

为使本发明的发明目的、技术方案和有益效果更加清楚明了，下面结合附图对本发明的实施例进行说明，需要说明的是，在不冲突的情况下，本申请中的实施例和实施例中的特征可以相互任意组合。

在本发明第一方面的实施例中，提供了一种冰箱的食材录入方法，具体流程如图1、图2所示，包括：

S100：获取储物间室内的食材图像；

S200：根据所述食材图像识别出的N种预测食材种类及其置信度，其中N为正整数；

S300：根据所述N种预测食材种类及其置信度确定所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

S310：当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

S320：当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

在本发明实施例中，根据图像识别的结果，进行置信度区间划分，根据预测食材的置信度值分别进行食材种类的确定，以此提高图像识别食材的准确性。举例来说，所述第一置信度预设值为70%，第二置信度预设值为10%，对于A食材，经过识别处理，得到预测食材种类是A和B，预测食材种类为A的置信度为80%，预测食材种类为B的置信度为20%，那么，由于预测食材种类为A的置信度大于70%，确定其种类为A食材；当预测食材种类为A食材的置信度为55%，预测食材种类为B食材的置信度是40%，那么，则需要根据预设的算法计算后才能够确定所述食材的种类；当A食材的预测食材种类是A、B、C三种，且预测食材为A的置信度为50%，预测食材为B的置信度为45%，预测食材为C的置信度为5%，由于预测食材为C的置信度小于第二置信度预设值10%，因此，预测食材C剔除，仅对预测食材A与预测食材B根据预设的算法计算确定所述食材的种类。

此外，为了便于本申请技术方案的后续内容说明，当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类的方法定义为直接确定法；当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类的方法定义为模糊确定法。

进一步的，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

进一步的，所述食用惯性值包括以下之一：食用次数、食用频率、食用数量、食用消耗率。

针对模糊确定法，根据预设的加权系数并结合基于用户***均值为55%*60%+30%*40%=0.45，预测食材A的加权平均值为40%*60%+60%*40%=0.48，预测食材C的加权平均值为0.07（5%*60%+10%*40%），那么，确认预测食材A为最终的食材种类。

需要说明的是，所述食用惯性值是基于反应用户的使用习惯来确定的，食用频率的计算方式可以是统计历史时间内（比如60天内）的某种食材的使用天数，若在统计的过去60天中，食用食材A的天数有15天，则食材A的食用频次为25%。然而，可能单纯的食用频率还不能很好地反映用户习惯，有些食材虽然食用的频率较高，但是食用量较少，因此，还可以结合食材的使用重量或数量)数据，以便进一步提升准确性；计算时根据食材的已食用量与采购量的比值，作为一项食用量参数，比如用户购买了10斤食材B，已食用了8斤，则食材B的食用消耗量为：（8÷10）×100% = 80%。

在本发明的一个实施例中，如图3所示，当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类步骤后，还包括：

当检测到所述冰箱门体的动作信息时；

在预设周期内再次根据预设方法识别出所述食材的种类；

当所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

用户将食材存储至冰箱储物间室的过程中，可能会使食材之间相互层叠而被部分或者完全遮挡，导致图像识别装置无法准确识别。但是，用户在每次存取食材时可能会对其他食材进行移动，使得原先被遮挡的食材更多的显露在图像获取装置的图像获取范围内，而且，图像识别工作通常都在冰箱门体关闭后进行，因此，以冰箱完成一次开关门动作为准。在所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类步骤后，还进行冰箱门体的动作信息检测，并在预设周期内再次根据预设方法识别出所述食材的种类，即针对食材种类是通过模糊确定法确定的食材在预设周期内再次根据预设方法进行识别，当所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，即确定所述食材的种类，以此提高图像识别的准确性。

其中，在预设周期内再次根据预设方法识别出所述食材的种类步骤中，所述预设周期可以是用户设置的，也可以是冰箱出厂程序预设的，具体可以是一周、一个月、一个季度，也可以是按照冰箱门体动作的次数，比如10次、20次，具体可按照实际需要设定；所述预设方法可以是射频方式识别确定的，也可以是通过其他方法识别确定的。优选的，所述预设方法是通过图像识别确定的，具体的是通过前述图像识别的直接确定法与模糊确定法。

进一步的，当所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材种类为所述食材的种类。

针对上述食材再次识别的情况，若再次识别后的预测食材种类的置信度大于第一置信度预设值，即再次识别的结果是通过前述直接确定法确定的，且与先前模糊确定的食材种类不同时，则以通过直接确定法再次识别的结果为准。因此，需要将先前通过模糊确定方式识别的结果更正为直接确定方式的结果，从而提高了图像识别的准确性。

进一步的，在检测到所述冰箱门体的动作信息步骤后，还包括：

检测所述储物间室内食材的位置信息和/或重量信息；

当所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

在冰箱使用过程中，用户可能仅仅是打开冰箱门体查看食材状况，实际上并未对储物间室内的食材进行操作，此时若再次进行图像识别则没有意义。因此，还需要判定用户是否对食材进行了操作，因此，通过检测储物间室内食材的位置信息和/或重量信息，仅当所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类，避免用户只是开关门查看食材后误启动进行图像识别，保证每一次启动图像识别都能够提高图像识别的准确度。

在本发明的一个实施例中，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

将所述N种预测食材种类按照所述置信度降序排列；

当Xi-Xi+1≥预设阈值，则排除第i+1预测食材种类为所述食材种类，其中，i为小于N的正整数；

根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。

举例来说，所述预设阈值设为20%,当A食材的预测食材种类是A、B、C三种，且预测食材为A的置信度为50%，预测食材为B的置信度为45%，预测食材为C的置信度为5%，由于预测食材为A的置信度与预测食材为B的置信度的差值为5%，预测食材为B的置信度与预测食材为C的置信度的差值为40%，因此排除预测食材C，将预测食材A与预测食材B根据预设的算法计算确定所述食材的种类。

进一步的，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

当所述当前的季节和/或地域信息与预测食材种类相对应的季节和/或地域信息不同时，则排除所述预测食材种类；

根据排除后的预测食材种类及其置信度确定所述食材的种类。

例如，在新疆，采购到杨梅的概率较低，则当识别结果中有杨梅时，剔除这一预测食材种类。具体的，所述季节和/或地域信息可以是用户预设的，也可以是冰箱通过联网，并从网络服务器中获取的。此外，所述网络服务器还可能与某一地域内的所有其他冰箱通讯连接，通过对其他冰箱存储的食材库数据统计，当该区域其他冰箱中最近没有出现过杨梅，则剔除识别结果中的杨梅这一结果。

在确定食材种类前，根据预测食材种类的置信度分布进行预设的数据处理，以及根据冰箱所处的季节/和或地域信息，剔除一些置信度相对较低的预测食材种类的干扰，提高食材识别的准确性。

在本发明的一个实施例中，根据所述N种预测食材种类及其置信度确定所述食材的种类还包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

根据季节和/或地域信息调整所述预设的加权系数；

根据调整后的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值。

例如，在有些地域，冬季和春季的食材差异相对较大，而春季所使用的食用惯性值可能仍以冬季的食材为依据，此时若还是利用该食用惯性值根据预设的加权系数进行计算的话，会导致识别率降低，就需要相应的降低预设算法中的食用惯性值的加权系数。

在本发明的一个实施例中，如图4所示，在确定所述食材的种类步骤后，还包括：

显示或向用户发送所述食材的确定种类信息；

根据预设时间内的用户确认信息确定所述食材的种类。

进一步的，根据预设时间内的用户确认信息确定所述食材的种类包括：

获取用户更正后的食材种类；

根据更正后的食材种类调整所述食材的食用惯性值和/或加权系数。

具体的，所述食材的确定种类信息可以是通过语音方式向用户提示确认，也可以是通过向与冰箱关联的用户移动终端发送确认信息，优选的，通过冰箱上的显示操作界面向用户显示发送所述食材的确定种类信息，待用户进行确认。当识别结果正确时，用户进行操作确定，为减少用户的操作，还可通过时间设置，即在预设时间内用户未进行操作的则默认为识别正确；当用户发现识别错误并进行修改后，则剔除错误的食材信息，并接受录入用户更正后的正确食材信息，还可根据用户确定的食材种类调整所述食材的食用惯性值和/或加权系数，从而不断优化模糊确定的结果，提高识别的准确性。

根据本发明第二方面的实施例中，还提供了一种冰箱的食材录入装置，如图5所示，包括：

图像获取模块10，用于获取储物间室内的食材图像；

识别处理模块20，用于识别处理所述食材图像以得到所述食材的预测食材种类及其置信度；

种类确定模块30，用于根据所述预测食材种类的置信度确定所述食材的种类。

具体的，可以通过在冰箱储物间室内或者冰箱门体上设置摄像头获取食材图像。

进一步的，所述种类确定模块30包括：

第一种类确定子单元31，用于当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

第二种类确定子单元32，用于当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

进一步的，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

在本发明的一个实施例中，如图6所示，还包括：

第一检测模块40，用于在所述第二种类确定子单元确定所述食材的种类后，检测所述冰箱门体的动作信息；

所述识别处理模块20，还用于在预设周期内再次根据预设方法识别出所述食材的种类；

所述种类确定模块30，还用于在所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

进一步的，还包括：

第二检测模块50，用于在第一检测模块检测到所述冰箱门体的动作信号后，检测所述储物间室内食材的位置信息和/或重量信息；

所述识别处理模块20，还用于在所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

具体的，可以在储物间室内设置相应的位置传感器和/或重量传感器，以此感知食材是否发生位置和/或重量的变化。

进一步的，包括：

所述第一种类确定子单元31，还用于在所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材为所述食材的种类。

需要说明的是，所述预设方法可以是射频方式识别确定的，也可以是通过其他方法识别确定的。优选的，所述预设方法是通过图像识别确定的，图6是基于所述预设方法是通过图像识别确定的结构示意图。

进一步的，还包括：

筛选模块60，用于将所述N种预测食材种类按照所述置信度降序排列，并在Xi-Xi+1≥预设阈值时，则排除第i+1预测食材为所述食材种类，其中，i为小于N的正整数；

所述种类确定模块30，还用于根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。

在本发明中，术语“第一”、“第二”仅用于描述的目的，而不能理解 为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确 的限定。对于本领域的普通技术人员 而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的描述中， 需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和 简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定 的方位构造和操作，因此，不能理解为对本发明的限制。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例” 等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本实用 新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。

Claims (19)

1.一种冰箱的食材录入方法，其特征在于，包括：

获取储物间室内的食材图像；

根据所述食材图像识别出的N种预测食材种类及其置信度，其中N为正整数；

根据所述N种预测食材种类及其置信度确定所述食材的种类。

2.如权利要求1所述冰箱的食材录入方法，其特征在于，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

3.如权利要求2所述冰箱的食材录入方法，其特征在于，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

4.如权利要求2或3所述冰箱的食材录入方法，其特征在于，当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类步骤后，还包括：

当检测到所述冰箱门体的动作信息时；

在预设周期内再次根据预设方法识别出所述食材的种类；

当所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

5.如权利要求4所述冰箱的食材录入方法，其特征在于，在检测到所述冰箱门体的动作信息步骤后，还包括：

检测所述储物间室内食材的位置信息和/或重量信息；

当所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

6.如权利要求4所述冰箱的食材录入方法，其特征在于，当所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材种类为所述食材的种类。

7.如权利要求1或2或3所述冰箱的食材录入方法，其特征在于，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

将所述N种预测食材种类按照所述置信度降序排列；

当X_i-X_i+1≥预设阈值，则排除第i+1预测食材种类为所述食材种类，其中，i为小于N的正整数；

根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。

8.如权利要求1或2或3所述冰箱的食材录入方法，其特征在于，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

当所述当前的季节和/或地域信息与预测食材种类相对应的季节和/或地域信息不同时，则排除所述预测食材种类；

根据排除后的预测食材种类及其置信度确定所述食材的种类。

9.如权利要求3所述冰箱的食材录入方法，其特征在于，根据所述N种预测食材种类及其置信度确定所述食材的种类包括：

获取当前的季节和/或地域信息，以及预存的与所述预测食材种类相对应的季节和/或地域信息；

根据季节和/或地域信息调整所述预设的加权系数；

根据调整后的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值。

10.如权利要求1或2或3所述冰箱的食材录入方法，其特征在于，在确定所述食材的种类步骤后，还包括：

显示或向用户发送所述食材的确定种类信息；

根据预设时间内的用户确认信息确定所述食材的种类。

11.如权利要求9所述冰箱的食材录入方法，其特征在于，根据预设时间内的用户确认信息确定所述食材的种类包括：

获取用户更正后的食材种类；

根据更正后的食材种类调整所述食材的食用惯性值和/或加权系数。

12.如权利要求3所述冰箱的食材录入方法，其特征在于，所述食用惯性值包括以下之一：食用次数、食用频率、食用数量、食用消耗率。

13.一种冰箱的食材录入装置，其特征在于，包括：

图像获取模块，用于获取储物间室内的食材图像；

识别处理模块，用于识别处理所述食材图像以得到所述食材的预测食材种类及其置信度；

种类确定模块，用于根据所述预测食材种类的置信度确定所述食材的种类。

14.如权利要求13所述冰箱的食材录入装置，其特征在于，所述种类确定模块包括：

第一种类确定子单元，用于当所述预测食材种类的置信度大于第一置信度预设值时，确定所述预测食材为所述食材的种类；

第二种类确定子单元，用于当所述预测食材种类的置信度小于所述第一置信度预设值且大于第二置信度预设值时，根据预设的算法计算确定所述食材的种类。

15.如权利要求14所述冰箱的食材录入装置，其特征在于，所述预设的算法包括：

根据预设的加权系数计算所述N种预测食材种类的置信度和与其对应的食用惯性值的加权平均值；

确定所述加权平均值最高的预测食材为所述食材种类。

16.如权利要求14或15所述冰箱的食材录入装置，其特征在于，还包括：

第一检测模块，用于在所述第二种类确定子单元确定所述食材的种类后，检测所述冰箱门体的动作信息；

所述识别处理模块，还用于在预设周期内再次根据预设方法识别出所述食材的种类；

所述种类确定模块，还用于在所述食材再次识别的结果与根据预设的算法计算确定的食材种类相同时，确定所述食材的种类。

17.如权利要求16所述冰箱的食材录入装置，其特征在于，还包括：

第二检测模块，用于在第一检测模块检测到所述冰箱门体的动作信号后，检测所述储物间室内食材的位置信息和/或重量信息；

所述识别处理模块，还用于在所述储物间室内食材的位置信息和/或重量信息发生变化时，在预设周期内再次根据预设方法识别出所述食材的种类。

18.如权利要求16所述冰箱的食材录入装置，其特征在于，包括：

所述第一种类确定子单元，还用于在所述食材再次识别的结果与根据所述预设的算法确定的种类不同时，确定所述置信度大于第一置信度预设值的预测食材为所述食材的种类。

19.根据权利要求13或14或15所述冰箱的食材录入装置，其特征在于，还包括：

筛选模块，用于将所述N种预测食材种类按照所述置信度降序排列，并在X_i-X_i+1≥预设阈值时，则排除第i+1预测食材为所述食材种类，其中，i为小于N的正整数；

所述种类确定模块，还用于根据所述排除后的i种预测食材种类及其置信度确定所述食材的种类。