CN104061748B - 一种冰箱内食品存储位置记录方法、装置、终端及冰箱 - Google Patents

Abstract

本发明公开了一种冰箱内食品存储位置记录方法、装置、终端及冰箱，包括：获取拍摄冰箱内部指定储物位置所得到的食品采集图像；识别该食品采集图像内存在的食品；记录识别出的该食品存储在冰箱中指定储物位置。采用本发明提供的方案，能够提高冰箱内食品存储位置信息的录入效率。

Description

一种冰箱内食品存储位置记录方法、装置、终端及冰箱

技术领域

本发明涉及智能家电技术领域，尤其涉及一种冰箱内食品存储位置记录方法、装置、终端及冰箱。

背景技术

随着科技的发展，人们生活水平的不断提高，能够进行食品管理的智能冰箱正在走进越来越多的家庭。目前的一些智能冰箱，多是在传统冰箱的基础上加载了一个智能控制终端，例如平板电脑等，使用者通过手动输入的方式在该智能控制终端中录入存储于冰箱内的各食品的名称，以及各食品在冰箱中的存储位置，智能控制终端记录各食品存储位置，并进行后续的管理。

然而，现有技术中采用人工操作录入食品名称及其在冰箱内存储位置的方法，每次只能针对一个食品进行操作，当冰箱存储的食品较多时，则需要人工操作很长时间，信息录入效率较低，并且也很难保证人工操作的准确性。

发明内容

本发明实施例提供一种冰箱内食品存储位置记录方法、装置、终端及冰箱，用以解决现有技术中食品存储位置信息录入效率较低的问题。

本发明实施例提供一种冰箱内食品存储位置记录方法，包括：

获取拍摄冰箱内部指定储物位置所得到的食品采集图像；

识别所述食品采集图像内存在的食品；

记录识别出的所述食品存储在冰箱中指定储物位置。

本发明实施例提供一种冰箱内食品存储位置记录装置，包括：

获取单元，用于获取拍摄冰箱内部指定储物位置所得到的食品采集图像；

识别单元，用于识别所述食品采集图像内存在的食品；

记录单元，用于记录识别出的所述食品存储在冰箱中指定储物位置。

本发明实施例还提供了一种智能控制终端，包括上述冰箱内食品存储位置记录装置。

本发明实施例还提供了一种冰箱，包括上述智能控制终端。

本发明实施例提供的方案中，采集冰箱指定储物位置的图像，再对采集到的图像进行识别，确定该图像中的食品，即确定该储物位置存储的食品，在确定存储的各食品的名称的同时确定了各食品在冰箱中的存储位置，并进行记录，因此不需要人工进行手动输入，可以提高食品存储位置信息的录入效率，并且保证了信息的准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的冰箱内食品存储位置记录方法的流程图；

图2为本发明实施例1提供的冰箱内食品存储位置记录方法的流程图；

图3为本发明实施例1提供的食品识别方法的流程图；

图4为本发明实施例2提供的冰箱内食品存储位置记录方法的流程图；

图5为本发明实施例3提供的冰箱内食品存储位置记录装置的结构示意图。

具体实施方式

为了给出提高食品存储位置信息录入效率的实现方案，本发明实施例提供了一种冰箱内食品存储位置记录方法、装置、及冰箱，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种冰箱内食品存储位置记录方法，如图1所示，包括：

步骤101、获取拍摄冰箱内部指定储物位置所得到的食品采集图像。

步骤102、识别该食品采集图像内存在的食品。

步骤103、记录识别出的该食品存储在冰箱中指定储物位置。

上述步骤101具体可以通过如下方式实现：

方式一：获取由冰箱内安置的多个图像采集装置中与冰箱内部指定储物位置对应的图像采集装置拍摄该指定储物位置所得到的食品采集图像；

方式二：获取由冰箱内安置的图像采集装置按照与冰箱内部指定储物位置对应的预设拍摄角度拍摄该指定储物位置所得到的食品采集图像。

进一步的，步骤101中的得到食品采集图像可以为拍摄冰箱内部一个指定储物位置得到的图像，也可以为拍摄冰箱内部多个指定储物位置得到的图像。

步骤102中的食品识别方法可采用图像识别、条码识别等，较佳的也可采用本发明实施例提出的图像识别和条码识别相结合的方法，能够提高食品识别的准确性及识别率。

下面结合附图，用具体实施例对本发明实施例提供的冰箱内食品存储位置记录方法进行详细描述。

实施例1：

本发明实施例1中，在对冰箱内部进行拍摄时仅针对一个指定储物位置进行拍摄。

图2所示为本发明实施例1提供的冰箱内食品存储位置记录方法的流程图，具体包括：

步骤201、获取拍摄冰箱内部一个指定储物位置所得到的食品采集图像。

当通过安置于冰箱内的图像采集装置实现该食品采集图像的拍摄时，冰箱内图像采集装置的数量可以为多个，每个图像采集装置对应一个储物位置，在拍摄冰箱内部指定储物位置时，由与该指定储物位置对应的图像采集装置进行拍摄；冰箱内图像采集装置的数量也可以为一个，该图像采集装置的每个拍摄角度对应一个储物位置，在拍摄冰箱内部指定储物位置时，由图像采集装置按照与该指定储物位置对应的拍摄角度进行拍摄。

步骤202、识别该食品采集图像内存在的食品。

本发明实施例1提供的食品识别方法的详细流程如图3所示，后文进行详细说明。

步骤203、记录识别出的食品存储在冰箱中该指定储物位置。

各食品存储位置被记录后，还可以向用户显示冰箱中已存储食品对应的食品图标及其在冰箱中的存储位置示意图，较佳的，可采用增强显示技术，以提高用户体验。

图3所示为本发明实施例1提供的食品识别方法的流程图，具体包括：

步骤301、确定食品采集图像内存在的待识别食品图像。

该步骤包括对食品采集图像进行预处理，进行待识别食品的轮廓检测及背景分割等，此部分为现有技术，故在此不再详述。

步骤302、判断待识别食品图像中是否存在食品标识条码。

当待识别食品图像中存在食品标识条码时，进入步骤303；当待识别食品图像中不存在食品标识条码时，进入步骤304。

步骤303、确定待识别食品图像中的食品为食品标识条码表征的食品，结束该食品识别流程。

对于一些携带食品标识条码且条码完整无损够能识别的食品，例如从超市购得的食品，通过食品标识条码便可识别该食品，无需执行后续步骤。

而对于一些不携带食品标识条码或者携带破损条码的食品，例如从市场购得的食品，主要通过以下步骤进行识别。

步骤304、提取待识别食品图像的特征向量。

该步骤待识别食品图像特征向量的提取方法应和预设的食品和特征向量的对应关系的建立方法对应，在本发明实施例1中，预设的食品和特征向量的对应关系可采用如下方式建立：

提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

其中，在基于同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量时，具体可以先确定该食品的多个样品的样品图像的颜色特征值的平均值，该食品的多个样品的样品图像的形状特征值的平均值，以及该食品的多个样品的样品图像的纹理特征值的平均值；将该颜色特征值的平均值、形状特征值的平均值和纹理特征值的平均值直接作为特征向量的各分量，构成该食品对应的特征向量。

较佳的，还可以先基于该食品的多个样品的样品图像的颜色特征值确定该食品对应的颜色特征值区间，基于该食品的多个样品的样品图像的形状特征值确定该食品对应的形状特征值区间，以及基于该食品的多个样品的样品图像的纹理特征值确定该食品对应的纹理特征值区间；再基于该食品对应的颜色特征值区间、形状特征值区间和纹理特征值区间，确定该食品对应的特征向量。

相应的，在提取待识别食品图像的特征向量时，具体包括如下步骤：

提取待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定该待识别食品图像的特征向量。

其中，在基于待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定该待识别食品图像的特征向量时，具体可以将该待识别食品图像的颜色特征值、形状特征值和纹理特征值直接作为特征向量的分量，构成该待识别食品图像的特征向量。

较佳的，还可以先确定待识别食品图像的颜色特征值所在的颜色特征值预设区间，待识别食品图像的形状特征值所在的形状特征值预设区间和待识别食品图像的纹理特征值所在的纹理特征值预设区间；再基于颜色特征值预设区间、形状特征值预设区间和纹理特征值预设区间，确定待识别食品图像的特征向量。

步骤305、判断预设的分别对应不同食品的多个特征向量中，是否存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量。

当预设的分别对应不同食品的多个特征向量中，存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量时，进入步骤306；当预设的分别对应不同食品的多个特征向量中，不存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量时，则确定无法识别该食品，结束该食品识别流程。

步骤306、从预设的分别对应不同食品的多个特征向量中，选择与待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量。

相关度越大，食品识别结果的可靠性越高。

步骤307、确定待识别食品图像中的食品为相匹配特征向量对应的食品。

上述食品识别方法结合了条码识别和图像识别，并且优先条码识别，相应的，本发明实施例1也可以采用优先图像识别的方案，或者采用条码识别和图像识别同时进行的方案，基于各自的识别结果确定最终的食品识别结果。

实施例2：

本发明实施例2中，在对冰箱内部进行拍摄时对多个指定储物位置进行拍摄。

图4所示为本发明实施例2提供的冰箱内食品存储位置记录方法的流程图，具体包括：

步骤401、获取拍摄冰箱内部多个指定储物位置所得到的食品采集图像。

该步骤具体也可以通过安置于冰箱内的图像采集装置实现。

步骤402、针对该多个指定储物位置中的每个指定储物位置，识别该食品采集图像中与该指定储物位置对应的指定区域内存在的食品。

即执行该步骤时，需要先在食品采集图像中确定出与每个指定储物位置对应的指定区域，再识别每个指定区域内存在的食品。

在进行食品识别时，具体也可采用上述实施例1步骤202中的食品识别方法，如图3所示，在此不再详述。

步骤403、针对该多个指定储物位置中的每个指定储物位置，记录在该食品采集图像中与该指定储物位置对应的指定区域内识别出的该食品存储在冰箱中该指定储物位置。

各食品存储位置被记录后，还可以向用户显示冰箱中已存储食品对应的食品图标及其在冰箱中的存储位置示意图，较佳的，可采用增强显示技术，以提高用户体验。

可见，采用本发明实施例提供的冰箱内食品存储位置记录方法，避免了人工进行手动输入食品存储位置，可以提高食品存储位置信息的录入效率，并且保证了信息的准确性。

实施例3：

基于同一发明构思，根据本发明上述实施例提供的冰箱内食品存储位置记录方法，相应地，本发明实施例3还提供一种冰箱内食品存储位置记录装置，其结构示意图如图5所示，具体包括：

获取单元501，用于获取拍摄冰箱内部指定储物位置所得到的食品采集图像；

识别单元502，用于识别该食品采集图像内存在的食品；

记录单元503，用于记录识别出的该食品存储在冰箱中指定储物位置。

进一步的，获取单元501，具体用于获取由冰箱内安置的多个图像采集装置中与冰箱内部指定储物位置对应的图像采集装置拍摄该指定储物位置所得到的食品采集图像；或者获取由冰箱内安置的图像采集装置按照与冰箱内部指定储物位置对应的预设拍摄角度拍摄该指定储物位置所得到的食品采集图像。

进一步的，获取单元501，具体用于获取拍摄冰箱内部多个指定储物位置所得到的食品采集图像；

识别单元502，具体用于针对该多个指定储物位置中的每个指定储物位置，识别该食品采集图像中与该指定储物位置对应的指定区域内存在的食品；

记录单元503，具体用于针对该多个指定储物位置中的每个指定储物位置，记录在该食品采集图像中与该指定储物位置对应的指定区域内识别出的该食品存储在冰箱中该指定储物位置。

进一步的，识别单元502，具体用于确定该食品采集图像内存在的待识别食品图像；当该待识别食品图像中存在食品标识条码时，确定该待识别食品图像中的食品为该食品标识条码表征的食品；当该待识别食品图像中不存在食品标识条码时，提取该待识别食品图像的特征向量；从预设的分别对应不同食品的多个特征向量中，选择与该待识别食品图像的特征向量之间的相关度大于预设值，且与该待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；确定该待识别食品图像中的食品为该相匹配特征向量对应的食品。

进一步的，识别单元502，具体用于提取该待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于该待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定该待识别食品图像的特征向量；

识别单元502，具体还用于提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于该同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

上述各单元的功能可对应于图1-4所示流程中的相应处理步骤，在此不再赘述。

实施例4：

本发明实施例4还提供一种智能控制终端，包括如图5所示的冰箱内食品存储位置记录装置。

实施例5：

本发明实施例5还提供一种冰箱，包括上述智能控制终端。

综上所述，本发明实施例提供的方案，包括：获取拍摄冰箱内部指定储物位置所得到的食品采集图像；识别该食品采集图像内存在的食品；记录识别出的该食品存储在冰箱中指定储物位置。采用本发明实施例提供的方案，能够提高冰箱内食品存储位置信息的录入效率。

本申请的实施例所提供的冰箱内食品存储位置记录装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的单元划分方式仅是众多单元划分方式中的一种，如果划分为其他单元或不划分单元，只要冰箱内食品存储位置记录装置具有上述功能，都应该在本申请的保护范围之内。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种冰箱内食品存储位置记录方法，其特征在于，包括：

获取拍摄冰箱内部指定储物位置所得到的食品采集图像；

识别所述食品采集图像内存在的食品；

记录识别出的所述食品存储在冰箱中指定储物位置；

其中，获取拍摄冰箱内部指定储物位置所得到的食品采集图像，具体为：

获取拍摄冰箱内部多个指定储物位置所得到的食品采集图像；

识别所述食品采集图像内存在的食品，具体为：

针对所述多个指定储物位置中的每个指定储物位置，识别所述食品采集图像中与该指定储物位置对应的指定区域内存在的食品；

记录识别出的所述食品存储在冰箱中指定储物位置，具体为：

针对所述多个指定储物位置中的每个指定储物位置，记录在所述食品采集图像中与该指定储物位置对应的指定区域内识别出的所述食品存储在冰箱中该指定储物位置。

2.如权利要求1所述的方法，其特征在于，获取拍摄冰箱内部指定储物位置所得到的食品采集图像，具体为：

获取由冰箱内安置的多个图像采集装置中与冰箱内部指定储物位置对应的图像采集装置拍摄所述指定储物位置所得到的食品采集图像；或者

获取由冰箱内安置的图像采集装置按照与冰箱内部指定储物位置对应的预设拍摄角度拍摄所述指定储物位置所得到的食品采集图像。

3.如权利要求1所述的方法，其特征在于，识别所述食品采集图像内存在的食品，具体为：

确定所述食品采集图像内存在的待识别食品图像；

当所述待识别食品图像中存在食品标识条码时，确定所述待识别食品图像中的食品为所述食品标识条码表征的食品；

当所述待识别食品图像中不存在食品标识条码时，提取所述待识别食品图像的特征向量；

从预设的分别对应不同食品的多个特征向量中，选择与所述待识别食品图像的特征向量之间的相关度大于预设值，且与所述待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；

确定所述待识别食品图像中的食品为所述相匹配特征向量对应的食品。

4.如权利要求3所述的方法，其特征在于，提取所述待识别食品图像的特征向量，具体为：

提取所述待识别食品图像的颜色特征值、形状特征值和纹理特征值；

基于所述待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定所述待识别食品图像的特征向量；

食品与特征向量的对应关系，具体采用如下方式建立：

提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；

基于所述同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

5.一种冰箱内食品存储位置记录装置，其特征在于，包括：

获取单元，用于获取拍摄冰箱内部指定储物位置所得到的食品采集图像；

识别单元，用于识别所述食品采集图像内存在的食品；

记录单元，用于记录识别出的所述食品存储在冰箱中指定储物位置；

其中，所述获取单元，具体用于获取拍摄冰箱内部多个指定储物位置所得到的食品采集图像；

所述识别单元，具体用于针对所述多个指定储物位置中的每个指定储物位置，识别所述食品采集图像中与该指定储物位置对应的指定区域内存在的食品；

所述记录单元，具体用于针对所述多个指定储物位置中的每个指定储物位置，记录在所述食品采集图像中与该指定储物位置对应的指定区域内识别出的所述食品存储在冰箱中该指定储物位置。

6.如权利要求5所述的装置，其特征在于，所述获取单元，具体用于获取由冰箱内安置的多个图像采集装置中与冰箱内部指定储物位置对应的图像采集装置拍摄所述指定储物位置所得到的食品采集图像；或者获取由冰箱内安置的图像采集装置按照与冰箱内部指定储物位置对应的预设拍摄角度拍摄所述指定储物位置所得到的食品采集图像。

7.如权利要求5所述的装置，其特征在于，所述识别单元，具体用于确定所述食品采集图像内存在的待识别食品图像；当所述待识别食品图像中存在食品标识条码时，确定所述待识别食品图像中的食品为所述食品标识条码表征的食品；当所述待识别食品图像中不存在食品标识条码时，提取所述待识别食品图像的特征向量；从预设的分别对应不同食品的多个特征向量中，选择与所述待识别食品图像的特征向量之间的相关度大于预设值，且与所述待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；确定所述待识别食品图像中的食品为所述相匹配特征向量对应的食品。

8.如权利要求7所述的装置，其特征在于，所述识别单元，具体用于提取所述待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于所述待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定所述待识别食品图像的特征向量；

所述识别单元，具体还用于提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于所述同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

9.一种智能控制终端，其特征在于，包括如权利要求5-8任一所述的冰箱内食品存储位置记录装置。

10.一种冰箱，其特征在于，包括如权利要求9所述的智能控制终端。