CN104061749A - 一种冰箱内食品存储位置记录方法、装置、终端及冰箱 - Google Patents

Abstract

本发明公开了一种冰箱内食品存储位置记录方法、装置、终端及冰箱，包括：获取拍摄冰箱内部存储空间所得到的食品采集图像；确定该食品采集图像中存在的储物位置标志，以及在该食品采集图像中该储物位置标志对应的区域范围；识别该储物位置标志对应的区域范围内存在的食品；记录识别出的该食品存储在冰箱中该储物位置标志表征的储物位置。采用本发明提供的方案，能够提高冰箱内食品存储位置信息的录入效率。

Description

一种冰箱内食品存储位置记录方法、装置、终端及冰箱

技术领域

本发明涉及智能家电技术领域，尤其涉及一种冰箱内食品存储位置记录方法、装置、终端及冰箱。

背景技术

随着科技的发展，人们生活水平的不断提高，能够进行食品管理的智能冰箱正在走进越来越多的家庭。目前的一些智能冰箱，多是在传统冰箱的基础上加载了一个智能控制终端，例如平板电脑等，使用者通过手动输入的方式在该智能控制终端中录入存储于冰箱内的各食品的名称，以及各食品在冰箱中的存储位置，智能控制终端记录各食品存储位置，并进行后续的管理。

然而，现有技术中采用人工操作录入食品名称及其在冰箱内存储位置的方法，每次只能针对一个食品进行操作，当冰箱存储的食品较多时，则需要人工操作很长时间，信息录入效率较低，并且也很难保证人工操作的准确性。

发明内容

本发明实施例提供一种冰箱内食品存储位置记录方法、装置、终端及冰箱，用以解决现有技术中食品存储位置信息录入效率较低的问题。

本发明实施例提供一种冰箱内食品存储位置记录方法，包括：

获取拍摄冰箱内部存储空间所得到的食品采集图像；

确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围；

识别所述储物位置标志对应的区域范围内存在的食品；

记录识别出的所述食品存储在冰箱中所述储物位置标志表征的储物位置。

本发明实施例提供一种冰箱内食品存储位置记录装置，包括：

获取单元，用于获取拍摄冰箱内部存储空间所得到的食品采集图像；

确定单元，用于确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围；

识别单元，用于识别所述储物位置标志对应的区域范围内存在的食品；

记录单元，用于记录识别出的所述食品存储在冰箱中所述储物位置标志表征的储物位置。

本发明实施例还提供了一种智能控制终端，包括上述冰箱内食品存储位置记录装置。

本发明实施例还提供了一种冰箱，包括上述智能控制终端。

本发明实施例提供的方案中，冰箱内部存储空间包括的储物位置设有储物位置标志，直接拍摄冰箱内部存储空间得到食品采集图像，确定在该食品采集图像中储物位置标志对应的区域范围，再进一步识别该区域范围内存在的食品，即可以在确定存储的各食品的名称的同时确定各食品在冰箱中的存储位置，并进行记录，因此不需要人工进行手动输入，可以提高食品存储位置信息的录入效率，并且保证了信息的准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的冰箱内食品存储位置记录方法的流程图；

图2为本发明实施例1提供的冰箱内食品存储位置记录方法的流程图；

图3为本发明实施例1提供的食品识别方法的流程图；

图4为本发明实施例2提供的冰箱内食品存储位置记录方法的流程图；

图5为本发明实施例3提供的冰箱内食品存储位置记录装置的结构示意图。

具体实施方式

为了给出提高食品存储位置信息录入效率的实现方案，本发明实施例提供了一种冰箱内食品存储位置记录方法、装置、及冰箱，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种冰箱内食品存储位置记录方法，如图1所示，包括：

步骤101、获取拍摄冰箱内部存储空间所得到的食品采集图像。

步骤102、确定该食品采集图像中存在的储物位置标志，以及在该食品采集图像中该储物位置标志对应的区域范围。

步骤103、识别该储物位置标志对应的区域范围内存在的食品。

步骤104、记录识别出的该食品存储在冰箱中该储物位置标志表征的储物位置。

采用本发明实施例提供的冰箱内食品存储位置记录方法，需要先将冰箱内的存储空间划分为多个子空间，并在每个子空间设置表征储物位置的储物位置标志，即一个子空间为一个储物位置对应的存储空间。用户在拍摄冰箱内部存储空间时，可以拍摄一个或多个完整的子空间，也可以拍摄一个或者多个不完整的子空间，但是，拍摄的存储空间内必须存在至少一个储物位置标志。

用户在进行拍摄时，可采用任意具备拍摄功能的终端，较佳的，可直接采用加载在冰箱上的具备拍摄功能的智能控制终端。

基于用户不同的拍摄方式，食品采集图像中存在的储物位置标示可能为一个，也可能为多个；在该食品采集图像中与储物位置标志对应的区域范围可能是食品采集图像的全部区域，也可能是食品采集图像的部分区域。

进一步的，步骤103中的食品识别方法可采用图像识别、条码识别等，较佳的也可采用本发明实施例提出的图像识别和条码识别相结合的方法，能够提高食品识别的准确性及识别率。

下面基于用户不同的拍摄方式，结合附图，用具体实施例对本发明实施例提供的冰箱内食品存储位置记录方法进行详细描述。

实施例1：

在本发明实施例1中，用户仅针对一个子空间，即一个储物位置对应的存储空间进行拍摄，可以拍摄该子空间的全部，也可以拍摄该子空间的一部分，但是必须拍摄到该子空间的储物位置标志。

图2所示为本发明实施例1提供的冰箱内食品存储位置记录方法的流程图，具体包括：

步骤201、获取拍摄的食品采集图像。

步骤202、确定该食品采集图像中存在的一个储物位置标志，以及确定该储物位置标志对应的区域范围为食品采集图像中的全部区域。

储物位置标志的具体形式可以有多种，较佳的，可采用条码。进一步的，为区分冰箱内食品上携带的一维条码，储物位置标志可采用二维条码。

步骤203、识别该食品采集图像中存在的食品。

本发明实施例1提供的食品识别方法的详细流程如图3所示，后文进行详细说明。

步骤204、记录识别出的食品存储在冰箱中该储物位置标志表征的储物位置。

各食品存储位置被记录后，还可以向用户显示冰箱中已存储食品对应的食品图标及其在冰箱中的存储位置示意图，较佳的，可采用增强显示技术，以提高用户体验。

图3所示为本发明实施例1提供的食品识别方法的流程图，具体包括：

步骤301、确定储物位置标志对应的区域范围内存在的待识别食品图像。

该步骤包括对食品采集图像中储物位置标志对应的区域范围进行预处理，进行待识别食品的轮廓检测及背景分割等，此部分为现有技术，故在此不再详述。

步骤302、判断待识别食品图像中是否存在食品标识条码。

当待识别食品图像中存在食品标识条码时，进入步骤303；当待识别食品图像中不存在食品标识条码时，进入步骤304。

步骤303、确定待识别食品图像中的食品为食品标识条码表征的食品，结束该食品识别流程。

对于一些携带食品标识条码且条码完整无损够能识别的食品，例如从超市购得的食品，通过食品标识条码便可识别该食品，无需执行后续步骤。

而对于一些不携带食品标识条码或者携带破损条码的食品，例如从市场购得的食品，主要通过以下步骤进行识别。

步骤304、提取待识别食品图像的特征向量。

该步骤待识别食品图像特征向量的提取方法应和预设的食品和特征向量的对应关系的建立方法对应，在本发明实施例1中，预设的食品和特征向量的对应关系可采用如下方式建立：

提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

其中，在基于同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量时，具体可以先确定该食品的多个样品的样品图像的颜色特征值的平均值，该食品的多个样品的样品图像的形状特征值的平均值，以及该食品的多个样品的样品图像的纹理特征值的平均值；将该颜色特征值的平均值、形状特征值的平均值和纹理特征值的平均值直接作为特征向量的各分量，构成该食品对应的特征向量。

较佳的，还可以先基于该食品的多个样品的样品图像的颜色特征值确定该食品对应的颜色特征值区间，基于该食品的多个样品的样品图像的形状特征值确定该食品对应的形状特征值区间，以及基于该食品的多个样品的样品图像的纹理特征值确定该食品对应的纹理特征值区间；再基于该食品对应的颜色特征值区间、形状特征值区间和纹理特征值区间，确定该食品对应的特征向量。

相应的，在提取待识别食品图像的特征向量时，具体包括如下步骤：

提取待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定该待识别食品图像的特征向量。

其中，在基于待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定该待识别食品图像的特征向量时，具体可以将该待识别食品图像的颜色特征值、形状特征值和纹理特征值直接作为特征向量的分量，构成该待识别食品图像的特征向量。

较佳的，还可以先确定待识别食品图像的颜色特征值所在的颜色特征值预设区间，待识别食品图像的形状特征值所在的形状特征值预设区间和待识别食品图像的纹理特征值所在的纹理特征值预设区间；再基于颜色特征值预设区间、形状特征值预设区间和纹理特征值预设区间，确定待识别食品图像的特征向量。

步骤305、判断预设的分别对应不同食品的多个特征向量中，是否存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量。

当预设的分别对应不同食品的多个特征向量中，存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量时，进入步骤306；当预设的分别对应不同食品的多个特征向量中，不存在与待识别食品图像的特征向量之间的相关度大于预设值的特征向量时，则确定无法识别该食品，结束该食品识别流程。

步骤306、从预设的分别对应不同食品的多个特征向量中，选择与待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量。

相关度越大，食品识别结果的可靠性越高。

步骤307、确定待识别食品图像中的食品为相匹配特征向量对应的食品。

上述食品识别方法结合了条码识别和图像识别，并且优先条码识别，相应的，本发明实施例1也可以采用优先图像识别的方案，或者采用条码识别和图像识别同时进行的方案，基于各自的识别结果确定最终的食品识别结果。

实施例2：

在本发明实施例2中，用户针对多个子空间，即多个储物位置对应的存储空间进行拍摄，可以拍摄该多个子空间的全部，也可以拍摄该多个子空间的一部分。

图4所示为本发明实施例2提供的冰箱内食品存储位置记录方法的流程图，具体包括：

步骤401、获取拍摄的食品采集图像。

步骤402、确定该食品采集图像中存在的多个储物位置标志，以及在该食品采集图像中该多个储物位置标志分别对应的区域范围。

较佳的，该储物位置标志为二维条码。

其中，在针对每个储物位置标志确定其对应的区域范围时，可以将在食品采集图像中以该储物位置标志为基准的指定范围确定为该储物位置标志对应的区域范围。该指定范围具体和储物位置标示在储物位置对应的存储空间中的位置有关。

例如，当储物位置标示位于储物位置对应的存储空间的中心时，此时可以确定该储物位置标志对应的区域范围为在食品采集图像中以该储物位置标志为中心向四周扩展指定长度和宽度的一个区域范围。

并且，指定范围的大小和食品采集图像中该储物位置标志的大小正相关。当食品采集图像中该储物位置标志越大时，指定范围越大；当食品采集图像中该储物位置标志越小时，指定范围越小。

步骤403、识别该多个储物位置标志分别对应的区域范围内存在的食品。

该步骤具体也可采用上述实施例1步骤203中的食品识别方法，图3所示，在此不再详述。

步骤404、记录识别出的食品存储在冰箱中对应的储物位置标志表征的储物位置。

各食品存储位置被记录后，还可以向用户显示冰箱中已存储食品对应的食品图标及其在冰箱中的存储位置示意图，较佳的，可采用增强显示技术，以提高用户体验。

可见，采用本发明实施例提供的冰箱内食品存储位置记录方法，避免了人工进行手动输入食品存储位置，可以提高食品存储位置信息的录入效率，并且保证了信息的准确性。

实施例3：

基于同一发明构思，根据本发明上述实施例提供的冰箱内食品存储位置记录方法，相应地，本发明实施例3还提供一种冰箱内食品存储位置记录装置，其结构示意图如图5所示，具体包括：

获取单元501，用于获取拍摄冰箱内部存储空间所得到的食品采集图像；

确定单元502，用于确定该食品采集图像中存在的储物位置标志，以及在该食品采集图像中该储物位置标志对应的区域范围；

识别单元503，用于识别该储物位置标志对应的区域范围内存在的食品；

记录单元504，用于记录识别出的该食品存储在冰箱中该储物位置标志表征的储物位置。

进一步的，获取单元501，具体用于获取拍摄冰箱内部一个储物位置对应的存储空间所得到的食品采集图像；

确定单元502，具体用于确定该食品采集图像中存在的一个储物位置标志，以及确定该储物位置标志对应的区域范围为该食品采集图像中的全部区域。

进一步的，确定单元502，具体用于确定该食品采集图像中存在的多个储物位置标志，以及在该食品采集图像中该多个储物位置标志分别对应的区域范围。

进一步的，确定单元502，具体用于针对该多个储物位置标志中的每个储物位置标志，确定该储物位置标志对应的区域范围为在该食品采集图像中以该储物位置标志为基准的指定范围，其中，该指定范围的大小和该食品采集图像中该储物位置标志的大小正相关。

进一步的，识别单元503，具体用于确定该储物位置标志对应的区域范围内存在的待识别食品图像；当该待识别食品图像中存在食品标识条码时，确定该待识别食品图像中的食品为该食品标识条码表征的食品；当该待识别食品图像中不存在食品标识条码时，提取该待识别食品图像的特征向量；从预设的分别对应不同食品的多个特征向量中，选择与该待识别食品图像的特征向量之间的相关度大于预设值，且与该待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；确定该待识别食品图像中的食品为该相匹配特征向量对应的食品。

进一步的，识别单元503，具体用于提取该待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于该待识别食品图像的颜色特征值、形状特征值和该纹理特征值，确定该待识别食品图像的特征向量；

识别单元503，具体还用于提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于该同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

上述各单元的功能可对应于图1-4所示流程中的相应处理步骤，在此不再赘述。

实施例4：

本发明实施例4还提供一种智能控制终端，包括如图5所示的冰箱内食品存储位置记录装置。

实施例5：

本发明实施例5还提供一种冰箱，包括上述智能控制终端。

并且，冰箱内部设有储物位置标志。

综上所述，本发明实施例提供的方案，包括：获取拍摄冰箱内部存储空间所得到的食品采集图像；确定该食品采集图像中存在的储物位置标志，以及在该食品采集图像中该储物位置标志对应的区域范围；识别该储物位置标志对应的区域范围内存在的食品；记录识别出的该食品存储在冰箱中该储物位置标志表征的储物位置。采用本发明实施例提供的方案，能够提高冰箱内食品存储位置信息的录入效率。

本申请的实施例所提供的冰箱内食品存储位置记录装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的单元划分方式仅是众多单元划分方式中的一种，如果划分为其他单元或不划分单元，只要冰箱内食品存储位置记录装置具有上述功能，都应该在本申请的保护范围之内。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种冰箱内食品存储位置记录方法，其特征在于，包括：

获取拍摄冰箱内部存储空间所得到的食品采集图像；

确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围；

识别所述储物位置标志对应的区域范围内存在的食品；

记录识别出的所述食品存储在冰箱中所述储物位置标志表征的储物位置。

2.如权利要求1所述的方法，其特征在于，获取拍摄冰箱内部存储空间所得到的食品采集图像，具体为：

获取拍摄冰箱内部一个储物位置对应的存储空间所得到的食品采集图像；

确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围，具体为：

确定所述食品采集图像中存在的一个储物位置标志，以及确定所述储物位置标志对应的区域范围为所述食品采集图像中的全部区域。

3.如权利要求1所述的方法，其特征在于，确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围，具体为：

确定所述食品采集图像中存在的多个储物位置标志，以及在所述食品采集图像中所述多个储物位置标志分别对应的区域范围。

4.如权利要求3所述的方法，其特征在于，确定在所述食品采集图像中所述多个储物位置标志分别对应的区域范围，具体为：

针对所述多个储物位置标志中的每个储物位置标志，确定该储物位置标志对应的区域范围为在所述食品采集图像中以该储物位置标志为基准的指定范围，其中，所述指定范围的大小和所述食品采集图像中该储物位置标志的大小正相关。

5.如权利要求1所述的方法，其特征在于，识别所述储物位置标志对应的区域范围内存在的食品，具体为：

确定所述储物位置标志对应的区域范围内存在的待识别食品图像；

当所述待识别食品图像中存在食品标识条码时，确定所述待识别食品图像中的食品为所述食品标识条码表征的食品；

当所述待识别食品图像中不存在食品标识条码时，提取所述待识别食品图像的特征向量；

从预设的分别对应不同食品的多个特征向量中，选择与所述待识别食品图像的特征向量之间的相关度大于预设值，且与所述待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；

确定所述待识别食品图像中的食品为所述相匹配特征向量对应的食品。

6.如权利要求5所述的方法，其特征在于，提取所述待识别食品图像的特征向量，具体为：

提取所述待识别食品图像的颜色特征值、形状特征值和纹理特征值；

基于所述待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定所述待识别食品图像的特征向量；

食品与特征向量的对应关系，具体采用如下方式建立：

提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；

基于所述同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

7.一种冰箱内食品存储位置记录装置，其特征在于，包括：

获取单元，用于获取拍摄冰箱内部存储空间所得到的食品采集图像；

确定单元，用于确定所述食品采集图像中存在的储物位置标志，以及在所述食品采集图像中所述储物位置标志对应的区域范围；

识别单元，用于识别所述储物位置标志对应的区域范围内存在的食品；

记录单元，用于记录识别出的所述食品存储在冰箱中所述储物位置标志表征的储物位置。

8.如权利要求7所述的装置，其特征在于，所述获取单元，具体用于获取拍摄冰箱内部一个储物位置对应的存储空间所得到的食品采集图像；

所述确定单元，具体用于确定所述食品采集图像中存在的一个储物位置标志，以及确定所述储物位置标志对应的区域范围为所述食品采集图像中的全部区域。

9.如权利要求7所述的装置，其特征在于，所述确定单元，具体用于确定所述食品采集图像中存在的多个储物位置标志，以及在所述食品采集图像中所述多个储物位置标志分别对应的区域范围。

10.如权利要求9所述的装置，其特征在于，所述确定单元，具体用于针对所述多个储物位置标志中的每个储物位置标志，确定该储物位置标志对应的区域范围为在所述食品采集图像中以该储物位置标志为基准的指定范围，其中，所述指定范围的大小和所述食品采集图像中该储物位置标志的大小正相关。

11.如权利要求7所述的装置，其特征在于，所述识别单元，具体用于确定所述储物位置标志对应的区域范围内存在的待识别食品图像；当所述待识别食品图像中存在食品标识条码时，确定所述待识别食品图像中的食品为所述食品标识条码表征的食品；当所述待识别食品图像中不存在食品标识条码时，提取所述待识别食品图像的特征向量；从预设的分别对应不同食品的多个特征向量中，选择与所述待识别食品图像的特征向量之间的相关度大于预设值，且与所述待识别食品图像的特征向量之间的相关度最大的特征向量，作为相匹配特征向量；确定所述待识别食品图像中的食品为所述相匹配特征向量对应的食品。

12.如权利要求11所述的装置，其特征在于，所述识别单元，具体用于提取所述待识别食品图像的颜色特征值、形状特征值和纹理特征值；基于所述待识别食品图像的颜色特征值、形状特征值和纹理特征值，确定所述待识别食品图像的特征向量；

所述识别单元，具体还用于提取同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值；基于所述同一种食品的多个样品的样品图像的颜色特征值、形状特征值和纹理特征值，确定该食品对应的特征向量。

13.一种智能控制终端，其特征在于，包括如权利要求7-12任一所述的冰箱内食品存储位置记录装置。

14.一种冰箱，其特征在于，包括如权利要求13所述的智能控制终端。