CN106204573A - 一种智能冰箱的食品管理方法及*** - Google Patents
一种智能冰箱的食品管理方法及*** Download PDFInfo
- Publication number
- CN106204573A CN106204573A CN201610532573.8A CN201610532573A CN106204573A CN 106204573 A CN106204573 A CN 106204573A CN 201610532573 A CN201610532573 A CN 201610532573A CN 106204573 A CN106204573 A CN 106204573A
- Authority
- CN
- China
- Prior art keywords
- food
- image
- action
- intelligent refrigerator
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明提供了一种智能冰箱的食品管理方法及***，涉及家电技术领域。该方法包括：当智能冰箱的门被打开时，自动启动设置在智能冰箱内的摄像头，使摄像头连续采集检测区域内的图像，生成食品图像序列；对食品图像序列进行分析处理，以获取智能冰箱被打开后用户执行的动作类型以及与动作类型相对应的食品类别，动作类型包括取出食品和放入食品；记录智能冰箱被打开后用户执行的动作类型以及与动作类型相对应的食品类别。本发明能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。
Description
技术领域
本发明属于家电技术领域，尤其涉及一种智能冰箱的食品管理方法及***。
背景技术
随着人们生活水平的不断提高，智能冰箱已经成了各个家庭必不可少的电器设备，人们对智能冰箱功能的要求越来越高，而如何有效的对冰箱内的食品进行管理是智能冰箱的核心功能，也是用户非常关注的问题。目前，在智能冰箱的食品管理进行研究的过程中，智能冰箱已经具有了多摄像头进行拍照、远程查看进行食品管理等功能，还配备了射频电子标签、触摸操作等方式进行食品添加和食品删除等功能。尽管这功能解决了智能冰箱食品管理的部分问题，但是依然没有从根本上解决冰箱内食品管理操作繁琐的问题，仍然需要用户通过手动操作来记录智能冰箱内食品的入库和出库，其操作步骤仍然比较繁琐。
发明内容
本发明实施例的目的在于提供一种智能冰箱的食品管理方法及，旨在解决上述现有的智能冰箱仍然需要用户通过手动操作来记录食品的入库和出库，其操作步骤仍然比较繁琐的问题。
本发明实施例是这样实现的，一种智能冰箱的食品管理方法，包括：
当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；
对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；
记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
在上述技术方案的基础上，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别具体包括：
采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；
将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；
对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；
识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；
通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
在上述技术方案的基础上，所述对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分之前还包括：
对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
在上述技术方案的基础上，所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型之前还包括：
判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
在上述技术方案的基础上，所述通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别具体包括：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
本发明实施例的另一目的在于提供一种智能冰箱的食品管理***，包括：
控制模块，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；
图像分析处理模块，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；
记录模块，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
在上述技术方案的基础上，所述图像分析处理模块具体包括：
背景建模单元，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；
运动前景图像获取单元，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；
连通域提取单元，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；
动作类型判断单元，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；
食品类别获取单元，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
在上述技术方案的基础上，所述图像分析处理模块还包括：
噪声像素处理单元，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
在上述技术方案的基础上，所述图像分析处理模块还包括：
图像成分判断单元，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
在上述技术方案的基础上，食品类别获取单元具体用于：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
实施本发明实施例提供的一种智能冰箱的食品管理方法及***具有以下有益效果：
本发明实施例由于通过当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，从而能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。
附图说明
图1是本发明实施例提供的一种智能冰箱的食品管理方法的具体实现流程图；
图2是本发明实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；
图3a是本发明实施例提供的一种智能冰箱的食品管理方法中摄像头拍摄所获取的图像的示意图；
图3b是本发明实施例中图3a所示的图像经过图像处理后得到的运动前景图像的示意图；
图4是本发明另一实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；
图5是本发明实施例提供的一种智能冰箱的食品管理***的示意性框图；
图6是本发明实施例提供的一种智能冰箱的食品管理***中图像分析处理单元的示意性框图；
图7是本发明另一实施例提供的一种智能冰箱的食品管理***中图像分析处理单元的示意性框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是本发明实施例提供的一种智能冰箱的食品管理方法的示意流程图。参见图1所示，本实施例提供的一种智能冰箱的食品管理方法可以包括以下步骤：
在S101中，当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列。
在本实施例中，所述摄像头安装在所述智能冰箱保鲜层内上壁，并朝下拍摄，所述检测区域为所述摄像头的视场范围。当所述智能冰箱的门被打开时，所述智能冰箱会自动启动所述摄像头，并使所述摄像头按照预设的频率连续采集所述检测区域内的图像，以生成可能包含有用户放入或取出食品动作图像的图像序列。
在S102中，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品。
图2示出了本实施例中步骤S102的具体实现流程图。参见图2所示，本实施例中，步骤S102可以包括以下步骤：
在S201中，采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型。
在S202中，将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列。
在本实施例中，摄像头获取的图像中用户的手部及食品区域的像素会被识别为前景像素，其余部分为背景像素，这样就可以根据识别结果进行二值化处理以获取二值化的运动前景图像。参见图3a和图3b，分别示出了摄像头拍摄所获取的图像和该图像经过处理后的运动前景图像。
在S203中，对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分。
在S204中，识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型。
在本实施例中，通过建立坐标系的方式识别所述图像成分在所述运动前景图像中的运动方向，具体的：
令运动前景图像左上角顶点为坐标系原点，x轴水平向右，y轴垂直向下(x轴“正方向”水平向右，y轴“正方向”垂直向下，且y轴正方向为远离冰箱的方向，y轴负方向为靠近冰箱的方向)，设最大连通域所对应的图像成分最上端的像素在当前帧运动前景图像的坐标系中的y轴坐标为yt，则上一帧运动前景图像中所述最大连通域所对应的图像成分最上端的像素的y轴坐标为yt-1，依次类推，yt-n，yt-n+1…….yt-1，yt记录了从前n帧到当前帧图像中最大连通域所对应的图像成分的最上端的像素的y轴坐标，这样我们根据最大连通域所对应的图像成分的最上端的像素的y轴坐标的变化趋势即可获取所述图像成分在运动前景图像中的运动方向。
进一步的，在本实施例中，若最大连通域所对应的图像成分的最上端的像素的y轴坐标的从yt-n，yt-n+1…….yt-1，yt越来越小，则用户执行的动作类型为放入食品；反之，若最大连通域所对应的图像成分的最上端的像素的y轴坐标的从yt-n，yt-n+1…….yt-1，yt越来越大，则说明用户执行的动作类型为拿出食品。
在S205中，通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
在本实施例中，步骤S205具体包括：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
可选的，参见图4所示，在另一实施例中，步骤S203之前还可以包括：
在S202-1中，对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
在本实施例中，由于步骤S203中得到的运动前景图像中会包含一些噪声像素，因此，为了除去这些噪声像素的影响，在获取到运动前景图像后通过对所述运动前景图像进行二值形态闭运算处理后在对其进行二值形态学开运算，从而可以消除运动前景图像中的噪声像素，便于后续最大连通域的提取。
可选的，参见图4所示，在另一实施例中，步骤S204之前还可以包括：
在S203-1中，判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
在本实施例中，若所述最大连通域所对应的图像成分中的像素大于或等于预设阈值，则说明该帧图像中包含有用户放入食品或拿出食品的动作的图像，此时进入步骤S204进行用户动作类型的识别；相反，若检测到所述最大连通域所对应的图像成分中的像素小于预设阈值，则说明该帧图像中没有检测到用户放入或拿出食品的动作，此时，无需进行动作类型的判断，结束对该帧图像进行分析处理的流程即可。
在S103中，记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
在本实施例中，智能冰箱记录用户执行的动作类型以及所述动作类型相应的食品类别后还可以将记录的信息上传至云端，使云端根据智能冰箱记录的食品的出库和入库的情况向用户推荐用户可能需要购买的食品或者当食品快过期时对用户进行提醒等便捷服务。
以上可以看出，本实施例提供的一种智能冰箱的食品管理方法由于通过当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，从而能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。
图5是本发明实施例提供的一种智能冰箱的食品管理***的示意性框图，该***用于运行图1所示实施例提供的方法。为了便于说明仅仅示出了与本实施例相关的部分。
参见图5所示，本实施例提供的一种智能冰箱的食品管理***，包括：
控制模块1，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；
图像分析处理模块2，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；
记录模块3，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
参见图6所示，在本实施例中，所述图像分析处理模块具体包括：
背景建模单元21，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；
运动前景图像获取单元22，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；
连通域提取单元23，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；
动作类型判断单元24，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；
食品类别获取单元25，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
其中，所述食品类别获取单元25具体用于：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
可选的，参见图7所示，在另一实施例中，所述图像分析处理模块还包括：
噪声像素处理单元26，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
可选的，参见图7所示，在另一实施例中，所述图像分析处理模块还包括：
图像成分判断单元27，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
需要说明的是，本发明实施例提供的上述***中各个模块，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
以上可以看出，本实施例提供的一种智能冰箱的食品管理***同样能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种智能冰箱的食品管理方法，其特征在于，包括：
当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；
对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；
记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
2.如权利要求1所述的智能冰箱的食品管理方法，其特征在于，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别具体包括：
采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；
将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；
对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；
识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；
通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
3.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分之前还包括：
对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
4.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型之前还包括：
判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
5.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别具体包括：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
6.一种智能冰箱的食品管理***，其特征在于，包括：
控制模块，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；
图像分析处理模块，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；
记录模块，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。
7.如权利要求6所述的智能冰箱的食品管理***，其特征在于，所述图像分析处理模块具体包括：
背景建模单元，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；
运动前景图像获取单元，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；
连通域提取单元，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；
动作类型判断单元，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；
食品类别获取单元，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
8.如权利要求7所述的智能冰箱的食品管理***，其特征在于，所述图像分析处理模块还包括：
噪声像素处理单元，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。
9.如权利要求7所述的智能冰箱的食品管理***，其特征在于，所述图像分析处理模块还包括：
图像成分判断单元，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。
10.如权利要求7所述的智能冰箱的食品管理***，其特征在于，食品类别获取单元具体用于：
通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610532573.8A CN106204573A (zh) | 2016-07-07 | 2016-07-07 | 一种智能冰箱的食品管理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610532573.8A CN106204573A (zh) | 2016-07-07 | 2016-07-07 | 一种智能冰箱的食品管理方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106204573A true CN106204573A (zh) | 2016-12-07 |
Family
ID=57473652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610532573.8A Pending CN106204573A (zh) | 2016-07-07 | 2016-07-07 | 一种智能冰箱的食品管理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106204573A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107449201A (zh) * | 2017-07-31 | 2017-12-08 | 合肥美的智能科技有限公司 | 冰箱 |
| CN107642944A (zh) * | 2017-09-27 | 2018-01-30 | 惠州Tcl家电集团有限公司 | 冰箱储藏物品信息的管理方法、冰箱及计算机存储介质 |
| CN107752584A (zh) * | 2017-10-13 | 2018-03-06 | 戴静 | 基于数据库智能识别物品的储物*** |
| CN108038411A (zh) * | 2017-10-31 | 2018-05-15 | 珠海格力电器股份有限公司 | 账单生成方法、装置及冰箱 |
| CN108961547A (zh) * | 2018-06-29 | 2018-12-07 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN108985359A (zh) * | 2018-06-29 | 2018-12-11 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN109003390A (zh) * | 2018-06-29 | 2018-12-14 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN109284728A (zh) * | 2018-10-08 | 2019-01-29 | 深圳市微埃智能科技有限公司 | 识别物品的方法、装置、设备和存储介质 |
| CN111462190A (zh) * | 2020-04-20 | 2020-07-28 | 海信集团有限公司 | 一种智能冰箱及食材录入方法 |
| CN111767759A (zh) * | 2019-04-01 | 2020-10-13 | 青岛海尔智能技术研发有限公司 | 食材识别的***、方法、设备及存储介质 |
| DE102020202932A1 (de) | 2020-03-06 | 2021-09-09 | BSH Hausgeräte GmbH | Bevorratungsvorrichtung |
| CN113468910A (zh) * | 2020-03-30 | 2021-10-01 | 海信集团有限公司 | 物品管理方法、装置及智能冰箱 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687732B1 (ko) * | 2005-11-24 | 2007-02-27 | 한국전자통신연구원 | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 |
| CN101825874A (zh) * | 2010-04-21 | 2010-09-08 | 四川长虹电器股份有限公司 | 一种智能冰箱及智能冰箱的食品管理、自动配菜方法 |
| US20120294477A1 (en) * | 2011-05-18 | 2012-11-22 | Microsoft Corporation | Searching for Images by Video |
| CN104331151A (zh) * | 2014-10-11 | 2015-02-04 | 中国传媒大学 | 基于光流法的手势运动方向识别方法 |
| CN104482715A (zh) * | 2014-12-31 | 2015-04-01 | 合肥华凌股份有限公司 | 冰箱中食物的管理方法和冰箱 |
| CN104850841A (zh) * | 2015-05-20 | 2015-08-19 | 银江股份有限公司 | 一种结合rfid与视频识别的老人异常行为监测方法 |
| CN105095866A (zh) * | 2015-07-17 | 2015-11-25 | 重庆邮电大学 | 一种快速行为识别方法和*** |
-
2016
- 2016-07-07 CN CN201610532573.8A patent/CN106204573A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100687732B1 (ko) * | 2005-11-24 | 2007-02-27 | 한국전자통신연구원 | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 |
| CN101825874A (zh) * | 2010-04-21 | 2010-09-08 | 四川长虹电器股份有限公司 | 一种智能冰箱及智能冰箱的食品管理、自动配菜方法 |
| US20120294477A1 (en) * | 2011-05-18 | 2012-11-22 | Microsoft Corporation | Searching for Images by Video |
| CN104331151A (zh) * | 2014-10-11 | 2015-02-04 | 中国传媒大学 | 基于光流法的手势运动方向识别方法 |
| CN104482715A (zh) * | 2014-12-31 | 2015-04-01 | 合肥华凌股份有限公司 | 冰箱中食物的管理方法和冰箱 |
| CN104850841A (zh) * | 2015-05-20 | 2015-08-19 | 银江股份有限公司 | 一种结合rfid与视频识别的老人异常行为监测方法 |
| CN105095866A (zh) * | 2015-07-17 | 2015-11-25 | 重庆邮电大学 | 一种快速行为识别方法和*** |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107449201A (zh) * | 2017-07-31 | 2017-12-08 | 合肥美的智能科技有限公司 | 冰箱 |
| CN107642944B (zh) * | 2017-09-27 | 2020-08-21 | Tcl家用电器（合肥）有限公司 | 冰箱储藏物品信息的管理方法、冰箱及计算机存储介质 |
| CN107642944A (zh) * | 2017-09-27 | 2018-01-30 | 惠州Tcl家电集团有限公司 | 冰箱储藏物品信息的管理方法、冰箱及计算机存储介质 |
| CN107752584A (zh) * | 2017-10-13 | 2018-03-06 | 戴静 | 基于数据库智能识别物品的储物*** |
| CN108038411A (zh) * | 2017-10-31 | 2018-05-15 | 珠海格力电器股份有限公司 | 账单生成方法、装置及冰箱 |
| CN108985359B (zh) * | 2018-06-29 | 2021-07-13 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN109003390A (zh) * | 2018-06-29 | 2018-12-14 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN108985359A (zh) * | 2018-06-29 | 2018-12-11 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN108961547A (zh) * | 2018-06-29 | 2018-12-07 | 深圳和而泰数据资源与云技术有限公司 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
| CN109284728A (zh) * | 2018-10-08 | 2019-01-29 | 深圳市微埃智能科技有限公司 | 识别物品的方法、装置、设备和存储介质 |
| CN109284728B (zh) * | 2018-10-08 | 2020-12-18 | 深圳市微埃智能科技有限公司 | 识别物品的方法、装置、设备和存储介质 |
| CN111767759A (zh) * | 2019-04-01 | 2020-10-13 | 青岛海尔智能技术研发有限公司 | 食材识别的***、方法、设备及存储介质 |
| DE102020202932A1 (de) | 2020-03-06 | 2021-09-09 | BSH Hausgeräte GmbH | Bevorratungsvorrichtung |
| CN113468910A (zh) * | 2020-03-30 | 2021-10-01 | 海信集团有限公司 | 物品管理方法、装置及智能冰箱 |
| CN111462190A (zh) * | 2020-04-20 | 2020-07-28 | 海信集团有限公司 | 一种智能冰箱及食材录入方法 |
| CN111462190B (zh) * | 2020-04-20 | 2023-11-17 | 海信集团有限公司 | 一种智能冰箱及食材录入方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106204573A (zh) | 一种智能冰箱的食品管理方法及*** | |
| WO2012036790A1 (en) | Gesture recognition system for tv control | |
| EP2769335B1 (en) | Methods and apparatuses for gesture recognition | |
| CN103119625B (zh) | 一种视频人物分割的方法及装置 | |
| CN110858277A (zh) | 一种获得姿态分类模型的方法以及装置 | |
| Selvaraj et al. | Raspberry Pi based automatic door control system | |
| Tsitsoulis et al. | A methodology for extracting standing human bodies from single images | |
| CN104268595B (zh) | 通用物件检测方法及*** | |
| CN107273810A (zh) | 一种自动学习划定人脸检测兴趣区域的方法 | |
| KR101344851B1 (ko) | 영상처리장치 및 영상처리방법 | |
| Gladence et al. | Home and office automation system using human activity recognition | |
| Yu et al. | Skin detection for adult image identification | |
| JP5552946B2 (ja) | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム | |
| Juang et al. | Vision-based human body posture recognition using support vector machines | |
| CN111898473B (zh) | 一种基于深度学习的司机状态实时监测方法 | |
| Fakharian et al. | Hybrid object detection using improved Gaussian mixture model | |
| CN111539319A (zh) | 一种智慧驾驶管理方法 | |
| Chin et al. | New lips detection and tracking system | |
| Singh et al. | Generic action recognition from egocentric videos | |
| CN105184244A (zh) | 视频人脸检测方法及装置 | |
| CN112990245A (zh) | 物品识别方法、装置、设备及存储介质 | |
| Ibrahim et al. | Background subtraction on gait videos containing illumination variates | |
| Liang et al. | Real-time face tracking | |
| WO2022143562A1 (zh) | 货箱状态的检测方法及装置 | |
| Mande et al. | Smart door using face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161207 |
|
| RJ01 | Rejection of invention patent application after publication |