CN107527363A - 一种冷藏装置存储物管理***和冷藏装置 - Google Patents
一种冷藏装置存储物管理***和冷藏装置 Download PDFInfo
- Publication number
- CN107527363A CN107527363A CN201610442231.7A CN201610442231A CN107527363A CN 107527363 A CN107527363 A CN 107527363A CN 201610442231 A CN201610442231 A CN 201610442231A CN 107527363 A CN107527363 A CN 107527363A
- Authority
- CN
- China
- Prior art keywords
- cold storage
- storage plant
- thing
- management system
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 211
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 13
- 241000894007 species Species 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005057 refrigeration Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 4
- 238000000151 deposition Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 11
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 241000196324 Embryophyta Species 0.000 description 80
- 235000013305 food Nutrition 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 230000003068 static effect Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 206010012735 Diarrhoea Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
本发明一种冷藏装置存储物管理***,包括:视频输入模块,用于输入冷藏装置入口处的视频集;3D卷积神经网络,用于捕捉所述视频集中的空间信息和运动信息。本发明同时还提出一种冷藏装置。本发明所提出的冷藏装置存储物管理***可以利用3D卷积神经网络自动在时间和空间两个维度学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化,无需改变传统的冷藏装置的使用习惯,实现了智能自动统计和交互功能,具有管理精度高、统计数据准确,使用灵活性好的优点。
Description
技术领域
本发明涉及制冷设备技术领域,尤其涉及一种冷藏装置存储物管理***和冷藏装置。
背景技术
很多人认为食物放进冷藏装置就会安全,不会出现变味或者变质。实际上,冷藏装置只是通过降温的方式,抑制细菌的繁殖速度。但是食物存放时间过长,一样会出现变质,食用后可能会出现恶心、呕吐和腹泻等情况。家用冷藏装置一般不设置统计食材的功能,食物存放期限通过用户经验决定,很容易出现遗漏导致食物变质,影响身体健康。对于大型冷冻仓储行业来说,食材统计更需要专人负责,成本较高。一旦出现遗漏,会造成批量的食物变质销毁,导致很高的经济损失。
为解决上述问题,现有技术中提出了冷藏装置内食材的管理***,如发明专利(申请号2014106605313)中所公开的技术方案,当检测到冷藏装置门打开时,接收用户输入的语音信息。该语音信息中包括用户对冷藏装置内食材的变更操作对应的基本食材变更信息。冷藏装置识别用户输入的语音信息,并进行预处理,生成用户对冷藏装置内食材变更操作对应的变更信息并传输至终端,使得终端生成冷藏装置内食材变更后的食材管理信息。不但看出,在上述技术方案中,为了统计冷藏装置内食材的信息,必须增加语音输入的步骤,这实际上使得整个操作变得较为复杂,并不符合人们日常使用冷藏装置的习惯。如果偶尔忘记了输入语音信息,则会使得统计信息的准确率大幅降低。
综上所述,现有技术中的冷藏装置内食材管理***存在不符合用户使用习惯,统计信息准确率低的问题。
发明内容
本发明提供一种冷藏装置存储物管理***,旨在克服现有技术中存储物统计不符合传统使用习惯且管理成本高的缺陷。本发明所提供的具体技术方案包括:
一种冷藏装置存储物管理***,包括:
视频输入模块,用于输入冷藏装置入口处的视频集;
3D卷积神经网络,用于捕捉所述视频集中的空间信息和运动信息。
进一步的,所述视频输入模块还用于输入冷藏装置内的静态图像;
所述存储物管理***还包括:
第一估算模块,用于根据冷藏装置入口视频集和3D卷积神经网络的输出估算存入或取出目标存储物的轮廓面积;
第二估算模块,用于根据静态图像再次估算目标存储物轮廓面积,
校准模块,用于根据第一估算模块和第二估算模块的输出比较确定存储物数量;
当所述卷积神经网络输出结果确定有目标存储物存入/取出时,第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值;第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值;所述校准模块用于将测试值与标准值进行比较,确定存储物数量。
进一步的,还包括统计模块,所述统计模块用于在所述测试值和标准值相等时,记录目标存储物的种类,增加或减少目标存储物的数量。
进一步的,所述3D卷积神经网络包括:
原始处理层,用于堆叠所述视频集中的多个连续的原始帧组成卷积立方体;
特征提取层,用于提取所述原始帧的多个通道信息;
时空卷积层,用于利用3D卷积核对每一个通道分别进行卷积;
特征采样层,用于对时空卷积层的输出进行池化;
分类器,用于根据所述特征采样层的输出结果学习分类,确定是否有目标存储物存入冷藏设备或从冷藏设备中取出。
优选的,所述通道信息包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。
进一步的,所述3D卷积神经网络包括多个时空卷积层和特征采样层,每一个所述时空卷积层的输出结果均通过一个独立的特征采样层池化。
优选的,多个时空卷积层的3D卷积核的尺寸为3*3*3,其中第一个特征采样层中的池化窗口的尺寸为1*2*2,其余特征采样层中的池化窗口的尺寸为2*2*2。
进一步的,所述分类器包括全连接层和softmax分类器。
优选的,所述视频集为冷藏装置入口处人体手部动作的动态场景,所述静态图像为冷藏装置内货架上的静态图像。
本发明所提出的冷藏装置存储物管理***可以利用3D卷积神经网络自动在时间和空间两个维度学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化,无需改变传统的冷藏装置的使用习惯,实现了智能自动统计和交互功能,具有管理精度高、统计数据准确,使用灵活性好的优点。
本发明同时公开了一种冷藏装置,包括所述冷藏装置存储物管理***,所述冷藏装置存储物管理***包括视频输入模块,用于输入冷藏装置入口处的视频集; 3D卷积神经网络,用于捕捉所述视频集中的空间信息和运动信息。
本发明所公开的冷藏装置具有自动学习交互统计存储物的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提出的冷藏装置存储物管理***一种实施例的流程图;
图2为本发明所提出的冷藏装置存储物管理***第二种实施例的流程图;
图3为冷藏装置存储物管理***识别模块中的损失函数曲线示例;
图4为冷藏装置存储物管理***识别模块中错误率曲线的示例;
图5为冷藏装置存储物管理***识别模块中学习曲线的示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的具体实施例和附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示为本发明所提出的冷藏装置存储物管理***一个实施例的流程图。在本实施例中,冷藏装置存储物管理***包括训练模块、识别模块、检测模块、估算模块和统计模块,其中所述训练模块、识别模块和检测模块均是基于卷积神经网络实现的,还可以包括显示模块,用于实时显示统计模块的检测值。如图所示,本实施例所提出的冷藏装置存储物管理***具体包括:
训练模块学习检测目标存储物。在本实施例中,学习检测目标存储物即使得卷积神经网络学习区分是否为目标存储物。对于冷藏装置来说,目标存储物可以是常见的食品、也可以是药品或其它需要冷藏的物品,如实验制剂、标本等。首先建立存储目标存储物的静态图片的数据库,数据库中包括大量的图片形成训练集,训练集中静态图片的数量级可以达到十万级甚至更高。静态图片中包括多个目标存储物的互相遮挡及区分各个部位的图像。
处理模块对数据库中的静态图片进行处理,具体来说,处理包括在一幅静态图片上划分多个矩形框,每个矩形框中框出一个目标存储物。对框出的目标存储物进行分类,并根据不同类别进行标注,添加标签,并在每一幅静态图片上制作针对不同类别的标注文件,形成标注原始图像。数据库中针对每一种类型的目标存储物的静态图片数量平均要在500张以上,防止过拟合。框选的区域被认为是训练模块中的检测区域,在输入卷积神经网络之前,优选对标注原始图像进行预处理,消除图像中的一些干扰因素,具体预处理的方法包括但不限于灰度变换、直方图修正、图像平滑去噪等等。
卷积神经网络是训练模块也是整个存储物管理***的核心。卷积神经网络包括特征提取层。特征提取层根据标注原始图像中框选区域,也就是检测区域的像素值提取特征,特征提取层将检测区域的像素值转换为多个通道的数据。每个通道的信息独立获取。通道个数可以为多个。分别对每个通道进行卷积池化得到框选区域的特征图,简称框选特征图,特征采样层利用窗口分别逐一滑过所述框选特征图,即利用卷积核采样的方式逐个采样框选特征图,得到低维向量。特征映射层将低维向量映射至全连接层。全连接层包括用于定位的回归层和用于分类的分类层,以使得卷积神经网络通过交互学习到目标存储物在标注原始图像上的位置和目标存储物的类型。全连接层输出结果,确定是否检测到目标存储物。
对卷积神经网络进行训练调整,管理***的识别模块用于使卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类。识别模块包括优化模块,优化模块首先根据训练模块生成的损失函数曲线、错误率曲线和学习曲线调整第一卷积网络的超参数。具体来说,通过损失函数曲线调整超参数中的学习率,根据训练模块生成的损失函数有多种形态。如图3所示第一种形态中损失函数曲线振荡,说明学习率过大,第二种形态中下降速度太慢,说明学习率过小。还可以通过错误率曲线调整正则项系数,如图4所示Train曲线代表的是训练错误率,vali曲线代表的是验证错误率。在训练模块中,正则项系数的设置值通常为1,根据训练后生成的train曲线和vali曲线可以调整正则项系数的值。根据学习曲线调整卷积神经网络的大小,也就是卷积神经网络的层数,图中箭头方向代表的及时层数变化的趋势。如图5所示,还可以根据学习曲线调整验证图像的数量和训练时间。根据损失函数曲线、错误率曲线和学习曲线调整后的卷积神经网络明显优于训练前的卷积神经网络。超参数的调整不限于上述三项,还可以根据训练结果调整其它超参数。
验证模块将验证图像数据库中的图像输入至优化后的卷积神经网络,卷积神经网络识别验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果。验证图像类似需要识别的真实图像,不再通过处理模块处理。根据输出结果对超参数进行第二次调整,得到优化卷积神经网络。
测试模块对优化卷积神经网络经行测试。将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至优化卷积神经网络中进行识别,确定是否有目标存储物以及目标存储物的种类,输出识别结果。识别结果以视频格式或文本格式保存,并进行再次分析,利用分析结果再次优化卷积神经网络,得到最优化网络模型。
通过训练、验证、测试完毕的冷藏装置存储物管理***进行冷藏装置中存储物数量和种类的管理。具体来说,目标存储物数量的变化主要由放入和取出目标存储物实现。由于在冷藏或冷冻过程中,目标存储物的形状和形态不会发生过大的变化,所以,存储物管理***中的图像交互处理可以忽略其变形产生的变化,训练、验证、测试完毕的冷藏装置存储物管理***最关键的难点在于存储时会出现目标存储物的相互遮挡。因此,通过以下方式实现准确识别统计。
在冷藏装置的入口处设置有用于拍摄视频的摄像装置。摄像装置可以是静止的,也可以是随着冷藏装置入口处的动作而摇动动作的,摄像装置采集冷藏装置入口处视频,其视野范围涵盖整个入口处及入口处附近的连续景象。对于家用的冷藏设备来说,摄像装置主要采集的是手部伸入冷藏装置入口或从冷藏装置入口处抽出的动作状态。对于大型的冷柜来说,摄像装置采集的视频包括人进入或从冷藏装置中走出的动作,以及人进入或走出时手部的动作和手中的目标存储物。摄像装置可以设置在冷藏装置上,也可以设置在冷藏装置附近的固定结构上,保证工作的稳定性。在冷藏装置内部也同样设置有摄像装置,用于拍摄冷藏装置内部目标存储物的存储状态,比如冷藏装置内货架上的静态场景。摄像装置可以由独立的多个摄像机实现,也可以通过设置在冷藏装置入口或门体上的一个摄像机同时实现冷藏装置入口处及冷藏装置内的图像采集。
摄像装置将采集到图像存储为视频集,并将冷藏装置入口处的视频集及冷藏装置内的视频集输入至存储物管理***的视频输入模块。为了分别识别动作是放入目标存储物还是取出目标存储物,以及目标存储物的种类和数量,图像分解模块将视频集中的视频文件中的每一帧拆分处理成静态成分和运动成分。不同于现有技术中的人体运动识别中不可预见的运动目标以及运动方式,针对冷藏装置入口处和冷藏装置内的视频图像处理是有相对固定的检测区域、检测区域背景以及相对稳定运动模式的,因此,需要使用一种识别精度更高、处理速度更快的识别方式以实现准确的管理统计。
参见图1所示为本发明所公开的冷藏装置存储物管理***第一种实施例的流程图,最优化网络模型为一个3D卷积神经网络。本实施例所提供的3D卷积神经网络通过3D卷积核去提取测试模块输入的冷藏装置入口处的动态视频组成的视频集中的时间和空间特征,是在时间和空间两个维度上的同时处理。
具体来说,3D卷积神经网络具体包括原始处理层、特征提取层、时空卷积层、特征采样层和分类器。其中原始处理层将视频集中多个连续的原始帧组成卷积立方体。特征提取层对每一原始帧提取多个通道信息。为了实现时空两个维度的采样,特征提取层提取五个独立通道信息,包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。时空卷积层对每一个通道分别进行卷积。时空卷积层包括多个,每一个时空卷积层的输出结果通过一个独立的特征采样层进行池化。卷积时优选的3D卷积核为3*3*3的窗口。第一特征采样层中池化窗口为1*2*2的窗口,其中特征采样层中的池化窗口为2*2*2的窗口。池化窗口的选择是为了实现最优的采样结果,第一特征采样层中的池化窗口的维度为1,避免过早的进行采样,以保留更多的图像输入信息。
特征采样层的输出结果映射至两个全连接层和softmax分类器,从而通过一个3D卷积网络同时确定是否有目标存储物,以及是否有目标存储物存入冷藏设备或从冷藏设备中取出。
在很多种情况下,单次放入冷藏装置中目标存储物的数量是不同的,这可能导致如果直接统计检测模块的输出结果存在偏差,因此,在管理***中还设置有估算模块。估算模块的功能主要用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量。具体来说估算模块包括第一估算模块和第二估算模块,当3D卷积神经网络的输出结果确定在单次取放动作中有目标存储物、目标存储物的种类以及目标存储物是放入冷藏装置中的,则估算模块先根据冷藏装置入口处动态场景视频集中的空间流第一次估算存储物的轮廓面积并作为标准值A1,此时,默认手部动作中的目标存储物是不存在不同种目标存储物的相互遮挡的,标准值A1的准确性较高。第二估算模块连续接收冷藏装置中的静态图像,当静态图像中目标存储物的轮廓面积发生变化时,第二估算模块生成变化值,并将变化值作为存入冷藏装置中目标存储物的测试值A2。估算模块中还设置有校准模块,校准模块将标准值和测试值进行比较,如果测试值不等于标准值,则第二估算模块再次生成测试值,直到标准值等于测试值,确定存入冷藏装置中目标存储物的数量。
类似的,当有目标存储物从冷藏装置中取出时,第一估算模块用于先根据冷藏装置入口处的动态场景视频集的空间流估算取出目标存储物的轮廓面积并作为标准值。第二估算模块再根据冷藏装置内的静态场景再次估算冷藏装置中静态图像目标存储物的轮廓面积变化值,并将变化值作为从冷藏装置中取出的目标存储物的测试值。校准模块将标准值和测试值进行比较。如果测试值不等于标准值,则第二估算模块再次生成测试值,直到标准值等于测试值,确定从冷藏装置中取出目标存储物的数量。
估算模块将输出结果输出至统计模块。统计模块在测试值和标准值相等时,记录目标存储物的种类,增加或减少目标存储物的数量。统计模块的输出结果可以直接输出至显示模块。显示模块接收输出结果并根据使用习惯生成显示值,所述显示值可以包括目标物的种类、存放期限以及数量等信息。显示模块生成的显示通过显示屏显示,显示屏可以设置在冷藏装置上,或者使用与冷藏装置进行通信的其它终端上的显示屏,用于可以通过显示装置随时随地地了解和查询冷藏装置中目标存储物的种类、每一类目标存储物的数量。整个过程中无需改变传统的使用习惯,同时实现了自动统计、自动判断和自动显示,有效地简化了存储物统计的过程,降低了检测统计使用成本。
参见图2所示为本发明所公开的冷藏装置存储物管理***第二种实施例的结构示意图,在本实施例中所采用的3D卷积神经网络也可以是根据实际使用需求搭建的具有原始处理层、特征提取层、时空卷积层和特征采样层的3D卷积神经网络。存储物管理***的视频输入模块、图像分解模块、卷积神经网络、第一估算模块、第二估算模块和校准模块的交互、识别、统计流程与第一实施例一致,在此不再赘述。
本发明同时提出了一种采用上述实施例所具体公开的冷藏装置存储物管理***的冷藏装置。管理***的具体实施方式请参见上述第一实施例和第二实施例的详细描述,本发明所公开的冷藏装置具有冷藏装置存储物管理***的技术效果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种冷藏装置存储物管理***,其特征在于,包括:
视频输入模块,用于输入冷藏装置入口处的视频集;
3D卷积神经网络,用于捕捉所述视频集中的空间信息和运动信息。
2.根据权利要求1所述的冷藏装置存储物管理***,其特征在于,所述视频输入模块还用于输入冷藏装置内的静态图像;所述存储物管理***还包括:
第一估算模块,用于根据冷藏装置入口视频集和3D卷积神经网络的输出估算存入或取出目标存储物的轮廓面积;
第二估算模块,用于根据静态图像再次估算目标存储物轮廓面积,
校准模块,用于根据第一估算模块和第二估算模块的输出比较确定存储物数量;
当所述卷积神经网络输出结果确定有目标存储物存入/取出时,第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值;第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值;所述校准模块用于将测试值与标准值进行比较,确定存储物数量。
3.根据权利要求2所述的冷藏装置存储物管理***,其特征在于,还包括统计模块,所述统计模块用于在所述测试值和标准值相等时,记录目标存储物的种类,增加或减少目标存储物的数量。
4.根据权利要求1至3任一项所述的冷藏装置存储物管理***,其特征在于,所述3D卷积神经网络包括:
原始处理层,用于堆叠所述视频集中的多个连续的原始帧组成卷积立方体;
特征提取层,用于提取所述原始帧的多个通道信息;
时空卷积层,用于利用3D卷积核对每一个通道分别进行卷积;
特征采样层,用于对时空卷积层的输出进行池化;
分类器,用于根据所述特征采样层的输出结果学习分类,确定是否有目标存储物存入冷藏设备或从冷藏设备中取出。
5.根据权利要求4所述的冷藏装置存储物管理***,其特征在于,所述通道信息包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。
6.根据权利要求5所述的冷藏装置存储物管理***,其特征在于,所述3D卷积神经网络包括多个时空卷积层和特征采样层,每一个所述时空卷积层的输出结果均通过一个独立的特征采样层池化。
7.根据权利要求6所述的冷藏装置存储物管理***,其特征在于,多个时空卷积层的3D卷积核的尺寸为3*3*3,其中第一个特征采样层中的池化窗口的尺寸为1*2*2,其余特征采样层中的池化窗口的尺寸为2*2*2。
8.根据权利要求6所述的冷藏装置存储物管理***,其特征在于,所述分类器包括全连接层和softmax分类器。
9.根据权利要求8所述的冷藏装置存储物管理***,其特征在于,所述视频集为冷藏装置入口处人体手部动作的动态场景,所述静态图像为冷藏装置内货架上的静态图像。
10.一种冷藏装置,其特征在于,包括如权利要求1至9任一项所述的冷藏装置存储物管理***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610442231.7A CN107527363B (zh) | 2016-06-20 | 2016-06-20 | 一种冷藏装置存储物管理***和冷藏装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610442231.7A CN107527363B (zh) | 2016-06-20 | 2016-06-20 | 一种冷藏装置存储物管理***和冷藏装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107527363A true CN107527363A (zh) | 2017-12-29 |
CN107527363B CN107527363B (zh) | 2022-01-25 |
Family
ID=60733815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610442231.7A Active CN107527363B (zh) | 2016-06-20 | 2016-06-20 | 一种冷藏装置存储物管理***和冷藏装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107527363B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN109829398A (zh) * | 2019-01-16 | 2019-05-31 | 北京航空航天大学 | 一种基于三维卷积网络的视频中的目标检测方法 |
CN110335294A (zh) * | 2019-07-11 | 2019-10-15 | 中国矿业大学 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
CN113165817A (zh) * | 2019-06-27 | 2021-07-23 | 乐天集团股份有限公司 | 控制装置、无人移动机、及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046799A1 (en) * | 2003-07-03 | 2010-02-25 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
CN105531715A (zh) * | 2013-06-26 | 2016-04-27 | 亚马逊科技公司 | 检测物品交互和移动 |
CN105654270A (zh) * | 2014-11-18 | 2016-06-08 | 博西华家用电器有限公司 | 冰箱、终端、冰箱内食材的管理***及管理方法 |
CN105678216A (zh) * | 2015-12-21 | 2016-06-15 | 中国石油大学(华东) | 基于深度学习的时空数据流视频行为识别方法 |
-
2016
- 2016-06-20 CN CN201610442231.7A patent/CN107527363B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046799A1 (en) * | 2003-07-03 | 2010-02-25 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
CN105531715A (zh) * | 2013-06-26 | 2016-04-27 | 亚马逊科技公司 | 检测物品交互和移动 |
CN105654270A (zh) * | 2014-11-18 | 2016-06-08 | 博西华家用电器有限公司 | 冰箱、终端、冰箱内食材的管理***及管理方法 |
CN105678216A (zh) * | 2015-12-21 | 2016-06-15 | 中国石油大学(华东) | 基于深度学习的时空数据流视频行为识别方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN109829398A (zh) * | 2019-01-16 | 2019-05-31 | 北京航空航天大学 | 一种基于三维卷积网络的视频中的目标检测方法 |
CN113165817A (zh) * | 2019-06-27 | 2021-07-23 | 乐天集团股份有限公司 | 控制装置、无人移动机、及方法 |
CN113165817B (zh) * | 2019-06-27 | 2023-05-12 | 乐天集团股份有限公司 | 控制装置、无人移动机、及方法 |
CN110335294A (zh) * | 2019-07-11 | 2019-10-15 | 中国矿业大学 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
CN110335294B (zh) * | 2019-07-11 | 2023-11-24 | 中国矿业大学 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107527363B (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
CN108960119B (zh) | 一种用于无人售货柜的多角度视频融合的商品识别算法 | |
CN106570486B (zh) | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 | |
CN108600865B (zh) | 一种基于超像素分割的视频摘要生成方法 | |
CN107527363A (zh) | 一种冷藏装置存储物管理***和冷藏装置 | |
CN103988232B (zh) | 使用运动流形来改进图像匹配 | |
CN109559302A (zh) | 基于卷积神经网络的管道视频缺陷检测方法 | |
CN107330357A (zh) | 基于深度神经网络的视觉slam闭环检测方法 | |
CN105469376B (zh) | 确定图片相似度的方法和装置 | |
CN107220585A (zh) | 一种基于多特征融合镜头聚类的视频关键帧提取方法 | |
CN109697726A (zh) | 一种基于事件相机的端对端目标运动估计方法 | |
CN107527060A (zh) | 一种冷藏装置存储物管理***和冷藏装置 | |
CN107424171A (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN110298297A (zh) | 火焰识别方法和装置 | |
CN108648211A (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
CN104077776B (zh) | 一种基于颜色空间自适应更新的视觉背景提取方法 | |
CN104063871B (zh) | 可穿戴设备的图像序列场景分割方法 | |
CN109918971A (zh) | 监控视频中人数检测方法及装置 | |
CN108537157A (zh) | 一种基于人工智能分类实现的视频场景判断方法与装置 | |
CN113869211A (zh) | 图像自动标注和标注质量自动评价方法及*** | |
CN107220991A (zh) | 一种基于压缩感知的实时目标跟踪算法 | |
CN105184815B (zh) | 聚众事件检测方法及*** | |
CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
CN115147644A (zh) | 图像描述模型的训练和描述方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220112 Address after: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1 Applicant after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd. Applicant after: Haier Smart Home Co., Ltd. Address before: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1 Applicant before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd. |