CN107527060A - 一种冷藏装置存储物管理***和冷藏装置 - Google Patents

一种冷藏装置存储物管理***和冷藏装置 Download PDF

Info

Publication number
CN107527060A
CN107527060A CN201610442232.1A CN201610442232A CN107527060A CN 107527060 A CN107527060 A CN 107527060A CN 201610442232 A CN201610442232 A CN 201610442232A CN 107527060 A CN107527060 A CN 107527060A
Authority
CN
China
Prior art keywords
thing
cold storage
target
storage plant
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610442232.1A
Other languages
English (en)
Other versions
CN107527060B (zh
Inventor
于海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN201610442232.1A priority Critical patent/CN107527060B/zh
Publication of CN107527060A publication Critical patent/CN107527060A/zh
Application granted granted Critical
Publication of CN107527060B publication Critical patent/CN107527060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明提供一种冷藏装置存储物管理***和冷藏装置，包括：基于卷积神经网络的训练模块，用于学习检测目标存储物；基于卷积神经网络的识别模块，用于识别是否有目标存储物以及目标存储物的种类；基于卷积神经网络的检测模块，用于捕捉检测是否有目标存储物、以及是否有目标存储物存入冷藏装置或从冷藏装置中取出。本发明所提出的冷藏装置存储物管理***可以通过训练、验证和测试等步骤建立卷积神经网络以实现根据采样视频自动学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。

Description

一种冷藏装置存储物管理***和冷藏装置
技术领域
本发明涉及制冷设备技术领域，尤其涉及一种冷藏装置存储物管理***和冷藏装置。
背景技术
很多人认为食物放进冷藏装置就会安全，不会出现变味或者变质。实际上，冷藏装置只是通过降温的方式，抑制细菌的繁殖速度。但是食物存放时间过长，一样会出现变质，食用后可能会出现恶心、呕吐和腹泻等情况。家用冷藏装置一般不设置统计食材的功能，食物存放期限通过用户经验决定，很容易出现遗漏导致食物变质，影响身体健康。对于大型冷冻仓储行业来说，食材统计更需要专人负责，成本较高。一旦出现遗漏，会造成批量的食物变质销毁，导致很高的经济损失。
为解决上述问题，现有技术中提出了冷藏装置内食材的管理***，如发明专利（申请号2014106605313）中所公开的技术方案，当检测到冷藏装置门打开时，接收用户输入的语音信息。该语音信息中包括用户对冷藏装置内食材的变更操作对应的基本食材变更信息。冷藏装置识别用户输入的语音信息，并进行预处理，生成用户对冷藏装置内食材变更操作对应的变更信息并传输至终端，使得终端生成冷藏装置内食材变更后的食材管理信息。不但看出，在上述技术方案中，为了统计冷藏装置内食材的信息，必须增加语音输入的步骤，这实际上使得整个操作变得较为复杂，并不符合人们日常使用冷藏装置的习惯。如果偶尔忘记了输入语音信息，则会使得统计信息的准确率大幅降低。
综上所述，现有技术中的冷藏装置内食材管理***存在不符合用户使用习惯，统计信息准确率低的问题。
发明内容
本发明提供一种冷藏装置存储物管理***，旨在克服现有技术中存储物统计不符合传统使用习惯且管理成本高的缺陷。本发明所提供的具体技术方案包括：
一种冷藏装置存储物管理***，包括：
基于卷积神经网络的训练模块，用于学习检测目标存储物；
基于卷积神经网络的识别模块，用于识别是否有目标存储物以及目标存储物的种类；
基于卷积神经网络的检测模块，用于捕捉检测是否有目标存储物、以及是否有目标存储物存入冷藏装置或从冷藏装置中取出；
进一步的，所述训练模块包括：
数据库，用于存储目标存储物的静态图片；
处理模块，用于区分所述数据库中静态图片上的存储物类别，并根据不同类别分别进行标注形成标注原始图像；
第一卷积神经网络，用于接收所述处理模块输出的标注原始图像，提取所述标注原始图像中的特征、定位、分类以学习检测目标存储物。
进一步的，所述第一卷积神经网络包括：
特征提取层，用于提取所述标注原始图像上标注检测区域的像素值，提取特征得到所述检测区域的特征图；
特征采样层，用于利用窗口滑过所述检测区域特征图生成低维向量；
特征映射层，用于映射所述低维向量至全连接层；
全连接层，所述全连接层包括用于定位的回归层和用于分类的分类层，所述全连接层用于输出结果，确定是否检测到目标存储物。
进一步的，所述识别模块包括：
优化模块，用于根据所述训练模块生成的损失函数曲线、错误率曲线和学习曲线调整所述第一卷积网络的超参数；
验证图像数据库，用于存储验证图像；
验证模块，用于输入验证图像至优化后的所述第一卷积神经网络并得到优化第一卷积神经网络；
测试模块，用于将视频处理为单独帧并作为测试图像输入至所述优化第一卷积神经网络进行识别，确定是否有目标存储物及目标存储物的种类，输出识别结果，同时得到最优化网络模型。
优选的，所述超参数包括学习率、正则项系数和卷积神经网络层数。
进一步的，所述检测模块包括：
输入模块，用于输入冷藏装置入口处和冷藏装置内的视频集和静态图像；
所述检测模块将所述视频集和静态图像中的静态成分和运动成分输入至所述最优化网络模型，以检测是否有目标存储物存入冷藏装置或从冷藏装置中取出。
进一步的，还包括估算模块，用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量；所述估算模块包括：
第一估算模块，用于根据冷藏装置入口视频集和所述最优化网络模型的输出估算存入或取出目标存储物的轮廓面积；
第二估算模块，用于根据静态图像再次估算存入或取出的所述目标存储物轮廓面积，
校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；
当所述最优化网络模型的输出结果确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将测试值与标准值进行比较，确定存储物数量。
进一步的，还包括统计模块，用于根据所述估算模块的输出值输出冷藏装置中目标存储物的种类和数量；所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。
进一步的，还包括显示模块，所述显示模块接收所述统计模块的输出结果并生成显示值。
本发明所提出的冷藏装置存储物管理***可以通过训练、验证和测试等多个步骤建立卷积神经网络以实现根据采样视频自动学习、交互、识别、统计冷藏装置中的目标存储物、目标存储物的种类和每一种目标存储物数量的变化，无需改变传统的冷藏装置的使用习惯，实现了智能自动统计和交互功能，具有管理精度高、统计数据准确，使用灵活性好的优点。
本发明同时还公开了一种冷藏装置，包括冷藏装置存储物管理***。冷藏装置存储物管理***包括：
基于卷积神经网络的训练模块，用于学习检测目标存储物；
基于卷积神经网络的识别模块，用于识别是否有目标存储物以及目标存储物的种类；
基于卷积神经网络的检测模块，用于捕捉检测是否有目标存储物、以及是否有目标存储物存入冷藏装置或从冷藏装置中取出；
估算模块，用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量；和
统计模块，用于根据所述估算模块的输出值输出冷藏装置中目标存储物的种类和数量。
本发明所公开的冷藏装置具有自动识别、交互统计存储物的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提出的冷藏装置存储物管理***的流程图；
图2为图1中训练模块中第一卷积神经网络的一种具体实施例的结构示意图；
图3为图1所示冷藏装置存储物管理***第一种具体实施例的流程图；
图4为图1所示冷藏装置存储物管理***第二种具体实施例的流程图；
图5为图1的识别模块中的损失函数曲线示例；
图6为图1的识别模块中错误率曲线的示例；
图7为图1的识别模块中学习曲线的示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的具体实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明所提出的冷藏装置存储物管理***一个实施例的流程图。在本实施例中，冷藏装置存储物管理***包括训练模块、识别模块、检测模块、估算模块和统计模块，其中所述训练模块、识别模块和检测模块均是基于卷积神经网络实现的，还可以包括显示模块，用于实时显示统计模块的检测值。如图3所示，本实施例所提出的冷藏装置存储物管理***具体包括：
训练模块学习检测目标存储物。在本实施例中，学习检测目标存储物即使得第一卷积神经网络学习区分是否为目标存储物。对于冷藏装置来说，目标存储物可以是常见的食品、也可以是药品或其它需要冷藏的物品，如实验制剂、标本等。首先建立存储目标存储物的静态图片的数据库，数据库中包括大量的图片形成训练集，训练集中静态图片的数量级可以达到十万级甚至更高。静态图片中包括多个目标存储物的互相遮挡及区分各个部位的图像。
处理模块对数据库中的静态图片进行处理，具体来说，处理包括在一幅静态图片上划分多个矩形框，每个矩形框中框出一个目标存储物。对框出的目标存储物进行分类，并根据不同类别进行标注，添加标签，并在每一幅静态图片上制作针对不同类别的标注文件，形成标注原始图像。数据库中针对每一种类型的目标存储物的静态图片数量平均要在500张以上，防止过拟合。框选的区域被认为是训练模块中的检测区域，在输入第一卷积神经网络之前，优选对标注原始图像进行预处理，消除图像中的一些干扰因素，具体预处理的方法包括但不限于灰度变换、直方图修正、图像平滑去噪等等。
第一卷积神经网络是训练模块也是整个存储物管理***的核心。参见图2所示，第一卷积神经网络包括特征提取层L1。特征提取层L1根据标注原始图像中框选区域，也就是检测区域的像素值提取特征，特征提取层L1将检测区域的像素值转换为多个通道的数据。每个通道的信息独立获取。通道个数可以为多个。分别对每个通道进行卷积池化得到框选区域的特征图，简称框选特征图，特征采样层L2利用窗口分别逐一滑过所述框选特征图，即利用卷积核采样的方式逐个采样框选特征图，得到低维向量。特征映射层L3将低维向量映射至全连接层。全连接层包括用于定位的回归层L41和用于分类的分类层L42，以使得第一卷积神经网络通过交互学习到目标存储物在标注原始图像上的位置和目标存储物的类型。全连接层输出结果，确定是否检测到目标存储物。
对第一卷积神经网络进行训练调整，管理***的识别模块用于使第一卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类。识别模块包括优化模块，优化模块首先根据训练模块生成的损失函数曲线、错误率曲线和学习曲线调整第一卷积网络的超参数。具体来说，通过损失函数曲线调整超参数中的学习率，根据训练模块生成的损失函数有多种形态。如图5所示第一种形态中损失函数曲线振荡，说明学习率过大，第二种形态中下降速度太慢，说明学习率过小。还可以通过错误率曲线调整正则项系数，如图6所示Train曲线代表的是训练错误率，vali曲线代表的是验证错误率。在训练模块中，正则项系数的设置值通常为1，根据训练后生成的train曲线和vali曲线可以调整正则项系数的值。根据学习曲线调整第一卷积神经网络的大小，也就是第一卷积神经网络的层数，图中箭头方向代表的及时层数变化的趋势。如图7所示，还可以根据学习曲线调整验证图像的数量和训练时间。根据损失函数曲线、错误率曲线和学习曲线调整后的第一卷积神经网络明显优于训练前的第一卷积神经网络。超参数的调整不限于上述三项，还可以根据训练结果调整其它超参数。
验证模块将验证图像数据库中的图像输入至优化后的第一卷积神经网络，第一卷积神经网络识别验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果。验证图像类似需要识别的真实图像，不再通过处理模块处理。根据输出结果对超参数进行第二次调整，得到优化第一卷积神经网络。
测试模块对优化第一卷积神经网络经行测试。将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至优化第一卷积神经网络中进行识别，确定是否有目标存储物以及目标存储物的种类，输出识别结果。识别结果以视频格式或文本格式保存，并进行再次分析，利用分析结果再次优化第一卷积神经网络，得到最优化网络模型。
通过训练、验证、测试完毕的冷藏装置存储物管理***进行冷藏装置中存储物数量和种类的管理。具体来说，目标存储物数量的变化主要由放入和取出目标存储物实现。由于在冷藏或冷冻过程中，目标存储物的形状和形态不会发生过大的变化，所以，存储物管理***中的图像交互处理可以忽略其变形产生的变化，训练、验证、测试完毕的冷藏装置存储物管理***最关键的难点在于存储时会出现目标存储物的相互遮挡。因此，通过以下方式实现准确识别统计。
在冷藏装置的入口处设置有用于拍摄视频的摄像装置。摄像装置可以是静止的，也可以是随着冷藏装置入口处的动作而摇动动作的，摄像装置采集冷藏装置入口处视频，其视野范围涵盖整个入口处及入口处附近的连续景象。对于家用的冷藏设备来说，摄像装置主要采集的是手部伸入冷藏装置入口或从冷藏装置入口处抽出的动作状态。对于大型的冷柜来说，摄像装置采集的视频包括人进入或从冷藏装置中走出的动作，以及人进入或走出时手部的动作和手中的目标存储物。摄像装置可以设置在冷藏装置上，也可以设置在冷藏装置附近的固定结构上，保证工作的稳定性。在冷藏装置内部也同样设置有摄像装置，用于拍摄冷藏装置内部目标存储物的存储状态，比如冷藏装置内货架上的静态场景。摄像装置可以由独立的多个摄像机实现，也可以通过设置在冷藏装置入口或门体上的一个摄像机同时实现冷藏装置入口处及冷藏装置内的图像采集。
摄像装置将采集到图像存储为视频集，并将冷藏装置入口处的视频集及冷藏装置内的视频集输入至存储物管理***的视频输入模块。为了分别识别动作是放入目标存储物还是取出目标存储物，以及目标存储物的种类和数量，图像分解模块将视频集中的视频文件中的每一帧拆分处理成静态成分和运动成分。不同于现有技术中的人体运动识别中不可预见的运动目标以及运动方式，针对冷藏装置入口处和冷藏装置内的视频图像处理是有相对固定的检测区域、检测区域背景以及相对稳定运动模式的，因此，需要使用一种识别精度更高、处理速度更快的识别方式以实现准确的管理统计。
在本实施例中，图像分解模块分解处理得到连续帧的静态成分和运动成分组成空间流和时间流。其中所指的静态成分即分割的静态的视频帧，而运动成分则是反应目标行为的具有速度矢量的图像，如光流密度图。为提高识别处理的精度和速度，最优化网络模型采用两个独立设置的经过训练、验证、测试的第一卷积神经网络A和第一卷积神经网路B分别处理空间流和时间流。第一卷积神经网络A和第二卷积神经网络B的超参数均通过训练、验证和测试三个步骤形成的最优值。优选的第一卷积神经网络A和第一卷积神经网络B具有同样的规模，超参数可能根据具体的需要进行设置，略有不同。
具体来说，第一卷积神经网络A进一步包括输入层、多层卷积池化层和分类器，其中输入层用于输入空间流。由于空间流是由连续的静态视频帧组成的，所以实际上静态视频帧中的背景相对稳定，前景物体变化比较明显。因此，通过输入层输入的静态成分可以通过检测区域中的像素值体现。第一卷积神经网络A中的多层卷积池化层提取检测区域中的有效像素值，提取特征，形成检测区域的特征图。在特征图上选取卷积核或者窗口，利用卷积核进行卷积后进一步进行池化。一种优选的方式是采用多卷积核进行卷积的方式，即分别将静态成分转换为多个通道的数据，每个通道数据独立获取并分别利用卷积核进行卷积，其中每一层卷积学习到的特征是局部的，但是多层卷积后的特征则是接近于全局的，具有更好的准确率。将多层卷积池化层输出的输出结果输入至分类器进一步进行学习分析。分类器优选包括全连接层和Softmax层，这样即可以使得第一卷积神经网络A 学习到如何确定根据视频集产生的空间流中是否有目标存储物。
对应的，第一卷积神经网络B也进一步包括输入层、多层卷积池化层和分类器，其中输入层用于输入时间流。时间流是由光流密度图组成的，也可以通过检测区域中的像素值体现其特征和速度矢量。第一卷积神经网络B中的多层卷积池化层提取光流密度图中检测区域中动态成分的特征，在特征图上选取卷积核或者窗口，利用卷积核进行卷积后进一步池化。动态成分也转换成多个通道的数据，每个通道数据独立获取并分别利用卷积核进行卷积。将多层卷积池化层输出的输出结果输入至分类器进一步进行学习分析。分类器优选包括全连接层和Softmax层，这样即可以使得第一卷积神经网络B学习到如何确定是否有动作使得目标存储物从冷藏设备中取出或存入到冷藏设备中。
将第一卷积神经网络A和第一卷积神经网络B的输出结果输入至同一个分类器中融合，分类器优选为SVM，这样，最优化网络模型的输出结果则可以准确的确定是否目标存储物、目标存储物的种类、以及目标存储物是存入冷藏装置中还是从冷藏装置中取出。
在很多种情况下，单次放入冷藏装置中目标存储物的数量是不同的，这可能导致如果直接统计检测模块的输出结果存在偏差，因此，在管理***中还设置有估算模块。估算模块的功能主要用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量。具体来说估算模块包括第一估算模块和第二估算模块，当检测模块的输出结果确定在单次取放动作中有目标存储物、目标存储物的种类以及目标存储物是放入冷藏装置中的，则估算模块先根据冷藏装置入口处动态场景视频集中的空间流第一次估算存储物的轮廓面积并作为标准值A1，此时，默认手部动作中的目标存储物是不存在不同种目标存储物的相互遮挡的，标准值A1的准确性较高。第二估算模块连续接收冷藏装置中的静态图像，当静态图像中目标存储物的轮廓面积发生变化时，第二估算模块生成变化值，并将变化值作为存入冷藏装置中目标存储物的测试值A2。估算模块中还设置有校准模块，校准模块将标准值和测试值进行比较，如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定存入冷藏装置中目标存储物的数量。
类似的，当有目标存储物从冷藏装置中取出时，第一估算模块用于先根据冷藏装置入口处的动态场景视频集的空间流估算取出目标存储物的轮廓面积并作为标准值。第二估算模块再根据冷藏装置内的静态场景再次估算冷藏装置中静态图像目标存储物的轮廓面积变化值，并将变化值作为从冷藏装置中取出的目标存储物的测试值。校准模块将标准值和测试值进行比较。如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定从冷藏装置中取出目标存储物的数量。
估算模块将输出结果输出至统计模块。统计模块在测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。统计模块的输出结果可以直接输出至显示模块。显示模块接收输出结果并根据使用习惯生成显示值，所述显示值可以包括目标物的种类、存放期限以及数量等信息。显示模块生成的显示通过显示屏显示，显示屏可以设置在冷藏装置上，或者使用与冷藏装置进行通信的其它终端上的显示屏，用于可以通过显示装置随时随地地了解和查询冷藏装置中目标存储物的种类、每一类目标存储物的数量。整个过程中无需改变传统的使用习惯，同时实现了自动统计、自动判断和自动显示，有效地简化了存储物统计的过程，降低了检测统计使用成本。
参见图4所示为本发明所公开的冷藏装置存储物管理***第二种实施例的结构示意图，在本实施例中，训练模块和识别模块的基本实施方式与第一种实施例基本相同。请参见第一种实施例中的详细描述。在本实施例中，最优化网络模型为 3D卷积神经网络。本实施例所提供的3D卷积神经网络通过3D卷积核去提取测试模块输入的冷藏装置入口处的动态视频组成的视频集中的时间和空间特征，是在时间和空间两个维度上的同时处理。
具体来说，3D卷积神经网络具体包括原始处理层、特征提取层、时空卷积层、特征采样层和分类器。其中原始处理层将视频集中多个连续的原始帧组成卷积立方体。特征提取层对每一原始帧提取多个通道信息。为了是实现时空两个维度的采样，特征提取层提取五个独立通道信息，包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。时空卷积层对每一个通道分别进行卷积。时空卷积层包括多个，每一个时空卷积层的输出结果通过一个独立的特征采样层进行池化。卷积时优选的3D卷积核为3*3*3的窗口。第一特征采样层中池化窗口为1*2*2的窗口，其中特征采样层中的池化窗口为2*2*2的窗口。池化窗口的选择是为了实现最优的采样结果，第一特征采样层中的池化窗口的维度为1，避免过早的进行采样，以保留更多的图像输入信息。
特征采样层的输出结果输入分类器中进行分类学习。分类器包括两个全连接层和softmax分类器，从而通过一个3D卷积网络同时确定是否有目标存储物，以及是否有目标存储物存入冷藏设备或从冷藏设备中取出。
同样，在很多种情况下，单次放入冷藏装置中目标存储物的数量是不同的，这可能导致如果直接统计检测模块的输出结果存在偏差，因此，在管理***中还设置有估算模块。估算模块的功能主要用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量。具体来说估算模块包括第一估算模块和第二估算模块，当3D卷积神经网络的输出结果确定在单次取放动作中有目标存储物、目标存储物的种类以及目标存储物是放入冷藏装置中的，则估算模块先根据冷藏装置入口处动态场景视频集中的空间流第一次估算存储物的轮廓面积并作为标准值A1，此时，默认手部动作中的目标存储物是不存在不同种目标存储物的相互遮挡的，标准值A1的准确性较高。第二估算模块连续接收冷藏装置中的静态图像，当静态图像中目标存储物的轮廓面积发生变化时，第二估算模块生成变化值，并将变化值作为存入冷藏装置中目标存储物的测试值A2。估算模块中还设置有校准模块，校准模块将标准值和测试值进行比较，如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定存入冷藏装置中目标存储物的数量。
类似的，当有目标存储物从冷藏装置中取出时，第一估算模块用于先根据冷藏装置入口处的动态场景视频集的空间流估算取出目标存储物的轮廓面积并作为标准值。第二估算模块再根据冷藏装置内的静态场景再次估算冷藏装置中静态图像目标存储物的轮廓面积变化值，并将变化值作为从冷藏装置中取出的目标存储物的测试值。校准模块将标准值和测试值进行比较。如果测试值不等于标准值，则第二估算模块再次生成测试值，直到标准值等于测试值，确定从冷藏装置中取出目标存储物的数量。
估算模块将输出结果输出至统计模块。统计模块在测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。统计模块的输出结果可以直接输出至显示模块。显示模块接收输出结果并根据使用习惯生成显示值，所述显示值可以包括目标物的种类、存放期限以及数量等信息。显示模块生成的显示通过显示屏显示，显示屏可以设置在冷藏装置上，或者使用与冷藏装置进行通信的其它终端上的显示屏，用于可以通过显示装置随时随地地了解和查询冷藏装置中目标存储物的种类、每一类目标存储物的数量。整个过程中无需改变传统的使用习惯，同时实现了自动统计、自动判断和自动显示，有效地简化了存储物统计的过程，降低了检测统计使用成本。
本发明同时提出了一种采用上述实施例所具体公开的冷藏装置存储物管理***的冷藏装置。管理***的具体实施方式请参见上述第一实施例和第二实施例的详细描述，本发明所公开的冷藏装置具有冷藏装置存储物管理***的技术效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种冷藏装置存储物管理***，其特征在于，包括：
基于卷积神经网络的训练模块，用于学习检测目标存储物；
基于卷积神经网络的识别模块，用于识别是否有目标存储物以及目标存储物的种类；
基于卷积神经网络的检测模块，用于捕捉检测是否有目标存储物、以及是否有目标存储物存入冷藏装置或从冷藏装置中取出。
2.根据权利要求1所述的冷藏装置存储物管理***，其特征在于，所述训练模块包括：
数据库，用于存储目标存储物的静态图片；
处理模块，用于区分所述数据库中静态图片上的存储物类别，并根据不同类别分别进行标注形成标注原始图像；
第一卷积神经网络，用于接收所述处理模块输出的标注原始图像，提取所述标注原始图像中的特征、定位、分类以学习检测目标存储物。
3.根据权利要求2所述的冷藏装置存储物管理***，其特征在于，所述第一卷积神经网络包括：
特征提取层，用于提取所述标注原始图像上标注检测区域的像素值，提取特征得到所述检测区域的特征图；
特征采样层，用于利用窗口滑过所述检测区域特征图生成低维向量；
特征映射层，用于映射所述低维向量至全连接层；
全连接层，所述全连接层包括用于定位的回归层和用于分类的分类层，所述全连接层用于输出结果，确定是否检测到目标存储物。
4.根据权利要求2或3所述的冷藏装置存储物管理***，其特征在于，所述识别模块包括：
优化模块，用于根据所述训练模块生成的损失函数曲线、错误率曲线和学习曲线调整所述第一卷积网络的超参数；
验证图像数据库，用于存储验证图像；
验证模块，用于输入验证图像至优化后的所述第一卷积神经网络并得到优化第一卷积神经网络；
测试模块，用于将视频处理为单独帧并作为测试图像输入至所述优化第一卷积神经网络进行识别，确定是否有目标存储物及目标存储物的种类，输出识别结果，同时得到最优化网络模型。
5.根据权利要求5所述的冷藏装置存储物管理***，其特征在于，所述超参数包括学习率、正则项系数和卷积神经网络层数。
6.根据权利要求6所述的冷藏装置存储物管理***，其特征在于：所述检测模块包括：
输入模块，用于输入冷藏装置入口处和冷藏装置内的视频集和静态图像；
所述检测模块将所述视频集和静态图像中的静态成分和运动成分输入至所述最优化网络模型，以检测是否有目标存储物存入冷藏装置或从冷藏装置中取出。
7.根据权利要求7所述的冷藏装置存储物管理***，其特征在于，还包括估算模块，用于确定存入冷藏装置或从冷藏装置中取出的目标存储物的数量；所述估算模块包括：
第一估算模块，用于根据冷藏装置入口视频集和所述最优化网络模型的输出估算存入或取出目标存储物的轮廓面积；
第二估算模块，用于根据静态图像再次估算存入或取出的所述目标存储物轮廓面积，
校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；
当所述最优化网络模型的输出结果确定有目标存储物存入/取出时，第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将测试值与标准值进行比较，确定存储物数量。
8.根据权利要求8所述的冷藏装置存储物管理***，其特征在于，还包括：
统计模块，用于根据所述估算模块的输出值输出冷藏装置中目标存储物的种类和数量；
所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。
9.根据权利要求8所述的冷藏装置存储物管理***，其特征在于，还包括显示模块，所述显示模块接收所述统计模块的输出结果并生成显示值。
10.一种冷藏装置，其特征在于，包括如权利要求1至9任一项所述的冷藏装置存储物管理***。
CN201610442232.1A 2016-06-20 2016-06-20 一种冷藏装置存储物管理***和冷藏装置 Active CN107527060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610442232.1A CN107527060B (zh) 2016-06-20 2016-06-20 一种冷藏装置存储物管理***和冷藏装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610442232.1A CN107527060B (zh) 2016-06-20 2016-06-20 一种冷藏装置存储物管理***和冷藏装置

Publications (2)

Publication Number Publication Date
CN107527060A true CN107527060A (zh) 2017-12-29
CN107527060B CN107527060B (zh) 2022-01-25

Family

ID=60733806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610442232.1A Active CN107527060B (zh) 2016-06-20 2016-06-20 一种冷藏装置存储物管理***和冷藏装置

Country Status (1)

Country Link
CN (1) CN107527060B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657694A (zh) * 2018-10-26 2019-04-19 平安科技（深圳）有限公司 图片自动分类方法、装置及计算机可读存储介质
CN110795959A (zh) * 2018-08-01 2020-02-14 周维 一种切片食材智能化识别方法和装置
CN111658291A (zh) * 2020-06-11 2020-09-15 四川大学华西医院 一种骨科护理用循环式冷敷装置及方法
CN112789652A (zh) * 2018-10-01 2021-05-11 三星电子株式会社 冰箱、服务器和冰箱的对象识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046799A1 (en) * 2003-07-03 2010-02-25 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN105654270A (zh) * 2014-11-18 2016-06-08 博西华家用电器有限公司 冰箱、终端、冰箱内食材的管理***及管理方法
CN105678216A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 基于深度学习的时空数据流视频行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100046799A1 (en) * 2003-07-03 2010-02-25 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN105654270A (zh) * 2014-11-18 2016-06-08 博西华家用电器有限公司 冰箱、终端、冰箱内食材的管理***及管理方法
CN105678216A (zh) * 2015-12-21 2016-06-15 中国石油大学(华东) 基于深度学习的时空数据流视频行为识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795959A (zh) * 2018-08-01 2020-02-14 周维 一种切片食材智能化识别方法和装置
CN112789652A (zh) * 2018-10-01 2021-05-11 三星电子株式会社 冰箱、服务器和冰箱的对象识别方法
CN109657694A (zh) * 2018-10-26 2019-04-19 平安科技（深圳）有限公司 图片自动分类方法、装置及计算机可读存储介质
CN111658291A (zh) * 2020-06-11 2020-09-15 四川大学华西医院 一种骨科护理用循环式冷敷装置及方法

Also Published As

Publication number Publication date
CN107527060B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN107134144B (zh) 一种用于交通监控的车辆检测方法
CN108960119B (zh) 一种用于无人售货柜的多角度视频融合的商品识别算法
CN107527060A (zh) 一种冷藏装置存储物管理***和冷藏装置
CN106845374A (zh) 基于深度学习的行人检测方法及检测装置
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN104320617B (zh) 一种基于深度学习的全天候视频监控方法
CN108564049A (zh) 一种基于深度学习的快速人脸检测识别方法
CN108600865B (zh) 一种基于超像素分割的视频摘要生成方法
CN106844614A (zh) 一种户型图功能区域快速识别***
CN105069472A (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN105791774A (zh) 一种基于视频内容分析的监控视频传输方法
CN107705324A (zh) 一种基于机器学习的视频目标检测方法
CN110532970A (zh) 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN110298297A (zh) 火焰识别方法和装置
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN107527363A (zh) 一种冷藏装置存储物管理***和冷藏装置
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN106874929B (zh) 一种基于深度学习的珍珠分类方法
CN114241511B (zh) 一种弱监督行人检测方法、***、介质、设备及处理终端
CN111402298A (zh) 基于目标检测与轨迹分析的粮库视频数据压缩方法
CN112749663B (zh) 基于物联网和ccnn模型的农业果实成熟度检测***
CN108537157A (zh) 一种基于人工智能分类实现的视频场景判断方法与装置
CN110427815A (zh) 实现门禁有效内容截取的视频处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211215

Address after: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1

Applicant after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

Applicant after: Haier Smart Home Co., Ltd.

Address before: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1

Applicant before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

GR01 Patent grant
GR01 Patent grant