CN113269208A - 基于物联网冰箱的食材识别*** - Google Patents

基于物联网冰箱的食材识别*** Download PDF

Info

Publication number
CN113269208A
CN113269208A CN202110657458.4A CN202110657458A CN113269208A CN 113269208 A CN113269208 A CN 113269208A CN 202110657458 A CN202110657458 A CN 202110657458A CN 113269208 A CN113269208 A CN 113269208A
Authority
CN
China
Prior art keywords
size
unit
characteristic image
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110657458.4A
Other languages
English (en)
Inventor
杜焜
郭晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongmei Intelligent Technology Co Ltd
Original Assignee
Sichuan Hongmei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongmei Intelligent Technology Co Ltd filed Critical Sichuan Hongmei Intelligent Technology Co Ltd
Priority to CN202110657458.4A priority Critical patent/CN113269208A/zh
Publication of CN113269208A publication Critical patent/CN113269208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种基于物联网冰箱的食材识别***，该***包括：控制模块以及与控制模块连接的门灯感应模块、重力感应模块、驱雾摄像头、WIFI模块、显示模块和控制模块；重力感应模块设置在冰箱内每一个置物隔板之下；驱雾摄像头设置在每一个置物隔板两侧的冰箱内壁上。本发明由于在置物隔板的两侧都设置一个驱雾摄像头，可以在一定程度上解决遮挡问题，以及减少冰箱内因雾气而导致的图像不清晰的问题，即减少因遮挡、雾气因素的干扰，提高后续食材识别的准确率，减少误检和漏检，提高用户的实际体验，有利于冰箱内食材管理方法的推广应用。

Description

基于物联网冰箱的食材识别***
技术领域
本说明书一个或多个实施例涉及智能冰箱技术，尤其涉及一种基于物联网冰箱的食材识别***。
背景技术
随着生活水平的不断提高，人们对于家电的智能化要求越来越高，智能化家电应具备一系列的“感知”、“识别”、“决策”能力。近年来，图像识别技术爆发式的增长为“识别”方面提供了一定的解决方案，因此搭载了图像识别技术的冰箱也成为行业发展的热门方向。例如，冰箱可以根据用户的需求与喜好，提供菜谱推荐、食材过期提醒等个性化服务，提高人机交互智能度，实现冰箱的智能化管理。为了实现各种个性化服务，对冰箱内食材的准确识别非常重要。
发明内容
本说明书一个或多个实施例描述了一种基于物联网冰箱的食材识别***，
本说明书提供了一种基于物联网冰箱的食材识别***，包括：控制模块以及与所述控制模块连接的门灯感应模块、重力感应模块、驱雾摄像头、WIFI模块和显示模块；所述重力感应模块设置在冰箱内每一个置物隔板之下；所述驱雾摄像头设置在每一个置物隔板两侧的冰箱内壁上；其中：
所述门灯感应模块用于检测冰箱内门灯的开关状态；
所述控制模块用于在所述门灯感应模块检测所述门灯打开时，控制各个所述重力感应模块检测对应置物隔板的重力，确定重力发生变化的置物隔板，控制所述重力发生变化的置物隔板两侧的两个驱雾摄像头对所述重力发生变化的置物隔板上的食材进行拍摄得到食材图像，并将所述食材图像通过所述WIFI模块发送至云端服务器，以使所述云端服务器根据食材识别模型对所述食材图像进行识别，并将识别结果通过所述WIFI模块返回所述控制模块；
所述控制模块还用于将所述识别结果发送至所述显示模块进行显示。
本说明书实施例提供的基于物联网冰箱的食材识别***，控制模块在接收到门灯感应模块发送来的门灯打开信号时，控制各个所述重力感应模块检测对应置物隔板的重力，根据各个所述重力感应模块检测到的重力判断哪个置物隔板重力有变化，控制重力发生变化的置物隔板两侧的两个驱雾摄像头进行拍摄，并把拍摄的食材图像发送给云端服务器，并把云端服务器的识别结果进行展示。由于在置物隔板的两侧都设置一个驱雾摄像头，可以在一定程度上解决遮挡问题，以及减少冰箱内因雾气而导致的图像不清晰的问题，即减少因遮挡、雾气因素的干扰，提高后续食材识别的准确率，减少误检和漏检，提高用户的实际体验，有利于冰箱内食材管理方法的推广应用。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本说明书一个实施例中基于物联网冰箱的食材识别***的结构示意图；
图1b是本说明书一个实施例中驱雾摄像头和WIFI模块在冰箱内的安装示意图；
图2是本说明书一个实施例中食材位置检测模型的结构示意图；
图3是本说明书一个实施例中一个CSP单元的结构示意图；
图4a是本说明书一个实施例中空间金字塔池化单元的最大池化处理的过程示意图；
图4b是本说明书一个实施例中最大池化处理和平均池化处理的对比示意图。
附图标记：驱雾摄像头-1；WIFI模块-2。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如图1a和1b所示，本申请实施例提供一种基于物联网冰箱的食材识别***，其特征在于，包括：控制模块以及与所述控制模块连接的门灯感应模块、重力感应模块、驱雾摄像头1、WIFI模块2和显示模块；所述重力感应模块设置在冰箱内每一个置物隔板之下；所述驱雾摄像头设置在每一个置物隔板两侧的冰箱内壁上；其中：
所述门灯感应模块用于检测冰箱内门灯的开关状态；
所述控制模块用于在所述门灯感应模块检测所述门灯打开时，控制各个所述重力感应模块检测对应置物隔板的重力，确定重力发生变化的置物隔板，控制所述重力发生变化的置物隔板两侧的两个驱雾摄像头对所述重力发生变化的置物隔板上的食材进行拍摄得到食材图像，并将所述食材图像通过所述WIFI模块发送至云端服务器，以使所述云端服务器根据食材识别模型对所述食材图像进行识别，并将识别结果通过所述WIFI模块返回所述控制模块；
所述控制模块还用于将所述识别结果发送至所述显示模块进行显示。
可理解的是，在冰箱开门后，冰箱内的门灯会打开，所以在本方案中设置了门灯感应模块，用来感应门灯的打开或关闭。当门灯感应模块检测到门灯打开时，即冰箱被打开。在冰箱打开之后，用户可能会向冰箱内放置食材或者取出冰箱内的食材，这样置物隔板的重力会发生变化。为此本方案在每一个置物隔板的下面设置了重力感应模块，当一个重力感应模块感应到重力发生变化，则表明对应隔板的重力发生变化，因此可以通过重力感应模块确定哪一个置物隔板的重力发生变化，即哪一个置物隔板上的食材发生变化。由于在每一个置物隔板的两侧各设置了一个驱雾摄像头，即每一个置物隔板对应设置了两个驱雾摄像头。比如第二层置物隔板的重力发生变化，则启动第二层置物隔板两侧的驱雾摄像头进行拍摄，可以得到多张食材图像。
可理解的是，各个模块的控制均是由控制模块实现的，即控制模块在接收到门灯感应模块发送来的门灯打开信号时，控制各个所述重力感应模块检测对应置物隔板的重力，根据各个所述重力感应模块检测到的重力判断哪个置物隔板重力有变化，控制重力发生变化的置物隔板两侧的两个驱雾摄像头进行拍摄，并把拍摄的食材图像发送给云端服务器，并把云端服务器的识别结果进行展示。
其中，食材图像可以为彩色图像，因为不同的食材有不同的颜色，采用彩色图像可以提高后续食材识别的准确率。
可理解的是，本方案中在置物隔板的两侧都设置一个驱雾摄像头，可以在一定程度上解决遮挡问题，以及减少冰箱内因雾气而导致的图像不清晰的问题，即减少因遮挡、雾气因素的干扰，提高后续食材识别的准确率，减少误检和漏检，提高用户的实际体验，有利于冰箱内食材管理方法的推广应用。
在具体实施时，所述控制模块还可以用于：将所述识别结果发送至与所述冰箱关联的用户终端上。这样用户可以在其用户终端上观看识别结果。
其中，识别结果可以包括食材的种类、数量、位置等信息。
当然，还存在识别失败的情况，此时会在显示模块上展示错误信息，控制模块在接收到云端服务器发送来的识别失败的信息时，也可以生成提示信息，以提醒用户重新放置食材或去掉食材包装。也就是说，所述控制模块还可以用于：在所述识别结果为识别失败时生成重新放置食材或去掉食材包装的提示信息，将所述提示信息发送所述显示模块进行显示，并发送至与所述冰箱关联的用户终端上。
其中，食材识别模型的识别过程包括对食材图像中的食材进行定位，然后根据定位进行分类。针对食材定位，食材识别模型中采用专门的食材位置检测模型完成，由于食材位置检测模型是基于YOLOv4算法搭建的，模型中的各项参数通过对大量带有食材标签的数据训练后得到。YOLOv4算法是一种实时性较强的目标检测算法，主要由骨干网络模块Backbone、颈网络模块Neck和头网络模块Head三部分组成，用于特征的提取、融合以及分类和回归的操作。
下面对食材位置检测模型的具体结构进行说明：
所述食材位置检测模型包括依次连接的骨干网络模块、颈网络模块和头网络模块，其中：所述骨干网络模块用于对所述食材图像进行特征提取得到三个不同尺寸的特征图像；所述颈网络模块用于对三个不同尺寸的特征图像进行多尺度特征融合，得到三个不同尺寸的融合特征图像；所述头网络模块用于根据三个不同尺寸的融合特征图像生成对应的三个不同尺寸的检测框，并根据三个不同尺寸的检测框生成一个食材检测框。
(1)骨干网络模块
骨干网络模块的作用是对食材图像进行特征提取，得到三个不同尺寸的特征图像。例如针对608*608大小的食材图像进行特征提取，得到76*76、38*38、19*19的三张不同尺寸的特征图像，所谓的特征图像即特征矩阵。
在具体实施时，骨干网络模块具体可以采用CSPDarknet-53实现，具体结构可以包括：多个预设卷积单元和多个跨阶段局部单元，所述多个预设卷积单元和所述多个跨阶段局部单元交替连接，所述预设卷积单元用于对所述食材图像进行特征提取，所述跨阶段局部单元用于按照预设比例对特征图像进行缩小，所述预设卷积单元的最后一层采用mish激活函数。
其中，预设卷积单元采用的激活函数为mish激活函数。mish激活函数相对于其它的激活函数，可以在保证实时性的同时保证函数的收敛性。其它的激活函数，例如LeakyReLU激活函数，存在较多梯度为零的情况，而在梯度为零时会导致神经元坏死，算法失效。而mish激活函数存在梯度为零的情况较少，相对于其它的激活函数可以保证算法的正常应用。预设卷积单元具体可以采用CBM单元，CBM的全称为Cnn Batch Normalization mish，即该预设卷积单元先对食材图像进行卷积处理，然后进行批归一化，最后经过mish激活函数。
其中，跨阶段局部单元即CSP(全称为Cross Stage Partial)单元，该单元能够实现对特征图像的缩放。
从图2中可以看出，在骨干网络中设置了6个CBM单元和5个CSP单元，CBM单元和CSP单元交错设置，即一个CBM单元之后设置一个CSP单元，在CSP单元之后再设置一个CBM单元。一张尺寸为608*608的食材图像在经过4个CBM单元和3个CSP单元后，得到一张尺寸为76*76的第一特征图像；将第一特征图像经过一个CSP单元后得到一张尺寸为38*38的第二特征图像；将第二特征图像经过2个CBM单元和1个CSP单元后得到一张尺寸为19*19的第三特征图像。可见，每一个CSP单元对特征图像缩小为原来尺寸的二分之一。
在具体实施时，所述跨阶段局部单元可以采用多个所述预设卷积单元和残差网络单元融合而成。具体结构形式有多种，下面参照图3介绍其中一种：
所述跨阶段局部单元可以包括：
第一预设卷积单元，用于对输入的特征图像进行卷积处理，并将卷积处理后的特征图像分为第一子特征图像和第二子特征图像，即将卷积处理后的特征图像分为两部分：part1和part2；
第二预设卷积单元，与所述第一预设卷积单元连接，用于对所述第一子特征图像进行卷积处理，即对part1进行卷积处理；
第三预设卷积单元，与所述第一预设卷积单元连接，用于对所述第二子特征图像进行卷积处理，即对part2进行卷积处理；
残差网络单元，与所述第三预设卷积单元连接，用于对所述第三预设卷积单元卷积处理后得到的特征图像进行残差处理；所述残差网络单元中可以包括多个依次连接的残差网络子单元；残差网络子单元即图中的RES unit；
第四预设卷积单元，与所述残差网络单元连接，用于所述残差网络单元残差处理的特征图像进行卷积处理；
拼接单元，用于将所述第二预设卷积单元卷积处理后的特征图像和所述第四预设卷积单元卷积处理后的特征图像进行张量拼接，得到拼接后的特征图像。
可见，在上述跨阶段局部单元中包括4个CBM单元、1个残差网络单元和1个拼接单元，残差网络单元中包括n个残差网络子单元。相比于YOLOv3的独立残差块，YOLOv4算法中将特征送入残差网络单元的同时也传播到了另一预设卷积单元，二者的输出通过Concat乘法进行融合拼接，这样做的目的是在减少计算量的同时实现更丰富的梯度组合，提高了计算验证的速度和准确性。
(2)颈网络模块
所述颈网络模块中可以包括空间金字塔池化单元，用于对所述骨干网络模块中生成的第一尺寸的特征图像进行最大池化处理，所述第一尺寸为所述三个不同尺寸中的最小尺寸。
其中，空间金字塔池化单元即SPP单元，SPP单元的主要参数为池化窗口尺寸和步长，如图4a所示，采用了1*1、5*5、9*9和13*13四个不同尺寸的池化窗口，对输入的特征图像进行最大池化处理。参见图4b，采用3*3的池化窗口对左侧的一张特征图像分别进行最大池化和平均池化后可以得到右侧的两个特征图像。
本方案中采用空间金字塔池化单元即SPP单元，可以使得骨干网络输出的深层特征向浅层传递，改善了原有YOLOv3算法中浅层特征向深层传递时导致的浅层特征丢失问题。而且，YOLOv4算法采用SPP单元替换了原来的池化层，可以解决图像的纵横比和输入图像的尺寸改变的情况，使得以同一图像不同尺寸作为输入，都可以得到同样长度的池化特征，产生固定大小的输出。由于SPP单元对输入图像的不同纵横比和不同尺寸都可以处理，且降低了过拟合。
在具体实施时，参见图2，在SPP单元之前和之后可以设置一个CBL单元，所谓的CnnBatch Leaky ReLU，即与CBM相比，两者仅激活函数不同。在图2中可以看出，在颈网络模块中均采用CBL单元进行卷积处理。
为了对骨干网络输出的三个不同尺寸的特征图像进行区分，可以将三张特征图像分别称为第一特征图像、第二特征图像和第三特征图像，第一特征图像为第一尺寸，第二特征图像为第二尺寸，第三特征图像为第三尺寸，第一尺寸最小，第三尺寸最大。为了对这三张特征图像进行融合处理，在颈网络模块中设置了三个融合单元，即所述颈网络模块中还可以包括第一融合单元、第二融合单元和第三融合单。
其中，所述第一融合单元用于：对最大池化处理后的第一特征图像进行上采样得到第二尺寸的第一特征图像，并将第二尺寸的第一特征图像和第二尺寸的第二特征图像进行张量拼接，并对拼接后的特征图像进行卷积处理，得到第二尺寸的第一拼接特征图像；对第二尺寸的第一拼接特征图像进行上采样得到第三尺寸的第一拼接特征图像，将第三尺寸的第一拼接特征图像和第三尺寸的第三特征图像进行张量拼接，得到第三尺寸的第二拼接特征图像，并对所述第三尺寸的第二拼接特征图像进行卷积处理，得到第三尺寸的融合特征图像。
可理解的是，在采用concat函数进行张量拼接时，两个特征图像的尺寸应该是相同的，因此两个不同尺寸的特征图像在拼接之前需要进行上采样或者下采样。在第一融合单元中进行了两次张量拼接，在第一次张量拼接时数据来源于骨干网络模块输出的第三特征图像和第二特征图像，在第二次张量拼接时数据来源于骨干网络模块输出的第一特征图像和上一次张量拼接的结果。可见，第三尺寸的融合特征图像融合了骨干网络输出的第一特征图像、第二特征图像和第三特征图像这三个不同尺寸的特征图像。
在具体实施时，在第一次张量拼接之前，最大池化处理后的第一特征图像可以先通过CBL单元进行卷积处理后再输入拼接单元，第二尺寸的第二特征图像先经过CBL单元进行卷积处理后再输入拼接单元。在第二次张量拼接时，对第二尺寸的第一拼接特征图像进行上采样之前可以先将第二尺寸的第一拼接特征图像经过CBL单元进行卷积处理，第三尺寸的第三特征图像先经过CBL单元进行卷积处理后再输入拼接单元。
其中，所述第二融合单元用于：对第三尺寸的第二拼接特征图像进行下采样，得到第二尺寸的第二拼接特征图像，并将第二尺寸的第二拼接特征图像和第二尺寸的第一拼接特征图像进行张量拼接，得到第二尺寸的第三拼接特征图像，并对所述第二尺寸的第三拼接特征图像进行卷积处理，得到第二尺寸的融合特征图像。
可理解的是，在第二融合单元中进行了一次张量拼接，这一次张量拼接的数据来源于第一融合单元中第一次张量拼接的结果和第二次张量拼接的结果。可见，第二尺寸的融合特征图像也融合了骨干网络输出的第一特征图像、第二特征图像和第三特征图像这三个不同尺寸的特征图像。
在具体实施时，可以在第三尺寸的第二拼接特征图像进行下采样之前，对所述第三尺寸的第二拼接特征图像进行零填充，因为在数据过程中有可能会丢失数据导致第二拼接特征图像并不是第三尺寸，通过对缺失部分用零进行填充，以保证尺寸的一致性。
其中，所述第三融合单元用于：对第二尺寸的第三拼接特征图像进行下采样，得到第一尺寸的第三拼接特征图像，并将最大池化处理后的第一特征图像和第一尺寸的第三拼接特征图像进行张量拼接，得到第一尺寸的第四拼接特征图像，并对所述第四拼接特征图像进行卷积处理，得到第一尺寸的融合特征图像。
可理解的是，在第三融合单元中进行了一次张量拼接，这一次张量拼接的数据来源于第二融合单元中的张量拼接结果以及骨干网络模块输出的第一特征图像，即第一尺寸的融合特征图像也融合了骨干网络输出的第一特征图像、第二特征图像和第三特征图像这三个不同尺寸的特征图像。
在具体实施时，可以在对第二尺寸的第三拼接特征图像进行下采样之前，对第二尺寸的第三拼接特征图像进行零填充。因为在数据过程中有可能会丢失数据导致第三拼接特征图像并不是第二尺寸，通过对缺失部分用零进行填充，以保证尺寸的一致性。
综上，在骨干网络模块中通过CSP单元实现特征图像尺寸的缩小，即下采样，而在颈网络模块中通过上采样又实现尺寸的扩大。而传统的特征金字塔只是从下向上的下采样，而本方案先进行自下而上的下采样，后再进行自上而下的上采样，这样反复的特征提取实现了多尺度特征融合，兼具了大尺寸特征图像的感受性高和小尺寸特征图像的高分辨率的优点。
(3)头网络模块
在头网络模块中，首先对三个不同尺寸的融合特征图像分别进行卷积处理，然后对每一个卷积处理后的融合特征图像采用conv函数进行边框回归，从而在食材图像中生成三个不同尺寸的检测框：Y1、Y2、Y3，最后依据这三个不同尺寸的检测框可以生成一个最终的食材检测框。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于物联网冰箱的食材识别***，其特征在于，包括：控制模块以及与所述控制模块连接的门灯感应模块、重力感应模块、驱雾摄像头、WIFI模块和显示模块；所述重力感应模块设置在冰箱内每一个置物隔板之下；所述驱雾摄像头设置在每一个置物隔板两侧的冰箱内壁上；其中：
所述门灯感应模块用于检测冰箱内门灯的开关状态；
所述控制模块用于在所述门灯感应模块检测所述门灯打开时，控制各个所述重力感应模块检测对应置物隔板的重力，确定重力发生变化的置物隔板，控制所述重力发生变化的置物隔板两侧的两个驱雾摄像头对所述重力发生变化的置物隔板上的食材进行拍摄得到食材图像，并将所述食材图像通过所述WIFI模块发送至云端服务器，以使所述云端服务器根据食材识别模型对所述食材图像进行识别，并将识别结果通过所述WIFI模块返回所述控制模块；
所述控制模块还用于将所述识别结果发送至所述显示模块进行显示。
2.根据权利要求1所述的***，其特征在于，所述控制模块还用于：将所述识别结果发送至与所述冰箱关联的用户终端上。
3.根据权利要求2所述的***，其特征在于，所述控制模块还用于：在所述识别结果为识别失败时生成重新放置食材或去掉食材包装的提示信息，将所述提示信息发送所述显示模块进行显示，并发送至与所述冰箱关联的用户终端上。
4.根据权利要求1所述的***，其特征在于，所述食材识别模型中包括基于YOLOv4算法的食材位置检测模型，所述食材位置检测模型包括依次连接的骨干网络模块、颈网络模块和头网络模块，其中：
所述骨干网络模块用于对所述食材图像进行特征提取得到三个不同尺寸的特征图像；所述颈网络模块用于对三个不同尺寸的特征图像进行多尺度特征融合，得到三个不同尺寸的融合特征图像；所述头网络模块用于根据三个不同尺寸的融合特征图像生成对应的三个不同尺寸的检测框，并根据三个不同尺寸的检测框生成一个食材检测框。
5.根据权利要求4所述的***，其特征在于，所述骨干网络模块包括多个预设卷积单元和多个跨阶段局部单元，所述多个预设卷积单元和所述多个跨阶段局部单元交替连接，所述预设卷积单元用于对所述食材图像进行特征提取，所述跨阶段局部单元用于按照预设比例对特征图像进行缩小，所述预设卷积单元的最后一层采用mish激活函数。
6.根据权利要求5所述的***，其特征在于，所述跨阶段局部单元为采用多个所述预设卷积单元和残差网络单元融合而成的网络单元。
7.根据权利要求6所述的***，其特征在于，所述跨阶段局部单元包括：
第一预设卷积单元，用于对输入的特征图像进行卷积处理，并将卷积处理后的特征图像分为第一子特征图像和第二子特征图像；
第二预设卷积单元，与所述第一预设卷积单元连接，用于对所述第一子特征图像进行卷积处理；
第三预设卷积单元，与所述第一预设卷积单元连接，用于对所述第二子特征图像进行卷积处理；
残差网络单元，与所述第三预设卷积单元连接，用于对所述第三预设卷积单元卷积处理后得到的特征图像进行残差处理；所述残差网络单元中可以包括多个依次连接的残差网络子单元；
第四预设卷积单元，与所述残差网络单元连接，用于所述残差网络单元残差处理的特征图像进行卷积处理；
拼接单元，用于将所述第二预设卷积单元卷积处理后的特征图像和所述第四预设卷积单元卷积处理后的特征图像进行张量拼接，得到拼接后的特征图像。
8.根据权利要求5所述的***，其特征在于，所述颈网络模块中包括空间金字塔池化单元，用于对所述骨干网络模块中生成的第一尺寸的特征图像进行最大池化处理，所述第一尺寸为所述三个不同尺寸中的最小尺寸。
9.根据权利要求8所述的***，其特征在于，所述骨干网络模块生成的三个不同尺寸的特征图像包括第一尺寸的第一特征图像、第二尺寸的第二特征图像和第三尺寸的第三特征图，所述第三尺寸为所述三个不同尺寸中的最大尺寸；所述颈网络模块中还包括第一融合单元、第二融合单元和第三融合单元；其中：
所述第一融合单元用于：对最大池化处理后的第一特征图像进行上采样得到第二尺寸的第一特征图像，并将第二尺寸的第一特征图像和第二尺寸的第二特征图像进行张量拼接，并对拼接后的特征图像进行卷积处理，得到第二尺寸的第一拼接特征图像；对第二尺寸的第一拼接特征图像进行上采样得到第三尺寸的第一拼接特征图像，将第三尺寸的第一拼接特征图像和第三尺寸的第三特征图像进行张量拼接，得到第三尺寸的第二拼接特征图像，并对所述第三尺寸的第二拼接特征图像进行卷积处理，得到第三尺寸的融合特征图像；
所述第二融合单元用于：对第三尺寸的第二拼接特征图像进行下采样，得到第二尺寸的第二拼接特征图像，并将第二尺寸的第二拼接特征图像和第二尺寸的第一拼接特征图像进行张量拼接，得到第二尺寸的第三拼接特征图像，并对所述第二尺寸的第三拼接特征图像进行卷积处理，得到第二尺寸的融合特征图像；
所述第三融合单元用于：对第二尺寸的第三拼接特征图像进行下采样，得到第一尺寸的第三拼接特征图像，并将最大池化处理后的第一特征图像和第一尺寸的第三拼接特征图像进行张量拼接，得到第一尺寸的第四拼接特征图像，并对所述第四拼接特征图像进行卷积处理，得到第一尺寸的融合特征图像。
10.根据权利要求9所述的***，其特征在于，所述第二融合单元还用于：在对第三尺寸的第二拼接特征图像进行下采样之前，对所述第三尺寸的第二拼接特征图像进行零填充；所述第三融合单元用于：在对第二尺寸的第三拼接特征图像进行下采样之前，对第二尺寸的第三拼接特征图像进行零填充。
CN202110657458.4A 2021-06-12 2021-06-12 基于物联网冰箱的食材识别*** Pending CN113269208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110657458.4A CN113269208A (zh) 2021-06-12 2021-06-12 基于物联网冰箱的食材识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110657458.4A CN113269208A (zh) 2021-06-12 2021-06-12 基于物联网冰箱的食材识别***

Publications (1)

Publication Number Publication Date
CN113269208A true CN113269208A (zh) 2021-08-17

Family

ID=77234928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110657458.4A Pending CN113269208A (zh) 2021-06-12 2021-06-12 基于物联网冰箱的食材识别***

Country Status (1)

Country Link
CN (1) CN113269208A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230058922A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Appliance with collocated cameras
US20230057240A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Four camera system for a refrigerator appliance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105841434A (zh) * 2016-05-25 2016-08-10 海信（山东）冰箱有限公司 一种冰箱及其控制方法
CN106642981A (zh) * 2017-01-25 2017-05-10 北京通远科技有限公司 基于图像识别的冰箱容纳物管理***
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别***和方法、食材模型训练方法、冰箱和服务器
CN112668490A (zh) * 2020-12-30 2021-04-16 浙江托普云农科技股份有限公司 基于YOLOv4的害虫检测方法、***、装置及可读存储介质
CN112819068A (zh) * 2021-01-29 2021-05-18 南京长江油运有限公司 一种基于深度学习的船舶作业违章行为实时侦测方法
CN112861767A (zh) * 2021-02-26 2021-05-28 北京农业信息技术研究中心 一种粘虫板图像上小体积害虫检测方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105841434A (zh) * 2016-05-25 2016-08-10 海信（山东）冰箱有限公司 一种冰箱及其控制方法
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别***和方法、食材模型训练方法、冰箱和服务器
CN106642981A (zh) * 2017-01-25 2017-05-10 北京通远科技有限公司 基于图像识别的冰箱容纳物管理***
CN112668490A (zh) * 2020-12-30 2021-04-16 浙江托普云农科技股份有限公司 基于YOLOv4的害虫检测方法、***、装置及可读存储介质
CN112819068A (zh) * 2021-01-29 2021-05-18 南京长江油运有限公司 一种基于深度学习的船舶作业违章行为实时侦测方法
CN112861767A (zh) * 2021-02-26 2021-05-28 北京农业信息技术研究中心 一种粘虫板图像上小体积害虫检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230058922A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Appliance with collocated cameras
US20230057240A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Four camera system for a refrigerator appliance

Similar Documents

Publication Publication Date Title
CN106897661B (zh) 一种食材图像的智能化识别方法、***和家用电器
CN108156519B (zh) 图像分类方法、电视设备及计算机可读存储介质
CN113269208A (zh) 基于物联网冰箱的食材识别***
AU2021201933B2 (en) Hierarchical multiclass exposure defects classification in images
CN110363159A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN111401215B (zh) 一种多类别目标检测的方法及***
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN104182721A (zh) 提升人脸识别率的图像处理***及图像处理方法
CN113596344B (zh) 拍摄处理方法、装置、电子设备和可读存储介质
CN113743530B (zh) 一种基于动态视觉的自动售货识别方法
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN113065568A (zh) 目标检测、属性识别与跟踪方法及***
CN115063656A (zh) 图像检测方法、装置、计算机可读存储介质及电子设备
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN116229188B (zh) 图像处理显示方法、分类模型的生成方法及其设备
KR20190056873A (ko) 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법
CN110992283A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN109949479A (zh) 基于图像差异的数据处理方法、装置和智能售货机
CN113643235B (zh) 一种基于深度学习的芯片计数方法
EP4187454A1 (en) Failure identification and handling method, and system
CN109600627A (zh) 一种视频识别方法和装置
CN111488476B (zh) 图像推送方法、模型训练方法及对应装置
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备
CN118135271A (zh) 目标检测方法、设备及存储介质
WO2022143562A1 (zh) 货箱状态的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication