CN111476194B - 一种感知模组工作状态检测方法及冰箱 - Google Patents

一种感知模组工作状态检测方法及冰箱 Download PDF

Info

Publication number
CN111476194B
CN111476194B CN202010310029.5A CN202010310029A CN111476194B CN 111476194 B CN111476194 B CN 111476194B CN 202010310029 A CN202010310029 A CN 202010310029A CN 111476194 B CN111476194 B CN 111476194B
Authority
CN
China
Prior art keywords
image
parallax
texture
abnormal
refrigerator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310029.5A
Other languages
English (en)
Other versions
CN111476194A (zh
Inventor
赵启东
殷红杰
方春伦
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN202010310029.5A priority Critical patent/CN111476194B/zh
Publication of CN111476194A publication Critical patent/CN111476194A/zh
Application granted granted Critical
Publication of CN111476194B publication Critical patent/CN111476194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

本发明公开一种感知模组工作状态检测方法及冰箱，冰箱包括机壳，机壳内设有储藏室，储藏室前侧设有存取开口；至少一个冰箱门，与壳体连接，用于打开或关闭存取开口；设置在机壳顶部的感知模组，感知模组包括彩色相机，用于拍摄存取开口对应的检测区域的彩色图像；控制器被配置为：获取所述彩色图像对应的梯度图像；计算所述梯度图像的全局纹理分布特征；在确定所述全局纹理分布特征不满足预设条件后，根据所述彩色图像的局部图像与异常数据库，对所述彩色相机的工作状态进行异常检测。本申请能够检测感知模组的工作状态，方便用户进行调整维护，以快速排除异常，保证感知模组能够正常稳定的工作，降低误识别和漏识别，提高感知模组的识别精度。

Description

一种感知模组工作状态检测方法及冰箱
技术领域
本发明涉及智能家电技术领域，尤其涉及一种感知模组工作状态检测方法及冰箱。
背景技术
冰箱是生活中常用的电器设备，通过对食材进行制冷，比如冷藏或冷冻，实现食材的保鲜储存，用户可以将食材存放入冰箱，也可以从冰箱中取出所需的食材，通过对食材种类、食材存取位置等用户操作信息进行识别和录入，可以实现冰箱的智能化管理。
目前识别用户操作信息主要采用动态识别技术，在冰箱上设置感知模组，感知模组中包括相机，相机拍摄视野覆盖冰箱存取开口一定范围内的空间区域，感知模组采集用户动态存取食材过程中的彩色图像和/或深度图像，并对采集到的图像进行处理和识别。
在实际应用场景中，光照直接影响食材在图像中的成像质量，对于同一种食材，在不同光照下表现为不同的颜色特征，导致食材被识别成其他类别或无法识别；冰箱所处的环境光照过暗，可能无法从图像中有效提取食材特征，光照过强会使相机处于逆光状态而无法采集正常图像。此外，若相机的镜头表面受到污染，则直接在成像上体现为图像存在黑斑，易造成食材种类的误识别；相机的镜头被遮挡时，甚至无法获取存取过程中图像，从而不能正常识别。因此，如何检测感知模组的工作状态，以确定成像是否出现异常是本领域亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提供一种感知模组工作状态检测方法及冰箱。
第一方面，本发明提供一种冰箱，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；
设置在所述机壳顶部的感知模组，所述感知模组包括彩色相机，用于拍摄所述存取开口对应的检测区域的彩色图像；
控制器，与所述彩色相机电连接，所述控制器被配置为：
获取所述彩色图像对应的梯度图像；
计算所述梯度图像的全局纹理分布特征；
在确定所述全局纹理分布特征不满足预设条件后，根据所述彩色图像的局部图像与异常数据库，对所述彩色相机的工作状态进行异常检测。
在一些实施例中，所述控制器被配置为按照如下方式计算所述梯度图像的全局纹理分布特征：
在所述梯度图像中生成第一滑动窗口；
利用所述第一滑动窗口遍历所述梯度图像，计算所述第一滑动窗口在不同遍历位置处其框定区域内各像素点的梯度和；
标记所述梯度和小于第一阈值的框定区域为无纹理区域；
标记所述梯度和大于或等于第一阈值并且小于第二阈值的框定区域为弱纹理区域；
标记所述梯度和大于或等于第二阈值的框定区域为强纹理区域。
在一些实施例中，所述控制器还被配置为：
分别统计所述无纹理区域、所述弱纹理区域和所述强纹理区域的数量；
根据所述无纹理区域的数量，以及所述彩色图像的宽度和高度，计算第一纹理占比；
根据所述弱纹理区域的数量，以及所述彩色图像的宽度和高度，计算第二纹理占比；
根据所述强纹理区域的数量，以及所述彩色图像的宽度和高度，计算第三纹理占比；
如果第一纹理占比、第二纹理占比和第三纹理占比中至少有一个值未在对应的预设范围内，则确定所述全局纹理分布特征不满足预设条件。
在一些实施例中，所述控制器还被配置为按照如下方式对所述彩色相机的工作状态进行异常检测：
从所述彩色图像中提取包括食材特征的局部图像；
根据所述局部图像识别食材种类；
在所述异常数据库中获取与所述食材种类对应的异常图像；
计算所述局部图像与所述异常图像的相似度；
如果所述相似度大于第三阈值，则检测到所述彩色相机的工作状态存在异常。
在一些实施例中，所述控制器还被配置为：
当存在多个异常图像与所述局部图像的相似度大于第三阈值时，筛选与所述局部图像相似度最大的目标异常图像；
获取所述目标异常图像对应的异常类型；
生成与所述异常类型相匹配的第一提示信息。
在一些实施例中，所述感知模组还包括深度相机，用于拍摄所述存取开口对应的检测区域的深度图像，所述深度相机与控制器电连接，则所述控制器还被配置为：
从所述深度相机获取与所述彩色图像同一时刻对应输出的视差图像；
计算所述视差图像的视差波动分布特征；
根据所述全局纹理分布特征和所述视差波动分布特征，对所述深度相机的工作状态进行异常检测；
其中，所述深度图像由所述视差图像计算生成。
在一些实施例中，所述控制器被配置为按照如下方式计算所述视差图像的视差波动分布特征：
在所述视差图像中生成第二滑动窗口；
利用所述第二滑动窗口遍历所述视差图像，计算所述第二滑动窗口在不同遍历位置处其框定区域内各视差点对应的实际距离方差；
标记所述实际距离方差小于第四阈值的框定区域为视差平滑区域；
标记所述实际距离方差大于或等于第四阈值并且小于第五阈值的框定区域为视差渐变区域；
标记所述实际距离方差大于或等于第五阈值的框定区域为视差突变区域。
在一些实施例中，所述控制器被配置为按照如下方式对所述深度相机的工作状态进行异常检测：
将所述全局纹理分布特征和所述视差波动分布特征进行区域对比；
如果所述视差突变区域对应于无纹理区域或弱纹理区域，则标记所述视差突变区域为无效视差区域；
统计所述视差图像中无效视差区域的数量；
根据所述无效视差区域的数量，以及所述视差图像的宽度和高度，计算无效区域占比；
如果所述无效区域占比大于第六阈值，则检测到由所述视差图像生成的当前帧深度图像存在异常。
在一些实施例中，所述控制器被进一步配置为按照如下方式对所述深度相机的工作状态进行异常检测：
如果检测到当前帧及其后连续多帧的深度图像都存在异常，则确定所述深度相机的工作状态存在异常，生成第二提示信息。
第二方面，本发明提供一种感知模组工作状态检测方法，包括：
获取彩色图像对应的梯度图像；所述彩色图像由感知模组中的彩色相机对冰箱的存取开口对应的检测区域拍摄得到；
计算所述梯度图像的全局纹理分布特征；
在确定所述全局纹理分布特征不满足预设条件后，根据所述彩色图像的局部图像与异常数据库，对所述彩色相机的工作状态进行异常检测。
本申请是对安装在冰箱机壳顶部的感知模组的工作状态进行检测，检测感知模组工作是否存在异常，对于感知模组中包括的彩色相机，用于拍摄存取开口对应的检测区域的彩色图像，通过彩色图像可以识别食材种类，因此彩色相机的成像质量直接影响食材种类识别的准确性。对此，本申请首先基于全局梯度分析，获取彩色图像的全局纹理分布特征，如果全局纹理分布特征满足预设条件，说明当前帧彩色图像无异常，则继续检测下一帧；反之若不满足预设条件，需要进行局部分析，将包含有食材的局部图像与异常数据库进行比对分析，从而判断彩色相机的动作状态是否存在异常。本申请能够检测感知模组的工作状态，方便用户进行调整维护，比如检测到存在异常时，可以提示用户，用户可以调整光照，或是检查彩色相机的镜头是否被污染或遮挡等，从而快速排除异常，保证感知模组能够正常稳定的工作，降低误识别和漏识别，提高感知模组的识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了冰箱门关闭时冰箱的正面结构示意图；
图2示例性示出了冰箱门打开时冰箱的正面结构示意图；
图3示例性示出了冰箱侧面结构示意图；
图4示例性示出了感知模块的仰视图；
图5示例性示出了相机组件的FOV范围示意图；
图6示例性示出了冰箱硬件结构连接框图；
图7示例性示出了一种感知模组工作状态检测方法；
图8示例性示出了一种异常数据库的结构示意图；
图9示例性示出了另一种感知模组工作状态检测方法。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～图3所示，冰箱可以放置在厨房等室内空间中，冰箱整体上至少包括机壳10、冰箱门20、感知模组30和控制器40。
其中，机壳10内包括储藏室101，储藏室101可以具体规划为冷藏室、冷冻室和变温室，冷藏室、冷冻室和变温室可以呈上下分布或左右分布，冷藏室、冷冻室和变温室的容量配比不作限定。对于每种类型的储藏室101，其室内空间比如可以沿竖直方向设置多个隔板，从而将储藏空间划分多个层位，便于用户对食材进行分类放置和管理。需要说明的是，冰箱储藏室的结构和空间利用方式不限于本实施例所述。储藏室101的前侧，即储藏室101与冰箱门20的连接侧设置有存取开口102，通过存取开口可以方便用户从储藏室内存放或取出食材。
冰箱门20与机壳10连接，比如可采用枢转连接等方式，以使冰箱门20能够沿与机壳10的连接端转动，实现冰箱门20的开合，从而打开或关闭存取开口102，便于用户存取食材，并且保证冰箱的储藏室101的密封性。冰箱门20的数量至少为一个，冰箱门20的数量和安装位置应适应于储藏室的规划。
感知模组30包括感知模块301和驱动机构302，感知模块301和驱动机构302之间机械连接，如图4所示，感知模块301中集成有相机组件301A、扬声器301B和语音设备301C等设备，相机组件301A、扬声器301B、语音设备301C和驱动机构302分别与控制器40电连接，实现控制器40对各电器设备的电控制。其中，语音设备301C可以是麦克风，麦克风可采用线性4麦，即在感知模块301的底部上均匀分布4个麦克风孔，扬声器301B可以设置在感知模块301的侧面，以增加麦克风与扬声器301B之间的距离。
相机组件301A可以包括彩色相机301A-1和深度相机301A-2，彩色相机301A-1和深度相机301A-2的视窗都设置在感知模块301的底部，使得两个相机的视野范围朝下，即拍摄出的图像是视野内场景的俯视图，感知模组30设置在冰箱的顶部，当冰箱门20处于关闭状态时，感知模块301位于初始位置，所述初始位置可以是冰箱顶部的中央，这时彩色相机301A-1和深度相机301A-2的拍摄视野会被遮挡，从而可以保证用户的隐私安全并且利于冰箱整体的美观性。驱动机构302可以由电机驱动运转，驱动机构302可以采用履带式驱动机构，即通过履带的传动来输送感知模块301，从而调节感知模块301的位置。驱动机构302不限于本实施例所述，比如还可活塞推拉式或者弹出式等形式，控制感知模块301弹出至指定的工作位置以及从工作位置复位至初始位置。
具体地，控制器40响应于接收到的开门指令，控制驱动机构302将感知模块301输送到存取开口102上方的位置，即感知模块301是在冰箱门20打开时才会达到存取开口102上方，以使相机组件301A能够拍摄存取开口102对应的检测区域的彩色图像以及彩色图像对应的深度图像，便于后续识别食材种类、操作类型和食材存取位置等信息；以及，控制器40响应于接收到的关门指令，控制驱动机构302将感知模块301复位到所述初始位置，即在冰箱门20关闭时，感知模块301要归于初始位置处，起到隐藏感知模组30的目的，这样既可以保证冰箱外观的美观性，还可以保证用户的隐私安全。
其中，开门指令和关门指令可以是根据用户的开关门动作生成电平信号，比如可以在冰箱门20上设置感应器，用以感应用户的开关门动作，开门指令为根据开门动作生成的高电平信号，关门指令为根据关门动作生成的低电平信号；或者，开门指令和关门指令也可以由用户通过语音进行控制生成，冰箱中还可包括语音识别***，语音设备301C将音频信号发送给语音识别***，并由语音识别***对音频信号进行识别，则开门指令为在识别出用户通过语音设备301C输入的开门指示信息后生成的开门信号，关门指令为在识别出用户通过语音设备301C输入的关门指示信息后生成的关门信号，比如用户对准麦克风说出“打开冷藏室”，则语音识别***识别后生成开门指令，并将指令发给控制器40，控制器40根据开门指令控制驱动机构302将感知模块301移动至存取开口102上方的工作位置，同时控制冷藏室的冰箱门20打开。通过语音控制冰箱门20启闭时，可以在冰箱门20上设置门控装置，控制器40给门控装置发送控制指令，则门控装置根据控制指令即可控制某个储藏室对应的冰箱门20打开或关闭。
当冰箱门20被打开时，控制器40控制驱动机构302工作，驱动机构302会带动感知模块301移动至冰箱前侧且位于存取开口102上方的工作位置，这时相机组件301A的视野没有遮挡，可以拍摄检测区域的彩色图像和深度图像，这里所述的检测区域是对应于存取开口102一定范围内的空间区域，也即相机组件301A的拍摄视野范围对应的区域，如图5所示，示出了冰箱正面和侧面视向下，相机组件301A的FOV(Field Of View，视场角)范围，冰箱正面视向下，FOV为角度α，视野可以涵盖存取开口102和冰箱门20内侧的大部分区域；冰箱侧面视向下，FOV为角度β，视野可以涵盖储藏室101的部分区域以及冰箱前侧一定高度范围内的空间区域。可选地，可以在感知模组30中设置反射光路，以提高α和β的角度值，增大相机组件301A的视野范围，降低相机组件301A的拍摄盲区，有利于提高检测的准确性。
相机组件301A包括彩色相机301A-1和深度相机301A-2时，即相机组件301A相当于RGBD相机，相机组件301A同一时刻可以输出一帧彩色图像以及一帧与彩色图像对应的深度图像，相当于在彩色图像中融合深度信息后得到的图像，深度图像中可以具有一定的深度渲染效果，深度图像中每个像素点都具有深度值，可用于衡量图中每个像素点位置与相机组件301A之间的高度差。对于双目结构光深度相机，双目相机拍摄同一场景的左、右两幅视点图像，运用立体匹配算法获取视差图像，然后再在视差图像的基础上计算生成深度图像。
其中，彩色相机301A-1可以拍摄出彩色图像，彩色相机301A-1可以采用RGB相机等，通过对彩色图像进行处理和计算，可以准确地识别手部存取的食材种类，在手部进出存取开口102时，彩色相机301A-1拍摄检测区域的彩色图像，在进行食材种类识别时，可在彩色图像中提取ROI(Region Of Interest，感兴趣区域)，ROI对应于手部拿取食材的区域，通过提取ROI的区域图像可以降低计算量和传输的数据量，也能提升食材识别的实时性、准确性和效率，ROI可以根据实际经验和硬件参数等进行设定；在提取出彩色图像的ROI后，可以采用现有的一些食材识别算法来识别存取食材的种类，比如使用基于CNN(ConvolutionalNeural Networks，卷积神经网络)模型进行识别，CNN模型是计算机视觉领域常用的一种深度学习模型，具体可参照相关现有技术，本实施例不再赘述。需要说明的是，无论采用何种食材种类识别算法都不影响本方案的实质。
深度相机301A-2可以拍摄出深度图像，深度相机301A-2比如可以选取TOF(TimeOf Flight，飞行时间)相机或双目结构光深度相机等，相机的光轴应垂直于地面，深度图像(depth image)也被称为距离影像，是指将图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状，深度图像经过坐标转换可以计算为三维点云数据。由于深度图像中具有场景的深度信息，可以更利于准确捕捉和追踪手部质心的运动轨迹，从而提高目标对象的操作类型和位置信息识别的准确性。
所述操作类型包括存操作和取操作，存操作是指用户向冰箱内存放食材的操作，取操作是指用户从冰箱内取出食材的操作。当识别到手部区域具有食材时，说明用户正在进行存操作或取操作，这时可以根据手部的运动轨迹的方向来判断用户操作类型，如果检测到运动轨迹的方向为手部从冰箱前侧经存取开口进入储藏室内，则用户操作类型为存操作；如果检测到运动轨迹的方向为手部从储藏室内部经存取开口移至冰箱外部，则用户操作类型为取操作。
此外，由于相机组件301A是从冰箱顶部拍摄存取开口102对应的检测区域的深度图像，因此拍摄出的深度图像是视野内场景的俯视图，包含有场景的深度信息，因此这里的深度信息用于衡量场景中各点与深度相机301A-2在竖直高度上的距离，通过在深度图像中划分出冰箱高度方向上不同储藏室内各层位的深度范围，手部质心落到哪个深度范围内，则说明存取位置在对应的层位上。或者，可以通过运动轨迹识别食材的存取位置，当用户进行存操作时，位置信息指示为食材的存放位置，则手部质心运动轨迹的终点位置即为存放位置；当用户进行取操作时，位置信息指示为食材的取出位置，则手部质心运动轨迹的起点位置即为取出位置。需要说明的是，基于深度图像识别操作类型和食材存取的位置信息的方法不作限定。
如图6所示，冰箱门20上设置有显示屏50，显示屏50与控制器40电连接，显示屏50面向用户，即可以向用户显示所需查看的信息，也可以通过触控感知用户输入的操作指令。比如，显示屏50可以向用户显示冰箱当前食材库中的食材种类、食材存放位置、食材存放时间以及保质期等信息，便于用户获知当前冰箱中存储的食材信息。
冰箱可以根据用户存取食材的操作行为，自动录入和更新存取记录数据库，显示屏50还可以根据用户输入的显示指令，显示存取记录数据库，即可查看一定时间段内的历史存取记录。
此外，还可以根据冰箱当前食材库中包括的食材种类，在显示屏50上向用户推送健康食谱，用户也可以对显示屏50进行触控操作，对冰箱进行一些基本控制，比如调节冷冻室、冷藏室和变温室的温度等，实现了冰箱的智能化管理和应用，并且提升用户与冰箱之间的交互体验。显示屏50可显示的内容可根据实际使用需求进行设置。
冰箱中还可包括通信器60，通信器60与控制器40电连接，通信器60可采用WIFI模块、蓝牙模块等无线通信模块，实现冰箱与关联用户的终端设备70之间的无线通信，比如向终端设备70推送健康食谱，发送用户存取食材的操作记录，或者发送即将达保质期的食材信息等内容，这样不仅可以实现用户与冰箱的面对面交互，还能实现远程交互。终端设备70可以是智能手机、智能手环和平板电脑等移动终端，也可以是笔记本电脑、台式电脑等显示设备，本实施例不作限定。
在其他可能的实现方式中，也可以为冰箱配置外置相机80，外置相机80与控制器40电连接，用于采集人脸图像，控制器40通过建立人脸数据库以用于人脸识别，这样即可识别出操作主体是哪个家庭成员，比如用户操作信息为“妈妈从冷藏室第三层取出冰淇淋”，即操作主体为家庭成员中的妈妈，食材种类为冰淇淋，操作类型为取操作，位置信息为冷藏室第三层，从而实现“谁从冰箱什么位置存或取了什么食材”这一用户操作信息的自动感知和录入，提高冰箱的智能化和用户使用体验。
本实施例中所述的控制器40为冰箱的总控制***，参照图6，控制器40分别与感知模组中的相机组件301A、扬声器301B、语音设备301C和驱动机构302电连接，以及与显示屏50、通信器60和外置相机80电连接，可用于对彩色图像、深度图像、音频数据等进行采集和处理，从而得到冰箱门20打开后的用户操作信息，所述用户操作信息包括但不限于食材种类、位置信息、操作类型和计时器记录的存取时间等信息，该用户操作信息可以通过显示屏50进行显示，和/或通过扬声器301B进行语音播报，和/或通过通信器60推送至用户的终端设备70。控制器40承担数据库的管理、相关硬件结构的控制以及与外部终端设备通讯等功能。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种存储介质90，存储介质90与控制器40电连接。存储介质90可存储有程序，该程序执行时可包括控制器40被配置执行的本申请实施例所述的全部方法步骤。此外，存储介质90还可用于存储冰箱当前食材库、存取记录数据库、异常数据库等内容，这里所述的异常数据库存储有不同食材种类对应的异常图像，每张异常图像对应于一种异常类型，异常数据库可以通过线上或线下，采集彩色相机异常工作状态下拍摄出的图像进行汇总创建。所述存储介质90可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random accessmemory，简称：RAM)等。
需要说明的是，冰箱的结构不限于本实施例所述，在实际中冰箱还应包括制冷***、供电电源、温度控制***等必要的电器结构，以及其他必要的软件程序等，可以参照现有冰箱结构进行配置，本实施例不再赘述。
对于图7示出的感知模组工作状态检测方法，主要是针对感知模组30中的彩色相机301-A的工作状态检测，检测彩色相机301-A当前工作是正常还是异常，该方法为控制器40被配置执行的方法，即该方法的执行主体为控制器40，所述方法包括：
步骤S110，获取彩色图像对应的梯度图像。
彩色相机拍摄存取开口102对应的检测区域的彩色图像，彩色图像可以为RGB图像，把彩色图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导，用于表征灰度值的变化率，通过对彩色图像中各像素点进行梯度计算，可以获取彩色图像对应的梯度图像ImageGrad。图像梯度计算方法可参照现有的相关技术，本实施例不再赘述。
步骤S120，计算所述梯度图像的全局纹理分布特征。
步骤S120进一步的实施例中，可以在梯度图像ImageGrad中生成第一滑动窗口，第一滑动窗口的尺寸为w*h，w为第一滑动窗口的宽度，h为第一滑动窗口的高度，可以根据实际情况设定第一滑动窗口的尺寸w*h，本实施例不作具体限定。
利用第一滑动窗口遍历梯度图像时，第一滑动窗口在梯度图像中的位置会发生变化，第一滑动窗口在不同的遍历位置，其框定区域也不同，直至遍历完成，第一滑动窗口的滑动范围已覆盖整个梯度图像。梯度图像中每个像素点具有对应的梯度值，第一滑动窗口每运动至一个遍历位置，都累加其框定区域内包括的所有像素点的梯度值，从而得到梯度和VsumRi，其中i表示第一滑动窗口在遍历过程中形成的第i个框定区域，即框定区域对应的序号，1≦i≦M，M为遍历完成时第一滑动窗口在梯度图像上累积运动的总次数，即共得到M个梯度和。
为了准确区分梯度图像中M个不同框定区域具备的纹理特征，本实施例中设定两个界限值，即第一阈值VT1和第二阈值VT2，第二阈值VT2大于第一阈值VT1。当梯度和VsumRi小于第一阈值VT1时，则标记这类梯度和对应的框定区域为无纹理区域；当梯度和VsumRi大于或等于第一阈值VT1并且小于第二阈值VT2时，标记这类梯度和对应的框定区域为弱纹理区域；当VsumRi大于或等于第二阈值VT2时，标记这类梯度和对应的框定区域为强纹理区域。可以根据对纹理强弱性的界限划分来设定第一阈值VT1和第二阈值VT2时，本实施例不作具体限定。即根据如下公式判别梯度图像中每个框定区域属于哪一类别的纹理区域：
当梯度图像中对应的M个框定区域都完成纹理区域类别的标记后，即可获得梯度图像的全局纹理分布特征。然后，分别统计无纹理区域的数量SumA、弱纹理区域的数量SumB和强纹理区域的数量SumC，即M＝SumA+SumB+SumC。
然后根据无纹理区域的数量SumA，以及彩色图像的宽度W和高度H，计算第一纹理占比RatioA；根据弱纹理区域的数量SumB，以及彩色图像的宽度W和高度H，计算第二纹理占比RatioB；根据强纹理区域的数量SumC，以及彩色图像的宽度W和高度H，计算第三纹理占比RatioC。具体请见如下计算公式：
RatioA＝SumA/(W*H)
RatioB＝SumB/(W*H)
RatioC＝SumC/(W*H)
通过如上公式计算3类纹理区域占彩色图像中所有像素点的比例，可以评估整幅彩色图像的纹理丰富度，一般来说，正常场景下拍摄的彩色图像的纹理丰富度相对高于极端异常场景的纹理丰富度。这里所述的极端异常场景可能是光照异常，比如弱光、逆光、强光和反光等，或者是彩色相机镜头异常，比如镜头被污染或被遮挡，等等。经过大量的正常场景测试发现，正常场景对应的RatioA、RatioB和RatioC全部在一定的范围内稳定波动。
因此，如果RatioA、RatioB和RatioC都在各自对应的预设范围内，说明全局纹理分布特征满足预设条件，认为彩色相机拍摄的当前帧彩色图像是正常的，则可以继续检测下一帧彩色图像，通过动态实时检测连续帧彩色图像的成像质量，从而快速及时检测到彩色相机何时出现异常，便于快速排除异常；反之，如果RatioA、RatioB和RatioC中至少有一个值未在各自对应的预设范围内，确定全局纹理分布特征不满足预设条件，则当前帧彩色图像有存在异常的可能。
当彩色图像的全局纹理分布特征不满足预设条件时，说明存在彩色相机在极端异常场景下工作的可能性，但由于冰箱工作场景的不确定性和环境差异性等因素影响，仅凭全局纹理分布特征存在问题，并不能完全确定彩色相机工作状态一定存在异常。此外，基于上述全局梯度分析方法难以准确判别出某些食材的局部异常情况，比如食材表面光滑反光，或者因光照不均匀导致食材表面局部过亮或者过暗，例如雪花梨在某些光照条件下表面呈现为白色发光体，红枣在某些光照条件下呈现为黑色，从而导致食材种类识别的误识别和漏识别，对此本实施例进一步进行布局分析，以更准确地检测彩色相机工作状态是否异常。
步骤S130，在确定所述全局纹理分布特征不满足预设条件后，根据所述彩色图像的局部图像与异常数据库，对所述彩色相机的工作状态进行异常检测。
图8示出了一种异常数据库的结构，异常数据库可以列表形式进行存储，异常数据库中每行对应于一个食材种类，共具有N种食材种类，然后分别列举出在不同异常类型对应的异常图像，异常图像为彩色相机在异常类型条件下工作时拍摄出的包含食材特征的局部图像，比如序号为1的行信息中，对应的食材种类为雪花梨，示出的异常图像1对应的异常类型为光照较暗，示出的异常图像2对应的异常类型为反光…，异常数据库可以通过在线检索，或线下收集不同异常类型场景下彩色相机拍摄的彩色图像，并从彩色图像中提取包括食材的ROI局部区域以得到异常图像，然后创建异常数据库，异常数据库中每种食材种类对应的异常类型和异常图像可以不断更新和新增，以提高彩色相机工作状态异常性检测的准确性。
步骤S130进一步的实施例中，从当前帧的彩色图像中提取包括食材特征的局部图像，局部图像是对应于食材的感兴趣区域，从而最大化地滤除其他非食材特征，能降低计算量，提升食材识别的准确性和效率。然后利用局部图像进行食材种类的识别，食材种类识别的算法不限定，比如采用基于深度学习算法的食材识别模型，将局部图像输入食材识别模型中，通过食材识别模型的计算，最终输出食材种类。
食材种类确定后，即可从异常数据库中获取该食材种类对应的异常图像，然后基于局部图像与异常图像之间的相似性，来识别彩色图像的局部异常。具体来说，计算局部图像与异常图像的相似度S，相似度S取值范围为[0,1]，相似度越大则说明局部图像越接近于异常图像，当相似度S等于1时，即局部图像与异常图像完全一致。
相似度S可以通过计算SSIM(structural similarity，结构相似性)来获得，SSIM是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像之间的相似程度，SSIM的取值范围为[0,1]，SSIM取值越大则两个图像越相似，当SSIM等于1时，说明两个图像完全相同。SSIM是现有的一种计算图像相似度的算法，本领域技术人员可以参照相关技术对SSIM的记载来计算。当然相似度计算方法不限于SSIM，比如还可采用余弦相似度(cosin)和基于直方图的相似度等计算方法，本实施例不作限定和赘述。
根据相似度界限可以设定第三阈值S_t，计算某帧彩色图像截取的局部图像与同一食材种类的异常图像YPk之间的相似度Sk，其中1≦k≦A，其中A为某食材种类当前具有的异常图像的总数。异常图像的总数A不是固定不变的，而是可以根据异常数据库的更新而变化，并且不同食材种类对应的异常图像的总数A也可能不同。这样即可计算出A个相似度的值，即S＝{Sk，1≦k≦A}，然后对相似度进行筛选，当相似度S小于或等于第三阈值S_t时，即各个Sk的值全部小于或等于第三阈值时，说明对于该食材种类，在异常数据库中没有检索到与其局部图像高度相似的异常图像，则说明当前帧彩色图像无异常，继续检测下一帧彩色图像；当A个相似度的值中至少有一个大于第三阈值S_t时，则说明异常数据库中存在与该局部图像高度相似的异常图像，则检测到彩色相机的工作状态存在异常。
当存在多个异常图像与所述局部图像的相似度大于第三阈值S_t时，筛选与局部图像相似度最大的目标异常图像，即Smax＝{Max|Sk，1≦k≦A}，Smax对应的异常图像即为目标异常图像，然后获取目标异常图像对应的异常类型，生成与目标异常图像对应的异常类型相匹配的第一提示信息，比如第一提示信息可以为“彩色相机当前工作状态异常，异常原因为光照过强”的形式，本实施例不限定。控制器40可以控制感知模组30中的扬声器301B播报第一提示信息，这时第一提示信息体现为语音信息；和/或，控制器40可以控制显示屏50显示第一提示信息，这时第一提示信息体现为可视化的文字信息；和/或，控制器40通过通信器60将第一提示信息发送至用户的终端设备70，使用户通过终端设备70获知彩色相机的工作状态存在异常以及异常类型，这时第一提示信息既可以由终端设备70的扬声器进行播报，也可以是在终端设备70的屏幕上进行显示。
或者，终端设备701和冰箱***安装与冰箱智能化服务有关的应用程序(APP)，通过APP进行第一提示信息的提示，APP还可综合食材种类、操作类型、食材存取的位置信息等多维感知层信息，通过不同维度的信息融合，结合知识图谱、大数据等技术，从而更好地为用户提供美食服务，比如可以支持用户查询食材库、食谱推荐、购买提醒、保质期管理、食材过期提醒等应用层功能，从而真正实现了冰箱的智能化管理和应用，提升用户体验。第一提示信息的提示方式不限于本实施例所述。
本实施例的检测对象是感知模组中的彩色相机，彩色相机拍摄存取开口对应的检测区域的彩色图像，通过彩色图像可以识别食材种类，因此彩色相机的成像质量直接影响食材种类识别的准确性。对此，本申请首先基于全局梯度分析，获取彩色图像的全局纹理分布特征，如果全局纹理分布特征满足预设条件，说明当前帧彩色图像无异常，则继续检测下一帧；反之若不满足预设条件，需要进行局部分析，将包含有食材的局部图像与异常数据库进行比对分析，从而判断彩色相机的动作状态是否存在异常。本申请能够检测感知模组的工作状态，方便用户进行调整维护，比如检测到存在异常时，可以提示用户，用户可以调整光照，或是检查彩色相机的镜头是否被污染或遮挡等，从而快速排除异常，保证感知模组中的彩色相机能够正常稳定的工作，降低误识别和漏识别，提高感知模组的识别精度。
前述实施例中示出的是对彩色相机301A-1工作状态的检测，在实际应用中，感知模组30中的深度相机301A-2也会存在工作状态的异常性问题，比如，双目结构光深度相机无法准确获取吸光、反光和透明等区域的深度信息，并且深度图像无效区域分布随机，在深度不连续区域会出现“边界膨胀”和“边界黑洞”问题，以上因素都会导致用户动态存取食材时操作类型和位置信息的错误识别。
在本申请的其他实施例中，图9示出的感知模组工作状态检测方法，主要是针对感知模组30中的深度相机301A-2的工作状态检测，检测深度相机301A-2当前工作是正常还是异常，该方法为控制器40被配置执行的方法，即该方法的执行主体为控制器40，所述方法包括：
步骤S210，从深度相机获取与彩色图像同一时刻对应输出的视差图像。
感知模组30中，相机组件301A同一时刻可以输出一帧彩色图像以及一帧与彩色图像对应的深度图像，相当于在彩色图像中融合深度信息后得到的图像，深度图像中可以具有一定的深度渲染效果，深度图像中每个像素点都具有深度值，可用于衡量图中每个像素点位置与相机组件301A之间的高度差。对于双目结构光深度相机，双目相机拍摄同一场景的左、右两幅视点图像，运用立体匹配算法获取视差图像，然后再在视差图像的基础上计算生成深度图像。由于双目结构光深度相机输出的深度图像是通过视差图像计算而来，为有效评估深度图像的质量，需要判断视差图像的优劣。
步骤S220，计算所述视差图像的视差波动分布特征。
步骤S220进一步的实施例中，可以在视差图像中生成第二滑动窗口，第二滑动窗口的尺寸为w*h，w为第二滑动窗口的宽度，h为第二滑动窗口的高度，可以根据实际情况设定第二滑动窗口的尺寸w*h，第二滑动窗口的尺寸为w*h不作具体限定。
利用第二滑动窗口遍历视差图像时，第二滑动窗口在视差图像中的位置会发生变化，第二滑动窗口在不同的遍历位置，其框定区域也不同，直至遍历完成，第二滑动窗口的滑动范围已覆盖整个视差图像。视差图像中每个视差点可以对应于一个实际距离z，该实际距离z表征视差点对应于实际场景中的空间点与深度相机之间的距离，以双目结构光深度相机为例，视差点对应的实际距离z可以通过如下公式进行计算：
上式中，f为双目结构光深度相机的焦距，B为双目结构光深度相机的双目间距，d为视差点的视差值。
第二滑动窗口每运动至一个遍历位置，计算第二滑动窗口的框定区域内各视差点对应的实际距离方差S2(k)，其中k表示第二滑动窗口在遍历过程中形成的第k个框定区域，即框定区域对应的序号，1≦k≦M，M为遍历完成时第二滑动窗口在视差图像上累积运动的总次数，即共得到M个实际距离方差。实际距离方差S2(k)可以通过如下公式进行计算：
式中，w为第二滑动窗口的宽度，h为第二滑动窗口的高度，zij为第k个框定区域中宽度方向上第i个、高度方向上第j个视差点对应的实际距离，为第k个框定区域中所有视差点对应的实际距离的平均值。
由于视差与实际距离成反比，即视差值越小，实际距离的波动量越大，所以直接计算视差值的方差，无法有效反映小视差的波动情况。本实施例中采用实际距离方差，来评估视差图像中M个框定区域内的视差波动分布特征，可基于视差波动性的界限设定第四阈值ST1和第五阈值ST2，第五阈值ST2大于第四阈值ST1。
当实际距离方差S2(k)小于第四阈值ST1时，则标记这类实际距离方差对应的框定区域为视差平滑区域；当实际距离方差S2(k)大于或等于第四阈值ST1并且小于第五阈值ST2时，则标记这类实际距离方差对应的框定区域为视差渐变区域；当实际距离方差S2(k)大于或等于第五阈值ST2时，则标记这类实际距离方差对应的框定区域为视差突变区域。即根据如下公式判别视差图像中每个框定区域属于哪一类别的波动区域：
当视差图像中对应的M个框定区域都完成视差波动区域类别的标记后，即可获得视差图像的视差波动分布特征。然后，设视差平滑区域的数量SumD、视差渐变区域的数量SumE和视差突变区域的数量SumF，即M＝SumD+SumE+SumF。
步骤S230，根据所述全局纹理分布特征和所述视差波动分布特征，对所述深度相机的工作状态进行异常检测。
基于步骤S120获取到的全局纹理分布特征以及步骤S220获取到的视差波动分布特征，来判断视差图像的优劣。一般认为，图像的纹理性越弱，匹配得到的视差越容易发生错误，在同一场景上的视差波动就越大，即同一场景的实际距离方差越大。由于彩色图像与视差图像是对应于同一时刻，彩色图像与视差图像的尺寸相等都为W*H，并且第一滑动窗口和第二滑动窗口的尺寸相等都为w*h，因此可以将全局纹理分布特征和视差波动分布特征进行区域对比，如果视差突变区域对应于无纹理区域或弱纹理区域，则标记该视差突变区域为无效视差区域，以此遍及整幅视差图像，筛选出视差图像中存在的全部无效视差区域，并统计视差图像中无效视差区域的数量SumG，然后根据无效视差区域的数量SumG，以及视差图像的宽度W和高度H，计算无效区域占比RatioD，计算公式如下所示：
RatioD＝SumG/(W*H)
通过上述公式可以计算出无效视差区域占视差图像中所有像素点的比例，当无效区域占比RatioD小于或等于第六阈值时，视差图像中无效视差区域占据比例较小，认为该视差图像较优，则由此视差图像计算生成的深度图像无异常，即可继续检测下一帧；当无效区域占比RatioD大于第六阈值时，视差图像中无效视差区域占据比例较大，说明视差图像比较劣质，那么由此视差图像计算生成的深度图像必然存在异常，即这种情况下检测到由视差图像生成的当前帧深度图像存在异常。
当前帧深度图像存在异常时，仅凭一帧深度图像并不能完全准确地确定深度相机一定工作异常，这时需要继续检测当前帧之后连续多帧深度图像是否存在异常，如果连续超过预设帧数Num_t的深度图像都存在异常，则确定深度相机的工作状态存在异常，生成第二提示信息。
比如第二提示信息可以为“深度相机当前工作状态异常”的形式，本实施例不限定。控制器40可以控制感知模组30中的扬声器301B播报第二提示信息，这时第二提示信息体现为语音信息；和/或，控制器40可以控制显示屏50显示第二提示信息，这时第二提示信息体现为可视化的文字信息；和/或，控制器40通过通信器60将第二提示信息发送至用户的终端设备70，使用户通过终端设备70获知深度相机的工作状态存在异常，这时第二提示信息既可以由终端设备70的扬声器进行播报，也可以是在终端设备70的屏幕上进行显示。或者，通过终端设备701和冰箱***安装的冰箱智能化服务有关的应用程序(APP)进行第二提示信息的提示。
本实施例的检测对象为感知模组中的深度相机，深度相机用于拍摄存取开口对应的检测区域的深度图像，利用视差分析实现。通过对比彩色图像的全局纹理分布特征和视差图像的视差波动分布特征，获取无效视差区域，并根据无效视差区域在视差图像所有像素点中的占比，来检测单帧深度图像的异常性，并在检测到连续多帧深度图像都存在异常时，确定深度相机工作状态异常，这时即可进行第二提示信息的提示，方便用户进行调整维护，从而快速排除异常，保证感知模组中深度相机能够正常稳定的工作，降低误识别和漏识别，提高感知模组的识别精度。
当将前述各实施例进行叠加时，可以实现对深度相机和彩色相机工作状态的并行检测，进而提高感知模组中核心的相机组件301A的识别精度，降低食材种类、存取动作以及存取位置等信息的误识别率，从而实现冰箱食材的智能化精准管理，提升用户使用体验。
在获取彩色图像对应的梯度图像之前，以及在计算视差图像的视差波动分布特征之前，可以对彩色图像和视差图像进行下采样处理，下采样的目的在于将高分辨率的彩色图像和视差图像缩减为小图，然后利用下采样处理后的彩色图像和视差图像检测感知模组的工作状态，以达到降低计算量的目的。
下采样的计算方式为：对于彩色图像和视差图像，其尺寸为W*H，其中，W为彩色/视差图像的宽度，表征在宽度方向上包括的像素点个数；H为彩色/视差图像的高度，表征在高度方向上包括的像素点个数。对彩色/视差图像进行r*s倍下采样，将分辨率W*H缩小为(W/r)*(H/s)，r为在宽度方向上的下采样倍数，s为在高度方向上的下采样倍数，r和s应分别为W和H的公约数，从而得到分辨率为(W/r)*(H/s)的缩略图，即将原始图像r*s窗口内的区域变成了一个像素，该像素的值可以是r*s窗口内所有像素的均值、最大值、最小值或者中值等统计值。对彩色/视差图像进行下采样之后，还可以采用对应的滤波处理，如中值滤波或者均值滤波等方式，以最大限度地降低噪声对后续检测结果的影响，提高检测结果的可靠性和准确性。
本申请中感知模组30的结构不限于实施例所述。控制器40不限于配置为上述几种信息提示方式，当第一提示信息和/或第二提示信息生成后，可以触发至少一种提示方式，使用户能通过不同途径接收提示，以便快速进行相机组件的维护。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。
本说明书中各个实施例之间相同相似的部分互相参照即可。

Claims (16)

1.一种冰箱，其特征在于，包括：
机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；
至少一个冰箱门，与所述机壳连接，用于打开或关闭所述存取开口；
设置在所述机壳顶部的感知模组，所述感知模组包括彩色相机，用于拍摄所述存取开口对应的检测区域的彩色图像；
控制器，与所述彩色相机电连接，所述控制器被配置为：
获取所述彩色图像对应的梯度图像；
计算所述梯度图像的全局纹理分布特征，所述全局纹理分布特征用于表征所述彩色图像存在异常的可能性；
在确定所述全局纹理分布特征不满足预设条件后，从所述彩色图像中提取包括食材特征的局部图像；
根据所述局部图像识别食材种类；
在异常数据库中获取与所述食材种类对应的异常图像；
计算所述局部图像与所述异常图像的相似度，所述相似度为通过计算结构相似性SSIM获得的；
如果所述相似度大于第三阈值，则检测到所述彩色相机的工作状态存在异常。
2.根据权利要求1所述的冰箱，其特征在于，所述控制器被配置为按照如下方式计算所述梯度图像的全局纹理分布特征：
在所述梯度图像中生成第一滑动窗口；
利用所述第一滑动窗口遍历所述梯度图像，计算所述第一滑动窗口在不同遍历位置处其框定区域内各像素点的梯度和；
标记所述梯度和小于第一阈值的框定区域为无纹理区域；
标记所述梯度和大于或等于第一阈值并且小于第二阈值的框定区域为弱纹理区域；
标记所述梯度和大于或等于第二阈值的框定区域为强纹理区域。
3.根据权利要求2所述的冰箱，其特征在于，所述控制器还被配置为：
分别统计所述无纹理区域、所述弱纹理区域和所述强纹理区域的数量；
根据所述无纹理区域的数量，以及所述彩色图像的宽度和高度，计算第一纹理占比；
根据所述弱纹理区域的数量，以及所述彩色图像的宽度和高度，计算第二纹理占比；
根据所述强纹理区域的数量，以及所述彩色图像的宽度和高度，计算第三纹理占比；
如果第一纹理占比、第二纹理占比和第三纹理占比中至少有一个值未在对应的预设范围内，则确定所述全局纹理分布特征不满足预设条件。
4.根据权利要求1所述的冰箱，其特征在于，所述控制器还被配置为：
当存在多个异常图像与所述局部图像的相似度大于第三阈值时，筛选与所述局部图像相似度最大的目标异常图像；
获取所述目标异常图像对应的异常类型；
生成与所述异常类型相匹配的第一提示信息。
5.根据权利要求2所述的冰箱，其特征在于，所述感知模组还包括深度相机，用于拍摄所述存取开口对应的检测区域的深度图像，所述深度相机与控制器电连接，则所述控制器还被配置为：
从所述深度相机获取与所述彩色图像同一时刻对应输出的视差图像；
计算所述视差图像的视差波动分布特征；
根据所述全局纹理分布特征和所述视差波动分布特征，对所述深度相机的工作状态进行异常检测；
其中，所述深度图像由所述视差图像计算生成。
6.根据权利要求5所述的冰箱，其特征在于，所述控制器被配置为按照如下方式计算所述视差图像的视差波动分布特征：
在所述视差图像中生成第二滑动窗口；
利用所述第二滑动窗口遍历所述视差图像，计算所述第二滑动窗口在不同遍历位置处其框定区域内各视差点对应的实际距离方差；
标记所述实际距离方差小于第四阈值的框定区域为视差平滑区域；
标记所述实际距离方差大于或等于第四阈值并且小于第五阈值的框定区域为视差渐变区域；
标记所述实际距离方差大于或等于第五阈值的框定区域为视差突变区域。
7.根据权利要求6所述的冰箱，其特征在于，所述控制器被配置为按照如下方式对所述深度相机的工作状态进行异常检测：
将所述全局纹理分布特征和所述视差波动分布特征进行区域对比；
如果所述视差突变区域对应于无纹理区域或弱纹理区域，则标记所述视差突变区域为无效视差区域；
统计所述视差图像中无效视差区域的数量；
根据所述无效视差区域的数量，以及所述视差图像的宽度和高度，计算无效区域占比；
如果所述无效区域占比大于第六阈值，则检测到由所述视差图像生成的当前帧深度图像存在异常。
8.根据权利要求7所述的冰箱，其特征在于，所述控制器被进一步配置为按照如下方式对所述深度相机的工作状态进行异常检测：
如果检测到当前帧及其后连续多帧的深度图像都存在异常，则确定所述深度相机的工作状态存在异常，生成第二提示信息。
9.一种感知模组工作状态检测方法，其特征在于，包括：
获取彩色图像对应的梯度图像；所述彩色图像由感知模组中的彩色相机对冰箱的存取开口对应的检测区域拍摄得到；
计算所述梯度图像的全局纹理分布特征，所述全局纹理分布特征用于表征所述彩色图像存在异常的可能性；
在确定所述全局纹理分布特征不满足预设条件后，从所述彩色图像中提取包括食材特征的局部图像；
根据所述局部图像识别食材种类；
在异常数据库中获取与所述食材种类对应的异常图像；
计算所述局部图像与所述异常图像的相似度，所述相似度为通过计算结构相似性SSIM获得的；
如果所述相似度大于第三阈值，则检测到所述彩色相机的工作状态存在异常。
10.根据权利要求9所述的检测方法，其特征在于，所述计算所述梯度图像的全局纹理分布特征，包括：
在所述梯度图像中生成第一滑动窗口；
利用所述第一滑动窗口遍历所述梯度图像，计算所述第一滑动窗口在不同遍历位置处其框定区域内各像素点的梯度和；
标记所述梯度和小于第一阈值的框定区域为无纹理区域；
标记所述梯度和大于或等于第一阈值并且小于第二阈值的框定区域为弱纹理区域；
标记所述梯度和大于或等于第二阈值的框定区域为强纹理区域。
11.根据权利要求10所述的检测方法，其特征在于，还包括：
分别统计所述无纹理区域、所述弱纹理区域和所述强纹理区域的数量；
根据所述无纹理区域的数量，以及所述彩色图像的宽度和高度，计算第一纹理占比；
根据所述弱纹理区域的数量，以及所述彩色图像的宽度和高度，计算第二纹理占比；
根据所述强纹理区域的数量，以及所述彩色图像的宽度和高度，计算第三纹理占比；
如果第一纹理占比、第二纹理占比和第三纹理占比中至少有一个值未在对应的预设范围内，则确定所述全局纹理分布特征不满足预设条件。
12.根据权利要求9所述的检测方法，其特征在于，还包括：
当存在多个异常图像与所述局部图像的相似度大于第三阈值时，筛选与所述局部图像相似度最大的目标异常图像；
获取所述目标异常图像对应的异常类型；
生成与所述异常类型相匹配的第一提示信息。
13.根据权利要求10所述的检测方法，其特征在于，还包括：
从深度相机获取与所述彩色图像同一时刻对应输出的视差图像，所述感知模组包括深度相机，用于拍摄所述存取开口对应的检测区域的深度图像，所述深度相机与控制器电连接；
计算所述视差图像的视差波动分布特征；
根据所述全局纹理分布特征和所述视差波动分布特征，对所述深度相机的工作状态进行异常检测；
其中，所述深度图像由所述视差图像计算生成。
14.根据权利要求13所述的检测方法，其特征在于，所述计算所述视差图像的视差波动分布特征，包括：
在所述视差图像中生成第二滑动窗口；
利用所述第二滑动窗口遍历所述视差图像，计算所述第二滑动窗口在不同遍历位置处其框定区域内各视差点对应的实际距离方差；
标记所述实际距离方差小于第四阈值的框定区域为视差平滑区域；
标记所述实际距离方差大于或等于第四阈值并且小于第五阈值的框定区域为视差渐变区域；
标记所述实际距离方差大于或等于第五阈值的框定区域为视差突变区域。
15.根据权利要求14所述的检测方法，其特征在于，所述对所述深度相机的工作状态进行异常检测，包括：
将所述全局纹理分布特征和所述视差波动分布特征进行区域对比；
如果所述视差突变区域对应于无纹理区域或弱纹理区域，则标记所述视差突变区域为无效视差区域；
统计所述视差图像中无效视差区域的数量；
根据所述无效视差区域的数量，以及所述视差图像的宽度和高度，计算无效区域占比；
如果所述无效区域占比大于第六阈值，则检测到由所述视差图像生成的当前帧深度图像存在异常。
16.根据权利要求15所述的检测方法，其特征在于，所述对所述深度相机的工作状态进行异常检测，还包括：
如果检测到当前帧及其后连续多帧的深度图像都存在异常，则确定所述深度相机的工作状态存在异常，生成第二提示信息。
CN202010310029.5A 2020-04-20 2020-04-20 一种感知模组工作状态检测方法及冰箱 Active CN111476194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310029.5A CN111476194B (zh) 2020-04-20 2020-04-20 一种感知模组工作状态检测方法及冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310029.5A CN111476194B (zh) 2020-04-20 2020-04-20 一种感知模组工作状态检测方法及冰箱

Publications (2)

Publication Number Publication Date
CN111476194A CN111476194A (zh) 2020-07-31
CN111476194B true CN111476194B (zh) 2024-02-27

Family

ID=71754171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310029.5A Active CN111476194B (zh) 2020-04-20 2020-04-20 一种感知模组工作状态检测方法及冰箱

Country Status (1)

Country Link
CN (1) CN111476194B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422818B (zh) * 2020-10-30 2022-01-07 上海大学 一种基于多元图像融合的智能化掉筛远程检测方法
CN112927465A (zh) * 2021-01-29 2021-06-08 安徽佳美瑞物联科技有限公司 别墅安防***运行状态实时监测报警***
WO2022206043A1 (zh) * 2021-03-31 2022-10-06 海信集团控股股份有限公司 智能冰箱、存取动作识别方法、设备及介质
CN113793337B (zh) * 2021-11-18 2022-02-08 汶上海纬机车配件有限公司 基于人工智能的机车配件表面异常程度评估方法
US20230308632A1 (en) * 2022-03-28 2023-09-28 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for addressing persistent conditions on the camera lens
CN117746304B (zh) * 2024-02-21 2024-05-14 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006131866A2 (en) * 2005-06-08 2006-12-14 Koninklijke Philips Electronics N.V. Method and system for image processing
CN101048799A (zh) * 2004-10-25 2007-10-03 惠普开发有限公司 通过实时视频动作分析理解视频内容
CN106412551A (zh) * 2015-07-29 2017-02-15 雅马哈发动机株式会社 异常图像检测装置、图像处理***及车辆
WO2017067390A1 (zh) * 2015-10-20 2017-04-27 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端
TW201811008A (zh) * 2016-07-19 2018-03-16 中華電信股份有限公司 攝影裝置異常偵測方法
CN108629763A (zh) * 2018-04-16 2018-10-09 海信集团有限公司 一种视差图的评判方法、装置及终端
CN109631456A (zh) * 2017-10-06 2019-04-16 东芝生活电器株式会社 冰箱

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017541B2 (en) * 2019-06-18 2021-05-25 Intel Corporation Texture detector for image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048799A (zh) * 2004-10-25 2007-10-03 惠普开发有限公司 通过实时视频动作分析理解视频内容
WO2006131866A2 (en) * 2005-06-08 2006-12-14 Koninklijke Philips Electronics N.V. Method and system for image processing
CN106412551A (zh) * 2015-07-29 2017-02-15 雅马哈发动机株式会社 异常图像检测装置、图像处理***及车辆
WO2017067390A1 (zh) * 2015-10-20 2017-04-27 努比亚技术有限公司 图像中弱纹理区域的深度信息获取方法及终端
TW201811008A (zh) * 2016-07-19 2018-03-16 中華電信股份有限公司 攝影裝置異常偵測方法
CN109631456A (zh) * 2017-10-06 2019-04-16 东芝生活电器株式会社 冰箱
CN108629763A (zh) * 2018-04-16 2018-10-09 海信集团有限公司 一种视差图的评判方法、装置及终端

Also Published As

Publication number Publication date
CN111476194A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476194B (zh) 一种感知模组工作状态检测方法及冰箱
CN112418069B (zh) 一种高空抛物检测方法、装置、计算机设备及存储介质
CN113139402B (zh) 一种冰箱
Shih A robust occupancy detection and tracking algorithm for the automatic monitoring and commissioning of a building
CN111444880B (zh) 一种食材识别方法及冰箱
CN110428522A (zh) 一种智慧新城的智能安防***
US9361702B2 (en) Image detection method and device
CN111503991B (zh) 一种识别冰箱食材存取位置的方法及冰箱
CN110689560A (zh) 食材管理方法和设备
CN113465287B (zh) 一种智能冰箱及光照强度调整方法
WO2013160688A1 (en) Abnormal object track determination using a gaussian processes based variational bayes expectation maximisation
CN105698482A (zh) 冰箱内储物信息的确定方法与冰箱
CN113114895A (zh) 货柜的控制方法、货柜和可读存储介质
CN116761049A (zh) 一种家用智能安防监控方法及***
CN113947770B (zh) 一种识别物体放置于智能箱柜不同区域的方法
US20220325946A1 (en) Selective image capture using a plurality of cameras in a refrigerator appliance
Budi et al. Fire alarm system based-on video processing
CN112394647A (zh) 家居设备的控制方法、装置、设备及存储介质
CN113091390B (zh) 一种冰箱
CN111488831B (zh) 一种食材联想识别方法及冰箱
CN107844734A (zh) 监控目标确定方法及装置、视频监控方法及装置
WO2023076831A1 (en) Extrinsic camera calibration using calibration object
Lee et al. An intelligent video security system using object tracking and shape recognition
Bianchi et al. Tracking without background model for time-of-flight cameras
KR101648562B1 (ko) 이동 물체 탐지 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant