CN109089032A - 一种烟雾视觉成像装置 - Google Patents

一种烟雾视觉成像装置 Download PDF

Info

Publication number
CN109089032A
CN109089032A CN201811151602.1A CN201811151602A CN109089032A CN 109089032 A CN109089032 A CN 109089032A CN 201811151602 A CN201811151602 A CN 201811151602A CN 109089032 A CN109089032 A CN 109089032A
Authority
CN
China
Prior art keywords
image
pixel
imaging device
region
vision imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811151602.1A
Other languages
English (en)
Inventor
陈小平
陈超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Viomi Electrical Technology Co Ltd
Original Assignee
Foshan Viomi Electrical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Viomi Electrical Technology Co Ltd filed Critical Foshan Viomi Electrical Technology Co Ltd
Priority to CN201811151602.1A priority Critical patent/CN109089032A/zh
Publication of CN109089032A publication Critical patent/CN109089032A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种烟雾视觉成像装置，设置有相机，相机装配有广角镜头，广角范围为45‑210°。还设置有光学滤光器、光线装置。光线装置设置为波长为850‑980nm的补光灯，优选为红外补光灯。烟雾视觉成像装置可装配于烟机主体，或者装配于燃气灶周围，或者装配于厨房的墙壁位置，或者固定安装于支架，对燃气灶上方与烟机主体之间的油烟区域进行成像。烟雾视觉成像装置装配于集成灶，对燃气灶上方与烟机主体之间的油烟区域进行成像，并进行烟雾浓度判断或者并进行烟雾等级判断。本发明的烟雾视觉成像装置，能够对灶台上方的油烟目标区域进行成像，为后续图像处理提供了重要基础。

Description

一种烟雾视觉成像装置
技术领域
本发明涉及厨房区油烟技术领域，特别涉及一种厨房烟雾视觉成像装置。
背景技术
现有技术中，针对厨房油烟浓度的检测，主要有红外投射法和物理检测法。红外投射法通过一端发射红外光，另一端进行接收，通过接收到的红外光强度来判断油烟浓度大小。但是，由于油烟飘散具有不确定性，实际中还会存在人手遮挡等干扰，故，需在不同位置安装多个红外发射器才能保证油烟检测的相对准确，成本较高，对安装位置要求也较高。物理检测法类似于烟雾报警器的原理，通过检测空气中漂浮颗粒数来判断油烟浓度，但此法有两个缺点，一是必须当油烟接触到报警器时才能进行检测，不能实现远距离检测；二是当空气中飘浮的不是油烟而是水雾时就无法检测。
因此针对现有技术不足，提供一种厨房烟雾视觉成像装置以解决现有技术不足甚为必要。
发明内容
本发明的其中一个目的在于避免现有技术的不足之处而提供一种烟雾视觉成像装置。该烟雾视觉成像装置能够对灶台上方的目标区域进行成像，便于通过成像方式进行烟雾判断。
本发明的上述目的通过以下技术措施实现：
提供一种烟雾视觉成像装置，设置有相机，相机装配有广角镜头，灶具产生的油烟区域位于所述广角镜头的目标成像区域，相机拍摄目标成像区域的油烟图像。
优选的，上述的烟雾视觉成像装置，相机按照固定时刻进行油烟图像拍摄；或者
相机按照时间间隔不断拍摄目标成像区域的油烟图像，所拍摄的油烟图像按照不同时刻对应的时间帧进行标记存储。
优选的，所述广角镜头的广角范围为45-210°。
优选的，所述相机还设置有光学滤光器；所述光学滤光器装配于所述广角镜头。
优选的，所述滤光器为能过滤自然光的滤光片。
优选的，还设置有用于增加环境亮度的光线装置，所述光线装置照射目标成像区域。
优选的，所述光线装置设置为补光灯，所述补光灯的光源波长为850-980nm。
优选的，所述补光灯设置为红外补光灯。
优选的，所述补光灯的光源波长为940nm，所述补光灯设置为6W功率的灯组。
优选的，所述广角镜头设置为单目镜头或双目镜头或多目镜头。
作为一种优选方式，所述烟雾视觉成像装置装配于烟机主体，对燃气灶上方与烟机主体之间的油烟区域进行成像。
作为一种优选方式，所述烟雾视觉成像装置装配于燃气灶周围，对燃气灶上方与烟机主体之间的油烟区域进行成像。
作为一种优选方式，所述烟雾视觉成像装置装配于厨房的墙壁位置，对燃气灶上方与烟机主体之间的油烟区域进行成像。
作为一种优选方式，所述烟雾视觉成像装置固定安装于支架，对燃气灶上方与烟机主体之间的油烟区域进行成像。
作为一种优选方式，所述烟雾视觉成像装置装配于集成灶，对燃气灶上方与烟机主体之间的油烟区域进行成像。
优选的，所述烟雾视觉成像装置用于对厨房燃气灶使用产生的烟雾进行成像。
另一优选的，所述烟雾视觉成像装置用于对厨房燃气灶使用产生的烟雾进行成像，并进行烟雾浓度判断。
另一优选的，所述烟雾视觉成像装置用于对厨房燃气灶使用产生的烟雾进行成像，并进行烟雾等级判断。
以上的，所述烟雾视觉成像装置还设置有图像处理模块，相机不断对目标成像区域进行成像，并将不同时刻采集的初始图像输送至图像处理模块。
所述油烟信息处理为油烟动态区域提取、油烟静态区域提取、干扰物排除、去燥处理、油烟浓度判断、油烟等级判断中的至少一种。
优选的，图像处理模块以相机采集的初始图像作为基础进行处理，初始图像为灰度图，所采集的初始图像被序列化，图像处理模块依次通过后帧的初始图像与前帧的初始图像进行处理，得到各个后帧初始图像所处时刻的当前厨房油烟浓度；
每次通过后帧的初始图像与前帧的初始图像进行处理，得到后帧初始图像所处时刻的当前厨房油烟浓度的步骤过程如下：
(1)将后帧的初始图像与前帧的初始图像进行帧差处理得到帧差图像；
(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；
(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；
(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为下一步感兴趣区域，其它的区域作为干扰排除；
(5)对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级。
进一步的，步骤(1)中，对采集到的初始图像进行帧差操作得到帧差图像具体是：
视觉检测模块根据接收到的初始图像的先后顺序，将后一帧图像与前一帧图像做差，得到动态区域高亮的帧差图像；
所述步骤(2)对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的烟雾特征；
所述步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域；
所述步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域；
所述步骤(5)中对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级，具体是：
将感兴趣区域图像中的所有像素，按照灰度值的大小，统计其出现的频率；
再根据需要划分的浓度等级数量，取10为区间长度，统计每个灰度区间内的像素点个数，每个灰度区间内的像素点个数对应划分油烟为相应的浓度等级。
进一步的，成像设备采集的目标区域以区域S表示，任意一帧初始图像为对应区域S的成像；
初始图像由m*n个像素构成，
后帧初始图像A的像素的灰度值以矩阵AH表示，AH＝{ahi,j}，ahi,j代表后帧初始图像A中第i行、第j列像素对应的灰度值，i为像素所在的行，j为像素所在的列，1≤i≤m，1≤j≤n；后帧初始图像A中第i行、第j列像素所在的子区域为ASi,j；
前帧初始图像B的像素的灰度值以矩阵BH表示，BH＝{bhi,j}，bhi,j代表前帧初始图像B中第i行、第j列像素对应的灰度值，前帧初始图像B中第i行、第j列像素所在的子区域为BSi,j；
帧差图像D的像素灰度值以矩阵DH表示，DH＝{dhi,j}＝{ahi,j-bhi,j}，dhi,j代表帧差图像D中第i行、第j列像素对应的灰度值，帧差图像D中第i行、第j列像素所在的子区域为DSi,j；
在帧差图像中，|dhi,j|＝0的区域，呈黑色；|dhi,j|≠0的区域呈高亮显示；
步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：
2-11，任意定义一个卷积核θ；
2-12，将卷积核θ与帧差图像进行卷积；在卷积核θ遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值p以及与卷积核中心重合的像素点C；
像素点C的灰度通过矩阵CH＝{ck,q}表示，k、q为像素点C的行序号和列序号，
获得在卷积核θ遍历帧差图像过程中得到的卷积结果最小值像素点矩阵P，最小值像素点矩阵P的灰度通过矩阵PH＝{pk,q}表示；
2-13将像素点矩阵P的灰度对应赋予像素点C，得到腐蚀图像；
步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：
2-21，任意定义一个卷积核β；
2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点R；
像素点R的灰度通过矩阵RH＝{rl,v}表示，l、v为像素点R的行序号和列序号，
获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵O，最大值像素点矩阵O的灰度通过矩阵OH＝{ol,v}表示；
2-13将最大值像素点矩阵O的灰度对应赋予像素点R，得到膨胀图像，得到的膨胀图像即为去噪图像；
所述步骤(3)通过如下步骤进行：
3-1，定义一个滤波器Y，滤波器为t*t矩阵，t为奇数；
3-2，使滤波器Y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(Ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值Xz，z为滤波器Y遍历去噪图像时的标记，
f、g为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；α为权重系数，与滤波器位置相对应；
3-3，将滤波器在每一位置处的中心像素点边缘检测值Xz与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值Δ；
统计大于阈值的数量，如果数量超过判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；
3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初步感兴趣区域；
所述t为3。
本发明同时提供一种厨房烟雾视觉成像装置，设置有上述的烟雾视觉成像装置。
本发明的烟雾视觉成像装置，能够对灶台上方的油烟目标区域进行成像，利用广角镜头对目标成像区域进行成像，能够有效采集烟雾图像信息，为后续图像处理提供了重要基础。图像处理单元根据相机所采集的图像进行处理，便于对目标成像区域的油烟状态进行监控。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为实施例1的一种烟雾视觉成像装置的结构示意图。
图2为图1的分解图。
图3是具有本发明烟雾视觉成像装置的油烟机的结构示意图。
在图1至图3中，包括有：
烟雾视觉成像装置1、
镜头121、伸缩架122、安装底座123、
感光芯片124、PCB板125、
滤光部11、
补光装置2、
烟机主体3、
燃气灶4。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1。
一种烟雾视觉成像装置1，如图1、图2所示，设置有相机，相机装配有广角镜头121，灶具产生的油烟区域位于广角镜头121的目标成像区域，相机拍摄目标成像区域的油烟图像。
其中，相机可按照固定时刻进行油烟图像拍摄；相机也可以按照时间间隔不断拍摄目标成像区域的油烟图像，所拍摄的油烟图像按照不同时刻对应的时间帧进行标记存储。通过固定时刻进行油烟图像拍摄，可以获得固定时刻的油烟图像。通过不断拍摄图像，可以按照不同时刻的油烟图像之间的变化进行分析，得到油烟的静态、动态等信息，便于油烟识别判断。
其中，广角镜头121的广角范围为45-210°。广角镜头121可以设置为单目镜头或双目镜头或多目镜头。广角镜头121的设置，能获取更佳全面的厨房油烟图像。
该相机还设置有光学滤光器，光学滤光器装配于广角镜头121。具体的，滤光器为能过滤自然光的滤光片。
镜头121的广角越大，采集到的目前成像区域信息越多，但同时图像中的无效信息也会更多，会对油烟的判断造成很大的干扰，如色彩、倒影、反光、畸变、噪点等，为了排除对采集高质量灶台油烟图像的干扰，通过广角镜头121装配有光学滤光器，滤去大部分自然光，这样就把外界环境光和倒影等干扰全部过滤，使采集到的图像为近黑色的灰度图像。
具体的，烟雾视觉成像装置1设置有广角镜头121、用于设置焦距的伸缩架122、安装底座123、感光芯片124和PCB板125，广角镜头121固定装配于伸缩架122，伸缩架122装配于安装底座123，感光芯片124焊接于PCB板125，安装底座123装配于PCB板125，滤光片11装配于感光芯片124的上方，从上至下依次是镜头121、伸缩架122、安装底座123、滤光片11、感光芯片124和PCB板125。
需说明的是，本发明的感光芯片124为公知常识，只要实现光线捕获并转换为电子信号的功能就可以作为本发明的感光芯片124，因此感光芯片124的型号在此不再累述。
本实施例的烟雾视觉成像装置1，通过广角镜头121对目标成像区域进行成像，能够获得大范围的烟雾图像。为烟雾图像处理提供了基础。
本实施例的烟雾视觉成像装置1，使用时可装配于烟机主体3，对燃气灶4上方与烟机主体3之间的油烟区域进行成像，如图3所示。
作为另一种优选方式，该烟雾视觉成像装置1也可以装配于燃气灶4周围，如设置在燃气灶4两侧或者四周，对燃气灶4上方与烟机主体3之间的油烟区域进行成像。
作为另一种优选方式，烟雾视觉成像装置1也可以装配于厨房的墙壁位置，对燃气灶4上方与烟机主体3之间的油烟区域进行成像。
作为另一种优选方式，烟雾视觉成像装置1也可以固定安装于支架，对燃气灶4上方与烟机主体3之间的油烟区域进行成像。
作为另一种优选方式，烟雾视觉成像装置1装配于集成灶，对燃气灶4上方与烟机主体3之间的油烟区域进行成像。
该烟雾视觉成像装置1用于对厨房燃气灶4使用产生的烟雾进行成像，也可以用于对厨房燃气灶4使用产生的烟雾进行成像，并进行烟雾浓度判断；还可以用于对厨房燃气灶4使用产生的烟雾进行成像，并进行烟雾等级判断。
实施例2。
一种烟雾视觉成像装置1，其它结构与实施例1相同，不同之处在于：还设置有用于增加环境亮度的光线装置，光线装置照射目标成像区域。本实施例中，光线装置烟雾视觉成像装置1使用时所安装在的烟机主体3，如图3所示。
具体的，光线装置设置为补光灯，补光灯的光源波长为850-980nm。
优选，补光灯为红外补光灯，光源波长为940nm，补光灯设置为6W功率的灯组。
通过搭配850-980nm波长的红外补光灯，使得红外光照射在油烟上，广角镜头121对被补光灯的光源灯光照射的油烟进行图像采集，使捕捉到的油烟图像信息更加明显清晰，并且进一步提高了采集的距离范围。
需要说明的是，补光灯的位置可以设置于烟雾视觉成像装置1的壳体***置，也可以设置于烟雾视觉成像装置1使用时的烟机主体3，也可以设置于墙壁或者通过支架等其它方式定位。
实施例3。
本实施例的烟雾视觉成像装置1，其它特征与实施例1或2相同，不同之处在于：还设置有图像处理模块，相机不断对目标成像区域进行成像，并将不同时刻采集的初始图像输送至图像处理模块。
油烟信息处理为油烟动态区域提取、油烟静态区域提取、干扰物排除、去燥处理、油烟浓度判断、油烟等级判断中的至少一种。
图像处理模块以相机采集的初始图像作为基础进行处理，初始图像为灰度图，所采集的初始图像被序列化，图像处理模块依次通过后帧的初始图像与前帧的初始图像进行处理，得到各个后帧初始图像所处时刻的当前厨房油烟浓度。
每次通过后帧的初始图像与前帧的初始图像进行处理，得到后帧初始图像所处时刻的当前厨房油烟浓度的步骤过程如下：
(1)将后帧的初始图像与前帧的初始图像进行帧差处理得到帧差图像；
(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；
(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；
(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为下一步感兴趣区域，其它的区域作为干扰排除；
(5)对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级。
步骤(1)中，对采集到的初始图像进行帧差操作得到帧差图像具体是：视觉检测模块1根据接收到的初始图像的先后顺序，将后一帧图像与前一帧图像做差，得到动态区域高亮的帧差图像。由于前后两帧图像中静态区域是不变的，动态区域(例如油烟飘散，人手挥动等)是变化的，所以帧差后静态区域呈现黑色，动态区域帧差后表现为边缘模糊的高亮区域，故通过帧差可以得到动态区域高亮的帧差图像。
成像设备采集的目标区域以区域S表示，任意一帧初始图像为对应区域S的成像；初始图像由m*n个像素构成。
后帧初始图像A的像素的灰度值以矩阵AH表示，AH＝{ahi,j}，ahi,j代表后帧初始图像A中第i行、第j列像素对应的灰度值，i为像素所在的行，j为像素所在的列，1≤i≤m，1≤j≤n；后帧初始图像A中第i行、第j列像素所在的子区域为ASi,j。
前帧初始图像B的像素的灰度值以矩阵BH表示，BH＝{bhi,j}，bhi,j代表前帧初始图像B中第i行、第j列像素对应的灰度值，前帧初始图像B中第i行、第j列像素所在的子区域为BSi,j。
帧差图像D的像素灰度值以矩阵DH表示，DH＝{dhi,j}＝{ahi,j-bhi,j}，dhi,j代表帧差图像D中第i行、第j列像素对应的灰度值，帧差图像D中第i行、第j列像素所在的子区域为DSi,j；
在帧差图像中，|dhi,j|＝0的区域，呈黑色；|dhi,j|≠0的区域呈高亮显示。
帧差操作后，进入步骤(2)。对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的烟雾特征。
步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：
2-11，任意定义一个卷积核θ；
2-12，将卷积核θ与帧差图像进行卷积；在卷积核θ遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值p以及与卷积核中心重合的像素点C；
像素点C的灰度通过矩阵CH＝{ck,q}表示，k、q为像素点C的行序号和列序号，
获得在卷积核θ遍历帧差图像过程中得到的卷积结果最小值像素点矩阵P，最小值像素点矩阵P的灰度通过矩阵PH＝{pk,q}表示；
2-13将像素点矩阵P的灰度对应赋予像素点C，得到腐蚀图像。
步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：
2-21，任意定义一个卷积核β；
2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点R；
像素点R的灰度通过矩阵RH＝{rl,v}表示，l、v为像素点R的行序号和列序号，
获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵O，最大值像素点矩阵O的灰度通过矩阵OH＝{ol,v}表示；
2-13将最大值像素点矩阵O的灰度对应赋予像素点R，得到膨胀图像，得到的膨胀图像即为去噪图像。
利用开运算可以消除图像噪点，在纤细点处分离物体，平滑较大的物体边界，同时也可保证原来图像中高亮区域的面积基本不变，保证后续检测的准确性不受影响。
步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域。
由于图像边缘的灰度值与相邻像素点的灰度值会产生较大的灰度值梯度，根据边缘的这一特征，设定一个滤波器，用该滤波器遍历帧差图像。步骤(3)通过如下步骤进行：
3-1，定义一个滤波器Y，滤波器为t*t矩阵，t为奇数。滤波器选择奇数矩阵，以确保只有一个中心点，优选3*3矩阵，具有计算量小的特点。
3-2，使滤波器Y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(Ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值Xz，z为滤波器Y遍历去噪图像时的标记，
f、g为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；α为权重系数，与滤波器位置相对应。
3-3，将滤波器在每一位置处的中心像素点边缘检测值Xz与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值Δ；
统计大于阈值的数量，如果数量超过判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；
3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初步感兴趣区域。
因为人在做菜操作时，手会一直在挥动，帧差完之后的图像中会包含油烟和人手操作等运动物体的干扰区域，在进行油烟浓度识别之前需要排除干扰区域的影响，这也是本发明专利的难点所在。
但是油烟的运动方向具有随机性，人手，锅铲的运动方向相对明确且特征不同，在数值上表现就是灰度值差异较大，从而：
1)帧差后的图像上油烟运动区域比人手、锅铲运动区域的亮度低，所以相应的油烟区域的灰度值均值也低于人手、锅铲运动区域的灰度均值；
2)帧差后的图像上油烟运动区域的灰度值分布较集中，而人手、锅铲的运动区域边界的灰度值较区域的中心区域跳跃较大，所以该区域的图像不够平滑，对应的灰度值的方差较大。
利用这两个特性，步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域。
灰度阈值、灰度平滑度阈值的量值可以根据具体需要灵活设置，在此不再赘述。步骤(4)完成油烟区域的识别和干扰区域的排除。
步骤(5)中对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级，具体是：
将感兴趣区域图像中的所有像素，按照灰度值的大小，统计其出现的频率；
再根据需要划分的浓度等级数量，取10为区间长度，统计每个灰度区间内的像素点个数，每个灰度区间内的像素点个数对应划分油烟为相应的浓度等级。
需要说明的是，区间长度的选择不局限于10，也可以选择其他数量。
油烟浓度的划分标准可以具体设定，如设置浓烟、中等烟或者低烟等，具体数值以实际需求为准，在此不再赘述。
通过本发明的烟雾视觉成像装置1进行油烟浓度检测，提供了一种区别于红外投射法和物理检测法的一种油烟浓度检测方法。该油烟浓度检测方法，几乎不受检测距离的影响，可实现油烟浓度的非接触实时检测，具有高准确度和实时性等优点。
本发明油烟浓度检测方法，可以设置于油烟机中，通过油烟机设置的成像设备采集烟机灶头区域的图像，并输送至视觉检测模块1，视觉检测模块1将处理的油烟等级结构输送至主控单元，主控单元根据烟机的油烟等级控制烟机抽吸力度。更加准确地对厨房油烟进行抽吸处理。
需要说明的是，处理单元可以选择型号STM32芯片，也可以选择其它型号的芯片实现对应的功能。
实施例4。
本实施例提供一种厨房烟雾视觉成像装置1，设置有如实施例1至3任意一种的烟雾视觉成像装置1。
本发明的烟雾视觉成像装置1，能够对灶台上方的油烟目标区域进行成像，利用广角镜头121对目标成像区域进行成像，能够有效采集烟雾图像信息，为后续图像处理提供了重要基础。图像处理单元根据相机所采集的图像进行处理，便于对目标成像区域的油烟状态进行监控。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (23)

1.一种烟雾视觉成像装置，其特征在于：设置有相机，相机装配有广角镜头，灶具产生的油烟区域位于所述广角镜头的目标成像区域，相机拍摄目标成像区域的油烟图像。
2.根据权利要求1所述的烟雾视觉成像装置，其特征在于：相机按照固定时刻进行油烟图像拍摄；或者
相机按照时间间隔不断拍摄目标成像区域的油烟图像，所拍摄的油烟图像按照不同时刻对应的时间帧进行标记存储。
3.根据权利要求1所述的烟雾视觉成像装置，其特征在于：所述广角镜头的广角范围为45-210°。
4.根据权利要求1所述的烟雾视觉成像装置，其特征在于：所述相机还设置有光学滤光器；所述光学滤光器装配于所述广角镜头。
5.根据权利要求4所述的烟雾视觉成像装置，其特征在于：所述滤光器为能过滤自然光的滤光片。
6.根据权利要求1所述的烟雾视觉成像装置，其特征在于：还设置有用于增加环境亮度的光线装置，所述光线装置照射目标成像区域。
7.根据权利要求6所述的烟雾视觉成像装置，其特征在于：所述光线装置设置为补光灯，所述补光灯的光源波长为850-980nm。
8.根据权利要求7所述的烟雾视觉成像装置，其特征在于：所述补光灯设置为红外补光灯，所述补光灯的光源波长为940nm，所述补光灯设置为6W功率的灯组。
9.根据权利要求8所述的烟雾视觉成像装置，其特征在于：所述广角镜头设置为单目镜头或多目镜头。
10.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：所述烟雾视觉成像装置装配于烟机主体，对燃气灶上方与烟机主体之间的油烟区域进行成像。
11.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：所述烟雾视觉成像装置装配于燃气灶周围，对燃气灶上方与烟机主体之间的油烟区域进行成像。
12.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：所述烟雾视觉成像装置装配于厨房的墙壁位置，对燃气灶上方与烟机主体之间的油烟区域进行成像。
13.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：所述烟雾视觉成像装置固定安装于支架，对燃气灶上方与烟机主体之间的油烟区域进行成像。
14.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：所述烟雾视觉成像装置装配于集成灶，对燃气灶上方与烟机主体之间的油烟区域进行成像。
15.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：用于对厨房燃气灶使用产生的烟雾进行成像。
16.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：用于对厨房燃气灶使用产生的烟雾进行成像，并进行烟雾浓度判断。
17.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：用于对厨房燃气灶使用产生的烟雾进行成像，并进行烟雾等级判断。
18.根据权利要求1至9任意一项所述的烟雾视觉成像装置，其特征在于：还设置有图像处理模块，相机不断对目标成像区域进行成像，并将不同时刻采集的初始图像输送至图像处理模块进行油烟信息处理。
19.根据权利要求18所述的烟雾视觉成像装置，其特征在于：所述油烟信息处理为油烟动态区域提取、油烟静态区域提取、干扰物排除、去燥处理、油烟浓度判断、油烟等级判断中的至少一种。
20.根据权利要求18所述的烟雾视觉成像装置，其特征在于：图像处理模块以相机采集的初始图像作为基础进行处理，初始图像为灰度图，所采集的初始图像被序列化，图像处理模块依次通过后帧的初始图像与前帧的初始图像进行处理，得到各个后帧初始图像所处时刻的当前厨房油烟浓度；
每次通过后帧的初始图像与前帧的初始图像进行处理，得到后帧初始图像所处时刻的当前厨房油烟浓度的步骤过程如下：
(1)将后帧的初始图像与前帧的初始图像进行帧差处理得到帧差图像；
(2)以开运算方式对帧差图像进行去噪处理，得到去噪图像；
(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域；
(4)对初始感兴趣区域进行灰度均值计算和区域平滑度计算，将同时满足灰度均值和平滑度要求的区域作为下一步感兴趣区域，其它的区域作为干扰排除；
(5)对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级。
21.根据权利要求19所述的烟雾视觉成像装置，其特征在于：步骤(1)中，对采集到的初始图像进行帧差操作得到帧差图像具体是：
视觉检测模块根据接收到的初始图像的先后顺序，将后一帧图像与前一帧图像做差，得到动态区域高亮的帧差图像；
所述步骤(2)对帧差图像采用开运算进行去噪处理，得到去噪图像，具体通过如下方式进行：先对帧差图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接；再对腐蚀后的图像进行膨胀操作，恢复原帧差图像中的烟雾特征；
所述步骤(3)对去噪图像进行边缘检测，标记运动区域作为初始感兴趣区域，具体是：利用小波变换，检测帧差图像高亮区域的边缘并进行标记，将标记出的区域作为初始感兴趣区域；
所述步骤(4)具体是对每个初始感兴趣区域进行灰度均值、区域平滑度计算，得到每个初始感兴趣区域对应的灰度均值和灰度平滑度，将同时满足计算得到的灰度均值小于灰度阈值、灰度平滑度小于灰度平滑度阈值的初始感兴趣区域作为感兴趣区域，将其它初始感兴趣区域判定为干扰区域；
所述步骤(5)中对步骤(4)提取出的感兴趣区域分别进行灰度直方图统计，根据统计结果划分油烟浓度等级，具体是：
将感兴趣区域图像中的所有像素，按照灰度值的大小，统计其出现的频率；
再根据需要划分的浓度等级数量，取10为区间长度，统计每个灰度区间内的像素点个数，每个灰度区间内的像素点个数对应划分油烟为相应的浓度等级。
22.根据权利要求21所述的烟雾视觉成像装置，其特征在于：成像设备采集的目标区域以区域S表示，任意一帧初始图像为对应区域S的成像；
初始图像由m*n个像素构成，
后帧初始图像A的像素的灰度值以矩阵AH表示，AH＝{ahi,j}，ahi,j代表后帧初始图像A中第i行、第j列像素对应的灰度值，i为像素所在的行，j为像素所在的列，1≤i≤m，1≤j≤n；后帧初始图像A中第i行、第j列像素所在的子区域为ASi,j；
前帧初始图像B的像素的灰度值以矩阵BH表示，BH＝{bhi,j}，bhi,j代表前帧初始图像B中第i行、第j列像素对应的灰度值，前帧初始图像B中第i行、第j列像素所在的子区域为BSi,j；
帧差图像D的像素灰度值以矩阵DH表示，DH＝{dhi,j}＝{ahi,j-bhi,j}，dhi,j代表帧差图像D中第i行、第j列像素对应的灰度值，帧差图像D中第i行、第j列像素所在的子区域为DSi,j；
在帧差图像中，|dhi,j|＝0的区域，呈黑色；|dhi,j|≠0的区域呈高亮显示；
步骤(2)中对帧差图像进行腐蚀操作，具体包括如下步骤：
2-11，任意定义一个卷积核θ；
2-12，将卷积核θ与帧差图像进行卷积；在卷积核θ遍历帧差图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最小值p以及与卷积核中心重合的像素点C；
像素点C的灰度通过矩阵CH＝{ck,q}表示，k、q为像素点C的行序号和列序号，
获得在卷积核θ遍历帧差图像过程中得到的卷积结果最小值像素点矩阵P，最小值像素点矩阵P的灰度通过矩阵PH＝{pk,q}表示；
2-13将像素点矩阵P的灰度对应赋予像素点C，得到腐蚀图像；
步骤(2)中对腐蚀图像进行膨胀操作，具体包括如下步骤：
2-21，任意定义一个卷积核β；
2-22，将卷积核β与腐蚀图像进行卷积；在卷积核β遍历腐蚀图像时，提取卷积核所覆盖区域内卷积结果的像素灰度最大值o以及与卷积核中心重合的像素点R；
像素点R的灰度通过矩阵RH＝{rl,v}表示，l、v为像素点R的行序号和列序号，
获得在卷积核β遍历腐蚀图像过程中得到的卷积结果最大值像素点矩阵O，最大值像素点矩阵O的灰度通过矩阵OH＝{ol,v}表示；
2-13将最大值像素点矩阵O的灰度对应赋予像素点R，得到膨胀图像，得到的膨胀图像即为去噪图像；
所述步骤(3)通过如下步骤进行：
3-1，定义一个滤波器Y，滤波器为t*t矩阵，t为奇数；
3-2，使滤波器Y遍历去噪图像，计算滤波器在每一位置处的中心像素点所在的去噪图像的灰度值以及中心像素点邻域内其它像素点的灰度值，并根据公式(Ⅰ)计算滤波器在每一位置处的中心像素点的边缘检测值Xz，z为滤波器Y遍历去噪图像时的标记，
f、g为像素点的矩阵序号，1≤f≤t，1≤g≤t，e为滤波器在每一位置处的像素点所在的去噪图像的灰度值；α为权重系数，与滤波器位置相对应；
3-3，将滤波器在每一位置处的中心像素点边缘检测值Xz与中心像素点邻域的其它像素点的灰度值相减，并判断差值的绝对值是否大于阈值Δ；
统计大于阈值的数量，如果数量超过判定滤波器所处位置的中心像素点对应的去噪图像的像素点位置为边缘点，并进行标记；
3-4，滤波器遍历完整个去噪图像，得到所有标记的边缘点，获得初步感兴趣区域；
所述t为3。
23.一种厨房烟雾视觉成像装置，其特征在于：设置有如权利要求1至22任意一项的烟雾视觉成像装置。
CN201811151602.1A 2018-09-29 2018-09-29 一种烟雾视觉成像装置 Pending CN109089032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151602.1A CN109089032A (zh) 2018-09-29 2018-09-29 一种烟雾视觉成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151602.1A CN109089032A (zh) 2018-09-29 2018-09-29 一种烟雾视觉成像装置

Publications (1)

Publication Number Publication Date
CN109089032A true CN109089032A (zh) 2018-12-25

Family

ID=64843057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151602.1A Pending CN109089032A (zh) 2018-09-29 2018-09-29 一种烟雾视觉成像装置

Country Status (1)

Country Link
CN (1) CN109089032A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111426613A (zh) * 2020-03-19 2020-07-17 浙江大学宁波理工学院 基于机器视觉的过程控制实验装置及实验方法
CN114985150A (zh) * 2022-08-02 2022-09-02 山东大拇指喷雾设备有限公司 基于视觉感知的喷雾机精准喷雾的控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203722599U (zh) * 2014-01-06 2014-07-16 宁波方太厨具有限公司 一种触摸开关以及具有该触摸开关的吸油烟机
CN108534196A (zh) * 2018-03-08 2018-09-14 佛山市云米电器科技有限公司 降噪***与视觉检测***联动的厨房设备及其联动方法
CN108563991A (zh) * 2018-03-08 2018-09-21 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟浓度检测与干扰排除方法
CN108827967A (zh) * 2018-03-08 2018-11-16 佛山市云米电器科技有限公司 油烟图像采集方法及油烟浓度检测与干扰排除方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203722599U (zh) * 2014-01-06 2014-07-16 宁波方太厨具有限公司 一种触摸开关以及具有该触摸开关的吸油烟机
CN108534196A (zh) * 2018-03-08 2018-09-14 佛山市云米电器科技有限公司 降噪***与视觉检测***联动的厨房设备及其联动方法
CN108563991A (zh) * 2018-03-08 2018-09-21 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟浓度检测与干扰排除方法
CN108827967A (zh) * 2018-03-08 2018-11-16 佛山市云米电器科技有限公司 油烟图像采集方法及油烟浓度检测与干扰排除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111426613A (zh) * 2020-03-19 2020-07-17 浙江大学宁波理工学院 基于机器视觉的过程控制实验装置及实验方法
CN111426613B (zh) * 2020-03-19 2022-11-25 浙江大学宁波理工学院 基于机器视觉的过程控制实验装置及实验方法
CN114985150A (zh) * 2022-08-02 2022-09-02 山东大拇指喷雾设备有限公司 基于视觉感知的喷雾机精准喷雾的控制方法
CN114985150B (zh) * 2022-08-02 2022-11-01 山东大拇指喷雾设备有限公司 基于视觉感知的喷雾机精准喷雾的控制方法

Similar Documents

Publication Publication Date Title
CN101271517B (zh) 面部区域检测装置和方法
JP6125188B2 (ja) 映像処理方法及び装置
CN109084350A (zh) 一种具滤光功能视觉检测模块的油烟机及油烟浓度检测方法
CN109190624A (zh) 基于图像处理的厨房油烟浓度检测方法
CN108764058A (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
CN109447063A (zh) 一种基于图像处理的厨房油烟浓度检测方法
CN109028226A (zh) 基于双区域图像采集进行油烟浓度判断的油烟机
CN109028232A (zh) 一种带可移动视觉检测***的油烟机及油烟浓度检测方法
CN108596169A (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、***、产品、终端
CN109028237A (zh) 基于双区域图像采集进行风速调节的油烟机
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN108760590A (zh) 一种基于图像处理的厨房油烟浓度检测与干扰排除方法
CN109028230A (zh) 具手势控制视觉检测功能的炉具及油烟浓度检测方法
CN109028223A (zh) 具手势控制视觉检测功能的油烟机及油烟浓度检测方法
CN109028169A (zh) 一种具有熄火视觉控制功能的炉具及油烟浓度检测方法
CN108510544A (zh) 一种基于特征聚类的光条定位方法
CN109089032A (zh) 一种烟雾视觉成像装置
CN109389604A (zh) 一种厨房油烟图像检测干扰排除方法
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN109028231A (zh) 一种基于视觉手势控制的烟灶一体机及油烟浓度检测方法
CN106599779A (zh) 一种人耳识别方法
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、***及存储介质
CN109373377A (zh) 一种具有固定式视觉检测***的油烟机及油烟浓度检测方法
CN108827967A (zh) 油烟图像采集方法及油烟浓度检测与干扰排除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination