CN108742159A - 基于rgb-d相机的饮水机智能控制装置及其控制方法 - Google Patents
基于rgb-d相机的饮水机智能控制装置及其控制方法 Download PDFInfo
- Publication number
- CN108742159A CN108742159A CN201810306420.0A CN201810306420A CN108742159A CN 108742159 A CN108742159 A CN 108742159A CN 201810306420 A CN201810306420 A CN 201810306420A CN 108742159 A CN108742159 A CN 108742159A
- Authority
- CN
- China
- Prior art keywords
- rgb
- cup
- processing unit
- information storage
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000035622 drinking Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000007921 spray Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000003651 drinking water Substances 0.000 claims 1
- 235000020188 drinking water Nutrition 0.000 claims 1
- 238000007363 ring formation reaction Methods 0.000 claims 1
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J31/00—Apparatus for making beverages
- A47J31/44—Parts or details or accessories of beverage-making apparatus
- A47J31/46—Dispensing spouts, pumps, drain valves or like liquid transporting devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Food Science & Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于RGB‑D相机的饮水机智能控制装置及其控制方法，包括：RGB‑D相机、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元和RGB‑D相机提供工作电源；控制及信息储存/处理单元与RGB‑D相机电连接。本发明通过RGB‑D相机获得的取水容器（杯子）深度图像，提取饮水机取水容器（杯子）的口沿位置及其高度等特征信息，实现了智能控制饮水机的启动和关闭出水功能。
Description
技术领域
本发明属于饮水机技术领域，具体涉及一种饮水机的出水智能控制装置及其控制方法。
背景技术
随着饮水机的不断普及，广大消费者对饮水机的功能要求也越来越高。目前的饮水机必须通过按键操作完成定量取水，不能实现智能控制取水过程，给使用者带来了一定的不便。
发明内容
本发明解决的技术问题是提供一种饮水机出水智能控制装置及其控制方法，以RGB-D相机技术手段判断饮水机出水口下方是否有杯子存在，以及杯子口沿是否对准出水口，通过上述判断来控制打开或关闭饮水机的出水口水流，以及智能控制出水量。
为实现上述控制装置及其控制方法，本发明所采取的技术方案如下：
一种基于RGB-D相机的饮水机智能控制装置，所述基于RGB-D相机的饮水机出水智能控制装置包括：RGB-D相机、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元和RGB-D相机提供工作电源；控制及信息储存/处理单元与RGB-D相机电连接。
进一步地，上述基于RGB-D相机的饮水机智能控制装置，RGB-D相机固定安置在饮水机机体上、临近饮水机出水口；RGB-D相机设置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
进一步地，上述基于RGB-D相机的饮水机智能控制装置，RGB-D相机中包括彩色相机和深度相机：彩色相机拍摄RGB彩色图像，深度相机拍摄深度图像；其中的深度相机的工作原理是以下三种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）TOF飞行时间测量原理。
进一步地，上述基于RGB-D相机的饮水机智能控制装置，其特征在于；还包括辅助照明单元，电源为其提供工作电源；辅助照明单元固定安装在目标区域上部的饮水机机体上。
基于RGB-D相机的饮水机智能控制方法，包括以下步骤：
S1.建立目标区域的配准后背景模型：目标区域没有外来物体,控制及信息储存/处理单元通过RGB-D相机同步获得目标区域的背景彩色图像和深度图像并加以处理，将图像转换为背景点云图像，对彩色图像和深度图像进行配准，建立彩色图像像素点和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；控制及信息储存/处理单元根据配准得出的像素位置和深度变换模型，配准方法包括：采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这两帧图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像；
根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机的参数，建立目标区域的配准后背景模型，控制及信息储存/处理单元存储该配准后背景模型；
S2.提取目标区域配准后前景深度图像：目标区域放置外来物体，饮水机出水口没有出水的情况下，控制及信息储存/处理单元通过RGB-D相机同步实时获得目标区域的彩色图像和深度图像，对彩色图像和深度图像做噪声阈值处理、平滑处理等，进行S1步骤所述的配准，实现前景和背景分割，选择有效算法提取前景轮廓，即目标区域外来物体的轮廓，选择有效算法提取外来物体的特征点，获得外来物体诸如局部区域像素高度极点：局部区域极高点、局部区域极低点等，像素最高点、像素最低点等特征点的三维坐标信息；
S3.判断配准后前景深度图像中外来物体是否是杯子：判断依据为配准后前景深度图像中外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点或局部区域像素极高点，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，3）所述像素点全集合不包含所述子集中那些在xy平面上投影点落在所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值；
所述子集中的像素点包括那些在提取配准后前景深度图像过程中，运用有效算法进行消除噪声、平滑处理等手段通过数学拟合补上的奇点，奇点的像素点数量在所述子集中所占的比例不超过一定的阈值；
如果所述外来物体的配准后深度图像满足上述特征，提取的配准后前景深度图像中的外来物体则被确定为具有完整杯子口沿，具有一定深度的杯子；
控制及信息储存/处理单元从杯子的配准后深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数，控制及信息储存/处理单元判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环边缘最近的距离超过某一预定值L；
进一步，控制及信息储存/处理单元根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S5.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L，即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元控制RGB-D相机以每秒一定帧数的速度同步实时获得所述监控区域的彩色图像和深度图像，并实时对所述监控区域彩色和深度图像加以处理、配准，分析、计算出xy平面上闭合环内部点对应的配准后深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的配准后深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值；
控制及信息储存/处理单元处理、配准，分析、计算杯子中水位平面的彩色图像和深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S7.完成用杯子取水过程：当控制及信息储存/处理单元通过对RGB-D相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准，分析、计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄彩色图像和深度图像；
S8.更新目标区域的配准后背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元启动RGB-D相机同步获得多帧目标区域的彩色图像和深度图像，根据S1步骤，对目标区域再次建立更新的配准后背景模型，并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的配准后背景模型。
进一步地，上述的基于RGB-D相机的饮水机出水智能控制方法，所述控制及信息储存/处理单元根据预设的所述目标区域的照明条件，判断开启辅助照明单元，用以改善目标区域的光照明条件，提高拍摄彩色图像和深度图像的图像质量，例如：清晰度和细节分辨能力等；开启辅助照明单元后，同样地实施上述S1-S8步骤，其中在S7步骤完成后，控制及信息储存/处理单元发出指令，关闭辅助照明单元。
有益效果：本发明实现饮水机取水过程智能化，根据使用者的不同的取水量需求，自动出水，防止溢水；同时有效地避免了操作不当导致的误出水。
本发明使用RGB-D相机，能够保证获得高分辨率的深度图像，有助于深度图像的识别。
附图说明
图1为本发明基于RGB-D相机的饮水机智能控制装置中无辅助照明单元的模块示意图。
图2为本发明基于RGB-D相机的饮水机智能控制装置的饮水机结构示意图。
图3为本发明基于RGB-D相机的饮水机智能控制装置中有辅助照明单元的模块示意图。
图4为本发明基于RGB-D相机的饮水机智能控制方法的步骤图。
图5 为本发明基于RGB-D相机的饮水机智能控制方法中无辅助照明单元的流程图。
具体实施方式
一种基于RGB-D相机的饮水机智能控制装置，所述基于RGB-D相机的饮水机出水智能控制装置1包括：RGB-D相机2、控制及信息储存/处理单元3和电源4；电源4的输出端连接控制及信息储存/处理单元3的电源输入端，用于直接或间接为控制及信息储存/处理单元3和RGB-D相机2提供工作电源；控制及信息储存/处理单元3与RGB-D相机2电连接，如图1所示。
上述的基于深度相机的饮水机智能控制装置，所述RGB-D相机中包括彩色相机和深度相机：彩色相机拍摄RGB彩色图像，深度相机拍摄深度图像；其中的深度相机的工作原理是以下三种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）TOF飞行时间测量原理。
上述的基于RGB-D相机的饮水机智能控制装置，饮水机出水口下方，使用者取水时杯子可能出现的区域为RGB-D相机2拍摄彩色图像和深度图像的目标区域；目标区域内包括多个和饮水机相对位置固定的标志点，作为三维坐标系标定点，用于通过获得的彩色图像和深度图像为目标区域背景建模；RGB-D相机2固定安置在目标区域的上部饮水机机体上、临近饮水机出水口，其位置使得RGB-D相机2既能够获取整个目标区域的彩色图像和深度图像，又不妨碍饮水机向杯子里注水，RGB-D相机2相对于饮水机位置固定。
图2所示为所述基于RGB-D相机的饮水机智能控制装置涉及的饮水机示意图；其中：ABCD为饮水机取水区域的底座杯子放置的平面，P为出水口，o-xyz为饮水机所在的三维空间坐标系，ABCD在xy平面上。
上述的基于RGB-D相机的饮水机智能控制装置，还包括辅助照明单元5，如图3所示，电源4为其提供工作电源；辅助照明单元5固定安装在目标区域的上部饮水机机体上，即能照射到目标区域，又不妨碍饮水机向杯子里注水的地方。
上述的基于RGB-D相机的饮水机智能控制方法，包括以下步骤，如图4所示：
S1.建立目标区域的配准后背景模型：目标区域没有外来物体,控制及信息储存/处理单元通过RGB-D相机同步获得目标区域的背景彩色图像和深度图像并加以处理，将图像转换为背景点云图像，对彩色图像和深度图像进行配准，建立彩色图像信息和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；控制及信息储存/处理单元根据配准得出的像素位置和深度变换模型，配准方法包括：采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这彩色图像和深度图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像；
根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机的参数，建立目标区域的配准后背景模型，控制及信息储存/处理单元存储该配准后背景模型；
S2.提取目标区域配准后前景深度图像：目标区域放置外来物体，饮水机出水口没有出水的情况下，控制及信息储存/处理单元通过RGB-D相机同步实时获得目标区域的彩色图像和深度图像，对彩色图像和深度图像做噪声阈值处理（例如：中值滤波方法）、平滑处理等，进行S1步骤所述的配准，实现前景和背景分割，选择使用有效算法（例如：分水岭、种子搜索、背景消减、二值化算法等），提取前景的轮廓，即目标区域所述外来物体的轮廓，选择有效的算法（例如：ORB, SIFT, FAST, MSER, STAR等），对所述外来物体的特征点进行提取，获得所述外来物体诸如局部区域像素高度极点（局部区域极高点、局部区域极低点等），像素最高点、像素最低点等特征点的三维坐标信息；
S3.判断配准后前景深度图像中外来物体是否是杯子：判断依据为配准后前景深度图像中外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点或局部区域像素极高点，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，例如：dW=2mm，3）所述像素点全集合不包含所述子集中那些在xy平面上投影点落在所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值，例如： 所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度和所述子集中像素点在三维坐标系z坐标轴上的高度的差值大于20mm；
所述子集中的像素点包括那些在提取配准后前景深度图像过程中，运用有效算法进行消除噪声、平滑处理等手段通过数学拟合补上的奇点，奇点的像素点数量在所述子集中所占的比例不超过一定的阈值，例如：小于5%；
如果所述外来物体的配准后深度图像满足上述特征，提取的配准后前景深度图像中的外来物体则被确定为具有完整杯子口沿，具有一定深度的杯子；
进一步，控制及信息储存/处理单元3从杯子的配准后深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数，控制及信息储存/处理单元3判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环边缘最近的距离超过某一预定值L，例如：L=5mm；
进一步，控制及信息储存/处理单元3根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
例如：如果出水口正对着杯子口沿的中心区域，则给杯子注入的预设水位高度距离杯子口沿高度相差10mm；如果出水口在xy平面上的投影位于所述的闭合环的边缘和中心区域的中间位置，则给杯子注入的预设水位高度距离杯子口沿高度相差30mm；以此类推，如果出水口越是远离杯子口沿的中心区域，则给杯子注入的水位高度越低，直至出水口在xy平面上的投影，离开杯子口沿在xy平面上投影形成的闭合环的最近距离小于某设定值L（假设为5mm），则认为出水口流出的水流不能安全地全部落入杯子中，在此情况下，所述控制及信息储存/处理单元不会开启出水口向杯子注水；
S5.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元3确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L（例如：L=5mm），即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元3发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，所述控制及信息储存/处理单元3控制所述RGB-D相机以每秒一定帧数的速度同步实时获得所述监控区域的彩色图像和深度图像，并实时对所述监控区域的彩色图像和深度图像加以处理、配准，分析、计算出xy平面上闭合环内部点对应的配准后深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的配准后深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值，
所述控制及信息储存/处理单元3处理、配准，分析、计算杯子中水位平面的彩色图像和深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S7.完成用杯子取水过程：当控制及信息储存/处理单元3通过对RGB-D相机获得的同步实时所述监控区域彩色图像和深度图像的处理、配准，分析、计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元3发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄彩色图像和深度图像；
S8.更新目标区域的配准后背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元3启动RGB-D相机同步获得多帧目标区域的彩色图像和深度图像，根据S1步骤，对目标区域再次建立更新的配准后背景模型，并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元3中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的配准后背景模型。
以上所述饮水机取水过程的实施流程图如图5所示。
上述的基于RGB-D相机的饮水机智能控制方法，所述控制及信息储存/处理单元3根据预设的所述目标区域的不同的光照明条件，例如：外界光太杂，外界光不稳定等，判断开启所述辅助照明单元5，用以改善目标区域的光照明条件，提高获得的图像质量，例如：清晰度和细节分辨能力等；开启所述辅助照明单元5后，同样地实施所述S1-S8步骤，其中在S7步骤完成后，所述控制及信息储存/处理单元3发出指令，关闭所述辅助照明单元5。
Claims (6)
1.基于RGB-D相机的饮水机智能控制装置，其特征在于：所述基于RGB-D相机的饮水机出水智能控制装置（1）包括：RGB-D相机（2）、控制及信息储存/处理单元（3）和电源（4）；电源（4）的输出端连接控制及信息储存/处理单元（3）的电源输入端，用于直接或间接为控制及信息储存/处理单元（3）和RGB-D相机（2）提供工作电源；控制及信息储存/处理单元（3）与RGB-D相机（2）电连接。
2.根据权利要求1所述的基于RGB-D相机的饮水机智能控制装置，其特征在于：RGB-D相机（2）固定安置在饮水机机体上、临近饮水机出水口；RGB-D相机（2）设置拍摄的目标区域，目标区域内包括多个位于饮水机上固定的标志点，作为建立三维坐标系标定点。
3.根据权利要求1或2所述的基于RGB-D相机的饮水机智能控制装置，其特征在于，RGB-D相机中包括彩色相机和深度相机：彩色相机拍摄RGB彩色图像，深度相机拍摄深度图像；其中的深度相机的工作原理是以下三种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）TOF飞行时间测量原理。
4.根据权利要求1所述的基于RGB-D相机的饮水机智能控制装置，其特征在于；还包括辅助照明单元（5），电源（4）为其提供工作电源；辅助照明单元（5）固定安装在目标区域上部的饮水机机体上。
5.基于RGB-D相机的饮水机智能控制方法，特征在于：包括以下步骤：
S1.建立目标区域的配准后背景模型：目标区域没有外来物体,控制及信息储存/处理单元（3）通过RGB-D相机（2）同步获得目标区域的背景彩色图像和深度图像并加以处理，将图像转换为背景点云图像，对彩色图像和深度图像进行配准，建立彩色图像像素点和深度图像深度信息之间的对应关系，从而得出彩色图像的像素位置和深度图像变换模型；控制及信息储存/处理单元（3）根据配准得出的像素位置和深度变换模型，配准方法包括：采用基于特征点匹配的配准，其中用尺度不变特征变换算法(SIFT)或者其他相关的特征点算法来检测RGB-D相机同步获得的彩色图像和深度图像的特征点，并对上述图像的特征点进行匹配；用随机一致性算法(RANSAC)或者其他算法去除上述图像错误的匹配点对，得到正确匹配的特征点对；根据正确匹配的特征点对的位置和深度信息，得到它们之间的对应关系，计算出这两帧图像之间的像素位置和深度变换模型，从而获得更高分辨率的配准后深度图像；
根据已知的标志点和出水口的位置三维坐标信息以及RGB-D相机（2）的参数，建立目标区域的配准后背景模型，控制及信息储存/处理单元（3）存储该配准后背景模型；
S2.提取目标区域配准后前景深度图像：目标区域放置外来物体，饮水机出水口没有出水的情况下，控制及信息储存/处理单元（3）通过RGB-D相机（2）同步实时获得目标区域的彩色图像和深度图像，对彩色图像和深度图像做噪声阈值处理、平滑处理等，进行S1步骤所述的配准，实现前景和背景分割，选择有效算法提取前景轮廓，即目标区域外来物体的轮廓，选择有效算法提取外来物体的特征点，获得外来物体诸如局部区域像素高度极点：局部区域极高点、局部区域极低点等，像素最高点、像素最低点等特征点的三维坐标信息；
S3.判断配准后前景深度图像中外来物体是否是杯子：判断依据为配准后前景深度图像中外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点或局部区域像素极高点，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，3）所述像素点全集合不包含所述子集中那些在xy平面上投影点落在所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值；
所述子集中的像素点包括那些在提取配准后前景深度图像过程中，运用有效算法进行消除噪声、平滑处理等手段通过数学拟合补上的奇点，奇点的像素点数量在所述子集中所占的比例不超过一定的阈值；
如果所述外来物体的配准后深度图像满足上述特征，提取的配准后前景深度图像中的外来物体则被确定为具有完整杯子口沿，具有一定深度的杯子；
控制及信息储存/处理单元（3）从杯子的配准后深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的配准后背景模型及出水口在三维坐标系中的位置参数，控制及信息储存/处理单元（3）判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环边缘最近的距离超过某一预定值L；
进一步，控制及信息储存/处理单元（3）根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S5.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元（3）确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L，即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元（3）发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元（3）控制RGB-D相机（2）以每秒一定帧数的速度同步实时获得所述监控区域的彩色图像和深度图像，并实时对所述监控区域彩色和深度图像加以处理、配准，分析、计算出xy平面上闭合环内部点对应的配准后深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的配准后深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值；
控制及信息储存/处理单元（3）处理、配准，分析、计算杯子中水位平面的彩色图像和深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S7.完成用杯子取水过程：当控制及信息储存/处理单元（3）通过对RGB-D相机（2）获得的同步实时所述监控区域彩色图像和深度图像的处理、配准，分析、计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元（3）发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄彩色图像和深度图像；
S8.更新目标区域的配准后背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元（3）启动RGB-D相机（2）同步获得多帧目标区域的彩色图像和深度图像，根据S1步骤，对目标区域再次建立更新的配准后背景模型，并用该新建立的更新配准后背景模型替代控制及信息储存/处理单元（3）中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的配准后背景模型。
6.根据权利要求5所述的基于RGB-D相机的饮水机智能控制方法，其特征在于：控制及信息储存/处理单元（3）根据预设的所述目标区域的照明条件，判断开启辅助照明单元（5），用以改善目标区域的光照明条件，提高拍摄彩色图像和深度图像的清晰度和细节分辨能力等图像质量；开启辅助照明单元（5）后，实施步骤包括权利要求5中S1-S8，其中在S7步骤完成后，控制及信息储存/处理单元（3）发出指令，关闭辅助照明单元（5）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810306420.0A CN108742159B (zh) | 2018-04-08 | 2018-04-08 | 基于rgb-d相机的饮水机智能控制装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810306420.0A CN108742159B (zh) | 2018-04-08 | 2018-04-08 | 基于rgb-d相机的饮水机智能控制装置及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108742159A true CN108742159A (zh) | 2018-11-06 |
| CN108742159B CN108742159B (zh) | 2021-01-15 |
Family
ID=63981105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810306420.0A Active CN108742159B (zh) | 2018-04-08 | 2018-04-08 | 基于rgb-d相机的饮水机智能控制装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108742159B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717749A (zh) * | 2018-11-30 | 2019-05-07 | 青岛海尔智能技术研发有限公司 | 一种智能注水装置及方法 |
| CN110211093A (zh) * | 2019-04-30 | 2019-09-06 | 上海工程技术大学 | 一种用于自动饮水机的出水控制方法 |
| CN111568196A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 智能出水方法、***及存储介质 |
| CN111568244A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568232A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568211A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568237A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568239A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568212A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568230A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568236A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568234A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 水面检测方法、饮水机及计算机可读存储介质 |
| CN111568238A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568228A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 净饮水机控制方法、净饮水机及可读存储介质 |
| CN111568235A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568220A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568225A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111642975A (zh) * | 2020-02-29 | 2020-09-11 | 佛山市云米电器科技有限公司 | 出水控制方法、饮水机及计算机可读存储介质 |
| CN111820753A (zh) * | 2019-04-18 | 2020-10-27 | 佛山市美的清湖净水设备有限公司 | 饮水机及其控制方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654481A (zh) * | 2015-12-29 | 2016-06-08 | 深圳市未来媒体技术研究院 | 基于深度相机的血管外渗漏情况的检测*** |
| CN107103311A (zh) * | 2017-05-31 | 2017-08-29 | 西安工业大学 | 一种连续手语的识别方法及其装置 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN107273866A (zh) * | 2017-06-26 | 2017-10-20 | 国家电网公司 | 一种基于监控***的人体异常行为识别方法 |
| CN107369158A (zh) * | 2017-06-13 | 2017-11-21 | 南京邮电大学 | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 |
| CN107456086A (zh) * | 2017-08-25 | 2017-12-12 | 深圳市浮思特科技有限公司 | 基于视觉检测的出水智能检测模组和出水控制方法 |
| CN107578053A (zh) * | 2017-09-25 | 2018-01-12 | 重庆虚拟实境科技有限公司 | 轮廓提取方法及装置、计算机装置及可读存储介质 |
| CN107730526A (zh) * | 2017-09-25 | 2018-02-23 | 中国科学院声学研究所 | 一种鱼群数量的统计方法 |
| CN107872644A (zh) * | 2016-09-23 | 2018-04-03 | 亿阳信通股份有限公司 | 视频监控方法及装置 |
-
2018
- 2018-04-08 CN CN201810306420.0A patent/CN108742159B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654481A (zh) * | 2015-12-29 | 2016-06-08 | 深圳市未来媒体技术研究院 | 基于深度相机的血管外渗漏情况的检测*** |
| CN107872644A (zh) * | 2016-09-23 | 2018-04-03 | 亿阳信通股份有限公司 | 视频监控方法及装置 |
| CN107240129A (zh) * | 2017-05-10 | 2017-10-10 | 同济大学 | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 |
| CN107103311A (zh) * | 2017-05-31 | 2017-08-29 | 西安工业大学 | 一种连续手语的识别方法及其装置 |
| CN107369158A (zh) * | 2017-06-13 | 2017-11-21 | 南京邮电大学 | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 |
| CN107273866A (zh) * | 2017-06-26 | 2017-10-20 | 国家电网公司 | 一种基于监控***的人体异常行为识别方法 |
| CN107456086A (zh) * | 2017-08-25 | 2017-12-12 | 深圳市浮思特科技有限公司 | 基于视觉检测的出水智能检测模组和出水控制方法 |
| CN107578053A (zh) * | 2017-09-25 | 2018-01-12 | 重庆虚拟实境科技有限公司 | 轮廓提取方法及装置、计算机装置及可读存储介质 |
| CN107730526A (zh) * | 2017-09-25 | 2018-02-23 | 中国科学院声学研究所 | 一种鱼群数量的统计方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717749A (zh) * | 2018-11-30 | 2019-05-07 | 青岛海尔智能技术研发有限公司 | 一种智能注水装置及方法 |
| CN111820753A (zh) * | 2019-04-18 | 2020-10-27 | 佛山市美的清湖净水设备有限公司 | 饮水机及其控制方法和装置 |
| CN110211093A (zh) * | 2019-04-30 | 2019-09-06 | 上海工程技术大学 | 一种用于自动饮水机的出水控制方法 |
| CN111568212A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568196A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 智能出水方法、***及存储介质 |
| CN111568211A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568220A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568232A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568239A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568230A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568236A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568234A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 水面检测方法、饮水机及计算机可读存储介质 |
| CN111568238A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568228A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 净饮水机控制方法、净饮水机及可读存储介质 |
| CN111568235A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568237A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568225A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111642975A (zh) * | 2020-02-29 | 2020-09-11 | 佛山市云米电器科技有限公司 | 出水控制方法、饮水机及计算机可读存储介质 |
| CN111568244A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108742159B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108742159A (zh) | 基于rgb-d相机的饮水机智能控制装置及其控制方法 | |
| CN108921883A (zh) | 基于两位置深度图像识别的饮水机控制装置及其控制方法 | |
| CN108427940A (zh) | 基于深度相机的饮水机出水智能控制装置及其控制方法 | |
| CN107563347B (zh) | 一种基于tof相机的客流计数方法和装置 | |
| CN110211093A (zh) | 一种用于自动饮水机的出水控制方法 | |
| CN103473542B (zh) | 多线索融合的目标跟踪方法 | |
| CN104299011A (zh) | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 | |
| CN109344724A (zh) | 一种证件照自动背景替换方法、***及服务器 | |
| CN104299220B (zh) | 一种对Kinect深度图像中的空洞进行实时填充的方法 | |
| CN109167928A (zh) | 基于显示面板缺陷检测的快速自动曝光方法及*** | |
| CN105160328B (zh) | 一种基于二值化图像的人体轮廓识别方法 | |
| CN110276265A (zh) | 基于智能三维立体监控设备的行人监测方法及装置 | |
| CN103971135A (zh) | 基于头肩深度信息特征的人体目标检测方法 | |
| CN106127732B (zh) | 微波图像中人体性别检测方法和装置 | |
| CN110927174B (zh) | 一种基于嵌入式模块的白酒分段检测装置及其方法 | |
| CN109270853A (zh) | 一种智能生态水资源管理***的工作方法 | |
| CN109612993A (zh) | 一种零件质量检测***及方法 | |
| CN110210292A (zh) | 一种基于深度学习的目标识别方法 | |
| CN108230290A (zh) | 基于立体视觉的生猪体尺检测方法 | |
| CN106657937A (zh) | 一种虚拟变换衣服颜色的装置及其实现方法 | |
| CN107168117B (zh) | 一种利用图像对酿酒蒸馏工艺甑料控制的方法 | |
| CN105631868A (zh) | 一种基于图像分类的深度信息提取方法 | |
| CN108814444A (zh) | 一种扫地机器人腿部跟随清扫方法及装置 | |
| CN107680076A (zh) | 基于显著性区域的立体图像舒适度对比度范围测量方法 | |
| CN106131448A (zh) | 可自动调节成像亮度的三维立体视觉*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191211 Address after: 214031 No. 32 Wuai North Road, Liangxi District, Wuxi City, Jiangsu Province Applicant after: Xu Yu Address before: 311800 Jiefang Road 698, Dian Kou Town, Zhuji City, Shaoxing, Zhejiang Applicant before: Zhejiang an Jing Intelligent Technology Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |