CN108427940B - 基于深度相机的饮水机出水智能控制装置及其控制方法 - Google Patents
基于深度相机的饮水机出水智能控制装置及其控制方法 Download PDFInfo
- Publication number
- CN108427940B CN108427940B CN201810299075.2A CN201810299075A CN108427940B CN 108427940 B CN108427940 B CN 108427940B CN 201810299075 A CN201810299075 A CN 201810299075A CN 108427940 B CN108427940 B CN 108427940B
- Authority
- CN
- China
- Prior art keywords
- water
- cup
- information storage
- processing unit
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J31/00—Apparatus for making beverages
- A47J31/44—Parts or details or accessories of beverage-making apparatus
- A47J31/4403—Constructional details
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J31/00—Apparatus for making beverages
- A47J31/44—Parts or details or accessories of beverage-making apparatus
- A47J31/46—Dispensing spouts, pumps, drain valves or like liquid transporting devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度相机的饮水机出水智能控制装置及其控制方法，包括：深度相机、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元和深度相机提供工作电源；控制及信息储存/处理单元与深度相机电连接。本发明通过深度相机获得的取水容器（杯子）深度图像，提取饮水机取水容器（杯子）的口沿位置及其高度等特征信息，实现了智能控制饮水机的启动和关闭出水功能。
Description
技术领域
本发明属于饮水机技术领域，具体涉及一种饮水机的出水智能控制装置及其控制方法。
背景技术
随着饮水机的不断普及，广大消费者对饮水机的功能要求也越来越高。目前的饮水机必须通过按键操作完成定量取水，不能实现智能控制取水过程，给使用者带来了一定的不便。
发明内容
本发明解决的技术问题是提供一种饮水机出水智能控制装置及其控制方法，以深度相机技术手段判断饮水机出水口下方是否有杯子存在，以及杯子口沿是否对准出水口，通过上述判断来控制打开或关闭饮水机的出水口水流，以及智能控制出水量。
为实现上述控制装置及其控制方法，本发明所采取的技术方案如下：
基于深度相机的饮水机出水智能控制装置，所述基于深度相机的饮水机出水智能控制装置包括：深度相机、控制及信息储存/处理单元和电源；电源的输出端连接控制及信息储存/处理单元的电源输入端，用于直接或间接为控制及信息储存/处理单元和深度相机提供工作电源；控制及信息储存/处理单元与深度相机电连接。
进一步地，上述的基于深度相机的饮水机出水智能控制装置，饮水机出水口下方，使用者取水时杯子可能出现的区域为深度相机获取深度图像的目标区域；目标区域内包括多个和饮水机相对位置固定的标志点，作为三维坐标系标定点，用于通过获得的深度图像为目标区域背景建模；深度相机固定安置在目标区域上部的饮水机机体上、临近饮水机出水口，其位置使得深度相机既能够获取整个目标区域的深度图像，又不妨碍饮水机向杯子里注水，深度相机相对于饮水机位置固定。
进一步地，上述的基于深度相机的饮水机出水智能控制装置，所述深度相机的工作原理是以下三种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）TOF飞行时间测量原理。
进一步地，上述的基于深度相机的饮水机出水智能控制装置，还包括辅助照明单元，电源为其提供工作电源；辅助照明单元固定安装在目标区域上部的饮水机机体上，即能照射到目标区域，又不妨碍饮水机向杯子里注水的地方。
基于深度相机的饮水机出水智能控制方法，包括以下步骤：
S1.建立目标区域的背景模型：目标区域中没有外来物体情况下,所述控制及信息储存/处理单元通过深度相机获得目标区域的多帧背景深度图像，并加以处理，将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息，以及深度相机的参数，如：相机焦距等，建立所述目标区域的背景模型，所述控制及信息储存/处理单元存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置有外来物体，饮水机出水口没有出水的情况下，在所述控制及信息储存/处理单元的控制指令下，通过所述深度相机获得多帧目标区域的实时深度图像，对深度图像进行噪声阈值处理（例如：中值滤波方法）、平滑处理等，进行前景和背景分割，选择使用有效算法（例如：分水岭、种子搜索、背景消减、二值化算法等），提取前景的轮廓，即目标区域所述外来物体的轮廓，选择有效的算法（例如：ORB,SIFT, FAST, MSER, STAR等），对所述外来物体的特征点进行提取，获得所述外来物体诸如最高像素点、最低像素点、最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息；
S3.判断前景深度图像中所述外来物体是否是杯子：判断依据为前景深度图像中所述外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点，并且所述子集中所有像素点在三维坐标系z坐标轴上的高度值和最高像素点在三维坐标系z坐标轴上的高度值相差在很小的范围dH内，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，3）所述像素点全集合（不包含所述子集）中哪些在xy平面上投影点落在所述的闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值；
以上所述子集中的像素点包括那些在提取前景的深度图像过程中，运用有效的算法进行消除噪声，平滑处理等手段中通过拟合（例如：数学的插值）补上一些奇点，只要是这些奇点的像素点数量在所述子集中所占的比例不超过一定的阈值；
如果所述外来物体的深度图像满足上述特征，提取的前景深度图像中的外来物体则被确定为：具有完整杯子口沿，具有一定深度的杯子；
进一步，所述控制及信息储存/处理单元从杯子的深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，所述控制及信息储存/处理单元判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L；
进一步，所述控制及信息储存/处理单元根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S5.饮水机向杯子里注水：通过以上的步骤，所述控制及信息储存/处理单元确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L，即：饮水机出水口的确对准了杯子的口沿，所述控制及信息储存/处理单元发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，所述控制及信息储存/处理单元控制所述深度相机以每秒一定帧数的速度实时获得所述监控区域的深度图像，并实时对所述监控区域深度图像加以处理，分析、计算出xy平面上闭合环内部点对应的深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值；
所述控制及信息储存/处理单元处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S7.完成用杯子取水过程：所述当控制及信息储存/处理单元通过对所述深度相机获得的实时所述监控区域深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，所述控制及信息储存/处理单元发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S8.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，所述控制及信息储存/处理单元启动所述深度相机获得多帧目标区域的深度图像，对目标区域再次建立更新的背景模型，并用该新建立的更新背景模型替代所述控制及信息储存/处理单元中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
进一步地，上述的基于深度相机的饮水机出水智能控制方法，所述控制及信息储存/处理单元根据预设的所述目标区域的照明条件，判断开启所述辅助照明单元，用以改善目标区域的光照明条件，提高获得的深度图像的图像质量，例如：清晰度和细节分辨能力等；开启辅助照明单元后，同样地实施上述S1-S8步骤，其中在S7步骤完成后，控制及信息储存/处理单元发出指令，关闭辅助照明单元。
有益效果：本发明实现饮水机取水过程智能化，根据使用者的不同的取水量需求，自动出水，防止溢水；同时有效地避免了操作不当导致的误出水。
附图说明
图1为本发明基于深度相机的饮水机出水智能控制装置中无辅助照明单元的模块示意图。
图2为本发明基于深度相机的饮水机出水智能控制装置的饮水机结构示意图。
图3为本发明基于深度相机的饮水机出水智能控制装置中有辅助照明单元的模块示意图。
图4为本发明基于深度相机的饮水机出水智能控制方法的步骤图。
图5为本发明基于深度相机的饮水机出水智能控制方法中无辅助照明单元的流程图。
图6为本发明基于深度相机的饮水机出水智能控制方法中有辅助照明单元的流程图。
实施方式
基于深度相机的饮水机出水智能控制装置，所述基于深度相机的饮水机出水智能控制装置1包括：深度相机2、控制及信息储存/处理单元3和电源4；电源4的输出端连接控制及信息储存/处理单元3的电源输入端，用于直接或间接为控制及信息储存/处理单元3和深度相机2提供工作电源；控制及信息储存/处理单元3与深度相机2电连接，如图1所示。
上述的基于深度相机的饮水机出水智能控制装置，饮水机出水口下方，使用者取水时杯子可能出现的区域为深度相机2获取深度图像的目标区域；目标区域内包括多个和饮水机相对位置固定的标志点，作为三维坐标系标定点，用于通过获得的深度图像为目标区域背景建模；深度相机2固定安置在目标区域的上部饮水机机体上、临近饮水机出水口，其位置使得深度相机2既能够获取整个目标区域的深度图像，又不妨碍饮水机向杯子里注水，深度相机2相对于饮水机位置固定。
图2所示为所述基于深度相机的饮水机出水智能控制装置涉及的饮水机示意图；其中：ABCD为饮水机取水区域的底座杯子放置的平面，P为出水口，o-xyz为饮水机所在的三维空间坐标系，ABCD在xy平面上。
上述的基于深度相机的饮水机出水智能控制装置，所述深度相机2的工作原理是以下三种原理中的一种：I）结构光测量原理、II）双目视差测量原理、III）TOF飞行时间测量原理。
上述的基于深度相机的饮水机出水智能控制装置，还包括辅助照明单元5，如图3所示，电源4为其提供工作电源；辅助照明单元5固定安装在目标区域的上部饮水机机体上，即能照射到目标区域，又不妨碍饮水机向杯子里注水的地方。
上述的基于深度相机的饮水机出水智能控制方法，包括以下步骤，如图4所示：
S1.建立目标区域的背景模型：目标区域中没有外来物体情况下,所述控制及信息储存/处理单元3通过深度相机获得目标区域的多帧背景深度图像，并加以处理将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息，以及深度相机2的参数，如：相机焦距等，建立所述目标区域的背景模型，所述控制及信息储存/处理单元存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置有外来物体，饮水机出水口没有出水的情况下，在所述控制及信息储存/处理单元3的控制指令下，通过所述深度相机2获得多帧目标区域的实时深度图像，对深度图像进行噪声阈值处理（例如：中值滤波方法）、平滑处理等，进行前景和背景分割，选择使用有效算法（例如：分水岭、种子搜索、背景消减、二值化算法等），提取前景的轮廓，即目标区域所述外来物体的轮廓，选择有效的算法（例如：ORB,SIFT, FAST, MSER, STAR等），对所述外来物体的特征点进行提取，获得所述外来物体诸如：最高像素点、最低像素点、最左像素点、最右像素点、最前像素点、最后像素点等特征点的三维坐标信息；
S3.判断前景深度图像中所述外来物体是否是杯子：判断依据为前景深度图像中所述外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点，并且所述子集中所有像素点在三维坐标系z坐标轴上的高度值和最高像素点在三维坐标系z坐标轴上的高度值相差在很小的范围dH内,例如：dH=3mm，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，例如：dW=2mm，3）所述像素点全集合（不包含所述子集）中哪些在xy平面上投影点落在所述的闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值，例如： 所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度和所述子集中像素点在三维坐标系z坐标轴上的高度的差值大于20mm；
以上所述子集中的像素点包括那些在提取前景的深度图像过程中，运用有效的算法进行消除噪声，平滑处理等手段中通过拟合（例如：数学的插值）补上一些奇点，只要是这些奇点的像素点数量在所述子集中所占的比例不超过一定的阈值，例如：小于5%；
如果所述外来物体的深度图像满足上述特征，提取的前景深度图像中的外来物体则被确定为：具有完整杯子口沿，具有一定深度的杯子，
进一步，所述控制及信息储存/处理单元从杯子的深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，所述控制及信息储存/处理单元判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L，例如：L=5mm；
进一步，所述控制及信息储存/处理单元根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
例如：如果出水口正对着杯子口沿的中心区域，则给杯子注入的预设水位高度距离杯子口沿高度相差10mm；如果出水口在xy平面上的投影位于所述的闭合环的边缘和中心区域的中间位置，则给杯子注入的预设水位高度距离杯子口沿高度相差30mm；以此类推，如果出水口越是远离杯子口沿的中心区域，则给杯子注入的水位高度越低，直至出水口在xy平面上的投影，离开杯子口沿在xy平面上投影形成的闭合环的最近距离小于某设定值L（假设为5mm），则认为出水口流出的水流不能安全地全部落入杯子中，在此情况下，所述控制及信息储存/处理单元3不会开启出水口向杯子注水；
S5.饮水机向杯子里注水：通过以上的步骤所述控制及信息储存/处理单元3确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L（例如：L=5mm），即：饮水机出水口的确对准了杯子的口沿，所述控制及信息储存/处理单元3发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，所述控制及信息储存/处理单元3控制所述深度相机以每秒一定帧数的速度实时获得所述监控区域的深度图像，并实时对所述监控区域深度图像加以处理，分析、计算出xy平面上闭合环内部点对应的深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值，
所述控制及信息储存/处理单元3处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声等干扰因素；
S7.完成用杯子取水过程：当所述控制及信息储存/处理单元3通过对所述深度相机获得的实时所述监控区域深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，所述控制及信息储存/处理单元3发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S8.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，所述控制及信息储存/处理单元3启动所述深度相机2获得多帧目标区域的深度图像，对目标区域再次建立更新的背景模型，并用该新建立的更新背景模型替代所述控制及信息储存/处理单元3中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
以上所述饮水机取水过程的实施流程图如图5所示。
上述的基于深度相机的饮水机出水智能控制方法，所述控制及信息储存/处理单元3根据预设的所述目标区域的不同的光照明条件，例如：外界光太杂，外界光不稳定等，判断开启所述辅助照明单元5，用以改善目标区域的光照明条件，提高获得的深度图像的图像质量，例如：清晰度和细节分辨能力等；开启所述辅助照明单元5后，实施S1-S8步骤，其中在S7步骤完成后，所述控制及信息储存/处理单元3发出指令，关闭所述辅助照明单元5，该开启辅助照明单元5的实施方式流程图，如图6所示。
以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。
Claims (2)
1.基于深度相机的饮水机出水智能控制方法，特征在于：包括以下步骤：
S1.建立目标区域的背景模型：目标区域没有外来物体,控制及信息储存/处理单元（3）通过深度相机（2）获得目标区域的多帧背景深度图像并加以处理，将背景深度图像转换为背景点云图像；根据已知的标志点和出水口的位置三维坐标信息以及深度相机（2）的参数，建立目标区域的背景模型，控制及信息储存/处理单元（3）存储该背景模型；
S2.提取目标区域前景深度图像：目标区域放置外来物体，饮水机出水口没有出水的情况下，控制及信息储存/处理单元（3）通过深度相机（2）获得多帧目标区域的实时深度图像，对深度图像进行噪声阈值处理、平滑处理，进行前景和背景分割，选择有效算法提取前景轮廓，即目标区域外来物体的轮廓，选择有效算法提取外来物体的特征点，获得外来物体最高像素点、最低像素点、最左像素点、最右像素点、最前像素点、最后像素点的特征点的三维坐标信息；
S3.判断前景深度图像中外来物体是否是杯子：判断依据为前景深度图像中外来物体所有像素点的全集合中是否存在具有如下特征的一个像素点子集：1）所述像素点子集包括所述全集合中最高像素点，并且所述子集中所有像素点在三维坐标系z坐标轴上的高度值和最高像素点在三维坐标系z坐标轴上的高度值相差在很小的范围dH内，2）所述子集中像素点在xy平面上的投影点分布在一个窄带围成的闭合环上，窄带的宽度为dW，3）所述像素点全集合不包含所述子集中那些在xy平面上投影点落在所述闭合环中心区域的像素点在三维坐标系z坐标轴上的高度值远远小于所述子集中像素点在三维坐标系z坐标轴上的高度值；
所述子集中的像素点包括那些在提取前景深度图像过程中，运用有效算法进行消除噪声、平滑处理的手段通过数学拟合补上的奇点，奇点的像素点数量在所述子集中所占的比例不超过一定的阈值；
如果所述外来物体的深度图像满足上述特征，提取的前景深度图像中的外来物体则被确定为具有完整杯子口沿，具有一定深度的杯子；
控制及信息储存/处理单元（3）从杯子的深度图像中通过使用有效的算法分割、提取杯子口沿及其内部区域深度图像，作为监控区域；
S4.判断杯子口沿是否对准饮水机出水口：根据已经建立的目标区域的背景模型及出水口在三维坐标系中的位置参数，控制及信息储存/处理单元（3）判断出水口在xy平面上投影是否落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环边缘最近的距离超过某一预定值L；
进一步，控制及信息储存/处理单元（3）根据已知的坐标信息，通过分析运算，获得出水口和杯子口沿中心区域对准的程度, 据此对准程度，设定在不同的特定水位高度关闭饮水机出水，给杯子注入特定量的水；
S5.饮水机向杯子里注水：通过以上步骤，所述控制及信息储存/处理单元（3）确定出水口在xy平面上投影的确落在杯子口沿对应的像素点在xy平面上的投影围成的闭合环内部，且离开闭合环的边缘最近的距离超过某一预定值L，即饮水机出水口的确对准了杯子的口沿，控制及信息储存/处理单元（3）发出指令：开启饮水机出水口水流，向杯子里注水；
S6.杯子中注入的水位高度实时检测：在饮水机向杯子里注水过程中，控制及信息储存/处理单元（3）控制深度相机（2）以每秒一定帧数的速度实时获得所述监控区域的深度图像，并实时对所述监控区域深度图像加以处理，分析、计算出xy平面上闭合环内部点对应的深度图像中的像素点在三维坐标系z坐标轴上的高度值，所述闭合环内部点对应的深度图像中的像素点即为实时的杯子水面上的像素点，从而获得杯子里水位平面的实时高度值；
控制及信息储存/处理单元（3）处理、分析、计算杯子中水位平面的深度图像过程包括：通过有效的算法滤除饮水机出水口流下的水流带来的噪声，以及剔除水流落下溅起的水花和水蒸气带来的噪声的干扰因素；
S7.完成用杯子取水过程：当控制及信息储存/处理单元（3）通过对深度相机（2）获得的实时所述监控区域深度图像的处理、分析，计算出杯子中的水位到达预设定的特定水位高度时，控制及信息储存/处理单元（3）发出指令：关闭饮水机出水，停止向杯子中注水，停止拍摄深度图像；
S8.更新目标区域的背景模型：取水者从目标区域移走杯子后，一定时间内，没有物体或杯子再次进入目标区域，控制及信息储存/处理单元（3）启动深度相机（2）获得多帧目标区域的深度图像，对目标区域再次建立更新的背景模型，并用该再次建立的更新背景模型替代控制及信息储存/处理单元（3）中存储的原有背景模型，作为下次取水的S1步骤：建立目标区域的背景模型。
2.根据权利要求1所述的基于深度相机的饮水机出水智能控制方法，其特征在于：控制及信息储存/处理单元（3）根据预设的所述目标区域的照明条件，判断开启辅助照明单元（5），用以改善目标区域的光照明条件，提高拍摄深度图像的清晰度和细节分辨能力的图像质量；开启辅助照明单元（5）后，实施步骤包括权利要求1中S1-S8，其中在S7步骤完成后，控制及信息储存/处理单元（3）发出指令，关闭辅助照明单元（5）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299075.2A CN108427940B (zh) | 2018-04-04 | 2018-04-04 | 基于深度相机的饮水机出水智能控制装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810299075.2A CN108427940B (zh) | 2018-04-04 | 2018-04-04 | 基于深度相机的饮水机出水智能控制装置及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108427940A CN108427940A (zh) | 2018-08-21 |
| CN108427940B true CN108427940B (zh) | 2023-11-17 |
Family
ID=63160535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810299075.2A Active CN108427940B (zh) | 2018-04-04 | 2018-04-04 | 基于深度相机的饮水机出水智能控制装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108427940B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108742153A (zh) * | 2018-08-30 | 2018-11-06 | 杭州汉驭文化创意有限公司 | 一种即热式自助茶饮机 |
| CN109674323A (zh) * | 2019-03-07 | 2019-04-26 | 厦门市朝吉塑胶工业有限公司 | 一种自动茶盘 |
| CN112890589A (zh) * | 2019-11-19 | 2021-06-04 | 芜湖美的厨卫电器制造有限公司 | 饮水机及其控制方法、计算机可读存储介质 |
| CN111568221A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568196A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 智能出水方法、***及存储介质 |
| CN111329355A (zh) * | 2020-02-28 | 2020-06-26 | 联想(北京)有限公司 | 控制出液装置的方法及出液装置 |
| CN111568215B (zh) * | 2020-02-28 | 2022-05-13 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568212A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568226A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机出水控制方法、饮水机及计算机可读存储介质 |
| CN111568241A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568225A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN113679249A (zh) * | 2020-09-08 | 2021-11-23 | 沈阳工业大学 | 一种体验式户外直饮机 |
| CN112554853A (zh) * | 2020-12-11 | 2021-03-26 | 成都北方石油勘探开发技术有限公司 | 一种控制注水或注气的方法及*** |
| CN115874389A (zh) * | 2021-08-20 | 2023-03-31 | 青岛海尔洗涤电器有限公司 | 一种洗衣机液位检测方法及洗衣机 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663722A (zh) * | 2011-01-31 | 2012-09-12 | 微软公司 | 使用深度图像的活动对象分割 |
| JP2013189213A (ja) * | 2012-03-12 | 2013-09-26 | Coca-Cola Co | プラスチックボトル用のハンドル |
| CN104268851A (zh) * | 2014-09-05 | 2015-01-07 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度信息的atm自助营业厅行为分析方法 |
| CN104720596A (zh) * | 2013-12-21 | 2015-06-24 | 陕西龙运科技发展有限公司 | 一种自动饮水机 |
| CN105083790A (zh) * | 2015-08-10 | 2015-11-25 | 东莞市新星有机硅科技有限公司 | 一种饮料瓶 |
| CN106097407A (zh) * | 2016-05-30 | 2016-11-09 | 清华大学 | 图像处理方法和图像处理装置 |
| CN106911888A (zh) * | 2015-12-23 | 2017-06-30 | 意法半导体(R&D)有限公司 | 一种装置 |
| CN107456086A (zh) * | 2017-08-25 | 2017-12-12 | 深圳市浮思特科技有限公司 | 基于视觉检测的出水智能检测模组和出水控制方法 |
| RU175867U1 (ru) * | 2016-12-28 | 2017-12-21 | Общество с ограниченной ответственностью "Высокие технологии" | Прибор панорамного изображения |
| CN107610127A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN107610168A (zh) * | 2017-09-14 | 2018-01-19 | 触景无限科技（北京）有限公司 | 一种远程指导方法、装置及*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050029298A1 (en) * | 2003-08-08 | 2005-02-10 | Conrad Sun | Bottled water dispenser stand |
| ES2395102B1 (es) * | 2010-10-01 | 2013-10-18 | Telefónica, S.A. | Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real |
| CN104299244B (zh) * | 2014-09-26 | 2017-07-25 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
-
2018
- 2018-04-04 CN CN201810299075.2A patent/CN108427940B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663722A (zh) * | 2011-01-31 | 2012-09-12 | 微软公司 | 使用深度图像的活动对象分割 |
| JP2013189213A (ja) * | 2012-03-12 | 2013-09-26 | Coca-Cola Co | プラスチックボトル用のハンドル |
| CN104720596A (zh) * | 2013-12-21 | 2015-06-24 | 陕西龙运科技发展有限公司 | 一种自动饮水机 |
| CN104268851A (zh) * | 2014-09-05 | 2015-01-07 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度信息的atm自助营业厅行为分析方法 |
| CN105083790A (zh) * | 2015-08-10 | 2015-11-25 | 东莞市新星有机硅科技有限公司 | 一种饮料瓶 |
| CN106911888A (zh) * | 2015-12-23 | 2017-06-30 | 意法半导体(R&D)有限公司 | 一种装置 |
| CN106097407A (zh) * | 2016-05-30 | 2016-11-09 | 清华大学 | 图像处理方法和图像处理装置 |
| RU175867U1 (ru) * | 2016-12-28 | 2017-12-21 | Общество с ограниченной ответственностью "Высокие технологии" | Прибор панорамного изображения |
| CN107456086A (zh) * | 2017-08-25 | 2017-12-12 | 深圳市浮思特科技有限公司 | 基于视觉检测的出水智能检测模组和出水控制方法 |
| CN107610127A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN107610168A (zh) * | 2017-09-14 | 2018-01-19 | 触景无限科技（北京）有限公司 | 一种远程指导方法、装置及*** |
Non-Patent Citations (2)
| Title |
|---|
| Detection of liquids in cups based on the refraction of light with a depth camera using triangulation;Yoshitaka Hara等;《2014 IEEE/RSJ International Conference on Intelligent Robots and Systems》;5049-5055 * |
| 基于IDL的视频图像水位检测新算法;石玉立等;《 科学技术与工程》;第14卷(第29期);114-116 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108427940A (zh) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427940B (zh) | 基于深度相机的饮水机出水智能控制装置及其控制方法 | |
| CN108742159B (zh) | 基于rgb-d相机的饮水机智能控制装置及其控制方法 | |
| CN108921883B (zh) | 基于两位置深度图像识别的饮水机控制装置及其控制方法 | |
| CN103473542B (zh) | 多线索融合的目标跟踪方法 | |
| CN103929596B (zh) | 引导拍摄构图的方法及装置 | |
| CN110602484B (zh) | 一种输电线路设备拍摄质量在线检核方法 | |
| KR101023733B1 (ko) | 인트라-모드 관심 영역 비디오 오브젝트 세그멘테이션 | |
| CN102402686B (zh) | 一种基于连通域分析的车牌字符分割方法 | |
| CN110927174B (zh) | 一种基于嵌入式模块的白酒分段检测装置及其方法 | |
| CN106503707B (zh) | 一种红外补光条件下的车牌识别方法及装置 | |
| CN109636732A (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
| CN102184552A (zh) | 一种基于差分融合与图像边缘信息的运动目标检测方法 | |
| CN105160328B (zh) | 一种基于二值化图像的人体轮廓识别方法 | |
| US9672632B2 (en) | Device and method for camera driven background subtraction | |
| CN108133488A (zh) | 一种红外图像前景检测方法及设备 | |
| CN109954854B (zh) | 连铸机结晶器漏钢监测方法、装置、存储介质及电子终端 | |
| CN111568212A (zh) | 饮水机控制方法、饮水机及计算机可读存储介质 | |
| CN107025633B (zh) | 一种图像处理方法及装置 | |
| CN107992785A (zh) | 模糊车牌的识别方法及装置 | |
| GB2536715A (en) | Image processing method | |
| CN111568230A (zh) | 饮水机出水控制方法、饮水机及计算机可读存储介质 | |
| CN108509851B (zh) | 基于图像分析的气候危情报警平台 | |
| KR20160127206A (ko) | 홍채영역에서의 속눈썹 제거 시스템 및 그 방법 | |
| CN110501039A (zh) | 线虫微流控芯片分析装置 | |
| CN111178167B (zh) | 穿帮镜头审核方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191211 Address after: 214031 No. 32 Wuai North Road, Liangxi District, Wuxi City, Jiangsu Province Applicant after: Xu Yu Address before: 311800 Jiefang Road 698, Dian Kou Town, Zhuji City, Shaoxing, Zhejiang Applicant before: ZHEJIANG ANJING INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |