CN113445709A - 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 - Google Patents
一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 Download PDFInfo
- Publication number
- CN113445709A CN113445709A CN202110751211.9A CN202110751211A CN113445709A CN 113445709 A CN113445709 A CN 113445709A CN 202110751211 A CN202110751211 A CN 202110751211A CN 113445709 A CN113445709 A CN 113445709A
- Authority
- CN
- China
- Prior art keywords
- tile
- paved
- pixel point
- image
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000919 ceramic Substances 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000006073 displacement reaction Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000003708 edge detection Methods 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 229910000831 Steel Inorganic materials 0.000 claims description 5
- 230000000750 progressive effect Effects 0.000 claims description 5
- 239000010959 steel Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
- E04F21/00—Implements for finishing work on buildings
- E04F21/20—Implements for finishing work on buildings for laying flooring
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
- E04F21/00—Implements for finishing work on buildings
- E04F21/20—Implements for finishing work on buildings for laying flooring
- E04F21/22—Implements for finishing work on buildings for laying flooring of single elements, e.g. flooring cramps ; flexible webs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供瓷砖定位和铺贴方法,属于自动控制领域。包括:吸附待铺贴瓷砖,并将所述待铺贴瓷砖移动至待铺贴平面的目标位置上方;以垂直于所述待铺贴平面的角度、基于有限视场拍摄局部瓷砖图片;分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量;按照所述位移矢量移动所述待铺贴瓷砖,使所述待铺贴瓷砖的所述映射位置与所述目标位置重合;对所述待铺贴平面激光测距、并计算出下降距离;将所述待铺贴瓷砖向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置;停止吸附所述待铺贴瓷砖。本发明还提供自动瓷砖铺贴设备。
Description
技术领域
本发明涉及自动控制领域,尤其涉及一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备。
背景技术
瓷砖铺贴通常采用人工方式耗时又费力,施工人员的技术水平参差不齐,质量无法保证,工人长时间蹲在地上作业劳动强度大且繁琐,危害健康。现有技术将铺贴工作自动化,瓷砖铺贴定位采用激光进行定位,以提高铺贴精确度,然而,使用激光传感器的测量方法需要多个激光传感器或单个传感器进行多点测量,多点测量将使测量过程更加复杂和耗时,效率不高。
现有技术还有采用深度摄像头进行瓷砖位置定位,深度摄像头价格昂贵,成本较高,且测量精度无法达到激光测量的精度。
发明内容
有鉴于此,本发明提供一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备,可提高瓷砖铺贴质量,成本低,定位准确且效率高,施工过程可自动化控制,能够有效避免施工人员受到职业损伤。
本发明实施例解决其技术问题所采用的技术方案是:
一种瓷砖定位和铺贴方法,实施主体为自动瓷砖铺贴设备,所述自动瓷砖铺贴设备由机械臂、力传感器、CCD相机、激光传感器、星形架、橡胶真空吸盘、连接线、连接架以及主控制器组成,所述机械臂的执行端为柱形结构,所述柱形结构穿过所述连接架的环形钢卡、与所述连接架之间固定连接,所述CCD相机安装在所述连接架上、通过一组所述连接线与所述主控制器之间传输信号;所述力传感器连接在所述执行端的末端与所述星形架的传感器接触面之间,通过一组所述连接线与所述主控制器之间传输信号;所述星形架上设有空心支架,各个所述空心支架的末端均设置有所述橡胶真空吸盘,所述主控制器通过控制所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;所述激光传感器,安装于所述星形架上,通过一组所述连接线与所述主控制器之间传输信号;所述主控制器,用于控制所述机械臂、所述力传感器、所述CCD相机、所述激光传感器、所述橡胶真空吸盘;
所述瓷砖定位和铺贴方法的步骤包括:
吸附待铺贴瓷砖,并将所述待铺贴瓷砖移动至待铺贴平面的目标位置上方,所述待铺贴瓷砖与所述待铺贴平面平行,所述待铺贴平面上所述待铺贴瓷砖的映射位置与所述目标位置不重合;
以垂直于所述待铺贴平面的角度、基于有限视场拍摄局部瓷砖图片,所述局部瓷砖图片中包括所述待铺贴瓷砖的局部影像、以及与所述目标位置相邻的N块相邻瓷砖的局部影像,其中,N∈[1,2,3];
分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量;
按照所述位移矢量移动所述待铺贴瓷砖,使所述待铺贴瓷砖的所述映射位置与所述目标位置重合;
对所述待铺贴平面激光测距、并计算出下降距离;
将所述待铺贴瓷砖向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置;
停止吸附所述待铺贴瓷砖。
较优地,所述分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量包括:
转换所述局部瓷砖图片,得到灰度图像GSI;
对所述灰度图像进行高斯滤波,所述灰度图像中单个像素点e的灰度值为:
其中,所述Hij为高斯滤波的窗口尺寸,所述σ是方差,所述k是核矩阵的维数;
对所述滤波后的所述灰度图像进行梯度计算,得到在二维直角x-o-y坐标系下的x方向一阶偏导数Gx(i,j)、y方向一阶偏导数Gy(i,j)、以及所述像素点e梯度方向角α;
α(i,j)=arctan(Gy(i,j)/Gx(i,j)
根据所述梯度方向角α获取所述灰度图像中像素点e的梯度方向的极大值;
将所述灰度图像中所述像素点e的梯度方向上非所述极大值的像素点的灰度值均设为0,遍历所述灰度图像,得到非极大值抑制图像NMSI;
基于Canny算法提取所述非极大值抑制图像NMSI中各个所述瓷砖的瓷砖边缘,得到边缘检测图像;
通过双阈值消除所述边缘检测图像的噪声和假边缘;
通过渐进概率霍夫变换提取所述边缘检测图像中各个所述瓷砖的瓷砖边缘所在直线;
根据各个所述瓷砖的瓷砖边缘所在直线计算出所述待铺贴瓷砖的当前几何中心D1与所述目标位置的几何中心D2的所述位移矢量。
较优地,所述通过渐进概率霍夫变换提取所述边缘检测图像中各个所述瓷砖的瓷砖边缘所在直线包括:
在笛卡尔坐标系akx+bky=ck下,将各个所述瓷砖的瓷砖边缘进行概率霍夫变换,得到标记为k的瓷砖边缘的像素点集合Ck:
Ck=[xi,yi],0≤i≤nk
其中,nk是所述标记为k的所述瓷砖边缘的检测点数;
选取y轴平均值较小的所述像素点a所在的瓷砖边缘为1号边界,相应地,所述像素点b所在的瓷砖边缘为5号边界;
所述根据各个所述瓷砖的瓷砖边缘所在直线计算出所述待铺贴瓷砖的当前几何中心D1与所述目标位置的几何中心D2的所述位移矢量包括:
根据所述瓷砖参数、所述7号边界和所述8号边界,计算出在所述二维直角x-o-y坐标系下所述待铺贴瓷砖的当前几何中心D1;
根据所述瓷砖参数、所述1号边界、所述2号边界、所述3号边界、所述4号边界、所述5号边界和所述6号边界,计算出在所述二维直角x-o-y坐标系下的所述目标位置的几何中心D2;
计算出所述位移矢量Tr:
较优地,所述对所述待铺贴平面激光测距、并计算出下降距离包括:
通过激光测量所述相邻瓷砖表面的竖向距离;
计算出预设的所述待铺贴瓷砖的上表面所在高度、以及所述相邻瓷砖表面的竖向距离之间的差值,所述差值即为用于将所述待铺贴瓷砖铺贴到所述目标位置的所述下降距离。
较优地,所述将所述待铺贴瓷砖向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置包括:
所述待铺贴瓷砖接触到地面混凝土过程中,所述待铺贴瓷砖所受的反作用力通过所述星形架传递至所述力传感器;
所述主控制器接收所述力传感器的力信号,当所述力传感器所受力值超过预设阈值时,生成报警提示信号。
较优地,所述力传感器为六维力传感器,向所述主控制器传递的一组所述力信号包括所述力传感器的6个维度力值,所述6个维度力值包括3个自由度的压力和3个自由度的扭力,所述主控制器接收到的所述力信号中任一所述力值超过所述预设阈值时,均生成所述报警提示信号。
较优地,所述转换所述局部瓷砖图片为所述灰度图像GSI的公式为:
GSI=0.299R+0.587G+0.114B
较优地,所述双阈值包括高阈值和低阈值,所述双阈值是基于自适应方法选择得出:
η(t)2=γ0(m0-m)2+γ1(m-m1)2=γ0γ1(m0-m1)2
m=γ0m0+γ1m1
其中,所述灰度图像中像素点的灰度范围为Q=[0,T-1],设置参数t将所述Q分为Q0和Q1两个集合,Q0=[0,t-1],Q1=[t,T-1],所述Q0的概率为γ0、灰度平均值为m0,所述Q1的概率为γ1、灰度平均值为m1,所述m为所述Q的灰度平均值,所述η(t)2为方差,令所述η(t)2取最大值,得出所述参数t的取值;
选取所述高阈值为t、所述低阈值为t/3。
本发明还提供一种自动瓷砖铺贴设备,其特征在于,包括机械臂、力传感器、CCD相机、激光传感器、星形架、橡胶真空吸盘、连接线、连接架以及主控制器,
所述机械臂的执行端为柱形结构,所述柱形结构穿过所述连接架的环形钢卡、与所述连接架之间固定连接,
所述CCD相机安装在所述连接架上、通过一组所述连接线与所述主控制器之间传输信号;
所述力传感器连接在所述执行端的末端与所述星形架的传感器接触面之间,通过一组所述连接线与所述主控制器之间传输信号;
所述星形架上设有空心支架,各个所述空心支架的末端均设置有所述橡胶真空吸盘,所述主控制器通过控制所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;
所述激光传感器,安装于所述星形架上,通过一组所述连接线与所述主控制器之间传输信号;
所述主控制器,用于控制所述机械臂、所述力传感器、所述CCD相机、所述激光传感器、所述橡胶真空吸盘。
较优地,所述主控制器包括:
机械臂控制模块,用于控制所述机械臂移动;
气路控制模块,用于通过所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;
图像采集模块,用于通过所述CCD相机采集局部瓷砖图片;
图像分析模块,用于分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量;
所述机械臂控制模块,用于所述机械臂按照所述位移矢量移动所述待铺贴瓷砖,使所述待铺贴瓷砖的所述映射位置与所述目标位置重合;
激光传感器控制模块,用于控制所述激光传感器对所述待铺贴平面激光测距;
计算模块,计算出下降距离;
所述机械臂控制模块,用于所述机械臂向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置。
接收模块,用于接收所述力传感器的力信号;所述力传感器为六维力传感器时,向所述主控制器传递的一组所述力信号包括所述力传感器的6个维度力值,所述6个维度力值包括3个自由度的压力和3个自由度的扭力;
报警模块,当所述力传感器所受力值超过预设阈值时,用于生成报警提示信号;所述主控制器接收到的所述力信号中任一所述力值超过所述预设阈值时,均生成所述报警提示信号。
由上述技术方案可知,本发明实施例提供的自动瓷砖铺贴设备及瓷砖定位和铺贴方法,可提高瓷砖铺贴质量,激光和CCD相机两种传感器进行瓷砖位置定位,成本低,定位准确且效率高;采用了六维力传感器进行作业过程受力监控,施工过程可自动化控制,能够有效避免施工人员受到职业损伤。
附图说明
图1为本发明的瓷砖定位和铺贴方法的流程图。
图2为本发明的自动瓷砖铺贴设备的结构组成图。
图3为本发明的自动瓷砖铺贴设备中主控制器的功能组成图。
图4为本发明在CCD相机镜头下采用有限视场采集图像的取景效果图。
图5为本发明中拍摄到的局部瓷砖图片。
图6为本发明识别各个瓷砖边界的示意图。
图7为本发明中待铺贴瓷砖的当前几何中心D1与目标位置的几何中心D2的示意图。
图8为铺贴作业执行顺序示意图。
图9为本发明中有限视场获取局部瓷砖图像的其他方案图。
图10为基于图9的其他方案图进行边界识别结果图。
图中:机械臂1、力传感器2、CCD相机3、激光传感器4、星形架5、橡胶真空吸盘6、连接架7。
具体实施方式
以下结合本发明的附图,对本发明的技术方案以及技术效果做进一步的详细阐述。
本发明提供一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备,瓷砖定位和铺贴方法如图1所示,其实施主体为图2所示的自动瓷砖铺贴设备。
图2所示自动瓷砖铺贴设备由机械臂1、力传感器2、CCD相机3、激光传感器4、星形架5、橡胶真空吸盘6、连接线、连接架7以及主控制器9组成,机械臂1的执行端为柱形结构,该柱形结构穿过连接架7的环形钢卡、并与连接架7之间固定连接,CCD相机3安装在连接架7上、通过一组连接线与主控制器9之间传输信号;力传感器2连接在机械臂1执行端的末端与星形架5的传感器接触面之间,通过一组连接线与主控制器9之间传输信号;星形架5上设有空心支架51,各个空心支架51的末端均设置有橡胶真空吸盘6,主控制器9通过控制空心支架51中的气路来控制橡胶真空吸盘6吸附待铺贴瓷砖或松开待铺贴瓷砖;激光传感器4,安装于星形架5上,通过一组连接线与主控制器9之间传输信号;主控制器9,用于控制机械臂1、力传感器2、CCD相机3、激光传感器4、橡胶真空吸盘6。
图1的瓷砖定位和铺贴方法的步骤包括:
步骤S1,吸附待铺贴瓷砖,并将待铺贴瓷砖移动至待铺贴平面的目标位置上方,待铺贴瓷砖与待铺贴平面平行,待铺贴平面上待铺贴瓷砖的映射位置与目标位置不重合。
步骤S2,以垂直于待铺贴平面的角度、基于有限视场拍摄局部瓷砖图片,局部瓷砖图片中包括待铺贴瓷砖的局部影像、以及与目标位置相邻的N块相邻瓷砖的局部影像,其中,N∈[1,2,3];采用有限视场获取局部瓷砖图像时,采用有限视场获取局部瓷砖图像的镜头效果如图4所示,拍摄到的局部瓷砖图片如图5所示。
步骤S3,分析局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动待铺贴瓷砖方位的位移矢量;
步骤S4,按照位移矢量移动待铺贴瓷砖,使待铺贴瓷砖的映射位置与目标位置重合;
步骤S5,对待铺贴平面激光测距、并计算出下降距离;
步骤S6,将待铺贴瓷砖向待铺贴平面方向移动下降距离,使待铺贴瓷砖铺贴至目标位置;
步骤S7,停止吸附待铺贴瓷砖。
本发明中,步骤S3分析局部瓷砖图片以及计算出用于移动待铺贴瓷砖方位的位移矢量的具体过程为:
步骤S31,转换局部瓷砖图片,得到灰度图像GSI,本实施例中采用如下公式转换局部瓷砖图片,
GSI=0.299R+0.587G+0.114B (1)
步骤S32,对灰度图像GSI所有像素点进行高斯滤波,得到滤波后的灰度图像:
其中,经高斯滤波后的单个像素点的像素值e为:
其中,Hij为高斯滤波的窗口尺寸,σ是方差,k是核矩阵的维数;
步骤S33,对滤波后的灰度图像e进行梯度计算,得到在二维直角x-o-y坐标系下的x方向一阶偏导数Gx(i,j)、y方向一阶偏导数Gy(i,j)、以及像素点e梯度方向角α;
α(i,j)=arctan(Gy(i,j)/Gx(i,j) (5)步骤S34,根据梯度方向角α获取灰度图像中像素点e的梯度方向的极大值;
步骤S35,将灰度图像中像素点e的梯度方向上非极大值的像素点的灰度值均设为0,遍历灰度图像,得到非极大值抑制图像NMSI;
步骤S36,基于Canny算法提取非极大值抑制图像NMSI中各个瓷砖的瓷砖边缘,得到边缘检测图像;
步骤S37,通过双阈值消除边缘检测图像的噪声和假边缘。双阈值包括高阈值和低阈值,本发明采用基于Otsu的自适应方法选择双阈值,
η(t)2=γ0(m0-m)2+γ1(m-m1)2=γ0γ1(m0-m1)2 (6)
m=γ0m0+γ1m1 (11)
其中,灰度图像中像素点的灰度范围为Q=[0,T-1],设置参数t将Q分为Q0和Q1两个集合,Q0=[0,t-1],Q1=[t,T-1],Q0的概率为γ0、灰度平均值为m0,Q1的概率为γ1、灰度平均值为m1,m为Q的灰度平均值,η(t)2为方差,令η(t)2取最大值,得出参数t的取值;选取高阈值为t、低阈值为t/3。
步骤S38,通过渐进概率霍夫变换提取边缘检测图像中各个瓷砖的瓷砖边缘所在直线。具体为:
在笛卡尔坐标系akx+bky=ck下,将各个瓷砖的瓷砖边缘进行概率霍夫变换,得到标记为k的瓷砖边缘的像素点集合Ck:
Ck=[xi,yi],0≤i≤nk
其中,nk是标记为k的瓷砖边缘的检测点数;
当局部瓷砖图片中包含左上、右上、左下三块已铺贴瓷砖、以及右下的待铺贴瓷砖时,通过上述方法识别各个瓷砖的边界,请一并参照图6,识别方式参照表1所示:
表1:瓷砖边识别策略
选取y轴平均值较小的像素点a所在的瓷砖边缘为1号边界,相应地,像素点b所在的瓷砖边缘为5号边界;
选取y轴平均值较小的像素点c所在的瓷砖边缘为4号边界,相应地,像素点d所在的瓷砖边缘为8号边界;
选取x轴平均值较小的像素点f所在的瓷砖边缘为2号边界,相应地,像素点g所在的瓷砖边缘为3号边界;
选取x轴平均值较小的像素点h所在的瓷砖边缘为6号边界,相应地,像素点i所在的瓷砖边缘为7号边界;
步骤S39,根据各个瓷砖的瓷砖边缘所在直线计算出待铺贴瓷砖的当前几何中心D1与目标位置的几何中心D2的位移矢量。具体为:
根据瓷砖参数、7号边界和8号边界,计算出在二维直角x-o-y坐标系下待铺贴瓷砖的当前几何中心D1,如图7所示;
根据瓷砖参数、1号边界、2号边界、3号边界、4号边界、5号边界和6号边界,计算出在二维直角x-o-y坐标系下的目标位置的几何中心D2,如图7所示;
计算出位移矢量Tr:
本发明中,步骤5对待铺贴平面激光测距、并计算出下降距离包括:通过激光测量相邻瓷砖表面的竖向距离;计算出预设的待铺贴瓷砖的上表面所在高度、以及相邻瓷砖表面的竖向距离之间的差值,该差值即为用于将待铺贴瓷砖铺贴到目标位置的下降距离。
本发明中,待铺贴瓷砖接触到地面混凝土过程中,待铺贴瓷砖所受的反作用力通过星形架5传递至力传感器2;
主控制器9接收力传感器2的力信号,当力传感器2所受力值超过预设阈值时,生成报警提示信号。
具体实施中,力传感器2可采用六维力传感器,向主控制器9传递的一组力信号包括力传感器2的6个维度力值,其中包括包括3个自由度的压力和3个自由度的扭力,主控制器9接收到的力信号中的任一受力值超过预设阈值时,均生成报警提示信号。
在实际铺贴作业中,由于瓷砖铺贴顺序可如图8所示,工人先铺1号瓷砖,然后从2号到12号依次铺瓷砖。机器人铺贴瓷砖时,以1号瓷砖为基准并手动铺贴。然后,机器人按照图2所示的顺序全自动铺贴其他瓷砖。因此,连续铺贴过程中拍摄的局部瓷砖图片可能还存在图4以外的情况:
如图9中的(a)图所示,在铺贴2号、3号瓷砖时以左侧瓷砖为基准,相应地,拍摄到的局部瓷砖图片中包含2块瓷砖图片,从局部瓷砖图片中可以识别定位出4条边界,并计算和识别策略为:选取中选取x轴平均值最小的像素点a1所在的瓷砖边缘为1号边界,选取中选取x轴平均值最大的像素点b1所在的瓷砖边缘为4号边界,选取中y轴平均值最大的两个像素点,为像素点c1和像素点d1,选取x轴平均值较小的像素点c1所在的瓷砖边缘为2号边界,相应地,像素点d1所在的瓷砖边缘为3号边界,得到识别结果如图10中的(a)图所示,根据瓷砖参数、3号边界和4号边界,计算出在二维直角x-o-y坐标系下待铺贴瓷砖的当前几何中心D1,根据瓷砖参数、1号边界、2号边界计算出在二维直角x-o-y坐标系下的目标位置的几何中心D2,再计算出位移向量以及位移矢量。
或者如图9中的(b)图所示,在铺贴4号、7号、10号瓷砖时,以其顶部瓷砖为基准,相应地,拍摄到的局部瓷砖图片中包含2块瓷砖图片,从局部瓷砖图片中可以识别定位出4条边界,并计算和识别策略为:从中选取x轴平均值最大的两个像素点,为像素点a2和像素点b2,选取y轴平均值较小的像素点a2所在的瓷砖边缘为2号边界,相应地,像素点b2所在的瓷砖边缘为3号边界;选取中y轴平均值最小的像素点c2所在的瓷砖边缘为1号边界,选取中y轴平均值最大的像素点d2所在的瓷砖边缘为4号边界,得到识别结果如图10中的(b)图所示,根据瓷砖参数、3号边界和4号边界,计算出在二维直角x-o-y坐标系下待铺贴瓷砖的当前几何中心D1,根据瓷砖参数、1号边界、2号边界计算出在二维直角x-o-y坐标系下的目标位置的几何中心D2,再计算出位移向量以及位移矢量。
如图2所示,本发明提供的自动瓷砖铺贴设备,包括机械臂1、力传感器2、CCD相机3、激光传感器4、星形架5、橡胶真空吸盘6、连接线、连接架7以及主控制器9,其中,如图3所示,主控制器9可进一步包括:
机械臂控制模块91,用于控制机械臂1移动;
气路控制模块92,用于通过空心支架51中的气路来控制橡胶真空吸盘6吸附待铺贴瓷砖或松开待铺贴瓷砖;
图像采集模块93,用于通过CCD相机3采集局部瓷砖图片;
图像分析模块94,用于分析局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动待铺贴瓷砖方位的位移矢量;
机械臂控制模块91,用于机械臂1按照位移矢量移动待铺贴瓷砖,使待铺贴瓷砖的映射位置与目标位置重合;
激光传感器控制模块95,用于控制激光传感器4对待铺贴平面激光测距;
计算模块96,计算出下降距离;
机械臂控制模块91,用于机械臂1向待铺贴平面方向移动下降距离,使待铺贴瓷砖铺贴至目标位置。
接收模块97,用于接收力传感器2的力信号;力传感器2为六维力传感器时,向主控制器9传递的一组力信号包括力传感器的6个维度力值,其中包括3个自由度的压力和3个自由度的扭力;
报警模块98,当力传感器2所受力值超过预设阈值时,用于生成报警提示信号;主控制器9接收到的力信号中任一力值超过预设阈值时,均生成报警提示信号。
本发明实施例提供的瓷砖定位和铺贴方法以及自动瓷砖铺贴设备,基于边缘检测实现瓷砖定位,提高了瓷砖铺贴的重量,包括直线度、平整度;采用激光和CCD相机两种传感器代替深度摄像头进行瓷砖位置定位,CCD相机进行平面尺寸测量、激光进行竖向高度测量,既能满足测量精度的要求,又能降低测量方案的成本;采用机器人的机械臂,通过机械臂和力传感器协同工作,可以降低因控制不当的瓷砖损坏、降低作业过程对作业人员的潜在威胁,通过六维力传感器实时进行作业过程的受力监控,保证施工过程中安全。
本发明可提高瓷砖铺贴质量,激光和CCD相机两种传感器进行瓷砖位置定位,成本低,定位准确且效率高;采用了六维力传感器进行作业过程受力监控,施工过程可自动化控制,能够有效避免施工人员受到职业损伤。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (10)
1.一种瓷砖定位和铺贴方法,其特征在于,实施主体为自动瓷砖铺贴设备,所述自动瓷砖铺贴设备由机械臂、力传感器、CCD相机、激光传感器、星形架、橡胶真空吸盘、连接线、连接架以及主控制器组成,所述机械臂的执行端为柱形结构,所述柱形结构穿过所述连接架的环形钢卡、与所述连接架之间固定连接,所述CCD相机安装在所述连接架上、通过一组所述连接线与所述主控制器之间传输信号;所述力传感器连接在所述执行端的末端与所述星形架的传感器接触面之间,通过一组所述连接线与所述主控制器之间传输信号;所述星形架上设有空心支架,各个所述空心支架的末端均设置有所述橡胶真空吸盘,所述主控制器通过控制所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;所述激光传感器,安装于所述星形架上,通过一组所述连接线与所述主控制器之间传输信号;所述主控制器,用于控制所述机械臂、所述力传感器、所述CCD相机、所述激光传感器、所述橡胶真空吸盘;所述瓷砖定位和铺贴方法的步骤包括:
吸附待铺贴瓷砖,并将所述待铺贴瓷砖移动至待铺贴平面的目标位置上方,所述待铺贴瓷砖与所述待铺贴平面平行,所述待铺贴平面上所述待铺贴瓷砖的映射位置与所述目标位置不重合;
以垂直于所述待铺贴平面的角度、基于有限视场拍摄局部瓷砖图片,所述局部瓷砖图片中包括所述待铺贴瓷砖的局部影像、以及与所述目标位置相邻的N块相邻瓷砖的局部影像,其中,N∈[1,2,3];
分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量;
按照所述位移矢量移动所述待铺贴瓷砖,使所述待铺贴瓷砖的所述映射位置与所述目标位置重合;
对所述待铺贴平面激光测距、并计算出下降距离;
将所述待铺贴瓷砖向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置;
停止吸附所述待铺贴瓷砖。
2.如权利要求1所述的瓷砖定位和铺贴方法,其特征在于,所述分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量包括:
转换所述局部瓷砖图片,得到灰度图像GSI;
对所述灰度图像GSI进行高斯滤波,得到滤波后的所述灰度图像,所述灰度图像中单个像素点e的灰度值为:
其中,所述Hij为高斯滤波的窗口尺寸,所述σ是方差,所述k是核矩阵的维数;对所述滤波后的所述灰度图像进行梯度计算,得到在二维直角x-o-y坐标系下的x方向一阶偏导数Gx(i,j)、y方向一阶偏导数Gy(i,j)、以及所述像素点e梯度方向角α;
α(i,j)=arctan(Gy(i,j)/Gx(i,j)
根据所述梯度方向角α获取所述灰度图像中像素点e的梯度方向的极大值;
将所述灰度图像中所述像素点e的梯度方向上非所述极大值的像素点的灰度值均设为0,遍历所述灰度图像,得到非极大值抑制图像NMSI;
基于Canny算法提取所述非极大值抑制图像NMSI中各个所述瓷砖的瓷砖边缘,得到边缘检测图像;
通过双阈值消除所述边缘检测图像的噪声和假边缘;
通过渐进概率霍夫变换提取所述边缘检测图像中各个所述瓷砖的瓷砖边缘所在直线;
根据各个所述瓷砖的瓷砖边缘所在直线计算出所述待铺贴瓷砖的当前几何中心D1与所述目标位置的几何中心D2的所述位移矢量。
3.如权利要求2所述的瓷砖定位和铺贴方法,其特征在于,
所述通过渐进概率霍夫变换提取所述边缘检测图像中各个所述瓷砖的瓷砖边缘所在直线包括:
在笛卡尔坐标系akx+bky=ck下,将各个所述瓷砖的瓷砖边缘进行概率霍夫变换,得到标记为k的瓷砖边缘的像素点集合Ck:
Ck=[xi,yi],0≤i≤nk
其中,nk是所述标记为k的所述瓷砖边缘的检测点数;
选取y轴平均值较小的所述像素点a所在的瓷砖边缘为1号边界,相应地,所述像素点b所在的瓷砖边缘为5号边界;
选取y轴平均值较小的所述像素点c所在的瓷砖边缘为4号边界,相应地,所述像素点d所在的瓷砖边缘为8号边界;
选取x轴平均值较小的所述像素点f所在的瓷砖边缘为2号边界,相应地,所述像素点g所在的瓷砖边缘为3号边界;
选取x轴平均值较小的所述像素点h所在的瓷砖边缘为6号边界,相应地,所述像素点i所在的瓷砖边缘为7号边界;
所述根据各个所述瓷砖的瓷砖边缘所在直线计算出所述待铺贴瓷砖的当前几何中心D1与所述目标位置的几何中心D2的所述位移矢量包括:
根据所述瓷砖参数、所述7号边界和所述8号边界,计算出在所述二维直角x-o-y坐标系下所述待铺贴瓷砖的当前几何中心D1;
根据所述瓷砖参数、所述1号边界、所述2号边界、所述3号边界、所述4号边界所述5号边界和所述6号边界,计算出在所述二维直角x-o-y坐标系下的所述目标位置的几何中心D2;
计算出所述位移矢量Tr:
4.如权利要求1所述的瓷砖定位和铺贴方法,其特征在于,所述对所述待铺贴平面激光测距、并计算出下降距离包括:
通过激光测量所述相邻瓷砖表面的竖向距离;
计算出预设的所述待铺贴瓷砖的上表面所在高度、以及所述相邻瓷砖表面的竖向距离之间的差值,所述差值即为用于将所述待铺贴瓷砖铺贴到所述目标位置的所述下降距离。
5.如权利要求1所述的瓷砖定位和铺贴方法,其特征在于,所述将所述待铺贴瓷砖向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置包括:
所述待铺贴瓷砖接触到地面混凝土过程中,所述待铺贴瓷砖所受的反作用力通过所述星形架传递至所述力传感器;
所述主控制器接收所述力传感器的力信号,当所述力传感器所受力值超过预设阈值时,生成报警提示信号。
6.如权利要求5所述的瓷砖定位和铺贴方法,其特征在于,所述力传感器为六维力传感器,向所述主控制器传递的一组所述力信号包括所述力传感器的6个维度力值,所述6个维度力值包括3个自由度的压力和3个自由度的扭力,所述主控制器接收到的所述力信号中任一所述力值超过所述预设阈值时,均生成所述报警提示信号。
7.如权利要求2所述的瓷砖定位和铺贴方法,其特征在于,所述转换所述局部瓷砖图片为所述灰度图像GSI的公式为:
GSI=0.299R+0.587G+0.114B。
9.一种自动瓷砖铺贴设备,其特征在于,包括机械臂、力传感器、CCD相机、激光传感器、星形架、橡胶真空吸盘、连接线、连接架以及主控制器,
所述机械臂的执行端为柱形结构,所述柱形结构穿过所述连接架的环形钢卡、与所述连接架之间固定连接,
所述CCD相机安装在所述连接架上、通过一组所述连接线与所述主控制器之间传输信号;
所述力传感器连接在所述执行端的末端与所述星形架的传感器接触面之间,通过一组所述连接线与所述主控制器之间传输信号;
所述星形架上设有空心支架,各个所述空心支架的末端均设置有所述橡胶真空吸盘,所述主控制器通过控制所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;
所述激光传感器,安装于所述星形架上,通过一组所述连接线与所述主控制器之间传输信号;
所述主控制器,用于控制所述机械臂、所述力传感器、所述CCD相机、所述激光传感器、所述橡胶真空吸盘。
10.如权利要求9所述的自动瓷砖铺贴设备,其特征在于,所述主控制器包括:
机械臂控制模块,用于控制所述机械臂移动;
气路控制模块,用于通过所述空心支架中的气路来控制所述橡胶真空吸盘吸附所述待铺贴瓷砖或松开所述待铺贴瓷砖;
图像采集模块,用于通过所述CCD相机采集局部瓷砖图片;
图像分析模块,用于分析所述局部瓷砖图片中各个瓷砖边缘的所属位置,并根据瓷砖参数计算出用于移动所述待铺贴瓷砖方位的位移矢量;
所述机械臂控制模块,用于所述机械臂按照所述位移矢量移动所述待铺贴瓷砖,使所述待铺贴瓷砖的所述映射位置与所述目标位置重合;
激光传感器控制模块,用于控制所述激光传感器对所述待铺贴平面激光测距;
计算模块,计算出下降距离;
所述机械臂控制模块,用于所述机械臂向所述待铺贴平面方向移动所述下降距离,使所述待铺贴瓷砖铺贴至所述目标位置。
接收模块,用于接收所述力传感器的力信号;所述力传感器为六维力传感器时,向所述主控制器传递的一组所述力信号包括所述力传感器的6个维度力值,所述6个维度力值包括3个自由度的压力和3个自由度的扭力;
报警模块,当所述力传感器所受力值超过预设阈值时,用于生成报警提示信号;
所述主控制器接收到的所述力信号中任一所述力值超过所述预设阈值时,均生成所述报警提示信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110751211.9A CN113445709A (zh) | 2021-07-02 | 2021-07-02 | 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110751211.9A CN113445709A (zh) | 2021-07-02 | 2021-07-02 | 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113445709A true CN113445709A (zh) | 2021-09-28 |
Family
ID=77814890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110751211.9A Pending CN113445709A (zh) | 2021-07-02 | 2021-07-02 | 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113445709A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113883902A (zh) * | 2021-10-12 | 2022-01-04 | 攀钢集团工程技术有限公司 | 一种拐角炉墙耐火砖的砌筑方法 |
CN114351991A (zh) * | 2022-01-25 | 2022-04-15 | 广东博智林机器人有限公司 | 铺贴机构、铺贴机器人及可兼容不同尺寸墙砖的铺贴方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090208128A1 (en) * | 2008-02-15 | 2009-08-20 | Sony Corporation | Image processing method, recording medium carrying image processing program, and image processing apparatus |
EP2907938A1 (en) * | 2014-02-18 | 2015-08-19 | IR-Eng.Limited | Apparatus and method for placing a tile on a floor |
CN106643549A (zh) * | 2017-02-07 | 2017-05-10 | 泉州装备制造研究所 | 一种基于机器视觉的瓷砖尺寸检测方法 |
CN110036162A (zh) * | 2016-09-30 | 2019-07-19 | 新加坡-Eth研究中心 | 用于将物体放置在表面上的***和方法 |
CN110374313A (zh) * | 2019-07-04 | 2019-10-25 | 安徽创唯机器人科技产业园有限公司 | 一种铺地瓷砖智能机器人 |
CN110986766A (zh) * | 2019-12-06 | 2020-04-10 | 北京科技大学 | 一种基于机器视觉的瓷砖铺设位置的检测装置和方法 |
CN111652033A (zh) * | 2019-12-12 | 2020-09-11 | 苏州奥易克斯汽车电子有限公司 | 基于OpenCV的车道线检测方法 |
CN112561887A (zh) * | 2020-12-18 | 2021-03-26 | 中国矿业大学 | 基于深度迁移学习的带式输送机煤流量双目视觉测量方法 |
-
2021
- 2021-07-02 CN CN202110751211.9A patent/CN113445709A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090208128A1 (en) * | 2008-02-15 | 2009-08-20 | Sony Corporation | Image processing method, recording medium carrying image processing program, and image processing apparatus |
EP2907938A1 (en) * | 2014-02-18 | 2015-08-19 | IR-Eng.Limited | Apparatus and method for placing a tile on a floor |
CN110036162A (zh) * | 2016-09-30 | 2019-07-19 | 新加坡-Eth研究中心 | 用于将物体放置在表面上的***和方法 |
CN106643549A (zh) * | 2017-02-07 | 2017-05-10 | 泉州装备制造研究所 | 一种基于机器视觉的瓷砖尺寸检测方法 |
CN110374313A (zh) * | 2019-07-04 | 2019-10-25 | 安徽创唯机器人科技产业园有限公司 | 一种铺地瓷砖智能机器人 |
CN110986766A (zh) * | 2019-12-06 | 2020-04-10 | 北京科技大学 | 一种基于机器视觉的瓷砖铺设位置的检测装置和方法 |
CN111652033A (zh) * | 2019-12-12 | 2020-09-11 | 苏州奥易克斯汽车电子有限公司 | 基于OpenCV的车道线检测方法 |
CN112561887A (zh) * | 2020-12-18 | 2021-03-26 | 中国矿业大学 | 基于深度迁移学习的带式输送机煤流量双目视觉测量方法 |
Non-Patent Citations (2)
Title |
---|
杨廷梧,张正中: "《航空飞行试验光电测量理论与方法》", 31 January 2014 * |
陈抒瑢,南京大学: "《基于特征提取和色彩分割的偏色检测》", 《硕士学位论文》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113883902A (zh) * | 2021-10-12 | 2022-01-04 | 攀钢集团工程技术有限公司 | 一种拐角炉墙耐火砖的砌筑方法 |
CN114351991A (zh) * | 2022-01-25 | 2022-04-15 | 广东博智林机器人有限公司 | 铺贴机构、铺贴机器人及可兼容不同尺寸墙砖的铺贴方法 |
CN114351991B (zh) * | 2022-01-25 | 2023-09-15 | 广东博智林机器人有限公司 | 铺贴机构、铺贴机器人及可兼容不同尺寸墙砖的铺贴方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113445709A (zh) | 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备 | |
CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
WO2015120734A1 (zh) | 基于机器视觉的焊接轨迹校正专用测试装置及方法 | |
WO2018046617A1 (en) | Method and system for calibrating multiple cameras | |
CN105447853A (zh) | 飞行装置、飞行控制***及方法 | |
CN109739239B (zh) | 一种用于巡检机器人的不间断仪表识别的规划方法 | |
CN110986766B (zh) | 一种基于机器视觉的瓷砖铺设位置的检测装置和方法 | |
CN107316330B (zh) | 基于多图像序列的井下液压支架组位姿及直线度测量方法 | |
CN109459984B (zh) | 一种基于三维点云的定位抓取***及其使用方法 | |
CN112264992B (zh) | 一种工业机器人坐标系校准方法、***、装置和存储介质 | |
CN115880296B (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
CN113538583A (zh) | 一种工件在机床上位置的精准定位方法及视觉*** | |
CN109227352B (zh) | 一种基板缺陷修复方法及*** | |
CN115384052A (zh) | 一种智能化的覆膜机自动控制*** | |
CN109732601A (zh) | 一种自动标定机器人位姿与相机光轴垂直的方法和装置 | |
CN106683133A (zh) | 一种获取目标深度图像的方法 | |
CN113110446A (zh) | 一种自主移动机器人的动态巡检方法 | |
CN113538393A (zh) | 棒线材原料坯弯曲检测方法、装置、设备及可读存储介质 | |
CN102303314B (zh) | 工业生产中的碳碗中心和导槽定位装置及其定位方法 | |
KR20120072539A (ko) | 계측 시스템 및 이를 이용한 계측방법 | |
CN116930187A (zh) | 车身漆面缺陷视像检测方法与视像检测*** | |
JP6132682B2 (ja) | キーパターン検出方法 | |
CN113109259B (zh) | 一种图像的智能导航方法及装置 | |
CN116468621A (zh) | 一种一键式数字化航空影像数据处理方法 | |
CN103884332A (zh) | 一种障碍物判定方法、装置及移动电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210928 |