CN108217045A - 一种用于数据中心物理设备上下架的智能机器人 - Google Patents
一种用于数据中心物理设备上下架的智能机器人 Download PDFInfo
- Publication number
- CN108217045A CN108217045A CN201810005571.2A CN201810005571A CN108217045A CN 108217045 A CN108217045 A CN 108217045A CN 201810005571 A CN201810005571 A CN 201810005571A CN 108217045 A CN108217045 A CN 108217045A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- information
- contour
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种用于数据中心物理设备上下架的智能机器人，包括机器人主体和机械搬运装置；所述机器人主体包括：激光雷达，用于扫描并采集机器人主体在工作环境中的环境信息；中央处理器，用于根据从所述激光雷达获取的环境信息构建栅格地图，获取机器人自身位姿信息，并进行路径规划并向所述运动控制装置发出相应的移动指令；运动控制装置，用于根据所述中央处理器下发的移动指令控制所述运动装置；运动装置，装有车轮，用于控制所述机器人主体移动；里程计，用于测量所述机器人主体的行程信息；所述机械搬运装置设置在所述机器人主体上，用于进行设备的搬运和上下架操作。本发明代替人力对服务器设备进行上下架操作，减少人力成本的支出。
Description
技术领域
本发明涉及设备智能安装领域，特别涉及一种用于数据中心物理设备上下架的智能机器人。
背景技术
目前IT***在企业内规模数量也越来越大，设备数量在数据中心也越来越多。面对日益增多的IT物理设备，面对业务发展带来的变更需求，在日常的运维工作中，对服务器进行上下架的需求非常大，完成对服务器的智能上下架能提高业务上线效率，更好地支撑业务发展。
现有技术中，对数据中心服务器上下架一般采用人工上下架：即使用人工进行数据中心服务器的上下架，首先需要人工查询服务器的机柜位置及U位，搬运服务器到指定位置并抬上确定的安装位置，安装完毕后手工记录服务器位置信息。
上述方法存在的缺点：
(1)操作效率低下，该方法中操作前需要人工查询服务器位置信息，步行到设备机柜。
(2)人力成本高，该方法完全使用人工操作，现有服务器的重量一般需要3个成年人一起完成安装；
发明内容
针对上述问题，本发明旨在提供一种用于数据中心物理设备上下架的智能机器人。
本发明的目的采用以下技术方案来实现：
一种用于数据中心物理设备上下架的智能机器人，包括机器人主体和机械搬运装置；
所述机器人主体包括中央处理器、激光雷达、里程计、运动控制装置和运动装置；
所述激光雷达用于扫描并采集机器人主体在工作环境中的环境信息；
所述中央处理器用于根据从所述激光雷达获取的环境信息构建栅格地图，获取机器人自身位姿信息，进行路径规划并向所述运动控制装置发出相应的移动指令；
所述运动控制装置用于根据所述中央处理器下发的移动指令控制所述运动装置；
所述运动装置装有车轮，用于控制所述机器人主体移动；
所述里程计用于测量所述机器人主体的行程信息；
所述机械搬运装置设置在所述机器人主体上，用于进行设备的搬运和上下架操作。
优选地，所述中央处理器包括存储模块、地图构建与定位模块、路径规划模块和指令发送模块；
所述地图构建与定位模块用于根据从所述激光雷达采集的环境信息构建栅格地图并获取机器人自身位姿信息；
所述存储模块用于储存所述栅格地图信息；
所述路径规划模块用于根据所述栅格地图信息、机器人自身位姿信息和目的地信息进行路径规划，获取路径规划信息；
所述指令发送模块用于根据所述栅格地图信息、机器人自身位姿信息和路径规划信息生成相应的移动指令并发送至所述运动控制装置。
优选地，所述机械搬运装置包括双目摄像头、射频识别模块、图像处理模块、机械控制模块和机械手结构；
所述射频识别模块用于扫描并识别设备或机柜上的标签信息，确认目标对象，所述目标对象为目标设备或目标机柜；
所述双目摄像头用于采集机械搬运装置工作区域内的目标对象图像；
所述图像处理模块用于对获取的目标对象图像进行处理，获取所述目标对象的位置信息；
所述机械控制模块用于根据获取的目标对象的位置信息向所述机械手结构发出相应的控制指令；
所述机械手结构用于根据接收到的控制指令抓取目标设备并完成目标设备的上下架操作。
本发明的有益效果为：本发明提供的一种用于数据中心物理设备上下架的智能机器人，通过机器人代替人工进行服务器设备的上下架工作，根据对需要上下架的服务器的位置进行定位，准确地寻找到服务器所在的位置，通过搬运装置自动完成上下架工作，减少人力成本的支出。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图；
图2为本发明中机械搬运装置的框架结构图；
图3为本发明中中央处理器的框架结构图；
图4为本发明中图像处理模块的框架结构图。
附图标记：
机器人主体1、机械搬运装置2、激光雷达11、中央处理器12、运动控制装置13、运动装置14、里程计15、射频识别模块21、双目摄像头22、图像处理模块23、机械控制模块24、机械手结构25、存储模块120、地图构建与定位模块122、路径规划模块124、指令发送模块126、摄像头标定单元230、图像预处理单元232、图像分割单元234和目标定位单元236
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1，一种用于数据中心物理设备上下架的智能机器人，包括机器人主体1和机械搬运装置2；
所述机器人主体1包括激光雷达11、中央处理器12、运动控制装置13、运动装置14和里程计15；
所述激光雷达11用于扫描并采集机器人主体1在工作环境中的环境信息；
所述中央处理器12用于根据从所述激光雷达11获取的环境信息构建栅格地图，获取机器人自身位姿信息，并根据数据中心中设备和机柜的位置进行路径规划并向所述运动控制装置13发出相应的移动指令；
所述运动控制装置13用于根据所述中央处理器12下发的移动指令控制所述运动装置14；
所述运动装置14装有车轮，用于控制所述机器人主体1移动；
所述里程计15用于测量所述机器人主体1的行程信息；
所述机械搬运装置2设置在所述机器人主体1上，用于进行设备的搬运和上下架操作。
优选地，所述中央处理器12包括存储模块120、地图构建与定位模块122、路径规划模块124和指令发送模块126；
所述地图构建与定位模块122用于根据从所述激光雷达11采集的环境信息构建栅格地图并获取机器人自身位姿信息；
所述存储模块120用于储存所述栅格地图信息；
所述路径规划模块124用于根据所述栅格地图信息、机器人自身位姿信息和目的地信息进行路径规划，获取路径规划信息；
所述指令发送模块126用于根据所述栅格地图信息、机器人自身位姿信息和路径规划信息生成相应的移动指令并发送至所述运动控制装置13；
其中，所述目的地信息表示所述设备或机柜的位置信息，可以通过人为设定或输入；
其中，所述地图构建与定位模块中采用SLAM(simultaneous localization andmapping)技术对栅格地图进行更新并获取自身的当前位置信息。
本发明上述实施例，通过设置激光雷达获取智能机器人周围的环境信息，通过设置地图构建与定位模块对采集到的环境信息进行处理，构建出智能机器人所在工作环境的栅格地图，并且根据从激光雷达进一步获取的信息获取智能机器人自身的准确定位，并采用路径规划模块根据数据中心中设备和机柜的位置进行准确的路径规划，运动控制装置根据规划的路径控制机器人到达指定的地方位置进行上下架操作，智能型高，环境适应能力强，可以有效地减少人力成本。
优选地，所述机械搬运装置2包括射频识别模块21、双目摄像头22、图像处理模块23、机械控制模块24和机械手结构25；
所述射频识别模块21用于扫描并识别设备或机柜上的标签信息，确认目标对象，所述目标对象为目标设备或目标机柜；
所述双目摄像头22用于采集机械搬运装置2工作区域内的目标对象图像，其中所述双目摄像头22分为左摄像头和右摄像头分别同时获取工作区域的图像信息；
所述图像处理模块23用于对获取的目标对象图像进行处理，获取所述目标对象的位置信息；
所述机械控制模块24用于根据获取的目标对象的位置信息向所述机械手结构25发出相应的控制指令；
所述机械手结构25用于根据接收到的控制指令抓取目标设备并完成目标设备的上下架操作。
本发明上述实施例，通过设置双目摄像头获取机械搬运装置的工作区域的图像信息，并且通过设置射频识别模块，识别设备或机柜上的标签信息，能够准确地判断出在机械搬运装置工作区域中的设备或机柜是否为需完成上下架操作的对象；通过设置图像处理模块进一步获取目标对象的位置信息，通过机械控制模块控制机械手结构完成相应的上下架操作，整个机械搬运装置适应性强，而且准确性高，为智能机器人完成设备上下架提供了保证。
优选地，所述图像处理模块23包括摄像头标定单元230、图像预处理单元232、图像分割单元234和目标定位单元236；
所述摄像头标定单元230用于对所述双目摄像头22进行标定，获取摄像头的内部参数和外部参数，确定图像二维坐标系和世界三维坐标系的映射关系；
所述图像预处理单元232用于对获取的目标对象图像进行对比度增强、平滑和图像增强的预处理，获取预处理后的目标对象图像；
所述图像分割单元234用于将目标对象从预处理后的目标图像分割出来；
所述目标定位单元236用于根据目标对象在图像中的坐标位置，结合从所述摄像头标定单元230获取的摄像机标定结果及双目视觉视差原理，将二维坐标转换到真实三维空间坐标，获取目标对象的三维位置信息。
优选地，所述图像分割单元234用于将目标对象从预处理后的目标图像分割出来，具体包括：
(1)将从双目摄像头22采集的两幅目标对象图像分别标记为目标对象图像R1和目标对象图像R2，并将目标对象图像R1和目标对象图像R2经图像预处理单元232处理后获取的预处理后的目标对象图像分别标记为R’1和R’2；
(2)采用图像分割算法对预处理后的目标对象图像R’1进行目标对象分割，其中预处理后的目标对象图像R’1中每个像素点可以表示为其中i＝1,2,…,I，I表示像素点的总数，表示该像素点为表示目标对象的前景，表示该像素点为背景；
(3)采用轮廓抽取算法提取出目标对象的轮廓集合为C＝{C1,C2,…,CZ}，其中每个轮廓Cz表示一条封闭曲线，z＝1,2,…,Z，Z表示轮廓集合中轮廓的总数，该向量记录了目标对象边界上的像素点位置Cz＝{p1,p2,…,pLz}，其中Lz表示轮廓Cz中像素点的总数；
(4)将预处理后的目标对象图像R’1中轮廓集合C中的每一个轮廓Cz映射到预处理后的目标对象图像R’2中，获取目标对象在图像R’2的边界轮廓，具体为：
(41)构建状态迁移矩阵M，其中状态迁移矩阵M的尺寸为Lz×D，D表示视差的取值范围，D∈[dmin,dmax]，dmin和dmax分别表示视差取值的最小值和最大值，状态迁移矩阵M中每个元素M(i,j)的取值为Est(i,j)，Est(i,j)表示R’1中像素点pi与R’2中视差为dj的对应像素点的状态能量；
(42)采用自定义状态能量公式获取状态迁移矩阵M中每个元素M(i,j)的状态能量Est(i,j)：
其中，
式中，Est(i,j)表示R’1中像素点pi与R’2中视差为dj的对应像素点的状态能量，qj表示在R’2中与R’1中像素点pi视差为dj的对应像素点，qj＝pi-dj，E(pi,qj)表示像素点pi与像素点qj的目标能量函数，Cs(pi,qj)表示像素点pi与像素点qj的视觉匹配代价，其中 Φ(pi)表示以像素点pi为中心的一个局部窗口，其大小为w×w，K(px)＝1表示像素点px属于前景，qy＝px-dj，ch(px)和ch(qy)分别表示像素点px和qy的R/G/B色度值，ω0表示对象边界权重，ω1表示对象平滑权重，CO(pi,qj)表示对象边界匹配代价，其中Pr(O|py)表示像素点qy属于前景的后验概率，N(pi-pi-1)表示像素点pi和pi-1的平滑度代价，其中 βd表示设定的视差不连续阈值；
(43)对状态迁移矩阵M采用回溯算法，获取最优能量路径，将最优能量路径上的每个M(i,j)对应的像素点pi映射到R’2中得到唯一对应轮廓点pi-dj，得到预处理后的目标对象图像R’1中轮廓Cz映射到预处理后的目标对象图像R’2后的最佳匹配轮廓C’z；
(44)在预处理后的目标对象图像R’2中获取目标对象所有轮廓边界的最佳匹配轮廓，并根据映射的最佳匹配轮廓分割出目标对象。
本优选实施例，采用上述方法对从双目摄像头中获取的图像进行目标对象的分割，能够克服从双目摄像头中不同摄像头获取的两幅图像会存在视差的问题，能够准确，效率地对在两幅图像中的目标对象进行轮廓匹配，从而分别准确地获取目标对象在两幅图像中的轮廓并进一步进行分割，使得从两幅图像中的分割对象匹配性强，为后续模块中获取目标对象的准确三维位置奠定了基础。
优选地，所述采用图像分割算法对预处理后的目标对象图像R’1进行目标对象分割，具体包括：
(1)对图像进行阈值分割，获取目标对象的外接矩形作为初始图像轮廓，并在外接矩形上每隔4个像素点设置一个控制点v，作为初始轮廓控制点S＝(v1,v2,…,vn)，并将外接矩形的中心设定为动态轮廓中心τ＝(Xτ,Yτ)；
(2)采用自定义能量方程获取每个轮廓控制点到其邻域位置的能量值：
Ei,j＝α(i)Eih1(i,j)+β(i)Eih2(i,j)+γ(i)Eedge(i,j)+ε(i)Er(i,j)
式中，Ei,j表示轮廓控制点vi到其邻域位置的能量值，i表示第i个轮廓控制点，j＝1,2,3,4，分别表示与轮廓控制点vi四周相邻的4个邻域像素点vi,j，Eih1(i,j)表示一阶连续性强制力，其中 表示各轮廓控制点之间的平均距离，|vi,j-vi-1|表示邻域像素点vi,j和轮廓控制点vi-1之间的距离，α(i)表示设定的离散一阶系数，Eih2(i)表示二阶连续性强制力，其中Eih2(i,j)＝(|vi-1-vi,j|+|vi,j-vi+1|)2，|vi-vi+1|表示邻域像素点vi,j和轮廓控制点vi+1之间的距离，β(i)表示设定的离散二阶系数，Eedge(i,j)表示边缘能量，其中L(vi,j,vi-1)表示邻域像素点vi,j和轮廓控制点vi-1之间轮廓线，I(x,y)表示像素点(x,y)的梯度值，表示邻域像素点vi,j和轮廓控制点vi-1之间轮廓线上所有像素点的平均梯度值，n表示邻域像素点vi,j和轮廓控制点vi-1之间轮廓线上像素点的总数，μ表示设定的边缘能量因子，γ(i)表示边缘能量系数，Er(i,j)表示外加控制力，其中Er(i,j)＝|H(vi,j)-H(vi)|2，H(vi,j)和H(vi)分别表示邻域像素点vi,j和轮廓控制点vi的灰度值，ε(i)表示外加控制力系数，其中 表示轮廓控制点vi的邻域灰度平均值，和σ2分别表示整个图像的灰度平均值和方差，和表示设定的灰度判定因子，其中
(3)若存在轮廓控制点vi到其邻域位置的能量值Ei,j小于设定的能量阈值EiY，则使轮廓控制点vi移动到对应的邻域像素点vi,j所在的位置，并且设定能量阈值EiY＝Ei,j；
(4)统计所有发生移动的轮廓控制点的数目P；
(5)若P小于设定的阈值，或者达到设定最大迭代次数，则依次连接当前所有轮廓控制点，作为目标对象的轮廓并进行分割处理；否则，重复(2)-(5)。
本优选实施例，采用上述的方法首先对从双目摄像头中获取的其中一幅图像进行目标对象分割，采用迭代的方法对从阈值分割获取的外接矩形轮廓进行一步一步的收缩，最终获取目标对象的轮廓，能够很好地适应不同目标对象的轮廓形状，适应性强，准确性高，为模块中后续对从双目摄像头获取的另外一幅图像进行轮廓匹配和目标对象准确的三维定位奠定了基础。
优选地，所述图像预处理单元232用于对获取的目标对象图像进行对比度增强处理，具体包括：
(1)将目标对象图像中每个像素点(i,j)的RGB灰度值转换到HSV颜色空间；
(2)对目标对象图像中每个像素点(i,j)，选择以像素点(i,j)为中心的一个8×8邻域图像块，对这个邻域图像块进行小波变换，获取像素点(i,j)的局部噪声水平Ln(i,j)：
式中，Median{·}表示中值函数，表示邻域图像块进行小波变换获取的第一层HH子带系数绝对值集合；
(3)获取像素点(i,j)的背景值B(i,j)和梯度值G(i,j
式中，B(i,j)表示像素点(i,j)的背景值，V(i+a,j+b)表示HSV颜色空间中像素点(i+a,j+b)的亮度值，G(i,j)表示像素点(i,j)的梯度值，Gx(i,j)表示像素点(i,j)的水平方向梯度，Gy(i,j)示像素点(i,j)的竖直方向梯度；
如果则利用经验函数获取增强后的背景值B′(i,j)和梯度值G′(i,j)：
式中，μ表示设定的增强阈值，η表示设定的增强效果调整因子，Ln(i,j)表示像素点(i,j)的局部噪声水平，B′(i,j)表示像素点(i,j)增强后的背景值，G′(i,j)表示像素点(i,j)增强后的梯度值，Cab表示设定的经验标量系数，其中Cab表示2×1的系数向量，则Cab中总共包括20个经验标量系数；
否则，则设定B′(i,j)＝B(i,j)，G′(i,j)＝G(i,j)；
优选地，μ＝1，η＝3；
(4)获取对比度增强模型参数σ(i,j)和ζ(i,j)
其中，
式中，ω(i,j,i′,j′)表示权重系数，Ω(i,j)表示像素点(i,j)的局部邻域集合，其中选则以(i,j)为中心的3×3矩阵作为像素点(i,j)的局部邻域，G(i′,j′)和G′(i′,j′)分别表示像素点(i′,j′)增强前后的梯度值，B(i′,j′)和B′(i′,j′)分别表示像素点(i′,j′)增强前后的背景值，C(i,j)表示归一化系数，和分别表示空间域和值域的模糊程度控制因子；
(5)利用下列对比度增强模型对目标对象图像进行对比度增强：
V′(i,j)＝σ(i,j)·V(i,j)+ζ(i,j)
式中，V′(i,j)表示对比度增强后像素点(i,j)在HSV颜色空间中的亮度值，V(i,j)表示对比度增强前像素点(i,j)在HSV颜色空间中的亮度值，σ(i,j)和ζ(i,j)分别表示对比度增强模型参数；
(6)将增强后的每个像素点从HSV颜色空间变换到RGB颜色空间，得到增强后的目标对象图像。
本优选实施例，采用上述的方法对目标对象图像进行对比度增强处理，根据图像中每个像素点的亮度，采用对比度增强模型自适应地对图像进行对比度增强处理，能够增强图像中的非噪声细节，突显目标对象图像中目标对象的细节部分，增强效果好，适应性强，为***后续对目标对象图像做进一步处理奠定了基础。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (5)
1.一种用于数据中心物理设备上下架的智能机器人，其特征在于，包括机器人主体和机械搬运装置；
所述机器人主体包括激光雷达、中央处理器、运动控制装置、运动装置和里程计；
所述激光雷达用于扫描并采集机器人主体在工作环境中的环境信息；
所述中央处理器用于根据从所述激光雷达获取的环境信息构建栅格地图，获取机器人自身位姿信息，进行路径规划并向所述运动控制装置发出相应的移动指令；
所述运动控制装置用于根据所述中央处理器下发的移动指令控制所述运动装置；
所述运动装置装有车轮，用于控制所述机器人主体移动；
所述里程计用于测量所述机器人主体的行程信息；
所述机械搬运装置设置在所述机器人主体上，用于进行设备的搬运和上下架操作。
2.根据权利要求1所述的一种用于数据中心物理设备上下架的智能机器人，其特征在于，所述中央处理器包括存储模块、地图构建与定位模块、路径规划模块和指令发送模块；
所述地图构建与定位模块用于根据从所述激光雷达采集的环境信息构建栅格地图并获取机器人自身位姿信息；
所述存储模块用于储存所述栅格地图信息；
所述路径规划模块用于根据所述栅格地图信息、机器人自身位姿信息和目的地信息进行路径规划，获取路径规划信息；
所述指令发送模块用于根据所述栅格地图信息、机器人自身位姿信息和路径规划信息生成相应的移动指令并发送至所述运动控制装置。
3.根据权利要求1所述的一种用于数据中心物理设备上下架的智能机器人，其特征在于，所述机械搬运装置包括射频识别模块、双目摄像头、图像处理模块、机械控制模块和机械手结构；
所述射频识别模块用于扫描并识别设备或机柜上的标签信息，确认目标对象，所述目标对象为目标设备或目标机柜；
所述双目摄像头用于采集机械搬运装置工作区域内的目标对象图像；
所述图像处理模块用于对获取的目标对象图像进行处理，获取所述目标对象的位置信息；
所述机械控制模块用于根据获取的目标对象的位置信息向所述机械手结构发出相应的控制指令；
所述机械手结构用于根据接收到的控制指令抓取目标设备并完成目标设备的上下架操作。
4.根据权利要求3所述的一种用于数据中心物理设备上下架的智能机器人，其特征在于，所述图像处理模块包括摄像头标定单元、图像预处理单元、图像分割单元和目标定位单元；
所述摄像头标定单元用于对所述双目摄像头进行标定，获取摄像头的内部参数和外部参数，确定图像二维坐标系和世界三维坐标系的映射关系；
所述图像预处理单元用于对获取的目标对象图像进行对比度增强、平滑和图像增强的预处理，获取预处理后的目标对象图像；
所述图像分割单元用于将目标对象从预处理后的目标图像分割出来；
所述目标定位单元用于根据目标对象在图像中的坐标位置，结合从所述摄像头标定单元获取的摄像机标定结果及双目视觉视差原理，将二维坐标转换到真实三维空间坐标，获取目标对象的三维位置信息。
5.根据权利要求4所述的一种用于数据中心物理设备上下架的智能机器人，其特征在于，所述图像分割单元用于将目标对象从预处理后的目标图像分割出来，具体包括：
(1)将从双目摄像头采集的两幅目标对象图像分别标记为目标对象图像R1和目标对象图像R2，并将目标对象图像R1和目标对象图像R2经图像预处理单元处理后获取的预处理后的目标对象图像分别标记为R’1和R’2；
(2)采用图像分割算法对预处理后的目标对象图像R’1进行目标对象分割，其中预处理后的目标对象图像R’1中每个像素点可以表示为Kpi，其中i＝1,2,…,I，I表示像素点的总数，Kpi＝1表示该像素点为表示目标对象的前景，Kpi＝0表示该像素点为背景；
(3)采用轮廓抽取算法提取出目标对象的轮廓集合为C＝{C1,C2,…,CZ}，其中每个轮廓Cz表示一条封闭曲线，z＝1,2,…,Z，Z表示轮廓集合中轮廓的总数，该向量记录了目标对象边界上的像素点位置Cz＝{p1,p2,…,pLz}，其中Lz表示轮廓Cz中像素点的总数；
(4)将预处理后的目标对象图像R’1中轮廓集合C中的每一个轮廓Cz映射到预处理后的目标对象图像R’2中，获取目标对象在图像R’2的边界轮廓，具体为：
(41)构建状态迁移矩阵M，其中状态迁移矩阵M的尺寸为Lz×D，D表示视差的取值范围，D∈[dmin,dmax]，dmin和dmax分别表示视差取值的最小值和最大值，状态迁移矩阵M中每个元素M(i,j)的取值为Est(i,j)，Est(i,j)表示R’1中像素点p1与R’2中视差为dj的对应像素点的状态能量；
(42)采用自定义状态能量公式获取状态迁移矩阵M中每个元素M(i,j)的状态能量Est(i,j)：
其中，
式中，Est(i,j)表示R’1中像素点pi与R’2中视差为dj的对应像素点的状态能量，qj表示在R’2中与R’1中像素点pi视差为dj的对应像素点，qj＝pi-dj，E(pi,qj)表示像素点pi与像素点qj的目标能量函数，Cs(Pi，qj)表示像素点pi与像素点qj的视觉匹配代价，其中 Φ(pi)表示以像素点pi为中心的一个局部窗口，其大小为w×w，K(px)＝1表示像素点px属于前景，qy＝px-dj，ch(px)和ch(qy)分别表示像素点px和qy的R/G/B色度值，ω0表示对象边界权重，ω1表示对象平滑权重，CO(pi,qj)表示对象边界匹配代价，其中Pr(O|py)表示像素点qy属于前景的后验概率，N(pi-pi-1)表示像素点pi和pi-1的平滑度代价，其中 βd表示设定的视差不连续阈值；
(43)对状态迁移矩阵M采用回溯算法，获取最优能量路径，将最优能量路径上的每个M(i,j)对应的像素点pi映射到R’2中得到唯一对应轮廓点pi-dj，得到预处理后的目标对象图像R’1中轮廓Cz映射到预处理后的目标对象图像R’2后的最佳匹配轮廓C’z；
(44)在预处理后的目标对象图像R’2中获取目标对象所有轮廓边界的最佳匹配轮廓，并根据映射的最佳匹配轮廓分割出目标对象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810005571.2A CN108217045B (zh) | 2018-01-03 | 2018-01-03 | 一种用于数据中心物理设备上下架的智能机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810005571.2A CN108217045B (zh) | 2018-01-03 | 2018-01-03 | 一种用于数据中心物理设备上下架的智能机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108217045A true CN108217045A (zh) | 2018-06-29 |
| CN108217045B CN108217045B (zh) | 2018-12-18 |
Family
ID=62642696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810005571.2A Active CN108217045B (zh) | 2018-01-03 | 2018-01-03 | 一种用于数据中心物理设备上下架的智能机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108217045B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144056A (zh) * | 2018-08-02 | 2019-01-04 | 上海思岚科技有限公司 | 移动机器人的全局自定位方法及设备 |
| CN110182718A (zh) * | 2019-04-25 | 2019-08-30 | 上海快仓智能科技有限公司 | 搬运机器人的控制方法及货物搬运*** |
| CN113666304A (zh) * | 2021-08-30 | 2021-11-19 | 上海快仓智能科技有限公司 | 搬运机器人的控制方法、装置、设备和存储介质 |
| WO2022237221A1 (zh) * | 2021-05-12 | 2022-11-17 | 深圳市海柔创新科技有限公司 | 取放货装置的调整方法、装置、设备、机器人及仓储*** |
| WO2023024772A1 (zh) * | 2021-08-25 | 2023-03-02 | 深圳市海柔创新科技有限公司 | 搬运机器人 |
| CN116214531A (zh) * | 2023-05-10 | 2023-06-06 | 佛山隆深机器人有限公司 | 一种工业机器人的路径规划方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN106347919A (zh) * | 2016-11-10 | 2017-01-25 | 杭州南江机器人股份有限公司 | 一种自动仓储*** |
| EP3200032A1 (en) * | 2011-09-09 | 2017-08-02 | Symbotic LLC | Storage and retrieval system case unit detection |
| US20170297820A1 (en) * | 2014-10-14 | 2017-10-19 | Nextshift Robotics, Inc. | Storage material handling system |
-
2018
- 2018-01-03 CN CN201810005571.2A patent/CN108217045B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3200032A1 (en) * | 2011-09-09 | 2017-08-02 | Symbotic LLC | Storage and retrieval system case unit detection |
| US20170297820A1 (en) * | 2014-10-14 | 2017-10-19 | Nextshift Robotics, Inc. | Storage material handling system |
| CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
| CN105562361A (zh) * | 2015-12-23 | 2016-05-11 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
| CN106347919A (zh) * | 2016-11-10 | 2017-01-25 | 杭州南江机器人股份有限公司 | 一种自动仓储*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144056A (zh) * | 2018-08-02 | 2019-01-04 | 上海思岚科技有限公司 | 移动机器人的全局自定位方法及设备 |
| CN109144056B (zh) * | 2018-08-02 | 2021-07-06 | 上海思岚科技有限公司 | 移动机器人的全局自定位方法及设备 |
| CN110182718A (zh) * | 2019-04-25 | 2019-08-30 | 上海快仓智能科技有限公司 | 搬运机器人的控制方法及货物搬运*** |
| WO2022237221A1 (zh) * | 2021-05-12 | 2022-11-17 | 深圳市海柔创新科技有限公司 | 取放货装置的调整方法、装置、设备、机器人及仓储*** |
| WO2023024772A1 (zh) * | 2021-08-25 | 2023-03-02 | 深圳市海柔创新科技有限公司 | 搬运机器人 |
| CN113666304A (zh) * | 2021-08-30 | 2021-11-19 | 上海快仓智能科技有限公司 | 搬运机器人的控制方法、装置、设备和存储介质 |
| CN116214531A (zh) * | 2023-05-10 | 2023-06-06 | 佛山隆深机器人有限公司 | 一种工业机器人的路径规划方法及装置 |
| CN116214531B (zh) * | 2023-05-10 | 2023-06-30 | 佛山隆深机器人有限公司 | 一种工业机器人的路径规划方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108217045B (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108217045B (zh) | 一种用于数据中心物理设备上下架的智能机器人 | |
| CN111679291B (zh) | 基于三维激光雷达的巡检机器人目标定位配置方法 | |
| EP3100236B1 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
| Rizzini et al. | Integration of a stereo vision system into an autonomous underwater vehicle for pipe manipulation tasks | |
| CN112785643A (zh) | 一种基于机器人平台的室内墙角二维语义地图构建方法 | |
| Yuen et al. | Vision-based localization algorithm based on landmark matching, triangulation, reconstruction, and comparison | |
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
| Bascle et al. | Stereo matching, reconstruction and refinement of 3D curves using deformable contours | |
| CN108205324B (zh) | 一种智能道路清理装置 | |
| CN110930374A (zh) | 一种基于双深度相机的腧穴定位方法 | |
| CN109829476B (zh) | 基于yolo的端到端三维物体检测方法 | |
| Borsu et al. | Automated surface deformations detection and marking on automotive body panels | |
| US20220414291A1 (en) | Device for Defining a Sequence of Movements in a Generic Model | |
| CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
| CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
| Boughorbel et al. | Laser ranging and video imaging for bin picking | |
| CN113723389B (zh) | 一种支柱式绝缘子定位方法及装置 | |
| EP3825804A1 (en) | Map construction method, apparatus, storage medium and electronic device | |
| Tiozzo Fasiolo et al. | Combining LiDAR SLAM and deep learning-based people detection for autonomous indoor mapping in a crowded environment | |
| CN110689553B (zh) | 一种rgb-d图像的自动分割方法 | |
| Zang et al. | A flexible visual inspection system combining pose estimation and visual servo approaches | |
| CN107562207A (zh) | 一种基于手势识别控制的智能医疗*** | |
| CN114089364A (zh) | 一种集成化的感知***装置及实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190626 Address after: 510000 No. 2 Tianhe Second Road, Tianhe District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Power Supply Bureau Address before: 510000 No. 2 Tianhe Second Road, Tianhe District, Guangzhou City, Guangdong Province Co-patentee before: GUANGZHOU KE TENG INFORMATION TECHNOLOGY CO., LTD. Patentee before: Guangzhou Power Supply Bureau |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210225 Address after: 510620, No. two, No. 2, Tianhe South Road, Guangzhou, Guangdong, Tianhe District Patentee after: Guangzhou Power Supply Bureau of Guangdong Power Grid Co.,Ltd. Address before: 510000 No. 2 Tianhe Second Road, Tianhe District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU POWER SUPPLY Co.,Ltd. |