CN107272710B - 一种基于视觉定位的医用物流机器人***及其控制方法 - Google Patents
一种基于视觉定位的医用物流机器人***及其控制方法 Download PDFInfo
- Publication number
- CN107272710B CN107272710B CN201710670460.9A CN201710670460A CN107272710B CN 107272710 B CN107272710 B CN 107272710B CN 201710670460 A CN201710670460 A CN 201710670460A CN 107272710 B CN107272710 B CN 107272710B
- Authority
- CN
- China
- Prior art keywords
- robot
- image
- laser
- module
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000006740 morphological transformation Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉定位的医用物流机器人***及其控制方法，***包括中央处理器、通讯模块、激光导引模块、定位模块、报警模块、人机交互模块、远程服务器和避障模块；中央处理器接收所述通讯模块的运送指令，初次规划机器人的行进路线；并将初次规划路线发送给所述激光导引模块，引导机器人按设定路径行进；根据接收到避障模块的障碍物信息，二次规划机器人的行进路线；中央处理器接收到报警模块的恶意骚扰信息后，通过所述定位模块将机器人的周围图像信息和位置信息发送给远程服务器。本发明提高了物流运送效率，降低人工成本，具有高效性，安全性和可靠性。
Description
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种基于视觉定位的医用物流机器人***及其控制方法。
背景技术
现阶段我国大部分医院物流发展的现状大都是“专职递送队伍+手推车+多部电梯”，如今人工成本大大提高，而且工作量大，重复性高，职工配送压力大，容易产生厌烦的情绪，经常会出现误配或延迟的情况，这样的物流传输方式有着明显的弊端。
随着经济的发展，市场迅速扩大，运输过程的复杂度不断提高，尤其在医院，人们对于运输效率及安全性的要求越来越强烈。选择适合我国国情和医院实际的医用物流机器人，不仅可以提高工作效率，而且能够减低综合成本，提高医院竞争力，进而提高医院整体运营效益，其应用价值是十分明显的。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于视觉定位的医用物流机器人***及其控制方法，以解决现有技术的不足。
为实现上述目的，本发明提供了
本发明的一种基于视觉定位的医用物流机器人***，包括中央处理器、通讯模块、激光导引模块、定位模块、报警模块、人机交互模块、远程服务器和避障模块；所述中央处理器与通讯模块、激光导引模块、定位模块、报警模块、避障模块电连接，所述通讯模块与人机交互模块连接，所述定位模块与远程服务器连接；通讯模块，用于接收人机交互模块或者远程控制终端的控制信号，并将控制信号发送至中央处理器；激光导引模块，包括安装在机器人上的激光扫描器、安装在医院建筑物墙体中的激光反射板及其存储器；避障模块包括安装在机器人前面、左面和右面的多个红外传感器，用来检测左前方、前方和右前方的障碍物；报警模块包括蜂鸣器，用于当有人恶意骚扰时提醒并且发出警报；定位模块包括摄像头，用以扫描周围图像并对门牌号进行识别；中央处理器，接收所述通讯模块的运送指令，初次规划机器人的行进路线；并将初次规划路线发送给所述激光导引模块，引导机器人按设定路径行进；根据接收到避障模块的障碍物信息，二次规划机器人的行进路线，及时避开障碍物；中央处理器接收到报警模块的恶意骚扰信息后，通过所述定位模块将机器人的周围图像信息和位置信息发送给远程服务器，以提醒工作人员；机器人到达设定目的地后，中央处理器通过所述定位模块开启门牌识别功能，将识别到的门牌号发送给远程服务器，由工作人员确认是否准确送达。
上述激光扫描器具体采用的是SICK公司生产的NAV200激光扫描器。
本发明的基于视觉定位的医用物流机器人***的控制方法，包括以下步骤：
(1)在机器人行走路线的医院建筑物墙体中预先安装好激光反射板，并测量每块所述激光反射板所在的坐标位置，将所述激光反射板的具***置信息存储在激光反射板的存储器中；
(2)由人机交互模块或者远程控制终端发送指令，命令机器人运送设定物品到达设定地点；
(3)通讯模块将人机交互模块发出的运送指令传输到中央处理器，所述中央处理器根据接收到的运送指令，在起始点和目的地之间规划出初始行进路线，唤醒机器人，开始工作；
(4)医用物流机器人利用所述激光扫描器向空间发射激光脉冲信号，安装在地面上的所述激光反射板反射该激光信号，所述激光扫描器同时接收由激光反射板返回的激光信号，通过测量发射光脉冲从发出到反射回来的时间间隔测量出机器人到激光反射板的距离，通过测量反射光线与机器人前进方向所成的角度θ，测量出机器人的方位，多次测量取其均值；所述激光扫描器对多次采集到的数据进行位置和运动方向的几何计算，并输出当前坐标从而进行位置识别，确定机器人当前位置和航向，通过和内置的数字地图进行对比来校正方位并进行导引计算，不断对机器人的前进方向角进行修正，从而引导机器人沿设定路径行走；
(5)医用物流机器人利用红外传感器中的发射管发射设定频率的红外信号，当红外传感器的检测方向遇到障碍物时，红外信号反射回来被接收管接收，从而判断机器人行进方向是否有障碍物，如果没有障碍物，则按照规划好的路径走；如果有，所述中央处理器检测红外传感器的工作状态，根据接收管采集到的信号，利用基于能量函数的避障算法(即步骤5a-5c)，在机器人当前位置和目标节点之间重新规划出一条最短的移动路径，实现主动绕开障碍物；
(6)医用物流机器人根据报警模块是否持续接收到红外信号来判断是否有人进行恶意骚扰，如果有，则蜂鸣器发出声响，警告骚扰人并且开启定位模块中的摄像头，将机器人的周围图像信息和具***置信息通过所述通讯模块发送到中央处理器，提醒工作人员；
(7)医用物流机器人到达目的地后，所述中央处理器控制摄像头对目的地的门牌号及周围信息进行识别，将图像信息发送至所述远程控制终端，进行目的地确认，如果符合要求，则停止行进，将货物送达，转向步骤(8)；如若不符合要求，则表示物品配送发生了错误，则待在原处等待新指令；
(8)医用物流机器人达到设定目的地后，语音提示医护人员及时取走货物，并且接受医护人员输入新的指令或等待所述远程控制终端发送的新指令。
步骤(2)中，由所述人机交互模块或者由远程控制终端发送指令，命令机器人运送设定物品到达设定地点，是指医护人员可以在人机操作界面通过触屏器直接对机器人发出配送要求指令，也可以在远程控制终端，通过无线网络给机器人发出配送要求，包括但不限于物品名称、物品数量、出发地和目的地。
步骤(4)中，具体实现方法如下：(4a)机器人进入导引区域后首先确定其准确方位，初始位置计算时小车机器人停止不动，保证激光扫描器测得的光束大于四条，并且知道各激光反射板的准确位置；(4b)所述激光扫描器按照固定转速旋转360度，所述激光扫描器将激光发射到发射板上后，经发射板反射后被所述激光扫描器探测到机器人的当前运行速度、转向角和间隔时间；(4c)运行中的机器人不断接受三个已知位置反射回来的激光脉冲，所述激光扫描器将步骤(4b)中探测到的信息传输给中央处理器，所述中央处理器对信息进行几何运算，准确计算出机器人的位置和运动方向；计算出机器人的位置和方位后，和控制指令中预设路径进行对比校正，不断对机器人的前进方向角进行修正，这个过程随着机器人前进不断进行，最终达到引导机器人朝目的地运行的目的。
步骤(4c)中，机器人的位置和运动方向计算方法如下：已知三个反射回来激光脉冲的参考点R1，R2，R3在坐标系xoy中的坐标分别为(x1,y1)(x2,y2)和(x3,y3)，当测得机器人前进方向和三个参考点的夹角θ1，θ2和θ3时,则机器人坐标和前进方向按下面的方法求得：
令α＝θ1-θ2，β＝θ1-θ3，圆O12表示经过机器人，R1，R2的圆，圆O13表示经过机器人R1和R3的圆，则圆心坐标O12(x12,y12)和O13(x13,y13)为
(x12,y12)＝(x1+P1,y1+Q1) (1)
(x13,y13)＝(x1+P2,y1+Q2) (2)
式(1)和(2)中，
其中，L12表示R1和R2之间的距离，L13表示R1和R3之间的距离，δ1表示L12与x轴之间的夹角，δ2表示L12与L13之间的夹角；
由方程(1)和(2),圆O12和O13可表示为：
O12:(xv-x1-P1)2+(yv-y1-Q1)2＝P1 2+Q1 2 (3)
O13:(xv-x1-P2)2+(yv-y1-Q2)2＝P2 2+Q2 2 (4)
通过解方程(3)和(4)，可得到小车的位置为：
(xv,yv)＝[x1+k(Q2-Q1),y1-k(P2-P1)] (5)
其中，
求得小车位置(xv,yv)后，小车方向可由式(6)求得：
步骤(5)具体方法如下：(5a)如果发现前进道路上有障碍物，则计算整条路径碰撞罚函数的能量Ec，设K为障碍物个数，N为机器人行走路径的所有转弯节点个数，
表示第i个路径点对第k个障碍物的碰撞罚函数，通过它对障碍物的神经网络表示得到，神经网络模型包括输入层、中间层和输出层，输入层的两个结点分别表示给定路径点的坐标，中间层的每个结点相应于障碍物的一条边的不等式限制条件，运算关系如下:
其中各符号含义：
Ik:顶层结点输入；
θT:顶层结点阈值；
OHm：中间层第m个结点的输出；
IHm：中间层第m个结点的输入；
θHm：中间层第m个结点的阈值；
wxm,wym：第m个不等式限制条件的系数；
f(x):中间层和输出层的激发函数；
T:随时间变化的人为设置的温度；
则整条路径相应于碰撞函数部分的能量为：
(5b)计算整条路径长度部分的能量El，即对所有路径节点p(xi,yi)，i＝1，2，…
N,计算所有线段的长度平方之和：
其中，(xi,yi)是机器人行走路径的所有转弯节点的坐标；
(5c)计算整条路径的总能量函数E。，由碰撞罚函数Ec和路径长度El两部分的加权和建立代价函数E＝wlEl+wcEc，其中，wl和wc是对应的调节系数，当E取得最小值时得到的一系列路径节点即为新规划的机器人行走路径节点，即可完成路径重新规划，机器人按照此路径节点进行运动到达目的地。
步骤(7)具体方法如下：
(6a)图像预处理，载入扫描到的门牌图像，转为数字图像f(m,n),将彩色图像转换为灰度图像，对图像进行去噪、平滑处理；
(6b)门牌定位，利用sobel算子法进行边缘点判定，其水平梯度模板为
垂直梯度模板为
根据梯度公式Gh(m,n)＝F(m,n)*Wh，Gv(m,n)＝F(m,n)*Wv进行图像处理，其中(m,n)为图像元素，F(m,n)表示原图像的灰度值分布函数，G(m,n)表示图像边缘的梯度值，*表示模板与原图像进行卷积运算；根据梯度幅度公式
进行梯度合成；选取阈值T＝0.5,对梯度图像进行二值化，即边缘二值化图像
从而检测出边缘点；根据获取的图像边缘，通过数学形态学变换得到闭合的连通的门牌候选区域，经过判别是否有效，显示定位结果；
(6c)门牌字符分割，首先采用Hough变换方法来获取(6b)定位出来的二值门牌图像的倾斜角，并进行旋转校正处理，再去除门牌的边框和铆钉，统一门牌底色和字符颜色，然后采用腐蚀运算和膨胀运算对二值门牌图像进行处理，由门牌的先验知识确定门牌图像在垂直方向的投影必然在字符间或字符内的间隙处取得局部最小值；结合垂直投影法和门牌的先验知识来获取门牌字符的左右分割位置；引入特征值
其中，width表示门牌的宽度，proj(i)表示图像第i列上所有像素灰度值之和，λ表示常数参量，取λ＝0.5，round(x)函数表示对数值x取整；从任何一个分割点开始，经过一个超越特征值Z的波峰后找到的第一个波谷值即为下一个分割点的位置；
(6d)门牌字符识别，采用模板匹配法，选择双线性插值法对分割后的门牌字符进行归一化处理为模板的大小，f(xi,yi)为原字符图像的灰度值，g(xk,yk)为归一化后的字符图像的灰度值，g(xk,yk)中的任意一点(xk,yk)对应于f(xi,yi)中的任意一点(xi,yi)，设原图像的任意像素点(xi,yi)的周围四个网格点分别为(i,j),(i,j+1),(i+1,j),(i+1,j+1)，i是xi取整后的值，j是yi取整后的值；将这四个点的像素灰度值进行加权作为插值结果得到归一化后的字符图像，则双线性插值可以通过以下三个公式来实现：u＝(1-λ)f(i,j)+λf(i,j+1)，v＝(1-λ)f(i+1,j)+λf(i+1,j+1)，g(xk,yk)＝(1-μ)u+μv，其中λ＝|xi-i|,μ＝|yi-j|；计算与模板集合匹配的相似度，选择最佳匹配结果。
本发明的有益效果是：
(1)本发明采用了能量函数的避障算法以及报警器，避免障碍物的碰撞，并且可以对人为的恶意骚扰进行警报，避免了货物的二次损耗。
(2)采用门牌识别以及激光导航，能够定位精确，确保配送无误；地面无需其他定位设施；行驶路径可灵活多变，能够适合多种现场环境。
(3)本发明提高了物流运送效率，降低人工成本，具有高效性，安全性和可靠性。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的***组成方框图；
图2为本发明的***工作流程图；
图3为本发明中在目标定位中门牌识别算法流程图。
具体实施方式
如图1所示，一种基于视觉定位的医用物流机器人***，包括中央处理器1、通讯模块2、激光导引模块3、定位模块4、报警模块5、人机交互模块6、远程服务器7和避障模块8，所述中央处理器1与通讯模块2、激光导引模块3、定位模块4、报警模块5、避障模块8电连接，所述通讯模块2与人机交互模块6连接，所述定位模块4与远程服务器7连接，其中：所述人机交互模块6包括触屏器、语音输入***，提供人机操作及显示界面；通讯模块2，用于接收人机交互模块6或者远程控制终端的控制信号，并将控制信号发送至中央处理器1；激光导引模块3，包括安装在机器人上的激光扫描器，安装在医院建筑物墙体中的激光反射板及其存储器，用于识别机器人位置与航向，引导机器人沿规划路径行走；避障模块8包括光电红外传感器，用来检测障碍物和路径二次规划，使机器人及时绕开障碍物，成功到达目的地；所述报警模块5包括蜂鸣器，当有人恶意骚扰时可以提醒并且发出警报；定位模块4包括摄像头，用来识别目的地的门牌号等信息，并由远程服务器判断是否配送准确，从而进行精确定位。
如图2所示，一种基于视觉定位的医用物流机器人控制方法，包括以下步骤：
(1)在机器人行走路线的医院建筑物墙体中预先安装好激光反射板，并精确测量每块激光反射板所在的坐标位置，将相关信息存储在激光反射板的存储器中；
(2)由人机交互模块或者由远程控制终端发送指令，命令机器人运送指定物品到达指定地点或执行其他任务；
(3)医用物流机器人通讯模块将接收到的指令传输到中央处理器进行处理，根据接收到的控制指令，唤醒机器人，开始工作；
(4)医用物流机器人利用激光扫描器发射激光，安装在地面上的激光反射板反射激光，激光扫描器采集到反射激光，进行识别，确定机器人当前位置和航向，并进行导引计算，从而引导机器人沿规定路径行走；
(5)医用物流机器人利用光电红外传感器判断机器人行进方向是否有障碍物，如果没有障碍物，则按照规划好的路径走；如果有，机器人根据自身的位置和朝向信息判断障碍物的位置，同时更新环境信息，在机器人当前位置和目标节点之间重新规划出一条最短的移动路径，实现主动绕开障碍物；
(6)医用物流机器人根据报警模块是否持续接收到红外信号来判断是否有人进行的恶意骚扰，如果有，则蜂鸣器发出声响，警告骚扰人并且将相关信息通过通讯模块发送到中央处理器，提醒工作人员；
(7)医用物流机器人到达目的地后，控制摄像头对目的地的门牌号及周围信息进行识别，将图像信息发送至远程控制终端，进行目的地确认，如果符合要求，则停止行进，将货物准确送达；如若不符合要求，则表示物品配送发生了错误，则呆在原处等待新指令；
(8)医用物流机器人达到指定目的地后，语音提示医护人员及时取走货物，并且接受医护人员输入新的指令或等待远程控制终端发送的新指令。
本实施例中，所述步骤(2)中由人机交互模块或者由远程控制终端发送指令，命令机器人运送指定物品到达指定地点或执行其他任务，是指医护人员可以在人机操作界面通过触屏器直接对机器人发出配送要求指令，也可以在远程控制终端，通过无线网络给机器人发出配送要求，包括但不限于物品名称、物品数量、出发地和目的地。
本实施例中，所述步骤(4)中医用物流机器人利用激光扫描器发射激光，安装在地面上的激光反射板反射激光，激光扫描器采集到反射激光，进行识别，确定机器人当前位置和航向，并进行导引计算，从而引导机器人沿规定路径行走，具体实现步骤为：
(4a)机器人进入导引区域后首先应该确定其准确方位，初始位置计算时小车机器人停止不动，保证激光扫描器测得的光束大于四条，并且知道各激光反射板的准确位置；
(4b)激光扫描器按照固定转速旋转360度，激光扫描器将激光发射到发射板上后，经发射板反射后被激光扫描器探测到机器人的当前运行速度、转向角和间隔时间等；
(4c)激光扫面器将这些信息传输给中央处理器，中央处理器对信息进行分析处理，准确计算出机器人的位置和运动方向，然后和控制指令中预设路径进行对比校正，不断对机器人的前进方向角进行修正，这个过程随着机器人前进不断进行，最终达到引导机器人朝目的地运行的目的。
本实施例中，所述步骤(5)中医用物流机器人利用光电红外传感器判断机器人行进方向是否有障碍物，如果没有障碍物，则按照规划好的路径走；如果有，机器人根据自身的位置和朝向信息判断障碍物的位置，同时更新环境信息，在机器人当前位置和目标节点之间重新规划出一条最短的移动路径，实现主动绕开障碍物，具体步骤为：
(5a)如果发现前进道路上有障碍物，则计算整条路径碰撞罚函数的能量Ec，设K为障碍物个数，N为机器人行走路径的所有转弯节点个数，
表示第i个路径点对第k个障碍物的碰撞罚函数，则整条路径相应于碰撞函数部分的能量为：
(5b)计算整条路径长度部分的能量El，即对所有路径节点p(xi,yi)，i＝1，2，…N,计算所有线段的长度平方之和：
其中，(xi,yi)是机器人行走路径的所有转弯节点的坐标；
(5c)计算整条路径的总能量函数E。，由碰撞罚函数Ec和路径长度El两部分的加权和建立代价函数E＝wlEl+wcEc，其中，wl和wc是对应的调节系数，当E取得最小值时得到的一系列路径节点即为新规划的机器人行走路径节点，即可完成路径重新规划，机器人按照此路径节点进行运动到达目的地。
本实施例中，所述步骤(7)中医用物流机器人到达目的地后，控制摄像头对目的地的门牌号及周围信息进行识别，将图像信息发送至远程控制终端，进行目的地确认，如果符合要求，则停止行进，将货物准确送达；如若不符合要求，则表示物品配送发生了错误，则呆在原处等待新指令，其中门牌号识别具体步骤如下：
(6a)图像预处理，载入扫描到的门牌图像，转为数字图像f(m,n),将彩色图像转换为灰度图像，对图像进行去噪、平滑处理，以便进一步的图像分析；
(6b)门牌定位，利用sobel算子法进行边缘点判定，其水平梯度模板为
垂直梯度模板为
根据梯度公式Gh(m,n)＝F(m,n)*Wh，Gv(m,n)＝F(m,n)*Wv进行图像处理，其中(m,n)为图像元素，F(m,n)表示原图像的灰度值分布函数，G(m,n)表示图像边缘的梯度值，*表示模板与原图像进行卷积运算；根据梯度幅度公式
进行梯度合成；选取阈值T＝0.5,对梯度图像进行二值化，即边缘二值化图像
从而检测出边缘点；根据获取的图像边缘，通过数学形态学变换得到闭合的连通的门牌候选区域，经过判别是否有效，显示定位结果；
(6c)门牌字符分割，首先采用Hough变换方法来获取(6b)定位出来的二值门牌图像的倾斜角，并进行旋转校正处理，在此基础上，再去除门牌的边框和铆钉，统一门牌底色和字符颜色，然后采用腐蚀运算和膨胀运算对二值门牌图像进行处理，由门牌的先验知识可以确定门牌图像在垂直方向的投影必然在字符间或字符内的间隙处取得局部最小值，因此字符的正确位置分割在上述局部最小值的附近，结合垂直投影法和门牌的先验知识来获取门牌字符的左右分割位置；
(6d)门牌字符识别，采用模板匹配法，选择双线性插值法对分割后的门牌字符进行归一化处理为模板的大小，设原图像的任意像素点(xi,yi)的周围四个网格点分别为(i,j),(i,j+1),(i+1,j),(i+1,j+1)，则双线性插值可以通过以下三个公式来实现：u＝(1-λ)f(i,j)+λf(i,j+1)，v＝(1-λ)f(i+1,j)+λf(i+1,j+1)，g(x'k,y'k)＝(1-μ)u+μv，其中λ＝|xk-i|,μ＝|yk-j|。计算与模板集合匹配的相似度，选择最佳匹配结果。
综上，本发明具有以下优点：
(1)本发明采用了能量函数的避障算法以及报警器，避免障碍物的碰撞，并且可以对人为的恶意骚扰进行警报，避免了货物的二次损耗。
(2)采用门牌识别以及激光导航，能够定位精确，确保配送无误；地面无需其他定位设施；行驶路径可灵活多变，能够适合多种现场环境。
(3)本发明提高了物流运送效率，降低人工成本，具有高效性，安全性和可靠性。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (4)
1.基于视觉定位的医用物流机器人***的控制方法，其特征在于，包括以下步骤：
(1)在机器人行走路线的医院建筑物墙体中预先安装好激光反射板，并测量每块所述激光反射板所在的坐标位置，将所述激光反射板的具***置信息存储在激光反射板的存储器中；
(2)由人机交互模块或者远程控制终端发送指令，命令机器人运送设定物品到达设定地点；
(3)通讯模块将人机交互模块发出的运送指令传输到中央处理器，所述中央处理器根据接收到的运送指令，在起始点和目的地之间规划出初始行进路线，唤醒机器人，开始工作；
(4)医用物流机器人利用激光扫描器向空间发射激光脉冲信号，安装在医院建筑物墙体上的所述激光反射板反射该激光脉冲信号，所述激光扫描器同时接收由激光反射板返回的激光脉冲信号，通过测量激光脉冲信号从发出到反射回来的时间间隔测量出机器人到激光反射板的距离，通过测量反射光线与机器人前进方向所成的角度θ，测量出机器人的方位，多次测量取其均值；所述激光扫描器对多次采集到的数据进行位置和运动方向的几何计算，并输出当前坐标从而进行位置识别，确定机器人当前位置和航向，通过和内置的数字地图进行对比来校正方位并进行导引计算，不断对机器人的前进方向角进行修正，从而引导机器人沿设定路径行走；
(5)医用物流机器人利用红外传感器中的发射管发射设定频率的红外信号，当红外传感器的检测方向遇到障碍物时，红外信号反射回来被接收管接收，从而判断机器人行进方向是否有障碍物，如果没有障碍物，则按照规划好的路径走；如果有，所述中央处理器检测红外传感器的工作状态，根据接收管采集到的信号，利用基于能量函数的避障算法，在机器人当前位置和目标节点之间重新规划出一条最短的移动路径，实现主动绕开障碍物；
步骤(5)具体方法如下：
(5a)如果发现前进道路上有障碍物，则计算整条路径碰撞罚函数的能量Ec，设K为障碍物个数，N为机器人行走路径的所有转弯节点个数，
表示第i个路径点对第k个障碍物的碰撞罚函数，神经网络模型包括输入层、中间层和输出层，输入层的两个节点分别表示给定路径点的坐标，中间层的每个节点相应于障碍物的一条边的不等式限制条件，运算关系如下:
其中各符号含义：
Ik:顶层节点输入；
θT:顶层节点阈值；
OHm：中间层第m个节点的输出；
IHm：中间层第m个节点的输入；
θHm：中间层第m个节点的阈值；
wxm,wym：第m个不等式限制条件的系数；
f(x):中间层和输出层的激发函数；
T:随时间变化的人为设置的温度；
则整条路径相应于碰撞罚函数部分的能量为：
(5b)计算整条路径长度部分的能量El，即对所有路径节点p(xi,yi)，i＝1，2，…N,计算所有线段的长度平方之和：
其中，(xi,yi)是机器人行走路径的所有转弯节点的坐标；
(5c)计算整条路径的总能量函数E，由碰撞罚函数Ec和路径长度El两部分的加权和建立代价函数E＝wlEl+wcEc，其中，wl和wc是对应的调节系数，当E取得最小值时得到的一系列路径节点即为新规划的机器人行走路径节点，即可完成路径重新规划，机器人按照此路径节点进行运动到达目的地；
(6)医用物流机器人根据报警模块是否持续接收到红外信号来判断是否有人进行恶意骚扰，如果有，则蜂鸣器发出声响，警告骚扰人并且开启定位模块中的摄像头，将机器人的周围图像信息和具***置信息通过所述通讯模块发送到中央处理器，提醒工作人员；
(7)医用物流机器人到达目的地后，所述中央处理器控制摄像头对目的地的门牌号及周围信息进行识别，将图像信息发送至所述远程控制终端，进行目的地确认，如果符合要求，则停止行进，将货物送达，转向步骤(8)；如若不符合要求，则表示物品配送发生了错误，则待在原处等待新指令；
步骤(7)具体方法如下：
(6a)图像预处理，载入扫描到的门牌图像，转为数字图像f(m,n),将彩色图像转换为灰度图像，对图像进行去噪、平滑处理；
(6b)门牌定位，利用sobel算子法进行边缘点判定，其水平梯度模板为
垂直梯度模板为
根据梯度公式Gh(m,n)＝F(m,n)*Wh，Gv(m,n)＝F(m,n)*Wv进行图像处理，其中(m,n)为图像元素，F(m,n)表示原图像的灰度值分布函数，G(m,n)表示图像边缘的梯度值，*表示模板与原图像进行卷积运算；根据梯度幅度公式
进行梯度合成；选取阈值T＝0.5,对梯度图像进行二值化，即边缘二值化图像
从而检测出边缘点；根据获取的图像边缘，通过数学形态学变换得到闭合的连通的门牌候选区域，经过判别是否有效，显示定位结果；(6c)门牌字符分割，首先采用Hough变换方法来获取(6b)定位出来的二值门牌图像的倾斜角，并进行旋转校正处理，再去除门牌的边框和铆钉，统一门牌底色和字符颜色，然后采用腐蚀运算和膨胀运算对二值门牌图像进行处理，由门牌的先验知识确定门牌图像在垂直方向的投影必然在字符间或字符内的间隙处取得局部最小值；结合垂直投影法和门牌的先验知识来获取门牌字符的左右分割位置；引入特征值
其中，width表示门牌的宽度，proj(i)表示图像第i列上所有像素灰度值之和，λ表示常数参量，取λ＝0.5，round(x)函数表示对数值x取整；从任何一个分割点开始，经过一个超越特征值Z的波峰后找到的第一个波谷值即为下一个分割点的位置；
(6d)门牌字符识别，采用模板匹配法，选择双线性插值法对分割后的门牌字符进行归一化处理为模板的大小，f(xi,yi)为原字符图像的灰度值，g(xk,yk)为归一化后的字符图像的灰度值，g(xk,yk)中的任意一点(xk,yk)对应于f(xi,yi)中的任意一点(xi,yi)，设原图像的任意像素点(xi,yi)的周围四个网格点分别为(i,j),(i,j+1),(i+1,j),(i+1,j+1)，i是xi取整后的值，j是yi取整后的值；将这四个点的像素灰度值进行加权作为插值结果得到归一化后的字符图像，则双线性插值通过以下三个公式来实现：u＝(1-λ)f(i,j)+λf(i,j+1)，v＝(1-λ)f(i+1,j)+λf(i+1,j+1)，g(xk,yk)＝(1-μ)u+μv，其中λ＝|xi-i|,μ＝|yi-j|；计算与模板集合匹配的相似度，选择最佳匹配结果；
(8)医用物流机器人达到设定目的地后，语音提示医护人员及时取走货物，并且接受医护人员输入新的指令或等待所述远程控制终端发送的新指令。
2.根据权利要求1所述的控制方法，其特征在于：步骤(2)中，
由所述人机交互模块或者由远程控制终端发送指令，命令机器人运送设定物品到达设定地点，是指医护人员能够在人机操作界面通过触屏器直接对机器人发出配送要求指令，也能够在远程控制终端，通过无线网络给机器人发出配送要求，包括物品名称、物品数量、出发地和目的地。
3.根据权利要求1所述的控制方法，其特征在于：步骤(4)中，具体实现方法如下：
(4a)机器人进入导引区域后首先确定其准确方位，初始位置计算时机器人停止不动，保证激光扫描器测得的光束大于四条，并且知道各激光反射板的准确位置；
(4b)所述激光扫描器按照固定转速旋转360度，所述激光扫描器将激光发射到激光反射板上后，经激光反射板反射后被所述激光扫描器探测到机器人的当前运行速度、转向角和间隔时间；
(4c)运行中的机器人不断接受三个已知位置反射回来的激光脉冲，所述激光扫描器将步骤(4b)中探测到的信息传输给中央处理器，所述中央处理器对信息进行几何运算，准确计算出机器人的位置和运动方向；计算出机器人的位置和方位后，和控制指令中预设路径进行对比校正，不断对机器人的前进方向角进行修正，这个过程随着机器人前进不断进行，最终达到引导机器人朝目的地运行的目的。
4.根据权利要求3所述的控制方法，其特征在于，步骤(4c)中，机器人的位置和运动方向计算方法如下：已知三个反射回来激光脉冲的参考点R1，R2，R3在坐标系xoy中的坐标分别为(x1,y1)(x2,y2)和(x3,y3)，当测得机器人前进方向和三个参考点的夹角θ1，θ2和θ3时,则机器人坐标和前进方向按下面的方法求得：
令α＝θ1-θ2，β＝θ1-θ3，圆O12表示经过机器人，R1，R2的圆，圆O13表示经过机器人，R1和R3的圆，则圆心坐标O12(x12,y12)和O13(x13,y13)为
(x12,y12)＝(x1+P1,y1+Q1) (1)
(x13,y13)＝(x1+P2,y1+Q2) (2)
式(1)和(2)中，
其中，L12表示R1和R2之间的距离，L13表示R1和R3之间的距离，δ1表示L12与x轴之间的夹角，δ2表示L12与L13之间的夹角；
由方程(1)和(2),圆O12和O13表示为：
O12:(xv-x1-P1)2+(yv-y1-Q1)2＝P1 2+Q1 2 (3)
O13:(xv-x1-P2)2+(yv-y1-Q2)2＝P2 2+Q2 2 (4)
通过解方程(3)和(4)，得到机器人的位置为：
(xv,yv)＝[x1+k(Q2-Q1),y1-k(P2-P1)] (5)
其中，
求得机器人位置(xv,yv)后，机器人方向由式(6)求得：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710670460.9A CN107272710B (zh) | 2017-08-08 | 2017-08-08 | 一种基于视觉定位的医用物流机器人***及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710670460.9A CN107272710B (zh) | 2017-08-08 | 2017-08-08 | 一种基于视觉定位的医用物流机器人***及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107272710A CN107272710A (zh) | 2017-10-20 |
| CN107272710B true CN107272710B (zh) | 2021-07-13 |
Family
ID=60077079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710670460.9A Active CN107272710B (zh) | 2017-08-08 | 2017-08-08 | 一种基于视觉定位的医用物流机器人***及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107272710B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107817800A (zh) * | 2017-11-03 | 2018-03-20 | 北京奇虎科技有限公司 | 机器人及机器人的碰撞处理方法、电子设备 |
| CN107866813A (zh) * | 2017-11-07 | 2018-04-03 | 龚土婷 | 一种智能引导机器人 |
| CN107807648B (zh) * | 2017-11-28 | 2020-10-30 | 广州市妇女儿童医疗中心 | 基于机器人与电梯***的路径规划***及方法 |
| CN108773433A (zh) * | 2018-06-05 | 2018-11-09 | 广州市远能物流自动化设备科技有限公司 | 一种基于agv小车的对接定位校准方法及agv小车 |
| CN109146385A (zh) * | 2018-08-30 | 2019-01-04 | 上海与德科技有限公司 | 一种物品运送方法、装置、设备及存储介质 |
| CN109048838A (zh) * | 2018-09-01 | 2018-12-21 | 诸暨市尚牌自动化科技有限公司 | 一种绣花机智能换底线机器人及自动换底线方法 |
| CN109773783B (zh) * | 2018-12-27 | 2020-04-24 | 北京宇琪云联科技发展有限公司 | 一种基于空间点云识别的巡防智能机器人及其警务*** |
| CN109938974A (zh) * | 2019-04-01 | 2019-06-28 | 杨天歌 | 一种视障人士用便携式智能导盲设备及导盲方法 |
| CN109976350B (zh) * | 2019-04-15 | 2021-11-19 | 上海钛米机器人科技有限公司 | 多机器人调度方法、装置、服务器及计算机可读存储介质 |
| CN110262474B (zh) * | 2019-05-06 | 2022-04-05 | 深圳市恒天伟焱科技股份有限公司 | 一种激光导引小车行进线路的自动控制***及方法 |
| CN110103231B (zh) * | 2019-06-18 | 2020-06-02 | 王保山 | 一种用于机械臂的精准抓取方法及*** |
| CN110393480B (zh) * | 2019-08-12 | 2021-03-19 | 侨银城市管理股份有限公司 | 一种用于清洁楼道的自动化机器人 |
| CN110900575A (zh) * | 2019-12-09 | 2020-03-24 | 北京航空航天大学 | 一种具有自动导引功能的并联智能机器人及其导引方法 |
| CN111123929A (zh) * | 2019-12-23 | 2020-05-08 | 天行智控(成都)科技有限公司 | 一种轨道运输分区调度*** |
| CN111673769A (zh) * | 2020-06-24 | 2020-09-18 | 浙江神汽电子商务有限公司 | 一种智能语音商务机器人 |
| CN112035921B (zh) * | 2020-08-25 | 2021-06-29 | 中船文化科技(北京)有限公司 | 一种方舱动线规划方法、装置、电子设备以及存储介质 |
| CN112536799A (zh) * | 2020-12-07 | 2021-03-23 | 夏喜明 | 一种用于试样采集的医用机器人及其导航*** |
| CN114200927A (zh) * | 2021-11-12 | 2022-03-18 | 北京时代富臣智能科技有限公司 | 一种物流机器人*** |
| CN114131610B (zh) * | 2021-12-15 | 2023-11-10 | 深圳亿嘉和科技研发有限公司 | 基于人类行为识别感知的机器人人机动作交互***及方法 |
| CN114464009A (zh) * | 2022-01-25 | 2022-05-10 | 深圳鹊巢停车科技有限公司 | 一种机器人代泊智慧车场*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4375320B2 (ja) * | 2005-10-27 | 2009-12-02 | 株式会社日立製作所 | 移動ロボット |
| CN106200643A (zh) * | 2014-02-13 | 2016-12-07 | 苏州艾吉威机器人有限公司 | 无反射板激光自主导航agv小车 |
| CN106251235A (zh) * | 2016-07-29 | 2016-12-21 | 北京小米移动软件有限公司 | 机器人功能配置***、方法及装置 |
| CN106276009B (zh) * | 2016-08-11 | 2020-06-19 | 中国科学院宁波材料技术与工程研究所 | 全向移动搬运机器人 |
| CN106444790A (zh) * | 2016-12-09 | 2017-02-22 | 屈兆辉 | 一种基于plc控制的工业agv*** |
| CN106950985B (zh) * | 2017-03-20 | 2020-07-03 | 成都通甲优博科技有限责任公司 | 一种自动送货方法及装置 |
-
2017
- 2017-08-08 CN CN201710670460.9A patent/CN107272710B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107272710A (zh) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107272710B (zh) | 一种基于视觉定位的医用物流机器人***及其控制方法 | |
| CN111837083B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| EP3371670B1 (en) | Device and method for autonomous localisation | |
| CN106527424A (zh) | 移动机器人及移动机器人的导航方法 | |
| US20110301800A1 (en) | Automatic guided vehicle and method for drive control of the same | |
| WO2010038353A1 (ja) | 自律移動装置 | |
| AU2020225213B2 (en) | Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle | |
| CN110621449B (zh) | 移动机器人 | |
| CN113853533A (zh) | 来自雷达数据的偏航率 | |
| JP5276931B2 (ja) | 移動体および移動体の位置推定誤り状態からの復帰方法 | |
| CN113791627B (zh) | 一种机器人导航方法、设备、介质和产品 | |
| EP3799618B1 (en) | Method of navigating a vehicle and system thereof | |
| JP2008305255A (ja) | 地図情報作成装置及びそれを備えた自律移動装置 | |
| WO2020085142A1 (ja) | 計測装置及び計測システム | |
| Behrje et al. | An autonomous forklift with 3d time-of-flight camera-based localization and navigation | |
| JP2014006833A (ja) | 自律移動装置、自律移動方法、標識、及び、自律移動システム | |
| KR102354229B1 (ko) | 무인 비행체의 비행 제어장치 및 그 방법 | |
| KR20220050483A (ko) | 무인 반송 차량의 위치 인식 장치 및 방법 | |
| Matsui et al. | Local and global path planning for autonomous mobile robots using hierarchized maps | |
| EP4390313A1 (en) | Navigation method and self-propelled apparatus | |
| Asensio et al. | Goal directed reactive robot navigation with relocation using laser and vision | |
| Kim et al. | Indoor localization using laser scanner and vision marker for intelligent robot | |
| JP7369375B1 (ja) | 建築物又は土木構造物の管理支援システム | |
| CN113460558B (zh) | 一种室外可移动货物搬运机器人 | |
| JP2839281B2 (ja) | 移動体の自己定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |