CN115730236B - 一种基于人机交互药物识别获取方法、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于人机交互药物识别获取方法，包括如下步骤：确定所需药物种类；机器人通过SLAM技术移动至固定的存药位置，采用视觉伺服的方法获取并存储现场信息；采用直方图均衡化的方法对深度相机所获图像进行处理，增强图像整体对比度；采用多特征融合物体识别方法对目标物体进行识别，确定目标药品的位置信息；利用多自由度软体爪机械臂初次抓取匹配度排序第一的药品，将其带到老人视野中，询问是否为所需药品，若满足要求则运动至老人面前。该方法提出了遮挡物体识别、全局最优路径规划方案，大大减轻了复杂环境对机器人工作效率的影响，对指定药品的识别与抓取精确度进一步提高。

Description

一种基于人机交互药物识别获取方法、设备及存储介质

技术领域

本发明属于机器人控制技术领域，是一种基于人机交互药物识别获取方法、设备及存储介质。

背景技术

护理机器人是一种半自主或全自主工作的机器人，能为残障人士提供必要的生活援助，这就要求机器人具有良好的人机交互能力与面对异常状况的高处理效率。当前护理机器人仍存在目标识别精度较低，受复杂环境影响较大的缺陷，

护理机器人所处的家庭环境、医院、养老院等工作空间通常属于非结构或半结构化环境，目标药物常常无序摆放，以机械臂对这类目标进行操作有一定挑战性。机械臂通常搭载于移动平台上，移动平台引入的自由度与自定位的扰动进一步提高了对目标进行识别和操作的难度。因此在复杂室内环境下通过多传感器融合实现对目标的精确定位和抓取具有重要意义。故本发明提出一种基于人机交互的护理机器人的药物识别与获取方法。

发明内容

本发明针对现有技术的不足，提供了一种基于人机交互药物识别获取方法、设备及存储介质，提出了遮挡物体识别、全局最优路径规划方案，大大减轻了复杂环境对机器人工作效率的影响，对指定药品的识别与抓取精确度进一步提高。

本发明提供了一种基于人机交互药物识别获取方法，包括智能机器人及搭载移动平台的机械臂，所述助老护理机器人的药物识别与获取方法包括如下步骤：

步骤（1）、采用MFCC参数提取的方法获得语音的特征参数，与提前制作好的语音模板进行DTW匹配，将语音信息映射至药物图像模板，确定所需药物种类；

步骤（2）、机器人通过SLAM技术移动至固定的存药位置，采用视觉伺服的方法获取并存储现场信息，同时通过网络模块向家人发送信息提醒，其中信息包括识别结果和机器人位姿；

步骤（3）、采用直方图均衡化的方法对深度相机所获图像进行处理，增强图像整体对比度；

步骤（4）、采用多特征融合物体识别方法对目标物体进行识别，确定目标药品的位置信息；

步骤（5）、利用多自由度软体爪机械臂初次抓取匹配度排序第一的药品，将其带到老人视野中，询问是否为所需药品，若满足要求则运动至老人面前；

步骤（6）、若选择药品未满足需求，重复步骤（2）-（5），依次选择剩余匹配度最高药品，直至满足需求或收到停止搜索的指令；

步骤（7）、老人发出使用完毕指令后，抓取老人手中药物并归还至原摆放位置，最后运动到初始位置，等待进一步指令。

本发明的有益效果是：

本发明充分考虑了与残障人士的人机交互，增加了护理机器人使用过程中的便捷性与智能型，提供更加全面周到的服务；

本发明提出了遮挡物体识别、全局最优路径规划方案，大大减轻了复杂环境对机器人工作效率的影响，对指定药品的识别与抓取精确度进一步提高；

本发明能够实时上传机器人位姿与环境信息，帮助家人及时了解情况并下达进一步指令，减少了意外情况发生的概率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例的任务实现方法流程图。

实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。另外，为了更好的说明本发明，在下文中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未做详细描述，以便于凸显本发明的主旨。

实施例

如图1所示，本发明用于助老护理机器人的药物识别与获取方法，所述方法基于配置一台可移动抓取物品的助老护理机器人，所述助老护理机器人底部搭载移动平台，顶部搭载机械臂、深度相机，且至少配置有激光雷达；

本发明用于助老护理机器人的药物识别与获取方法包括以下步骤：

步骤（1）、采用MFCC参数提取的方法获得语音的特征参数，与提前制作好的语音模板进行DTW匹配，将语音信息映射至药物图像模板，确定所需药物种类，具体步骤如下：

1-1 预加重：将语音信号通过高通滤波器，提升高频部分，得到信号函数；

式（1）

其中表示原语音信号，/>表示预加重参数；

1-2 将F个采样点集合为帧，在相邻两帧间添加M_m个取样点的重叠区域，其中；

1-3 为分帧后的信号添加Hamming窗，使用窗函数：

式（2）

其中表示Hamming参数，N表示帧的大小；将窗函数应用于每个帧，获得新的信号函数/>：

式（3）

对各帧信号进行快速傅里叶变换得到各帧的频:

式（4）

其中N’表示傅里叶变换的点数；

1-4 将能量谱通过一组Mel尺度的三角形滤波器组，计算每个滤波器组输出的对数能量:

式（5）

经离散余弦变换（DCT）得到MFCC系数:

式（6）

其中表示三角滤波器个数，L表示MFCC系数阶数；

1-5 将所得MFCC系数与药品模板逐一比对，计算匹配度：

式（7）

其中表示颜色匹配概率，/>表示轮廓匹配概率；

再将匹配结果按照匹配度从高到低的顺序排列；

步骤（2）、机器人通过SLAM技术移动至固定的存药位置，采用视觉伺服的方法获取并存储现场信息，同时通过网络模块向家人发送信息提醒，其中信息包括识别结果和机器人位姿，具体步骤如下：

2-1 使用GMapping方法，结合激光雷达、惯性测量单元及里程计获取的信息，通过坐标转换的方式构建栅格地图；

2-2 通过深度相机的识别与定位功能获取环境的语义信息，并加载至存储空间，建立语义地图模型；

2-3 构建语义信息更新模型，使机器人能够根据环境发生的变化进行对应的语义信息更新；

2-4 采用路径规划方法运动至指定位置，并实时上传机器人当前位姿；

步骤（3）、采用直方图均衡化的方法对深度相机所获图像进行处理，增强图像整体对比度，具体步骤如下：

3-1 将灰度级归一化，计算原始图像灰度值的累积分布函数（CDF）；

3-2 确定映射变换函数：

式（8）

其中r表示归一化处理后的原图像灰度，表示原图像灰度的概率密度函数；

对于灰度级为离散的数字图像，变换函数的离散形式可表示为：

式（9）

步骤（4）、采用多特征融合物体识别方法对目标物体进行识别，确定目标药品的位置信息，具体是：

4-1 目标物体特征提取方案：

4-1-1基于颜色特征：物体与周边环境存在明显的颜色落差，可对其进行阈值分割，利用颜色直方图统计或颜色矩的方式将关键部分同周边环境分割开，从而得到目标物体的图像；

4-1-2 基于轮廓特征：将目标物体边缘像素考虑为一个完整的轮廓，提取物体的轮廓信息，从而可对图像进行快速连通区域的分析，同时对完整的轮廓进行多边形逼进、利用矩形包围框计算轮廓内的面积，或对轮廓进行拟合之后利用Hu 矩进行匹配；

4-2 匹配识别算法：

4-2-1使用一种基于DSmT ( Dezert-Smarandache) 推理的物品融合识别算法，应用数据融合思想将来自不同深度学习模型提供的识别信息进行融合处理，如Caffe框架下的预训练模型AlexNet, CaffeNet, GoogleNet；

4-2-2 利用已有的预训练深度学习模型，根据分类识别任务进行特定的微调，针对 DSmT 理论中构造信度赋值困难的问题，使用深度学习网络对图像的判别输出进行证据源信度赋值；

4-2-3 在决策级层运用 DSmT 组合理论对信度赋值融合处理，与训练集对应模型相匹配，进而实现物品的准确识别；

步骤（5）、利用多自由度软体爪机械臂初次取放匹配度排序第一的药品，将其带到老人视野中，询问是否为所需药品，若满足要求则运动至老人面前，具体是：

5-1 构建视觉伺服闭环控制***；

5-2 基于快速搜索随机树 RRT生成可行捕获轨迹，利用概率论结合卡尔曼滤波以及现代控制理论，对上述可行轨迹进行先验概率评估，将捕获目标概率最大的轨迹作为机械臂的抓捕轨迹；

步骤（6）、若选择药品未满足需求，重复步骤（2）-（5），依次选择剩余匹配度最高药品，直至满足需求或收到停止搜索的指令；

步骤（7）、等待老人使用完毕后，将药物归还至原摆放位置，并运动到初始位置，等待进一步指令，具体是：

7-1 老人发出使用完毕指令后，机器人通过视觉识别老人手握药品，驱动机械臂精确抓取；

7-2 机器人移动到固定存药点，利用抓取时存储的药品位置信息确定归还地点；

7-3 驱动机械臂将药品归还至原位置；

7-4 机器人移动到初始位置，进入待机状态。

Claims (4)

1.一种基于人机交互的药物识别获取方法，其特征在于，该方法包括以下步骤：

步骤(1)、根据语音信号确定所需药物，具体步骤如下：

1-1预加重：获取语音信号，并将语音信号通过高通滤波器，提升高频部分，得到信号函数y(t)；

y(t)＝x(t)-μx(t-1) 式(1)

其中x(t)表示原语音信号，μ表示预加重参数；

1-2将F个采样点集合为帧，在相邻两帧间添加M_m个取样点的重叠区域，其中

1-3为分帧后的信号添加Hamming窗，使用窗函数W(n)：

其中a₀表示Hamming参数，N表示帧的大小；

将窗函数应用于每个帧，获得新的信号函数S'(n)：

S'(n)＝S(n)*W(n) 式(3)

对各帧信号进行快速傅里叶变换得到各帧的频谱X_a(k):

其中N'表示傅里叶变换的点数；

1-4将能量谱通过一组Mel尺度的三角形滤波器组，计算每个滤波器组输出的对数能量s(m)：

经离散余弦变换得到MFCC系数C(l):

其中M_t示三角滤波器个数，L表示MFCC系数阶数；

1-5将语音信息映射至药物图像模板，将所得MFCC系数与药物图像模板的信息逐一比对，按照匹配度从高到低的顺序排列，其中匹配度M_d的运算方法是：

M_d＝P_C+P_O 式(7)

其中P_C表示颜色匹配概率，P_O表示轮廓匹配概率；

步骤(2)、机器人通过SLAM技术移动至固定的存药位置，采用视觉伺服的方法获取并存储现场信息，所述现场信息包括定位信息和图像信息，同时通过网络模块发送信息提醒，其中信息包括识别结果和机器人位姿；

步骤(3)、采用直方图均衡化的方法对所获图像进行处理，增强图像整体对比度，具体步骤如下：

3-1将灰度级归一化，计算原始图像灰度值的累积分布函数；

3-2确定映射变换函数T(r)：

其中r表示归一化处理后的原图像灰度，p_r表示原图像灰度的概率密度函数；

对于灰度级为离散的数字图像，变换函数T(r_v)的离散形式可表示为：

步骤(4)、采用多特征融合物体识别方法对目标物体进行识别，确定目标药品的位置信息；

步骤(5)、利用多自由度软体爪机械臂初次取放匹配度排序第一的药品，将其带到患者视野中，询问是否为所需药品，若满足要求则运动至患者面前；

步骤(6)、若选择药品未满足需求，重复步骤(2)-(5)，依次选择剩余匹配度最高药品，直至满足需求或收到停止搜索的指令；

步骤(7)、等待患者使用完毕后，抓取患者手中药物并归还至原摆放位置，并运动到初始位置，等待进一步指令：

7-1老人发出使用完毕指令后，通过视觉识别老人手握药品，驱动机械臂精确抓取；

7-2机器人移动到固定存药点，利用抓取时存储的药品位置信息确定归还地点；

7-3驱动机械臂将药品归还至原位置；

7-4机器人移动到初始位置，进入待机状态。

2.根据权利要求1所述的一种基于人机交互的药物识别获取方法，其特征在于，所述步骤(2)具体步骤如下：

2-1使用GMapping方法，结合激光雷达、惯性测量单元及里程计获取的信息，通过坐标转换的方式构建栅格地图；

2-2通过深度相机的识别与定位功能获取环境的语义信息，并加载至存储空间，建立语义地图模型；

2-3构建语义信息更新模型，使机器人能够根据环境发生的变化进行对应的语义信息更新；

2-4采用路径规划方法运动至指定位置，并实时上传机器人当前位姿。

3.根据权利要求2所述的一种基于人机交互的药物识别获取方法，其特征在于，所述步骤(4)具体内容为：

4-1目标物体特征提取：

4-1-1基于颜色特征，物体与周边环境存在明显的颜色落差，可对其进行阈值分割，利用颜色直方图统计或颜色矩的方式将关键部分同周边环境分割开，从而得到目标物体的图像；

4-1-2基于轮廓特征，将目标物体的图像边缘像素确定为一个完整的轮廓，提取物体的轮廓信息，从而可对图像进行快速连通区域的分析，将具有相同像素值的相邻像素组成集合，得到不同物体的边缘特征，同时对完整的轮廓进行多边形逼进、利用矩形包围框计算轮廓内的面积，对轮廓进行拟合之后利用Hu矩进行匹配；

4-2匹配识别算法：

4-2-1使用一种基于DSmT推理的物品融合识别算法，将来自多个深度模型优化算法提供的识别信息进行融合处理；

4-2-2利用已有的预训练深度学习模型，根据分类识别任务进行微调，使用深度学习网络对图像的判别输出进行证据源信度赋值；

4-2-3在决策级层运用DSmT组合理论对信度赋值融合处理，与训练集对应模型相匹配，进而实现物品的准确识别；

4-3利用深度相机存储目标位置信息，用于归还药物时比对信息。

4.根据权利要求3所述的一种基于人机交互的药物识别获取方法，其特征在于，所述步骤(5)具体内容为：

5-1构建视觉伺服闭环控制***；

5-2使用深度相机寻找步骤(1)中所确定匹配度第一的目标，计算具体抓捕位置；

5-3基于快速搜索随机树RRT生成可行捕获轨迹，利用概率论结合卡尔曼滤波以及现代控制理论，对上述可行捕获轨迹进行先验概率评估，将捕获目标概率最大的轨迹作为机械臂的抓捕轨迹。