CN114770596B - 基于主动视觉和听觉的医疗行为采集机器人及控制方法 - Google Patents
基于主动视觉和听觉的医疗行为采集机器人及控制方法 Download PDFInfo
- Publication number
- CN114770596B CN114770596B CN202210457976.6A CN202210457976A CN114770596B CN 114770596 B CN114770596 B CN 114770596B CN 202210457976 A CN202210457976 A CN 202210457976A CN 114770596 B CN114770596 B CN 114770596B
- Authority
- CN
- China
- Prior art keywords
- module
- image
- active
- visual
- hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 35
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 239000010959 steel Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005452 bending Methods 0.000 claims abstract description 20
- 230000001502 supplementing effect Effects 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000002680 cardiopulmonary resuscitation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
- B25J18/06—Arms flexible
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于主动视觉和听觉的医疗行为采集机器人及控制方法，包括柔性机械臂、主动视觉模块、主动听觉模块、驱动模块、控制处理模块和电源模块，所述柔性机械臂由底座、转向及俯仰调节机构、弯曲伸展机构、震动抑制张紧装置组成；所述弯曲伸展机构由电机座、推杆电机、钢片连接件、弹性钢片、多个指节块、多个转轴和末端节块组成，所述震动抑制张紧装置由多个电磁铁单元组成，所述主动视觉模块由相机底座、工业相机和可调节补光灯组组成，所述主动听觉模块由麦克风阵列组成，本发明可实现非接触式医疗行为数据采集，解决医生小范围运动时视觉遮挡和语音高低变化情况下的信息采集难题，为医疗智能辅助奠定基础。
Description
技术领域
本发明涉及智慧医疗、人工智能、机器人学、仪器科学、控制科学、计算机科学、传感器技术、人机交互技术等交叉领域，涉及基于主动视觉和听觉的医疗行为采集机器人及控制方法。
背景技术
传统医疗行为的流程主要包括识别、诊断、治疗和康复，每个环节都主要依靠专业医师。一方面由于医务人员工作时间长，工作负荷重，长时间重复工作容易疲劳，存在失误和出错的风险，另一方面地区医疗资源的相对匮乏加重了医疗的压力。这些问题已经影响到社会的和谐发展，同时对医疗行为的检测与质量控制提出了挑战。随着智慧医院和智慧医疗的发展，迫切需要对医疗行为采用智能机器人和人工智能技术进行检测和管控。
近年来，医疗机器人在医疗行为的识别和诊断，远程会诊，手术室的全程数据采集等领域得到了广泛的应用。在基于视觉的医疗行为识别和诊断研究方面，中国专利201910243144.2提出一种医疗监控***包括用于显示和导航临床决策支持流程的方法，中国专利201710468651.7提出了一种多模态智能分析方法和***，病情描述为多模态数据，多模态数据包含文字数据、时间序列信号数据和视觉数据，并且设计了基于多模态数据的病情诊断导航和诊断决策。以上发明和现有的医疗行为数据采集***在一定程度上缓解了紧张的医疗资源，但是存在诸多问题，例如相机固定导致的拍摄角度固定，采集目标单一；采集图像时对于环境光要求较高；目标遮挡时无法及时调整相机，找到合适的视角。此外，在复杂医疗场景的医疗行为过程中，多个医生和患者交互过程中存在语音干扰和音量高低变化，对语音信息采集提出挑战。
针对以上现有专利方案中存在的问题，本专利提出一种基于主动视觉和听觉的医疗行为采集***及控制方法，通过主动视觉和听觉跟踪医生或患者，主动调节光照强度，主动识别跟踪说话者，实现复杂医疗场景中医疗行为的信息采集。本***基于视觉的无接触方案，易于患者接受；可移动可调节的功能适应行动不便的患者，提高采集的舒适度；自动化的采集，能够提高采集的效率；主动位姿调整和环境光弥补能够提高采集的质量；主动目标跟踪、躲避遮挡，以及语音识别能够实现医疗行为的全流程的无盲区采集。
发明内容
所解决的技术问题在于，克服接触式的医疗行为数据采集带来的不便的问题，克服医疗行为图像数据采集中，相机视角不能主动调整，环境光无法主动变化，以及目标遮挡问题，克服杂乱环境下采集音频数据时易受干扰的问题，克服多音源环境下采集音频数据时缺乏针对性的问题，设计基于主动视觉和听觉的医疗行为采集机器人及控制方法，通过主动视觉和听觉跟踪医生或患者，主动调节光照强度，主动识别跟踪说话者，实现复杂医疗场景中医疗行为的信息采集。
为实现上述目的，本发明采取的技术方案是：
基于主动视觉和听觉的医疗行为采集机器人，包括柔性机械臂、任务输入模块、主动视觉模块、主动听觉模块、驱动模块、控制处理模块和电源模块，所述任务输入模块用于指定采集任务，所述主动视觉模块提供目标的视觉反馈信号以及进行医疗行为的图像数据采集，所述主动听觉模块用于提供目标的音频反馈信号，所述控制处理模块接受上述的视觉和音频反馈信号，所述驱动模块接受控制处理模块的输出指令并控制柔性机械臂进行位姿的调整实现对目标的跟踪控制，所述电源模块为主动视觉模块、主动听觉模块、控制处理模块和柔性机械臂提供电源；
所述的柔性机械臂由底座、转向及俯仰调节机构、弯曲伸展机构和震动抑制张紧装置组成；
所述的底座为圆柱筒状，所述的转向及俯仰调节机构包括转向电机、连接件和俯仰电机，所述的转向电机安装在所述底座的圆柱筒内的上表面，转向电机轴伸出圆柱筒的上表面，所述的连接件底部固定在所述的转向电机输出轴上，所述的俯仰电机固定在所述的连接件上，俯仰电机输出轴与转向电机输出轴垂直；
所述的弯曲伸展机构包括电机座、推杆电机、钢片连接件、弹性钢片、指节块、转轴和末端节块，所述的电机座固定在俯仰电机输出轴上，所述的推杆电机安装在电机座上，所述的钢片连接件安装在推杆电机的输出轴上，所述的弹性钢片后端固定在钢片连接件上，各指节块通过转轴依次转动副连接，形成弯曲伸展机构本体，最后端的指节块与电机座转动副连接，最前端的指节块与末端节块转动副连接，各指节块和末端节块在转动轴上方侧面沿着弯曲伸展机构本体方向设置有槽型通孔，各指节块单侧面设置有圆形凹槽，弹性钢片的前端穿过相应指节块上的槽型通孔并固定在末端节块的槽型通孔中；
所述的震动抑制张紧装置由至少2个电磁铁单元组成，所述电磁铁单元分别安装于对应指节块的侧面圆形凹槽中。
作为本发明医疗行为采集机器人进一步改进，
所述的主动视觉模块由相机底座、工业相机和可调节补光灯组组成，所述相机底座安装在末端节块上，所述相机底座形状为凸台状且分上下两层；所述的工业相机安装在相机底座上层，所述工业相机由图像传感器组件和镜头组成，所述补光灯组由至少2个LED灯组成，环形分布于相机底座上层；
作为本发明医疗行为采集机器人进一步改进，
所述的主动听觉模块由麦克风阵列组成，麦克风阵列由八个麦克风单元组成，环形分布于相机底座下层。
作为本发明医疗行为采集机器人进一步改进，
所述电源模块安装于底座下方负责给驱动模块、底座中的电机、转向及俯仰调节机构的转向电机以及俯仰电机、推杆电机、主动视觉模块、主动听觉模块和控制处理模块供电。
作为本发明医疗行为采集机器人进一步改进，
所述的控制处理模块包含视/听觉控制器和关节控制器，固定在底座(6-1)的下方。
本发明提供基于主动视觉和听觉的医疗行为采集机器人的控制方法，包含主动视觉和主动听觉的协同控制方法，步骤包括：
S0：任务输入；
S1：选择工作模式；
S2-1-1：工业相机采集图像数据；
S2-1-2：图像预处理，包含图像的中值滤波、灰度阈值分割和采用Sobel算子的图像边缘检测，经过预处理后的图像保留有主要的特征信息，且去除了噪声；
S2-1-3：图像特征提取，采用Haar特征算子提取特征得到反馈的特征向量，然后计算与期望特征的差值；
S2-1-4：获取期望图像特征；
S2-2-1：麦克风阵列采集音频数据；
S2-2-2：采用基于深度学习的AEC滤波算法对音频数据进行滤波处理；
S2-2-3：采用基于深度神经网络的I-Vector模型进行声纹识别，锁定采集目标；
S2-2-4：利用到达时延差，求得音频信号的声源位置；
S3：计算期望特征与提取特征的差值
S4：将声源位置和期望特征与提取特征的差值输出至视/听觉控制器，并输出速度向量v_(f)和采集数据的类型；
S5：判断是否为图像数据；
S6：是图像数据，调整补光灯组亮度；
S7：判断数据是否合规；
S8：不合规，关节控制器控制关节角调整工业相机的视角和麦克风阵列的位姿，并重复上述操作；
S9：合规，任务结束。
作为本发明控制方法进一步改进，
所述步骤S4中视/听觉控制器融合图像信息和音频信息，输出控制命令，其中视觉反馈回路的目的是最小化图像误差，该误差定义为：
e(t)＝s(m(t),a)-s*
其中m(t)是Haar的特征，a是***中潜在的未知参数，S代表了PD的控制算法，即将提取的特征m(t)映射至目标特征S*的空间中，并与S*进行比较，***误差达到误差允许范围时，***达到稳定状态，其中最核心的是建立图像变化与机械臂运动之间的映射变化，即***的雅可比矩阵；
其中机器人关节空间到图像特征空间的微分映射关系：
f’＝J·θ’
其中θ’是关节速度，f’是图像特征变化速度，J是***的雅可比矩阵：
J＝Jr·Jq
其中Jr是图像雅可比矩阵，代表了图像特征变化和末端速度变化之间的关系，Jq是机械臂雅可比矩阵，反应末端速度与关节速度之间的关系。其中机械臂雅可比矩阵Jq，刚性部分根据D-H法对机械臂建模可以获得D-H参数，柔性伸展结构部分建模则基于分段常曲率的假设，采用空间映射变换的方法，得到推杆伸缩与柔性机械臂末端的位置与姿态之间的齐次变换关系,齐次变换矩阵为：
0T3＝0T1 1T2 2T3
接下来对柔性机械臂的正、逆运动，以及机械臂雅可比矩阵进行求解，图像雅可比矩阵的计算：
首先基于小孔成像原理对摄像机进行建模，然后引入世界坐标和相机坐标的变化矩阵，计算得到图像雅可比矩阵，获得图像雅可比矩阵和机械臂雅可比矩阵后，计算得到***的雅可比矩阵，然后采用基于卡尔曼滤波的雅可比矩阵在线估计法计算实时的图像雅可比矩阵，求得视觉速度向量vc；
所述的音频反馈回路，目的是提供音源位置，麦克风阵列上的多个麦克风单元同步采集声音信号，首先采用基于深度神经网络的I-Vector模型进行声纹识别，搜索注册表中的注册人员，从而锁定采集目标，基于到达时延差的方法，得到声源位置，输入至视/听觉控制器，求得听觉速度向量va；
所述的视/听控制器的输出结果方程：
vf＝a*vc+(1-a)*va
a＝f(Δm,l)
其中vf视/听觉控制器输出的末端速度向量，是视觉速度向量vc和听觉速度向量va的加权求和，f(Δm,l)是权重函数，ρm是图像特征差值，l是代表环境光的参数；
所述的视/听觉控制器输出vf至关节控制器，控制关节转动，从而调整机械臂末端的工业相机和麦克风阵列的位姿。
与现有技术相比，本发明的有益效果为：
本发明基于视觉可对医疗行为进行无接触的采集，提高患者被采集的舒适度；采用柔性机械臂的方案，便于移动且安全性较好；基于主动视觉和听觉的跟踪控制方法可以实现对目标丢失时的后续跟踪，避免采集时的盲区；主动调节补光灯组可以弥补环境光的不足，保证采集图像的质量；主动调节麦克风阵列的位姿，保证采集音频的质量。
附图说明
图1为本发明的医疗行为采集机器人***组成示意图；
图2为本发明的医疗行为采集机器人整体机构的立体图；
图3为本发明的医疗行为采集机器人的底座立体图；
图4为本发明的医疗行为采集机器人的底座仰视图；
图5为本发明的医疗行为采集机器人的一节指节立体图；
图6为本发明的医疗行为采集机器人的柔性伸展机构立体图；
图7为本发明的医疗行为采集机器人的关节运动状态图；
图8为本发明的医疗行为采集机器人的主动视觉和主动听觉模块立体图；
图9为本发明的医疗行为采集机器人的主动跟踪控制方法算法流程图；
图10为本发明的医疗行为采集机器人的工作场景图；
附件标记：
1、任务输入模块；2、主动视觉模块；3、主动听觉模块；4控制处理模块；5、驱动模块；6、弯曲伸展机构；7、电源模块；8、目标；9、任务结束；2-1、工业相机；2-2、补光灯组；2-3、相机底座；3-1麦克风阵列；6-1、底座；6-2、转向电机；6-3、连接件；6-4、推杆电机；6-5俯仰电机；6-6钢片连接件；6-7、电机座；6-8、弹性钢片；6-9、指节块；6-10、转轴；6-11、末端节块；6-12、槽型通孔；6-13、圆形凹槽；S_1:柔性机械臂伸直状态；S_2:柔性机械臂弯曲状态；S_3:柔性机械臂俯仰角改变状态；S_4:柔性机械臂旋转角改变状态。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
实施例：
参照图1，一种基于主动视觉和听觉的医疗行为采集机器人及跟踪控制方法由任务输入模块1、主动视觉模块2、主动听觉模块3、控制处理模块4、驱动模块5、柔性机械臂6和电源模块7组成，任务输入模块1用于指定采集任务，主动视觉模块2提供目标8的视觉反馈信号以及进行医疗行为的图像数据采集，主动听觉模块3用于提供目标8的音频反馈信号，控制处理模块4接受上述的视觉和音频反馈信号，驱动模块5接受控制处理模块4的输出指令并控制柔性机械臂6进行位姿的调整实现对目标8的跟踪控制，电源模块7为主动视觉模块2、主动听觉模块3、控制处理模块4和柔性机械臂6提供电源，任务结束9代表任务的完成；
参照图2、图3、图4和图7所述的底座6-1为圆柱筒状，所述的转向及俯仰调节机构包括转向电机6-2、连接件6-3和俯仰电机6-5，所述的转向电机6-2安装在所述底座的圆柱筒内，转向电机轴伸出圆柱筒的上表面，可以控制机械臂沿着竖直方向的旋转，这是第一个自由度，转向电机6-2转轴转动，带动连接件6-3、俯仰电机6-5、电机座6-7及弯曲伸展机构转动，使柔性机械臂俯仰角改变状态S_3变为柔性机械臂旋转角改变状态S_4，所述的连接件6-3底部固定在所述的转向电机输出轴上，所述的俯仰电机6-5固定在所述的连接件上。
参照图1、图2、图3、图4、图5、图6和图7，所述的弯曲伸展机构包括电机座6-7、推杆电机6-4、钢片连接件6-6、弹性钢片6-8、多个指节块6-9、多个转轴6-10和末端节块6-11组成，所述的电机座6-7固定在俯仰电机6-5输出轴上并控制控制机械臂的俯仰角，这是第二个自由度，俯仰电机6-5输出轴转动，带动电机座6-7及弯曲伸展机构转动，使柔性机械臂弯曲状态S_2变为柔性机械臂俯仰角改变状态S_3。所述的推杆电机6-4安装在电机座6-7上，所述的钢片连接件安装在推杆电机的输出轴上，所述的弹性钢片6-8后端固定在钢片连接件上，放置于槽型通孔6-12中，所述的多个指节块6-9通过转轴依次转动副连接，形成弯曲伸展机构本体，最后端的指节块与电机座转动副连接，最前端的指节块与末端节块转动副连接，通过推杆电机6-4推杆的缩短导致弹性钢片弯曲，伸长使其恢复原状态，这是第三个自由度，推杆电机6-4推杆收缩，使导致弹性钢片弯曲，从而使弯曲伸展机构弯曲，由柔性机械臂伸直状态S_1变为柔性机械臂弯曲状态S_2。
参考图6和图7所述的震动抑制张紧装置，将多个电磁铁单元分别放置于所述的多个指节块单侧面的圆形凹槽6-13中，当弯曲伸展结构发生震荡时，使电磁铁通电，吸附弹性钢片6-8，使其贴合圆形凹槽6-13，增大摩擦力，动能转化为摩擦产生的热能，达到抑制震动的效果。
参考图8，所述的主动视觉模块由相机底座2-3、工业相机2-1和可调节补光灯组2-2组成，所述相机底座安装在末端节块6-11上，形状为凸台状，分上下两层；所述的工业相机安装在相机底座上层，工业相机由图像传感器组件和镜头组成，所述补光灯组2-2由多个LED灯组成，环形分布于相机底座上层。所述的主动听觉模块由麦克风阵列组成，麦克风阵列3-1由八个麦克风子模块组成，环形分布于相机底座下层。
参考图9，所述的跟踪控制方法，步骤如下：
S0：任务输入；
S1：选择工作模式；
S2-1-1：工业相机采集图像数据；
S2-1-2：图像预处理，包含图像的中值滤波、灰度阈值分割和采用Sobel算子的图像边缘检测，经过预处理后的图像保留有主要的特征信息，且去除了噪声；
S2-1-3：图像特征提取，采用Haar特征算子提取特征得到反馈的特征向量，然后计算与期望特征的差值；
S2-1-4：获取期望图像特征；
S2-2-1：麦克风阵列采集音频数据；
S2-2-2：采用基于深度学习的AEC滤波算法对音频数据进行滤波处理；
S2-2-3：采用基于深度神经网络的I-Vector模型进行声纹识别，锁定采集目标；
S2-2-4：利用到达时延差，求得音频信号的声源位置；
S3：计算期望特征与提取特征的差值
S4：将声源位置和期望特征与提取特征的差值输出至视/听觉控制器，并输出速度向量v_(f)和采集数据的类型；
S5：判断是否为图像数据；
S6：是图像数据，调整补光灯组亮度；
S7：判断数据是否合规；
S8：不合规，关节控制器控制关节角调整工业相机的视角和麦克风阵列的位姿，并重复上述操作；
S9：合规，任务结束。
参考图10，在心肺复苏的场景中，为了记录施救者的按压动作数据，柔性机械臂会主动调整工业相机的位姿，找到患者胸腔区域，调整合适的视角拍摄心脏按压动作，当进行人工呼吸时，工业相机会找到患者的脸部区域，记录该动作的数据。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (6)
1.基于主动视觉和听觉的医疗行为采集机器人，包括柔性机械臂(6)、任务输入模块(1)、主动视觉模块(2)、主动听觉模块(3)、驱动模块(5)、控制处理模块(4)和电源模块(7)，其特征在于：所述任务输入模块(1)用于指定采集任务，所述主动视觉模块(2)提供目标(8)的视觉反馈信号以及进行医疗行为的图像数据采集，所述主动听觉模块(3)用于提供目标(8)的音频反馈信号以及进行医疗行为的音频数据采集，所述控制处理模块(4)接受上述的视觉和音频反馈信号，所述驱动模块(5)接受控制处理模块(4)的输出指令并控制柔性机械臂(6)进行位姿的调整实现对目标(8)的跟踪控制，所述电源模块(7)为主动视觉模块(2)、主动听觉模块(3)、控制处理模块(4)和柔性机械臂(6)提供电源；
所述的柔性机械臂(6)由底座(6-1)、转向及俯仰调节机构、弯曲伸展机构和震动抑制张紧装置组成；
所述的底座(6-1)为圆柱筒状，所述的转向及俯仰调节机构包括转向电机(6-2)、连接件(6-3)和俯仰电机(6-5)，所述的转向电机(6-2)安装在所述底座(6-1)的圆柱筒内的上表面，转向电机(6-2)输出轴伸出圆柱筒的上表面，所述的连接件(6-3)底部固定在所述的转向电机(6-2)输出轴上，所述的俯仰电机(6-5)固定在所述的连接件(6-3)上，俯仰电机(6-5)输出轴与转向电机(6-2)输出轴垂直；
所述的弯曲伸展机构(6)包括电机座(6-7)、推杆电机(6-4)、钢片连接件(6-6)、弹性钢片(6-8)、指节块(6-9)、转轴(6-10)和末端节块(6-11)，所述的电机座(6-7)固定在俯仰电机(6-5)输出轴上，所述的推杆电机(6-4)安装在电机座(6-7)上，所述的钢片连接件(6-6)安装在推杆电机(6-4)的输出轴上，所述的弹性钢片(6-8)后端固定在钢片连接件(6-6)上，各指节块(6-9)通过转轴(6-10)依次转动副连接，形成弯曲伸展机构本体，最后端的指节块(6-9)与电机座(6-7)转动副连接，最前端的指节块(6-9)与末端节块(6-11)转动副连接，各指节块(6-9)和末端节块(6-11)在转动轴上方侧面沿着弯曲伸展机构本体方向设置有槽型通孔(6-12)，各指节块(6-9)单侧面设置有圆形凹槽(6-13)，弹性钢片(6-8)的前端穿过相应指节块(6-9)上的槽型通孔(6-12)并固定在末端节块的槽型通孔(6-12)中；
所述的震动抑制张紧装置由至少2个电磁铁单元组成，所述电磁铁单元分别安装于对应指节块(6-9)的侧面圆形凹槽(6-13)中；
所述的控制处理模块(4)包含视/听觉控制器和关节控制器，固定在底座(6-1)的下方。
2.根据权利要求1所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：
所述的主动视觉模块(2)由相机底座(2-3)、工业相机(2-1)和可调节补光灯组(2-2)组成，所述相机底座(2-3)安装在末端节块(6-11)上，所述相机底座(2-3)形状为凸台状且分上下两层；所述的工业相机(2-1)安装在相机底座(2-3)上层，所述工业相机(2-1)由图像传感器组件和镜头组成，所述补光灯组(2-2)由至少2个LED灯组成，环形分布于相机底座(2-3)上层。
3.根据权利要求2所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：
所述的主动听觉模块(3)由麦克风阵列组成，麦克风阵列由八个麦克风单元组成，环形分布于相机底座(2-3)下层。
4.根据权利要求1所述的基于主动视觉和听觉的医疗行为采集机器人，其特征在于：
所述电源模块(7)安装于底座(6-1)下方负责给驱动模块(5)、转向及俯仰调节机构的转向电机(6-2)以及俯仰电机(6-5)、推杆电机(6-4)、主动视觉模块(2)、主动听觉模块(3)和控制处理模块(4)供电。
5.根据权利要求1-4任意一项所述基于主动视觉和听觉的医疗行为采集机器人的控制方法，包含主动视觉和主动听觉的协同控制方法，步骤包括，其特征在于：
S0：任务输入；
S1：选择工作模式；
S2-1-1：工业相机采集图像数据；
S2-1-2：图像预处理，包含图像的中值滤波、灰度阈值分割和采用Sobel算子的图像边缘检测，经过预处理后的图像保留有主要的特征信息，且去除了噪声；
S2-1-3：图像特征提取，采用Haar特征算子提取特征得到反馈的特征向量；
S2-1-4：获取期望图像特征；
S2-2-1：麦克风阵列采集音频数据；
S2-2-2：采用基于深度学习的AEC滤波算法对音频数据进行滤波处理；
S2-2-3：采用基于深度神经网络的I-Vector模型进行声纹识别，锁定采集目标；
S2-2-4：利用到达时延差，求得音频信号的声源位置；
S3：计算期望特征与提取特征的差值；
S4：将声源位置和期望特征与提取特征的差值输出至视/听觉控制器，并输出速度向量v_(f)和采集数据的类型；
S5：判断是否为图像数据；
S6：是图像数据，调整补光灯组亮度；
S7：判断图像数据是否合规；
S8：不合规，关节控制器控制关节角调整工业相机的视角和麦克风阵列的位姿，并重复上述步骤；
S9：合规，任务结束。
6.根据权利要求5所述基于主动视觉和听觉的医疗行为采集机器人的控制方法，其特征在于：
所述步骤S4中视/听觉控制器融合图像信息和音频信息，输出控制命令，输出过程要进行视觉反馈，其中视觉反馈回路的目的是最小化图像误差，该误差定义为：
e(t)＝s(m(t),a)-s*
其中m(t)是Haar的特征，a是***中潜在的未知参数，S代表了PD的控制算法，即将提取的特征m(t)映射至目标特征S*的空间中，并与S*进行比较，***误差达到误差允许范围时，***达到稳定状态，其中最核心的是建立图像变化与机械臂运动之间的映射变化，即***的雅可比矩阵；
其中机器人关节空间到图像特征空间的微分映射关系：
f’＝J·θ’
其中θ’是关节速度，f’是图像特征变化速度，J是***的雅可比矩阵：
J＝Jr·Jq
其中Jr是图像雅可比矩阵，代表了图像特征变化和末端速度变化之间的关系，Jq是机械臂雅可比矩阵，反应末端速度与关节速度之间的关系，其中机械臂雅可比矩阵Jq，刚性部分根据D-H法对机械臂建模可以获得D-H参数，柔性伸展结构部分建模则基于分段常曲率的假设，采用空间映射变换的方法，得到推杆伸缩与柔性机械臂末端的位置与姿态之间的齐次变换关系,齐次变换矩阵为：
0T3＝0T1 1T2 2T3
接下来对柔性机械臂的正、逆运动，以及机械臂雅可比矩阵进行求解，图像雅可比矩阵的计算：
首先基于小孔成像原理对摄像机进行建模，然后引入世界坐标和相机坐标的变化矩阵，计算得到图像雅可比矩阵，获得图像雅可比矩阵和机械臂雅可比矩阵后，计算得到***的雅可比矩阵，然后采用基于卡尔曼滤波的雅可比矩阵在线估计法计算实时的图像雅可比矩阵，求得视觉速度向量vc；
所述的音频反馈回路，目的是提供声源位置，麦克风阵列上的多个麦克风单元同步采集声音信号，首先采用基于深度神经网络的I-Vector模型进行声纹识别，搜索注册表中的注册人员，从而锁定采集目标，基于到达时延差的方法，得到声源位置，输入至视/听觉控制器，求得听觉速度向量va；
所述的视/听控制器的输出结果方程：
vf＝a*vc+(1-a)*va
a＝f(Δm,l)
其中vf视/听觉控制器输出的末端速度向量，是视觉速度向量vc和听觉速度向量va的加权求和，f(Δm,l)是权重函数，Δm是图像特征差值，l是代表环境光的参数；
所述的视/听觉控制器输出vf至关节控制器，控制关节转动，从而调整机械臂末端的工业相机和麦克风阵列的位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210457976.6A CN114770596B (zh) | 2022-04-28 | 2022-04-28 | 基于主动视觉和听觉的医疗行为采集机器人及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210457976.6A CN114770596B (zh) | 2022-04-28 | 2022-04-28 | 基于主动视觉和听觉的医疗行为采集机器人及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114770596A CN114770596A (zh) | 2022-07-22 |
| CN114770596B true CN114770596B (zh) | 2023-08-11 |
Family
ID=82433451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210457976.6A Active CN114770596B (zh) | 2022-04-28 | 2022-04-28 | 基于主动视觉和听觉的医疗行为采集机器人及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114770596B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103029139A (zh) * | 2013-01-15 | 2013-04-10 | 北京航空航天大学 | 一种基于磁流变技术的柔性机械臂减振装置与方法 |
| CN105596005A (zh) * | 2009-03-26 | 2016-05-25 | 直观外科手术操作公司 | 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的*** |
| CN106695879A (zh) * | 2016-08-09 | 2017-05-24 | 北京动力京工科技有限公司 | 一种超弹性合金片机械臂 |
| EP3320873A1 (en) * | 2015-07-09 | 2018-05-16 | Kawasaki Jukogyo Kabushiki Kaisha | Surgical robot |
| CN108044599A (zh) * | 2018-01-23 | 2018-05-18 | 连雪芳 | 一种应用于强磁场强辐射工况的检修机械臂装置 |
| CN109866214A (zh) * | 2017-12-01 | 2019-06-11 | 深圳光启合众科技有限公司 | 仿生柔性结构及具有其的机器人 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2016063348A1 (ja) * | 2014-10-21 | 2017-09-28 | オリンパス株式会社 | 湾曲機構および軟性医療器具 |
| KR101818400B1 (ko) * | 2017-08-11 | 2018-01-15 | 한양대학교 산학협력단 | 마그네틱 로봇 시스템 |
-
2022
- 2022-04-28 CN CN202210457976.6A patent/CN114770596B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105596005A (zh) * | 2009-03-26 | 2016-05-25 | 直观外科手术操作公司 | 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的*** |
| CN103029139A (zh) * | 2013-01-15 | 2013-04-10 | 北京航空航天大学 | 一种基于磁流变技术的柔性机械臂减振装置与方法 |
| EP3320873A1 (en) * | 2015-07-09 | 2018-05-16 | Kawasaki Jukogyo Kabushiki Kaisha | Surgical robot |
| CN106695879A (zh) * | 2016-08-09 | 2017-05-24 | 北京动力京工科技有限公司 | 一种超弹性合金片机械臂 |
| CN109866214A (zh) * | 2017-12-01 | 2019-06-11 | 深圳光启合众科技有限公司 | 仿生柔性结构及具有其的机器人 |
| CN108044599A (zh) * | 2018-01-23 | 2018-05-18 | 连雪芳 | 一种应用于强磁场强辐射工况的检修机械臂装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114770596A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102791214B (zh) | 采用实时速度优化的不经校准的视觉伺服 | |
| JP2022036255A (ja) | ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体 | |
| US20120101508A1 (en) | Method and device for controlling/compensating movement of surgical robot | |
| Lee et al. | Decoding movement imagination and execution from eeg signals using bci-transfer learning method based on relation network | |
| JP2023501480A (ja) | 外科手術ロボットを制御する方法 | |
| CN114770596B (zh) | 基于主动视觉和听觉的医疗行为采集机器人及控制方法 | |
| Takanishi et al. | Development of an anthropomorphic head-eye robot with two eyes-coordinated head-eye motion and pursuing motion in the depth direction | |
| CN116236328A (zh) | 基于视觉的可实现自然抓取的智能假肢*** | |
| CN106214163A (zh) | 一种下肢畸形矫正术后康复的人工心理辅导装置 | |
| Maheswari et al. | Voice control and eyeball movement operated wheelchair | |
| CN111973406B (zh) | 随动式柔性伺服牵引的步态康复机器人*** | |
| CN111243705B (zh) | 一种自适应vr镜像训练*** | |
| Jin et al. | Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind | |
| CN111358659B (zh) | 一种机器人的助力控制方法、***及下肢康复机器人 | |
| Perez et al. | Robotic wheelchair controlled through a vision-based interface | |
| Yang et al. | Head-free, human gaze-driven assistive robotic system for reaching and grasping | |
| KR101428857B1 (ko) | 근전도 센서와 가속도 센서를 이용한 로봇 동작 제어 장치 및 방법 | |
| CN111524592B (zh) | 一种用于皮肤病智能诊断机器人 | |
| CN115120250A (zh) | 基于脑电信号和slam控制的智能脑控轮椅*** | |
| CN109934155B (zh) | 一种基于深度视觉的协作机器人手势识别方法及装置 | |
| CN111228084B (zh) | 一种上肢康复训练装置 | |
| Takanishi | An anthropomorphic robot head having autonomous facial expression function for natural communication with humans | |
| Foresi et al. | Human-robot cooperation via brain computer interface in assistive scenario | |
| Sowmya et al. | Eye gaze controlled wheelchair | |
| Bodapati et al. | An Intelligent And An Effective Eye-Tracking System For Automated Wheelchair Control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |