CN106651949A - 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** - Google Patents
一种基于仿真的空间机械臂抓捕目标遥操作方法及*** Download PDFInfo
- Publication number
- CN106651949A CN106651949A CN201610903204.5A CN201610903204A CN106651949A CN 106651949 A CN106651949 A CN 106651949A CN 201610903204 A CN201610903204 A CN 201610903204A CN 106651949 A CN106651949 A CN 106651949A
- Authority
- CN
- China
- Prior art keywords
- target
- mechanical arm
- unit
- module
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于仿真的空间机械臂抓捕目标遥操作***,包括数据源采集模块、中间件模块、目标追踪与定位模块、操作规划模块、运动模拟模块等,通过插件式的构建策略实现了***对多种不同类型数据源的实时采集,实现了数据采集和数据处理速度不一致的调节,采用快速跟踪算法保证摄像头对目标追踪的实时性,并通过位姿测量算法保证真实目标与模拟目标位姿的同步性。本发明可为空间机械臂对动态目标捕获过程中的视觉定位算法提供验证平台,同时也能够通过三维可视化的方式将抓捕过程进行演示,辅助地面操作人员完成对抓捕过程的控制。
Description
技术领域
本发明涉及机械臂遥操作领域,具体涉及一种基于仿真的空间机械臂抓捕目标遥操作方法及***。
背景技术
空间机械臂是空间站建设和维护必不可少的关键设备,能够在轨完成航天器的组装和拆分、维护与修理、燃料输送、卫星释放与回收以及空间站内进行科学探测实验等各种任务,可以减少航天员的舱外活动,避免生命危险且节省出舱费用。我国将于2022年左右,建造完成载人空间站工程***,突破和掌握近地空间长期载人飞行技术,开展近地空间科技实验,增强综合开发利用太空资源能力。随着航天事业的发展,空间机械臂将发挥越来越重要的作用。
地面摇操作是空间机械臂操控的三大模式之一,是空间机械臂执行各种复杂空间任务必须依赖的重要操控方法。在空间机械臂执行飞行器抓捕、组件模块更换等任务时,机械臂携带的视觉***拍摄***作对象的状态。地面操控人员根据下传图像观察空间中的操作过程,然而由于空间航天器与地面遥操作中心的传输网络带宽有限且传输过程存在一定的时延,使得操作人员无法实时观察到操作过程,也无法精确预知机械臂与***作对象的相对位置关系。当机械臂与***作对象距离较近时,则容易发生非预知性碰撞,损坏机械臂、飞行器和组件模块。
发明内容
本发明所要解决的技术问题是提供利用空间机械臂携带的视觉***拍摄的图像测量机械臂末端相对于被抓捕目标位姿,进而预测机械臂的运动轨迹,辅助地面遥操作人员完成操控决策的仿真方法,以解决遥操作人员因无法预估空间机械臂与目标的相对状态而难以有效决策的问题。。
本发明解决上述技术问题的技术方案如下:一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,包括以下步骤:
步骤1、数据源采集模块通过多种类型的插件从对应类型的数据源采集目标的图像数据并统一转换成相同格式后发送至中间件模块;
步骤2、中间件模块接收并存储经过转换的图像数据并发送至目标追踪与定位模块进行处理,并保持数据源采集模块采集图像数据的速度和目标追踪与定位模块处理图像数据的速度之间的差值保持在预设范围内;
步骤3、目标追踪与定位模块对经过转换的图像数据进行处理,得到目标的位姿;
步骤4、操作规划模块根据目标的位姿和获取的机械臂末端位姿,规划空间机械臂各关节的运动;
步骤5、运动模拟模块建立空间机械臂三维模型和目标三维模型,并根据操作规划模块规划的机械臂各关节的运动,实时改变空间机械臂三维模型的位姿和目标三维模型的位姿;
步骤6、重复以上步骤,直到在运动模拟模块中完成机械臂对目标的捕获。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述步骤2具体包括以下步骤:
步骤2.1、插件管理单元对多种类型的插件进行管理与调配,接收经过转换的图像数据并存储在自适应缓冲区单元中;
步骤2.2、所述自适应缓冲区单元使所述数据源采集模块的数据采集速度和所述目标追踪与定位模块的处理速度之间的差值保持在预设范围内;
步骤2.3、数据输出接口单元将所述自适应缓冲区中的图像数据发送至目标跟踪与定位模块。
进一步,所述步骤2.2具体包括以下步骤:
设定缓冲区允许的最大帧差为FBMAX,缓冲区允许的最大帧差的上限为FMAX,丢弃帧标记数为FTf,图像采集和图像处理的帧差为FP-C;
步骤2.2.1,如果FP-C>FBMAX,执行FTf=FTf+1,则跳转到步骤2.2.2;
如果FP-C<FBMAX/2,则跳转到步骤2.2.3;
如果FP-C≥FBMAX/2,并且FP-C≤FBMAX,则跳转到步骤2.2.4;
步骤2.2.2,如果FTf≥FBMAX/2,执行FBMAX=2*FBMAX,跳转到步骤2.2.6;如果FTf<FBMAX/2,直接跳转到步骤2.2.6;
步骤2.2.3,如果FP-C≤1,则令FTf=0,否则执行FTf=(FTf+1)/2,直到2*FTf≤FP-C,执行完上述计算后跳转到步骤2.2.5;
步骤2.2.4,如果FTf>0,则执行FTf=FTf-1,直到2*FTf≤FP-C;
步骤2.2.5,如果FBMAX>FMAX,则令FBMAX=FBMAX/2;
步骤2.2.6,如果FTf>0,丢弃缓冲区中存储的2*FTf-1帧图像数据,然后将第2*FTf帧图像数据推送给目标追踪与定位模块,即FP-C=FP-C-2*FTf。
进一步,所述步骤3具体包括以下步骤:
步骤3.1、接收经过转换的图像数据并进行预处理,得到当前的图像帧中目标的各条边缘;
步骤3.2、通过边缘外框计算得到当前图像帧中的目标区域,其中,所述目标区域的几何中心为目标的位置,所述目标区域的尺寸为目标的尺寸;
步骤3.3、对所述当前图像帧中的目标区域通过目标跟踪算法进行处理后得到下一图像帧中的目标区域;
步骤3.4、对所述下一图像帧中的目标区域中的像素点应用灰度加权几何中心坐标计算方法得到目标跟踪位置;
步骤3.5、计算目标投影位置并通过所述目标投影位置和所述目标跟踪位置之间的偏移误差最小化的测量模型得到每帧图像中的目标的位姿。
进一步,所述步骤3.1具体包括以下步骤:
步骤3.1.1、对图像进行高斯滤波,选定某一阈值T1,令图像中灰度大于T1的像素取值为255,灰度小于T1的像素取值为0,对高斯滤波后的图像进行二值化,得到二值化图像;
步骤3.1.2、对二值化图像采用腐蚀膨胀算法处理,消除二值化图像中的孤立亮点,使得二值化图像中仅有目标区域灰度值为255,其他位置灰度值均为0;
步骤3.1.3、对腐蚀膨胀后的二值化图像进行边缘提取。
进一步,所述步骤3.3中的目标跟踪算法为Camshift和卡尔曼滤波相融合的跟踪算法。
进一步,所述步骤3.4具体为,设定某一阈值T0,对目标区域内所有灰度值大于等于T0的像素点按照其在经过高斯滤波处理后的图像中的位置进行灰度加权平均运算,求得灰度加权几何中心坐标,其计算公式为:
其中xc表示灰度加权几何中心的x坐标,yc表示灰度加权几何中心的y坐标,x表示图像中像素点的x坐标,y表示图像中像素点的y坐标,I(x,y)表示坐标(x,y)处的灰度值,R表示目标区域。
进一步,所述步骤3.5具体包括以下步骤:
步骤3.5.1、估计目标在世界坐标系中的三维坐标位置;
步骤3.5.2、根据所述三维坐标位置,利用透视投影模型计算目标在图像中的投影坐标,得到目标投影位置;
步骤3.5.3、将所述目标投影位置与目标跟踪位置进行比较,计算偏移误差;
步骤3.5.4、根据所述偏移误差,利用最小二乘法修正目标在世界坐标系中的位置;
步骤3.5.5、反复多次直至收敛,即偏移误差小于预先给定的阈值。
进一步,所述步骤4具体包括以下步骤:
步骤4.1、机械臂末端运动轨迹规划单元根据由机械臂构型计算得到的机械臂末端的位姿和目标追踪与定位模块得到的目标的位姿,规划机械臂末端的移动路径;
步骤4.2、机械臂各关节协同运动规划单元根据规划得到的机械臂末端的移动路径的离散轨迹点,通过逆运动学算法求解每个离散轨迹点对应的机械臂各关节的运动角度和角速度。
一种基于仿真的空间机械臂抓捕目标遥操作***,包括:
数据源采集模块,用于通过多种类型的插件从对应类型的数据源采集目标的图像数据并统一转换成相同格式后发送至中间件模块;
中间件模块,用于接收并存储经过转换的图像数据并发送至目标追踪与定位模块进行处理,并保持数据源采集模块采集图像数据的速度和目标追踪与定位模块处理图像数据的速度之间的差值保持在预设范围内;
目标追踪与定位模块,用于对经过转换的图像数据进行处理,得到目标的位姿;
操作规划模块,用于根据目标的位姿和获取的机械臂末端位姿,规划空间机械臂各关节的运动;
运动模拟模块,用于建立空间机械臂三维模型和目标三维模型,并根据操作规划模块规划的机械臂各关节的运动,实时改变空间机械臂三维模型的位姿和目标三维模型的位姿。
进一步,所述中间件模块包括插件管理单元、自适应缓冲区单元和统一化数据输出接口单元;
所述插件管理单元,用于对多种类型的插件进行加载、管理与调配,接收经过转换的图像数据并存储在所述自适应缓冲区单元中;
所述自适应缓冲区单元,用于使所述数据源采集模块的数据采集速度和所述目标追踪与定位模块的处理速度之间的差值保持在预设范围内;
所述统一化数据输出接口单元,用于将所述自适应缓冲区中的图像数据发送至目标跟踪与定位模块;
进一步,所述目标追踪与定位模块包括图像预处理单元、目标检测单元、目标跟踪单元、位置结算单元和位姿解算单元;
所述图像预处理单元,用于接收经过转换的图像数据并进行预处理,得到当前的图像帧中目标的各条边缘;
所述目标检测单元,用于通过边缘外框计算得到当前图像帧中的目标区域,其中,所述目标区域的几何中心为目标的位置,所述目标区域的尺寸为目标的尺寸;
所述目标跟踪单元,用于对所述当前图像帧中的目标区域通过目标跟踪算法进行处理后得到下一图像帧中的目标区域;
所述位置解算单元,用于对所述下一图像帧中的目标区域中的像素点应用灰度加权几何中心坐标计算方法得到目标跟踪位置;
所述位姿解算单元,用于通过目标投影位置和所述目标跟踪位置之间的偏移误差最小化的测量模型得到每帧图像中的目标的位姿。
进一步,所述操作规划模块包括机械臂末端运动轨迹规划单元和机械臂各关节协同运动规划单元;
所述机械臂末端运动轨迹规划单元,用于根据机械臂末端的位姿和目标追踪与定位模块得到的目标的位姿,规划机械臂末端的移动路径;
所述机械臂各关节协同运动规划单元,用于根据规划得到的机械臂末端的移动路径的离散轨迹点,通过逆运动学算法求解每个离散轨迹点对应的机械臂各关节的运动角度和角速度。
本发明的有益效果是:与现有的遥操作仿真***相比,本发明设计的遥操作仿真***能够根据机械臂末端视觉***获取图像跟踪目标的相对变化并测量与估计被抓捕目标的位置和姿态,通过仿真***形象化展示给地面操作人员,辅助地面人员决策。这与现有的靠操作人员浏览图像判断机械臂和被抓捕目标相对位姿的遥操作方法相比,很大程度上减轻了操作人员对操作状态分析的负担,使得操作人员能够把主要精力放在对空间机械臂的操作与控制方面,大大提高遥操作的实施效率。。
附图说明
图1是空间机械臂抓捕目标遥操作***组成模块及各模块数据流向关系图;
图2是空间机械臂抓捕目标遥操作方法流程图;
图3是Camshift和卡尔曼滤波相融合的方法实现空间目标跟踪的算法流程图;
图4是空间机械臂三维模型和空间目标三维模型的空间关系及其运动控制步骤。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,本发明提供的一种基于仿真的空间机械臂抓捕目标的遥操作***由数据源采集模块、中间件模块、目标追踪与定位模块、操作规划模块和运动模拟模块组成,其实现方法如图2所示,包括以下步骤:
S1、数据源采集模块通过多种类型的插件从对应类型的数据源采集目标的图像数据并统一转换成相同格式后发送至中间件模块;
S2、中间件模块接收并存储经过转换的图像数据并发送至目标追踪与定位模块进行处理,并保持数据源采集模块采集图像数据的速度和目标追踪与定位模块处理图像数据的速度之间的差值保持在预设范围内;
S3、目标追踪与定位模块对经过转换的图像数据进行处理,得到目标的位姿;
S4、操作规划模块根据目标的位姿和机械臂末端位姿,规划空间机械臂各关节的运动,进行目标的捕获;
S5、运动模拟模块建立空间机械臂和目标的三维模型,并根据操作规划模块规划的机械臂各关节的运动,实时改变空间机械臂三维模型的位姿和目标三维模型的位姿;
重复以上步骤,直到在运动模拟模块中完成机械臂对目标的捕获。
以下对***的各个模块的实施方式作具体说明:
1、数据源采集模块的实施说明
如图1所示,数据源采集模块,包括摄像机图像流采集、磁盘视频流采集和网络数据流采集等多种类型的数据源采集插件,对每类插件进一步解释如下。
每类插件主要用于完成某一类型的数据源的读取,如摄像机图像流采集插件只能采集摄像机设备的图像流数据,磁盘视频流采集插件只能采集磁盘中存储的视频文件(如avi格式视频文件),网络数据流采集插件只能读取网口收到的图像数据流。
每类插件的功能是:按照预先约定的数据格式将某一类型数据源中采集到的数据解析为单帧格式的图像数据,然后重新打包为统一格式图像数据帧,输出存放到中间件模块的自适应缓冲区单元中,例如统一格式图像数据帧可选用位图格式。
每类插件对中间件模块提供统一的数据和信息输出格式和功能接口,使得所有插件能够被中间件模块统一管理。各插件的功能接口主要包括数据源选择、数据采集控制、数据输出缓冲区设定等类型的接口。
2、中间件模块的实施说明
中间件模块,是数据源采集模块与目标追踪与定位模块交互的中介,包括插件管理单元、自适应缓冲区单元和数据输出接口单元。中间件模块利用插件管理单元,完成对不同类型插件的管理与调配。数据输出接口单元对目标追踪与定位模块提供通用化数据和功能接口,使得目标追踪与定位模块能够正确读取不同类型数据源的图像数据。中间件模块设置了自适应缓冲区,能够通过计算缓冲区中存储图像数据的数量,自动丢弃部分图像数据帧,使得数据采集端和追踪与定位的处理端尽可能同步。三个单元分别具体介绍如下。
插件管理单元能够读取数据源描述文件,并根据数据源描述文件中的信息加载和调用插件实现对各类数据源的读取。数据源描述文件主要记录数据源类型、数据源路径、数据源输出数据格式等信息。其中数据源类型用于辅助选择所加载和调用插件的类型,数据源路径和数据源输出数据格式等信息用于传送给插件,辅助插件完成正确的数据源读取和数据格式解析。
自适应缓冲区单元能够根据数据采集速度和目标追踪与定位模块的处理速度的差异,自动进行数据存储和部分数据帧的丢弃,使得目标追踪与定位模块当前处理的图像帧与数据源采集模块输入的最新图像帧之差在几帧范围内,保证数据源采集端和追踪与定位处理端的同步性。其具体实现办法是通过计算缓冲区中存储图像数据的数量,自动选择逐帧读取图像或者跳帧读取图像的模式,跳帧读取图像时,对跳过的图像帧进行丢弃。具体实现过程如下:
设定缓冲区允许的最大帧差为FBMAX,缓冲区允许的最大帧差的上限为FMAX,丢弃帧标记数为FTf,图像采集和图像处理的帧差为FP-C;
步骤1,如果FP-C>FBMAX,执行FTf=FTf+1,则跳转到步骤2.2.2;
如果FP-C<FBMAX/2,则跳转到步骤2.2.3;
如果FP-C≥FBMAX/2,并且FP-C≤FBMAX,则跳转到步骤2.2.4;
步骤2,如果FTf≥FBMAX/2,执行FBMAX=2*FBMAX,跳转到步骤2.2.6;如果FTf<FBMAX/2,直接跳转到步骤2.2.6;
步骤3,如果FP-C≤1,则令FTf=0,否则执行FTf=(FTf+1)/2,直到2*FTf≤FP-C,执行完上述计算后跳转到步骤2.2.5;
步骤4,如果FTf>0,则执行FTf=FTf-1,直到2*FTf≤FP-C;
步骤5,如果FBMAX>FMAX,则令FBMAX=FBMAX/2;
步骤6,如果FTf>0,丢弃缓冲区中存储的2*FTf-1帧图像数据,然后将第2*FTf帧图像数据推送给目标追踪与定位模块,即FP-C=FP-C-2*FTf。
数据输出接口单元是中间件模块和目标追踪与定位模块的接口,负责从自适应缓冲区单元中读取一帧图像,传送到目标追踪与定位模块,供目标追踪与定位模块处理使用。数据输出接口单元和目标追踪与定位模块的接口主要指图像帧数据的读取和传送接口,包括图像帧格式的描述和图像帧数据等的读取与传送。
3、目标追踪与定位模块的实施说明
目标追踪与定位模块,主要通过对数据源采集模块采集的序列图像的处理和分析,完成空间目标的实时跟踪与定位。主要包括图像预处理、空间目标的检测与跟踪和空间目标的位姿解算等功能。
图像预处理主要包括高斯滤波、二值化、腐蚀膨胀和边缘提取等预处理功能,其实现步骤为,首先对图像进行高斯滤波,选定某一阈值T1,令图像中灰度大于T1的像素取值为255,灰度小于T1的像素取值为0,对高斯滤波后的图像进行二值化,得到二值化图像;对二值化图像采用腐蚀膨胀算法处理,消除二值化图像中的孤立亮点,使得二值化图像中仅有目标区域灰度值为255,其他位置灰度值均为0;对腐蚀膨胀后的二值化图像进行边缘提取,根据各条边缘计算得到各个目标位置。
空间目标的检测,指目标在图像中位置和尺寸的计算。根据图像与处理中得到各条边缘,通过边缘外框计算可得到目标区域,对该区域的几何中心极为目标在图像中的位置,目标区域的尺寸即是目标在图像中的尺寸。
空间目标的跟踪,通过Camshift和卡尔曼滤波相融合的方法实现,如图2所示,其实现步骤为:
步骤1,卡尔曼预测:利用卡尔曼方法预测空间目标在图像中的位置,空间目标成像的状态变换方程表达为其中Xk为当前帧图像中空间目标的位置,表示预测得到的下一帧图像中空间目标的位置,F表示状态转移矩阵。预测误差的协方差由其在k时刻的协方差值获得,即其中Qk为由于状态转移的不确定性而产生的随机误差的协方差。将空间目标的位置作为目标中心,当前帧图像中目标区域的大小作为目标尺寸,计算下一帧图像中的目标区域Sk+1;
步骤2,Camshift跟踪:主要包括3个步骤:1)利用目标模板的直方图计算卡尔曼预测的目标区域的反向投影图;3)根据目标区域的反向投影图,通过一阶矩和零阶矩运算计算目标区域反向投影图的重心(ux,uy),即
其中,Ω表示目标区域的坐标集合,m10和m01表示目标区域反向投影图的一阶矩,m00表示目标区域反向投影图的零阶矩;3)如果重心(ux,uy)相对于目标区域中心偏移小于某一阈值,则结束跟踪,否则以重心位置为中心更新目标区域Rk+1,重复1)到3)步骤。最终得到准确的目标区域和目标位置Zk+1。
步骤3,卡尔曼滤波更新:利用第二步得到目标位置,通过卡尔曼滤波方法修正目标位置和目标误差的协方差矩阵。设卡尔曼滤波器的更新率Kk表示给定的目标新位置信息相对于已知目标位置信息的修正权重,Hk表示目标的观测矩阵,Rk为观测随机噪声产生的协方差矩阵,则可得:
从而可得目标的位置信息Xk和协方差矩阵Pk的后验估计值为:
基于上述目标跟踪算法,即可得到目标区域,一般根据这个目标区域的中心点得到目标跟踪位置,但是,在图像中的光照闪烁等情况下,计算出的目标跟踪位置不稳定,误差较大,因此,这里对目标区域中的像素点应用灰度加权几何中心坐标计算方法,可以求得更加稳定、准确的目标跟踪位置,其求取方式介绍如下:
设定某一阈值T0,对目标区域内所有灰度值大于等于T0的像素点按照其在高斯滤波图像中的位置进行灰度加权平均运算,求得灰度加权中心位置,其计算公式为:
其中xc灰度加权几何中心的x坐标,yc灰度加权几何中心的y坐标,x表示图像中像素点的x坐标,y表示图像中像素点的y坐标,I(x,y)表示坐标(x,y)处的灰度值,R表示目标区域。
空间目标的位姿解算,是指通过目标投影位置与目标跟踪位置之间的偏移误差最小化的测量模型求解每帧图像对应的目标在空间中的位姿。其中目标投影位置是指目标和相机光心在世界坐标系中坐标已知的条件下,可通过透视投影变换的方法计算目标发光灯在相机图像平面中的投影坐标。目标投影位置与目标跟踪位置之间的偏移误差最小化的测量模型是指首先粗略估计目标在世界坐标系中的三维坐标位置,然后根据该三维位置坐标利用透视投影模型计算目标在图像中的投影坐标,得到目标投影位置,将该目标投影位置与跟踪得到的目标跟踪位置进行比较,计算偏移误差,再根据偏移误差利用最小二乘法修正目标在世界坐标系中的位置;反复多次直至收敛,即偏移误差小于预先给定的阈值。公式化过程描述如下:
假设和θ分别表示目标在三维空间中的位置和姿态,N为目标发光灯的个数,表示目标投影位置,ui表示目标跟踪位置,则目标投影位置与目标跟踪位置之间的偏移误差最小化可表达为:
其中表示目标投影位置是目标在三维空间中的位置和姿态的函数,即透视投影变换函数,该函数为非线性函数,可通过泰勒级数线性化展开如下:
其中表示的雅克比矩阵,即令则根据线性最小二乘法可求解得:
通过和θ=θ+Δθ迭代更新和θ,直到小于指定阈值。
4、操作规划模块的实施说明
操作规划模块,包括空间机械臂末端运动轨迹规划单元和机械臂各关节协同运动规划单元,能够根据空间目标的位置和捕获任务的要求规划空间机械臂各关节的运动,使得机械臂完成空间目标的渐近式捕获。
空间机械臂末端运动轨迹规划单元,负责根据目标追踪与定位模块求得的目标位姿和由机械臂构型计算得到的机械臂末端的位姿,规划机械臂末端抓捕目标的移动路径和轨迹;空间机械臂各关节协同运动规划单元,负责根据规划得到的末端移动路径离散轨迹点,通过逆运动学算法求解每个离散轨迹点对应的机械臂各关节的运动角度和角速度。
由机械臂构型计算机械臂末端位姿的方法表述如下:设机械臂各关节角的角度Θ=[θ0θ1θ2…θn],在机械臂臂杆长度di、轴线距离ai、关节轴线夹角αi等结构参数一定,则第i个关节与第i+1个关节之间的位姿变换关系表示为Mi=R(θi)T(ai,di)R(αi),则机械臂末端位姿可计算为:
其中,R(θ1,θ2,…,θn)∈R3×3,T(θ1…θn,α1…αn,d1…dn,a1…an)∈R3×1,分别表示机械臂末端到基座质心之间的旋转和平移变换关系。
由于空间机械臂末端的运动轨迹,不仅与空间机械臂各关节的协同运动关系有关,还与空间机械臂基座载体(空间站)的姿态密切相关。在实际应用中通常将空间机械臂末端运动轨迹规划功能简化为计算机械臂末端到目标的最短路径,即直线路径;而在对机械臂各关节角协同运动关系进行求解时,再根据对基座载体(空间站)姿态扰动最小的约束,调整空间机械臂的末端轨迹。对空间机械臂各关节角协同运动关系进行规划的过程,即通过逆运动学算法求解每个离散轨迹点对应的空间机械臂各关节的运动角度和角速度的过程,描述如下:
假设空间机械臂***有n个自由度,其各关节的微分运动学方程为:
其中,ve,ωe∈R3分别为空间机械臂末端的线速度和角速度,v0,ω0∈R3分别为空间站基座质心处的线速度和角速度,Θ∈Rn为关节角(n为机械臂自由度数),Js为与空间站基座运动相关的雅可比矩阵,而Jm为与机械臂运动相关的雅可比矩阵。
空间机械臂处于自由漂浮模式,基座位置、姿态均不受控,空间站和机械臂组成的整体***满足线动量和角动量守恒,即满足:
其中,ωi为Bi的角速度。将上式化简为矩阵形式可得:
利用上式求解ω0可得:
将(4-4)带入(4-1)可得自由漂浮空间机械臂运动学方程如下:
其中,Jg为空间机械臂的广义雅可比矩阵,它是空间站基座姿态Ψ0、机械臂关节角Θ、各关节和空间站质量mi和惯量Ii的函数,Jgv和Jgv分别是速度和加速度的广义雅可比矩阵。
空间姿态角通常采用欧拉角E(α,β,γ)描述,笛卡尔姿态角速度与欧拉角速度之间的关系为:
若矩阵JE为非奇异矩阵,根据式(4-4)和(4-6)可以得到空间站姿态角变化与机械臂关节角之间的关系:
对空间站姿态影响最小的路径规划可以通过以下优化问题求解:
其中,Ψl=[αl,βl,γl]T,Ψu=[αu,βu,γu]T,Ψ=[α,β,γ]T表示机械臂从初始状态到目标状态的任一状态下空间站的姿态角,必须限定在空间站正常工作的姿态范围内。将公式(4-7)按照等间隔采样的方法进行离散化,再对离散化的优化问题进行求解,即可求得各个时刻对应的空间机械臂各关节的运动角度Θj和角速度
5、运动模拟模块的实施说明
运动模拟模块,是指基于空间机械臂和空间目标数字化三维模型的虚拟仿真软件,包括空间机械臂三维模型及其操作行为、空间目标的三维模型及其相对于机械臂末端或者视觉相机的运动关系。
空间机械臂三维模型和空间目标三维模型在虚拟仿真软件中的外形,与空间机械臂实体和空间目标实体的外形完全或近似一致,两类三维模型的尺寸采用与两类实体1:1的比例关系设定。对空间机械臂三维模型和空间目标三维模型的空间关系及其运动控制步骤如图3所示。
空间机械臂三维模型的操作行为主要指空间机械臂各关节运动以及基座载体(空间站)与空间机械臂的协同运动,其实现方式包括两个步骤:
第一步,空间机械臂各关节运动,根据空间机械臂操作规划模块规划得到的各关节角运动角度和角速度序列进行设定;
第二步,基座载体(空间站)与空间机械臂的协同运动,根据基座载体与空间机械臂组合体重心位置不改变的特性,来计算基座载***置和姿态的对应变化关系,根据该变化关系设定空间机械臂的每一步运动对应的基座载***姿。
空间目标三维模型相对于机械臂末端或者视觉相机的运动,是指空间目标相对于机械臂末端或者视觉相机的位姿关系的改变,需要考虑空间目标相对于空间站(基座载体)的运动和空间机械臂自身的运动。空间站(空间站与空间机械臂组合整体)与空间目标在空间中飞行,空间站逐步靠近空间目标,假设空间站的飞行速度大于空间目标飞行速度,存在速度差△v,使得空间目标相对于空间机械臂末端和视觉相机的位置发生△vt的变化;同时由于空间机械臂各关节运动引起空间站、空间机械臂末端和视觉相机位置和姿态发生变化,引起空间目标相对于空间机械臂末端和视觉相机的位姿发生变化。对两种位置和姿态的变化进行叠加,计算得到空间目标相对于空间机械臂末端和视觉相机的绝对位姿变化关系,根据绝对位姿变化关系控制空间目标三维模型的位姿的改变。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,包括以下步骤:
步骤1、数据源采集模块通过多种类型的插件从对应类型的数据源采集目标的图像数据并统一转换成相同格式后发送至中间件模块;
步骤2、中间件模块接收并存储经过转换的图像数据并发送至目标追踪与定位模块进行处理,并保持数据源采集模块采集图像数据的速度和目标追踪与定位模块处理图像数据的速度之间的差值保持在预设范围内;
步骤3、目标追踪与定位模块对经过转换的图像数据进行处理,得到目标的位姿;
步骤4、操作规划模块根据目标的位姿和获取的机械臂末端位姿,规划空间机械臂各关节的运动;
步骤5、运动模拟模块建立空间机械臂三维模型和目标三维模型,并根据操作规划模块规划的机械臂各关节的运动,实时改变空间机械臂三维模型的位姿和目标三维模型的位姿;
步骤6、重复以上步骤,直到在运动模拟模块中完成机械臂对目标的捕获。
2.根据权利要求1所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤2具体包括以下步骤:
步骤2.1、插件管理单元对多种类型的插件进行管理与调配,接收经过转换的图像数据并存储在自适应缓冲区单元中;
步骤2.2、所述自适应缓冲区单元使所述数据源采集模块的数据采集速度和所述目标追踪与定位模块的处理速度之间的差值保持在预设范围内;
步骤2.3、数据输出接口单元将所述自适应缓冲区中的图像数据发送至目标跟踪与定位模块。
3.根据权利要求2所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤2.2具体包括以下步骤:
设定缓冲区允许的最大帧差为FBMAX,缓冲区允许的最大帧差的上限为FMAX,丢弃帧标记数为FTf,图像采集和图像处理的帧差为FP-C;
步骤2.2.1,如果FP-C>FBMAX,执行FTf=FTf+1,则跳转到步骤2.2.2;
如果FP-C<FBMAX/2,则跳转到步骤2.2.3;
如果FP-C≥FBMAX/2,并且FP-C≤FBMAX,则跳转到步骤2.2.4;
步骤2.2.2,如果FTf≥FBMAX/2,执行FBMAX=2*FBMAX,跳转到步骤2.2.6;如果FTf<FBMAX/2,直接跳转到步骤2.2.6;
步骤2.2.3,如果FP-C≤1,则令FTf=0,否则执行FTf=(FTf+1)/2,直到2*FTf≤FP-C,执行完上述计算后跳转到步骤2.2.5;
步骤2.2.4,如果FTf>0,则执行FTf=FTf-1,直到2*FTf≤FP-C;
步骤2.2.5,如果FBMAX>FMAX,则令FBMAX=FBMAX/2;
步骤2.2.6,如果FTf>0,丢弃缓冲区中存储的2*FTf-1帧图像数据,然后将第2*FTf帧图像数据推送给目标追踪与定位模块,即FP-C=FP-C-2*FTf。
4.根据权利要求1所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1、接收经过转换的图像数据并进行预处理,得到当前的图像帧中目标的各条边缘;
步骤3.2、通过边缘外框计算得到当前图像帧中的目标区域,其中,所述目标区域的几何中心为目标的位置,所述目标区域的尺寸为目标的尺寸;
步骤3.3、对所述当前图像帧中的目标区域通过目标跟踪算法进行处理后得到下一图像帧中的目标区域;
步骤3.4、对所述下一图像帧中的目标区域中的像素点应用灰度加权几何中心坐标计算方法得到目标跟踪位置;
步骤3.5、计算目标投影位置并通过所述目标投影位置和所述目标跟踪位置之间的偏移误差最小化的测量模型得到每帧图像中的目标的位姿。
5.根据权利要求4所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤3.1具体包括以下步骤:
步骤3.1.1、对图像进行高斯滤波,选定某一阈值T1,令图像中灰度大于T1的像素取值为255,灰度小于T1的像素取值为0,对高斯滤波后的图像进行二值化,得到二值化图像;
步骤3.1.2、对二值化图像采用腐蚀膨胀算法处理,消除二值化图像中的孤立亮点,使得二值化图像中仅有目标区域灰度值为255,其他位置灰度值均为0;
步骤3.1.3、对腐蚀膨胀后的二值化图像进行边缘提取。
6.根据权利要求5所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤3.3中的目标跟踪算法为Camshift和卡尔曼滤波相融合的跟踪算法。
7.根据权利要求4所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤3.4具体为,设定某一阈值T0,对目标区域内所有灰度值大于等于T0的像素点按照其在经过高斯滤波处理后的图像中的位置进行灰度加权平均运算,求得灰度加权几何中心坐标,其计算公式为:
其中xc表示灰度加权几何中心的x坐标,yc表示灰度加权几何中心的y坐标,x表示图像中像素点的x坐标,y表示图像中像素点的y坐标,I(x,y)表示坐标(x,y)处的灰度值,R表示目标区域。
8.根据权利要求4所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤3.5具体包括以下步骤:
步骤3.5.1、估计目标在世界坐标系中的三维坐标位置;
步骤3.5.2、根据所述三维坐标位置,利用透视投影模型计算目标在图像中的投影坐标,得到目标投影位置;
步骤3.5.3、将所述目标投影位置与目标跟踪位置进行比较,计算偏移误差;
步骤3.5.4、根据所述偏移误差,利用最小二乘法修正目标在世界坐标系中的位置;
步骤3.5.5、反复多次直至收敛,即偏移误差小于预先给定的阈值。
9.根据权利要求1所述一种基于仿真的空间机械臂抓捕目标遥操作方法,其特征在于,所述步骤4具体包括以下步骤:
步骤4.1、机械臂末端运动轨迹规划单元根据由机械臂构型计算得到的机械臂末端的位姿和目标追踪与定位模块得到的目标的位姿,规划机械臂末端的移动路径;
步骤4.2、机械臂各关节协同运动规划单元根据规划得到的机械臂末端的移动路径的离散轨迹点,通过逆运动学算法求解每个离散轨迹点对应的机械臂各关节的运动角度和角速度。
10.一种基于仿真的空间机械臂抓捕目标遥操作***,其特征在于,包括:
数据源采集模块,用于通过多种类型的插件从对应类型的数据源采集目标的图像数据并统一转换成相同格式后发送至中间件模块;
中间件模块,用于接收并存储经过转换的图像数据并发送至目标追踪与定位模块进行处理,并保持数据源采集模块采集图像数据的速度和目标追踪与定位模块处理图像数据的速度之间的差值保持在预设范围内;
目标追踪与定位模块,用于对经过转换的图像数据进行处理,得到目标的位姿;
操作规划模块,用于根据目标的位姿和获取的机械臂末端位姿,规划空间机械臂各关节的运动;
运动模拟模块,用于建立空间机械臂三维模型和目标三维模型,并根据操作规划模块规划的机械臂各关节的运动,实时改变空间机械臂三维模型的位姿和目标三维模型的位姿。
11.根据权利要求10所述一种基于仿真的空间机械臂抓捕目标遥操作***,其特征在于,所述中间件模块包括插件管理单元、自适应缓冲区单元和统一化数据输出接口单元;
所述插件管理单元,用于对多种类型的插件进行加载、管理与调配,接收经过转换的图像数据并存储在所述自适应缓冲区单元中;
所述自适应缓冲区单元,用于使所述数据源采集模块的数据采集速度和所述目标追踪与定位模块的处理速度之间的差值保持在预设范围内;
所述统一化数据输出接口单元,用于将所述自适应缓冲区中的图像数据发送至目标跟踪与定位模块;
12.根据权利要求10所述一种基于仿真的空间机械臂抓捕目标遥操作***,其特征在于,所述目标追踪与定位模块包括图像预处理单元、目标检测单元、目标跟踪单元、位置结算单元和位姿解算单元;
所述图像预处理单元,用于接收经过转换的图像数据并进行预处理,得到当前的图像帧中目标的各条边缘;
所述目标检测单元,用于通过边缘外框计算得到当前图像帧中的目标区域,其中,所述目标区域的几何中心为目标的位置,所述目标区域的尺寸为目标的尺寸;
所述目标跟踪单元,用于对所述当前图像帧中的目标区域通过目标跟踪算法进行处理后得到下一图像帧中的目标区域;
所述位置解算单元,用于对所述下一图像帧中的目标区域中的像素点应用灰度加权几何中心坐标计算方法得到目标跟踪位置;
所述位姿解算单元,用于通过目标投影位置和所述目标跟踪位置之间的偏移误差最小化的测量模型得到每帧图像中的目标的位姿。
13.根据权利要求10所述一种基于仿真的空间机械臂抓捕目标遥操作***,其特征在于,所述操作规划模块包括机械臂末端运动轨迹规划单元和机械臂各关节协同运动规划单元;
所述机械臂末端运动轨迹规划单元,用于根据机械臂末端的位姿和目标追踪与定位模块得到的目标的位姿,规划机械臂末端的移动路径;
所述机械臂各关节协同运动规划单元,用于根据规划得到的机械臂末端的移动路径的离散轨迹点,通过逆运动学算法求解每个离散轨迹点对应的机械臂各关节的运动角度和角速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610903204.5A CN106651949B (zh) | 2016-10-17 | 2016-10-17 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610903204.5A CN106651949B (zh) | 2016-10-17 | 2016-10-17 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106651949A true CN106651949A (zh) | 2017-05-10 |
CN106651949B CN106651949B (zh) | 2020-05-15 |
Family
ID=58855840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610903204.5A Active CN106651949B (zh) | 2016-10-17 | 2016-10-17 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106651949B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107097231A (zh) * | 2017-07-06 | 2017-08-29 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉伺服的同心管机器人精确运动控制方法 |
CN107220601A (zh) * | 2017-05-18 | 2017-09-29 | 西北工业大学 | 一种基于在线置信度判别的目标抓捕点预测方法 |
CN107696033A (zh) * | 2017-09-18 | 2018-02-16 | 北京控制工程研究所 | 一种基于视觉测量的空间机械臂轨迹滚动规划方法 |
CN107932502A (zh) * | 2017-11-07 | 2018-04-20 | 陕西科技大学 | 一种基于双目立体视觉的scara机器人轨迹规划方法 |
CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及*** |
CN108748149A (zh) * | 2018-06-04 | 2018-11-06 | 上海理工大学 | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 |
CN108828935A (zh) * | 2018-05-07 | 2018-11-16 | 中国科学院力学研究所 | 一种远程操作的智能辅助操作方法及*** |
CN109093376A (zh) * | 2018-08-17 | 2018-12-28 | 清华大学 | 一种基于激光跟踪仪的多轴孔自动化对准方法 |
CN109531566A (zh) * | 2018-11-16 | 2019-03-29 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于虚拟现实***的机器人带电作业控制方法 |
CN109583260A (zh) * | 2017-09-28 | 2019-04-05 | 北京猎户星空科技有限公司 | 一种数据采集方法、装置及*** |
WO2019080228A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作*** |
WO2020010876A1 (zh) * | 2018-07-09 | 2020-01-16 | 五邑大学 | 一种机器人实验教学用基于最小二乘法的机械臂控制方法 |
CN110806197A (zh) * | 2019-09-28 | 2020-02-18 | 上海翊视皓瞳信息科技有限公司 | 一种基于智能视觉设备的姿态检测*** |
CN110815215A (zh) * | 2019-10-24 | 2020-02-21 | 上海航天控制技术研究所 | 多模融合的旋转目标接近停靠抓捕地面试验***及方法 |
CN111109417A (zh) * | 2019-12-23 | 2020-05-08 | 重庆大学 | 一种基于图像信息的路径自规划糖画机 |
CN111823225A (zh) * | 2020-06-04 | 2020-10-27 | 江汉大学 | 一种视觉伺服三维仿真方法及装置 |
CN111890365A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN112109075A (zh) * | 2019-06-20 | 2020-12-22 | 欧姆龙株式会社 | 控制***和控制方法 |
CN112148000A (zh) * | 2020-08-28 | 2020-12-29 | 上海宇航***工程研究所 | 模拟空间维修机器人操作场景的舱内仿真平台及实现方法 |
CN112621789A (zh) * | 2020-12-08 | 2021-04-09 | 广东联航智能科技有限公司 | 一种双臂人机协同作业机器人控制*** |
CN112763253A (zh) * | 2020-12-28 | 2021-05-07 | 深圳市人工智能与机器人研究院 | 机械臂的采样控制方法及装置、采样*** |
CN112847334A (zh) * | 2020-12-16 | 2021-05-28 | 北京无线电测量研究所 | 一种基于视觉伺服的机械臂目标跟踪方法 |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互***及方法 |
CN113352327A (zh) * | 2021-06-28 | 2021-09-07 | 深圳亿嘉和科技研发有限公司 | 五自由度机械臂关节变量确定方法 |
CN113479442A (zh) * | 2021-07-16 | 2021-10-08 | 上海交通大学烟台信息技术研究院 | 一种实现流水线上非结构化物体智能贴标签的装置和方法 |
CN114078158A (zh) * | 2020-08-14 | 2022-02-22 | 边辕视觉科技(上海)有限公司 | 一种自动化获取目标物体特征点参数的方法 |
CN114102610A (zh) * | 2021-12-30 | 2022-03-01 | 浙江博采传媒有限公司 | 一种机械臂仿真控制方法、装置及存储介质 |
CN114770513A (zh) * | 2022-05-09 | 2022-07-22 | 重庆大学 | 一种工业四轴机器人运动目标跟踪抓取方法 |
CN116214549A (zh) * | 2023-01-19 | 2023-06-06 | 中国科学院微小卫星创新研究院 | 用于空间机器人的遥操作***和遥操作方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101726296A (zh) * | 2009-12-22 | 2010-06-09 | 哈尔滨工业大学 | 空间机器人视觉测量、路径规划、gnc一体化仿真*** |
CN101733746A (zh) * | 2009-12-22 | 2010-06-16 | 哈尔滨工业大学 | 空间机器人非合作目标自主识别与捕获方法 |
CN103926845A (zh) * | 2014-04-17 | 2014-07-16 | 哈尔滨工业大学 | 空间机器人视觉伺服捕获运动目标的地面模拟***及模拟方法 |
CN105635648A (zh) * | 2014-10-28 | 2016-06-01 | 江苏绿扬电子仪器集团有限公司 | 视频实时边缘检测*** |
CN106003104A (zh) * | 2015-07-03 | 2016-10-12 | 中国运载火箭技术研究院 | 一种适用于多约束条件下视觉信息导引的机械臂规划方法 |
-
2016
- 2016-10-17 CN CN201610903204.5A patent/CN106651949B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101726296A (zh) * | 2009-12-22 | 2010-06-09 | 哈尔滨工业大学 | 空间机器人视觉测量、路径规划、gnc一体化仿真*** |
CN101733746A (zh) * | 2009-12-22 | 2010-06-16 | 哈尔滨工业大学 | 空间机器人非合作目标自主识别与捕获方法 |
CN103926845A (zh) * | 2014-04-17 | 2014-07-16 | 哈尔滨工业大学 | 空间机器人视觉伺服捕获运动目标的地面模拟***及模拟方法 |
CN105635648A (zh) * | 2014-10-28 | 2016-06-01 | 江苏绿扬电子仪器集团有限公司 | 视频实时边缘检测*** |
CN106003104A (zh) * | 2015-07-03 | 2016-10-12 | 中国运载火箭技术研究院 | 一种适用于多约束条件下视觉信息导引的机械臂规划方法 |
Non-Patent Citations (1)
Title |
---|
孙凯等: "《多目标跟踪的改进Camshift/卡尔曼滤波组合算法》", 《信息与控制》 * |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220601A (zh) * | 2017-05-18 | 2017-09-29 | 西北工业大学 | 一种基于在线置信度判别的目标抓捕点预测方法 |
CN107097231A (zh) * | 2017-07-06 | 2017-08-29 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉伺服的同心管机器人精确运动控制方法 |
CN107696033A (zh) * | 2017-09-18 | 2018-02-16 | 北京控制工程研究所 | 一种基于视觉测量的空间机械臂轨迹滚动规划方法 |
CN109583260A (zh) * | 2017-09-28 | 2019-04-05 | 北京猎户星空科技有限公司 | 一种数据采集方法、装置及*** |
WO2019080228A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
CN107932502A (zh) * | 2017-11-07 | 2018-04-20 | 陕西科技大学 | 一种基于双目立体视觉的scara机器人轨迹规划方法 |
CN108656109A (zh) * | 2018-05-07 | 2018-10-16 | 中国科学院力学研究所 | 一种远程操作的训练方法及*** |
CN108828935B (zh) * | 2018-05-07 | 2022-05-13 | 中国科学院力学研究所 | 一种远程操作的智能辅助操作方法及*** |
CN108828935A (zh) * | 2018-05-07 | 2018-11-16 | 中国科学院力学研究所 | 一种远程操作的智能辅助操作方法及*** |
CN108748149A (zh) * | 2018-06-04 | 2018-11-06 | 上海理工大学 | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 |
CN108748149B (zh) * | 2018-06-04 | 2021-05-28 | 上海理工大学 | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 |
WO2020010876A1 (zh) * | 2018-07-09 | 2020-01-16 | 五邑大学 | 一种机器人实验教学用基于最小二乘法的机械臂控制方法 |
CN109093376B (zh) * | 2018-08-17 | 2020-04-03 | 清华大学 | 一种基于激光跟踪仪的多轴孔自动化对准方法 |
CN109093376A (zh) * | 2018-08-17 | 2018-12-28 | 清华大学 | 一种基于激光跟踪仪的多轴孔自动化对准方法 |
CN109531566A (zh) * | 2018-11-16 | 2019-03-29 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于虚拟现实***的机器人带电作业控制方法 |
CN109531566B (zh) * | 2018-11-16 | 2022-08-19 | 国网江苏省电力有限公司盐城供电分公司 | 一种基于虚拟现实***的机器人带电作业控制方法 |
CN110216698A (zh) * | 2019-03-11 | 2019-09-10 | 浙江工业大学 | 一种基于ros的机械臂遥操作*** |
CN112109075A (zh) * | 2019-06-20 | 2020-12-22 | 欧姆龙株式会社 | 控制***和控制方法 |
CN112109075B (zh) * | 2019-06-20 | 2024-05-17 | 欧姆龙株式会社 | 控制***和控制方法 |
CN110806197A (zh) * | 2019-09-28 | 2020-02-18 | 上海翊视皓瞳信息科技有限公司 | 一种基于智能视觉设备的姿态检测*** |
CN110815215A (zh) * | 2019-10-24 | 2020-02-21 | 上海航天控制技术研究所 | 多模融合的旋转目标接近停靠抓捕地面试验***及方法 |
CN111109417A (zh) * | 2019-12-23 | 2020-05-08 | 重庆大学 | 一种基于图像信息的路径自规划糖画机 |
CN111823225A (zh) * | 2020-06-04 | 2020-10-27 | 江汉大学 | 一种视觉伺服三维仿真方法及装置 |
CN111890365A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN114078158A (zh) * | 2020-08-14 | 2022-02-22 | 边辕视觉科技(上海)有限公司 | 一种自动化获取目标物体特征点参数的方法 |
CN112148000A (zh) * | 2020-08-28 | 2020-12-29 | 上海宇航***工程研究所 | 模拟空间维修机器人操作场景的舱内仿真平台及实现方法 |
CN112148000B (zh) * | 2020-08-28 | 2022-10-21 | 上海宇航***工程研究所 | 模拟空间维修机器人操作场景的舱内仿真平台及实现方法 |
CN112621789A (zh) * | 2020-12-08 | 2021-04-09 | 广东联航智能科技有限公司 | 一种双臂人机协同作业机器人控制*** |
CN112847334A (zh) * | 2020-12-16 | 2021-05-28 | 北京无线电测量研究所 | 一种基于视觉伺服的机械臂目标跟踪方法 |
CN112763253A (zh) * | 2020-12-28 | 2021-05-07 | 深圳市人工智能与机器人研究院 | 机械臂的采样控制方法及装置、采样*** |
CN112763253B (zh) * | 2020-12-28 | 2024-03-29 | 深圳市人工智能与机器人研究院 | 机械臂的采样控制方法及装置、采样*** |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互***及方法 |
CN113352327A (zh) * | 2021-06-28 | 2021-09-07 | 深圳亿嘉和科技研发有限公司 | 五自由度机械臂关节变量确定方法 |
CN113479442A (zh) * | 2021-07-16 | 2021-10-08 | 上海交通大学烟台信息技术研究院 | 一种实现流水线上非结构化物体智能贴标签的装置和方法 |
CN114102610A (zh) * | 2021-12-30 | 2022-03-01 | 浙江博采传媒有限公司 | 一种机械臂仿真控制方法、装置及存储介质 |
CN114770513A (zh) * | 2022-05-09 | 2022-07-22 | 重庆大学 | 一种工业四轴机器人运动目标跟踪抓取方法 |
CN114770513B (zh) * | 2022-05-09 | 2024-07-12 | 重庆大学 | 一种工业四轴机器人运动目标跟踪抓取方法 |
CN116214549A (zh) * | 2023-01-19 | 2023-06-06 | 中国科学院微小卫星创新研究院 | 用于空间机器人的遥操作***和遥操作方法 |
CN116214549B (zh) * | 2023-01-19 | 2024-03-01 | 中国科学院微小卫星创新研究院 | 用于空间机器人的遥操作***和遥操作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106651949B (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651949A (zh) | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** | |
CN109719730B (zh) | 一种断路器柔性化装配过程的数字孪生机器人 | |
CN109960880B (zh) | 一种基于机器学习的工业机器人避障路径规划方法 | |
Woods et al. | Autonomous science for an ExoMars Rover–like mission | |
CN111325768B (zh) | 一种基于3d视觉和模仿学习的自由漂浮目标抓捕方法 | |
CN106030430A (zh) | 用于使用旋翼微型航空载具(mav)在室内和室外环境中的稳健的自主飞行的多传感器融合 | |
CN112102403B (zh) | 用于输电塔场景下的自主巡检无人机的高精度定位方法及其*** | |
CN109764876B (zh) | 无人平台的多模态融合定位方法 | |
CN111812978A (zh) | 一种多无人机协作slam方法与*** | |
Mirolo et al. | A solid modelling system for robot action planning | |
Rossmann | erobotics: The symbiosis of advanced robotics and virtual reality technologies | |
CN113524173A (zh) | 一种端到端的地外探测样品智能抓取方法 | |
CN112060088A (zh) | 一种变时延条件下非合作目标精确抓捕遥操作方法 | |
Saunders et al. | Parallel reinforcement learning simulation for visual quadrotor navigation | |
CN108151742B (zh) | 机器人的导航控制方法及智能装置 | |
CN108595771B (zh) | 航天器设备视场模拟分析方法 | |
Castano et al. | Opportunistic rover science: finding and reacting to rocks, clouds and dust devils | |
Sherwood et al. | An integrated planning and scheduling prototype for automated Mars rover command generation | |
Estlin et al. | Enabling autonomous rover science through dynamic planning and scheduling | |
Romero-Azpitarte et al. | Enabling in-situ resources utilisation by leveraging collaborative robotics and astronaut-robot interaction | |
Zolghadr et al. | Locating a two-wheeled robot using extended Kalman filter | |
Bahrpeyma et al. | Application of Reinforcement Learning to UR10 Positioning for Prioritized Multi-Step Inspection in NVIDIA Omniverse | |
Borst et al. | Telerobotic ground control of a space free-flyer | |
Covasan et al. | Autonomy Challenges for the Next Generation of Mars Rovers | |
Liang | Affecting Fundamental Transformation in Future Construction Work Through Replication of the Master-Apprentice Learning Model in Human-Robot Worker Teams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |