CN115639910B - 面向***控对象作业空间的全方位体感交互方法及设备 - Google Patents
面向***控对象作业空间的全方位体感交互方法及设备 Download PDFInfo
- Publication number
- CN115639910B CN115639910B CN202211332014.4A CN202211332014A CN115639910B CN 115639910 B CN115639910 B CN 115639910B CN 202211332014 A CN202211332014 A CN 202211332014A CN 115639910 B CN115639910 B CN 115639910B
- Authority
- CN
- China
- Prior art keywords
- space
- control
- controlled object
- pose
- somatosensory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003238 somatosensory effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 101100391172 Dictyostelium discoideum forA gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Numerical Control (AREA)
Abstract
本发明公开了一种面向***控对象作业空间的全方位体感交互方法及设备,该方法包括:操控者根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;当操控者空间位置发生变化时,可开启全方位体感交互模式;该模式下,采集操控者体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量实时进行空间坐标转换,处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加***控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给***控对象。本发明可实现面向***控对象作业空间与操控者位置无关的全方位体感操控。
Description
技术领域
本发明属于体感操控技术领域,具体涉及一种面向***控对象作业空间的全方位体感交互方法及设备。
背景技术
目前,对动作类机器人或虚拟模型进行操控,通常采用与操作对象强相关的专用操控设备或者定制操控接口及标准协议来完成,而专用的体感操控设备及操控模式均为标准结构化场景,即由操控设备或其配套设备自己建立标准操控模型,人佩戴体感操控设备来完成对模型的操控或人机交互过程,或者由操控设备自带的视觉或其他类型的传感器,对人机交互对象进行实时建模并进行结构化处理,来完成人机交互过程。
已有技术方案存在的问题主要包括:
1、普通人机交互过程为自定义操控规范,多个厂家存在多个操控规范、接口和操控标准;
2、普通人机交互过程(包括手柄操控或专用示教器操控模式)均为面向机器人动作空间的交互模式,即机器人动作与操控设备上某一固定按钮或指令是唯一映射关系,当操控设备变换空间方位时,操控者无法第一时间敏感到机器人动作空间与自身的操控指令之间的对应关系;
3、目前的体感交互模式,人必须处于该结构化模型当中才能完成整个交互过程,而在结构化模型之外(即模型视界之外或模型与人的相对位置关系发生变化),则无法顺利完成体感交互过程。
发明内容
本发明的目的在于,提供一种面向***控对象作业空间的全方位体感交互方法及设备,实现面向***控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做者和***控对象的空间相对位置如何,***控对象均可按照当前操做者所处的空间位置,按照体感动作指示,完成机器人或***控对象的绝对空间运动。
本发明采用如下技术方案:
一种面向***控对象作业空间的全方位体感交互方法,包括以下步骤:
操控者根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控者空间位置发生变化时,可开启全方位体感交互模式;全方位体感交互模式下,采集操控者体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量进行空间动态坐标转换,将空间位姿矢量处理成空间位置无关的位置矢量,即为新的控制矢量,其叠加***控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给***控对象。
进一步的,空间动态坐标转换的公式为:
式中,为空间位置无关的位姿矢量,/>为空间位姿矢量,/>为空间转换矩阵,表示如下:
式中,γ,θ,分别为当前空间姿态的横滚、俯仰和偏航角。
进一步的,目标位姿的融合生成公式为:
式中,VA为目标位姿矢量,Vn为***控对象在初始空间坐标系中的当前位姿矢量,为空间位置无关的位姿矢量。
进一步的,采集姿态矢量之前,将当前操控设备敏感到的角度,包括偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。
进一步的,全方位体感交互模式包括高精度操控模式和高模仿操控模式;
高精度操控模式时,对一段时间内操控过程中的主运动方向进行提取,得到主运动方向的运动角度则该模式下空间转换矩阵变为:
高模仿操控模式时,对每个采样时刻进行实时空间动态坐标转换,设该时刻的运动角度为则该模式下空间转换矩阵变为:
进一步的,当操控设备的角速度以及加速度值在一段时间内维持在一个很小的阈值以内时,认为操控设备处于“静止状态”。
进一步的,将“静止状态”初始时刻的运动角度记为则高精度操控模式下空间转换矩阵变为:
高模仿操控模式下空间转换矩阵变为:
进一步的,***控对象为虚拟操控模型对象时,借助三维立体空间投影显示完成体感操控过程;当虚拟模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影,则根据实际投影关系,动态对虚拟模型进行实时投影变换,以完成模型展示。
进一步的,针对***控对象,建立统一规范的控制描述文件及通信协议接口,包括:操控端口描述、***控对象自由度、操控动作映射描述及自定义、操控频率、操控动作增益参数及其描述配置文件。
一种操控设备,该操控设备采用上述的面向***控对象作业空间的全方位体感交互方法。
本发明与现有技术相比,具有以下优点及有益效果:
本发明对传统体感操控模式及交互方法进行更改优化,即通过手持式体感操控设备,可以实现面向***控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做者和***控对象的空间相对位置如何,***控对象均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或***控对象的绝对空间运动。
该体感交互方法不仅适用于实体机器人操控对象,同样也适用于虚拟模型中的特定操控对象;且虚拟模型也不仅限于可视化的三维模型展示实体,也同样适用于普通三维模型在二维平面上的投影显示。
附图说明
图1是与操控者空间位置无关的体感控制示意图;
图2是面向虚拟三维模型展示的体感操控示意图;
图3是位置无关模式及体感控制流程图;
图4是动作类被控对象控制描述文件示意图。
图中:1-***控对象,2-操控设备。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出一种面向***控对象作业空间的全方位体感交互方法及操控设备,尤其适用于采用手持式体感操控设备操作动作类机器人或对应虚拟模型等应用场景。该方法可以实现无论操做者和***控对象的空间相对位置如何,***控对象均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或***控对象的绝对空间运动。
体感控制端具备空间位姿感知功能,可感知操控者手部体感动作相对空间的位姿关系,加之***控对象端具备的空间绝对位姿反演能力,建立操控者手部体感动作与***控对象端相对作业场景的空间位姿关系。
本发明的面向***控对象作业空间的全方位体感交互方法,如图3所示,主要包括:
操控者可根据自己的操控习惯以及所处的绝对空间实际情况,自行定义初始空间坐标系以及对应的操控正方向;
随着操控者空间位置的变化,可以自行选择是否开启全方位体感操控模式,当启用该模式时,则进行空间动态坐标转换以及对应的主方向提取或实时传感器数据滤波及映射数据处理;否则不进行空间动态坐标转换过程;
初始空间坐标系可以随时进行重新标定,特别的,当操控器长时间获取到的加速度或角速度维持在一个很小的值时,自动进行初始空间坐标系的动态标定。
全方位体感操控模式下,通过获取机器人当前位姿Vn矢量,叠加上操控人员手部体感动作处理出的位姿变换矢量得到目标位姿Va矢量,并下发给机器人即可完成各种位置下对机器人的控制。
空间位姿关系的具体表示过程为:
1、实时获取当前机器人的位姿Vn:
其中,x、y和z为空间坐标,γ为当前空间姿态的横滚角,θ为当前空间姿态的俯仰角,为当前空间姿态的偏航角。
人工确认开始标定后,建立初始空间坐标系。针对实体机器人操控对象,可以针对机器人本体基准坐标系来建立初始空间坐标系,并基于该坐标系完成后续空间矢量的转换过程。记录当前操控器上的传感器敏感到的偏航角、俯仰角和横滚角,并将其置为零值,则在任意空间位置的位姿关系对应的空间转换矩阵为:
2、全方位体感交互模式可人为选择开启/关闭,当开启该模式时,按上述空间位姿关系转换矩阵对体感采集的空间矢量进行变换处理。
空间位置无关的位姿矢量表示为:
其中,为转换前体感操控设备原坐标系下的空间位姿矢量,其中姿态由/>矩阵动态得到。
以作为新的控制矢量完成对动作类***控对象的操控指令生成,即发送给被控端目标位姿VA为:
即可实现操控人员在作业场景空间中“自由行走移动”,并自由的操控机器人或虚拟模型完成相应运动,如图1所示。无论手持操控设备2的操作者和***控对象1的空间相对位置如何,***控对象2均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或***控对象的绝对空间运动。
如图3所示,根据操控模式的选择(高精度操控模式和高模仿操控模式),确定空间位置矢量如何转变为最终动作指令:
当开启高精度操控模式时,对整个体感操控过程进行原始数据采集,并对操控过程中的主运动方向进行提取,得到主方向运动角度则该模式下空间转换矩阵变为:
当开启高模仿操控模式时,对每个采样时刻(该时刻运动角度为)进行实时空间转换,则该模式下实时空间转换矩阵/>变为:
特别的,当体感操控设备一段时间内获取到的角速度以及加速度值维持在一个很小的值时,认为此时体感操控设备处于“静止状态”,即没有任何操控指令输入。为防止角度漂移造成的空间转换矩阵的偏移误差,将“静止状态”初始时刻的角度计为则空间转换矩阵/>变为:
实时空间转换矩阵变为:
需要说明的是,空间矢量的转换过程,只是该方案描述的一种数学表示方法,空间矢量的转变也可以通过其他矢量运算方式完成。
针对虚拟操控模型对象,可以借助三维立体空间投影显示或其他三维展示方式,完成体感操控过程,如图2所示,特别的,当虚拟操控模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影,则可以根据实际投影关系,动态对虚拟模型进行实时投影变换,以完成模型展示。
另外,基于多种对象的底层链路协议的软件编写,可将多对象体感操作集成进体感设备,通过对动作类被控对象建立统一规范的控制描述文件及通信协议接口,包括但不限于:操控端口描述,操控动作映射描述及自定义、操控频率、操控动作增益等关键参数,更改描述文件即可快速切换体感控制的基本信息的效果,如图4所示,并可随时升级软件动态扩容以兼容新设备。该方法可以适用于实体机器人被控对象,同时也适用于虚拟模型或模型中多个被控虚拟对象的体感操控及人机交互过程。
本领域的技术人员容易理解,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种面向***控对象作业空间的全方位体感交互方法,其特征在于,包括以下步骤:
操控者根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控者空间位置发生变化时,开启全方位体感交互模式;所述全方位体感交互模式下,采集操控者体感动作的空间位姿矢量;利用空间转换矩阵对空间位姿矢量实时进行空间坐标转换,将所述空间位姿矢量处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加***控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给***控对象;
其中,所述空间坐标转换的公式为:
式中,为空间位置无关的位姿矢量,/>为空间位姿矢量,/>为空间转换矩阵;
所述空间转换矩阵表示如下:
式中,γ,θ,分别为***控对象的横滚、俯仰和偏航角。
2.根据权利要求1所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,所述目标位姿的融合生成公式为:
式中,VA为目标位姿矢量,Vn为***控对象在初始空间坐标系中的当前位姿矢量,为空间位置无关的位姿矢量。
3.根据权利要求1所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,采集所述位姿矢量之前,将当前操控设备感测到的角度,包括偏航角、俯仰角和横滚角,置为零值或作为基准值记录下来。
4.根据权利要求1所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,所述全方位体感交互模式包括高精度操控模式和高模仿操控模式;
所述高精度操控模式时,对一段时间内操控过程中的主运动方向进行提取,得到主运动方向的运动角度,进而进行空间坐标转换;
所述高模仿操控模式时,对每个采样时刻均进行实时空间坐标转换。
5.根据权利要求4所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,当操控设备的角速度以及加速度值在一段时间内维持在一个很小的阈值以内时,认为操控设备处于“静止状态”。
6.根据权利要求5所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,将“静止状态”初始时刻的运动角度记为则所述高精度操控模式下角度控制量修正为/>对应修正空间转换矩阵;其中,/>为主运动方向的运动角度;
所述高模仿操控模式下角度控制量修正为对应修正空间转换矩阵;其中,/>为每个采样时刻的运动角度。
7.根据权利要求1所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,***控对象为虚拟操控模型对象时,借助三维立体空间投影显示完成体感操控过程;当虚拟模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影,则根据实际投影关系,动态对虚拟模型进行实时投影变换,以完成模型展示。
8.根据权利要求1所述的面向***控对象作业空间的全方位体感交互方法,其特征在于,针对***控对象,建立统一规范的控制描述文件及通信协议接口,包括:操控端口描述、***控对象自由度、操控动作映射描述及自定义、操控频率、操控动作增益参数及其描述配置文件。
9.一种操控设备,其特征在于,所述操控设备采用权利要求1至8中任意一项所述的面向***控对象作业空间的全方位体感交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332014.4A CN115639910B (zh) | 2022-10-28 | 2022-10-28 | 面向***控对象作业空间的全方位体感交互方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332014.4A CN115639910B (zh) | 2022-10-28 | 2022-10-28 | 面向***控对象作业空间的全方位体感交互方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115639910A CN115639910A (zh) | 2023-01-24 |
CN115639910B true CN115639910B (zh) | 2023-08-15 |
Family
ID=84946765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211332014.4A Active CN115639910B (zh) | 2022-10-28 | 2022-10-28 | 面向***控对象作业空间的全方位体感交互方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115639910B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5347616A (en) * | 1991-01-28 | 1994-09-13 | Tsubakimoto Chain Co. | Method of controlling position and attitude of working robot and its manipulator and apparatus thereof |
CN110355750A (zh) * | 2018-10-29 | 2019-10-22 | 西北工业大学 | 面向遥操作手眼协调的交互控制方法 |
CN110427106A (zh) * | 2019-07-19 | 2019-11-08 | 武汉恒新动力科技有限公司 | 体感动作数据处理方法、设备及计算机可读存储介质 |
CN111353941A (zh) * | 2018-12-21 | 2020-06-30 | 广州幻境科技有限公司 | 一种空间坐标转换方法 |
CN113232015A (zh) * | 2020-05-27 | 2021-08-10 | 杭州中为光电技术有限公司 | 一种基于模板匹配的机器人空间定位抓取控制方法 |
WO2022193153A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 基于体感遥控器的控制方法、装置及存储介质 |
-
2022
- 2022-10-28 CN CN202211332014.4A patent/CN115639910B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5347616A (en) * | 1991-01-28 | 1994-09-13 | Tsubakimoto Chain Co. | Method of controlling position and attitude of working robot and its manipulator and apparatus thereof |
CN110355750A (zh) * | 2018-10-29 | 2019-10-22 | 西北工业大学 | 面向遥操作手眼协调的交互控制方法 |
CN111353941A (zh) * | 2018-12-21 | 2020-06-30 | 广州幻境科技有限公司 | 一种空间坐标转换方法 |
CN110427106A (zh) * | 2019-07-19 | 2019-11-08 | 武汉恒新动力科技有限公司 | 体感动作数据处理方法、设备及计算机可读存储介质 |
CN113232015A (zh) * | 2020-05-27 | 2021-08-10 | 杭州中为光电技术有限公司 | 一种基于模板匹配的机器人空间定位抓取控制方法 |
WO2022193153A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳市大疆创新科技有限公司 | 基于体感遥控器的控制方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115639910A (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10384348B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
US8355816B2 (en) | Action teaching system and action teaching method | |
CN103218059B (zh) | 三维遥控装置及其定位方法 | |
CN102814814B (zh) | 一种双臂机器人基于Kinect的人机交互方法 | |
US20030180697A1 (en) | Multi-degree of freedom telerobotic system for micro assembly | |
CN107030692B (zh) | 一种基于感知增强的机械手遥操作方法及*** | |
CN107662195A (zh) | 一种具有临场感的机器手主从异构遥操作控制***及控制方法 | |
KR102001214B1 (ko) | 가상 현실 기반 양팔로봇 교시 장치 및 방법 | |
CN108734762B (zh) | 运动轨迹仿真方法及*** | |
US20210200311A1 (en) | Proxy controller suit with optional dual range kinematics | |
CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互***及方法 | |
CN107102750A (zh) | 一种基于笔式交互***的虚拟三维空间中目标的选择方法 | |
CN113505694A (zh) | 一种基于视线追踪的人机交互方法、装置及计算机设备 | |
JP3559335B2 (ja) | 三次元画像処理装置 | |
CN109102571B (zh) | 一种虚拟影像的控制方法、装置、设备及其存储介质 | |
CN113829357B (zh) | 机器人手臂遥操作方法、装置、***及介质 | |
CN109760066B (zh) | 一种服务机器人地图定位标定方法 | |
Angelopoulos et al. | Drone brush: Mixed reality drone path planning | |
CN115639910B (zh) | 面向***控对象作业空间的全方位体感交互方法及设备 | |
Du et al. | A novel natural mobile human-machine interaction method with augmented reality | |
CN112181135B (zh) | 一种基于增强现实的6-dof视触觉交互方法 | |
CN214025708U (zh) | 一种直观的工业机器人示教*** | |
CN115570558B (zh) | 面向***控对象集群的体感协同遥操作***及方法 | |
CN111702759A (zh) | 示教***及机器人的示教方法 | |
CN117289796B (zh) | 基于触觉手套的复杂装备高交互混合现实***与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |