CN117519469A - 一种应用于人机交互的空间交互装置及方法 - Google Patents
一种应用于人机交互的空间交互装置及方法 Download PDFInfo
- Publication number
- CN117519469A CN117519469A CN202311360908.9A CN202311360908A CN117519469A CN 117519469 A CN117519469 A CN 117519469A CN 202311360908 A CN202311360908 A CN 202311360908A CN 117519469 A CN117519469 A CN 117519469A
- Authority
- CN
- China
- Prior art keywords
- interaction
- robot
- task
- sensor data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 267
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003466 welding Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种应用于人机交互的空间交互装置和方法，其中，装置包括：传感器单元，用于获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；交互单元，用于获取用户与空间交互装置交互产生的交互信息；计算单元，用于根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，其中，机器人控制指令中至少包括根据传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；发送单元，用于将机器人控制指令发送至机器人，以使机器人根据移动路径和目标操作执行待执行任务。本申请提出一种新的与机器人交互的空间交互装置，提高了用户与机器人的交互效率以及准确性。
Description
技术领域
本申请涉及机器人技术领域，更具体的，涉及一种应用于人机交互的空间交互装置和交互方法。
背景技术
在人机交互的过程中，通常需要向机器人传达工作对象、工作区域和工作流程，即机器人需要知道它在哪里工作，执行什么任务，执行哪些具体的动作或步骤。以搬运物品为例，机器人需要知道以下信息：要搬运的物品是什么(例如，一个箱子或一块金属板)；物品在哪里(例如，物品可能在货架上，或者在工作台上)；物品需要被移动到哪里(例如，另一个货架，或者另一个工作站)。此外，机器人还需要知道如何完成这个任务，包括以下步骤：移动到物品所在的位置；正确地操作机械臂，以正确的姿态拿起物品(例如，物品可能需要以特定的角度或位置抓取，以防止滑落或损坏)；移动到目标位置；以正确的姿态放下物品。
为了实现上述目标，目前通常采用以下两种主要的方法：
1.增加单独的示教器。在这种方法中，操作者使用示教器来指示机器人如何执行搬运任务。例如，操作者使用示教器来输入物品的位置，然后指示机器人移动到那个位置。接下来，操作者可能需要手动操作机器人的机械臂，以正确的姿态拿起物品。然后，操作者需要指示机器人移动到目标位置，最后指示机器人以正确的姿态放下物品。这种方法的问题在于，每次当物品的位置或目标位置改变时，或者每次当需要搬运不同的物品时，操作者都需要手动输入新的命令，这是非常耗时且效率低下的。此外，操作者必须始终在机器人周围的工作区域内，以便能够使用示教器，这对工作环境有严格的限制。
2.在目标工作区域增加标记:在这种方法中，工作区域会被放置一些标记，这些标记可以是物理的，如条形码或二维码，或者是虚拟的，如增强现实标记。机器人可以识别这些标记，并根据它们来定位和执行任务。例如，物品可能被放在一个有标记的位置，机器人可以识别这个标记，然后移动到那个位置。然后，机器人可以根据另一个标记来确定如何以正确的姿态拿起物品。最后，机器人可以根据目标位置上的标记来确定如何移动和放下物品。然而，这种方法也存在问题：首先，标记的安装和维护需要时间和努力；其次，如果工作环境改变，例如，如果物品被移动，或者目标位置改变，标记可能需要重新配置。最后，这种方法对工作环境有限制，因为不是所有的环境都适合放置标记。
以上两种方法均存在效率低下和对工作环境有严格限制的问题。因此，亟需一种新的操作人员与机器人的交互方式，能够提高操作人员与机器人的交互效率以及准确性，从而真正满足应用领域需求。
发明内容
为克服相关技术中存在的问题，本发明的实施例提供一种应用于人机交互的空间交互装置及方法，技术方案如下：
根据本发明的实施例的第一方面，提供一种应用于人机交互的空间交互装置，包括：
传感器单元，用于获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
交互单元，用于获取用户与空间交互装置交互产生的交互信息；
计算单元，用于根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
发送单元，用于将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在一实施例中，计算单元根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，包括：
根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在一实施例中，计算单元根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息，包括：
对周围环境进行建模确定机器人坐标系；
根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
在一实施例中，所述空间交互装置包括预设部，所述传感器单元用于获取用户移动空间交互装置产生的以预设部为参照物的传感器数据。
根据本发明的实施例的第二方面，提供一种的空间交互方法，应用于上述的空间交互装置，包括：
从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
从交互单元获取用户与空间交互装置交互产生的交互信息；
根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在一实施例中，所述根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，包括：
根据所述交互信息以及传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在一实施例中，所述根据所述交互信息以及传感器数据确定空间交互装置的位置信息，包括：
对周围环境进行建模确定机器人坐标系；
根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
在一实施例中，所述空间交互装置包括预设部；从传感器单元获取用户在机器人工作空间移动空间交互装置产生的传感器数据，包括：
从传感器单元获取用户移动空间交互装置产生的以预设部为参照物的传感器数据。
根据本发明的实施例的第三方面，提供一种应用于人机交互的空间交互装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
从交互单元获取用户与空间交互装置交互产生的交互信息；
根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
根据本发明的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明的实施例的第二方面中任一项方法的步骤。
本发明的实施例提供的空间交互装置，简单易用，无需专业训练，用户只需点击按钮并在空间中移动空间交互装置，就能获取机器人待执行任务的移动路径和目标操作；还具有强大的通用性，能够通过用户的动作直接传递任务给机器人，无论是简单的移动，还是复杂的形状勾画，甚至是轨迹规划；并且对环境依赖小，无需对环境进行改造或设置特殊标记，实现对机器人的精准控制。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的应用于人机交互的的空间交互装置的结构示意图；
图2为本申请实施例提供的空间交互方法的流程图；
图3为本申请实施例提供的空间交互装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
本申请提出的空间交互装置，可以应用于人机交互，包括但不限于与各类机器人、智能设备的人机交互。
在本申请一实施例中，机器人可以包括移动基座和机械臂。其中，移动基座如轮式底盘、轮足、腿足、小车等，移动基座的运行可以带动机器人整体运行，而机械臂则可以相对于移动基座运行。机器人的机械臂末端通常还包括更换模块，用于更换末端工具，用以完成不同的操作。机械臂末端可以更换的末端工具包括但不限于：焊接工具、刷漆工具、打磨工具、搬运工具等，可以根据使用场景来更换相应的末端工具。
在本申请一实施例中，空间交互装置是完全独立于机器人的装置，不属于机器人的任何部分。如图1所示，本申请一实施例提出的应用于与机器人交互的空间交互装置，包括：
传感器单元101，用于获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
交互单元102，用于获取用户与空间交互装置交互产生的交互信息；
计算单元103，用于根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
发送单元104，用于将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在本申请一实施例中，为了便于操作者的操作，空间交互装置的形状和大小可以是适于操作者单手握持、移动、姿态变换的形状和大小。在本申请一实施例中，空间交互装置可以包括预设部，该预设部例如可以是一个刚性的金属棒(可以称为“探针”)，在本申请一实施例中，该预设部可以从空间交互装置本体上进行拆换；预设部也可以是空间交互装置本体上的部位，例如某个较凸出的部位(例如某个角)等。所述传感器单元101用于获取用户移动空间交互装置产生的以预设部为参照物的传感器数据。设置预设部可以使得用户移动空间交互装置的位置、路线更加精确。
在本申请一实施例中，传感器单元101可以包括多种传感器，例如位置传感器、姿态传感器、图像传感器(例如摄像头)、视觉传感器、力传感器、温湿度传感器、气压计、速度传感器、加速度传感器等。空间交互装置包括传感器单元，用户可以根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置。在一实施例中，在待执行任务的工作空间中已经设置有任务对象，例如待焊接钢材。机器人待执行任务是对该待焊接钢材的焊缝进行焊接。那么在焊接任务开始之前，用户手持空间交互装置，将空间交互装置的探针置于焊缝起点处开始移动，直到焊缝终点。在该移动过程中，传感器单元包括的多种传感器可以提供各种传感器数据，例如关于位置、姿态、速度等的传感器数据。
在本申请一实施例中，交互单元102可以包括多种交互部件，例如可以包括但不限于可触摸的屏幕、各类物理按键(按钮、机关、卡扣等等)等。可以根据用户与交互部件进行的各种交互操作生成交互信息。交互操作的种类包括但不限于：单击、双击、多次连击、长按、组合按键、拖动等。交互信息包括但不限于：交互操作的种类、时长、压力、间隔、拖动路径等。
在本申请一实施例中，计算单元103可以是微处理器，例如***级芯片(SoC，System-on-a-Chip)，用于接收数据和信息并处理生成机器人控制指令。计算单元上运行了各类算法，用于将从传感器单元获取的原始传感器数据以及从交互单元获取的交互信息加工和归纳成机器人控制指令，使机器人完成用户通过空间交互装置所示意的任务。
在本申请一实施例中，发送单元104可以采用任意可用的有线或者无线发送技术，无线发送技术包括但不限于蓝牙、红外、Zigbee、4G或5G等移动通信技术，有线发送技术包括但不限于网线、光纤等。本实施例对此不进行限定。在本申请一实施例中，发送单元104可以将机器人控制指令发送至机器人的工控机。
在本申请一实施例中，在待执行任务的工作空间中已经设置有任务对象，例如待焊接钢材。机器人待执行任务是对该待焊接钢材的焊缝进行焊接。那么在焊接任务开始之前，用户手持空间交互装置，将空间交互装置的探针置于待焊接钢材的焊缝起点处，单击交互单元中的物理按键1后沿着焊缝开始移动，直到到达焊缝终点再次单击交互单元中的物理按键1。在该移动过程中，传感器单元101包括的多种传感器可以提供各种传感器数据，例如关于位置、姿态、速度等的传感器数据；交互单元102也可以提供用户两次单击物理按键1的交互信息；计算单元103可以根据传感器数据以及交互信息生成机器人控制指令，机器人控制指令中至少包括根据传感器数据和交互信息确定的机器人待执行任务的移动路径(即探针从焊缝起点到焊缝终点之间的移动路径)和目标操作(焊接)，发送单元104将机器人控制指令发送至机器人，以使机器人根据移动路径和目标操作执行待执行任务。
在本申请一实施例中，在待执行任务的工作空间中已经设置有任务对象，例如目标物品1。机器人待执行任务是将目标物品1从位置A搬运到位置B。那么在搬运任务开始之前，用户手持空间交互装置，将空间交互装置的探针置于目标物品1所在的位置A处，双击交互单元中的物理按键1后开始移动，直到到达位置B处再次双击交互单元中的物理按键1。在该移动过程中，传感器单元101包括的多种传感器可以提供各种传感数据，例如关于位置、姿态、速度等的传感器数据；交互单元102也可以提供用户两次双击物理按键1的交互信息；计算单元103可以根据传感器数据以及交互信息生成机器人控制指令，机器人控制指令中至少包括根据传感器数据和交互信息确定的机器人待执行任务的移动路径(即探针从位置A到位置B的移动路径)和目标操作(在位置A拾取和在位置B放下)，发送单元104将机器人控制指令发送至机器人，以使机器人根据移动路径和目标操作执行待执行任务。
本申请提出的空间交互装置，简单易用，无需专业训练，用户只需点击按钮并在空间中移动设备，就能获取机器人待执行任务的移动路径和目标操作；还具有强大的通用性，能够通过用户的动作直接传递任务给机器人，无论是简单的移动，还是复杂的形状勾画，甚至是轨迹规划；并且对环境依赖小，无需对环境进行改造或设置特殊标记，实现对机器人的精准控制。
在本申请一实施例中，计算单元103根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，包括：
根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
其中，确定空间交互装置的位置信息可以包括确定在一个时间段内空间交互装置的位置(传感器的采样精度可以根据需要进行设置)、位置的移动、移动的速度、移动的姿态等，该时间段可以由交互信息来确定，例如，两次单击第一按键之间的时间段。
在本申请一实施例中，可以根据空间交互装置的位置信息确定空间交互装置的移动路径，并且直接将空间交互装置的移动路径作为机器人待执行任务的移动路径。其中，机器人待执行任务的移动路径可以是机器人机械臂末端工具的移动路径。
在本申请一实施例中，可以根据空间交互装置的位置信息确定空间交互装置的移动路径，移动路径可以是闭环的，此时可以将空间交互装置的移动路径包围的区域作为机器人待执行任务的移动路径的范围。例如在刷漆应用场景中，用户可以在墙面上移动空间交互装置框出要机器人刷漆的区域，机器人待执行任务的移动路径则位于该范围内，并且将该范围填满。
在本申请一实施例中，不仅可以根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息，还可以确定空间交互装置的姿态信息，将空间交互装置的姿态作为机器人待执行任务的姿态。
在本申请一实施例中，可以根据交互信息确定机器人任务的目标操作，例如，单击第一按键表示机械臂要执行焊接操作，双击第一按键表示机械臂要执行拾取操作、再次双击第一按键表示机械臂要执行放下操作。
在本申请一实施例中，计算单元103根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息时，可以首先对周围环境进行建模确定机器人坐标系；根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
在本申请一实施例中，计算单元生成机器人控制指令时，可以进一步根据机器人机械臂末端工具的移动路径，确定机器人的移动基座的第一移动路径和机械臂运行的第二移动路径，从而生成第一控制指令和第二控制指令，使得机器人根据第一控制指令移动基座先按照第一移动路径运行至目标区域，然后根据第二控制指令机械臂按照第二移动路径和目标操作运行。第二控制指令功能中还可以包括机械臂完成目标操作所需的机械臂的组件的控制指令，例如机械臂的各个关节、电机、传动装置等组件的操作，各组件共同作用使得机械臂能够得以执行该目标操作。
如图2所示，本申请一实施例提供一种应用于上述空间交互装置的空间交互方法，该方法包括如下步骤S201至步骤S204：
在步骤S201中，从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据。
在步骤S202中，从交互单元获取用户与空间交互装置交互产生的交互信息。
在步骤S203中，根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作。
在步骤S204中，将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在本申请一实施例中，生成的控制指令可以包括控制机器人的移动基座运行的第一控制指令和控制机械臂运行的第二控制指令，使得机器人根据第一控制指令移动基座先运行至目标区域，然后根据第二控制指令机械臂根据移动路径和目标操作运行。
本申请提出的空间交互方法，通过用户根据机器人待执行任务移动空间交互装置，直接生成机器人指令以至少将机器人待执行任务的移动路径和目标操作传递给机器人，实现了人类动作到机器人指令的映射，具有广泛的适用性，无需依赖环境标记，就保证了精确的定位，空间交互装置易于操作，无需专业训练，从而大大提升了用户和机器人交互的效率以及准确性。
在本申请一实施例中，所述根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，包括步骤A1-A3：
步骤A1：根据所述交互信息以及传感器数据确定空间交互装置的位置信息；
步骤A2：根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
步骤A3：生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
在本申请一实施例中，所述根据所述交互信息以及传感器数据确定空间交互装置的位置信息，包括步骤B1-B2：
步骤B1：对周围环境进行建模确定机器人坐标系；
步骤B2：根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
在用户第一次使用空间交互装置时，需要将空间交互装置坐标系与机器人坐标系进行对齐，即对周围环境进行建模确定机器人坐标系，并确定空间交互装置在机器人坐标系中的位置信息，这是为了确保在VSLAM(Visual Simultaneous Localization AndMapping，基于视觉的同步定位与地图构建)算法中建立的地图能够准确地跟踪空间交互装置和机器人在空间中的绝对位置。
下述为本发明装置实施例，可以用于执行本发明方法实施例。
图3是根据一个示例性实施例示出的一种空间交互装置的框图，该装置可以为终端或终端的一部分，该可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示，该装置包括：
第一获取模块301，用于从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
第二获取模块302，用于从交互单元获取用户与空间交互装置交互产生的交互信息；
处理模块303，用于根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
发送模块304，用于控制发送单元将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
可选的，所述处理模块303用于：
根据所述交互信息以及传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
可选的，所述处理模块303用于：
对周围环境进行建模确定机器人坐标系；
根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
在本申请的另一实施例中，还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的空间交互方法。
在本申请的另一实施例中，还提供了一种空间交互装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
从交互单元获取用户与空间交互装置交互产生的交互信息；
根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
控制发送单元将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种应用于人机交互的空间交互装置，其特征在于，包括：
传感器单元，用于获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
交互单元，用于获取用户与空间交互装置交互产生的交互信息；
计算单元，用于根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
发送单元，用于将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
2.根据权利要求1所述的装置，其特征在于，计算单元根据传感器单元获取的传感器数据和交互单元获取的交互信息生成机器人控制指令，包括：
根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
3.根据权利要求2所述的装置，其特征在于，计算单元根据所述交互信息以及所述传感器数据确定空间交互装置的位置信息，包括：
对周围环境进行建模确定机器人坐标系；
根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
4.根据权利要求1所述的装置，其特征在于，所述空间交互装置包括预设部，所述传感器单元用于获取用户移动空间交互装置产生的以预设部为参照物的传感器数据。
5.一种空间交互方法，应用于权利要求1-4中任一项所述的空间交互装置，其特征在于，包括：
从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
从交互单元获取用户与空间交互装置交互产生的交互信息；
根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
控制发送单元将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
6.根据权利要求5所述的方法，其特征在于，所述根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，包括：
根据所述交互信息以及传感器数据确定空间交互装置的位置信息；
根据所述交互信息以及空间交互装置的位置信息，确定机器人待执行任务的移动路径和目标操作；
生成机器人控制指令，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
7.根据权利要求6所述的方法，其特征在于，所述根据所述交互信息以及传感器数据确定空间交互装置的位置信息，包括：
对周围环境进行建模确定机器人坐标系；
根据所述交互信息以及所述传感器数据确定空间交互装置在机器人坐标系中的位置信息。
8.根据权利要求5所述的方法，其特征在于，所述空间交互装置包括预设部；从传感器单元获取用户在机器人工作空间移动空间交互装置产生的传感器数据，包括：
从传感器单元获取用户移动空间交互装置产生的以预设部为参照物的传感器数据。
9.一种应用于人机交互的空间交互装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从传感器单元获取用户根据机器人待执行任务、在待执行任务的工作空间移动空间交互装置产生的传感器数据；
从交互单元获取用户与空间交互装置交互产生的交互信息；
根据从传感器单元获取的传感器数据和从交互单元获取的交互信息生成机器人控制指令，其中，所述机器人控制指令中至少包括根据所述传感器数据和交互信息确定的机器人待执行任务的移动路径和目标操作；
控制发送单元将所述机器人控制指令发送至机器人，以使机器人根据所述移动路径和目标操作执行所述待执行任务。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求5-8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311360908.9A CN117519469A (zh) | 2023-10-19 | 2023-10-19 | 一种应用于人机交互的空间交互装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311360908.9A CN117519469A (zh) | 2023-10-19 | 2023-10-19 | 一种应用于人机交互的空间交互装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117519469A true CN117519469A (zh) | 2024-02-06 |
Family
ID=89742826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311360908.9A Pending CN117519469A (zh) | 2023-10-19 | 2023-10-19 | 一种应用于人机交互的空间交互装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117519469A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107199566A (zh) * | 2017-06-02 | 2017-09-26 | 东南大学 | 一种基于虚拟手臂的面向空间站机器人的遥操作*** |
| US20200368904A1 (en) * | 2019-05-20 | 2020-11-26 | Russell Aldridge | Remote robotic welding with a handheld controller |
| CN113183133A (zh) * | 2021-04-28 | 2021-07-30 | 华南理工大学 | 面向多自由度机器人的手势交互方法、***、装置及介质 |
-
2023
- 2023-10-19 CN CN202311360908.9A patent/CN117519469A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107199566A (zh) * | 2017-06-02 | 2017-09-26 | 东南大学 | 一种基于虚拟手臂的面向空间站机器人的遥操作*** |
| US20200368904A1 (en) * | 2019-05-20 | 2020-11-26 | Russell Aldridge | Remote robotic welding with a handheld controller |
| CN113183133A (zh) * | 2021-04-28 | 2021-07-30 | 华南理工大学 | 面向多自由度机器人的手势交互方法、***、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
| US11724388B2 (en) | Robot controller and display device using augmented reality and mixed reality | |
| CN110394780B (zh) | 机器人的仿真装置 | |
| CN104936748B (zh) | 徒手机器人路径教导 | |
| US10737396B2 (en) | Method and apparatus for robot path teaching | |
| US20190202058A1 (en) | Method of programming an industrial robot | |
| Fang et al. | A novel augmented reality-based interface for robot path planning | |
| US20160346921A1 (en) | Portable apparatus for controlling robot and method thereof | |
| US9958862B2 (en) | Intuitive motion coordinate system for controlling an industrial robot | |
| EP2263837A1 (en) | Operation teaching system and operation teaching method | |
| US11833697B2 (en) | Method of programming an industrial robot | |
| CN103250109A (zh) | 用于控制机器人的方法和装置 | |
| US20050251290A1 (en) | Method and a system for programming an industrial robot | |
| KR101876845B1 (ko) | 로봇 제어 장치 | |
| EP4177015B1 (en) | Robot teaching system | |
| CN117519469A (zh) | 一种应用于人机交互的空间交互装置及方法 | |
| US20220241980A1 (en) | Object-Based Robot Control | |
| CN112454363A (zh) | 一种用于焊接操作的ar辅助机器人的控制方法 | |
| JP7068416B2 (ja) | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 | |
| CN111152230B (zh) | 机器人的示教方法、***、示教机器人及存储介质 | |
| CN117260776A (zh) | 一种应用于机器人的人机交互方法及装置 | |
| Jaju et al. | Telepresence System with 3D Mouse and Path-Planning Functionality | |
| IT202100027485A1 (it) | Apparato e procedimento per la programmazione di robot per mezzo di dimostrazione | |
| CN117140498A (zh) | 机器人运动轨迹示教方法及示教装置 | |
| Sziebig et al. | Visual Programming of Robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |