CN108994832A - 一种基于rgb-d相机的机器人手眼***及其自标定方法 - Google Patents

一种基于rgb-d相机的机器人手眼***及其自标定方法 Download PDF

Info

Publication number
CN108994832A
CN108994832A CN201810804650.XA CN201810804650A CN108994832A CN 108994832 A CN108994832 A CN 108994832A CN 201810804650 A CN201810804650 A CN 201810804650A CN 108994832 A CN108994832 A CN 108994832A
Authority
CN
China
Prior art keywords
robot
camera
rgb
pose
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810804650.XA
Other languages
English (en)
Other versions
CN108994832B (zh
Inventor
李明洋
王家鹏
任明俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jieka Robot Co ltd
Original Assignee
Shanghai Joint Card Machine Qi Ren Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Joint Card Machine Qi Ren Science And Technology Ltd filed Critical Shanghai Joint Card Machine Qi Ren Science And Technology Ltd
Priority to CN201810804650.XA priority Critical patent/CN108994832B/zh
Publication of CN108994832A publication Critical patent/CN108994832A/zh
Application granted granted Critical
Publication of CN108994832B publication Critical patent/CN108994832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的机器人手眼***及其自标定方法，涉及机器人技术领域，包括以下步骤：(1)机器人通过底座固定在台面上，通过连接件带动RGB‑D相机运动，获取一系列环境的深度图，并同时记录下机器人位姿；(2)利用连续的深度图对所拍摄场景进行三维重建，获取拍摄每一张深度图时相机的位姿；(3)将同一时刻的相机位姿和机器人位姿结合构成关于机器人末端和相机相对位姿的约束方程；(4)将所有时刻位姿组合构建一个关于机器人末端和相机相对位姿的方程组；(5)通过Tsai‑Lenz方法对方程组进行求解，得到机器人末端和相机的相对位姿。本发明不需要借助特殊的标记物，并且算法简单，可用于在线标定，大大提高了机器人手眼标定的效率。

Description

一种基于RGB-D相机的机器人手眼***及其自标定方法
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于RGB-D相机的机器人手眼***及其自标定方法
背景技术
在“中国制造2025”计划提出的背景下，中国工业对柔性生产线和智能机器人的需求越来越迫切。让机器人智能化的一种重要手段就是利用机器视觉给予机器人看的能力。机器视觉指的是通过视觉传感器获取环境的图像信息，使得机器具有视觉感知的功能。通过机器视觉，可以让机器人辨识物体，并确定物体的位置。
机器人的运动坐标系和相机的坐标系之间通过“手眼标定”进行结合，这里可以将机器人的末端执行器看作人的手，而视觉传感器看作人的眼睛。机器人手眼***一般分为两种，眼在手上(eye-in-hand)和眼在手外(eye-to-hand)，前者将视觉传感器固定在机器人末端执行器上，可以随着机器人末端运动，后者将视觉传感器固定在环境中，不随机器人末端运动。前者往往具有更高的灵活性，而且使得机器人的动作具有更高的精度。
传统的机器人手眼***采用高精度的标记物，如立方体或者棋盘格等装置，在图像中提取角点，并通过射影几何方式计算出相机到标记物的相对位置，同时记录下机器人末端的位置，通过多次拍摄得到多组数据计算机器人末端到相机之间的相对位姿。但是这种方法由于需要高精度的标记物，往往需要做离线标定，大大限制了这种标定方法的使用范围。
因此，本领域的技术人员致力于开发一种基于RGB-D相机的机器人手眼***及其自标定方法，该方法不需要特殊的标记物，只需要机器人周围环境具有一定的空间复杂度，即可通过算法计算进行手眼***的离线或者在线标定。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术中需要高精度的标记物，限制了传统标定方法的使用范围的缺点，解决传统标定方法需要使用高精度的标记物导致只能进行离线标定的问题。
为实现上述目的，本发明提供了一种基于RGB-D相机的机器人手眼***自标定方法，包括以下步骤：
步骤S1、通过机器人带动安装在机器人末端的RGB-D相机运动，获取一系列周围环境深度图，并记录下同一时刻机器人的位姿信息；
步骤S2、利用一系列连续的深度图对所拍摄场景进行三维重建，从而获得每张深度图拍摄时的相机位姿；
步骤S3、将同一时刻的相机位姿和机器人位姿结合成一个数据对，并将任意两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程；
步骤S4、将所有时刻位姿两两组合构建一个大的关于机器人末端和相机相对位姿的方程组；
步骤S5、采用Tsai-Lenz算法对方程组进行求解，得到机器人末端和相机的相对位姿。
同时本发明提供了一种基于RGB-D相机的机器人手眼***，包括机器人、工作台、机器人基座、刚性连接件、RGB-D相机和机器人末端执行器；所述机器人基座设置在所述工作台上；所述机器人设置在所述机器人基座上；所述刚性连接件设置在所述机器人末端；所述RGB-D相机设置在所述刚性连接件上；所述机器人末端执行器设置在所述刚性连接件上。
进一步地，所述获取同一时刻的机器人位姿和RGB-D相机的深度图，是通过硬件触发或者软件触发的方式触发所述RGB-D相机获取一帧图像，同时通过socket或者机器人API获取所述机器人位姿。
进一步地，所述根据一系列连续的深度图对所拍摄的场景进行三维重建，是通过TSDF Volume模型将多帧深度图进行融合，对所述场景进行三维重建并估计出每一张深度图对应的所述RGB-D相机位姿。
进一步地，所述将两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程，是通过在连续的多时刻数据中任意选取两个时刻的数据进行组合，建立的约束方程是最基本的位姿矩阵变换，没有其它先验假设。
进一步地，所述通过Tsai-Lenz方法对方程组进行求解以得到机器人末端和相机的相对位姿，是通过将所述机器人末端与所述相机之间相对变换矩阵的旋转和平移部分分开求解，采用罗德里格斯参数表示位姿的变化，先求解旋转向量，再求解旋转矩阵。
进一步地，所述步骤S1中RGB-D相机位置被设置为参考坐标系的原点，方向矩阵为单位阵。
进一步地，所述机器人在移动过程中，任意两个位姿之间满足以下公式：
其中下标g表示机器人末端坐标系，c代表相机坐标系，i、j表示记录的位姿序号，如：c_i表示第i组记录的位姿中相机坐标系，Hcjci表示将空间中点在从处于i位姿时相机坐标系中的坐标转换为处于j位姿时相机坐标系中的坐标。
进一步地，所述机器人基座与所述工作台刚性连接，所述RGB-D相机与所述机器人末端执行器之间刚性连接，所述机器人能够带着所述RGB-D相机和所述末端执行器一起运动。
进一步地，所述工作台是包括工作台面在内的视觉传感器周围的所有环境信息。
与现有技术相比，本发明不需要借助特殊的标记物，并且算法简单，可用于在线标定，大大提高了机器人手眼标定的效率。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的手眼标定基本模型示意图；
图2是本发明的一个较佳实施例的手眼标定***结构示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
本发明采用以下技术方案：
将RGB-D相机固定在机器人末端执行器上，让RGB-D相机可以随着机器人末端移动，并且保持两者的连接是刚性的，不会有相对移动。操作机器人进行运动并通过深度传感器采集机器人周围环境的深度图数据。以采集到第一张深度图时相机的姿态作为参考坐标系对机器人周围的环境进实时三维重建，同时记录下每一次采集深度图数据时机器人的位姿。
在对机器人周围环境进行重建的同时可以估计出每一次采集到深度图时的相机相对参考坐标系的位姿。
对于这种形式的机器人手眼***，其基本模型如图1所示。
在机器人移动过程中，任意两个位姿之间满足以下公式：
其中下标g表示机器人末端坐标系，c代表相机坐标系，i、j表示记录的位姿序号，如：ci表示第i组记录的位姿中相机坐标系，Hcjci表示将空间中点在从处于i位姿时相机坐标系中的坐标转换为处于j位姿时相机坐标系中的坐标。由于机器人末端与相机之间的相对位置是固定的，因此Hgc省略了下标i,j。令A＝Hgjgi，B＝Hgjgi，X＝Hgc，则公式(1)可以简记为：
AX＝XB (2)
将上式拆分，写成分块矩阵的形式为：
其中R和t分别是变换矩阵中的旋转和平移分量，比较等式两侧可以得到方程组：
对于方程组(5)的求解，本发明采用Tsai两步求解法，该方法通常被称为Tsai-Lenz方法，是最广泛使用的机器人手眼标定方法之一。
如图2所示，本发明的机器人手眼自标定方法包括：机器人底座1，机器人2，机器人末端与视觉传感器的刚性连接装置3，机器人末端执行器4，该末端执行器是机器人执行具体任务的执行机构，RGB-D视觉传感器5，工作台环境6，本专利中所指的工作台环境是包括工作台面在内的视觉传感器周围的所有环境信息。
(1)操作机器人2将其回复到初始位置，使得工作台面环境6的主要部分处于RGB-D相机5视野范围内。将此时的相机位置设置为参考坐标系的原点，方向矩阵为单位阵。初始化视觉重建的工作空间，本发明采用的重建模型是TSDF(Trunked Signed DistanceFunction)模型。
(2)操作机器人2沿着设定的轨迹(例如Z字形路线)带着RGB-D相机5一起运动，在运动的过程中不断的对场景6进行拍摄，得到的深度图Ik，同时记录下机器人末端4的位姿Tbgk。
(3)对每一次得到的深度图Ik，按照光线投影(Ray casting)的方法将TSDFVolume中的数据按照Ik-1时刻的位姿进行投影，得到I’k-1，通过ICP算法求出I’k-1和Ik之间的相对位姿Tck,ck-1。因此k时刻的相机位姿即为
(4)按照k时刻的相机位姿Tck将深度图Ik投影到三维空间，之后根据TSDF模型的定义方式将其融合到TSDF Volume中。
(5)按照上述2至4步进行循环便可以得到一系列的相机位姿Tck和对应的机器人末端位姿Tbgk数据。对其中的两两进行分组，例如对i时刻和j时刻数据构成的一组数据，应有
(6)假设共计得到了N个位姿的数据，则可以得到N*(N-1)/2组数据，其中每一组数据都可以列出形式如公式(7)所示的方程。这N*(N-1)/2个方程组成了一个大的方程组。
(7)在得到了多组数据之后按照Tsai-Lenz方法对方程组进行求解，最终得到相机和机器人末端之间的相对位姿Tgc。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于RGB-D相机的机器人手眼***自标定方法，其特征在于，包括以下步骤：
步骤S1、通过机器人带动安装在机器人末端的RGB-D相机运动，获取一系列周围环境深度图，并记录下同一时刻机器人的位姿信息；
步骤S2、利用一系列连续的深度图对所拍摄场景进行三维重建，从而获得每张深度图拍摄时的相机位姿；
步骤S3、将同一时刻的相机位姿和机器人位姿结合成一个数据对，并将任意两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程；
步骤S4、将所有时刻位姿两两组合构建一个大的关于机器人末端和相机相对位姿的方程组；
步骤S5、采用Tsai-Lenz算法对方程组进行求解，得到机器人末端和相机的相对位姿。
2.一种基于RGB-D相机的机器人手眼***，其特征在于，包括机器人、工作台、机器人基座、刚性连接件、RGB-D相机和机器人末端执行器；所述机器人基座设置在所述工作台上；所述机器人设置在所述机器人基座上；所述刚性连接件设置在所述机器人末端；所述RGB-D相机设置在所述刚性连接件上；所述机器人末端执行器设置在所述刚性连接件上。
3.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述获取同一时刻的机器人位姿和RGB-D相机的深度图，是通过硬件触发或者软件触发的方式触发所述RGB-D相机获取一帧图像，同时通过socket或者机器人API获取所述机器人位姿。
4.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述根据一系列连续的深度图对所拍摄的场景进行三维重建，是通过TSDF Volume模型将多帧深度图进行融合，对所述场景进行三维重建并估计出每一张深度图对应的所述RGB-D相机位姿。
5.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述将两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程，是通过在连续的多时刻数据中任意选取两个时刻的数据进行组合，建立的约束方程是最基本的位姿矩阵变换，没有其它先验假设。
6.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述通过Tsai-Lenz方法对方程组进行求解以得到机器人末端和相机的相对位姿，是通过将所述机器人末端与所述相机之间相对变换矩阵的旋转和平移部分分开求解，采用罗德里格斯参数表示位姿的变化，先求解旋转向量，再求解旋转矩阵。
7.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述步骤S1中RGB-D相机位置被设置为参考坐标系的原点，方向矩阵为单位阵。
8.如权利要求1所述的基于RGB-D相机的机器人手眼***自标定方法，其特征在于，所述机器人在移动过程中，任意两个位姿之间满足以下公式：
其中下标g表示机器人末端坐标系，c代表相机坐标系，i、j表示记录的位姿序号，如：ci表示第i组记录的位姿中相机坐标系，Hcjci表示将空间中点在从处于i位姿时相机坐标系中的坐标转换为处于j位姿时相机坐标系中的坐标。
9.如权利要求2所述的基于RGB-D相机的机器人手眼***，其特征在于，所述机器人基座与所述工作台刚性连接，所述RGB-D相机与所述机器人末端执行器之间刚性连接，所述机器人能够带着所述RGB-D相机和所述末端执行器一起运动。
10.如权利要求2所述的基于RGB-D相机的机器人手眼***，其特征在于，所述工作台是包括工作台面在内的视觉传感器周围的所有环境信息。
CN201810804650.XA 2018-07-20 2018-07-20 一种基于rgb-d相机的机器人手眼***及其自标定方法 Active CN108994832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810804650.XA CN108994832B (zh) 2018-07-20 2018-07-20 一种基于rgb-d相机的机器人手眼***及其自标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810804650.XA CN108994832B (zh) 2018-07-20 2018-07-20 一种基于rgb-d相机的机器人手眼***及其自标定方法

Publications (2)

Publication Number Publication Date
CN108994832A true CN108994832A (zh) 2018-12-14
CN108994832B CN108994832B (zh) 2021-03-02

Family

ID=64596742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810804650.XA Active CN108994832B (zh) 2018-07-20 2018-07-20 一种基于rgb-d相机的机器人手眼***及其自标定方法

Country Status (1)

Country Link
CN (1) CN108994832B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109531577A (zh) * 2018-12-30 2019-03-29 北京猎户星空科技有限公司 机械臂标定方法、装置、***、介质、控制器及机械臂
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN110276803A (zh) * 2019-06-28 2019-09-24 首都师范大学 摄像机位姿估计形式化方法、装置、电子设备及存储介质
CN110281231A (zh) * 2019-03-01 2019-09-27 浙江大学 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN110480658A (zh) * 2019-08-15 2019-11-22 同济大学 一种融合视觉自标定的六轴机器人控制***
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及***
CN111452048A (zh) * 2020-04-09 2020-07-28 亚新科国际铸造（山西）有限公司 多机器人相对空间位置关系的标定方法和装置
CN111474932A (zh) * 2020-04-23 2020-07-31 大连理工大学 一种集成情景经验的移动机器人建图与导航方法
CN111890355A (zh) * 2020-06-29 2020-11-06 北京大学 一种机器人标定方法、装置及***
CN113479442A (zh) * 2021-07-16 2021-10-08 上海交通大学烟台信息技术研究院 一种实现流水线上非结构化物体智能贴标签的装置和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN102566577A (zh) * 2010-12-29 2012-07-11 沈阳新松机器人自动化股份有限公司 一种工业机器人简易标定方法
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN107253190A (zh) * 2017-01-23 2017-10-17 梅卡曼德（北京）机器人科技有限公司 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN107818554A (zh) * 2016-09-12 2018-03-20 索尼公司 信息处理设备和信息处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102911A1 (en) * 2002-11-21 2004-05-27 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN102566577A (zh) * 2010-12-29 2012-07-11 沈阳新松机器人自动化股份有限公司 一种工业机器人简易标定方法
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN107818554A (zh) * 2016-09-12 2018-03-20 索尼公司 信息处理设备和信息处理方法
CN107253190A (zh) * 2017-01-23 2017-10-17 梅卡曼德（北京）机器人科技有限公司 一种高精度机器人手眼相机自动标定的装置及其使用方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109531577B (zh) * 2018-12-30 2022-04-19 北京猎户星空科技有限公司 机械臂标定方法、装置、***、介质、控制器及机械臂
CN109531577A (zh) * 2018-12-30 2019-03-29 北京猎户星空科技有限公司 机械臂标定方法、装置、***、介质、控制器及机械臂
CN110281231A (zh) * 2019-03-01 2019-09-27 浙江大学 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN110276803B (zh) * 2019-06-28 2021-07-20 首都师范大学 摄像机位姿估计形式化方法、装置、电子设备及存储介质
CN110276803A (zh) * 2019-06-28 2019-09-24 首都师范大学 摄像机位姿估计形式化方法、装置、电子设备及存储介质
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN110480658A (zh) * 2019-08-15 2019-11-22 同济大学 一种融合视觉自标定的六轴机器人控制***
CN110480658B (zh) * 2019-08-15 2022-10-25 同济大学 一种融合视觉自标定的六轴机器人控制***
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及***
CN111452048A (zh) * 2020-04-09 2020-07-28 亚新科国际铸造（山西）有限公司 多机器人相对空间位置关系的标定方法和装置
CN111452048B (zh) * 2020-04-09 2023-06-02 亚新科国际铸造（山西）有限公司 多机器人相对空间位置关系的标定方法和装置
CN111474932B (zh) * 2020-04-23 2021-05-11 大连理工大学 一种集成情景经验的移动机器人建图与导航方法
CN111474932A (zh) * 2020-04-23 2020-07-31 大连理工大学 一种集成情景经验的移动机器人建图与导航方法
CN111890355A (zh) * 2020-06-29 2020-11-06 北京大学 一种机器人标定方法、装置及***
CN111890355B (zh) * 2020-06-29 2022-01-11 北京大学 一种机器人标定方法、装置及***
CN113479442A (zh) * 2021-07-16 2021-10-08 上海交通大学烟台信息技术研究院 一种实现流水线上非结构化物体智能贴标签的装置和方法

Also Published As

Publication number Publication date
CN108994832B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN108994832A (zh) 一种基于rgb-d相机的机器人手眼***及其自标定方法
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人***
Ueda et al. A hand-pose estimation for vision-based human interfaces
CN104376594B (zh) 三维人脸建模方法和装置
CN111402290B (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN104077804B (zh) 一种基于多帧视频图像构建三维人脸模型的方法
CN105353873A (zh) 基于三维显示的手势操控方法和***
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制***及方法
JP6483832B2 (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
Gratal et al. Visual servoing on unknown objects
CN110189257A (zh) 点云获取的方法、装置、***及存储介质
Kennedy et al. A novel approach to robotic cardiac surgery using haptics and vision
CN109676602A (zh) 行走机器人的自适应标定方法、***、设备及存储介质
CN109318227B (zh) 一种基于人形机器人的掷骰子方法及人形机器人
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
Wang et al. A virtual end-effector pointing system in point-and-direct robotics for inspection of surface flaws using a neural network based skeleton transform
Ni et al. 3D-point-cloud registration and real-world dynamic modelling-based virtual environment building method for teleoperation
CN109015631A (zh) 基于多工作链的拟人机器人实时模仿人体运动的方法
Gao et al. Kinect-based motion recognition tracking robotic arm platform
Noborio et al. Experimental results of 2D depth-depth matching algorithm based on depth camera Kinect v1
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
Broun et al. Bootstrapping a robot’s kinematic model
Salfelder et al. Markerless 3D spatio-temporal reconstruction of microscopic swimmers from video
Chiu et al. Class-specific grasping of 3D objects from a single 2D image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200240 building 6, 646 Jianchuan Road, Minhang District, Shanghai

Applicant after: SHANGHAI JAKA ROBOTICS Ltd.

Address before: 200120 floor 1, building 1, No. 251, Yaohua Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: SHANGHAI JAKA ROBOTICS Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Patentee after: Jieka Robot Co.,Ltd.

Address before: 200240 building 6, 646 Jianchuan Road, Minhang District, Shanghai

Patentee before: SHANGHAI JAKA ROBOTICS Ltd.

CP03 Change of name, title or address