CN113313766A - 机器人及其位姿计算方法、位姿计算装置 - Google Patents
机器人及其位姿计算方法、位姿计算装置 Download PDFInfo
- Publication number
- CN113313766A CN113313766A CN202110257988.XA CN202110257988A CN113313766A CN 113313766 A CN113313766 A CN 113313766A CN 202110257988 A CN202110257988 A CN 202110257988A CN 113313766 A CN113313766 A CN 113313766A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- pose
- virtual camera
- image
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000036544 posture Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011960 computer-aided design Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 15
- 230000009466 transformation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 210000005036 nerve Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 210000000115 thoracic cavity Anatomy 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 210000004491 foramen ovale Anatomy 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000000094 Chronic Pain Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000003451 celiac plexus Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 210000001932 glossopharyngeal nerve Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000002698 mandibular nerve Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000004228 maxillary nerve Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003131 sacroiliac joint Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000003594 spinal ganglia Anatomy 0.000 description 1
- 210000001032 spinal nerve Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000000427 trigeminal ganglion Anatomy 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种机器人位姿计算方法、位姿计算装置，所述方法包括：获取所要识别物体的三维CAD模型；根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并以建立分层视图；对分层视图中每层的每个视图投影生成二维匹配模板；将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿；根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿，进而获取机器人的三维位姿。该方法将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿。
Description
技术领域
本发明涉及智能机器人技术领域，具体涉及一种机器人的位姿计算方法、一种机器人的位姿计算装置、一种机器人和一种非临时性计算机可读存储介质。
背景技术
确定三维物体的位姿在现在的很多工业场合都有应用，如工业机械手的抓取等，面对日益增长的机器视觉技术在工业和医疗机械臂上的应用，需要有稳定的三维物体识别位姿计算方法。
相关技术中，一般是通过摄像机获取的多张图像，根据多张图像获取物体在相机坐标系的坐标后，进行多次坐标转换后获取物体的三维位姿。该方式需要多张图像，增加了处理过程中算法的复杂性和运行的时间。
发明内容
本发明为解决上述技术问题，本发明的第一个目的在于提出一种数据的同步方法，该方法可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
本发明的第二个目的在于提出一种机器人的位姿计算装置。
本发明的第三个目的在于提出一种机器人。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机设备。
本发明采用的技术方案如下：
本发明的第一方面的实施例提出了一种机器人的位姿计算方法，所述机器人包括单幅虚拟摄像机，所述方法包括以下步骤：获取所要识别物体的三维CAD(Computer-AidedDesign，计算机辅助设计)模型；建立所述虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；根据所述位姿范围内对所述三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；对所述分层视图中每层的每个视图投影生成二维匹配模板；获取所述虚拟摄像机拍摄的图像及其对应的图像金字塔；将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，以获取二维匹配位姿；根据所述虚拟摄像机的参数和和二维匹配位姿计算所述物体的三维位姿；根据所述物体的三维位姿获取所述机器人的三维位姿。
本发明上述提出的机器人的位姿计算方法还可以具有如下附加技术特征：
根据本发明的一个实施例，建立所述虚拟摄像机的虚拟球面视图，包括：所述物***于球心，所述虚拟摄像机位于球面上，将所述物体投影到虚拟摄像机的像平面上以获取所述虚拟球面视图。
根据本发明的一个实施例，获取所述虚拟摄像机拍摄的图像对应的图像金字塔，包括：识别所述虚拟摄像机拍摄的图像的目标，产生其图像金字塔，并计算其相对于相机坐标系的三维位姿。
根据本发明的一个实施例，将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，包括：计算所述二维匹配模板的最高层的每个位置处与虚拟摄像机拍摄的图像对应的图像金字塔的最高层相似度，并将相似度超过所述阈值的二维姿态储存在候选匹配列表中；获取所述二维匹配模板的下一较低层次的每个位置处与所述虚拟摄像机拍摄的图像对应的图像金字塔的下一较低层次相似度，并将相似度超过所述阈值的二维姿态储存在候选匹配列表中，直到追踪到虚拟摄像机拍摄的图像对应的图像金字塔的最底层。
根据本发明的一个实施例，根据所述物体的三维位姿获取所述机器人的三维位姿，包括：将所述物体的三维位姿由相机坐标系转换至机器人基座坐标系中。
本发明第二方面的实施例提出了一种机器人的位姿计算装置，所述机器人包括单幅虚拟摄像机，所述装置包括：第一获取模块，所述第一获取模块用于获取所要识别物体的三维CAD模型；第二获取模块，所述第二获取模块用于建立所述虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；第一合并模块，所述第一合并模块用于根据所述位姿范围内对所述三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；第一生成模块，所述第一生成模块用于对所述分层视图中每层的每个视图投影生成二维匹配模板；第三获取模块，所述第三获取模块用于获取所述虚拟摄像机拍摄的图像及其对应的图像金字塔；匹配模块，所述匹配模块用于将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，以获取二维匹配位姿；计算模块，所述计算模块用于根据所述虚拟摄像机的参数和和二维匹配位姿计算所述物体的三维位姿；第四获取模块，所述第四获取模块用于根据所述物体的三维位姿获取所述机器人的三维位姿。
本发明的第三方面的实施例提出了一种机器人，包括本发明第二方面实施例所述的机器人的位姿计算装置。
根据本发明的一个实施例，所述机器人为医疗穿刺机器人。
本发明的第四方面的实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的机器人的位姿计算方法。
本发明的第四方面的实施例提出了一计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第一方面实施例所述的机器人的位姿计算方法。
本发明的有益效果：
本发明可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
附图说明
图1是根据本发明一个实施例的坐标变换示意图；
图2是根据本发明一个实施例的机器人的位姿计算方法的流程图；
图3是根据本发明一个实施例的虚拟球面视图的建立示意图；
图4是根据本发明一个实施例的树状结构的示意图；
图5是根据本发明一个实施例的机器人基坐标系和相机坐标系的转换示意图；
图6是根据本发明一个实施例的相机坐标系和机器人基座坐标系之间的转换关系的原理图；
图7是根据本发明一个实施例的穿刺平台***的工作示意图；
图8是根据本发明一个实施例的机器人的位姿计算装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明是发明人基于对以下问题的研究和认知提出的：
在实际应用中，可以使用被测物体的CAD模型几何边缘和拍摄得到的用被测图像进行匹配，从而达到识别三维物体的目的。如果能够从单个图像可靠地确定这些对象的姿态，则各种工业过程的自动化水平可以显著提高，其核心方法是二维匹配视图位姿对二维模板三维姿态进行修改，从而得到三维物体的位姿。
可以理解的是，在进行坐标系转换时，需要进行摄相机标定(Cameracalibration)。摄像机标定简单来说是从世界坐标系转换为相机坐标系，再由相机坐标转换为图像坐标系的过程，也就是求最终的投影矩阵P。
如图1所示，假设世界坐标系中的点P的坐标为(Xw，Yw，Zw)，相机坐标系中的点为(Xc，Yc，Zc)，像素平面坐标系中点为(x，y)，像素坐标系中点为(u，v)。
相机坐标系(camera coordinate)是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。
像素坐标系是一个二维直角坐标系，反映了相机CCD(Charge-coupled Device，电荷耦合元件)/CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)芯片中像素的排列情况。原点位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。
像素坐标系通常的定义方式是：原点O位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与平面之间，相差了一个缩放和一个原点的平移。设像素坐标在u轴上缩放了
倍，在v轴上缩放了
倍。同时，原点平移了[cx,cy]T。
世界坐标系、相机坐标系、图像坐标系和像素坐标系的关系如图1所示，世界坐标系(Xw，Yw，Zw)经刚体变换得到相机坐标系(Xc，Yc，Zc)，相机坐标系(Xc，Yc，Zc)经透视投影得到图像坐标系(Cx，Cy)，图像坐标系(Cx，Cy)经二次变换得到像素坐标系(u，v)。
由世界坐标系转换至相机坐标系关系式为：
其中，R为3*3旋转矩阵，t是3*1平移向量。
由相机坐标系转换至像素平面坐标系关系式为：
其中，f为相机的镜头焦距，(x，y)为像素平面坐标系中点。
由像素平面坐标系转换至像素坐标系的关系式为：
其中，u0、v0为像素坐标系与成像平面之前原点的平移，dx、dy为像元尺寸。
最终，由世界坐标系转换至像素坐标系的关系式为：
图2是根据本发明一个实施例的机器人的位姿计算方法的流程图。其中，机器人包括单幅虚拟摄像机，如图2所示，位姿计算方法包括以下步骤：
S1，获取所要识别物体的三维CAD模型。
具体地，所要识别物体(即三维目标)可以通过CAD模型来表达的，很多计算机辅助绘图软件支持DXF文件格式，因此可将三维目标对应的CAD模型的DXF文件的提前预存，位姿计算时直接获取即可，若支持联网，可以联网查询。
获取CAD模型后，需要定义原始坐标系和原点位于模型中间的内部参考坐标系，可将原始坐标系平移至参考坐标系原点并旋转一定角度完成转换。具体方法可运用坐标的刚性变换，可以写为：
Pi＝R*Po+T；
其中Pi代表内部参考坐标系坐标，Po代表原始坐标系坐标，R为旋转矩阵，T为平移向量。之后的计算基于内部参考坐标系。
S2，建立虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围。
进一步地，根据本发明的一个实施例，建立虚拟摄像机的虚拟球面视图，可以包括：物***于球心，虚拟摄像机位于球面上，将物体投影到虚拟摄像机的像平面上以获取虚拟球面视图。
算法需要对物体六自由度的位姿进行处理，这将会产生比较大的计算量，因此，本发明采用虚拟球面视图的方法来降低算法执行的复杂度，减少算法运行的时间。图3是根据本发明一个实施例虚拟球面视图的建立示意图，假设三维物***于球心，虚拟摄像机位于球面上，将三维物体投影到虚拟摄像机像平面上获取当前摄像机视图。定义球面坐标系，球面坐标系的赤道平面与内部参考坐标系的XZ平面对应，内部参考坐标系的Y轴指向球面坐标系的南极。可通过指定虚拟摄像机在球面坐标的λ(经度)、
(纬度)、d(距离)来生成虚拟摄像机所需的位姿范围。摄像机的Z轴通过虚拟球面视图的原点，ω为摄像机绕Z轴的转动角度。通常来说，将λ和
的范围设定为[-45°-45°]，ω的范围设定为[-180°-180°]，具体可根据相机的拍摄范围设定。
S3，根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图。
具体地，位姿范围确定好后，还可以通过分层视图合并来减少虚拟摄像机的数量，提高算法处理的速度和稳定性，通过在一个多层金字塔图像上创建模板的方式来提高识别的速度。在姿态范围内对原始视图取样，进行全部取样得到的相邻视图的相似度测量，设置某个阈值相似度，两个相邻视图的相似度超过该阈值时将会被合并，并重新计算它与它的相邻视图之间的相似度继续合并，只有这些经过合并的视图代表的摄像机姿态才会被作为二维匹配模板，并产生用于匹配的二维模板视图。如果没有相似度超过阈值的视图存在时，将剩余的合并视图复制到三维模型中，放宽相似度限制(例如降低阈值)，对金字塔所有层级重复步骤，直至图像金字塔顶层没有相似度超过设定阈值的视图。
可以通过图4所示的树状结构表达虚拟摄像机的分层结果，产生三维模型，在树状结构中，每个视图储存其全部子视图的参考，子视图是在较低金字塔水平上已经被合并的视图与未被合并的视图和，每个子视图也都储存其对父视图的参考。
S4，对分层视图中每层的每个视图投影生成二维匹配模板。
具体地，可将CAD模型对每个视图进行3个通道的投影产生二维模板图像，3个通道代表CAD模型表面单位法向量3个方向的分量，三维CAD模型可以由图像金字塔每层的每个二维模板图像组成，每个二维模板图像均储存其对应的三维姿态，相邻金字塔水平上的视图通过父子关系以树状结构进行连接。
S5，获取虚拟摄像机拍摄的图像及其对应的图像金字塔。
进一步地，根据本发明的一个实施例，获取虚拟摄像机拍摄的图像对应的图像金字塔，包括：识别虚拟摄像机拍摄的图像的目标并产生其图像金字塔，然后计算其相对于相机坐标系的三维位姿。
S6，将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿。
进一步地，根据本发明的一个实施例，将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，可以包括：计算二维匹配模板的最高层的每个位置处与虚拟摄像机拍摄的图像对应的图像金字塔的最高层的相似度，并将相似度超过阈值的二维姿态储存在候选匹配列表中；获取二维匹配模板的下一较低层次的每个位置处与虚拟摄像机拍摄的图像对应的图像金字塔的下一较低层次相似度，并将相似度超过阈值的二维姿态储存在候选匹配列表中，直到追踪到虚拟摄像机拍摄的图像对应的图像金字塔的最底层。
具体地，通过识别单幅相机图像中的三维目标并计算其相对于相机坐标系的三维位姿，并根据三维位姿产生搜索图像的图像金字塔。识别从金字塔最高层开始，旋转和缩放二维匹配模板，然后计算所有二维匹配模板与虚拟摄像机拍摄的图像对应的图像金字塔最高层的相似度，将超出阈值的二维姿态储存在候选匹配列表中，下一个较低层次上，以相同方式进行搜索，直到追踪到金字塔最底层。
被识别物体可能出现视图任意位置，为了确保物体出现在摄像机拍摄的图像位置，可以通过摄像机绕光学中心的旋转改变物体在图像中的位置，具体方法为将摄像机绕X轴和Y轴旋转来完成，通过这种方式在进行二维模板匹配之前进行投影变换，在候选匹配列表中的视图被追踪到图像金字塔下一层时，子视图根据候选匹配位置进行投影校正，使子视图在有限的范围内进行二维匹配，进行相似度测量。
K表示摄像机校准矩阵，
其中，f代表摄像机的焦距，a是像素的长宽比，(Cx，Cy)是摄像机主点位置。
摄像机绕X轴和Y轴的旋转用矩阵R表示，摄像机绕X轴和Y轴旋转的角度α和β可通过以下关系式算出：
旋转矩阵R可由R＝R(α)R(β)计算得到，
经过投影变换的新点可通过以下关系式得到：X′＝KRK-1X，X′为经过投影变换后摄像机图像中的新点，X为未经投影变换的摄像机图像中的点。
通过二维模板匹配，我们可以获得图像中用于二维匹配的二维姿态，包括物体在图像中行和列的坐标r和c，物体在像平面中的旋转角度γ，由它可以得到摄像机关于z轴的三维旋转矩阵，物体均匀缩放系数s。
S7，根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿。
通过搜索图像，可以得到与搜索图像相似度最高的虚拟摄像机的三维位姿(α，β，γ，tx,ty,tz)。
具体地，虚拟摄像机的参数包括内参和外参。
虚拟摄像机的三维位姿可以用一个4*4矩阵Hv来表示，其将物体从参考坐标系转换到相机坐标系中；。
匹配之后，可以通过虚拟摄像机的参数和和二维匹配得到的视图位姿进行计算，具体方法为：根据二维匹配得到的二维匹配位姿对虚拟摄像机位姿进行修正，以使其能够反映出二维匹配姿态。
首先运用缩放系数s对其进行二维缩放，得到缩放位姿H1，
然后进行三维旋转，首先是绕Z轴的旋转，得到旋转后位姿H2，
然后进行X轴和Y轴的三维旋转，绕X轴和Y轴的旋转角度分别为上述的α、β，两个旋转角度可通过将物体在图像中的位置转换到相机三维空间方向P上算出，
K表示摄像机校准矩阵，
r，c为物体在图像中行和列的坐标。
其中
最终的所要识别物体的三维姿态的矩阵为H3，
至此，得到所要识别物体的在相机坐标系中的三维位姿。
S8，根据物体的三维位姿获取机器人的三维位姿。
进一步地，根据本发明的一个实施例，根据物体的三维位姿获取机器人的三维位姿，包括：将物体的三维位姿由相机坐标系转换至机器人基座坐标系中。
具体地，在实际应用中，例如医疗穿刺手术中，为了实现穿刺效果，还需要将识别物体(例如人体表皮标记点)在相机坐标系中的三维位姿(相机坐标系)转换到机器人坐标系中。因此，还需要对摄像机和机器人进行“手眼标定”，穿刺平台摄像机是固定的，故“手眼标定”需要相机坐标系相对于机器人基座坐标系的转换关系，对于固定相机的方式，如图6所示，机器人基坐标系和相机坐标系是静止的，两者之间存在一个固定的转换矩阵，法兰上的工具坐标系和标定板坐标系是移动的，两者之间存在一个固定的转换矩阵。需要求的是相机坐标系和机器人基座坐标系之间的转换矩阵。
图6表达了各个坐标系之间的转换关系，其中，M1可以从机器人示教器或者控制读出，Mx是需要求取的未知矩阵，M3可以从拍摄照片计算出来，M2未知，但是是一个固定的转换矩阵，利用坐标转换，有如下的等式关系：Mx＝M1*M2*M3-1，如果我有许多个这样的等式，利用M2不变，可以构建关于Mx的方程组，解方程组，求得Mx中各个元素的值，在这个过程中我们不必去求M2具体是多少，只是利用了其固定不变这个特性而已。
由此，可将需要识别的三维物体的三维位姿由相机坐标系转换至机器人基座坐标系。该方法可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
本发明上述的机器人的位姿计算方法应用至医疗穿刺机器人时，视觉穿刺平台采用优傲机器人UR3，穿刺平台***工作图如图7所示，它的使用范围可以但不限于包括：
(1)颌面部微创介入手术：经卵圆孔三叉神经半月神经节微创介入手术、经卵圆孔下颌神经微创介入手术、经圆孔上颌神经微创介入手术、翼腭神经节微创介入手术、舌咽神经微创介入手术、茎乳孔穿刺面神经微创介入手术；
(2)脊柱微创介入手术：颈/胸/腰椎背根神经节/神经根微创介入手术、颈/胸/腰椎关节突关节微创介入治疗、颈/胸/腰椎脊神经后内侧支微创介入治疗、颈/胸/腰椎脊柱内镜手术、颈/胸/腰椎椎体成形术、颈/胸/腰/骶椎放射性粒子植入术、骶裂孔穿刺引导、骶后孔穿刺骶神经微创介入手术；
(3)关节腔穿刺：骶髂关节穿刺、肩关节穿刺、膝关节穿刺、髋关节穿刺；
(4)其他慢性疼痛微创介入手术：胸/腰交感神经微创介入手术、***神经微创介入手术、奇神经微创介入手术；腹腔神经丛微创介入手术、内脏大/小神经微创介入手术、骨成形术；
(5)组织穿刺活检；
(6)肿瘤消融手术、肿瘤放射性粒子置入术。
综上，根据本发明实施例的机器人的位姿计算方法，获取所要识别物体的三维CAD模型；建立虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；对分层视图中每层的每个视图投影生成二维匹配模板；获取虚拟摄像机拍摄的图像及其对应的图像金字塔；将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿；根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿；根据物体的三维位姿获取机器人的三维位姿。由此，该方法可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
与上述的机器人的位姿计算方法相对应，本发明还提出一种机器人的位姿计算装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节，可参照上述的方法实施例，本发明中不再进行赘述。
图8是根据本发明一个实施例的机器人的位姿计算装置的方框示意图。如图8所示，该装置包括：第一获取模块1、第二获取模块2、第一合并模块3、第一生成模块4、第三获取模块5、匹配模块6、计算模块7和第四获取模块8。
其中，第一获取模块1用于获取所要识别物体的三维CAD模型；第二获取模块2用于建立虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；第一合并模块3用于根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；第一生成模块4用于对分层视图中每层的每个视图投影生成二维匹配模板；第三获取模块5用于获取虚拟摄像机拍摄的图像及其对应的图像金字塔；匹配模块6用于将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿；计算模块7用于根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿；第四获取模块8用于根据物体的三维位姿获取机器人的三维位姿。
根据本发明实施例的机器人的位姿计算装置，可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
此外，本发明还提出一种机器人，包括本发明上述的机器人的位姿计算装置。
在本发明的一个实施例中，机器人可以为医疗穿刺机器人。
根据本发明实施例的机器人，通过上述的机器人的位姿计算装置，可以用于识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
此外，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的机器人的位姿计算方法。
根据本发明实施例的非临时性计算机可读存储介质，存储在其上的计算机程序被处理器执行时，获取所要识别物体的三维CAD模型，然后，建立虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围，再根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图，然后对分层视图中每层的每个视图投影生成二维匹配模板，再获取虚拟摄像机拍摄的图像及其对应的图像金字塔，将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿，然后根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿，最后根据物体的三维位姿获取机器人的三维位姿，由此可以识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述的机器人的位姿计算方法。
根据本发明实施例的计算机设备，存储在存储器上的计算机程序被处理器运行时，获取所要识别物体的三维CAD模型，然后，建立虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围，再根据位姿范围内对三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图，然后对分层视图中每层的每个视图投影生成二维匹配模板，再获取虚拟摄像机拍摄的图像及其对应的图像金字塔，将虚拟摄像机拍摄的图像对应的图像金字塔与二维匹配模板进行匹配，以获取二维匹配位姿，然后根据虚拟摄像机的参数和和二维匹配位姿计算物体的三维位姿，最后根据物体的三维位姿获取机器人的三维位姿，由此可以识别单幅相机图像中的三维对象，将所要识别物体的CAD模型和虚拟相机拍摄得到的图像进行匹配，从而达到根据单个图像即可可靠地识别物体的三维位姿的目的，进而可以准确地获取物体的三维位姿，且预先计算将摄像机放置在虚拟观察球表面的视图并自动生成分层模型来降低算法的复杂性，算法简单、运行时间短，在短时间内即可识别物体的三维姿态，可以应用于实时识别，且对图像的噪声、杂波和纹理干扰或者当物体的一部分被遮挡时具有鲁棒性，显著提升了工业过程的自动化水平。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种机器人的位姿计算方法，其特征在于，所述机器人包括单幅虚拟摄像机，所述方法包括以下步骤：
获取所要识别物体的三维CAD模型；
建立所述虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；
根据所述位姿范围内对所述三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；
对所述分层视图中每层的每个视图投影生成二维匹配模板；
获取所述虚拟摄像机拍摄的图像及其对应的图像金字塔；
将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，以获取二维匹配位姿；
根据所述虚拟摄像机的参数和和二维匹配位姿计算所述物体的三维位姿；
根据所述物体的三维位姿获取所述机器人的三维位姿。
2.根据权利要求1所述的机器人的位姿计算方法，其特征在于，建立所述虚拟摄像机的虚拟球面视图，包括：
所述物***于球心，所述虚拟摄像机位于球面上，将所述物体投影到虚拟摄像机的像平面上以获取所述虚拟球面视图。
3.根据权利要求1所述的机器人的位姿计算方法，其特征在于，获取所述虚拟摄像机拍摄的图像对应的图像金字塔，包括：
识别所述虚拟摄像机拍摄的图像的目标，产生其图像金字塔，并计算其相对于相机坐标系的三维位姿。
4.根据权利要求1所述的机器人的位姿计算方法，其特征在于，将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，包括：
计算所述二维匹配模板的最高层的每个位置处与虚拟摄像机拍摄的图像对应的图像金字塔的最高层的相似度，并将相似度超过所述阈值的二维姿态储存在候选匹配列表中；
获取所述二维匹配模板的下一较低层次的每个位置处与所述虚拟摄像机拍摄的图像对应的图像金字塔的下一较低层次相似度，并将相似度超过所述阈值的二维姿态储存在候选匹配列表中，直到追踪到虚拟摄像机拍摄的图像对应的图像金字塔的最底层。
5.根据权利要求1所述的机器人的位姿计算方法，其特征在于，根据所述物体的三维位姿获取所述机器人的三维位姿，包括：
将所述物体的三维位姿由相机坐标系转换至机器人基座坐标系中。
6.一种机器人的位姿计算装置，其特征在于，所述机器人包括单幅虚拟摄像机，所述装置包括：
第一获取模块，所述第一获取模块用于获取所要识别物体的三维CAD模型；
第二获取模块，所述第二获取模块用于建立所述虚拟摄像机的虚拟球面视图，并获取虚拟摄像机观测到虚拟球面视图中心物体的位姿范围；
第一合并模块，所述第一合并模块用于根据所述位姿范围内对所述三维CAD模型对应的图像金字塔由底层至最高层的图像进行依次采样，并对相似度超过阈值的图像进行合并，以通过视图树的形式建立分层视图；
第一生成模块，所述第一生成模块用于对所述分层视图中每层的每个视图投影生成二维匹配模板；
第三获取模块，所述第三获取模块用于获取所述虚拟摄像机拍摄的图像及其对应的图像金字塔；
匹配模块，所述匹配模块用于将所述虚拟摄像机拍摄的图像对应的图像金字塔与所述二维匹配模板进行匹配，以获取二维匹配位姿；
计算模块，所述计算模块用于根据所述虚拟摄像机的参数和和二维匹配位姿计算所述物体的三维位姿；
第四获取模块，所述第四获取模块用于根据所述物体的三维位姿获取所述机器人的三维位姿。
7.一种机器人，其特征在于，包括权利要求6所述的机器人的位姿计算装置。
8.根据权利要求7所述的机器人，其特征在于，所述机器人为医疗穿刺机器人。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-5中任一项所述的机器人的位姿计算方法。
10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据权利要求1-5中任一项所述的机器人的位姿计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110257988.XA CN113313766A (zh) | 2021-03-09 | 2021-03-09 | 机器人及其位姿计算方法、位姿计算装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110257988.XA CN113313766A (zh) | 2021-03-09 | 2021-03-09 | 机器人及其位姿计算方法、位姿计算装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313766A true CN113313766A (zh) | 2021-08-27 |
Family
ID=77371865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110257988.XA Pending CN113313766A (zh) | 2021-03-09 | 2021-03-09 | 机器人及其位姿计算方法、位姿计算装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313766A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408931A (zh) * | 2007-10-11 | 2009-04-15 | Mv科技软件有限责任公司 | 用于三维目标识别的***和方法 |
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| CN104596502A (zh) * | 2015-01-23 | 2015-05-06 | 浙江大学 | 一种基于cad模型与单目视觉的物***姿测量方法 |
| CN110660104A (zh) * | 2019-09-29 | 2020-01-07 | 珠海格力电器股份有限公司 | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 |
| CN111079565A (zh) * | 2019-11-27 | 2020-04-28 | 深圳市华汉伟业科技有限公司 | 视图二维姿态模板的构建方法及识别方法、定位抓取*** |
-
2021
- 2021-03-09 CN CN202110257988.XA patent/CN113313766A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408931A (zh) * | 2007-10-11 | 2009-04-15 | Mv科技软件有限责任公司 | 用于三维目标识别的***和方法 |
| CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
| CN104596502A (zh) * | 2015-01-23 | 2015-05-06 | 浙江大学 | 一种基于cad模型与单目视觉的物***姿测量方法 |
| CN110660104A (zh) * | 2019-09-29 | 2020-01-07 | 珠海格力电器股份有限公司 | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 |
| CN111079565A (zh) * | 2019-11-27 | 2020-04-28 | 深圳市华汉伟业科技有限公司 | 视图二维姿态模板的构建方法及识别方法、定位抓取*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fitzpatrick et al. | Image registration | |
| Yao | Assessing accuracy factors in deformable 2D/3D medical image registration using a statistical pelvis model | |
| CN109544606B (zh) | 基于多个Kinect的快速自动配准方法及*** | |
| WO2021104153A1 (en) | Systems and methods for automated calibration | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| Su et al. | Comparison of 3d surgical tool segmentation procedures with robot kinematics prior | |
| CN115619790B (zh) | 一种基于双目定位的混合透视方法、***及设备 | |
| KR101767005B1 (ko) | 표면정합을 이용한 영상정합방법 및 영상정합장치 | |
| Novosad et al. | Three-dimensional (3-D) reconstruction of the spine from a single X-ray image and prior vertebra models | |
| CN113570648B (zh) | 多骨骼影像配准方法、电子装置以及医学导航*** | |
| Dalvand et al. | High speed vision-based 3D reconstruction of continuum robots | |
| Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
| CN113470184A (zh) | 内窥镜增强现实误差补偿方法及装置 | |
| CN113313766A (zh) | 机器人及其位姿计算方法、位姿计算装置 | |
| CN113143459A (zh) | 腹腔镜增强现实手术导航方法、装置及电子设备 | |
| Hwang et al. | 3d pose estimation of catheter band markers based on single-plane fluoroscopy | |
| Zhang et al. | SIFT algorithm-based 3D pose estimation of femur | |
| JP2000020696A (ja) | 医用画像合成装置 | |
| US10832422B2 (en) | Alignment system for liver surgery | |
| CN115880469B (zh) | 一种表面点云数据与三维影像的配准方法 | |
| Prakoonwit | Towards multiple 3d bone surface identification and reconstruction using few 2d x-ray images for intraoperative applications | |
| Huang et al. | Robust skin-feature tracking in free-hand video from smartphone or robot-held camera, to enable clinical-tool localization and guidance | |
| CN117103286B (zh) | 一种机械手手眼标定方法、***和可读存储介质 | |
| EP3444779B1 (en) | Method for determining a registration between a 3d image and a set of at least two 2d images | |
| Çallar et al. | Efficient Body Registration Using Single-View Range Imaging and Generic Shape Templates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |