CN105631161A - 一种虚实模型重合的确定方法与装置 - Google Patents
一种虚实模型重合的确定方法与装置 Download PDFInfo
- Publication number
- CN105631161A CN105631161A CN201610065579.9A CN201610065579A CN105631161A CN 105631161 A CN105631161 A CN 105631161A CN 201610065579 A CN201610065579 A CN 201610065579A CN 105631161 A CN105631161 A CN 105631161A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- point
- model
- dummy
- dummy model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种虚实模型重合的确定方法与装置,所述方法包括:选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。本发明通过普通摄像机获取实体模型的影像,无需高精度摄像机来识别高精度图,并通过选择虚拟模型和实体模型影像中的对应点,只需通过平移和旋转操作,无需借助网络进行处理,即可使虚拟模型上的对应点与实体模型影像很好地融合,处理速度快,实时效果好,从而带来良好的用户体验。
Description
技术领域
本发明涉及计算机仿真领域,具体涉及一种虚实模型重合的确定方法与装置。
背景技术
通过增强现实技术,我们可以将三维模型自动、实时显示在影像上,从而实现实体模型与虚拟模型影像的信息融合。但是,这种方法存在以下明显的缺点:
增强现实技术需要识别图,实时性较差。识别图是指在预先生成识别点的图片,根据这些预存的图片或视频,实现模型的实时生成。然而这种方式处理速度较慢,无法实现较高的实时性,大大影响了用户体验。
增强现实技术需要识别图的精度较高。在实际应用中,增强现实技术要根据摄像机看到的图片进行识别,以生成所需的三维模型。对于这一过程,其要求摄像机看到的图片要与预存储的识别图误差不能太大,否则不能生成三维模型。在实际过程中,摄像机看到的画面可能受光照、角度等因素的限制,与识别图相差较大,从而导致增强现实技术不能正确识别图片,导致无法生成模型。
增强现实技术需要全程联网。以流行的增强现实SDK高通vuforia为例,其识别图需要预先存储到其数据库中,生成识别点后方可用于增强现实技术,这就意味着在使用过程中需要全程联网。当网络条件不佳时,则增强现实技术无法发挥作用。
发明内容
由于增强现实技术在处理虚实模型重合的过程中,需要识别图,实时性较差,要求摄像机能够识别高精度图,且需要较好的网络条件,本发明提出一种虚实模型重合的确定方法与装置。
第一方面,本发明提出一种虚实模型重合的确定方法,包括:
选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
选优地,所述选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点中每个点对应的点包括:
选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
选优地,所述对虚拟模型进行平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,包括:
获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
选优地,所述获取实体模型影像和虚拟模型中每个点对应的坐标,包括:
以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;
根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
选优地,所述对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合,包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上,包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
第二方面,本发明还提出一种虚实模型重合的确定装置,包括:
对应点选择模块,用于选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
模型移动模块,用于对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
选优地,所述选对应点选择模块用于选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
选优地,所述模型移动模块包括:
距离计算单元,用于获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
平移单元,用于对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
旋转单元,用于以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
阈值判断单元,用于计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
选优地,所述距离计算单元用于以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;并根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
选优地,所述平移单元包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述旋转单元包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
由上述技术方案可知,本发明通过普通摄像机获取实体模型的影像,无需高精度摄像机来识别高精度图,并通过选择虚拟模型和实体模型影像中的对应点,只需通过平移和旋转操作,无需借助网络进行处理,即可使虚拟模型上的对应点与实体模型影像很好地融合,处理速度快,实时效果好,从而带来良好的用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种虚实模型重合的确定方法的流程示意图;
图2为本发明一实施例提供的一种虚拟模型移动算法的流程示意图;
图3为本发明一实施例提供的一种辅助心脏搭桥手术的校准点选择的示意图;
图4为本发明一实施例提供的一种辅助心脏搭桥手术的虚实模型重合后的示意图;
图5为本发明一实施例提供的一种虚实模型重合的确定装置的结构示意图。
具体实施方式
下面结合附图,对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种虚实模型重合的确定方法的流程示意图,包括:
S1、选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
S2、对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
本实施例通过普通摄像机获取实体模型的影像,无需高精度摄像机来识别高精度图,并通过选择虚拟模型和实体模型影像中的对应点,只需通过平移和旋转操作,无需借助网络进行处理,即可使虚拟模型上的对应点与实体模型影像很好地融合,处理速度快,实时效果好,从而带来良好的用户体验。
通过选择虚拟模型和实体模型中的对应点,并通过平移和旋转操作,使得虚拟模型上的对应点可以与实体模型的影像很好地融合,并通过微调能够实时快速地控制虚拟模型,从而带来良好的用户体验。
作为本实施例的选优方案,S1包括:
选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
三个点是确定一个三维物***置的最少数目,且选择准确的三个点并使虚实模型的三个对应点重合,则虚实模型也完全重合。采用越少的点,计算速度越快,虚实模型重合的确定方法的实时性越好,用户体验也更好。
具体地,S2包括:
获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
选择对应点距离最大的点进行平移操作,使得每一次平移和旋转后,虚实模型的重合程度更高,达到模型重合要求的速度更快。
进一步地,所述获取实体模型影像和虚拟模型中每个点对应的坐标,包括:
以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;
根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
采用射线检测法,从摄像机中心到鼠标指针处发出一条射线R,从而获得碰撞点P的摄像机坐标系下的坐标,这种坐标获取方法操作简单有效;将其转换为世界坐标是为了计算准确,以避免出现摄像机位置变动后导致的实体模型坐标的问题。
更进一步地,所述对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合,包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上,包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
通过平移矩阵和旋转矩阵,能够快速准确地对虚拟模型进行变换,以使虚实模型更加快速重合。
如图2所示为本实施例提供的一种虚拟模型移动算法的流程示意图,具体包括以下步骤:
A1、设定距离阈值和迭代阈值;
距离阈值表示实体模型影像与虚拟模型对应点之间的距离,当所有对应点之间的距离均小于距离阈值时,则可确定虚实模型重合。
为了避免产生死循环,即无论虚拟模型如何平移和旋转,都无法达到距离阈值的要求,因而设定一个迭代阈值。迭代阈值表示虚拟模型平移和旋转的次数,即图2中循环的次数。
A2、虚拟模型沿向量P2P1平移,使点P1和点P2重合;
根据公式(2)的平移矩阵T进行平移,使点P1和点P2重合。
A3、计算直线P1P3和直线P1P4的夹角;
在点P1和点P2重合后,点P3坐标为(x3,y3,z3),点P4坐标为(x4,y4,z4),则直线P1P3和直线P1P4的夹角α满足以下公式:
由公式(4)可解得夹角sinα和cosα。
A4、虚拟模型以点P1为定点旋转,使点P1、P3和P4在同一直线上;
根据公式(4)计算得到的sinα和cosα,可得到公式(3)的旋转矩阵M。根据旋转矩阵M对虚拟模型进行旋转操作。此时,三组对应点基本重合。
A5、计算线段P3P4和P5P6的距离,选择两者距离大的线段对应的点为P1和P2,距离小的线段对应的点为P3和P4;
A6、判断线段P1P2和线段P3P4的长度是否小于距离阈值,或者循环次数大于迭代阈值,如果是,则确定虚实模型重合,否则进行平移和旋转。
本实施例具有如下优点:确定速度快:通过三个对应的确定点即可将虚拟模型与实体模型影像相对应,省去了图像识别这一计算量庞大的过程;操作简便:用户仅需选取三对对应点即可实现虚拟模型与实体模型影像的对应,无需对高精度图进行一系列处理,简化了操作;无需联网:与增强现实技术相比,本***采用对应点的方式对虚拟模型和实体模型影像进行融合,无需联网查找图片上的识别点。
以复杂工件的质量检测为例,描述一种虚实模型重合的确定方法的具体实施例。当前对复杂工件的质量检测,虽然能够借助计算机进行精密的计算,但是仍然无法完全脱离人为干预,尤其在进行实际工件和三维虚拟工件模型重合时,需要人为干预,否则运用增强现实技术进行重合时,往往需要耗费大量的计算时间。
本实施例具体包括以下步骤:
B1、三维数据导入:以按比例构建的三维虚拟工件模型作为输入数据,导入到***中;
B2、校准点选取:选取三维虚拟工件模型上的三个校准点,再选取影像上的三个校准点,两组校准点分别对应工件的相同位置。
B3、虚拟模型移动:采用射线检测法获取六个校准点的摄像机坐标系中的坐标,采用公式坐标变换公式(1)得到六个校准点的世界坐标,运用图2所示的虚拟模型移动算法,得到复杂工件质量检测时的虚实模型重合图。
在虚拟模型移动算法运行过程中,可对模型和摄像机进行调整。模型微调:在两个对应平面近似重合后,为了得到更好的重合效果,用户可自行手动对模型的姿态进行微调;调整观察角度:在模型与影像重合后,用户可自行调整摄像机的观察角度,以便更好地观察模型与影像。
本实施例利用三维技术进行复杂工件的质量检测,可根据质量检测人员选取的校准点,将工件影像和三维虚拟工件模型融合显示,使模型上的校准点与实际的校准点融合,从而更加清晰地分析和检测复杂工件的质量,大大提升了检测效率。
另外,本方法也可应用到冠脉搭桥手术中,如图3中,左图为进行心脏搭桥手术时由摄影机实时拍摄的心脏图,右图为三维的心脏虚拟模型图,图4示出了虚拟的心脏模型与摄像机拍摄的实际心脏完全重合的图像,通过将术中心脏影像和虚拟心脏模型融合显示,使模型上的病灶点与实际的病灶点融合,从而使医生更加清晰地分析、判断搭桥路径,大大提升了手术效率。
图5示出了本实施例提供的一种虚实模型重合的确定装置的结构示意图,包括:
对应点选择模块11,用于选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
模型移动模块12,用于对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
本实施例通过普通摄像机获取实体模型的影像,无需高精度摄像机来识别高精度图,并通过选择虚拟模型和实体模型影像中的对应点,只需通过平移和旋转操作,无需借助网络进行处理,即可使虚拟模型上的对应点与实体模型影像很好地融合,处理速度快,实时效果好,从而带来良好的用户体验。作为本实施例的选优方案,所述选对应点选择模块11用于选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
具体地,所述模型移动模块12包括:
距离计算单元,用于获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
平移单元,用于对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
旋转单元,用于以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
阈值判断单元,用于计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
选择对应点距离最大的点进行平移操作,使得每一次平移和旋转后,虚实模型的重合程度更高,达到模型重合要求的速度更快。
进一步地,所述距离计算单元用于以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;并根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
采用射线检测法,从摄像机中心到鼠标指针处发出一条射线R,从而获得碰撞点P的摄像机坐标系下的坐标,这种坐标获取方法操作简单有效;将其转换为世界坐标是为了计算准确,以避免出现摄像机位置变动后导致的实体模型坐标的问题。
更进一步地,所述平移单元包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述旋转单元包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
通过平移矩阵和旋转矩阵,能够快速准确地对虚拟模型进行变换,以使虚实模型更加快速重合。
本实施例具有如下优点:确定速度快:通过三个对应的确定点即可将虚拟模型与实体模型影像相对应,省去了图像识别这一计算量庞大的过程;操作简便:用户仅需选取三对对应点即可实现虚拟模型与实体模型影像的对应,无需对高精度图进行一系列处理,简化了操作;无需联网:与增强现实技术相比,本***采用对应点的方式对虚拟模型和实体模型影像进行融合,无需联网查找图片上的识别点。
本发明的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
Claims (10)
1.一种虚实模型重合的确定方法,其特征在于,包括:
选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
2.根据权利要求1所述的方法,其特征在于,所述选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点中每个点对应的点包括:
选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
3.根据权利要求2所述的方法,其特征在于,所述对虚拟模型进行平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,包括:
获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型影像中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
4.根据权利要求3所述的方法,其特征在于,所述获取实体模型影像和虚拟模型中每个点对应的坐标,包括:
以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;
根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
5.根据权利要求4所述的方法,其特征在于,所述对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合,包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上,包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
6.一种虚实模型重合的确定装置,其特征在于,包括:
对应点选择模块,用于选择实体模型表面的至少三个点,并在虚拟模型中选择与所述至少三个点对应相同位置的点,同时获取实体模型的影像;
模型移动模块,用于对虚拟模型进行若干次平移和旋转操作,如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合。
7.根据权利要求6所述的装置,其特征在于,所述选对应点选择模块用于选择实体模型表面的三个点,并在虚拟模型中选择与所述三个点对应相同位置的点。
8.根据权利要求7所述的装置,其特征在于,所述模型移动模块包括:
距离计算单元,用于获取实体模型影像和虚拟模型中每个点对应的坐标,计算三组对应坐标之间的距离,并选择最大距离对应的两个坐标,记为第一坐标和第二坐标;选择次大距离对应的两个坐标,记为第三坐标和第四坐标;
平移单元,用于对虚拟模型进行平移,以使所述第二坐标和所述第一坐标重合;
旋转单元,用于以所述第一坐标为定点旋转虚拟模型,以使所述第一坐标、所述第三坐标和所述第四坐标在同一直线上;
阈值判断单元,用于计算三组对应坐标之间的距离;如果实体模型影像中的每个点与虚拟模型中对应的点的距离均小于第一阈值或平移次数大于第二阈值,则确定虚实模型重合,否则继续选择最大距离对应的两个坐标和次大距离对应的两个坐标进行平移和旋转;
其中,第一坐标和第三坐标为实体模型中的点对应的坐标,第二坐标和第四坐标为虚拟模型中的点对应的坐标。
9.根据权利要求8所述的装置,其特征在于,所述距离计算单元用于以摄像机中心为原点,获取实体模型影像和虚拟模型中每个点对应的摄像机坐标系中的坐标;并根据坐标变换公式,计算得到实体模型影像和虚拟模型中每个点对应的世界坐标,所述坐标变换公式为:
其中,P为实体模型影像或虚拟模型中的一点,P点在摄像机坐标系中的坐标为(xp’,yp’,zp’),P点的世界坐标为(xp,yp,zp),R为3×3的正交单位矩阵,t为三维平移向量,0为零向量,M1为变换矩阵。
10.根据权利要求9所述的装置,其特征在于,所述平移单元包括:
平移矩阵T为:
其中,所述第一坐标为P1(x1,y1,z1),所述第二坐标为P2(x2,y2,z2);
所述旋转单元包括:
旋转矩阵M为:
其中,α为直线P1P3和直线P1P4旋转之前的夹角,P3为旋转之前第三坐标对应的点,P4为旋转之前第四坐标对应的点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610065579.9A CN105631161B (zh) | 2016-01-29 | 2016-01-29 | 一种虚实模型重合的确定方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610065579.9A CN105631161B (zh) | 2016-01-29 | 2016-01-29 | 一种虚实模型重合的确定方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105631161A true CN105631161A (zh) | 2016-06-01 |
CN105631161B CN105631161B (zh) | 2018-11-20 |
Family
ID=56046090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610065579.9A Active CN105631161B (zh) | 2016-01-29 | 2016-01-29 | 一种虚实模型重合的确定方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105631161B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107693117A (zh) * | 2017-09-29 | 2018-02-16 | 黑龙江蓝智科技有限公司 | 增强现实辅助手术***及将3d模型与手术患者进行自动重合匹配的方法 |
CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程***及方法 |
CN108564612A (zh) * | 2018-03-26 | 2018-09-21 | 广东欧珀移动通信有限公司 | 模型显示方法、装置、存储介质及电子设备 |
CN110852223A (zh) * | 2019-10-31 | 2020-02-28 | 塔普翊海(上海)智能科技有限公司 | 位姿匹配模型的强化学习方法、装置、及位姿匹配方法 |
CN111141217A (zh) * | 2020-04-03 | 2020-05-12 | 广东博智林机器人有限公司 | 物体测量方法、装置、终端设备及计算机存储介质 |
CN116158846A (zh) * | 2023-03-13 | 2023-05-26 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种用于复杂心律失常的整体心脏三维标测方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005038394A1 (en) * | 2003-10-21 | 2005-04-28 | National University Of Singapore | Refinements to the rational polynomial coefficient camera model |
US20100034484A1 (en) * | 2008-08-09 | 2010-02-11 | Keyence Corporation | Pattern Model Positioning Method In Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
CN102880737A (zh) * | 2012-07-30 | 2013-01-16 | 北京信息科技大学 | 基于柔性装配中的工件配准方法及*** |
CN104715479A (zh) * | 2015-03-06 | 2015-06-17 | 上海交通大学 | 基于增强虚拟的场景复现检测方法 |
-
2016
- 2016-01-29 CN CN201610065579.9A patent/CN105631161B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005038394A1 (en) * | 2003-10-21 | 2005-04-28 | National University Of Singapore | Refinements to the rational polynomial coefficient camera model |
US20100034484A1 (en) * | 2008-08-09 | 2010-02-11 | Keyence Corporation | Pattern Model Positioning Method In Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
CN102880737A (zh) * | 2012-07-30 | 2013-01-16 | 北京信息科技大学 | 基于柔性装配中的工件配准方法及*** |
CN104715479A (zh) * | 2015-03-06 | 2015-06-17 | 上海交通大学 | 基于增强虚拟的场景复现检测方法 |
Non-Patent Citations (1)
Title |
---|
袁亮: ""三维重建过程中的点云数据配准算法的研究"", 《万方数据》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107693117A (zh) * | 2017-09-29 | 2018-02-16 | 黑龙江蓝智科技有限公司 | 增强现实辅助手术***及将3d模型与手术患者进行自动重合匹配的方法 |
CN107693117B (zh) * | 2017-09-29 | 2020-06-12 | 苏州蓝软智能医疗科技有限公司 | 辅助手术***及3d模型与手术患者自动重合匹配的方法 |
CN108481323A (zh) * | 2018-03-14 | 2018-09-04 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程***及方法 |
CN108481323B (zh) * | 2018-03-14 | 2021-04-27 | 清华大学天津高端装备研究院洛阳先进制造产业研发基地 | 基于增强现实的机器人运动轨迹自动编程***及方法 |
CN108564612A (zh) * | 2018-03-26 | 2018-09-21 | 广东欧珀移动通信有限公司 | 模型显示方法、装置、存储介质及电子设备 |
CN110852223A (zh) * | 2019-10-31 | 2020-02-28 | 塔普翊海(上海)智能科技有限公司 | 位姿匹配模型的强化学习方法、装置、及位姿匹配方法 |
CN110852223B (zh) * | 2019-10-31 | 2023-05-30 | 塔普翊海(上海)智能科技有限公司 | 位姿匹配模型的强化学习方法、装置、及位姿匹配方法 |
CN111141217A (zh) * | 2020-04-03 | 2020-05-12 | 广东博智林机器人有限公司 | 物体测量方法、装置、终端设备及计算机存储介质 |
CN116158846A (zh) * | 2023-03-13 | 2023-05-26 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种用于复杂心律失常的整体心脏三维标测方法及*** |
CN116158846B (zh) * | 2023-03-13 | 2024-05-14 | 天津市鹰泰利安康医疗科技有限责任公司 | 一种用于复杂心律失常的整体心脏三维标测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN105631161B (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105631161A (zh) | 一种虚实模型重合的确定方法与装置 | |
US10147192B2 (en) | Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination | |
CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
CN109712172A (zh) | 一种初始位姿测量结合目标追踪的位姿测量方法 | |
CN108955718A (zh) | 一种视觉里程计及其定位方法、机器人以及存储介质 | |
CN106780609B (zh) | 视觉定位方法和视觉定位装置 | |
Labbé et al. | Single-view robot pose and joint angle estimation via render & compare | |
WO2021238171A1 (zh) | 图像配准方法及其相关的模型训练方法、设备、装置 | |
CN101099673A (zh) | 采用红外反光球为标志点的手术器械定位方法 | |
CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
CN105574812A (zh) | 多角度三维数据配准方法及装置 | |
CN112603542B (zh) | 手眼标定方法、装置、电子设备和存储介质 | |
CN109613974B (zh) | 一种大场景下的ar家居体验方法 | |
CN108921889A (zh) | 一种基于扩增现实应用的室内三维定位方法 | |
Zhao et al. | A flexible method combining camera calibration and hand–eye calibration | |
TW202006668A (zh) | 空間座標轉換伺服器以及方法 | |
CN113393524A (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN109345581A (zh) | 基于多目相机的增强现实方法、装置及*** | |
CN106096516A (zh) | 一种三维目标跟踪的方法及装置 | |
Sylos Labini et al. | Depth-awareness in a system for mixed-reality aided surgical procedures | |
Lim et al. | Camera-based hand tracking using a mirror-based multi-view setup | |
Zhang et al. | A visual-inertial dynamic object tracking SLAM tightly coupled system | |
Li et al. | A flexible technique to select objects via convolutional neural network in VR space | |
Noborio et al. | Experimental results of 2D depth-depth matching algorithm based on depth camera Kinect v1 | |
CN110428457A (zh) | 一种视觉定位中的点集仿射变换算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |