CN216535498U - 一种基于物体在空间中的定位装置 - Google Patents

Abstract

本实用新型公开了一种基于物体在空间中的定位装置，包括：支撑部，所述支撑部上设置有特征部和限位部；其中，所述特征部包括连接机构和展示板，所述连接机构与支撑部相连接，所述展示板上设置有用于拍摄和识别的光学特征件；所述限位部设置于特征部一侧，用于对待定位物体进行限位和空间定位。能够对特定场景下的物体，通过在同一场景下使用具有不同误差特性的物体的识别特性，能够使得两位物体达到特定的角度和位置关系，进而通过二者对应物体的空间关联，对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。

Description

一种基于物体在空间中的定位装置

技术领域

本实用新型涉及图像处理技术领域，尤其涉及一种基于物体在空间中的定位装置。

背景技术

增强现实技术，通常通过摄像头捕获到现实场景的图像，需要对捕获到的现实场景图像进行分析处理，并在现实场景的基础上叠加显示附加的信息给用户，即对现实的增强。对现实场景的图像进行分析处理的过程，往往包括对场景中物体的定位。在某些特定需求下，对场景中的物体定位的精度要求极高，现有技术对场景中物体定位的准确度不能满足需求。

举例来说，增强现实技术应用于手术导航场景，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能确保向用户提供准确的导航信息。如基于增强现实技术的穿刺导航，可以用最简单方便，易学易用的设备实现快速精准的手术导航。而在整个流程中，精准导航的核心之一：基于可见光图案的精准手术器械空间定位，及虚拟器官与真实人体的配准，但是在定位之前，如何进行快速的定位匹配和校正是十分重要的，在具体的手术中，需要先进行手术器械与拍摄装置的定位校准，才能保证后面的整个导航过程中的导航位置的精准，进而才能保证后期的增强现显示的精准。对于手术器械与拍摄装置的定位校准，需要依赖于对待定位物体上的可识别图***空间定位。而由于器械设计所限，不同尺寸形状的可识别图案，因其自身图案特征点空间分布的固有规律或其生产过程的特点，所特有的空间定位准确度也不尽相同，所以对手术器械的定位十分不方便。

实用新型内容

针对上述缺陷或不足，本实用新型的目的在于提供一种基于物体在空间中的定位装置。

为达到以上目的，本实用新型的技术方案为：

一种基于物体在空间中的定位装置，包括：支撑部，以及设置于所述支撑部上的特征部和限位部；

其中，所述特征部包括展示板，所述展示板与所述支撑部相连接，所述展示板上设置有用于被拍摄和识别的光学特征件；

所述限位部设置为对待定位物体进行限位。

所述特征部还包括连接机构，所述展示板通过所述连接机构与所述支撑部相连接。

所述连接机构包括铰链机构，所述展示板通过铰链机构可翻转安装于支撑部上。

所述光学特征件包括用于被光学识别的特定图形、结构、颜色之一或任意组合。

所述光学特征件为贴设或印刷于展示板上的图案，所述图案为二维码。

所述限位部设置于特征部一侧，当待定位物体被移动到预定位置，所述限位部对待定位物体进行限位，与待定位物体形成特定的空间位置关系。

所述限位部为可拆卸结构，可安装于特征部一侧或进行更换。

所述限位部为柱形结构，所述柱形结构上开设有定位槽，所述定位槽上水平开设有水平α角开口。

沿所述柱形结构的中轴线设置有用于对待定位物体进行限位的通孔或盲孔。

所述展示板上设置有用于对光学特征件进行遮挡的遮挡件。

所述待定位物体为手术器械。

所述待定位物体为穿刺针。

与现有技术比较，本实用新型的有益效果为：

本实用新型提供了一种基于物体在空间中的定位装置，能够对特定场景下的物体，通过在同一场景下使用具有不同误差特性的物体的识别特性，能够使得两位物体达到特定的角度和位置关系，进而通过二者对应物体的空间关联，对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，该装置和方法能够在多种场合中进行应用，比如手术过程中的医疗器械操作的定位、教学模拟操作中的应用以及游戏活动过程中的用于等，精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。

附图说明

图1是本实用新型基于物体在空间中的定位装置示意图一；

图2是本实用新型基于物体在空间中的定位装置示意图二；

图3是本实用新型基于物体在空间中的定位装置示意图三；

图4是本实用新型定位方法流程图；

图5是本实用新型具体实施方式中的实施方案示例图；

图6是本实用新型互校准示意图。

具体实施方式

下面将结合附图对本实用新型做详细描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型的保护范围。

实施例1

在进行精准的操作场景中，很多时候需要获取准确地确定物体的实际位置与图像中的位置，在某些特定需求下，对场景中的物体定位的精度要求极高，比如医疗过程中，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能够确保向用户提供准确的导航信息。基于该要求，本实用新型提供了一种基于校正物体在空间中位置的增强现实方法，能够应用于手术实施场景，也可以是应用于模拟教学过程中的操作场景、也可以应用于游戏过程中的定位。

以手术实施场景为例，本实用新型为用户提供针对对象体内的手术器械的定位。其中，用户是整个体内导航过程的观察者，其也是将器械探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。器械可以是任意可探入对象体内的工具。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。优选地，所述定位装置为手术场景中的固定物；所述待定位物体为手术场景中的医疗器械。

如图1所示，本实用新型提供了一种基于物体在空间中的定位装置，包括：支撑部1，以及设置于所述支撑部1上的特征部2和限位部3；

其中，所述特征部2包括展示板22，所述展示板22与所述支撑部1相连接，所述展示板22上设置有用于被拍摄和识别的光学特征件221；

所述限位部3设置于特征2部一侧，用于对待定位物体进行限位。

优选地，本实用新型中，所述特征部2还包括连接机构21，所述展示板 22通过所述连接机构21与所述支撑部1相连接。展示板22过连接机构21 可翻转安装于支撑部1上，所述连接机构21可以设置为铰链结构，能够与支撑部1翻转连接或者通过铰接件铰接连接，当需要对展示板22进行角度调整时，通过连接机构21的转动，实现翻转调整，达到适合拍摄的最佳角度。

进一步地，如图2所示，所述展示板22上设置有用于对光学特征件进行遮挡的遮挡件222。遮挡件222可以为上下开合及左右开合挡板，可以在识别平面状识别物时打开，在识别针状识别物时遮挡住平面识别物。

所述光学特征件221包括用于被识别的特定图形、结构、颜色之一或任意组合。所述图案、图形、结构或二维码可以为通过印刷过程设置于定位装置上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现快速空间校准。示例性的，本实用新型中，所述光学特征件为贴设或印刷于展示板22上的图案，所述图案为二维码。拍摄装置识别到二维码，根据二维码图案上的许多个特征点位置信息计算出该物体的位置空间信息。该空间位置信息包括定位装置的空间坐标、摆放形态中的一种或几种，能够对固定的定位装置进行空间位置的具体定位。

本实用新型中，所述限位部3为可拆卸结构，可安装于特征部一侧或进行更换。比如，为根据不同的灭菌/消毒需求，限位部3可以与整体结构分离。这样整体结构可以反复使用，并仅需消毒。而会接触无菌的手术器械的限位部3可以是经过灭菌处理的一次性使用部件。在使用现场，再将结构3与整体结构组合后使用，提高了手术使用时的安全性。另外，本实用新型中，所述限位部设置于特征部一侧，当对待定位物体移动到预定位置，所述限位部对待定位物体进行限位，与待定位物体形成特定的空间位置关系。对于手术过程中的应用场景，拍摄装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。

所述待定位物体为手术器械，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。如图2所示，以穿刺针为例，穿刺针的针尖移动，当穿刺针的针尖移动到限位部，使所述针尖与所述定位装置形成特定的空间位置关系便于进行定位，根据限位部的位置信息对针尖进行位置信息校正。

示例性的，如图3所示，所述限位部3为柱形结构，柱形结构顶端开设有用于定位的定位槽31，所述定位槽31上水平开设有水平α角开口。手持针体，使针尖点中定位槽的开口时，此结构可以保证手持针体从垂直到水平这90度范围，水平α角范围内移动时，针尖不会从平面内滑脱。另一种实施例中，沿所述柱形结构的中轴线设置有通孔或盲孔，使通孔或盲孔适配于容纳穿刺针***放置，即可实现对针体所处直线的限位。

实施例2

如图4所示，一种基于物体在空间中的定位方法，包括：

S1、捕获在空间中的定位装置图像，并识别定位装置图像中的定位装置识别特性，得到定位装置空间位置信息；

为了能够对待定位物体进行定位校准，首先获取一个固定的物体的具体的空间位置信息，该空间位置信息至少包括定位装置空间坐标和/或定位装朝向，能够对固定的定位装置进行空间位置的具体定位。

本实施例中，所述定位装置识别特性至少包括定位装置本体形态特性和 /或定位装置标记识别特性。所述定位装置本体形态特性至少包括定位装置本体的结构、形态或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本实用新型可以固定设置一个形状固定的物体，在进行校准前，先识别定位装置的结构和形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该定位装置进行定位识别，获取手术定位装置的准确空间位置信息。

另外，本实用新型中，所述定位装置标记识别特性至少包括定位装置上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于定位装置上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。

示例性的，本实用新型中，可以使用印刷有二维码的矩形信息板，用于捕获定位装置图像的设备为能够进行图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将拍摄装置佩戴于身体上，例如头部。可选地，拍摄装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。通过拍摄装置获取定位装置图像，识别定位装置标记识别特性，根据定位装置标记识别特性获取定位装置本体形态特性，得到定位装置朝向在xyz空间坐标系中的位置，其中，z坐标表示沿延摄像头拍摄的深度方向上的坐标，x、 y坐标是垂直于z坐标轴方向的坐标，对定位装置设置当前定位装置空间坐标记为X1、Y1、Z1。

S2、当待定位物体处于空间预设位置时，捕获所述待定位物体在空间中的待定位物体图像，并识别所述待定位物体图像中的待定位物体识别特性，得到待定位物体空间位置信息；

在进行具体的手术场景中，需要使用器械进行操作，本实用新型中所述待定位物体为移动的器械，所述待定位物体空间位置信息包括待定位物体的空间坐标和/或待定位物体朝向。

所述待定位物体识别特性至少包括待定位物体本体形态特性和/或待定位物体标记识别特性；所述待定位物体本体形态特性至少包括待定位物体本体的结构、形态、或颜色；所述待定位物体标记识别特性至少包括待定位物体上设置的图案、图形或二维码。

二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。

可选地，待定位物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。

可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。

示例性的，本实用新型中待定位物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。

当待定位物体处于空间预设位置，捕获待定位物体在空间中的待定位物体图像时具体包括：

所述定位装置固定设置在空间中，所述待定位物体为移动物体，当所述待定位物体移动到空间预设位置，则捕获待定位物体在空间中的待定位物体图像。该过程所述空间预设位置可以设置为待定位物体移动到与定位装置的预设位置重合。或者，根据实际操作的需要，当待定位物体的某一位置到达固定位置或者完成规定动作进行定位。

具体包括：所述定位装置固定设置在空间中，所述待定位物体为移动物体，当所述待定位物体移动到空间预设位置，则根据待定位物体标记识别特性识别所述待定位物体，得到待定位物体朝向，对待定位物体设置当前的待定位物体空间坐标，记为X2、Y2、Z2。所述空间预设位置为待定位物体与定位装置上的预设的相关联的点、线、或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。

示例性的，信息板作为定位装置，穿刺针是待定位物体，当用户手持穿刺针使针尖B点与信息板的A点重合时，对两个物体的位置定位，并且相互校准。结合本实用新型的实施例1，参照图1、图3，当穿刺针的针尖或针体在定位装置的限位部3的限位之下时，即针尖位于定位槽31处，或针体置于限位部的通孔或盲孔中时，对穿刺针和定位装置的位置定位并且相互校准。

S3、根据定位装置空间位置信息以及空间预设位置，对待定位物体空间位置信息进行校正；和/或根据待定位物体空间位置信息，对定位装置空间位置信息进行校正；

该过程可以是两个过程，根据实际的情况，对两个物体进行相对的校正，比如根据定位装置空间位置信息以及空间预设位置，计算待定位物体理论位置信息；

根据待定位物体理论位置信息，对待定位物体的空间位置信息进行校正；

和/或根据待定位物体空间位置信息以及空间预设位置，计算定位装置理论位置信息；

根据定位装置理论位置信息，对定位装置的空间位置信息进行校正。

举例说明，如图5所示，根据拍摄的定位装置的图像，计算该物体在空间中的位置信息，此时A点的坐标是通过拍摄到的定位装置的特征(主要是面板上的图案特征)计算得到的；

当医生手持待定位物体(穿刺针)将针尖B点放置在定位装置的A点，此时根据识别穿刺针末端设置的易于识别的特征，可以计算穿刺针的针尖B 点的坐标；

已知此时A、B两点是重合的，但通过步骤1和步骤2分别得到的A、B 两点的坐标未必相同。根据两个物体的空间几何特征可知，定位装置上A点的x，y坐标的精确度高但Z坐标的精确度相对较低，而待定位物体(穿刺针) 上B点的z坐标精确度相对较高，所以根据定位装置的X1、Y1坐标校正待定位物体的X2、Y2坐标，用待定位物体的Z2坐标校正定位装置的Z1坐标。则两个结构在数据库内的对应位置做如下调整：

X2＝X1；Y2＝Y1；Z1＝Z2；

具体的互校准方法由以下2个部分组成，互校准示意图如图5所示：

(1)通过人工事先确定出针尖点在针识别物坐标系下的坐标。

(2)在识别板上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)。通过设计定位装置模体，要确定出标定点在定位装置坐标系下的坐标p_Q。标定时，将识别针***孔洞内，并保证针尖点位于标定点处。根据标定点在摄像机坐标系下的坐标保持不变的特点，通过坐标转换，可知以下关系，此时标定点在针尖坐标系下有以下2 个表达式：T_C←Qp_Q＝T_C←Np_N

此时标定点在针尖坐标系下有以下2个表达式：

(a)由针识别物识别出并经人工点标定直接确定的待定位物体的坐标系：

(b)由定位装置(识别板)识别出并经坐标转换得到的待定位物体的坐标系：

上述2个坐标均是标定点在针识别物坐标系下的表示。假设z坐标分量采用表达式(a)更准确，x、y坐标分量采用表达式(b)更准确，那么互校准后的结果为

其中，C：摄像机坐标系

Q：定位装置坐标系

N：穿刺针坐标系

T_B←A：表示从坐标系A到坐标系B的坐标转换矩阵

p_A：坐标系A中的点p

v_A：坐标系A中的向量v

定位装置点标定方法，摄像机识别出定位装置和穿刺针，即可得到T_C←Q和 T_C←N。将穿刺针针尖放置于识别板上一固定点p。从识别板的加工模型可以确定出该固定点在识别板坐标系下的坐标，即p_Q。根据该点在摄像机坐标系下坐标不变的特点，可得下述坐标关系：

T_C←Qp_Q＝T_C←Np_N

因此得到该点在穿刺针坐标系下的坐标，即

另外，本实用新型也可是用过方向标定进行校准，具体包括：

互校准方法由以下2个部分组成，互校准示意图如图6所示：

(1)通过人工事先确定出穿刺针在针识别物坐标系下的方向向量v_N。

(2)在定位装置上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)，孔洞方向称为标定方向 (Calibration Direction)。通过设计定位装置模体，要确定出该孔洞方向在定位装置坐标系下的方向向量v_Q。标定时，将识别针***孔洞内，并保证针尖点位于标定点处。根据标定方向在摄像机坐标系下的方向保持不变的特点，通过坐标转换，可知以下关系：

T_C←Qv_Q＝T_C←Nv_N

此时标定方向在针尖坐标系下有2个表达式：

(a)由针识别物识别出并经人工方向标定直接确定的待定位物体的方向向量：

(b)由识别板识别出并经坐标转换得到的待定位物体的方向向量：

上述2个向量均是标定方向在针识别物坐标系下的表示。假设w坐标分量采用表达式(a)更准确，u、v坐标分量采用表达式(b)更准确，那么互校准后的结果为

定位装置方向标定方法。摄像机识别出定位板和穿刺针，即可得到T_C←Q和 T_C←N。将穿刺针针尖***识别板上一固定孔洞内。从识别板的加工模型可以确定出该孔洞在识别板坐标系下的方向向量，即v_Q。由该方向向量在摄像机坐标系下方向不变，可得下述转换关系

T_C←Qv_Q＝T_C←Nv_N

因此得到该方向向量在穿刺针坐标系下的表示，即

经过方向标定后，摄像机实时识别针识别物时，可按下述公式实时计算针尖方向：

v_C＝T_C←Nv_N

其中，T_C←N由摄像机识别针识别物后给出，v_N为采用互校准或定位装置方向标定计算后的标定结果。

在一种实施例中，该拍摄装置实时采集对象以及器械的视频。用户可以观该视频，在该视频中不仅显示拍摄装置所采集的对象和器械的表面部分，而且还在对应位置三维地显示实际不可见的对象的体内器官、病变以及器械在对象体内的部分。换言之，在视频中，将实际不可见的体内器官、病变以及器械位于体内的部分与人体及实际器械对准，从而指引用户在类似于真实环境的虚拟场景图像以及操作器械的位置。

本实用新型中能够根据定位装置和待定位物体进行识别，在同一场景下使用具有不同误差特性的光学识别物，通过二者对应物体的空间关联，实现单方或双方的光学定位精度提高。针对不同误差特征的识别物，将与之有空间关联性的器械通过几何结构的匹配，确定不同识别图案在同一空间中坐标的关联性。通过利用已知的可信数值，实现对不同识别图案空间识别位置的校准。

对于本领域技术人员而言，显然能了解到上述具体事实例只是本实用新型的优选方案，因此本领域的技术人员对本实用新型中的某些部分所可能作出的改进、变动，体现的仍是本实用新型的原理，实现的仍是本实用新型的目的，均属于本实用新型所保护的范围。

Claims (11)

1.一种基于物体在空间中的定位装置，其特征在于，包括：支撑部，以及设置于所述支撑部上的特征部和限位部；

其中，所述特征部包括展示板，所述展示板与所述支撑部相连接，所述展示板上设置有用于被拍摄和识别的光学特征件；

所述限位部设置为对待定位物体进行限位；

所述待定位物体为手术器械。

2.根据权利要求1所述的基于物体在空间中的定位装置，其特征在于，所述特征部还包括连接机构，所述展示板通过所述连接机构与所述支撑部相连接。

3.根据权利要求2所述的基于物体在空间中的定位装置，其特征在于，所述连接机构包括铰链机构，所述展示板通过铰链机构可翻转安装于支撑部上。

4.根据权利要求1所述的基于物体在空间中的定位装置，其特征在于，所述光学特征件包括用于被识别的特定图形、结构、颜色之一或任意组合。

5.根据权利要求3所述的基于物体在空间中的定位装置，其特征在于，所述光学特征件为贴设或印刷于展示板上的图案，所述图案为二维码。

6.根据权利要求1所述的基于物体在空间中的定位装置，其特征在于，所述限位部设置于特征部一侧，当待定位物体被移动到预定位置，所述限位部对待定位物体进行限位，与待定位物体形成特定的空间位置关系。

7.根据权利要求1或6所述的基于物体在空间中的定位装置，其特征在于，所述限位部为可拆卸结构，可安装于特征部一侧或进行更换。

8.根据权利要求1或6所述的基于物体在空间中的定位装置，其特征在于，所述限位部为柱形结构，所述柱形结构上开设有定位槽，所述定位槽上水平开设有水平α角开口。

9.根据权利要求8所述的基于物体在空间中的定位装置，其特征在于，沿所述柱形结构的中轴线设置有用于对待定位物体进行限位的通孔或盲孔。

10.根据权利要求1所述的基于物体在空间中的定位装置，其特征在于，所述展示板上设置有用于对光学特征件进行遮挡的遮挡件。

11.根据权利要求1-6、9-10任一项权利要求所述的基于物体在空间中的定位装置，其特征在于，所述待定位物体为穿刺针。

Images