CN113712665B - 基于定位标志物的定位方法、装置及计算机存储介质 - Google Patents

基于定位标志物的定位方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN113712665B
CN113712665B CN202111280102.XA CN202111280102A CN113712665B CN 113712665 B CN113712665 B CN 113712665B CN 202111280102 A CN202111280102 A CN 202111280102A CN 113712665 B CN113712665 B CN 113712665B
Authority
CN
China
Prior art keywords
positioning
target
code
marker
localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111280102.XA
Other languages
English (en)
Other versions
CN113712665A (zh
Inventor
白汝乐
赵英含
徐颢
倪自强
赵海霞
田庆
谢永召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baihui Weikang Technology Co Ltd
Original Assignee
Beijing Baihui Weikang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baihui Weikang Technology Co Ltd filed Critical Beijing Baihui Weikang Technology Co Ltd
Priority to CN202111280102.XA priority Critical patent/CN113712665B/zh
Publication of CN113712665A publication Critical patent/CN113712665A/zh
Application granted granted Critical
Publication of CN113712665B publication Critical patent/CN113712665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/06—Implements for therapeutic treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C3/00—Dental tools or instruments
    • A61C3/02—Tooth drilling or cutting instruments; Instruments acting like a sandblast machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electromagnetism (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Toxicology (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于定位标志物的定位方法、装置及计算机存储介质，主要包括采集定位标志物上的参考定位标识，获取至少两个目标图像；根据参考定位标识，识别各目标图像中的目标定位标识；根据目标定位标识在各目标图像中的位置和参考定位标识在定位标志物上的位置，确定定位标志物的目标定位结果。借此，本申请可以提供更加精准且稳定的追踪定位效果。

Description

基于定位标志物的定位方法、装置及计算机存储介质
技术领域
本发明实施例涉及视觉定位技术，尤其涉及一种基于定位标志物的定位方法、装置及计算机存储介质。
背景技术
在口腔机器人手术中，需要借由光学定位跟踪仪实时追踪机器人末端与患者口腔之间的位置关系，从而引导机器人精确地在患者口腔中完成钻孔，打磨等口腔手术任务。
有鉴于此，如何提供一种机器人末端位置的定位技术，以供引导口腔机器人精准地完成各种口腔手术操作，即为本申请待解决的技术课题。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种基于定位标志物的定位方法，可提供精准且稳定的追踪定位效果。
根据本发明的第一方面，提供一种基于定位标志物的定位方法，其包括：采集定位标志物上的参考定位标识，获取至少两个目标图像；根据所述参考定位标识，识别各所述目标图像中的目标定位标识；根据所述目标定位标识在各所述目标图像中的位置和所述参考定位标识在所述定位标志物上的位置，确定所述定位标志物的目标定位结果。
根据本发明的第二方面，提供一种存储介质，所述存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面所述的方法。
根据本发明的第三方面，提供一种基于定位标志物的定位装置，其包括：采集模块，用于采集定位标志物上的参考定位标识，获取至少两个目标图像；识别模块，用于根据所述参考定位标识，识别各所述目标图像中的目标定位标识；定位模块，根据所述目标定位标识在各所述目标图像中的位置和所述参考定位标识在所述定位标志物上的位置，确定所述定位标志物的目标定位结果。
由以上技术方案可见，本发明实施例提供的基于定位标志物的定位方法、装置及计算机存储介质，通过采集定位标志物上的参考定位标识，并根据参考定位标识识别出各目标图像中的目标定位标识，再根据目标定位标识在目标图像中的位置和参考定位标识在定位标志物上的位置，确定定位标志物的目标定位结果。借此，本申请仅基于定位标志物，即可提供精准定位追踪效果。
再者，本申请的定位技术可与用于实施口腔手术的机器人结合使用，通过将定位标志物定位在机器人的机械臂末端，可以实施追踪机械臂末端与患者口腔之间的位置关系，从而有利于引导机械臂在患者口腔中精准执行各种口腔手术任务，提高口腔手术的成功率。
此外，本申请还通过将传统的平面型定位标志物替换为圆柱型定位标志物，使得可供追踪定位的机械臂末端的角度姿态更为丰富，从而提供更为稳定的追踪定位效果。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。附图中：
图1示出了本发明的基于定位标志物的定位方法的应用情景示意图。
图2示出了本发明的定位标志物的实施例示意图。
图3示出了本发明的定位标志物上的参考定位标识的平面展开示意图。
图4示出了本发明的定位标志物上的各参考定位码的实施例示意图。
图5至图12示出了本发明第一实施例至第八实施例的基于定位标志物的定位方法的流程示意图。
图13示出了本发明第十实施例的基于定位标志物的定位装置的架构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面将结合本发明各实施例附图进一步说明本发明各实施例的具体实现。
本申请提出了一种基于定位标志物的定位方法、装置及计算机存储介质，其可与各领域技术行业结合使用，用于提供精确且稳定的导航定位效果。例如，本申请可应用于口腔手术机器人的导航定位（参考图1），例如，可将定位标志物1安装于口腔机器人的机械臂2的末端，并利用光学定位追踪仪3通过采集定位标志物1上的参考定位标识，以实时追踪口腔机器人的机械臂2末端与患者口腔之间的位置关系，从而引导机器人在患者口腔中完成钻孔，打磨等口腔手术操作。
需说明的是，本申请亦可与其他需要提供定位支持服务的技术领域结合应用，本申请对此不作限制。
本申请的定位技术是基于定位标志物来实现，以下将结合图2至图4详细描述定位标志物的基本结构设计。
请参考图2，于本实施例中，定位标志物1可呈圆柱形，参考定位标识可包括设于定位标志物1上的至少一个参考定位码10。
可选地，各参考定位码可包括二维编码，其主要由边缘区域和识别区域所构成，其中，识别区域被包围在边缘区域中，并可由至少3*3的网格阵列构成。
可选地，参考定位标识还可包括周向分布于定位标志物上的一个或多个参考身份码，各参考身份码具有相同的二维编码。
可选地，如图2和图3所示，参考定位标识可包括周向分布于定位标志物1上的多个参考定位码10和多个参考身份码12，各参考定位码10与各参考身份码12可根据一定的排列方式打印或雕刻在定位标志物1上。例如，在图3所示示例中，第一行为参考身份码12，可用于区分同一视野下的不同的定位标志物，亦可将其视为定位标志物的身份编码，在第一行中，每个参考身份码12的二维编码均为相同，以确保定位标志物在不同姿态下，其上的参考身份码12均处于成像设备（即图1的光学定位追踪仪3）的追踪视野范围中。第二至第四行则为参考定位码10，其中，每个参考定位码10的二维编码均为不同，成像设备（即图1的光学定位追踪仪3）可通过定位到其视野内的所有的参考定位码10来计算定位标志物的当前位姿。
于本实施例中，参考定位码中的识别区域的大小可以根据定位标志物的周径大小进行任意调整，本申请对此不作限制。
例如，在图4所示示例中，各参考定位码10可由6*6的网格阵列构成，包括边缘区域10a和由4*4的网格阵列所组成的识别区域10b。其中，构成边缘区域10a的各网格可为黑色，以便于独立区隔各参考定位码，识别区域中的各网格可通过0和1进行编码（0为黑色，1为白色）。
于本实施例中，任意两个参考定位码之间的汉明距离应不小于1，且各参考定位码各自的内部汉明距离均不小于1。
具体地，各参考定位码的编码原则应满足以下三个条件：
第一，各参考定位码的编码不能过于简单，例如均为黑色或均为白色，应当尽量多的进行黑白颜色的转换，以避免与应用环境中的其他物品相互混淆。
第二，任意两个参考定位码之间的汉明距离应不小于1，其具体定义如下：
Figure 592886DEST_PATH_IMAGE001
Figure 962687DEST_PATH_IMAGE002
其中，
Figure 118862DEST_PATH_IMAGE003
为两个参考定位码
Figure 915917DEST_PATH_IMAGE004
和
Figure 587070DEST_PATH_IMAGE005
之间的距离，
Figure 494983DEST_PATH_IMAGE006
为汉明距离，
Figure 505664DEST_PATH_IMAGE007
为顺时针旋转参考定位码（即二维编码）
Figure 473620DEST_PATH_IMAGE008
*90°的操作符。
第三，各参考定位码的内部汉明距离也应当不小于1，其定义如下：
Figure 569752DEST_PATH_IMAGE009
其中，
Figure 343673DEST_PATH_IMAGE010
表示参考定位码的内部汉明距离，也就是说，通过将参考定位码旋转4次所获取的4个值中的任意两个值之间的距离应当不小于1。
当参考定位码满足了以上三个条件时，可以确保定位标志物上的各参考定位码能够被成像设备（例如光学定位追踪仪）顺利地追踪识别，且各参考定位码的四个外角点可以被区分。
再者，参考定位标识中的各参考身份码的编码原则也可参考定位码的上述各项原则，本申请不再予以赘述。
综上所述，相较于传统的平面型定位标志物，本申请通过采用圆柱型定位标志物，可使成像设备在任意角度均能追踪到定位标志物上的参考定位标识（包括参考定位码和参考身份码），因此，本申请可供追踪的机械臂的角度姿态更多，且定位追踪效果也更加稳定。
第一实施例
图5示出了本发明第一实施例的基于定位标志物的定位方法的流程示意图。
如图所示，本实施例的方法主要包括以下步骤：
步骤S502，采集定位标志物上的参考定位标识，获取至少两个目标图像。
可选地，可利用成像设备采集定位标志物上的参考定位标识。
例如，在图1所示示例中，可将定位标志物1设置于机械臂2（例如口腔手术机械臂）的末端，并借由成像设备3（例如光学定位追踪仪）采集定位标志物1上的参考定位标识，借以追踪定位机械臂2末端与患者口腔之间的位置关系。
可选地，成像设备可包括双目相机、多目相机中的一个。
于一实施例中，可利用双目相机同步采集定位标志物上的至少一个参考定位码，获取两个目标图像。
于另一实施例中，可利用多目相机同步采集定位标志物上的至少一个参考定位码，获取多个目标图像，并根据预设筛选规则（例如成像质量、成像角度等）从多个目标图像中筛选出符合预设筛选规则的两个目标图像，借以提供后续定位追踪识别的准确性。
步骤S504，根据参考定位标识，识别各目标图像中的目标定位标识。
可选地，可分别识别两个目标图像，获取各目标图像中与参考定位码相吻合的目标定位码。
具体地，可利用sobel算子找出目标图像中的各边缘点，据以确定目标图像中的各连通区域，再从连通区域中筛选出候选区域并进行识别，以确定目标图像中与参考定位标识相吻合的目标定位标识。
步骤S506，根据目标定位标识在各目标图像中的位置和参考定位标识在定位标志物上的位置，确定定位标志物的目标定位结果。
可选地，可通过角点匹配，识别出两个目标图像中的同一个目标定位码，并根据同一目标定位码分别在两个目标图像中的二维坐标信息，计算出各目标定位码的三维坐标信息，再根据目标定位码的三维坐标信息以及参考定位码在定位标志物上的三维坐标信息，计算出定位标志物在成像设备（光学定位追踪仪）下的位姿。
综上所述，本申请实施例通过采集定位标志物上的参考定位标识以生成目标图像，并根据参考定位标识识别出目标图像中的目标定位标识，再基于目标定位标识和参考定位标识在各自坐标系下的位置，确定定位标志物的目标定位结果，据此，本申请能够提供准确且稳定的定位追踪效果。
第二实施例
图6示出了本申请第二实施例的基于定位标志物的定位方法，本实施例主要示出了上述步骤S504的具体实施方案，具体如下：
针对所获取的两个目标图像中的每一个，执行以下步骤
步骤S602，根据从目标图像识别出的各边缘点，确定目标图像中的各连通区域。
于本实施例中，可利用sobel算子识别出目标图像中的各边缘点，亦即，识别目标图像中的锐利边缘，其可对应于定位标志物上各参考定位码的黑色边缘区域。
步骤S604，基于预设筛选规则筛选各连通区域，确定目标图像中的候选区域。
于本实施例中，若连通区域可拟合出四边形区域（例如矩形区域），则可将此连通区域确定为候选区域，筛选出的各候选区域可对应于定位标志物上的各个参考定位码（即二维编码）。
步骤S606，针对候选区域执行投影转换，获取候选区域的转换区域。
于本实施例中，假设圆柱型定位标志物中的各参考定位码的四个角点处于空间中的同一平面上时，可呈现出一个标准正方形形状，据此，通过针对候选区域执行投影正畸处理，以将目标图像中的候选区域转换为标准正方形。
步骤S608，识别转换区域，若所述转换区域的识别结果与所述参考定位码相吻合，将所述转换区域确定为所述目标定位码。
可选地，可针对候选区域进行解码，并将候选区域的解码结果与定位标志物上的各参考定位码进行匹配，若匹配成功，则将此候选区域确定为目标定位码。
综上所述，本实施例所采用的目标定位标识的识别技术，具有识别准确率高的优点，可有利于提高后续定位识别结果的准确性。
第三实施例
图7示出了本申请第三实施例的基于定位标志物的定位方法，本实施例主要示出了上述步骤S602的具体实施方案，如图所示，本实施例主要包括以下步骤：
步骤S702，利用sobel算子，获得目标图像中的各像素点对应的各梯度与各梯度角度。
可选地，可根据sobel算子矩阵、各像素点对应的各灰度值，获得各像素点对应的各方向梯度值（包括各像素点沿目标图像的X方向的方向梯度值以及沿Y方向的方向梯度值），再根据各像素点对应的各方向梯度值、预设梯度换算规则，获得各像素点对应的各梯度，以及根据各像素点对应的各方向梯度值、预设梯度角度换算规则，获得各像素点对应的各梯度角度。
具体地，上述的sobel算子矩阵可表示为：
Figure 474440DEST_PATH_IMAGE011
Figure 613297DEST_PATH_IMAGE012
其中，
Figure 931146DEST_PATH_IMAGE013
表示各像素点沿目标图像的X方向的方向梯度值，
Figure 446441DEST_PATH_IMAGE014
表示各像素点沿目标图像的Y方向的方向梯度值，
Figure 995496DEST_PATH_IMAGE015
为卷积符号，
Figure 305255DEST_PATH_IMAGE016
表示目标图像中的各像素点对应的各灰度值。
可选地，预设梯度换算规则可表示为：
Figure 110400DEST_PATH_IMAGE017
其中，
Figure 163807DEST_PATH_IMAGE018
表示各像素点对应的各梯度。
可选地，预设梯度角度换算规则可表示为：
Figure 3587DEST_PATH_IMAGE019
其中，
Figure 484247DEST_PATH_IMAGE020
表示各像素点对应的各梯度角度。
步骤S704，根据预设梯度高阈值、预设梯度低阈值、各像素点对应的各梯度与各梯度角度，确定各像素点中的各边缘点。
可选地，边缘点可包括第一边缘点和第二边缘点。
可选地，可根据预设梯度高阈值，将梯度大于梯度高阈值的各像素点确定为第一边缘点。
可选地，可根据预设梯度高阈值和预设梯度低阈值，若像素点的梯度介于预设梯度高阈值和预设梯度低阈值之间，同时存在与像素点相邻的第一边缘点，且像素点的梯度角度与第一边缘点的梯度角度的差值小于预设差值时，将像素点确定为第二边缘点。
可选地，预设差值（即
Figure 104584DEST_PATH_IMAGE020
）为不大于八度。
具体地，可遍历目标图像中的各像素点对应的梯度
Figure 696102DEST_PATH_IMAGE021
，将梯度
Figure 655968DEST_PATH_IMAGE018
大于预设梯度高阈值（maxThres）的各像素点确定为第一边缘点，将低于预设梯度低阈值（minThres）的各像素点舍弃。
再者，针对梯度
Figure 307529DEST_PATH_IMAGE018
介于预设梯度高阈值（maxThres）和预设梯度低阈值（minThres）之间的各像素点，则查找当前像素点的8邻近区域（即与当前像素点相邻的8个像素点）中是否存在第一边缘点，若存在，则进一步计算当前像素点的梯度角度
Figure 149583DEST_PATH_IMAGE020
和与之相邻的第一边缘点的梯度角度
Figure 544792DEST_PATH_IMAGE020
之间的差值绝对值，若两者之间的差值绝对值预设差值（例如8度）时，将当前像素点确定为第二边缘点，否则，舍弃当前像素点。
最后，根据所确定的各第一边缘点和各第二边缘点，可以获得目标图像的边缘点集合
Figure 359165DEST_PATH_IMAGE022
。
步骤S706，基于各边缘点，确定目标图像的各边缘点中的各连通区域。
于本实施例中，可通过测试目标图像中的某个像素点是否处于连通区域中，以于边缘点集合
Figure 181627DEST_PATH_IMAGE022
中找到8邻近的连通区域。
具体的，可定义目标图像中的某一像素点
Figure 448660DEST_PATH_IMAGE023
的坐标为：
Figure 647561DEST_PATH_IMAGE024
，根据下列预设公式，可以确定像素点
Figure 378756DEST_PATH_IMAGE023
是否位于连通区域
Figure 372120DEST_PATH_IMAGE025
中。
其中，上述预设公式可表示为：
Figure 126449DEST_PATH_IMAGE026
若
Figure 129040DEST_PATH_IMAGE027
，则
Figure 652426DEST_PATH_IMAGE028
。
综上所述，本申请借由sobel算子，可精确地识别出目标图像的各边缘点中的各连通区域，可以提后后续定位结果的准确性。
第四实施例
图8示出了本申请第四实施例的基于定位标志物的定位方法的流程图，本实施例为上述步骤S606的具体实施方案。如图所示，本实施例主要包括以下步骤：
步骤S802，根据参考定位码的预设边长，确定参考定位码的各相对顶点位置。
于本实施例中，假设参考定位码为如图4所示的由6*6的网格阵列构成，则参考定位码的定位边长可确定为6，参考定位码的四个角点的相对顶点位置为（0,0）,（0,6）,（6,0）,（6,6）。
步骤S804，根据候选区域相对于目标图像的各目标顶点位置和参考定位码的各相对顶点位置，获取单应矩阵。
于本实施例中，目标图像中的候选区域向标准正方形的变换可以使用一个3*3的单应矩阵来描述，其表示如下：
Figure 383402DEST_PATH_IMAGE029
其中，
Figure 625028DEST_PATH_IMAGE030
表示单应矩阵，
Figure 165730DEST_PATH_IMAGE031
为候选区域拟合出的四边形的一个角点的目标顶点位置，
Figure 543622DEST_PATH_IMAGE032
为参考定位码的一个角点的相对顶点位置，借此，可以获得四个顶点对，根据此四个顶点对，可以列出四个同样的等式，每个等式可以提出三个方程，则总共可以列出12个方程的方程组，具体如下：
当
Figure 144368DEST_PATH_IMAGE033
=0时，可以获得以下三个方程：
Figure 670027DEST_PATH_IMAGE034
同理，当
Figure 14421DEST_PATH_IMAGE033
=1,2,3时，可以列出另外9个方程式，在此不予赘述。
针对上述12个方程中的9个未知数，可以使用奇异值分解的方法求解出单应矩阵
Figure 246819DEST_PATH_IMAGE035
，其表示为：
Figure 18466DEST_PATH_IMAGE036
步骤S806，利用单应矩阵针对候选区域执行投影转换，获取候选区域的转换区域。
于本实施例中，可根据求解出的单应矩阵的逆矩阵和候选区域的四个目标顶点坐标，获得一个边长为6的正方形（亦可称之为6*6的网格阵列）的转换区域。
第五实施例
图9示出了本申请第五实施例的基于定位标志物的定位方法的流程图，本实施例为上述步骤S608的具体实施方案。如图所示，本实施例主要包括以下步骤：
步骤S902，识别转换区域，获得转换区域的识别编码。
可选地，由于转换区域由6*6的网格阵列所构成，根据参考定位码的边缘区域和识别区域具体分布形态，可针对转换区域内4*4的识别区域进行解码，获得转换区域的识别编码。
步骤S904，比对识别编码与参考定位码，并响应识别编码与参考定位码相吻合的比对结果，将转换区域确定为目标定位码。
可选地，可将转换区域的识别编码与定位标志物上的各参考定位码进行匹配，若匹配成功，则可认为此转换区域为成功追踪到的二维编码，并将此转换区域确定为目标定位码。
综上所述，本申请第四实施例和第五实施例通过针对目标图像中的候选区域执行投影正畸处理，以将候选区域转换成与参考定位码的大小相吻合的转换区域，并通过针对转换区域进行解码并与参考定位码进行匹配，可以准确地识别出目标图像中的目标定位码，从而有利于提高后续定位识别的准确性。
第六实施例
图10示出了本申请第六实施例的基于定位标志物的定位方法的流程图，本实施例为上述步骤S506的具体实施方案。如图所示，本实施例主要包括以下步骤：
步骤S1002，根据目标定位标识在各目标图像中的位置，获得目标定位标识的中间定位信息，并继续执行步骤S1006。
可选地，可识别同一目标定位码在两个目标图像中的坐标位置，获取目标定位码对应于两个目标图像的两个二维坐标信息，再根据目标定位码的两个二维坐标信息，可以获得目标定位码的三维坐标信息。
可选地，可识别两个目标图像中各目标定位码对应的各位置（例如，目标定位码的各角点的位置），获得各目标定位码对应于两个目标图像的各第一位置信息与各第二位置信息，再匹配各第一位置信息与各第二位置信息，以确定两个目标图像中的同一目标定位码。
可选地，目标定位码的三维坐标信息可包括目标定位码的各角点对应的各目标角点坐标。
具体地，当在成像设备（光学定位追踪仪）所生成的两幅目标图像中提取到了同一目标定位码时，可通过目标定位码的各角点在两幅目标图像中的二维齐次坐标，获得目标定位码的各角点在成像设备（光学定位追踪仪）下的三维齐次坐标，具体如下：
假设成像设备（双目相机）的两个投影矩阵分别表示为：
Figure 969104DEST_PATH_IMAGE037
和
Figure 851610DEST_PATH_IMAGE038
，目标定位码的某一角点在空间中的三维齐次坐标定义为
Figure 266411DEST_PATH_IMAGE039
（其包含4个参数），目标定位码的同一个角点在两幅目标图像中的二维齐次坐标为
Figure 208959DEST_PATH_IMAGE040
和
Figure 646893DEST_PATH_IMAGE041
（各自包含3个参数），则存在两个映射关系公式，其表示如下：
Figure 333090DEST_PATH_IMAGE042
Figure 602397DEST_PATH_IMAGE043
根据上述两个映射关系公式，可以推导出如下两个等式：
Figure 715846DEST_PATH_IMAGE044
Figure 641077DEST_PATH_IMAGE045
可将上述两个等式整理成
Figure 865385DEST_PATH_IMAGE046
的形式，其中，
Figure 192461DEST_PATH_IMAGE047
其中，
Figure 775015DEST_PATH_IMAGE048
表示
Figure 187541DEST_PATH_IMAGE049
的第
Figure 215540DEST_PATH_IMAGE050
行，可利用最小二乘法求解出
Figure 397123DEST_PATH_IMAGE039
，亦即，目标定位码的某一角点在空间中的三维齐次坐标（相当于目标定位标识的中间定位信息）。
步骤S1004，根据参考定位标识在定位标志物上的位置，获得参考定位标识的参考定位信息，并继续执行步骤S1006。
可选地，可识别参考定位码在定位标志物的局部坐标系下的坐标位置，获得参考定位码的三维坐标信息。
可选地，参考定位码的三维坐标信息可包括参考定位码的各角点对应的各参考角点坐标。
步骤S1006，根据中间定位信息和参考定位信息，确定定位标志物的目标定位结果。
具体地，可根据目标定位码在成像设备（例如光学定位追踪仪）下的三维坐标信息以及参考定位码在定位标志物下的三维坐标信息，确定定位标志物在成像设备（例如光学定位追踪仪）下的姿态参数和位置参数。
还需说明的是，本实施例中的步骤S1002和步骤S1004之间的执行顺序可按实际情况设置为同步执行或先后执行，本申请对此不作限制。
第七实施例
图11示出了本申请第七实施例的基于定位标志物的定位方法的流程图，本实施例为上述步骤S506的具体实施方案。如图所示，本实施例主要包括以下步骤：
步骤S1102，根据至少三个目标角点坐标和目标重心点换算规则，确定目标定位码的目标重心点。
于本实施例中，可根据目标定位码的至少三个角点，确定目标定位码在对应于成像设备的局部坐标系下的目标重心点。
可选地，目标重心点换算规则表示为：
Figure 852375DEST_PATH_IMAGE051
其中，
Figure 548935DEST_PATH_IMAGE052
表示目标定位码的目标重心点，
Figure 115046DEST_PATH_IMAGE053
表示目标定位码的目标角点坐标，
Figure 416714DEST_PATH_IMAGE054
为目标定位码的角点的数量，
Figure 42868DEST_PATH_IMAGE054
为不小于3。
步骤S1104，根据各目标角点坐标和目标重心点，获取目标定位码的目标向量，并继续执行步骤S1110。
可选地，目标定位码的目标向量可表示为：
Figure 164408DEST_PATH_IMAGE055
步骤S1106，根据各目标角点坐标对应的各参考角点坐标和参考重心点换算规则，确定参考定位码的参考重心点。
于本实施例中，可根据参考定位码的至少三个角点，确定参考定位码在对应于定位标志物的局部坐标系下的参考重心点。
可选地，参考重心点换算规则可表示为：
Figure 534209DEST_PATH_IMAGE056
其中，
Figure 752701DEST_PATH_IMAGE057
表示参考定位码的参考重心点，
Figure 549755DEST_PATH_IMAGE058
表示参考定位码的参考角点坐标，
Figure 158591DEST_PATH_IMAGE054
为参考定位码的角点的数量，
Figure 66504DEST_PATH_IMAGE054
为不小于3。
步骤S1108，根据各参考角点坐标和参考重心点，获取参考定位码的参考向量，继续执行步骤S1110。
可选地，参考向量表示为：
Figure 139503DEST_PATH_IMAGE059
。
步骤S1110,根据目标向量和参考向量，获取协方差矩阵。
可选地，协方差矩阵可表示为：
Figure 107459DEST_PATH_IMAGE060
其中，
Figure 203591DEST_PATH_IMAGE061
表示协方差矩阵，
Figure 915195DEST_PATH_IMAGE062
为以参考向量
Figure 780383DEST_PATH_IMAGE063
为列的3*n的矩阵；
Figure 480092DEST_PATH_IMAGE064
为以参考向量
Figure 63520DEST_PATH_IMAGE065
为列的3*n的矩阵；
Figure 578815DEST_PATH_IMAGE066
为转置矩阵。
步骤S1112,根据由协方差矩阵所求得的奇异值分解结果，确定定位标志物对应于成像设备的姿态参数和位置参数。
具体地，可根据由协方差矩阵所求得的奇异值分解结果，确定定位标志物对应于成像设备的姿态参数。
于本实施例中，协方差矩阵的奇异值分解结果可表示为：
Figure 298509DEST_PATH_IMAGE067
其中，
Figure 608268DEST_PATH_IMAGE068
和
Figure 678992DEST_PATH_IMAGE069
均为待求解参数。
根据所求得的参数
Figure 794716DEST_PATH_IMAGE068
和
Figure 634496DEST_PATH_IMAGE069
，可以确定定位标志物对应于成像设备的姿态参数（例如，机械臂末端在世界坐标系下的方向），其表示为：
Figure 115156DEST_PATH_IMAGE070
其中，
Figure 673176DEST_PATH_IMAGE071
表示姿态参数。
而后，再根据姿态参数
Figure 264694DEST_PATH_IMAGE071
、目标重心点
Figure 21298DEST_PATH_IMAGE052
、参考重心点
Figure 938438DEST_PATH_IMAGE057
，求得定位标志物对应于所述成像设备的位置参数，其表示为：
Figure 718175DEST_PATH_IMAGE072
其中，
Figure 113384DEST_PATH_IMAGE073
表示位置参数。
第八实施例
图12示出了本申请第八实施例的基于定位标志物的定位方法的流程图，如图所示，本实施例主要包括以下步骤：
步骤S1202，采集定位标志物上的参考身份码，获取至少两个目标图像。
于本实施例中，参考身份码的采集可与参考定位码的采集同步执行，具体采集手段可参考上述关于参考定位码的具体描述（例如参考步骤S502的描述），本文不再予以赘述。
步骤S1204，根据参考身份码识别各目标图像中的目标身份码，并据以确定定位标志物的身份信息。
于本实施例中，目标身份码的识别处理与上述目标定位码的识别处理手段基本相同，具体可参考上述关于目标定位码的具体识别手段（例如参考步骤S504的描述），本文不再予以赘述。
综上所述，本申请根据目标定位标识在目标图像中的位置以及参考定位标识在定位标志物上的位置，可以确定出定位标志物相较于成像设备的姿态和位置，并具有定位准确性的优点。
第九实施例
本申请第九实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一实施例至第八实施例中的任一实施例所述的方法。
第十实施例
图13示出了本申请第十实施例的基于定位标志物的定位装置的基本架构图。如图所示，本实施例的基于定位标志物的定位装置1300主要包括：采集模块1302，识别模块1304，定位模块1306。
采集模块1302用于采集定位标志物1310上的参考定位标识，获取至少两个目标图像。
可选地，所述定位标志物1310呈圆柱形，所述参考定位标识包括设于所述定位标志物1310上的至少一个参考定位码；其中，所述参考定位码包括边缘区域和识别区域，其中，所述边缘区域包围所述识别区域，所述识别区域最少由3*3的网格阵列构成。
可选地，所述定位标志物1310设置在机械臂末端，所述参考定位码的所述识别区域由4*4的网格阵列构成。
可选地，所述参考定位标识包括周向分布于所述定位标志物1310上的多个所述参考定位码；其中，所述参考定位码包括二维编码，任意两个所述参考定位码之间的汉明距离不小于1，且各所述参考定位码各自的内部汉明距离均不小于1。
可选地，采集模块1302还用于同步采集所述定位标志物1310上的所述参考定位码，获取两个所述目标图像；所述采集模块包括双目相机、多目相机中的一个。
可选地，所述参考定位标识还包括周向分布于所述定位标志物1310上的一个或多个参考身份码，各所述参考身份码具有相同的二维编码。
可选地，采集模块1302还用于采集所述定位标志物1310上的所述参考身份码，获取至少两个所述目标图像。
识别模块1304用于根据所述参考定位标识，识别各所述目标图像中的目标定位标识。
可选地，识别模块1304还用于识别所述两个目标图像，获取各所述目标图像中与所述参考定位码相吻合的所述目标定位码。
可选地，识别模块1304还用于针对每一个所述目标图像，执行以下步骤：根据从所述目标图像识别出的各边缘点，确定所述目标图像的各所述边缘点中的各连通区域；基于预设筛选规则筛选各所述连通区域，确定所述目标图像中的候选区域；针对所述候选区域执行投影转换，获取所述候选区域的转换区域；识别所述转换区域，若所述转换区域的识别结果与所述参考定位码相吻合，将所述转换区域确定为所述目标定位码。
可选地，识别模块1304还用于利用sobel算子，获得所述目标图像中的各像素点对应的各梯度与各梯度角度；根据预设梯度高阈值、预设梯度低阈值、各所述像素点对应的各所述梯度与各所述梯度角度，确定各所述像素点中的各所述边缘点；基于各所述边缘点，确定所述目标图像的各所述边缘点中的各所述连通区域。
可选地，识别模块1304还用于根据sobel算子矩阵、各所述像素点对应的各灰度值，获得各所述像素点对应的各方向梯度值；根据各所述像素点对应的各所述方向梯度值、预设梯度换算规则，获得各所述像素点对应的各所述梯度；根据各所述像素点对应的各所述方向梯度值、预设梯度角度换算规则，获得各所述像素点对应的各所述梯度角度；所述sobel算子矩阵表示为：
Figure 927757DEST_PATH_IMAGE011
Figure 812536DEST_PATH_IMAGE074
其中，所述
Figure 79569DEST_PATH_IMAGE013
表示各所述像素点沿所述目标图像的X方向的方向梯度值，所述
Figure 278470DEST_PATH_IMAGE014
表示各所述像素点沿所述目标图像的Y方向的方向梯度值，所述
Figure 947348DEST_PATH_IMAGE015
为卷积符号，所述
Figure 940712DEST_PATH_IMAGE016
表示所述目标图像中的各所述像素点对应的各所述灰度值；
所述预设梯度换算规则表示为：
Figure 258823DEST_PATH_IMAGE017
其中，所述
Figure 995835DEST_PATH_IMAGE018
表示各所述像素点对应的各所述梯度；
所述预设梯度角度换算规则表示为：
Figure 519220DEST_PATH_IMAGE019
其中，所述
Figure 949065DEST_PATH_IMAGE020
表示各所述像素点对应的各所述梯度角度。
可选地，所述边缘点包括第一边缘点和第二边缘点；识别模块1304还用于根据所述预设梯度高阈值，将所述梯度大于所述梯度高阈值的各所述像素点确定为所述第一边缘点；根据所述预设梯度高阈值和所述预设梯度低阈值，若所述像素点的所述梯度介于所述预设梯度高阈值和所述预设梯度低阈值之间，同时存在与所述像素点相邻的所述第一边缘点，且所述像素点的所述梯度角度与所述第一边缘点的所述梯度角度的差值小于预设差值时，将所述像素点确定为所述第二边缘点。
可选地，所述预设差值为不大于八度。
可选地，识别模块1304还用于针对各所述连通区域中的每一个，若所述连通区域可拟合为四边形区域，将所述连通区域确定为所述候选区域。
可选地，识别模块1304还用于根据所述参考定位码的预设边长，确定所述参考定位码的各相对顶点位置；根据所述候选区域相对于所述目标图像的各目标顶点位置和所述参考定位码的各相对顶点位置，获取单应矩阵；利用所述单应矩阵针对所述候选区域执行投影转换，获取所述候选区域的转换区域。
可选地，识别模块1304还用于识别所述转换区域，获得所述转换区域的识别编码；比对所述识别编码与所述参考定位码，并响应所述识别编码与所述参考定位码相吻合的比对结果，将所述转换区域确定为所述目标定位码。
可选地，识别模块1304还用于根据所述参考身份码识别各所述目标图像中的目标身份码，并据以确定所述定位标志物1310的身份信息。
定位模块1306根据所述目标定位标识在各所述目标图像中的位置和所述参考定位标识在所述定位标志物1310上的位置，确定所述定位标志物1310的目标定位结果。
可选地，定位模块1306还用于根据所述目标定位标识在各所述目标图像中的位置，获得所述目标定位标识的中间定位信息，并根据所述参考定位标识在所述定位标志物1310上的位置，获得所述参考定位标识的参考定位信息；根据所述中间定位信息和所述参考定位信息，确定所述定位标志物1310的目标定位结果。
可选地，定位模块1306还用于识别同一所述目标定位码在所述两个目标图像中的坐标位置，获取所述目标定位码对应于所述两个目标图像的两个二维坐标信息，并根据所述两个二维坐标信息，获得所述目标定位码的三维坐标信息；
可选地，定位模块1306还用于识别所述参考定位码在所述定位标志物1310的局部坐标系下的坐标位置，获得所述参考定位码的三维坐标信息。
可选地，定位模块1306还用于识别所述两个目标图像中各所述目标定位码对应的各位置，获得各所述目标定位码对应于所述两个目标图像的各第一位置信息与各第二位置信息；匹配各所述第一位置信息与各所述第二位置信息，确定所述两个目标图像中的同一所述目标定位码。
可选地，所述目标定位码的三维坐标信息包括所述目标定位码的各角点对应的各目标角点坐标，所述参考定位码的三维坐标信息包括所述参考定位码的各角点对应的各参考角点坐标；其中，定位模块1306还用于根据至少三个所述目标角点坐标和目标重心点换算规则，确定所述目标定位码的目标重心点，并根据各所述目标角点坐标和所述目标重心点，获取所述目标定位码的目标向量；根据各所述目标角点坐标对应的各所述参考角点坐标和参考重心点换算规则，确定所述参考定位码的参考重心点，并根据各所述参考角点坐标和所述参考重心点，获取所述参考定位码的参考向量；根据所述目标向量和所述参考向量，获取协方差矩阵；根据由所述协方差矩阵所求得的奇异值分解结果，确定所述定位标志物1310对应于所述成像设备的姿态参数和位置参数；所述目标重心点换算规则表示为：
Figure 190690DEST_PATH_IMAGE051
其中，所述
Figure 528131DEST_PATH_IMAGE052
表示所述目标重心点，所述
Figure 171601DEST_PATH_IMAGE053
表示所述目标角点坐标，所述
Figure 506768DEST_PATH_IMAGE054
为所述目标定位码的所述角点的数量，所述
Figure 235689DEST_PATH_IMAGE054
为不小于3；
所述参考重心点换算规则表示为：
Figure 314504DEST_PATH_IMAGE056
其中，所述
Figure 874798DEST_PATH_IMAGE057
表示所述参考重心点，所述
Figure 646445DEST_PATH_IMAGE058
表示所述参考角点坐标，所述
Figure 597084DEST_PATH_IMAGE054
为所述参考定位码的所述角点的数量，所述
Figure 479589DEST_PATH_IMAGE054
为不小于3；
所述目标向量表示为：
Figure 832073DEST_PATH_IMAGE055
所述参考向量表示为：
Figure 774621DEST_PATH_IMAGE059
所述协方差矩阵表示为：
Figure 274873DEST_PATH_IMAGE060
其中，所述
Figure 695490DEST_PATH_IMAGE061
表示所述协方差矩阵，所述
Figure 168059DEST_PATH_IMAGE062
为以所述参考向量
Figure 281509DEST_PATH_IMAGE063
为列的3*n的矩阵；所述
Figure 206739DEST_PATH_IMAGE064
为以所述参考向量
Figure 821978DEST_PATH_IMAGE075
为列的3*n的矩阵；所述
Figure 883475DEST_PATH_IMAGE076
为转置矩阵；
所述协方差矩阵的奇异值分解结果表示为：
Figure 167825DEST_PATH_IMAGE067
其中，所述
Figure 580352DEST_PATH_IMAGE068
和所述
Figure 608351DEST_PATH_IMAGE069
为待求解参数；
所述定位标志物1310对应于所述成像设备的姿态参数表示为：
Figure 852251DEST_PATH_IMAGE070
其中，所述
Figure 41923DEST_PATH_IMAGE071
表示所述姿态参数；
所述定位标志物1310对应于所述成像设备的位置参数表示为：
Figure 941746DEST_PATH_IMAGE072
其中，所述
Figure 507857DEST_PATH_IMAGE073
表示所述位置参数。
此外，本发明实施例的基于定位标志物1310的定位装置还可用于实现前述各欠约束下的最优位姿确定方法实施例中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
综上所述，本申请各实施例提供的基于定位标志物的定位方法、装置及计算机存储介质，通过采集定位标志物上的参考定位标识以获得目标图像，并根据参考定位标识识别出目标图像中的目标定位标识，再基于参考定位标识和目标定位标识在各自坐标系下的坐标位置，确定定位标志物的目标定位结果。借此，本申请可以提供准确的定位效果，且借由圆柱型的定位标志物设计，可以使定位标志物能够被追踪到的角度姿态更多，可以提高追踪效果的稳定性。
此外，通过将定位标志物设置于用于实施口腔手术的机械臂末端，并采用本申请的定位技术，可以准确地定位机械臂末端与患者口腔之间的位置关系，从而可以引导机械臂精确地在患者口腔中完成钻孔，打磨等各项口腔手术应用。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的参考存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的判题方法。此外，当通用计算机访问用于实现在此示出的欠约束下的最优位姿确定方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的欠约束下的最优位姿确定方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (21)

1.一种基于定位标志物的定位方法，其特征在于，包括：
采集定位标志物上的参考定位码，获取两个目标图像；
识别所述两个目标图像，获取各所述目标图像中与所述参考定位码相吻合的目标定位码，其包括：针对每一个所述目标图像，根据从所述目标图像识别出的各边缘点，确定所述目标图像的各所述边缘点中的各连通区域；基于预设筛选规则筛选各所述连通区域，确定所述目标图像中的候选区域；针对所述候选区域执行投影转换，获取所述候选区域的转换区域；识别所述转换区域，若所述转换区域的识别结果与所述参考定位码相吻合，将所述转换区域确定为所述目标定位码；
根据所述目标定位码在各所述目标图像中的位置和所述参考定位码在所述定位标志物上的位置，确定所述定位标志物的目标定位结果。
2.根据权利要求1所述的基于定位标志物的定位方法，其特征在于，所述定位标志物呈圆柱形，所述定位标志物上设有至少一个参考定位码；其中，
所述参考定位码包括边缘区域和识别区域，所述边缘区域包围所述识别区域，所述识别区域最少由3*3的网格阵列构成。
3.根据权利要求2所述的基于定位标志物的定位方法，其特征在于，所述定位标志物设置于机械臂末端，所述参考定位码的所述识别区域由4*4的网格阵列构成。
4.根据权利要求2所述的基于定位标志物的定位方法，其特征在于，多个所述参考定位码周向分布于所述定位标志物上；其中，
所述参考定位码包括二维编码，任意两个所述参考定位码之间的汉明距离不小于1，且各所述参考定位码各自的内部汉明距离均不小于1。
5.根据权利要求2所述的基于定位标志物的定位方法，其特征在于，所述采集定位标志物上的参考定位码，获取两个目标图像包括：
利用成像设备同步采集所述定位标志物上的所述参考定位码，获取两个所述目标图像；
其中，所述成像设备包括双目相机、多目相机中的一个。
6.根据权利要求1所述的基于定位标志物的定位方法，其特征在于，所述根据从所述目标图像识别出的各边缘点，确定所述目标图像的各所述边缘点中的各连通区域包括：
利用sobel算子，获得所述目标图像中的各像素点对应的各梯度与各梯度角度；
根据预设梯度高阈值、预设梯度低阈值、各所述像素点对应的各所述梯度与各所述梯度角度，确定所述目标图像的各所述像素点中的各所述边缘点；
基于各所述边缘点，确定各所述连通区域。
7.根据权利要求6所述的基于定位标志物的定位方法，其特征在于，所述利用sobel算子，获得所述目标图像中的各像素点对应的各梯度与各梯度角度包括：
根据sobel算子矩阵、各所述像素点对应的各灰度值，获得各所述像素点对应的各方向梯度值；
根据各所述像素点对应的各所述方向梯度值、预设梯度换算规则，获得各所述像素点对应的各所述梯度；
根据各所述像素点对应的各所述方向梯度值、预设梯度角度换算规则，获得各所述像素点对应的各所述梯度角度；
所述sobel算子矩阵表示为：
Figure FDA0003487519590000021
；
Figure FDA0003487519590000022
；
其中，所述Gx表示各所述像素点沿所述目标图像的X方向的方向梯度值，所述Gy表示各所述像素点沿所述目标图像的Y方向的方向梯度值，所述*为卷积符号，所述I表示所述目标图像中的各所述像素点对应的各所述灰度值；
所述预设梯度换算规则表示为：
Figure FDA0003487519590000023
；
其中，所述G表示各所述像素点对应的各所述梯度；
所述预设梯度角度换算规则表示为：
Figure FDA0003487519590000031
；
其中，所述θ表示各所述像素点对应的各所述梯度角度。
8.根据权利要求6所述的基于定位标志物的定位方法，其特征在于，所述边缘点包括第一边缘点和第二边缘点；其中，
所述根据预设梯度高阈值、预设梯度低阈值、各所述像素点对应的各所述梯度与各所述梯度角度，确定各所述像素点中的各所述边缘点包括：
根据所述预设梯度高阈值，将所述梯度大于所述梯度高阈值的各所述像素点确定为所述第一边缘点；
根据所述预设梯度高阈值和所述预设梯度低阈值，若所述像素点的所述梯度介于所述预设梯度高阈值和所述预设梯度低阈值之间，同时存在与所述像素点相邻的所述第一边缘点，且所述像素点的所述梯度角度与所述第一边缘点的所述梯度角度的差值小于预设差值时，将所述像素点确定为所述第二边缘点。
9.根据权利要求8所述的基于定位标志物的定位方法，其特征在于，所述预设差值为不大于八度。
10.根据权利要求1所述的基于定位标志物的定位方法，其特征在于，所述基于预设筛选规则筛选各所述连通区域，确定所述目标图像中的候选区域包括：
针对各所述连通区域中的每一个，若所述连通区域可拟合为四边形区域，将所述连通区域确定为所述候选区域。
11.根据权利要求1所述的基于定位标志物的定位方法，其特征在于，所述针对所述候选区域执行投影转换，获取所述候选区域的转换区域包括：
根据所述参考定位码的预设边长，确定所述参考定位码的各相对顶点位置；
根据所述候选区域相对于所述目标图像的各目标顶点位置和所述参考定位码的各所述相对顶点位置，获取单应矩阵；
利用所述单应矩阵针对所述候选区域执行投影转换，获取所述候选区域的转换区域。
12.根据权利要求1所述的基于定位标志物的定位方法，其特征在于，所述识别所述转换区域，若所述转换区域的识别结果与所述参考定位码相吻合，将所述转换区域确定为所述目标定位码包括：
识别所述转换区域，获得所述转换区域的识别编码；
比对所述识别编码与所述参考定位码，并响应所述识别编码与所述参考定位码相吻合的比对结果，将所述转换区域确定为所述目标定位码。
13.根据权利要求5所述的基于定位标志物的定位方法，其特征在于，所述根据所述目标定位码在各所述目标图像中的位置和所述参考定位码在所述定位标志物上的位置，确定所述定位标志物的目标定位结果包括：
根据所述目标定位码在各所述目标图像中的位置，获得所述目标定位码的中间定位信息，并根据所述参考定位码在所述定位标志物上的位置，获得所述参考定位码的参考定位信息；
根据所述中间定位信息和所述参考定位信息，确定所述定位标志物的目标定位结果。
14.根据权利要求13所述的基于定位标志物的定位方法，其特征在于，
所述根据所述目标定位码在各所述目标图像中的位置，获得所述目标定位码的中间定位信息包括：
识别同一所述目标定位码在所述两个目标图像中的坐标位置，获取所述目标定位码对应于所述两个目标图像的两个二维坐标信息，并根据所述两个二维坐标信息，获得所述目标定位码的三维坐标信息；
所述根据所述参考定位码在所述定位标志物上的位置，获得所述参考定位码的参考定位信息包括：
识别所述参考定位码在所述定位标志物的局部坐标系下的坐标位置，获得所述参考定位码的三维坐标信息。
15.根据权利要求14所述的基于定位标志物的定位方法，其特征在于，所述方法还包括：
识别所述两个目标图像中各所述目标定位码对应的各位置，获得各所述目标定位码对应于所述两个目标图像的各第一位置信息与各第二位置信息；
匹配各所述第一位置信息与各所述第二位置信息，确定所述两个目标图像中的同一所述目标定位码。
16.根据权利要求14所述的基于定位标志物的定位方法，其特征在于，所述目标定位码的三维坐标信息包括所述目标定位码的各角点对应的各目标角点坐标，所述参考定位码的三维坐标信息包括所述参考定位码的各角点对应的各参考角点坐标，各所述目标角点坐标与各参考角点坐标相对应；其中，
所述根据所述中间定位信息和所述参考定位信息，确定所述定位标志物的目标定位结果包括：
根据至少三个所述目标角点坐标和目标重心点换算规则，确定所述目标定位码的目标重心点，并根据各所述目标角点坐标和所述目标重心点，获取所述目标定位码的目标向量；
根据各所述目标角点坐标对应的各所述参考角点坐标和参考重心点换算规则，确定所述参考定位码的参考重心点，并根据各所述参考角点坐标和所述参考重心点，获取所述参考定位码的参考向量；
根据所述目标向量和所述参考向量，获取协方差矩阵；
根据由所述协方差矩阵所求得的奇异值分解结果，确定所述定位标志物对应于所述成像设备的姿态参数和位置参数；
所述目标重心点换算规则表示为：
Figure FDA0003487519590000051
；
其中，所述
Figure FDA0003487519590000052
表示所述目标重心点，所述ei表示所述目标角点坐标，所述n为所述目标定位码的所述角点的数量，所述n为不小于3；
所述参考重心点换算规则表示为：
Figure FDA0003487519590000053
其中，所述
Figure FDA0003487519590000054
表示所述参考重心点，所述mi表示所述参考角点坐标，所述n为所述参考定位码的所述角点的数量，所述n为不小于3；
所述目标向量表示为：
Figure FDA0003487519590000061
所述参考向量表示为：
Figure FDA0003487519590000062
所述协方差矩阵表示为：
S＝FGT；
其中，所述S表示所述协方差矩阵，所述F为以所述参考向量fi为列的3*n的矩阵；所述G为以所述参考向量gi为列的3*n的矩阵；所述T为转置矩阵；
所述协方差矩阵的奇异值分解结果表示为：
S＝U∑VT；
其中，所述U和所述V为待求解参数；
所述定位标志物对应于所述成像设备的姿态参数表示为：
Figure FDA0003487519590000063
其中，所述R表示所述姿态参数；
所述定位标志物对应于所述成像设备的位置参数表示为：
Figure FDA0003487519590000064
其中，所述t表示所述位置参数。
17.根据权利要求2所述的基于定位标志物的定位方法，其特征在于，所述参考定位码还包括周向分布于所述定位标志物上的一个或多个参考身份码；其中，各所述参考身份码具有相同的二维编码。
18.根据权利要求17所述的基于定位标志物的定位方法，其特征在于，所述方法还包括：
采集所述定位标志物上的所述参考身份码，获取两个所述目标图像；
根据所述参考身份码识别各所述目标图像中的目标身份码，据以确定所述定位标志物的身份信息。
19.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至18中任一项所述的方法。
20.一种基于定位标志物的定位装置，其特征在于，包括：
采集模块，用于采集定位标志物上的参考定位码，获取两个目标图像；
识别模块，用于识别所述两个目标图像，获取各所述目标图像中与所述参考定位码相吻合的目标定位码，其包括：针对每一个所述目标图像，根据从所述目标图像识别出的各边缘点，确定所述目标图像的各所述边缘点中的各连通区域；基于预设筛选规则筛选各所述连通区域，确定所述目标图像中的候选区域；针对所述候选区域执行投影转换，获取所述候选区域的转换区域；识别所述转换区域，若所述转换区域的识别结果与所述参考定位码相吻合，将所述转换区域确定为所述目标定位码；
定位模块，根据所述目标定位码在各所述目标图像中的位置和所述参考定位码在所述定位标志物上的位置，确定所述定位标志物的目标定位结果。
21.根据权利要求20所述的定位装置，其特征在于，
所述定位标志物设置在机械臂末端；
所述采集模块包括双目相机、多目相机中的一个。
CN202111280102.XA 2021-11-01 2021-11-01 基于定位标志物的定位方法、装置及计算机存储介质 Active CN113712665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111280102.XA CN113712665B (zh) 2021-11-01 2021-11-01 基于定位标志物的定位方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111280102.XA CN113712665B (zh) 2021-11-01 2021-11-01 基于定位标志物的定位方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113712665A CN113712665A (zh) 2021-11-30
CN113712665B true CN113712665B (zh) 2022-04-22

Family

ID=78686281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111280102.XA Active CN113712665B (zh) 2021-11-01 2021-11-01 基于定位标志物的定位方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113712665B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114199252B (zh) * 2021-12-06 2024-02-09 北京云迹科技股份有限公司 一种室内定位方法、装置、电子设备和存储介质
CN114523471B (zh) * 2022-01-07 2023-04-25 中国人民解放军海军军医大学第一附属医院 基于关联标识的误差检测方法及机器人***
CN114536402B (zh) * 2022-02-16 2024-04-09 中国医学科学院北京协和医院 基于关联标识的机器人***故障检测处理方法及机器人***
CN117354709A (zh) * 2022-06-28 2024-01-05 中兴通讯股份有限公司 2d标志物、室内定位方法及装置
CN115607320A (zh) * 2022-10-25 2023-01-17 无锡赛锐斯医疗器械有限公司 一种口外扫描连接基台位姿测量仪及位姿参数确定方法
CN116687569B (zh) * 2023-07-28 2023-10-03 深圳卡尔文科技有限公司 一种编码标识手术导航方法、***和存储介质
CN116843748B (zh) * 2023-09-01 2023-11-24 上海仙工智能科技有限公司 一种远距二维码及其物体空间位姿获取方法及***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978167B2 (en) * 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
EP3104802A1 (en) * 2014-02-10 2016-12-21 Navigate Surgical Technologies Inc. System and method for determining the three-dimensional location and orientation of identification markers
CN106137131A (zh) * 2016-07-18 2016-11-23 山东省肿瘤防治研究院 一种无创肿瘤定位***
GB2583485B (en) * 2019-04-29 2021-09-01 Arrival Ltd A system for preventing collisions in a robotic cell environment
CN112013850B (zh) * 2020-10-16 2021-11-19 北京猎户星空科技有限公司 定位方法、装置、自移动设备和存储介质
CN113499166A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种角膜移植手术机器人用自主立体视觉导航方法及***

Also Published As

Publication number Publication date
CN113712665A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113712665B (zh) 基于定位标志物的定位方法、装置及计算机存储介质
CN106372702B (zh) 一种定位标识及其定位方法
CN109658461B (zh) 一种基于虚拟仿真环境的合作二维码的无人机定位方法
US9292755B2 (en) Shape detection and ellipse fitting of a polygon
Ha et al. Deltille grids for geometric camera calibration
US20180211404A1 (en) 3d marker model construction and real-time tracking using monocular camera
US7812871B2 (en) Index identification method and apparatus
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
JP4708752B2 (ja) 情報処理方法および装置
CN107609451A (zh) 一种基于二维码的高精度视觉定位方法及***
CN107481276B (zh) 一种三维医学图像中标记点序列的自动识别方法
CN109215016B (zh) 一种编码标志的识别定位方法
EP1521213A2 (en) Index identification method and apparatus
CN104766309A (zh) 一种平面特征点导航定位方法与装置
JP2010267232A (ja) 位置姿勢推定方法および装置
JP4502361B2 (ja) 指標姿勢検出方法および装置
CN111179347B (zh) 基于区域性特征的定位方法、定位设备及存储介质
JP2017003525A (ja) 三次元計測装置
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN111667429B (zh) 一种巡检机器人目标定位校正方法
JP5988364B2 (ja) 画像処理装置及び方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
CN115147588A (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
CN114926542A (zh) 基于光学定位***的混合现实固定参考系校准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 100191 Room 501, floor 5, building 9, No. 35 Huayuan North Road, Haidian District, Beijing

Patentee after: Beijing Baihui Weikang Technology Co.,Ltd.

Address before: 100191 Room 608, 6 / F, building 9, 35 Huayuan North Road, Haidian District, Beijing

Patentee before: Beijing Baihui Wei Kang Technology Co.,Ltd.