CN113576664B - 点云空间注册方法、装置、设备和光学投射装置 - Google Patents
点云空间注册方法、装置、设备和光学投射装置 Download PDFInfo
- Publication number
- CN113576664B CN113576664B CN202110869641.0A CN202110869641A CN113576664B CN 113576664 B CN113576664 B CN 113576664B CN 202110869641 A CN202110869641 A CN 202110869641A CN 113576664 B CN113576664 B CN 113576664B
- Authority
- CN
- China
- Prior art keywords
- point
- projection
- point cloud
- light source
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Heart & Thoracic Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种点云空间注册方法、装置、设备和光学投射装置,其中,该装置包括:包括:发射层,所述发射层设置有至少两个点光源,每个所述点光源具有预设的光投射方向,各个所述点光源之间配置为预设的光投射关系。通过本申请,提高了注册精度、效率和鲁棒性,实现了稳定且高精度的点云空间注册效果。
Description
技术领域
本申请涉及光学手术导航技术领域,特别是涉及一种点云空间注册方法、装置、设备和光学投射装置。
背景技术
在光学导航***的应用中,需要获取导航***与影像***之间的空间变换关系,这一步被称为点云空间注册,注册的精度将直接影响手术导航的精度。点云空间注册过程中,一般需要结合标记物的反光或发光材料来跟踪标记物的坐标,且需要患者在手术时带着标记物进行影像扫描,从而得到导航***与患者影像***之间的坐标变换关系,这增加了患者进行影像扫描的要求限制。目前通过光学设备但无需进行术中影像扫描的点云空间注册方式可分为两种:一种是结合双目光学导航仪器实现的,一种是通过结构光仪器实现的。
现有技术中利用光学导航仪器进行点云空间注册的方法有:
(1)、主动投射式的装置,粘贴在人体表面,如Stryker的方式。这种方式通过将发光二极管排布在人体特征区域表面,以实现获取表面点。该方式可实现较快速的标记点获取,并且不易受到环境光的干扰。但缺点是适用性不强,一旦二极管对应的柔性电路设计成型后就不能用于设计范围外的其他区域,如设计用于脸部的不能用来做腿部等等。并且生成的点云不能灵活调节每个点的位置,灵活性有限。另外该方式获取的标记点构成点云的点数有限,并且LED光源位置不能直接代表实际患者表面位置,最终导致该方式的数据处理复杂度较高或精度受限。
(2)、发射单个光斑打在被注册区域,如brainlab的z-touch方式。通过激光发射器打出光斑在患者表面,在患者表面的光斑被光学导航仪器获取,从而得到单个点的数据。通过激光发射器环绕患者关键区域进行扫描,得到关键区域的点云。该方式可较为简便,无需在患者表面粘贴额外标记点,而且在光学导航仪器跟踪光斑时只有一个光斑,从而没有伪点干扰;此外该方式的点云位置和激光发射器扫描位置有关,理论上激光打到的任意位置都可以得到该位置的点云,使用灵活。但缺点是该方式需要用户控制光源在患者关键区域扫描,一般使用上也需要界面交互进行提示辅助,扫描时间较长及用户学习时间较长,容易引入精度不高的点,导致该方式的效率不高。另外,因投射的方式为单点,无其他约束影响,因此容易受到环境中同波段光源的影响,从而降低该种应用方式的鲁棒性。
上述两种方式都可以通过生成的点云,结合高精度立体导航定位相机来实现高精度的匹配结果,但有各自的局限性。
此外,通过结构光仪器实现定位的方式,结构光容易受使用环境的光线干扰,如受可见光影响等等,注册方式的稳定性没有通过高精度立体导航定位相机的方式稳定。
发明内容
本申请实施例提供了一种点云空间注册方法、装置、设备和光学投射装置,以至少解决相关技术中点云空间注册方法复杂度高、效率低的问题。
第一方面,本申请实施例提供了一种光学投射装置,包括:发射层,所述发射层设置有至少两个点光源,每个所述点光源具有预设的光投射方向,各个所述点光源之间配置为预设的光投射关系。
在其中一些实施例中,沿所述点光源的光投射方向前置有方向校正层,用于校正所述点光源的光投射角度。
在其中一些实施例中,所述方向校正层包括与所述点光源数量对应的多个校正装置,每个所述校正装置配置有平行于对应点光源预设光投射方向的第一投射通道。
在其中一些实施例中,所述方向校正层包括与所述点光源数量对应的多个校正装置,每个所述校正装置配置有与对应点光源预设光投射方向呈预设角度的第二投射通道。
在其中一些实施例中,所述发射层的点光源中包括至少一个基准点光源。
在其中一些实施例中,光投射关系包括点光源间的位置关系,所述位置关系包括各点光源之间的距离以及排布形状。
在其中一些实施例中,光投射关系包括点光源大小、各点光源的发光顺序以及发光频率。
第二方面,本申请实施例提供了一种点云空间注册方法,包括:
获取导航仪坐标系中人体表面投射点的点云;所述投射点基于如上述第一方面所述的光学投射装置在人体表面预设投射区域进行多次投射得到;
将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
第三方面,本申请实施例提供了一种点云空间注册装置,包括:
点云获取单元,用于获取导航仪坐标系中人体表面投射点的点云;所述投射点基于如上述第一方面所述的光学投射装置在人体表面预设投射区域进行多次投射得到;
点云空间注册单元,用于将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
第四方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第二方面所述的点云空间注册方法。
相比于相关技术,本申请实施例提供的光学投射装置,通过设置发射层,并在所述发射层设置至少两个点光源,使得通过该光学投射装置进行点云空间注册时,无需在患者表面粘贴标记点,摒除了扫描标记点影像的限制,使用时方便灵活、适用性强。通过多点光投射方式增加了投射点的有效性,从而不易受到环境中同波段光源的影响,提高了注册精度、效率和鲁棒性。通过每个所述点光源配置预设的光投射方向,各个所述点光源之间配置为预设的光投射关系,对光投射方向进行约束,实现了稳定且高精度的点云空间注册效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请其中一个实施例中光学投射装置的结构示意图;
图2是本申请另一个实施例中光学投射装置的结构示意图;
图3是本申请其中一个实施例中点云空间注册方法的流程示意图;
图4是本申请另一个实施例中点云空间注册方法的流程示意图;
图5是本申请其中一个实施例中投射区域的示意图;
图6是本申请其中一个实施例中点云空间注册装置的结构示意图;
图7是本申请其中一个实施例中计算机设备的结构示意图。
附图说明:101、发射层;1011、点光源;102、投射层;103、方向校正层;301、点云获取单元;302、点云空间注册单元;40、总线;41、处理器;42、存储器;43、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
在外科手术过程中,手术导航***实时跟踪手术器械和患者的位置,并在三维解剖图像中显示。通过点云空间注册可以获取导航***与影像***之间的空间变换关系,实现患者的点云空间注册。通常,点云空间注册方法可以分为标记点注册、表面匹配注册和定位框架注册三种方式。其中,标记点注册是通过分别获取图像空间与实际空间标记点的坐标,并通过计算图像空间与实际空间的坐标变换关系完成注册。基于标记点的点云空间注册可以以骨植入螺钉点、解剖结构点、粘贴于皮肤表面的点为标记点,也可以基于在患者表面投射光斑等方式获取标记点,从而基于标记点对图像空间与实际空间三维点云的配准获取两个空间的刚性变换关系。
本实施例提供的光学投射装置可以应用于手术导航***点云空间注册过程中。手术导航***包括手术器械、光学定位***以及图像处理***。光学投射装置投射一定波段的光束于人体表面后,被手术导航***中的光学定位***探测识别,得到人体表面的投射点的空间位置,进而将人体表面的点云信息与影像***中对应的点云进行配准。
如图1所示,本实施例提供了一种光学投射装置,包括:发射层101,所述发射层101设置有至少两个点光源1011,每个所述点光源1011具有预设的光投射方向,各个所述点光源1011之间配置为预设的光投射关系。
在一些实施例中,发射层101设置有至少两个点光源1011,例如可以设置三个点光源1011。通过多点光投射方式增加了投射点的有效性,同时多个点光源之间会产生伪点噪音,通过各个点光源1011之间预设的光投射关系,可以对采集到的投射点进行校核,进而滤除伪点,使投射点的获取不易受到环境中同波段光源的影响,提高了注册精度、效率和鲁棒性。其中,点光源1011是指可以在人体表面形成投射点的光源,其可以是LED光源,也可以是各种波长的激光光源如激光二极管、半导体激光器等,本申请不做具体限定。
在本实施例中,点光源1011具有预设的光投射方向,各个点光源1011之间配置为预设的光投射关系。各个点光源1011的光投射方向指向人体表面的投射区域,形成投射层102。可选的,各个点光源1011的光投射方向可以配置为平行或者成预设的角度。在一些实施例中,各个点光源1011之间预设的光投射关系包括点光源间的位置关系,所述位置关系包括各点光源之间的距离以及排布形状,所述排布形状具体可以配置成四边形、三角形、条状或其他自定义形状。在另一些实施例中,光投射关系还可以是光源大小、各点光源的发光顺序以及发光频率等等其它关系,可根据实际需求进行适应性配置,本申请在此不做限定。
进一步的,光学投射装置还包括控制器和输入/输出设备,该控制器中预先存储有多种模式的各点光源控制程序,不同模式分别对应不同的点光源发光顺序和发光频率。输入/输出设备可以是键盘、鼠标、控制盒等相关设备,支持输入/输出控制。光学投射装置在使用时可以通过所述输入/输出设备上的模式控制按键进行任意切换。
更进一步的,光源投射装置包括多个点光源时,多个点光源成阵列排布,可以预先选择不同的点光源构成不同的光源排布形状和光源之间的距离关系,以形成多种光源形状。多种光源形状预先存储于控制器中,可通过光源控制按键进行不同光源形状的选择切换。
可以理解的是,模式和光源形状之间具有相关关系,每一种光源形状分别对应多种模式,在进行选择时,可以先选择模式,再选择该模式下的光源形状,或先选择光源形状再选择该光源形状对应的的模式。
可以理解,点光源1011的光投射方向和位置关系可根据实际使用场景需要进行适应性配置。例如,对需要进行扫描定位的人体部位,通过配置使各个点光源1011的光投射方向和位置关系,使得所有投射点位于人体部位预设的投射区域内。
综上,本申请实施例提供的光学投射装置,通过设置发射层,并在发射层设置至少两个点光源,使得通过该光学投射装置进行点云空间注册时,无需在患者表面粘贴标记点,摒除了扫描标记点影像的限制,使用时方便灵活、适用性强。通过多点光投射方式增加了投射点的有效性,从而不易受到环境中同波段光源的影响,提高了注册精度、效率和鲁棒性。通过每个点光源配置预设的光投射方向,各个点光源之间配置为预设的光投射关系,对光投射方向进行约束,实现了稳定且高精度的点云空间注册效果。
下面通过优选实施例对本申请实施例进行描述和说明。
如图2所示,在上述实施例的基础上,在其中一些实施例中,沿所述点光源1011的光投射方向前置有方向校正层103,用于校正所述点光源1011的光投射角度。
在本实施例中,点光源1011的投射点位置不仅受到光投射方向、点光源1011位置的影响,其投射的光线还部分相对于初始投射方向进行散射。为了进一步增强投射点的位置准确度,可以设置方向校正层103,沿点光源1011的光投射方向,方向校正层103前置于发射层。点光源1011发出的投射光经方向校正层103校正后,可准直为沿投射方向的准直光束,从而对光源中不符合预设投射方向的光线进行滤除,实现投射光的定向准直,使各个点光源1011之间预设的投射方向和位置关系与投射层102的各个投射点保持一致或呈预设的对应关系。
在其中一些实施方式中,所述方向校正层103包括与所述点光源1011数量对应的多个校正装置,每个所述校正装置配置有平行于对应点光源1011预设光投射方向的第一投射通道。沿点光源1011的光投射方向,每个点光源1011发出的投射光经对应的校正装置校正后,投射光被定向准直并平行于预设光投射方向投射,在人体表面形成投射点,使得投射点之间的几何关系与各个点光源1011之间的位置关系保持一致。从而在点云空间注册时,当获取到光学投射装置在人体表面投射点的点云后,根据光学投射装置各个点光源1011之间预设的光投射关系,可以对投射点的数据进行实时在线校验,对不符合上述预设光投射关系的伪点进行滤除,实现对投射点的实时干扰滤除。
在另一些实施方式中,所述方向校正层103包括与所述点光源1011数量对应的多个校正装置,每个所述校正装置配置有与对应点光源1011预设光投射方向呈预设角度的第二投射通道。沿点光源1011的光投射方向,每个点光源1011发出的投射光经对应的校正装置校正后,投射光被定向准直并与预设光投射方向呈预设角度投射,在人体表面形成投射点。从而在点云空间注册时,当获取到光学投射装置在人体表面投射点的点云后,通过第二投射通道的配置角度以及预设的光投射方向,根据相似性原理可以计算得到投射点之间的几何关系,从而根据计算结果对投射点的数据进行实时在线校验,对不满足上述几何关系的伪点进行滤除,实现对投射点的实时干扰滤除。
需要说明的是,方向校正层103包括多个与点光源1011数量对应的多个校正装置,多个校正装置可以相对于对应的点光源1011分体式配置,也可以集成于一体与预设数量的点光源1011配合使用,本申请在此不做限定。
在上述实施例的基础上,在其中一些实施例中,所述发射层101的点光源中包括至少一个基准点光源。
在本实施例中,根据临床实际使用场景的不同,光学投射装置的设置位置或投射方向需要进行适应性调整。其中,发射层101中的点光源1011在调整时可能引入误差而降低被调整点光源1011的投射准确度。此时难以保证所有点光源1011都具有高精度,但需要配置至少一个基准点光源具有预设的投射准确度,从而以基准点光源为判断基准进行投射点的识别,保证其对应投射点的数据可用,以此在实现干扰滤除的同时也能采集有效数据,保证通用性。具体的,所述基准点光源根据预设的光源特性参数配置得到,可以根据预设的光源特性参数将发射层101的多个点光源1011中至少一个点光源1011配置为基准点光源,该基准点光源具有最高投射准确度,然后保持基准点光源的位置和投射方向不变,其他点光源1011的设置位置或投射方向相对于基准点光源进行调整。光源特性参数可以为点光源1011的形状、频率、大小、颜色、投射顺序等,可根据需要进行自定义选择。
本实施例还提供了一种点云空间注册方法。图3是根据本申请实施例的点云空间注册方法的流程图,如图3所示,该流程包括如下步骤:
步骤S201,获取导航仪坐标系中人体表面投射点的点云;所述投射点基于如上所述的光学投射装置在人体表面预设投射区域进行多次投射得到。
在本实施例中,将光学投射装置应用于手术导航***中可以实现点云空间注册。具体的,利用光学投射装置中各个点光源1011投射的预设波段(包括但不限于近红外光、蓝光)的光束至人体表面的预设投射区域后,经光学导航仪器探测识别,可以得到人体表面的投射点的空间位置,通过多次投射并实时采集每次投射所得投射点的点云数据,可以确定人体表面投射点的点云信息,点云信息至少包含各个投射点的三维坐标。可选的,可以采用光学导航仪等3D扫描设备对投射点进行光学定位,得到投射点的点云数据。
步骤S202,将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
在本实施例中,手术导航***中导航仪和图像***各自有独立的坐标系,当确定人体表面投射点的点云信息后,需要将导航仪所在导航仪坐标系与图像***所在图像坐标系中的点云进行精匹配,得到导航仪坐标系与图像坐标系的位置变换关系,最终实现人体的点云空间注册。其中,点云精匹配算法可以采用ICP算法(Iterative Closest Point,迭代最近点算法)或各类全局匹配算法,这些为本领域的现有技术,本申请在此不做赘述。在一些实施例中,采用ICP迭代法实现场景点云的精配准的过程包括:首先获取距离函数,距离函数为导航仪坐标系中投射点的第一点云数据与图像坐标系中的第二点云数据之间的距离之和。然后基于距离函数进行迭代计算,迭代过程中不断减小两个点云之间的距离之和,直至距离之和小于预设阈值时停止迭代,得到匹配的点云数据对。最后根据点云数据对的坐标信息,确定导航仪坐标系与图像坐标系的位置变换关系。
如图4所示,在上述实施例的基础上,在其中一些实施例中,将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系包括:步骤S2021,将图像坐标系中的点云与导航仪坐标系中人体表面特征点进行粗匹配;步骤S2022,将导航仪坐标系中投射点的点云与图像坐标系中的点云进行精匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
在本实施例中,在进行点云精匹配之前,可以先将图像坐标系中的点云与导航仪坐标系中人体表面特征点进行粗匹配。在一些实施例中,粗匹配过程包括:获取导航仪坐标系中人体表面预设投射区域内预设特征点的点云数据;获取图像坐标系中与预设特征点对应的点云数据;将至少两组点云数据对进行坐标对齐;其中,每组点云数据对包括导航仪坐标系中的一个预设特征点和图像坐标系中对应的预设特征点。粗匹配可以缩小后续精匹配时点云数据之间的旋转误差和平移误差,实现标记点的自动、快速、精确提取。
具体的,首先确定人体表面的预设投射区域,在导航仪坐标系中预设投射区域获取预设特征点,并在图像坐标系中获取与预设特征点对应的点云数据。通过上述点云数据可以确定至少两组点云数据对,每组点云数据对包括导航仪坐标系中的一个预设特征点和图像坐标系中对应的预设特征点,从而可以将导航仪坐标系中的预设特征点预设特征点的点云数据与术前影像的图像坐标系中预设特征点对应的点云数据进行坐标对齐,寻找每组点云数据对的匹配关系,完成粗匹配过程。示例性的,如图5所示,对预设特征点进行选取时,在一些实施例中,当投射区域为人体面部时,可以在前额、眼眶、鼻梁、鼻翼等区域取预设特征点,预设特征点可以是手术目标的解剖结构点,如基于人体颅骨的眉心、眼角、鼻梁点取点,当然还可根据情况对耳朵等其他面部区域进行取点。在其他实施例中,比如针对其他部位的扫描定位,还可以对人体如四肢区域进行取点,根据实际应用场景选取预设特征点即可。在一种具体的实施方式中,选取预设投射区域为人体面部,在进行粗匹配时,首先分别获取导航仪坐标系中和图像坐标系中人体面部鼻尖、眉心等至少两个预设特征点对应的点云数据。然后将导航仪坐标系中鼻尖的点云数据和图像坐标系中鼻尖的点云数据确定为第一组点云数据对,将导航仪坐标系中眉心的点云数据和图像坐标系中眉心的点云数据确定为第二组点云数据对,至少将两组点云数据对内的点云数据进行两两坐标对齐,完成粗匹配过程。
通过上述步骤,利用本申请实施例提供的光学投射装置进行无标记点的点云空间注册时,通过设置发射层并在发射层设置至少两个点光源1011,无需在患者表面粘贴标记点,摒除了扫描标记点影像的限制,使用时方便灵活、适用性强,而且多点光投射方式增加了投射点的有效性,从而不易受到环境中同波段光源的影响,提高了注册精度、效率和鲁棒性。通过每个点光源1011配置预设的光投射方向,各个点光源1011之间配置为预设的光投射关系,实现了对光投射方向的约束,从而当利用该光学投射装置在人体表面预设投射区域进行多次投射得到通过点云,并将其与图像坐标系中的点云进行精匹配,可以实现稳定且高精度的点云空间注册效果。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种点云空间注册装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的点云空间注册装置的结构框图,如图6所示,该装置包括:点云获取单元301和点云空间注册单元302。
点云获取单元301,用于获取导航仪坐标系中人体表面投射点的点云;所述投射点基于如上所述的光学投射装置在人体表面预设投射区域进行多次投射得到;
点云空间注册单元302,用于将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
在其中一些实施例中,点云空间注册单元302包括:参数获取模块、点云数据对获取模块和位置变换关系获取模块。
参数获取模块,用于获取距离函数,所述距离函数为导航仪坐标系中投射点的第一点云数据与图像坐标系中的第二点云数据之间的距离之和;
点云数据对获取模块,用于基于所述距离函数进行迭代计算,直至所述距离之和小于预设阈值时停止迭代,得到匹配的点云数据对;
位置变换关系获取模块,用于根据所述点云数据对的坐标信息,确定导航仪坐标系与图像坐标系的位置变换关系。
在其中一些实施例中,点云空间注册装置还包括:粗匹配单元。
粗匹配单元,用于将图像坐标系中的点云与导航仪坐标系中人体表面特征点进行粗匹配。
在其中一些实施例中,所述粗匹配单元包括:特征点点云获取模块、图像点云获取模块和坐标对齐模块。
特征点点云获取模块,用于获取导航仪坐标系中人体表面所述预设投射区域内预设特征点的点云数据;
图像点云获取模块,用于获取图像坐标系中与所述预设特征点对应的点云数据;
坐标对齐模块,用于将至少两组点云数据对进行坐标对齐;每组所述点云数据对包括导航仪坐标系中的一个预设特征点和图像坐标系中对应的预设特征点。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图3描述的本申请实施例点云空间注册方法可以由电子设备来实现。图7为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器41以及存储有计算机程序指令的存储器42。
具体地,上述处理器41可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器42可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器42可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器42可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器42可在数据处理装置的内部或外部。在特定实施例中,存储器42是非易失性(Non-Volatile)存储器。在特定实施例中,存储器42包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器42可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器41所执行的可能的计算机程序指令。
处理器41通过读取并执行存储器42中存储的计算机程序指令,以实现上述实施例中的任意一种点云空间注册方法。
在其中一些实施例中,电子设备还可包括通信接口43和总线40。其中,如图7所示,处理器41、存储器42、通信接口43通过总线40连接并完成相互间的通信。
通信接口43用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口43还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线40包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线40包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线40可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、***组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线40可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令,执行本申请实施例中的点云空间注册方法,从而实现结合图3描述的点云空间注册方法。
另外,结合上述实施例中的点云空间注册方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种点云空间注册方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种光学投射装置,其特征在于,包括:发射层,所述发射层设置有至少两个点光源,每个所述点光源具有预设的光投射方向,各个所述点光源之间配置为预设的光投射关系;其中,所述光投射关系包括所述点光源间的位置关系,所述位置关系包括各所述点光源之间的距离以及排布形状;所述光投射关系还包括所述点光源大小、各所述点光源的发光顺序以及发光频率。
2.根据权利要求1所述的光学投射装置,其特征在于,沿所述点光源的光投射方向前置有方向校正层,用于校正所述点光源的光投射角度。
3.根据权利要求2所述的光学投射装置,其特征在于,所述方向校正层包括与所述点光源数量对应的多个校正装置,每个所述校正装置配置有平行于对应点光源预设光投射方向的第一投射通道。
4.根据权利要求2所述的光学投射装置,其特征在于,所述方向校正层包括与所述点光源数量对应的多个校正装置,每个所述校正装置配置有与对应点光源预设光投射方向呈预设角度的第二投射通道。
5.根据权利要求1所述的光学投射装置,其特征在于,所述发射层的点光源中包括至少一个基准点光源。
6.根据权利要求1所述的光学投射装置,其特征在于,所述光学投射装置还包括:控制器;
所述控制器,存储有多种模式的点光源控制程序,不同模式的所述点光源控制程序分别对应不同的点光源发光顺序和发光频率。
7.根据权利要求6所述的光学投射装置,其特征在于,还包括光源控制按键;
所述发射层设置有多个点光源,多个所述点光源成阵列排布;由不同所述点光源构成的不同光源排布形状和点光源之间的不同距离关系,对应得到多种光源形状;所述多种光源形状存储于所述控制器中;
所述光源控制按键用于切换所述控制器中存储的所述多种光源形状。
8.一种点云空间注册方法,其特征在于,包括:
获取导航仪坐标系中人体表面投射点的点云;所述投射点基于权利要求1至7任一项所述的光学投射装置在人体表面预设投射区域进行多次投射得到;
将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
9.一种点云空间注册装置,其特征在于,包括:
点云获取单元,用于获取导航仪坐标系中人体表面投射点的点云;所述投射点基于权利要求1至7任一项所述的光学投射装置在人体表面预设投射区域进行多次投射得到;
点云空间注册单元,用于将所述导航仪坐标系中投射点的点云与图像坐标系中的点云进行匹配,得到导航仪坐标系与图像坐标系的位置变换关系。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求8所述的点云空间注册方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110869641.0A CN113576664B (zh) | 2021-07-30 | 2021-07-30 | 点云空间注册方法、装置、设备和光学投射装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110869641.0A CN113576664B (zh) | 2021-07-30 | 2021-07-30 | 点云空间注册方法、装置、设备和光学投射装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113576664A CN113576664A (zh) | 2021-11-02 |
CN113576664B true CN113576664B (zh) | 2024-05-28 |
Family
ID=78252362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110869641.0A Active CN113576664B (zh) | 2021-07-30 | 2021-07-30 | 点云空间注册方法、装置、设备和光学投射装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113576664B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2310822A1 (en) * | 1999-06-11 | 2000-12-11 | Sherwood Services Ag | Ablation treatment of bone metastases |
CA2473963A1 (en) * | 2003-07-14 | 2005-01-14 | Sunnybrook And Women's College Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging |
CN101862220A (zh) * | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术***和方法 |
WO2013163391A1 (en) * | 2012-04-25 | 2013-10-31 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
CN103417184A (zh) * | 2012-05-23 | 2013-12-04 | 韦伯斯特生物官能(以色列)有限公司 | 支气管内导管 |
CN106063726A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院苏州生物医学工程技术研究所 | 实时穿刺导航***及其导航方法 |
CN106137395A (zh) * | 2016-07-22 | 2016-11-23 | 华南理工大学 | 应用于无标记点光学手术导航***的全自动病人注册方法 |
CN106420053A (zh) * | 2016-09-05 | 2017-02-22 | 上海逸动医学科技有限公司 | 骶髂关节置入螺钉固定s2椎体的通道定位方法及*** |
CN106725844A (zh) * | 2013-03-15 | 2017-05-31 | 柯惠有限合伙公司 | 微波能量递送设备与*** |
CN106963490A (zh) * | 2015-10-05 | 2017-07-21 | 柯惠有限合伙公司 | 用于进行自动测绘与精度测试的***与方法 |
CN108596145A (zh) * | 2018-05-09 | 2018-09-28 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、人脸识别装置及电子设备 |
CN109481017A (zh) * | 2018-12-24 | 2019-03-19 | 北京华科恒生医疗科技有限公司 | 导向螺丝及坐标系配准方法 |
CN109674536A (zh) * | 2019-01-25 | 2019-04-26 | 上海交通大学医学院附属第九人民医院 | 基于激光的手术导航***及其设备、方法和存储介质 |
CN110537985A (zh) * | 2019-10-12 | 2019-12-06 | 北京国润健康医学投资有限公司 | 用于增强现实手术***的脊柱空间坐标系定位装置及方法 |
CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及*** |
CN211176375U (zh) * | 2019-12-06 | 2020-08-04 | 上海创波光电科技有限公司 | 单光源多照明区域机器视觉用光源 |
CN111493878A (zh) * | 2020-03-17 | 2020-08-07 | 北京天智航医疗科技股份有限公司 | 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法 |
CN112992318A (zh) * | 2013-03-15 | 2021-06-18 | 柯惠有限合伙公司 | 路径规划***和方法 |
-
2021
- 2021-07-30 CN CN202110869641.0A patent/CN113576664B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2310822A1 (en) * | 1999-06-11 | 2000-12-11 | Sherwood Services Ag | Ablation treatment of bone metastases |
CA2473963A1 (en) * | 2003-07-14 | 2005-01-14 | Sunnybrook And Women's College Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging |
CN101862220A (zh) * | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术***和方法 |
WO2013163391A1 (en) * | 2012-04-25 | 2013-10-31 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
CN103417184A (zh) * | 2012-05-23 | 2013-12-04 | 韦伯斯特生物官能(以色列)有限公司 | 支气管内导管 |
CN106725844A (zh) * | 2013-03-15 | 2017-05-31 | 柯惠有限合伙公司 | 微波能量递送设备与*** |
CN112992318A (zh) * | 2013-03-15 | 2021-06-18 | 柯惠有限合伙公司 | 路径规划***和方法 |
CN106963490A (zh) * | 2015-10-05 | 2017-07-21 | 柯惠有限合伙公司 | 用于进行自动测绘与精度测试的***与方法 |
CN106063726A (zh) * | 2016-05-24 | 2016-11-02 | 中国科学院苏州生物医学工程技术研究所 | 实时穿刺导航***及其导航方法 |
CN106137395A (zh) * | 2016-07-22 | 2016-11-23 | 华南理工大学 | 应用于无标记点光学手术导航***的全自动病人注册方法 |
CN106420053A (zh) * | 2016-09-05 | 2017-02-22 | 上海逸动医学科技有限公司 | 骶髂关节置入螺钉固定s2椎体的通道定位方法及*** |
CN108596145A (zh) * | 2018-05-09 | 2018-09-28 | 深圳阜时科技有限公司 | 图案投射装置、图像获取装置、人脸识别装置及电子设备 |
CN109481017A (zh) * | 2018-12-24 | 2019-03-19 | 北京华科恒生医疗科技有限公司 | 导向螺丝及坐标系配准方法 |
CN109674536A (zh) * | 2019-01-25 | 2019-04-26 | 上海交通大学医学院附属第九人民医院 | 基于激光的手术导航***及其设备、方法和存储介质 |
CN110537985A (zh) * | 2019-10-12 | 2019-12-06 | 北京国润健康医学投资有限公司 | 用于增强现实手术***的脊柱空间坐标系定位装置及方法 |
CN211176375U (zh) * | 2019-12-06 | 2020-08-04 | 上海创波光电科技有限公司 | 单光源多照明区域机器视觉用光源 |
CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及*** |
CN111493878A (zh) * | 2020-03-17 | 2020-08-07 | 北京天智航医疗科技股份有限公司 | 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113576664A (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10219866B2 (en) | Optical tracking method and system based on passive markers | |
US7561733B2 (en) | Patient registration with video image assistance | |
US8657809B2 (en) | Surgical navigation system | |
EP3200876B1 (en) | Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus | |
EP3503033B1 (en) | Optical tracking system and optical tracking method | |
US10713796B2 (en) | Locating tumors using structured light scanning | |
US9691176B2 (en) | Method and system for forming a virtual model of a human subject | |
Mamone et al. | Projected augmented reality to drive osteotomy surgery: Implementation and comparison with video see-through technology | |
US11348216B2 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
CN113034612A (zh) | 一种标定装置、方法及深度相机 | |
US11481867B2 (en) | Device and method for registering three-dimensional data | |
WO2018069479A1 (en) | An intelligent model based patient positioning system for magnetic resonance imaging | |
Meng et al. | An automatic markerless registration method for neurosurgical robotics based on an optical camera | |
AU2020217368A1 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
CN113576664B (zh) | 点云空间注册方法、装置、设备和光学投射装置 | |
CN113362445B (zh) | 基于点云数据重建对象的方法及装置 | |
CN112998856A (zh) | 立体标记装置及骨科手术的三维实时定位方法 | |
JP2002175521A (ja) | 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体 | |
CN113591977A (zh) | 点对匹配方法、装置、电子设备和存储介质 | |
CN115908479A (zh) | 一种脑组织漂变校正方法和手术导航*** | |
KR20220096157A (ko) | 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치 | |
CN109269404B (zh) | 图像处理方法、装置及指纹识别设备 | |
CN116529756A (zh) | 监测方法、装置及计算机存储介质 | |
WO2021056452A1 (zh) | 患者位置检测方法及装置、放射医疗设备、可读存储介质 | |
CN114511597A (zh) | X光图像与ct图像的配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |