CN111540008B - 定位方法、装置、***、电子设备及存储介质 - Google Patents
定位方法、装置、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111540008B CN111540008B CN202010306904.2A CN202010306904A CN111540008B CN 111540008 B CN111540008 B CN 111540008B CN 202010306904 A CN202010306904 A CN 202010306904A CN 111540008 B CN111540008 B CN 111540008B
- Authority
- CN
- China
- Prior art keywords
- marker
- image
- determining
- model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 239000003550 marker Substances 0.000 claims abstract description 436
- 230000000638 stimulation Effects 0.000 claims abstract description 111
- 238000009877 rendering Methods 0.000 claims abstract description 52
- 230000009466 transformation Effects 0.000 claims description 100
- 230000003287 optical effect Effects 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 description 34
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 210000004761 scalp Anatomy 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 210000003625 skull Anatomy 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010001497 Agitation Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 230000001037 epileptic effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000020401 Depressive disease Diseases 0.000 description 1
- 206010021403 Illusion Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000002397 epileptogenic effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000000337 motor cortex Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
- A61N2/02—Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种定位方法、装置、***、电子设备及存储介质,其中,定位方法,包括:确定目标区域的三维影像模型,以及确定三维影像模型与第一标记物之间的第一相对位姿关系,第一标记物固定设置在目标区域;确定磁刺激线圈的磁场三维模型,以及确定磁场三维模型与第二标记物之间的第二相对位姿关系,第二标记物固定设置在磁刺激线圈上;采集包括第一标记物以及第二标记物的图像,确定第一标记物和第二标记物在图像中的当前位姿;根据第一标记物和第二标记物在图像中的当前位姿、第一相对位姿关系以及第二相对位姿关系,在界面上渲染三维影像模型和磁场三维模型,以根据渲染的界面对目标区域和磁场三维模型的相对位姿进行定位。
Description
技术领域
本申请实施例涉及数据处理技术领域,尤其涉及一种定位方法、装置、***、电子设备及存储介质。
背景技术
磁刺激手术(例如经颅磁刺激手术)是一种非入侵式、无创的神经手术。具体进行手术时,可以通过磁线圈生成磁场,并可以使得磁场无衰减地穿过颅骨等,在大脑神经或者外周神经肌肉等位置、基于交变磁场的交变电流原理生成感应电流,对神经细胞进行刺激,达到兴奋性或抑制性的效果。例如,在癫痫中,通过磁刺激手术降低运动皮层的兴奋性,抑制癫痫灶放电,从而实现癫痫的治疗或缓解;磁刺激手术还可以应用于抑郁症的治疗。
在进行磁刺激手术过程前,准确地进行磁刺激手术定位尤为重要。磁刺激手术定位是从已知的怀疑区域中定位出实施磁刺激的位置的技术。目前的定位方法可以包括两种,分别为体表定位法、导航经颅磁刺激法。然而上述两种方法的定位精度均较低,导致确定出的实施磁刺激的位置的精度较低,或难度较大。
发明内容
有鉴于此,本申请实施例所解决的技术问题之一在于提供一种定位方法、装置、***、电子设备及存储介质,用以克服或者缓解现有技术中的上述缺陷。
本申请实施例提供了一种定位方法,包括:确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
本申请实施例还提供一种定位***,包括:第一标记物、第二标记物、处理器,其中,所述第一标记物固定设置在目标区域,所述第二标记物固定设置在磁刺激线圈上,所述处理器用于:确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
本申请实施例还提供一种定位装置,包括:三维影像模型确定模块,用于确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;磁场三维模型确定模块,用于确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;采集模块,用于采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;渲染模块,用于根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
本申请实施例还提供一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一计算机程序,所述计算机程序使所述处理器执行如上所述的定位方法对应的操作。
本申请实施例还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的定位方法。
本申请实施例的方案中,将所述第一标记物固定设置在目标区域,将所述第二标记物固定设置在磁刺激线圈上,并确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,从而使得三维影像模型和磁场三维模型均被展现,且医生等可以根据界面准确地观察到三维影像模型和磁场三维模型的相对位姿关系,从而可以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位,提高了定位精度。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1为本申请实施例一提供的一种定位***的示意图;
图2为本申请实施例二提供的一种定位方法的流程示意图;
图3A为本申请实施例三提供的一种定位方法的流程示意图;
图3B为本申请实施例三提供的固定有第一标记物的患者头部的示意图;
图3C为本申请实施例三提供的固定有第二标记物的磁刺激线圈的示意图;
图3D为本申请实施例三提供的一使用场景示意图;
图4为本申请实施例四提供的一种定位装置的结构示意图;
图5为本申请实施例五中电子设备的结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
通常,经颅磁刺激技术中,可以移动磁刺激线圈,并将产生最强作用的磁刺激线圈的位置或者朝向,用作目标区域中带刺激区域的底层的脑结构的代理。具体确定代理的方式可以为:直接将其映射到皮层表面,或者计算磁感应强度等确定磁刺激实际对应的头皮位置。根据确定的代理,可以确定具体进行磁刺激手术时,磁刺激的头皮位置与实际被刺激的神经***组织之间的对应关系。
磁刺激定位技术,即利用上述确定的对应关系,从多个怀疑区域中确定具体需要进行刺激的位置的技术方案。
尤其针对MRI阴性的癫痫疾病,这种疾病的病灶的影像学表征不明显,导致在术前评估时会确定多个怀疑区域,且确定的怀疑区域的准确率较低。另外,针对这种疾病,为了达到较好的治疗效果,大多采用植入电极进行治疗的方案。
然而,传统的SEEG电极治疗方案具有价格昂贵、有创、电极实际利用率低且有少数患者本身不适合植入电极等缺点。因此,若可以通过磁刺激定位技术,在植入电极前减少怀疑区域数量,提高怀疑区域的准确度,将为MRI阴性癫痫患者的诊疗提供辅助,极大地提高电极的实际利用率。
因此,磁刺激定位技术的准确率在手术过程中有较大的影响。
为了提高磁刺激定位技术的准确率,本申请实施例提供了一种定位方法和定位***。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
图1为本申请实施例一提供的一种定位***的示意图;如图1所示,定位1示例性地包括:第一标记物101、第二标记物102、处理器103。
其中,所述第一标记物101固定设置在目标区域,所述第二标记物102固定设置在磁刺激线圈上,所述处理器103用于:确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物101之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物102之间的第二相对位姿关系;获取包括所述第一标记物101以及所述第二标记物102的图像,确定所述第一标记物101和所述第二标记物102在所述图像中的当前位姿;根据所述第一标记物101和所述第二标记物102在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型。
本实施例中,第一标记物101和第二标记物102具体可以为标记板,当然,也可以为其他,本实施例对此不进行限定。
本实施例中,第一标记物101固定设置在目标区域,使得第一标记物101相对于目标区域的位姿固定,即第一标记物101的位姿和目标区域的位姿同步发生变化,目标区域可以为包括病灶的位置,例如在进行经颅磁刺激手术时,目标区域可以为患者的头部等。由此,通过处理器103,可以确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物101之间的第一相对位姿关系。
第二标记物102固定设置在磁刺激线圈上,例如固定设置在磁刺激线圈的线圈头的侧面,使得第一标记物101相对于磁刺激线圈上的位姿固定,而磁刺激线圈用于生成磁场,则第二标记物102的位姿和生成的磁场的位姿同步发生变化,磁场可以用于刺激病灶区域的神经。由此,通过处理器103,可以确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物102之间的第二相对位姿关系。
另外,处理器103可以获取包括所述第一标记物101以及所述第二标记物102的图像,确定所述第一标记物101和所述第二标记物102在所述图像中的当前位姿;根据所述第一标记物101和所述第二标记物102在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
当第一标记物101与目标区域之间的位姿相对固定、第二标记物102与磁刺激线圈的位姿相对固定时;在确定所述第一标记物101和所述第二标记物102在所述图像中的当前位姿后,即相当于间接确定了三维影像模型和磁场三维模型在图像中的当前位姿,进而可以在界面上渲染出三维影像模型和磁场三维模型。
通过本实施例提供的方案,可以将原本人眼不可见的磁场进行可视化处理,且医生等可以根据渲染出的界面,方便、准确地观察出三维影像模型和磁场三维模型的相对位姿关系,从而对目标区域和磁场三维模型的相对位姿进行定位,提高了磁刺激的定位精度。
另外需要说明的是,上述中的相对位姿包括相对平移和旋转。
本实施例提供的方案,将所述第一标记物101固定设置在目标区域,将所述第二标记物102固定设置在磁刺激线圈上,并确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物101之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物102之间的第二相对位姿关系;获取包括所述第一标记物101以及所述第二标记物102的图像,确定所述第一标记物101和所述第二标记物102在所述图像中的当前位姿;根据所述第一标记物101和所述第二标记物102在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,从而使得三维影像模型和磁场三维模型均被展现,可以将原本人眼不可见的磁场进行可视化处理,且医生等可以根据界面准确地观察到三维影像模型和磁场三维模型的相对位姿关系,从而可以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位,提高了定位精度。
可选地,本申请实施例中,所述***还包括:光学***,用于采集包括所述第一标记物101以及所述第二标记物102的图像。
通过光学***采集的图像,可以使得渲染后的界面与实际的场景更加接近,以提高真实度。光学***具体可以为相机等,当然,这并不作为本申请的限定。
可选地,本申请实施例中,所述***还包括:混合现实设备,则所述处理器103还用于在所述混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
通过在混合现实设备的界面上渲染三维影像模型和磁场三维模型,可以最大限度的在将磁场可视化的基础上,增加渲染后界面的真实性。
当然,这并不作为本申请的限定,本申请其他实现方式中,也可以在电脑、手机等的屏幕显示面板的界面上进行渲染。
下面通过具体的方法步骤,对本申请提供的定位方法进行说明。
实施例二
图2为本申请实施例二提供的一种定位方法的流程示意图;如图2所示,其包括:
S201、确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域。
本实施例中,目标区域可以为包括病灶的位置,例如在进行经颅磁刺激手术时,目标区域可以为患者的头部等。
本实施例中,第一标记物固定设置在目标区域,使得第一标记物相对于目标区域的位姿固定,即第一标记物的位姿和目标区域的位姿同步发生变化,并可以通过第一相对位姿关系表征。
S202、确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上。
本实施例中,磁刺激线圈用于生成磁场,通过磁场可以对神经组织进行刺激。
本实施例中,第二标记物固定设置在磁刺激线圈上,使得第一标记物相对于磁刺激线圈上的位姿固定,而磁刺激线圈用于生成磁场,则第二标记物的位姿和生成的磁场的位姿同步发生变化,并可以通过第二位姿相对位姿关系表征。
本实施例中,磁场三维模型即磁刺激线圈生成的磁场的三维模型。
S203、采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿。
本实施例中,第一标记物与目标区域的位姿同步变化,第二标记物与磁刺激线圈的位姿同步变化,则可以采集同时包括第一标记物和第二标记物的图像,并确定第一标记物和第二标记物的当前位姿,即相当于间接确定了三维影像模型和磁场三维模型的当前位姿,从而可以通过后续步骤,将三维影像模型和磁场三维模型渲染在同一界面上,从而可以根据渲染后的界面,确定三维影像模型和磁场三维模型的相对位姿关系,进而可以根据渲染后的界面,对所述目标区域和磁场三维模型的相对位姿进行定位,并可以确定产生最强作用的磁刺激线圈的位姿。
S204、根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
通过本申请实施例提供的方案,将所述第一标记物固定设置在目标区域,将所述第二标记物固定设置在磁刺激线圈上,并确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,从而使得三维影像模型和磁场三维模型均被展现,且医生等可以根据界面准确地观察到三维影像模型和磁场三维模型的相对位姿关系,从而可以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位,提高了定位精度。
本申请实施例提供的方案可以由任意具备数据处理能力的电子设备执行,包括但不限于:电脑、移动终端(如手机、PAD等)、上位机等。
实施例三
图3A为本申请实施例三提供的一种定位方法的流程示意图;如图3A所示,其包括:
S301、将第一标记物固定在目标区域、将第二标记物固定在磁刺激线圈上。
本实施例中,以第一标记物和第二标记物为标记板为例进行说明,但本申请并不局限于此。
本实施例中,以目标区域为头部为例进行说明,如图3B所示,在患者的头部固定有四个标记板,这四个标记板均为第一标记物,但本申请并不局限于此。
如图3C所示,本实施例中,将第二标记物固定在磁刺激线圈的线圈头侧面,但本申请并不局限于此。
S302、扫描目标区域,生成三维影像模型。
具体地,本实施例中,可以扫描固定有第一标记物的目标区域,以确定第一标记物在三维影像模型的坐标系下的第二坐标,供后续使用,第二坐标即为第一标记物在三维影像模型的坐标系中的坐标表示,第二坐标可以包括第一标记物的角点在三维影像模型的坐标系中的第二子坐标。
可选地,本实施例中,可以在所述目标区域的三维图像上标记预设磁刺激位置;对标记有预设磁刺激位置的所述三维图像进行图像处理,确定标记有预设磁刺激位置的所述目标区域的三维影像模型。由此,可以直接在渲染时,将预设磁刺激位置也渲染在界面上,使得定位更加准确。
具体地,可以扫描固定有第一标记物的目标区域,得到三维图像。当目标区域为患者头部时,可以得到头皮颅骨三维图像。本实施例中,扫描得到的三维图像具体可以为离散数据。
然后,医生根据经验或使用智能技术等,在三维图像上将所有病灶怀疑区域标记为预设磁刺激位置。
本实施例中,当目标区域为患者头部时,无法直接根据扫描得到的三维图像直接观察出病灶怀疑区域,因此需要医生根据经验或采用智能技术,将所有病灶怀疑区域标记为预设磁刺激位置。但是,由于头皮、颅骨和预设磁刺激位置均可以在三维图像上进行勾勒,因此,可直接将预设磁刺激位置与头皮颅骨三维图像配准,从而得到标记有预设磁刺激位置的预设区域的三维影像模型。
具体地,进行阈值分割处理时,可以先使用各向异性扩散滤波的方法对扫描得到的三维图像进行降噪,并设置对应的阈值。若目标区域为患者头部,则可以设定头皮对应的阈值T1、颅骨对应的阈值T2。当然,本申请并不对此进行限定。
下面以患者头皮为例,对分割处理进行示例性说明。
由于扫描得到的三维影像为三维空间下的离散数据,因此可以使用MarchingCubes算法等,得到与阈值T1对应的离散的等值面片,即得到与头皮对应的等值面片,并可以将离散的头皮等值面片进行拼接得到连续的头皮等值面。然后使用面绘制/体绘制的方式进行三维重建,得到三维影像模型。
当进行与颅骨对应的处理时,将上述阈值修改即可,在此不再赘述。
本实施例中,可以先确定头皮与颅骨分别对应的等值面,再进行三维重建,或者可以确定头皮或颅骨中任一对应的等值面后即进行重建,本实施例对此不进行限定。
S303、确定磁刺激线圈的形状,基于磁场分布原理,生成与线圈形状对应的磁场三维模型。
本实施例中,以磁刺激线圈为“8”字型双线圈为例,当通过两线圈的电流方向相反时,磁感应强度相互加强,呈山峰状,线圈超过80%的能量聚焦在山峰这一片区域,据此,可以确定对应的磁场三维模型。
在本申请另一实现方式中,磁刺激线圈也可以为圆形线圈,其磁场分布呈火山口状,据此可以确定对应的磁场三维模型。
本实施例中,与“8”字型双线圈相比,圆形线圈的刺激面积较大;与圆形线圈相比,“8”字型双线圈的刺激较为精确。
当然,上述仅对磁刺激线圈进行示例性说明,并不作为本申请的限定。
S304、确定所述三维影像模型与第一标记物之间的第一相对位姿关系,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系。
本实施例中,可以根据光学***确定三维影像模型与第一标记物之间的相对位姿关系。
具体地,可以确定所述第一标记物在光学***的坐标系下的第一坐标,第一标记物在三维影像模型的坐标系下的第二坐标,根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系;根据所述第一坐标和所述第二坐标,确定三维影像模型的坐标系与所述光学***的坐标系之间的第二变换关系;根据所述第一变换关系和所述第二变换关系,确定所述三维影像模型与第一标记物之间的第一相对位姿关系。
具体地,确定的第一坐标具体可以为第一标记物上的多个点(例如角点)对应的第一子坐标,对应的,确定的第二坐标具体可以为第二标记物上的多个点(例如角点)对应的第二子坐标。
确定多个第一子坐标后,可以根据第一标记物的物理空间的参数,例如长度、宽度等,确定多个点在第一标记物的局部坐标系下的坐标,然后基于刚体变换原理,确定第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系,具体可以确定第一标记物的局部坐标系变换至光学***的坐标系的刚体变换矩阵。
然后可以利用多个点对应的第一子坐标和第二子坐标,基于刚体变换原理,建立原点坐标集和目标点坐标集,原点坐标集中包括多个原点坐标,目标点坐标集中包括多个目标点坐标,且原点坐标和目标点坐标一一对应,其中,一一对应原点坐标和目标点坐标可以为第一标记物上的同一点分别在光学***的坐标系和三维影像模型的坐标系下的坐标。
本实施例中,建立原点坐标集和目标点坐标集之后,可以确定三维影像模型的坐标系与所述光学***的坐标系之间的第二变换关系,具体可以为三维影像模型的坐标系到光学***的坐标系的刚体变换矩阵。
本实施例中,建立对应的原点坐标集和目标点坐标集后,可以使用Landmark算法,即利用最小二乘法迭代最小化两个坐标集对应点之间的距离,确定两个坐标集配准时的刚体变换矩阵,两个坐标集配准时的刚体变换矩阵即三维影像模型的坐标系变换至光学***坐标系中的刚体变换矩阵。当然,本申请并不局限于此。
当确定第一变换关系和第二变换关系后,可以根据所述第一变换关系和所述第二变换关系,确定所述三维影像模型与第一标记物之间的第一相对位姿关系。
具体地,可以基于与第一变换关系和第二变换关系对应的刚体变换矩阵,得到三维影像模型的坐标系与第一标记物的局部坐标系之间的变换关系,即三维影像模型与第一标记物之间的第一相对位姿关系。
本实施例中,确定的第一相对位姿关系可以为:
T(3D person)2(m1)=T(camera)2(m1)·T(3D person)2(camera)
其中,T(3D person)2(m1)表示第一标记物的局部坐标系与三维影像模型的坐标系的刚体变换矩阵(即第一相对位姿关系),T(camera)2(m1)表示第一标记物的局部坐标系与光学***坐标系的刚体变换矩阵,T(3D person)2(camera)表示光学***坐标系与三维影像模型的坐标系的刚体变换矩阵。
与第一标记物类似,本实施例中,可以确定所述第二标记物在所述光学***的坐标系下的第三坐标;根据所述第三坐标,确定所述第二标记物的局部坐标系与所述光学***的坐标系之间的第三变换关系;确定所述第二标记物在所述磁场三维模型的坐标系下的第四坐标;根据所述第三坐标和所述第四坐标,确定所述磁场三维模型的坐标系与所述光学***的坐标系之间的第四变换关系;根据所述第三变换关系和所述第四变换关系,确定所述磁场三维模型与第二标记物之间的第二相对位姿关系。具体计算流程与上述类似,在此不再赘述。
计算得到的磁场三维模型与第二标记物之间的第二相对位姿关系可以为刚体变换矩阵T(3D magnetic field)2(m2)=T(camera)2(m2)·T(3D magnetic field)2(camera);
其中,T(3D magnetic field)2(m2)表示第二标记物的局部坐标系与磁场三维模型的坐标系的刚体变换矩阵,T(camera)2(m2)表示第二标记物的局部坐标系与光学***的坐标系的刚体变换矩阵,T(3D magnetic field)2(camera)示光学***的坐标系与磁场三维模型的刚体变换矩阵。
S305、存储得到的三维影像模型、磁场三维模型、第一标记物、第二标记物,以及第一相对位姿关系、第二相对位姿关系。
本实施例中,若在混合现实设备的界面上进行渲染,则可以将存储的内容通过无线或有线方式传输到混合现实设备中。
S306、采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿。
具体地,可以通过所述光学***采集包括所述第一标记物以及所述第二标记物的图像。
由此,可以采用上述步骤中确定的第一变换关系,确定第一标记物在所述图像中的当前位姿,还可以根据第二变换关系,确定第二标记物在所述图像中的当前位姿。无需再另外进行计算,节省了计算时间。
当然,这并不作为本申请的限定。
下面对使用光学***时确定第一变换关系的方法进行具体说明。
具体地,确定所述第一标记物在光学***的坐标系下的第一坐标,可以包括:在所述光学***的坐标系下,确定所述第一标记物的多个角点分别对应的第一子坐标;
所述根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系,可以包括:预先确定所述第一标记物的局部坐标系下,多个角点对应的局部子坐标;基于多点透视原理,根据多个第一子坐标以及多个局部子坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的所述第一变换关系。
本实施例中,角点可以为极值点,即在某方面属性特别突出的点,是在某些属性上强度最大或者最小的孤立点、线段的终点。对于标记物而言,标记物上包括黑白格图案,则角点可以为黑白格的交点。当然,这并不作为本申请的限定。
本申请中,在确定角点对应的第一子坐标和局部子坐标后,基于多点透视原理,确定第一标记物的局部坐标系与光学跟踪坐标系之间的第一变换关系。
多点透视原理是指利用视觉错觉的方法,进行视域的拆分组合,将看到的事物有序的组织到图像中的方法,即将实际能够看到的三维或二维事物,例如标记物、磁刺激线圈等,组织到图像中的原理。
第一变换关系具体可以为基于多点透视原理确定的第一标记物到光学跟踪的坐标系的透视变换矩阵。
类似的,第二标记物的局部坐标系与所述光学***的坐标系之间的第三变换关系,具体可以为基于多点透视原理确定的第二标记物到光学跟踪的坐标系的透视变换矩阵。
示例的,在本步骤中,若光学***为相机,则可以先使用张正友平面标定法预先获取相机的内参及畸变系数。
然后,可以根据第一标记物和第二标记物的实际尺寸等,建立第一标记物的图像的模板和第二标记物的图像的模板。具体构建模板时,可以采集标记板的图像,并可以建立以图像中心为原点的局部坐标系,然后将图像进行灰度化、阈值化等操作,从中提取到角点。将各个角点的z坐标记为0,并基于建立的局部坐标系,确定对应的x、y坐标。由此,根据确定的各个角点的坐标值、标记物的实际尺寸等,构建模板。若标记物上还包括黑白块,则可以通过黑白块汉明编码值,区分标记物为第一标记物或者第二标记物。
然后,可以通过光学***采集包括第一标记物和第二标记物的图像,并基于构建的模板,确定第一标记物和第二标记物在图像中的当前位姿。具体地,采集图像时,可以通过相机采集连续的图像帧,生成视频流。然后可以针对视频流的每一帧均确定当前位姿;或者,可以从视频流中选取部分帧,并针对选取的帧确定当前位姿,本实施例对此不进行限定。在进行选取时,可以每隔一段时间进行选取,也可以按照图像质量进行选取,当然,也可以通过其他方式进行选取,本实施例对此不进行限定。
具体确定第一标记物和第二标记物的当前位姿时,可以将图像进行灰度化处理、阈值化处理、提取轮廓等不同的操作,得到多个候选图像,并对图像进行筛选得到多个候选标记图像。然后可以根据建立的图像模板,对候选标记板图像进行透视变换,将其转化为矩形的图像。
具体地,可以先通过下述公式求解透视变化矩阵,然后通过透视变化矩阵,将候选标记板图像进行透视变换,将其转化为矩形的图像。
求解透视变化矩阵的公式为:
求解透视变化矩阵后,即可基于该矩阵将候选标记图像恢复为矩形的图像。
本实施例中,矩形的图像是指图像中的标记物形状为矩形,与真实物理场景中的标记物形状一致。
若标记物为其他形状,也可以根据透视变换矩阵,将候选标记图像恢复为其他形状的图像,本申请并不对此进行限定。
恢复为矩形图案后,若标记物上包括黑白块,则可以识别黑白块的汉明编码值,以确定标记物为第一标记物或者第二标记物。
恢复为矩形图案后,针对每个标记物(包括第一标记物和第二标记物),可以基于相机内参、恢复为矩形后的候选标记图像和模板间角点的对应关系,使用N点透视位姿求解方法得到标记板坐标系下的光学***的位姿,即光学***的坐标系转换为标记物的局部坐标系时的刚体变换矩阵。
求解原理为:
其中,s为尺度因子。表示成像平面上角点的2D点坐标的三维表示,即转换为矩形图像的候选标记图像上的角点坐标。表示模板中角点的3D坐标。是相机内参,是待求解的标记板的局部坐标系下的光学***的位姿,其中,前三列表示旋转变换矩阵,第四列为平移向量。
针对第一标记物和第二标记物,均通过上述原理确定其在图像中的当前位姿。
另外需要说明的是,本申请上述方案仅对求解原理进行说明,在实际使用时,如图3D所示,可以通过光学***,例如混合现实设备的相机,实时跟踪并采集包括第一标记物和第二标记物的图像,然后通过处理器或者混合现实设备,基于上述求解原理,计算得到第一标记物和第二标记物在实时采集的图像中的当前位姿,进而可以在混合显示设备的界面上渲染磁场三维模型和三维场景模型。
由于预先确定了模板,且获取图像中角点的坐标的速度较快,即特征提取及模板匹配速度较快,从而可以快速实现对标记物的当前位姿的确定,进而可以实现实时对场景中多个标记物的跟踪。
S307、根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
具体地,本实施例中,根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型可以包括:
根据所述第一标记物在所述图像中的当前位姿,以及所述第一相对位姿关系,计算得到所述三维影像模型在所述图像中的当前位姿;根据所述第二标记物在所述图像中的当前位姿,以及所述第二相对位姿关系,计算得到所述磁场三维模型在所述图像中的当前位姿;根据所述三维影像模型和所述磁场三维模型在所述图像中的当前位姿,在界面上渲染所述三维影像模型和所述磁场三维模型。
本实施例中,由于第一相对位姿关系为第一标记物与三维影像模型之间的相对位姿,则可以基于此,根据第一标记物的当前位姿,确定三维影像模型的当前位姿。例如,将第一标记物的当前位姿对应的刚体变换矩阵与第一相对位姿关系对应的刚体变换矩阵相乘,从而计算得到三维影像模型的当前位姿对应的刚体变换矩阵。
计算得到磁场三维模型的当前位姿的原理与上述类似,在此不再赘述。
具体地,本实施例中,计算得到的三维影像模型的当前位姿可以为:
T(3D person)2(camera)=T(m1)2(camera)·T(3D person)2(m1)
其中,T(3D person)2(camera)表示光学***的坐标系与三维影像模型的坐标系的刚体变换矩阵(即三维影像模型在图像中的当前位姿),T(m1)2(camera)表示光学***的坐标系与第一标记物的局部坐标系之间的刚体变换矩阵(即第一标记物在图像中的当前位姿),T(3D person)2(m1)表示第一标记物的局部坐标系与三维影像模型的坐标系之间的刚体变换矩阵(即第一相对位姿关系)。
计算得到的磁场三维模型的当前位姿可以为:
T(3D magnetic field)2(camera)=T(m2)2(camera)·T(3D magnetic field)2(m2)
其中,T(3D magnetic field)2(camera)表示光学***的坐标系与磁场三维模型的坐标系之间的刚体变换矩阵(即磁场三维模型的当前位姿),T(m2)2(camera)表示光学***的坐标系与第二标记物的局部坐标系之间的刚体变换矩阵(即第二标记物在图像中的当前位姿),T(3D magnetic field)2(m2)表示第二标记物的局部坐标系与磁场三维模型的坐标系之间的刚体变换矩阵(即第二相对位姿关系)。
计算得到三维影像模型和磁场三维模型在图像中的当前位姿后,可以据此在界面中渲染三维影像模型和磁场三维模型。
具体进行渲染时,三维影像模型可以直接与图像中包括的目标区域叠加。
通过渲染后的界面,可以确定三维影像模型、磁场三维模型和图像中原本存在的第一标记物、第二标记物等已进行配准。
在磁刺激线圈的移动过程中,通过上述方案,可以实时采集图像并进行渲染,以实时更新向医生等展示的三维影像模型和磁场三维模型,使得展示的界面中的磁场三维模型等与手术过程同步。
本实施例中,具体可以在混合现实设备的界面上进行渲染。渲染界面后,医生可以通过混合现实设备的界面上观察到磁场三维模型和目标区域以及目标区域对应的三维影像模型,由此,可以根据界面准确地对目标区域和磁场三维模型的相对位姿进行定位。
另外,在手术过程中,医生可以移动磁刺激线圈,例如,经颅磁刺激仪线圈头,在此过程中,磁场三维模型始终与磁刺激线圈的线圈头刺激平面相切,且,磁场三维模型磁场分布三维模型最高峰与经颅磁刺激线圈头中心刺激点水平对齐,从而可以直接对中心刺激点进行定位。
另外,还可以在所述目标区域的三维图像上标记预设磁刺激位置,然后可以对标记有预设磁刺激位置的所述三维图像进行图像处理,确定标记有预设磁刺激位置的所述目标区域的三维影像模型,使得渲染到界面的三维影像模型上包括预设磁刺激位置。
医生根据预设磁刺激位置,移动磁刺激线圈,磁场三维模型的与预设磁刺激位置重叠,即可实现预设磁刺激位置的定位,继而可以进行磁刺激手术。
另外需要说明的是,本实施例中,为了使医生能够通过渲染后的界面观察到真实的目标区域,因此,在渲染时,可以按照第一预设透明度渲染所述三维影像模型,使得三维影像模型不完全遮挡目标区域;另外,还可以按照第二预设透明度渲染所述磁场三维模型,使得能够更好地观察到磁场与目标区域重叠的位置。
实施例四
图4为本申请实施例四提供的一种定位装置,如图4所示,其包括:三维影像模型确定模块401、磁场三维模型确定模块402、采集模块403、渲染模块404。
三维影像模型确定模块401,用于确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;
磁场三维模型确定模块402,用于确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;
采集模块403,用于采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;
渲染模块404,用于根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
可选地,本申请任意实施例中,所述装置还包括:第一坐标确定模块,用于确定所述第一标记物在光学***的坐标系下的第一坐标;第一变换确定模块,用于根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系;对应的,所述采集模块403具体用于通过所述光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第一变换关系,确定所述第一标记物在所述图像中的当前位姿。
可选地,本申请任意实施例中,所述三维影像模型确定模块401,包括:第二坐标确定模块,用于确定所述第一标记物在所述三维影像模型的坐标系下的第二坐标;第二变换确定模块,用于根据所述第一坐标和所述第二坐标,确定三维影像模型的坐标系与所述光学***的坐标系之间的第二变换关系;第一位姿关系确定模块,用于根据所述第一变换关系和所述第二变换关系,确定所述三维影像模型与第一标记物之间的第一相对位姿关系。
可选地,本申请任意实施例中,第一坐标确定模块,包括:第一子坐标确定模块,用于在所述光学***的坐标系下,确定所述第一标记物的多个角点分别对应的第一子坐标;对应的,所述第一变换确定模块,包括:局部子坐标确定模块,用于预先确定所述第一标记物的局部坐标系下,多个角点对应的局部子坐标;第一变换确定子模块,用于基于多点透视原理,根据多个第一子坐标以及多个局部子坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的所述第一变换关系。
可选地,本申请任意实施例中,所述装置还包括:第三坐标确定模块,用于确定所述第二标记物在所述光学***的坐标系下的第三坐标;第三变换确定模块,用于根据所述第三坐标,确定所述第二标记物的局部坐标系与所述光学***的坐标系之间的第三变换关系;对应的,所述采集模块403具体用于通过光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第三变换关系,确定所述第二标记物在所述图像中的当前位姿。
可选地,本申请任意实施例中,所述磁场三维模型确定模块402,包括:第四坐标确定模块,用于确定所述第二标记物在所述磁场三维模型的坐标系下的第四坐标;第四变换确定模块,用于根据所述第三坐标和所述第四坐标,确定所述磁场三维模型的坐标系与所述光学***的坐标系之间的第四变换关系;第二位姿关系确定模块,用于根据所述第三变换关系和所述第四变换关系,确定所述磁场三维模型与第二标记物之间的第二相对位姿关系。
可选地,本申请任意实施例中,所述渲染模块404,包括:三维影像模型位姿确定模块,用于根据所述第一标记物在所述图像中的当前位姿,以及所述第一相对位姿关系,计算得到所述三维影像模型在所述图像中的当前位姿;磁场三维模型位姿确定模块,用于根据所述第二标记物在所述图像中的当前位姿,以及所述第二相对位姿关系,计算得到所述磁场三维模型在所述图像中的当前位姿;渲染子模块,用于根据所述三维影像模型和所述磁场三维模型在所述图像中的当前位姿,在界面上渲染所述三维影像模型和所述磁场三维模型。
可选地,本申请任意实施例中,所述三维影像模型确定模块401,包括:预设位置确定模块,用于在所述目标区域的三维图像上标记预设磁刺激位置;三维影像模型确定子模块,用于对标记有预设磁刺激位置的所述三维图像进行图像处理,确定标记有预设磁刺激位置的所述目标区域的三维影像模型。
可选地,本申请任意实施例中,所述渲染模块404具体用于按照第一预设透明度渲染所述三维影像模型,和/或,按照第二预设透明度渲染所述磁场三维模型。
可选地,本申请任意实施例中,所述渲染模块404具体用于在混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
本申请提供的方案,将所述第一标记物固定设置在目标区域,将所述第二标记物固定设置在磁刺激线圈上,并确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,从而使得三维影像模型和磁场三维模型均被展现,且医生等可以根据界面准确地观察到三维影像模型和磁场三维模型的相对位姿关系,从而可以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位,提高了定位精度。
实施例五
本申请另一实施例还提供一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一计算机程序,所述计算机程序使所述处理器执行如上所述的定位方法对应的操作。
示例的,电子设备可以为定位***中的工作台,工作台中设置有处理器。
示例的,参照图5,示出了根据本发明实施例五的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示,该电子设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它电子设备或服务器进行通信。
处理器502,用于执行程序510,具体可以执行上述定位方法实施例中的相关步骤。
示例的,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放计算机程序510,所述计算机程序510使所述处理器506执行如上所述的定位方法对应的操作。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
A1、一种定位方法,其特征在于,包括:
确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;
确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;
采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;
根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
A2、根据权利要求A1所述的方法,其特征在于,所述方法还包括:
确定所述第一标记物在光学***的坐标系下的第一坐标;
根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系;
对应的,所述第一标记物在所述图像中的当前位姿通过下述方法确定:
通过所述光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第一变换关系,确定所述第一标记物在所述图像中的当前位姿。
A3、根据权利要求A2所述的方法,其特征在于,所述确定所述三维影像模型与第一标记物之间的第一相对位姿关系,包括:
确定所述第一标记物在所述三维影像模型的坐标系下的第二坐标;
根据所述第一坐标和所述第二坐标,确定三维影像模型的坐标系与所述光学***的坐标系之间的第二变换关系;
根据所述第一变换关系和所述第二变换关系,确定所述三维影像模型与第一标记物之间的第一相对位姿关系。
A4、根据权利要求A2所述的方法,其特征在于,所述确定所述第一标记物在光学***的坐标系下的第一坐标,包括:
在所述光学***的坐标系下,确定所述第一标记物的多个角点分别对应的第一子坐标;
所述根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系包括:
预先确定所述第一标记物的局部坐标系下,所述多个角点对应的局部子坐标;
基于多点透视原理,根据多个所述第一子坐标以及多个所述局部子坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的所述第一变换关系。
A5、根据权利要求A1所述的方法,其特征在于,所述方法还包括:
确定所述第二标记物在光学***的坐标系下的第三坐标;
根据所述第三坐标,确定所述第二标记物的局部坐标系与所述光学***的坐标系之间的第三变换关系;
对应的,所述第二标记物在所述图像中的当前位姿通过下述方法确定:
通过光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第三变换关系,确定所述第二标记物在所述图像中的当前位姿。
A6、根据权利要求A5所述的方法,其特征在于,所述确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,包括:
确定所述第二标记物在所述磁场三维模型的坐标系下的第四坐标;
根据所述第三坐标和所述第四坐标,确定所述磁场三维模型的坐标系与所述光学***的坐标系之间的第四变换关系;
根据所述第三变换关系和所述第四变换关系,确定所述磁场三维模型与第二标记物之间的第二相对位姿关系。
A7、根据权利要求A1所述的方法,其特征在于,所述根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,包括:
根据所述第一标记物在所述图像中的当前位姿,以及所述第一相对位姿关系,计算得到所述三维影像模型在所述图像中的当前位姿;
根据所述第二标记物在所述图像中的当前位姿,以及所述第二相对位姿关系,计算得到所述磁场三维模型在所述图像中的当前位姿;
根据所述三维影像模型和所述磁场三维模型在所述图像中的当前位姿,在界面上渲染所述三维影像模型和所述磁场三维模型。
A8、根据权利要求A1所述的方法,其特征在于,所述确定目标区域的三维影像模型包括:
在所述目标区域的三维图像上标记预设磁刺激位置;
对标记有预设磁刺激位置的所述三维图像进行图像处理,确定标记有预设磁刺激位置的所述目标区域的三维影像模型。
A9、根据权利要求A1所述的方法,其特征在于,所述在界面上渲染所述三维影像模型和所述磁场三维模型,包括:按照第一预设透明度渲染所述三维影像模型,和/或,按照第二预设透明度渲染所述磁场三维模型。
A10、根据权利要求A1所述的方法,其特征在于,所述在界面上渲染所述三维影像模型和所述磁场三维模型,包括:
在混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
A11、一种定位***,其特征在于,包括:第一标记物、第二标记物、处理器,其中,所述第一标记物固定设置在目标区域,所述第二标记物固定设置在磁刺激线圈上,所述处理器用于:确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
A12、根据权利要求A11所述的***,其特征在于,还包括:光学***,用于采集包括所述第一标记物以及所述第二标记物的图像。
A13、根据权利要求A11所述的***,其特征在于,还包括:混合现实设备,则所述处理器还用于在所述混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
A14、一种定位装置,其特征在于,包括:
三维影像模型确定模块,用于确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;
磁场三维模型确定模块,用于确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;
采集模块,用于采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿;
渲染模块,用于根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
A15、一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一计算机程序,所述计算机程序使所述处理器执行如A1-A10任一项所述的定位方法对应的操作。
A16、一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求A1-A10任一项所述的定位方法。
至此,已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序,以实现期望的结果。在某些实施方式中,多任务处理和并行处理可以是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机计算机程序的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种定位方法,其特征在于,包括:
确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;
确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;
采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿,其具体包括:采集第一标记物的图像和第二标记物的图像,从所述第一标记物的图像和所述第二标记物的图像提取角点;并根据所述角点的坐标值、所述第一标记物和所述第二标记物的实际尺寸,建立所述第一标记物的图像的模板和所述第二标记物的图像的模板,进一步基于所述第一标记物的图像的模板和所述第二标记物的图像模板确定所述第一标记物和所述第二标记物的当前位姿;
根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述第一标记物在光学***的坐标系下的第一坐标;
根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系;
对应的,所述第一标记物在所述图像中的当前位姿通过下述方法确定:
通过所述光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第一变换关系,确定所述第一标记物在所述图像中的当前位姿。
3.根据权利要求2所述的方法,其特征在于,所述确定所述三维影像模型与第一标记物之间的第一相对位姿关系,包括:
确定所述第一标记物在所述三维影像模型的坐标系下的第二坐标;
根据所述第一坐标和所述第二坐标,确定三维影像模型的坐标系与所述光学***的坐标系之间的第二变换关系;
根据所述第一变换关系和所述第二变换关系,确定所述三维影像模型与第一标记物之间的第一相对位姿关系。
4.根据权利要求2所述的方法,其特征在于,所述确定所述第一标记物在光学***的坐标系下的第一坐标,包括:
在所述光学***的坐标系下,确定所述第一标记物的多个角点分别对应的第一子坐标;
所述根据所述第一坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的第一变换关系包括:
预先确定所述第一标记物的局部坐标系下,所述多个角点对应的局部子坐标;
基于多点透视原理,根据多个所述第一子坐标以及多个所述局部子坐标,确定所述第一标记物的局部坐标系与所述光学***的坐标系之间的所述第一变换关系。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述第二标记物在光学***的坐标系下的第三坐标;
根据所述第三坐标,确定所述第二标记物的局部坐标系与所述光学***的坐标系之间的第三变换关系;
对应的,所述第二标记物在所述图像中的当前位姿通过下述方法确定:
通过光学***采集包括所述第一标记物以及所述第二标记物的图像,基于所述第三变换关系,确定所述第二标记物在所述图像中的当前位姿。
6.根据权利要求5所述的方法,其特征在于,所述确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,包括:
确定所述第二标记物在所述磁场三维模型的坐标系下的第四坐标;
根据所述第三坐标和所述第四坐标,确定所述磁场三维模型的坐标系与所述光学***的坐标系之间的第四变换关系;
根据所述第三变换关系和所述第四变换关系,确定所述磁场三维模型与第二标记物之间的第二相对位姿关系。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,包括:
根据所述第一标记物在所述图像中的当前位姿,以及所述第一相对位姿关系,计算得到所述三维影像模型在所述图像中的当前位姿;
根据所述第二标记物在所述图像中的当前位姿,以及所述第二相对位姿关系,计算得到所述磁场三维模型在所述图像中的当前位姿;
根据所述三维影像模型和所述磁场三维模型在所述图像中的当前位姿,在界面上渲染所述三维影像模型和所述磁场三维模型。
8.根据权利要求1所述的方法,其特征在于,所述确定目标区域的三维影像模型包括:
在所述目标区域的三维图像上标记预设磁刺激位置;
对标记有预设磁刺激位置的所述三维图像进行图像处理,确定标记有预设磁刺激位置的所述目标区域的三维影像模型。
9.根据权利要求1所述的方法,其特征在于,所述在界面上渲染所述三维影像模型和所述磁场三维模型,包括:按照第一预设透明度渲染所述三维影像模型,和/或,按照第二预设透明度渲染所述磁场三维模型。
10.根据权利要求1所述的方法,其特征在于,所述在界面上渲染所述三维影像模型和所述磁场三维模型,包括:
在混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
11.一种定位***,其特征在于,包括:第一标记物、第二标记物、处理器,其中,所述第一标记物固定设置在目标区域,所述第二标记物固定设置在磁刺激线圈上,所述处理器用于:确定所述目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系;确定所述磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系;获取包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿,具体获取包括:采集第一标记物的图像和第二标记物的图像,从所述第一标记物的图像和所述第二标记物的图像提取角点;并根据所述角点的坐标值、所述第一标记物和所述第二标记物的实际尺寸,建立所述第一标记物的图像的模板和所述第二标记物的图像的模板,进一步基于所述第一标记物的图像的模板和所述第二标记物的图像模板确定所述第一标记物和所述第二标记物的当前位姿;根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
12.根据权利要求11所述的***,其特征在于,还包括:光学***,用于采集包括所述第一标记物以及所述第二标记物的图像。
13.根据权利要求11所述的***,其特征在于,还包括:混合现实设备,则所述处理器还用于在所述混合现实设备的界面上渲染所述三维影像模型和所述磁场三维模型。
14.一种定位装置,其特征在于,包括:
三维影像模型确定模块,用于确定目标区域的三维影像模型,以及确定所述三维影像模型与第一标记物之间的第一相对位姿关系,所述第一标记物固定设置在所述目标区域;
磁场三维模型确定模块,用于确定磁刺激线圈的磁场三维模型,以及确定所述磁场三维模型与第二标记物之间的第二相对位姿关系,所述第二标记物固定设置在所述磁刺激线圈上;
采集模块,用于采集包括所述第一标记物以及所述第二标记物的图像,确定所述第一标记物和所述第二标记物在所述图像中的当前位姿,具体采集包括:采集第一标记物的图像和第二标记物的图像,从所述第一标记物的图像和所述第二标记物的图像提取角点;并根据所述角点的坐标值、所述第一标记物和所述第二标记物的实际尺寸,建立所述第一标记物的图像的模板和所述第二标记物的图像的模板,进一步基于所述第一标记物的图像的模板和所述第二标记物的图像模板确定所述第一标记物和所述第二标记物的当前位姿;
渲染模块,用于根据所述第一标记物和所述第二标记物在所述图像中的当前位姿、所述第一相对位姿关系以及所述第二相对位姿关系,在界面上渲染所述三维影像模型和所述磁场三维模型,以根据渲染的界面对所述目标区域和所述磁场三维模型的相对位姿进行定位。
15.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一计算机程序,所述计算机程序使所述处理器执行如权利要求1-10任一项所述的定位方法对应的操作。
16.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-10任一项所述的定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010306904.2A CN111540008B (zh) | 2020-04-17 | 2020-04-17 | 定位方法、装置、***、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010306904.2A CN111540008B (zh) | 2020-04-17 | 2020-04-17 | 定位方法、装置、***、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111540008A CN111540008A (zh) | 2020-08-14 |
CN111540008B true CN111540008B (zh) | 2022-10-11 |
Family
ID=71975086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010306904.2A Active CN111540008B (zh) | 2020-04-17 | 2020-04-17 | 定位方法、装置、***、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111540008B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114159159A (zh) * | 2020-09-10 | 2022-03-11 | 杭州三坛医疗科技有限公司 | 手术导航方法及装置、电子设备、存储介质 |
CN114176776B (zh) * | 2021-12-15 | 2024-07-23 | 中国医学科学院生物医学工程研究所 | 一种用于同步双线圈磁刺激的神经导航定位*** |
CN114224486B (zh) * | 2021-12-15 | 2024-07-23 | 中国医学科学院生物医学工程研究所 | 一种用于声场和磁场正交定位的神经导航定位*** |
CN114366330A (zh) * | 2022-01-13 | 2022-04-19 | 北京歌锐科技有限公司 | 一种混合现实***及基于混合现实的标识物配准方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2425075A1 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
CN101912668A (zh) * | 2010-07-26 | 2010-12-15 | 香港脑泰科技有限公司 | 一种导航经颅磁刺激治疗*** |
CN102814002A (zh) * | 2012-08-08 | 2012-12-12 | 深圳先进技术研究院 | 经颅磁刺激导航***及经颅磁刺激线圈定位方法 |
CN107497049A (zh) * | 2017-09-30 | 2017-12-22 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激器的电磁定位导航方法及装置 |
CN109701160A (zh) * | 2019-01-23 | 2019-05-03 | 中国人民解放军总医院 | 影像引导下可见光定位导航装置及方法 |
-
2020
- 2020-04-17 CN CN202010306904.2A patent/CN111540008B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2425075A1 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
CN101912668A (zh) * | 2010-07-26 | 2010-12-15 | 香港脑泰科技有限公司 | 一种导航经颅磁刺激治疗*** |
CN102814002A (zh) * | 2012-08-08 | 2012-12-12 | 深圳先进技术研究院 | 经颅磁刺激导航***及经颅磁刺激线圈定位方法 |
CN107497049A (zh) * | 2017-09-30 | 2017-12-22 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激器的电磁定位导航方法及装置 |
CN109701160A (zh) * | 2019-01-23 | 2019-05-03 | 中国人民解放军总医院 | 影像引导下可见光定位导航装置及方法 |
Non-Patent Citations (1)
Title |
---|
经颅磁刺激线圈定位方法研究;王辉;《集成技术》;20130731;第2卷(第4期);第49-55页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111540008A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111540008B (zh) | 定位方法、装置、***、电子设备及存储介质 | |
McJunkin et al. | Development of a mixed reality platform for lateral skull base anatomy | |
EP2919194B1 (en) | Image data processing device and transcranial magnetic stimulation apparatus | |
Wang et al. | Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery | |
CN111281540B (zh) | 基于虚实融合的骨科微创术中实时可视化导航*** | |
Duan et al. | 3D tracking and positioning of surgical instruments in virtual surgery simulation. | |
EP4074371A1 (en) | Methods, systems, and apparatuses for guiding transducer placements for tumor treating fields | |
Shan et al. | Augmented reality based brain tumor 3D visualization | |
Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
Gerard et al. | Combining intraoperative ultrasound brain shift correction and augmented reality visualizations: a pilot study of eight cases | |
US20230316639A1 (en) | Systems and methods for enhancing medical images | |
KR102433473B1 (ko) | 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
Berkels et al. | Co-registration of intra-operative brain surface photographs and pre-operative MR images | |
CN114534092A (zh) | 电极贴附位置确定方法、装置及计算机可读存储介质 | |
US10839045B2 (en) | Method and system for supporting a medical brain mapping procedure | |
Jiang et al. | Acu glass: quantifying acupuncture therapy using Google Glass | |
CN111831118B (zh) | 一种基于增强现实的三维脑电显示方法及其显示*** | |
CN112465900A (zh) | 一种立体脑电图电极定位方法 | |
Zhou et al. | A research of surgical navigation system of mixed reality based on image registration | |
CN111161408A (zh) | 一种实现增强现实的方法及其应用、计算设备 | |
Koeda et al. | Proposal and evaluation of AR-based microscopic brain surgery support system | |
Chiou et al. | A novel surgery navigation system combined with augmented reality based on image target positioning system | |
Yasumuro et al. | 3-dimensional visual navigation for repetitive transcranial magnetic stimulation treatment | |
JP3564531B2 (ja) | 画像領域の追跡方法および装置 | |
Cattari et al. | In-Situ Visualization for 3D Ultrasound-Guided Interventions with Augmented Reality Headset. Bioengineering 2021, 8, 131 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100191 Room 501, floor 5, building 9, No. 35 Huayuan North Road, Haidian District, Beijing Applicant after: Beijing Baihui Weikang Technology Co.,Ltd. Address before: Room 502, Building No. 3, Garden East Road, Haidian District, Beijing, 100191 Applicant before: Beijing Baihui Wei Kang Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |