CN111938700B - 基于人体解剖结构实时匹配的超声探头引导***及方法 - Google Patents

基于人体解剖结构实时匹配的超声探头引导***及方法 Download PDF

Info

Publication number
CN111938700B
CN111938700B CN202010846991.0A CN202010846991A CN111938700B CN 111938700 B CN111938700 B CN 111938700B CN 202010846991 A CN202010846991 A CN 202010846991A CN 111938700 B CN111938700 B CN 111938700B
Authority
CN
China
Prior art keywords
ultrasonic probe
probe
image
ultrasonic
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010846991.0A
Other languages
English (en)
Other versions
CN111938700A (zh
Inventor
陈安成
韩曙光
严伟成
刘畅
王权泳
吴哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010846991.0A priority Critical patent/CN111938700B/zh
Publication of CN111938700A publication Critical patent/CN111938700A/zh
Application granted granted Critical
Publication of CN111938700B publication Critical patent/CN111938700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于人体解剖结构实时匹配的超声探头引导***及方法。本发明使用Kinect摄像头对人体骨骼关键点进行识别,然后将预先存于数据库的解剖图像贴到人体需要扫描的部位,该过程保证了投射的解剖结构大小及投射位置与真实值相差无异。同时通过在超声探头上做标注点,使用kinect摄像头获取到的RGBD图像得到标记点的三维坐标,来确定探头在空间的位姿。通过识别人体与超声探头的空间相对位置,从而宏观引导操作者将超声探头移动到需要扫描的部位,解决了非超声专业人士因不熟悉人体解剖结构,难以快速找到目标脏器位置并获取高质量超声影像的问题。

Description

基于人体解剖结构实时匹配的超声探头引导***及方法
技术领域
本发明涉及医疗领域,具体涉及一种基于人体解剖结构实时匹配的超声探头引导***及方法。
背景技术
随着生活水平的提高,越来越多的人开始重视个人的健康问题,超声设备用来检查人体脏器使用成本相对低廉,但是非医学人士并不了解身体脏器所在位置,无法对目标脏器进行有效的超声检查,且现有的超声设备均需要专业人员来使用,超声影像质量严重依赖操作者的扫描手法,难以实现统一扫查规范。超声操作人员培训需要花费大量时间和成本,无法满足基层医院以及大量群众对于超声诊断的迫切需求,急需一种非超声专业人士也能够轻松上手使用的辅助超声诊断***。
发明内容
针对现有技术中的上述不足,本发明提供的基于人体解剖结构实时匹配的超声探头引导***及方法解决了非超声专业人士因不熟悉人体解剖结构,难以快速找到目标脏器位置并获取高质量超声影像的问题。
为了达到上述发明目的,本发明采用的技术方案为:
提供一种基于人体解剖结构实时匹配的超声探头引导***,其包括已知三维坐标且设置在超声扫描台上的kinect摄像头、数据库、超声探头、操作屏、贴图模块、探头模拟模块和图像叠加模块;
数据库,预存有包括脏器、骨骼、神经和血管的人体全身解剖图,其中同一部位的解剖图包括m个角度,相邻两个角度之间的角度差为n,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
超声探头,用于获取超声图像,其上设置有用于对其进行定位的标记点;
贴图模块,用于根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,输出贴附了解剖图的人体图像;
探头模拟模块,通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并输出具有超声探头方位的探头模型;
图像叠加模块,用于将贴图模块输出的图像和探头模拟模块输出的探头模型进行叠加,并输出叠加后的图像;
操作屏,包括至少两个显示窗口,一个显示窗口用于实时显示超声图像,另一个显示窗口用于实时显示图像叠加模块的输出数据。
进一步地,参数m的值为19,参数n的值为10°。
进一步地,贴图模块包括骨骼扫描单元、解剖图匹配单元和解剖图贴附单元;
骨骼扫描单元,通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
解剖图匹配单元,用于确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度,根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
解剖图贴附单元,将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形,将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像,并将其作为贴图模块的输出。
进一步地,超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
进一步地,探头模拟模块包括标记点坐标获取单元和超声探头模拟单元;
标记点坐标获取单元,用于获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值,根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
超声探头模拟单元,用于建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点,将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
提供一种基于人体解剖结构实时匹配的超声探头引导方法,其包括以下步骤:
S1、建立预存有包括脏器、骨骼、神经和血管的人体全身解剖图的数据库,其中同一部位的解剖图包括m个角度,相邻两个角度之间的角度差为n,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
S2、在超声探头上设置用于对其进行定位的标记点;
S3、根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,得到贴附了解剖图的人体图像;
S4、通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并得到具有超声探头方位的探头模型;
S5、将贴附了解剖图的人体图像和具有超声探头方位的探头模型进行叠加,得到叠加后的图像;
S6、分别实时显示超声图像和叠加后的图像,通过叠加后的图像引导用户操作超声探头,完成基于人体解剖结构实时匹配的超声探头实时引导。
进一步地,步骤S1中参数m的值为19,参数n的值为10°。
进一步地,步骤S2的具体方法为:
在超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
进一步地,步骤S3的具体方法包括以下子步骤:
S3-1、通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
S3-2、确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;
S3-3、根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度;
S3-4、根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
S3-5、将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形;
S3-6、将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像。
进一步地,步骤S4的具体方法包括以下子步骤:
S4-1、获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值;根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;
S4-2、获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
S4-3、建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点;
S4-4、将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
本发明的有益效果为:本发明使用Kinect摄像头对人体骨骼关键点进行识别,然后将预先存于数据库的解剖图像贴到人体需要扫描的部位,该过程保证了投射的解剖结构大小及投射位置与真实值相差无异。同时通过在超声探头上做标注点,使用kinect摄像头获取到的RGBD图像得到标记点的三维坐标,来确定探头在空间的位姿。通过识别人体与超声探头的空间相对位置,从而宏观引导操作者将超声探头移动到需要扫描的部位,解决了非超声专业人士难以获取目标脏器处超声影像的问题。
附图说明
图1为本发明的流程示意图;
图2为贴附了解剖图的人体图像示意图;
图3为对超声探头的正面和末端添加标记点的示意图;
图4为实施例中选取解剖图类型的界面示意图;
图5为实施例中以Kinect摄像头为中心建立的空间坐标系的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
该基于人体解剖结构实时匹配的超声探头引导***包括已知三维坐标且设置在超声扫描台上的kinect摄像头、数据库、超声探头、操作屏、贴图模块、探头模拟模块和图像叠加模块;
数据库,预存有包括脏器、骨骼、神经和血管的人体全身解剖图,其中同一部位的解剖图包括19个角度,相邻两个角度之间的角度差为10°,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
如图3所示,超声探头,用于获取超声图像,其上设置有用于对其进行定位的标记点;
如图2所示,贴图模块,用于根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,输出贴附了解剖图的人体图像;
探头模拟模块,通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并输出具有超声探头方位的探头模型;
图像叠加模块,用于将贴图模块输出的图像和探头模拟模块输出的探头模型进行叠加,并输出叠加后的图像;
操作屏,包括至少两个显示窗口,一个显示窗口用于实时显示超声图像,另一个显示窗口用于实时显示图像叠加模块的输出数据。
贴图模块包括骨骼扫描单元、解剖图匹配单元和解剖图贴附单元;
骨骼扫描单元,通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
解剖图匹配单元,用于确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度,根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
解剖图贴附单元,将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形,将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像,并将其作为贴图模块的输出。
超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
探头模拟模块包括标记点坐标获取单元和超声探头模拟单元;
标记点坐标获取单元,用于获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值,根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
超声探头模拟单元,用于建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点,将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
如图1所示,该基于人体解剖结构实时匹配的超声探头引导方法包括以下步骤:
S1、建立预存有包括脏器、骨骼、神经和血管的人体全身解剖图的数据库,其中同一部位的解剖图包括19个角度,相邻两个角度之间的角度差为10°,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
S2、在超声探头上设置用于对其进行定位的标记点;
S3、根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,得到贴附了解剖图的人体图像;
S4、通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并得到具有超声探头方位的探头模型;
S5、将贴附了解剖图的人体图像和具有超声探头方位的探头模型进行叠加,得到叠加后的图像;
S6、分别实时显示超声图像和叠加后的图像,通过叠加后的图像引导用户操作超声探头,完成基于人体解剖结构实时匹配的超声探头实时引导。
步骤S2的具体方法为:在超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
步骤S3的具体方法包括以下子步骤:
S3-1、通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
S3-2、确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;
S3-3、根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度;
S3-4、根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
S3-5、将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形;
S3-6、将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像。
步骤S4的具体方法包括以下子步骤:
S4-1、获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值;根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;
S4-2、获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
S4-3、建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点;
S4-4、将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
在具体实施过程中,全身解剖图可来自于3Dbody(一种为用户提供最完整的人体所有结构剖析图的APP),并且可以设置不同年龄、身高、体重和性别的选项,来更进一步的适配使用者。因为对于人体任意两个骨骼关键点A和B之间的距离是确定的,假设距离为D,设关键点A的坐标为(X1,Y1,Z1),关键点B的坐标为(X2,Y2,Z2),固有
Figure BDA0002643381880000091
所以当Z1=Z2时,
Figure BDA0002643381880000101
此时该部位正对于摄像头。如果只使用两个关键点的X和Y坐标,可知距离最大时,即Dmax=D为正对摄像头,距离最小,即Dmin=0时为垂直摄像头,再根据两点X,Y坐标判定其左右方位,来确定是左偏转还是右偏转。对于任意偏转di=(Dmax-Dmin)/10*i,对应于十个角度(0°-90°),将测得的距离d与di相比较,与d距离最近的di所对应的角度即为此时该部位相对于摄像头的角度,然后从***找到对应角度的解剖图片。
本申请中解剖结构实时映射原理与方法可如下:仿射变换可以用一个2×3的矩阵表示,这个矩阵的前两列表示旋转、缩放、裁剪操作,后两列表示平移操作。如下公式所示:
Figure BDA0002643381880000102
给定一点(x,y),上面的仿射变换使用下面给出的等式得到点(xt,yt):
Figure BDA0002643381880000103
在源三角形周围找到一个边界框,并从源图像中裁剪出矩形区域。然后,将仿射变换应用于裁剪图像以获得输出图像。最后,还可以通过用白色填充输出三角形内的像素来创建三角形掩模。与输出图像相乘时,此掩模将三角形外部的所有像素变为黑色,同时保留三角形内所有像素的颜色。
超声探头空间位姿识别原理与方法可如下:在超声探头的正面做两个红色标记点A、点B,背面做两个蓝色标记点A和B,两侧分别做黑色和绿色两个标记点。并在超声探头末端固定一个刚性物体,该物体要与探头水平面垂直,同时在物体末端包裹一个鲜明颜色的球(例如红球)并做上标记点C。固定刚性物体的原因是,探头末端连接有线,如果只在探头末端表面做标记点,在探头移动过程中,末端标记点可能会由于遮挡导致无法获取其位置坐标。因此通过识别刚性物体末端的红球来通过公式反推出来探头末端的位置。具体方法如下:
已知刚性物体长度,即小球距离探头末端的距离D1,以及探头末端与探头前端标记点A和B的距离D2,假设探头末端为点D,又知道CD⊥DA,CD⊥DB,由公式
Figure BDA0002643381880000111
得到D点坐标(XD,YD,ZD)操作过程中要保证摄像头与探头之间无其他遮挡物且操作者和患者不能穿着与标记点颜色相近的衣服,以免造成干扰。由Kinect摄像头同时获取彩色图像和深度图像,然后对彩色图像的像素值分析,如果图像中能发现红色标记点,即说明探头正面朝向摄像头,像素值近似为红色的像素点所在的位置(X,Y),并在深度图像相应位置获取深度值Z,即获得了A点坐标(XA,YA,ZA),B点坐标(XB,YB,ZB)和C点坐标(XA,XB,XC)。由A,B,C点坐标即可获得探头在空间的位姿,并使用探头模型在操作屏上显示其位置及其姿态。若图像中能发现蓝色标记点,即探头背面朝向摄像头,同上述方法获得探头位姿。若图像中仅能发现绿色或黑色标记点,即此时探头位置与摄像头垂直,红色和蓝色标记点被遮挡,故由绿色或黑色标记点和C点的坐标来确定探头位姿。本方法在操作前需要对坐标系进行校准,如图5所示,以Kinect摄像头为中心,建立空间坐标系,Kinect摄像头所在的平面为XOY面,垂直向下为Z轴正半轴方向。
在本发明的一个实施例中,如图4所示,使用者可根据其所要检查的脏器,选取对应的解剖图,该方式可以减少后续解剖图匹配过程中的运算量。解剖图的准确贴在所拍摄人体图像上和超声探头位置的识别都是实时进行的,即在检查过程中,随着患者身体和超声探头的移动,操作屏上的图像都会进行实时更新。通过Kinect摄像头所得到的骨骼关键点坐标、深度图像以及彩色图像都为30FPS,满足实时的要求。为了使解剖图像通过三角形仿射算法能够实时贴在人体上,本方法可以使用GPU进行加速,整个过程只需要0.05秒,满足实时要求。
综上所述,本发明使用Kinect摄像头对人体骨骼关键点进行识别,然后将预先存于数据库的解剖图像贴到人体需要扫描的部位,该过程保证了投射的解剖结构大小及投射位置与真实值相差无异。同时通过在超声探头上做标注点,使用kinect摄像头获取到的RGBD图像得到标记点的三维坐标,来确定探头在空间的位姿。通过识别人体与超声探头的空间相对位置,从而宏观引导操作者将超声探头移动到需要扫描的部位,解决了非超声专业人士因不熟悉人体解剖结构,难以快速找到目标脏器位置并获取高质量超声影像的问题。

Claims (8)

1.一种基于人体解剖结构实时匹配的超声探头引导***,其特征在于,包括已知三维坐标且设置在超声扫描台上的kinect摄像头、数据库、超声探头、操作屏、贴图模块、探头模拟模块和图像叠加模块;
所述数据库,预存有包括脏器、骨骼、神经和血管的人体全身解剖图,其中同一部位的解剖图包括m个角度,相邻两个角度之间的角度差为n,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
所述超声探头,用于获取超声图像,其上设置有用于对其进行定位的标记点;
所述贴图模块,用于根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,输出贴附了解剖图的人体图像;
所述探头模拟模块,通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并输出具有超声探头方位的探头模型;
所述图像叠加模块,用于将贴图模块输出的图像和探头模拟模块输出的探头模型进行叠加,并输出叠加后的图像;
所述操作屏,包括至少两个显示窗口,一个显示窗口用于实时显示超声图像,另一个显示窗口用于实时显示图像叠加模块的输出数据;
所述贴图模块包括骨骼扫描单元、解剖图匹配单元和解剖图贴附单元;
所述骨骼扫描单元,通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
所述解剖图匹配单元,用于确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度,根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
所述解剖图贴附单元,将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形,将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像,并将其作为贴图模块的输出。
2.根据权利要求1所述的基于人体解剖结构实时匹配的超声探头引导***,其特征在于,参数m的值为19,参数n的值为10°。
3.根据权利要求1所述的基于人体解剖结构实时匹配的超声探头引导***,其特征在于,所述超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
4.根据权利要求1所述的基于人体解剖结构实时匹配的超声探头引导***,其特征在于,所述探头模拟模块包括标记点坐标获取单元和超声探头模拟单元;
所述标记点坐标获取单元,用于获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值,根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
所述超声探头模拟单元,用于建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点,将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
5.一种基于人体解剖结构实时匹配的超声探头引导方法,其特征在于,包括以下步骤:
S1、建立预存有包括脏器、骨骼、神经和血管的人体全身解剖图的数据库,其中同一部位的解剖图包括m个角度,相邻两个角度之间的角度差为n,角度的起止区间为[-90°,90°],0°为人体正对摄像头时的角度;
S2、在超声探头上设置用于对其进行定位的标记点;
S3、根据kinect摄像头的数据匹配解剖图,并将解剖图贴附在人体图像中,得到贴附了解剖图的人体图像;
S4、通过kinect摄像头识别标记点的位置数据进而获取超声探头的方位,建立并得到具有超声探头方位的探头模型;
S5、将贴附了解剖图的人体图像和具有超声探头方位的探头模型进行叠加,得到叠加后的图像;
S6、分别实时显示超声图像和叠加后的图像,通过叠加后的图像引导用户操作超声探头,完成基于人体解剖结构实时匹配的超声探头实时引导;
所述步骤S3的具体方法包括以下子步骤:
S3-1、通过kinect摄像头获取目标人体蒙有所有解剖图的彩色图像,识别目标人体的骨骼关键点及骨骼关键点的三维坐标;将相邻的三个骨骼关键点连成一个三角形;
S3-2、确定需要扫描的目标部位,获取与目标部位最近的两个骨骼关键点及其三维坐标;
S3-3、根据与目标部位最近的两个骨骼关键点的三维坐标获取目标部位相对kinect摄像头的偏转角度;
S3-4、根据目标部位相对kinect摄像头的偏转角度从数据库中找到对应的解剖图;保留彩色图像中包含有目标部位的所有三角形;
S3-5、将彩色图像与目标部位对应的解剖图中对应位置的三角形区域进行仿射变换,在对应的解剖图中获取与彩色图像中三角形相同尺寸形状的三角形;
S3-6、将解剖图中的三角形区域内容附在彩色图像相应位置处,输出具有解剖图中的三角形区域内容的彩色图像。
6.根据权利要求5所述的基于人体解剖结构实时匹配的超声探头引导方法,其特征在于,所述步骤S1中参数m的值为19,参数n的值为10°。
7.根据权利要求5所述的基于人体解剖结构实时匹配的超声探头引导方法,其特征在于,所述步骤S2的具体方法为:
在超声探头的正面设置有两个标记点,背面设置有两个标记点,两侧分别设置有一个标记点;超声探头的末端设置有突出其表面的标记点。
8.根据权利要求5所述的基于人体解剖结构实时匹配的超声探头引导方法,其特征在于,所述步骤S4的具体方法包括以下子步骤:
S4-1、获取kinect摄像头拍摄的彩色图像和深度图像,获取彩色图像的像素值;根据标记点的属性进行像素匹配,在彩色图像中获取标记点所在位置,根据标记点所在位置的像素值获取标记点的二维空间坐标;
S4-2、获取深度图像中标记点所在位置的深度值,将标记点的二维空间坐标和标记点所在位置的深度值进行组合,得到标记点的三维空间坐标;
S4-3、建立一个与超声探头大小形状相同的探头模型,并在探头模型上设置与超声探头位置相同的模拟点;
S4-4、将探头模型上模拟点的三维空间坐标调整为捕获的标记点的三维空间坐标,完成对探头模型的定位并输出。
CN202010846991.0A 2020-08-21 2020-08-21 基于人体解剖结构实时匹配的超声探头引导***及方法 Active CN111938700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010846991.0A CN111938700B (zh) 2020-08-21 2020-08-21 基于人体解剖结构实时匹配的超声探头引导***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846991.0A CN111938700B (zh) 2020-08-21 2020-08-21 基于人体解剖结构实时匹配的超声探头引导***及方法

Publications (2)

Publication Number Publication Date
CN111938700A CN111938700A (zh) 2020-11-17
CN111938700B true CN111938700B (zh) 2021-11-09

Family

ID=73358793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846991.0A Active CN111938700B (zh) 2020-08-21 2020-08-21 基于人体解剖结构实时匹配的超声探头引导***及方法

Country Status (1)

Country Link
CN (1) CN111938700B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113876356A (zh) * 2021-10-15 2022-01-04 无锡触典科技有限公司 一种用于医疗成像的投影方法、超声设备***及存储介质
CN118252529A (zh) * 2022-12-28 2024-06-28 开立生物医疗科技(武汉)有限公司 超声扫描方法、装置和***、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN107913102A (zh) * 2016-10-06 2018-04-17 韦伯斯特生物官能(以色列)有限公司 使用超声进行的解剖图像与位置跟踪***的术前配准
CN110796942A (zh) * 2019-11-19 2020-02-14 中国医学科学院北京协和医院 解剖图贴及其制作方法、人体解剖结构图案的形成方法
CN110870792A (zh) * 2018-08-31 2020-03-10 通用电气公司 用于超声导航的***和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070066881A1 (en) * 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
GB201303917D0 (en) * 2013-03-05 2013-04-17 Ezono Ag System for image guided procedure
CN105451663B (zh) * 2013-06-28 2019-03-19 皇家飞利浦有限公司 对目标视图的超声采集反馈引导
CN104856720B (zh) * 2015-05-07 2017-08-08 东北电力大学 一种基于rgb‑d传感器的机器人辅助超声扫描***
US9665936B2 (en) * 2015-09-25 2017-05-30 Siemens Healthcare Gmbh Systems and methods for see-through views of patients
CN105266897B (zh) * 2015-11-25 2018-03-23 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航***及导航方法
CN110621253A (zh) * 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN107913102A (zh) * 2016-10-06 2018-04-17 韦伯斯特生物官能(以色列)有限公司 使用超声进行的解剖图像与位置跟踪***的术前配准
CN110870792A (zh) * 2018-08-31 2020-03-10 通用电气公司 用于超声导航的***和方法
CN110796942A (zh) * 2019-11-19 2020-02-14 中国医学科学院北京协和医院 解剖图贴及其制作方法、人体解剖结构图案的形成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于virtools虚拟现实技术的三维解剖图谱开发;焦培峰;《计算机工程与科学》;20140831;第36卷(第8期);第1555-1558页 *

Also Published As

Publication number Publication date
CN111938700A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
RU2556783C2 (ru) Комбинация ультразвуковой и рентгеновской систем
US9498132B2 (en) Visualization of anatomical data by augmented reality
US6764449B2 (en) Method and apparatus for enabling a biopsy needle to be observed
US5531520A (en) System and method of registration of three-dimensional data sets including anatomical body data
US8611988B2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
US10607420B2 (en) Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
US5740802A (en) Computer graphic and live video system for enhancing visualization of body structures during surgery
US5526812A (en) Display system for enhancing visualization of body structures during medical procedures
US6690964B2 (en) Method and device for visualization of positions and orientation of intracorporeally guided instruments during a surgical intervention
JP6670595B2 (ja) 医用画像処理装置
CN111627521B (zh) 增强现实在放疗中的应用
JPH09511430A (ja) 三次元データ組の登録システムおよび登録方法
CN111938700B (zh) 基于人体解剖结构实时匹配的超声探头引导***及方法
US20100201683A1 (en) Medical image display apparatus and medical image display method
EP3543955B1 (en) Image processing device and projection system
JP4653324B2 (ja) 画像表示装置、画像表示プログラム、画像処理装置、及び医用画像診断装置
CN113786228B (zh) 一种基于ar增强现实的辅助穿刺导航***
JPH07136175A (ja) 実時間医用装置および方法
Palmer et al. Mobile 3D augmented-reality system for ultrasound applications
WO2016054775A1 (zh) 超声虚拟内窥成像***和方法及其装置
US20210128243A1 (en) Augmented reality method for endoscope
JP2000105838A (ja) 画像表示方法及び画像処理装置
US20220175457A1 (en) Endoscopic image registration system for robotic surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant