CN106889999B - 多模态探测***图像融合的方法和装置 - Google Patents
多模态探测***图像融合的方法和装置 Download PDFInfo
- Publication number
- CN106889999B CN106889999B CN201611239157.5A CN201611239157A CN106889999B CN 106889999 B CN106889999 B CN 106889999B CN 201611239157 A CN201611239157 A CN 201611239157A CN 106889999 B CN106889999 B CN 106889999B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- pixel
- image
- point source
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 174
- 230000007704 transition Effects 0.000 claims abstract description 155
- 238000012937 correction Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000002591 computed tomography Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 42
- 238000013461 design Methods 0.000 description 35
- 230000015654 memory Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- 238000001948 isotopic labelling Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012633 nuclear imaging Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- SHZGCJCMOBCMKK-UHFFFAOYSA-N D-mannomethylose Natural products CC1OC(O)C(O)C(O)C1O SHZGCJCMOBCMKK-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- PMMURAAUARKVCB-UHFFFAOYSA-N alpha-D-ara-dHexp Natural products OCC1OC(O)CC(O)C1O PMMURAAUARKVCB-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种多模态探测***图像融合的方法和装置,属于医学成像技术领域。方法包括:通过多模态探测***探测目标对象,得到第一图像和第二图像,第一图像的FOV坐标系为第一坐标系,第二图像的FOV坐标系为第二坐标系;获取第一转换矩阵,第一转换矩阵用于将第一图像中的每个第一像素点在第一坐标系中的坐标转换为在第二坐标系中的坐标;根据第一转换矩阵和每个第一像素点在第一坐标系中的第一坐标,确定每个第一像素点在第二坐标系中的第二坐标;根据每个第一像素点的第二坐标和第二图像中的每个第二像素点在第二坐标系中的第三坐标,将第一图像和第二图像融合,得到多模态探测图像。本发明提高了第一图像和第二图像融合的准确性。
Description
技术领域
本发明涉及医学成像技术领域,特别涉及一种多模态探测***图像融合的方法和装置。
背景技术
多模态探测***中包括两种探测器,通过这两种探测器对同一目标对象进行探测,得到两张图像;将两张图像进行融合,得到多模态探测图像,通过对多模态探测图像进行分析,以实现对目标对象进行分析。例如,PET-CT(Positron Emission Tomography-Computed Tomography,正电子发射断层显像-计算机断层扫描)探测***中包括PET探测器和CT探测器,通过PET探测器探测人体内病灶的PET图像,通过CT探测器探测人体器官组织的CT图像,将PET图像和CT图像进行融合,得到PET-CT图像;这样医生根据该PET-CT图像,能够发现人体内的病灶,并准确定位病灶位置。
为了便于将PET图像和CT图像进行融合,在通过PET探测器探测PET图像,以及通过CT探测器探测CT图像之前,工程师手动调节PET探测器和CT探测器,将PET探测器的FOV(Field-of-View,视野)坐标系和CT探测器的FOV坐标系调节一致;也即PET探测器的FOV坐标系的原点和CT探测器的FOV坐标系的原点重合,PET探测器的FOV坐标系的X、Y、Z轴分别与CT探测器的FOV坐标系的X、Y、Z轴平行。
在将PET图像和CT图像进行融合时,PET-CT探测***中的控制终端根据PET图像中的每个第一像素点的第一坐标和CT图像中的每个第二像素点的第三坐标,将PET图像和CT图像进行融合,得到PET-CT图像,所述每个第一像素点的第一坐标为所述每个第一像素点在所述PET探测器的FOV坐标系中的坐标,所述每个第二像素点的第三坐标为所述每个第二像素点在所述CT探测器的FOV坐标系中的坐标。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
由于机械调节精度的限制,PET探测器的FOV坐标系和CT探测器的FOV坐标系之间通常存在误差,从而导致上述图像融合的准确性差。
发明内容
为了解决现有技术的问题,本发明提供了一种多模态探测***图像融合的方法和装置。技术方案如下:
第一方面,本发明实施例提供了一种多模态探测***图像融合的方法,所述方法包括:
通过多模态探测***探测目标对象,得到第一图像和第二图像,所述第一图像的视野FOV坐标系为第一坐标系,所述第二图像的FOV坐标系为第二坐标系;
获取第一转换矩阵,所述第一转换矩阵用于将所述第一图像中的每个第一像素点在所述第一坐标系中的坐标转换为在所述第二坐标系中的坐标;
根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标,所述每个第一像素点的第一坐标为所述每个第一像素点在所述第一坐标系中的坐标,所述每个第一像素点的第二坐标为所述每个第一像素点在所述第二坐标系中的坐标;
根据所述每个第一像素点的第二坐标和所述第二图像中的每个第二像素点的第三坐标,将所述第一图像和所述第二图像进行融合,得到多模态探测图像,所述每个第二像素点的第三坐标为所述每个第二像素点在所述第二坐标系中的坐标。
在一种可能的设计中,所述获取第一转换矩阵,包括:
通过所述多模态探测***探测坐标配准模体,得到第三图像和第四图像,所述坐标配准模体包括n个点源,所述n个点源为能够被所述多模态探测***探测到的对象,所述对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,所述第三图像的FOV坐标系为第一坐标系,所述第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定所述第三图像中的所述n个点源中的每个点源的第四坐标,以及确定所述第四图像中的所述每个点源的第五坐标,所述每个点源的第四坐标为所述每个点源在所述第一坐标系中的坐标,所述每个点源的第五坐标为所述每个点源在所述第二坐标系的坐标;
根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵。
在一种可能的设计中,所述确定所述第三图像中的所述n个点源中的每个点源的第四坐标,包括:
对于所述每个点源,在所述第三图像中确定所述点源所在的球体,获取所述球体内每个第三像素点的像素值和第六坐标,所述每个第三像素点的第六坐标为所述每个第三像素点在所述第一坐标系中的坐标;
根据所述每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定所述点源的第四坐标:
其中,(x4,y4,z4)为所述点源的第四坐标,(x6,y6,z6)为所述每个第三像素点的第六坐标,PixelValuep为所述每个第三像素点的像素值。
在一种可能的设计中,所述确定所述第四图像中的所述每个点源的第五坐标,包括:
对于所述每个点源,在所述第四图像中确定所述点源所在的球体,获取所述球体内每个第四像素点的像素值和第九坐标,所述每个第四像素点的第九坐标为所述每个第四像素点在所述第二坐标系中的坐标;
根据所述每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定所述点源的第五坐标:
其中,(x5,y5,z5)为所述点源的第五坐标,(x9,y9,z9)为所述每个第四像素点的第九坐标,PixelValueq为所述每个第四像素点的像素值。
在一种可能的设计中,所述根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵,包括:
根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式;
根据所述每个点源的坐标差异表达式,确定所述多个点源的总坐标差异表达式;
根据所述总坐标差异表达式,确定满足预设条件的所述第一转换矩阵,所述预设条件为所述总坐标差异表达式的值是最小值。
在一种可能的设计中,所述根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式,包括:
根据所述每个点源的第四坐标和所述转换表达式,通过以下公式二,确定所述每个点源的第七坐标,所述每个点源的第七坐标为所述每个点源在所述第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
根据所述每个点源的第五坐标和第七坐标,通过以下公式三,确定所述每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为所述每个点源的第七坐标,(x5,y5,z5)为所述每个点源的第五坐标,(x4,y4,z4)为所述每个点源的第四坐标,M为所述转换表达式,Δx为所述坐标差异表达式。
在一种可能的设计中,所述多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,所述第一图像为PET探测器探测的PET图像,所述第二图像为CT探测器探测的CT图像,所述根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标之前,所述方法还包括:
根据所述第一转换矩阵,获取第二转换矩阵,所述第二转换矩阵用于将所述第二图像中的每个第二像素点在所述第二坐标系中的坐标转换为在所述第一坐标系中的坐标;
根据所述第二转换矩阵和所述每个第二像素点的第三坐标,确定所述每个第二像素点的第八坐标,所述每个第二像素点的第八坐标为所述每个第二像素点在所述第一坐标系中的坐标;
根据所述每个第二像素点的第八坐标和所述每个第一像素点的第一坐标,从所述第二图像中确定所述每个第一像素点的衰减系数;
根据所述每个第一像素点的衰减系数,对所述第一图像进行校正。
第二方面,本发明实施里提供了一种多模态探测***图像融合的装置,所述装置包括:
探测模块,用于通过多模态探测***探测目标对象,得到第一图像和第二图像,所述第一图像的视野FOV坐标系为第一坐标系,所述第二图像的FOV坐标系为第二坐标系;
第一获取模块,用于获取第一转换矩阵,所述第一转换矩阵用于将所述第一图像中的每个第一像素点在所述第一坐标系中的坐标转换为在所述第二坐标系中的坐标;
第一确定模块,用于根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标,所述每个第一像素点的第一坐标为所述每个第一像素点在所述第一坐标系中的坐标,所述每个第一像素点的第二坐标为所述每个第一像素点在所述第二坐标系中的坐标;
融合模块,用于根据所述每个第一像素点的第二坐标和所述第二图像中的每个第二像素点的第三坐标,将所述第一图像和所述第二图像进行融合,得到多模态探测图像,所述每个第二像素点的第三坐标为所述每个第二像素点在所述第二坐标系中的坐标。
在一种可能的设计中,所述第一获取模块,包括:
探测单元,用于通过所述多模态探测***探测坐标配准模体,得到第三图像和第四图像,所述坐标配准模体包括n个点源,所述n个点源为能够被所述多模态探测***探测到的对象,所述对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,所述第三图像的FOV坐标系为第一坐标系,所述第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定单元,用于确定所述第三图像中的所述n个点源中的每个点源的第四坐标,以及确定所述第四图像中的所述每个点源的第五坐标,所述每个点源的第四坐标为所述每个点源在所述第一坐标系中的坐标,所述每个点源的第五坐标为所述每个点源在所述第二坐标系的坐标;根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵。
在一种可能的设计中,所述确定单元,包括:
第一确定子单元,用于对于所述每个点源,在所述第三图像中确定所述点源所在的球体,获取所述球体内每个第三像素点的像素值和第六坐标,所述每个第三像素点的第六坐标为所述每个第三像素点在所述第一坐标系中的坐标;
第二确定子单元,用于根据所述每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定所述点源的第四坐标:
其中,(x4,y4,z4)为所述点源的第四坐标,(x6,y6,z6)为所述每个第三像素点的第六坐标,PixelValuep为所述每个第三像素点的像素值。
在一种可能的设计中,所述确定单元,包括:
第三确定子单元,用于对于所述每个点源,在所述第四图像中确定所述点源所在的球体,获取所述球体内每个第四像素点的像素值和第九坐标,所述每个第四像素点的第九坐标为所述每个第四像素点在所述第二坐标系中的坐标;
第四确定子单元,用于根据所述每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定所述点源的第五坐标:
其中,(x5,y5,z5)为所述点源的第五坐标,(x9,y9,z9)为所述每个第四像素点的第九坐标,PixelValueq为所述每个第四像素点的像素值。
在一种可能的设计中,所述确定单元,包括:
第五确定子单元,用于根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式;
第六确定子单元,用于根据所述每个点源的坐标差异表达式,确定所述多个点源的总坐标差异表达式;
第七确定子单元,用于根据所述总坐标差异表达式,确定满足预设条件的所述第一转换矩阵,所述预设条件为所述总坐标差异表达式的值是最小值。
在一种可能的设计中,所述第五确定子单元,还用于根据所述每个点源的第四坐标和所述转换表达式,通过以下公式二,确定所述每个点源的第七坐标,所述每个点源的第七坐标为所述每个点源在所述第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
所述第五确定子单元,还用于根据所述每个点源的第五坐标和第七坐标,通过以下公式三,确定所述每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为所述每个点源的第七坐标,(x5,y5,z5)为所述每个点源的第五坐标,(x4,y4,z4)为所述每个点源的第四坐标,M为所述转换表达式,Δx为所述坐标差异表达式。
在一种可能的设计中,所述多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,所述第一图像为PET探测器探测的PET图像,所述第二图像为CT探测器探测的CT图像,所述装置还包括:
第二获取模块,用于根据所述第一转换矩阵,获取第二转换矩阵,所述第二转换矩阵用于将所述第二图像中的每个第二像素点在所述第二坐标系中的坐标转换为在所述第一坐标系中的坐标;
第二确定模块,用于根据所述第二转换矩阵和所述每个第二像素点的第三坐标,确定所述每个第二像素点的第八坐标,所述每个第二像素点的第八坐标为所述每个第二像素点在所述第一坐标系中的坐标;
第三确定模块,用于根据所述每个第二像素点的第八坐标和所述每个第一像素点的第一坐标,从所述第二图像中确定所述每个第一像素点的衰减系数;
校正模块,用于根据所述每个第一像素点的衰减系数,对所述第一图像进行校正。
本发明实施例中,控制终端探测到目标对象的第一图像和第二图像后,获取第一转换矩阵,并根据该第一转换矩阵和第一图像中每个第一像素点的第一坐标,将该每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标,然后,控制终端再根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像融合为多模态探测图像,由于该第一转换矩阵为将第一图像中的每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标的转换矩阵,因此,减小了第一图像的第一坐标系和第二图像的第二坐标系之间的误差,进一步提高了将第一图像和第二图像融合时的准确性。
附图说明
图1是本发明实施例提供的一种多模态探测***图像融合的方法流程图;
图2是本发明实施例提供的一种多模态探测***图像融合的方法流程图;
图3是本发明实施例提供的一种坐标配准模体结构图;
图4是本发明实施例提供的一种坐标配准模体俯视图;
图5是本发明实施例提供的一种多模态探测***图像融合的方法流程图;
图6是本发明实施例提供的一种多模态探测***图像融合的装置结构示意图;
图7是本发明实施例提供的一种多模态探测***图像融合的装置结构示意图(控制终端的一般结构)。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种多模态探测***图像融合的方法,该方法应用于任一多模态探测***中,该多模态探测***可以为PET-CT探测器***或者SPECT-MRI(Single-Photon Emission Computed Tomography-Magnetic Resonance Imaging,单光子发射计算机断层成像术-磁共振成像)探测器***。在本发明实施例中,以多模态探测***可以为PET-CT探测器***为例进行说明,但并不对多模态探测***作具体限定。
PET-CT探测***包括核成像探测器、解剖学探测器和控制终端;该核成像探测器可以为PET探测器,解剖学探测器可以为CT探测器。PET探测器用于探测目标对象的PET图像,CT探测器用于探测目标对象的CT图像,控制终端用于将PET图像和CT图像合成PET-CT图像;本发明的执行主体可以为控制终端。
需要说明的是,本发明实施例中,PET-CT探测***的控制终端可以通过PET探测器和CT探测器探测目标对象,得到该目标对象的第一图像和第二图像;PET-CT探测***的控制终端可以通过PET探测器和CT探测器探测坐标配准模体,得到该坐标配准模体的第三图像和第四图像。
参见图1,该方法包括:
步骤101:通过多模态探测***探测目标对象,得到第一图像和第二图像,该第一图像的视野FOV坐标系为第一坐标系,该第二图像的FOV坐标系为第二坐标系。
步骤102:获取第一转换矩阵,该第一转换矩阵用于将第一图像中的每个第一像素点在第一坐标系中的坐标转换为在第二坐标系中的坐标。
步骤103:根据该第一转换矩阵和每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标,该每个第一像素点的第一坐标为该每个第一像素点在第一坐标系中的坐标,该每个第一像素点的第二坐标为该每个第一像素点在第二坐标系中的坐标。
步骤104:根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像进行融合,得到多模态探测图像,该每个第二像素点的第三坐标为该每个第二像素点在该第二坐标系中的坐标。
在一种可能的设计中,该获取第一转换矩阵,包括:
通过该多模态探测***探测坐标配准模体,得到第三图像和第四图像,该坐标配准模体包括n个点源,该n个点源为能够被该多模态探测***探测到的对象,该对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,该第三图像的FOV坐标系为第一坐标系,该第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定该第三图像中的n个点源中的每个点源的第四坐标,以及确定该第四图像中的每个点源的第五坐标,该每个点源的第四坐标为该每个点源在第一坐标系中的坐标,该每个点源的第五坐标为该每个点源在第二坐标系的坐标;
根据该每个点源的第四坐标和第五坐标,确定第一转换矩阵。
在一种可能的设计中,该确定该第三图像中的n个点源中的每个点源的第四坐标,包括:
对于每个点源,在该第三图像中确定该点源所在的球体,获取该球体内每个第三像素点的像素值和第六坐标,该每个第三像素点的第六坐标为该每个第三像素点在第一坐标系中的坐标;
根据该每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定该点源的第四坐标:
其中,(x4,y4,z4)为该点源的第四坐标,(x6,y6,z6)为该每个第三像素点的第六坐标,PixelValuep为该每个第三像素点的像素值。
在一种可能的设计中,该确定该第四图像中的该每个点源的第五坐标,包括:
对于该每个点源,在该第四图像中确定该点源所在的球体,获取该球体内每个第四像素点的像素值和第九坐标,该每个第四像素点的第九坐标为该每个第四像素点在该第二坐标系中的坐标;
根据该每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定该点源的第五坐标:
其中,(x5,y5,z5)为该点源的第五坐标,(x9,y9,z9)为该每个第四像素点的第九坐标,PixelValueq为该每个第四像素点的像素值。
在一种可能的设计中,该根据该每个点源的第四坐标和第五坐标,确定该第一转换矩阵,包括:
根据每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定每个点源的坐标差异表达式;
根据每个点源的坐标差异表达式,确定多个点源的总坐标差异表达式;
根据该总坐标差异表达式,确定满足预设条件的该第一转换矩阵,该预设条件为该总坐标差异表达式的值是最小值。
在一种可能的设计中,该根据每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定每个点源的坐标差异表达式,包括:
根据每个点源的第四坐标和该转换表达式,通过以下公式二,确定每个点源的第七坐标,该每个点源的第七坐标为每个点源在第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
根据该每个点源的第五坐标和第七坐标,通过以下公式三,确定每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为该每个点源的第七坐标,(x5,y5,z5)为该每个点源的第五坐标,(x4,y4,z4)为该每个点源的第四坐标,M为该转换表达式,Δx为该坐标差异表达式。
在一种可能的设计中,该多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,该第一图像为PET探测器探测的PET图像,该第二图像为CT探测器探测的CT图像,该根据该第一转换矩阵和每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标之前,该方法还包括:
根据该第一转换矩阵,获取第二转换矩阵,该第二转换矩阵用于将该第二图像中的每个第二像素点在第二坐标系中的坐标转换为在第一坐标系中的坐标;
根据该第二转换矩阵和每个第二像素点的第三坐标,确定每个第二像素点的第八坐标,该每个第二像素点的第八坐标为每个第二像素点在第一坐标系中的坐标;
根据该每个第二像素点的第八坐标和该每个第一像素点的第一坐标,从第二图像中确定每个第一像素点的衰减系数;
根据该每个第一像素点的衰减系数,对第一图像进行校正。
本发明实施例中,控制终端探测到目标对象的第一图像和第二图像后,获取第一转换矩阵,并根据该第一转换矩阵和第一图像中每个第一像素点的第一坐标,将该每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标,然后,控制终端再根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像融合为多模态探测图像,由于该第一转换矩阵为将第一图像中的每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标的转换矩阵,因此,减小了第一图像的第一坐标系和第二图像的第二坐标系之间的误差,进一步提高了将第一图像和第二图像融合时的准确性。
由于PET探测器的FOV坐标系和CT探测器的FOV坐标系之间存在误差,从而导致控制终端将PET图像和CT图像融合的准确性差;在本发明实施例中,控制终端获取一个转换矩阵,该转换矩阵用于将PET图像转换为CT探测器的FOV坐标系中的图像,通过该转换矩阵将PET图像转换为CT探测器的FOV坐标系中的图像,将CT图像和转换后的PET图像进行融合,得到PET-CT图像。由于CT图像和转换后PET图像的坐标系都是CT探测器的FOV坐标系,减少了PET图像的坐标系和CT图像的坐标系之间的误差,因此提高了图像融合的准确性。
或者,控制终端获取一个转换矩阵,该转换矩阵用于将CT图像转换为PET探测下的FOV坐标系中的图像,通过该转换矩阵将CT图像转换为PET探测器的FOV坐标系中的图像,将PET图像和转换后的CT图像进行融合,得到PET-CT图像。由于PET图像和转换后CT图像的坐标系都是PET探测器的FOV坐标系,减少了PET图像的坐标系和CT图像的坐标系之间的误差,因此提高了图像融合的准确性,并且,提高了衰减校正的精度。
参见图2,本发明实施例通过以下步骤201-203获取转换矩阵,包括:
步骤201:控制终端通过该多模态探测***探测坐标配准模体,得到第三图像和第四图像,该坐标配准模体包括n个点源,该n个点源为能够被该多模态探测***探测到的对象,该对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,该第三图像的FOV坐标系为第一坐标系,该第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数。
本发明实施例中,PET-CT设备可以包括PET探测器和CT探测器,因此,本步骤可以通过以下第一种方式或者第二种方式实现。
对于第一种实现方式,本步骤可以为:
控制终端通过PET探测器探测该坐标配准模体,得到该坐标配准模体的第三图像,控制终端通过CT探测器探测该坐标配准模体,得到该坐标配准模体的第四图像。
其中,将第三图像的FOV坐标系作为第一坐标系,即PET探测器对应的FOV坐标系,将第四图像的FOV坐标系作为第二坐标系,即CT探测器对应的FOV坐标系。
本步骤中,控制终端通过PET探测器探测该坐标配准模体时,PET探测器中有多个探测器单元对,PET探测器可以通过该多个探测器单元对探测该坐标配准模体在三维空间中发射出的光子对,组成该坐标配准模体的第三图像;控制终端通过CT探测器探测该坐标配准模体时,CT探测器对该坐标配准模体实时进行探测,得到该坐标配准模体的多张CT图像,将该多张CT图像组成第四图像。
本发明实施例中,该坐标配准模体中包括多个点源,控制终端对该坐标配准模体中的点源进行探测,该点源可以为混合了医用碘油的被核素标记的溶液或者固态点源,该被核素标记的溶液可以发射出一对方向相反的光子对,其中,该被核素标记的溶液可以为F18-FDG(2-Fluorine-18-Fluoro-2-deeoxy-D-glucose,2-氟-18-氟-2-脱氧-D-葡萄糖)溶液,也可以为其它能够同时被多模态探测***探测到的对象,本发明实施例对此不作具体限定。
因此,控制终端通过PET探测器探测该坐标配准模体,得到该坐标配准模体的第三图像的步骤可以为:控制终端通过PET探测器探测该坐标配准模体发出的光子对,并将探测到的该光子对的探测数据组成第三图像。
其中,该探测数据可以包括该PET探测器探测到的光子对的位置和数目等;由于任意四个不在同一平面的点可以唯一确定一个三维空间,因此,该坐标配准模体至少包括四个不在同一平面的点源,即n为大于或等于4的整数。
本发明实施例中,以包括六个点源的坐标配准模体为例进行说明,如图3所示,该坐标配准模体的结构可以为梯状结构,该坐标配准模体中包括六个点源,六个点源沿着垂直于地面的方向平均分三组,放置到该坐标配准模体的每层平板上,该坐标配准模体中点源放置的位置不超出该PET-CT设备的FOV范围,且该多个点源在垂直方向上的投影不会互相干涉,即不会发生重叠。
由于该坐标配准模体中的每个点源既可以被PET探测器探测到,也可以被CT探测器探测到。该点源可以为混合了医用碘油的F18-FDG溶液,则第三图像为一个包括了六个点源的三维图像;多张CT图像组成的第四图像也可以被看作是一个包括了六个点源的三维图像。
对于第二种实现方式,本步骤可以为:
控制终端可以通过CT探测器探测该坐标配准模体,得到该坐标配准模体的第三图像,控制终端可以通过PET探测器探测该坐标配准模体,得到该坐标配准模体的第四图像。此时,可以将第三图像的FOV坐标系作为第一坐标系,即CT探测器对应的FOV坐标系,将第四图像的FOV坐标系作为第二坐标系,即PET探测器对应的FOV坐标系。
本发明实施例中,控制终端确定坐标配准模体的第三图像和第四图像后,通过以下步骤202,确定坐标配准模体中的每个点源在第三图像以及第四图像中的位置。
步骤202:控制终端确定该第三图像中的该n个点源中的每个点源的第四坐标,以及确定该第四图像中的该每个点源的第五坐标,该每个点源的第四坐标为该每个点源在该第一坐标系中的坐标,该每个点源的第五坐标为该每个点源在该第二坐标系的坐标。
本步骤中,通过确定每个点源的重心坐标进而确定该点源在第三图像以及第四图像中的位置,因此,本步骤可以通过以下步骤2021-2024实现。
步骤2021:对于每个点源,控制终端在第三图像中确定该点源所在的球体,获取该球体内每个第三像素点的像素值和第六坐标,该每个第三像素点的第六坐标为该每个第三像素点在该第一坐标系中的坐标。
本发明实施中,对于坐标配准模体包括的多个点源,控制终端通过PET探测器和CT探测器分别探测该坐标配准模体,并且该坐标配准模体中的每个点源通过PET探测器探测得到的PET图像中的位置和该坐标配准模体中该点源通过CT探测器探测得到的CT图像中的位置一一对应。
为了准确的确定出坐标配准模体中每个点源分别在第一坐标系中的第四坐标以及该点源对应的在第二坐标系中的第五坐标,需按该坐标配准模体中每个点源的预设次序,依次确定点源的第四坐标以及第五坐标,因此,本步骤中,在第三图像中确定该点源所在的球体的步骤可以为:
获取该点源的在多个点源中的次序,根据该次序,在第三图像中确定该点源所在的球体。
其中,该预设次序可以根据用户需要设置并更改,本发明实施例对此不作具体限定。
需要说明的是,控制终端在第三图像中确定多个点源中每个点源所在的球体的次序与控制终端在第四图像中确定多个点源中每个点源所在的球体的次序一致。
例如,该预设次序可以为控制终端探测该坐标配准模体时,该坐标配准模体中多个点源沿着该PET-CT设备的轴向的正方向的次序。
图3是该坐标配准模体的结构图,如图3所示,以坐标配准模体包括六个点源为例进行说明,该坐标配准模体包括第一横板、第二横板、第三横板以及用于固定第一横板、第二横板、第三横板的第一竖板和第二竖板,第一横板上设置点源1和点源2,第二横板上设置点源3和点源4,第三横板上设置点源5和点源6。
图4是该坐标配准模体的俯视图,该坐标配准模体中每个点源在垂直于地面方向的投影分布如图4所示。
本发明实施例中,可以将PET-CT设备中垂直于探测器圆环所在的平面的方向定义为轴向,如果将俯视图中从第一横板到第三横板的方向定义为轴向的正方向,该坐标配准模体在垂直方向上的投影中,多个点源的投影互不干涉,多个点源中每个点源沿着该PET-CT设备的轴向正方向依次为:2→1→3→4→6→5;因此,控制终端在第三图像以及第四图像中确定多个点源中每个点源所在的球体顺序可以均为:2→1→3→4→6→5。
本步骤中,在第三图像中,先确定球心,根据该球心,确定一个比该点源的实际体积略大的球体,因此,控制终端在第三图像中确定该点源所在的球体的步骤可以为:控制终端获取第三图像中每个第三像素点的像素值,确定多个第三像素点中像素值最大的点,以该点为球心,确定一个体积大于该点源实际体积的球体,并将该球体作为该点源所在的球体。
其中,控制终端确定一个体积大于该点源实际体积的球体时,可以通过以下步骤,确定一个比该点源实际体积略大的球体:控制终端确定该球心到该点源边界最大的距离,根据该最大的距离,确定大于该最大的距离的预设距离,将该预设距离确定为该球体的半径,进而确定一个比该点源的实际体积略大的球体。
其中,该预设距离可以根据用户需要设置并更改,本发明实施例对此不做具体限定。例如,该预设距离可以为该最大距离增加单位长度的距离,例如,如果该最大距离为3毫米,该预设距离可以为3.1毫米。需要说明的是,控制终端在第三图像中确定该点源所在的球体的步骤中,该确定一个体积大于该点源实际体积的球体的实现方式可以根据用户需要设置并更改,本发明实施例对该确定一个体积大于该点源实际体积的球体的实现方式并不作具体限定。
本步骤中,控制终端获取该球体内每个第三像素点的像素值后,确定该每个第三像素点在第一坐标系中的坐标,将该第三像素点在第一坐标系中的坐标作为第六坐标。
步骤2022:控制终端根据该每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定该点源的第四坐标:
其中,(x4,y4,z4)为该点源的第四坐标,(x6,y6,z6)为该每个第三像素点的第六坐标,PixelValuep为该每个第三像素点的像素值。
需要说明的是,该点源的第四坐标即为该点源所在球体的重心坐标。
步骤2023:对于每个点源,控制终端在第四图像中确定该点源所在的球体,获取该球体内每个第四像素点的像素值和第九坐标,该每个第四像素点的第九坐标为该每个第四像素点在该第二坐标系中的坐标。
本步骤和步骤2021实现过程类似,在此不再赘述。
步骤2024:控制终端根据该每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定该点源的第五坐标:
其中,(x5,y5,z5)为该点源的第五坐标,(x9,y9,z9)为该每个第四像素点的第九坐标,PixelValueq为该每个第四像素点的像素值。
本步骤和步骤2022实现过程类似,在此不再赘述。
进而,控制终端根据第三图像的第四坐标和第四图像的第五坐标,通过以下步骤203,确定第一转换矩阵,该第一转化矩阵可以用于将第三图像在第一坐标系中的第四坐标转化为第三图像在第二坐标系中的第七坐标。
步骤203:控制终端根据该每个点源的第四坐标和第五坐标,确定该第一转换矩阵。
如果第三图像为PET探测器探测的PET图像,第四图像为CT探测器探测的CT图像,则第一转换矩阵为将PET图像转换为CT探测器的FOV坐标系的图像对应的转换矩阵。
如果第三图像为CT探测器探测的CT图像,第四图像为PET探测器探测的PET图像,则第一转换矩阵为将CT图像转换为PET探测器的FOV坐标系的图像对应的转换矩阵。
本步骤中,通过第一转换矩阵,将第三图像在第一坐标系中的坐标转化为第三图像在第二坐标系中的坐标时,对于坐标配准模体中的每个点源,控制终端通过确定转化后的第三图像在第二坐标系中的第七坐标和第四图像在第二坐标系中的第五坐标的坐标差异,进一步确定使得多个点源的总坐标差异最小的第一转换矩阵。
因此,本步骤可以通过以下步骤2031-2033实现。
步骤2031:控制终端根据该每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定该每个点源的坐标差异表达式。
本发明实施例中,对于坐标配准模体中的每个点源,控制终端预先定义了将第三图像在第一坐标系的第四坐标转换为第三图像在第二坐标系中的第七坐标的转换表达式,然后,通过该转换表达式,进一步确定该第七坐标和第四图像中该点源对应的第五坐标的坐标差异。因此,本步骤可以通过以下步骤2031a-2031b实现。
步骤2031a:控制终端根据该每个点源的第四坐标和该转换表达式,通过以下公式二,确定该每个点源的第七坐标,该每个点源的第七坐标为该每个点源在该第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
其中,(x7,y7,z7)为该每个点源的第七坐标,(x4,y4,z4)为该每个点源的第四坐标,M为该转换表达式。
本发明实施例中,对于坐标配准模体中的每个点源,控制终端根据公式二中的转换表达式,将第三图像在第一坐标系中的第四坐标转换为第三图像在第二坐标系中的第七坐标。
当第一转换矩阵为将CT图像转换为PET探测器的FOV坐标系的图像对应的转换矩阵时,该公式二可以为:(x7,y7,z7)=MCT→PET×(x4,y4,z4),该MCT→PET表示将CT图像在CT探测器的FOV坐标系中的坐标转换为CT图像在PET探测器的FOV坐标系中的坐标时,第一转换矩阵对应的转换表达式;
当第一转换矩阵为将PET图像转换为CT探测器的FOV坐标系的图像对应的转换矩阵时,该公式二可以为:(x7,y7,z7)=MPET→CT×(x4,y4,z4),该MPET→CT表示将PET图像在PET探测器的FOV坐标系中的坐标转换为PET图像在CT探测器的FOV坐标系中的坐标时,第一转换矩阵对应的转换表达式。
本步骤中,第三图像在第一坐标系中的第四坐标可以通过旋转和平移转换为第二坐标系中的第七坐标。
如果以第二坐标系作为参考坐标系,将第一坐标系包括的每个坐标分别绕x、y、z轴旋转一定的角度,以使第一坐标系的x、y、z轴分别与参考坐标系的x、y、z轴平行,然后,将第一坐标系包括的每个坐标分别沿x、y、z轴方向平移一定的距离,以使第一坐标系的坐标原点与参考坐标系的坐标原点重叠,最终,使得第一坐标系和第二坐标系保持一致。
其中,将第一坐标系包括的每个坐标分别绕x、y、z轴的旋转的角度分别记为θ、ψ,将第一坐标系包括的每个坐标分别沿x、y、z轴方向平移的距离记为x0、y0、z0,这样,得到将第三图像在第一坐标系中的第四坐标转换为第二坐标系中的第七坐标的转换参数,该转换参数包括旋转参数θ、ψ以及平移参数x0、y0、z0;则将第三图像在第一坐标系中的第四坐标转换为第二坐标系中的第七坐标的转换表达式M可以用该转换参数表示为:
由于实验误差以及PET探测器和CT探测器分辨率等因素对试验数据产生的影响,导致实际实验数据不可能得到该矩阵包括的多个参数的精确解。因此,本发明实施不能根据该公式二直接得到该多个参数的精确解。
本发明实施例中,采用自创的算法,通过以下步骤2031b,表示出转化后的第四坐标和第二坐标系中的第五坐标之间存在的坐标差异。
步骤2031b:控制终端根据该每个点源的第五坐标和第七坐标,通过以下公式三,确定该每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为该每个点源的第七坐标,(x5,y5,z5)为该每个点源的第五坐标,Δx为该坐标差异表达式。
由步骤2031a可知,第七坐标和第四坐标之间的关系可以通过以下公式二表示为:
公式二:(x7,y7,z7)=M×(x4,y4,z4),
因此,将公式二代入公式三,得到以下公式四,即每个点源的坐标差异表达式可以表示为:
公式四:Δx=(x5,y5,z5)-M×(x4,y4,z4)。
当第一转换矩阵为将CT图像转换为PET探测器的FOV坐标系的图像对应的转换矩阵时,该公式四可以为:ΔxCT→PET=(x5,y5,z5)-MCT→PET×(x4,y4,z4),该ΔxCT→PET为将CT图像在CT探测器的FOV坐标系中的坐标转换为CT图像在PET探测器的FOV坐标系中的坐标时,第一转换矩阵对应的坐标差异表达式。
当第一转换矩阵为将PET图像转换为CT探测器的FOV坐标系的图像对应的转换矩阵时,该公式四可以为:ΔxPET→CT=(x5,y5,z5)-MPET→CT×(x4,y4,z4),该ΔxPET→CT为将PET图像在PET探测器的FOV坐标系中的坐标转换为PET图像在CT探测器的FOV坐标系中的坐标时,第一转换矩阵对应的坐标差异表达式。
步骤2032:控制终端根据该每个点源的坐标差异表达式,确定该多个点源的总坐标差异表达式。
本发明实施例中,通过以下公式五,即总坐标差异表达式,进一步将坐标配准模体中的多个点源的总坐标差异表示为:
其中,n表示该坐标配准模体包括的n个点源,j表示坐标轴的维度,即用于表示该坐标分别在第一坐标系以及第二坐标系中的x、y、z轴的三个维度,Error表示总坐标差异表达式。
因此,通过该公式五,定义了坐标配准模体中多个点源的第五坐标和第七坐标之间的差异。
其中,当第一转换矩阵为将CT图像转换为PET探测器的FOV坐标系的图像对应的转换矩阵时,该公式五可以为:该ErrorCT→PET为将CT图像在CT探测器的FOV坐标系中的坐标转换为CT图像在PET探测器的FOV坐标系中的坐标时,对应的总坐标差异表达式。
当第一转换矩阵为将PET图像转换为CT探测器的FOV坐标系的图像对应的转换矩阵时,该公式五可以为:该ErrorPET→CT为将PET图像在PET探测器的FOV坐标系中的坐标转换为PET图像在CT探测器的FOV坐标系中的坐标时,对应的总坐标差异表达式。
步骤2033:控制终端根据该总坐标差异表达式,确定满足预设条件的该第一转换矩阵,该预设条件为该总坐标差异表达式的值是最小值。
本步骤中,根据该总坐标差异表达式公式五,将每个点源的坐标差异表达式代入总坐标差异表达式,即,将公式四代入公式五中,然后,将步骤202中确定的每个点源在第三图像的第四坐标和该点源在第四图像的第五坐标依次代入该公式五中,确定一个使得该总坐标差异表达式的值最小的转换矩阵,即确定出使得该总坐标差异表达式的值最小的转换矩阵中的每个转换参数,进而,将该转换矩阵作为第一转换矩阵。
具体的实施过程为:将每个点源在第三图像的第四坐标和该点源在第四图像的第五坐标依次代入该公式五,在第一转换矩阵初始值的基础上,在物理过程所要求的合理范围内,选取合适的步长,依次计算总坐标差异表达式的值,从中选取使得坐标差异表达式的值最小时对应的转换矩阵,作为第一转换矩阵的最优解。
其中,第一转换矩阵初始值可以为:
这样,控制终端可以根据该第一转换矩阵,将第三图像在第一坐标系中的第四坐标转换为该第三图像在第二坐标系中的第七坐标。
本发明实施例中,控制终端存储第一转换矩阵中的每一个转换参数的数值,便于后续使用控制终端时,根据该第一转换矩阵,将PET-CT中的第一图像和第二图像进行融合。
本发明实施例的一种可能的设计中,由于CT探测器探测的CT图像中可以存储目标对象的衰减系数,控制终端可以通过该衰减系数,先对PET图像进行衰减校正,然后,再根据第一转换矩阵,将修正后的PET图像转换为CT探测器的FOV坐标系中的图像,进而将修正后的PET图像和CT图像进行融合,进一步提高了融合后的PET-CT图像的准确度。
因此,当第一转换矩阵为将PET图像转换为CT探测器的FOV坐标系的图像对应的转换矩阵时,还需通过以下步骤a,确定将CT图像转换为PET探测器的FOV坐标系的图像对应的转换矩阵,即第二转换矩阵。
步骤a:控制终端根据该第一转换矩阵,获取第二转换矩阵,该第二转换矩阵用于将该第四图像中的每个第四像素点在该第二坐标系中的坐标转换为在该第一坐标系中的坐标。
本步骤中,如果该第一转换矩阵可以为MPET→CT,此时,由于需要根据转换后的第四图像中的每个第四像素点的图像数据,确定衰减系数,因此,还需获取第二转换矩阵MCT→PET,即将该第四图像中的每个第四像素点在该第二坐标系中的坐标转换为在该第一坐标系中的坐标的转换矩阵。
由公式二:(x7,y7,z7)=MPET→CT×(x4,y4,z4)可知,该第一转换矩阵和第二转换矩阵具有正交性,该第一转换矩阵和第二转换矩阵的正交性可以通过以下公式六表示为:
公式六:MCT→PET=MPET→CT -1,
因此,控制终端直接根据该公式六,确定出第二转换矩阵MCT→PET中的每个参数值即可。
本发明实施例中,控制终端存储第二转换矩阵中的每一个转换参数的数值,便于后续使用PET-CT设备时,根据该第二转换矩阵,将CT图像转换为PET探测器的FOV坐标系中的图像,并根据该转换后的CT图像对PET图像进行衰减校正。
本发明实施例中,控制终端探测坐标配准模体得到第三图像和第四图像后,通过第三图像的第四坐标、第四图像的第五坐标以及转换表达式,定义多个点源中每个点源坐标差异表达式,进而确定多个点源的总坐标差异表达式,根据该总坐标差异表达式,确定出使得该总坐标差异表达式的值最小的第一转换矩阵;由于本发明实施例并不是只根据每个点源的转换表示式以及第四坐标、第五坐标直接得到第一转换矩阵,而是预先定义了多个点源的总坐标差异表达式,将第四坐标、第五坐标代入该总坐标差异表达式,确定第一转换矩阵,而且,该第一转换矩阵使得该总坐标差异表达式的值最小,因此,本发明实施例使得转换后坐标差异最小,从而提高图像融合精度。在PET/CT***中,既有利于提高病灶定位的精确性,也有利于PET图像利用CT图像进行衰减校正的精度。
本发明实施例提供了一种多模态探测***图像融合的方法,该方法利用上述实施例获取的第一转换矩阵,对图像进行融合。该方法的执行主体可以为控制终端,参见图5,该方法包括:
步骤301:控制终端通过多模态探测***探测目标对象,得到第一图像和第二图像,该第一图像的视野FOV坐标系为第一坐标系,该第二图像的FOV坐标系为第二坐标系。
本步骤中,控制终端可以包括PET探测器和CT探测器,因此,本步骤可以通过以下第一种方式或者第二种方式实现。
对于第一种实现方式,本步骤可以为:
控制终端通过PET探测器探测该目标对象,得到该目标对象的第一图像,控制终端通过CT探测器探测该目标对象,得到该目标对象的第二图像。
其中,将第一图像的FOV坐标系作为第一坐标系,即PET探测器对应的FOV坐标系,将第二图像的FOV坐标系作为第二坐标系,即CT探测器对应的FOV坐标系。
需要说明的是,控制终端通过PET探测器探测该目标对象,得到该目标对象的第一图像,控制终端通过CT探测器探测该目标对象,得到该目标对象的第二图像的实现方式同步骤201的实现方式一致,此处不再一一赘述。
对于第二种实现方式,本步骤可以为:
控制终端通过多模态探测***探测目标对象,得到第一图像和第二图像的步骤还可以为:控制终端通过CT探测器探测该目标对象,得到该目标对象的第一图像,控制终端通过PET探测器探测该目标对象,得到该目标对象的第二图像。
此时,将第一图像的FOV坐标系作为第一坐标系,即CT探测器对应的FOV坐标系,将第二图像的FOV坐标系作为第二坐标系,即PET探测器对应的FOV坐标系。
步骤302:控制终端获取第一转换矩阵,该第一转换矩阵用于将该第一图像中的每个第一像素点在该第一坐标系中的坐标转换为在该第二坐标系中的坐标。
本发明实施例中,控制终端预先通过步骤201-203,确定了控制终端的第一转换矩阵,并存储了该第一转换矩阵中每个转换参数,因此,本步骤中,PET-CT直接获取该第一转换矩阵即可。
需要说明的是,该第一转换矩阵可以将第三图像在第一坐标系中的第四坐标转换为该第三图像在第二坐标系中的第七坐标,对应的,在本步骤中,该第一转换矩阵用于将第一图像在第一坐标系中的坐标转换为该第一图像在第二坐标系中的坐标。
本发明实施例的一种可能的设计中,控制终端获取第一转换矩阵后,可以直接执行以下步骤303,将第一图像中每个第一像素点的第一坐标转换为该第一图像的每个第一像素点在第二坐标系中的第二坐标。
本发明实施例的一种可能的设计中,该第一图像可以为控制终端通过PET探测器探测的PET图像,则第二图像为控制终端通过CT探测器探测的CT图像,此时,由于CT图像中存储了目标对象的衰减系数,控制终端可以通过该衰减系数,先对PET图像进行衰减校正,然后,再通过以下步骤303-304,将PET图像转换为CT探测器的FOV坐标系中的图像,进而将转换后的PET图像和CT图像进行融合。
因此,控制终端执行步骤303之前,先通过以下步骤b-c,对第一图像进行校正。
步骤b:控制终端根据该第二转换矩阵和该每个第二像素点的第三坐标,确定该每个第二像素点的第八坐标,该每个第二像素点的第八坐标为该每个第二像素点在该第一坐标系中的坐标。
本步骤中,如果该第一转换矩阵可以为MPET→CT,此时,由于需要根据转换后的第二图像中的每个第二像素点的图像数据,确定衰减系数,因此,还需获取第二转换矩阵MCT→PET,该第二转换矩阵用于将该第二图像中的每个第二像素点在该第二坐标系中的坐标转换为在该第一坐标系中的坐标。
本步骤中,由于控制终端通过步骤a,确定了第二转换矩阵,因此,控制终端直接获取第二转换矩阵,根据该第二转化矩阵MCT→PET,确定该第二转换矩阵中的转换参数,根据该第二转换矩阵中的转换参数,分别将第二图像中的每个第二像素点的第三坐标转换为该第二像素点在第一坐标系中的第八坐标。
步骤c:控制终端根据该每个第二像素点的第八坐标和该每个第一像素点的第一坐标,从该第二图像中确定该每个第一像素点的衰减系数;控制终端根据该每个第一像素点的衰减系数,对该第一图像进行校正。
本发明实施例中,由于控制终端通过CT探测器探测目标对象时,该CT探测器可以通过X射线束对目标对象进行扫描,因此,可以从该第二图像的图像数据中获取X射线的衰减系数,即第一像素点的衰减系数;由于通过步骤b,将第二图像中的每个第二像素点的第三坐标转换为该第二像素点在第一坐标系中的第八坐标后,根据该第二像素点的第八坐标,可以确定该目标对象在第一图像中对应的第二像素点位置处的衰减系数,即第一图像中第一像素点的衰减系数。
相应的,对于每个第二像素点,控制终端根据该第二像素点的第八坐标,从第二图像中确定该第八坐标位置对应衰减系数。
其中,控制终端根据该每个第一像素点的衰减系数,对该第一图像进行校正的步骤可以为:
控制终端根据该第一图像中每个第一像素点的衰减系数,对该第一图像中每个第一像素点的图像数据进行校正,将校正后的每个第一像素点的图像数据组成校正后的第一图像。
步骤303:控制终端根据该第一转换矩阵和该每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标,该每个第一像素点的第一坐标为该每个第一像素点在该第一坐标系中的坐标,该每个第一像素点的第二坐标为该每个第一像素点在该第二坐标系中的坐标。
本发明实施例中,第一像素点为第一图像中的像素点,第二像素点为每个第二图像中的像素点,该第一像素点在第一坐标系中对应的坐标为第一坐标。
本步骤中,控制终端根据第一转换矩阵中的每个转换参数,将该每个转换参数作用于每个第一像素点在第一坐标系中的第一坐标,得到该每个第一像素点在第二坐标系中的第二坐标。
步骤304:控制终端根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像进行融合,得到多模态探测图像,该每个第二像素点的第三坐标为该每个第二像素点在该第二坐标系中的坐标。
本发明实施例中,第二图像包括的每个第二像素点在第二坐标系中对应的坐标为第三坐标。
本步骤可以为:控制终端根据该第一图像中的每个第一像素点的第二坐标,从第一图像中确定每个第一像素点的图像数据,根据该第二图像中的每个第二像素点的第三坐标,从第二图像中确定每个第二像素点的图像数据,根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将每个第一像素点的图像数据和每个第二像素点的图像数据进行融合,得到模态探测图像,比如PET-CT图像。
本发明实施例的一种可能的设计中,如果控制终端通过步骤b-c对第一图像进行校正,即,当该多模态探测***为PET-CT探测***,该第一图像为PET图像,该第二图像为CT图像,则本步骤可以为:
控制终端根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第二图像和该校正后的第一图像进行融合,得到多模态探测图像,该每个第二像素点的第三坐标为该每个第二像素点在该第二坐标系中的坐标。
控制终端根据该校正后的第一图像中的每个第一像素点的第二坐标,从校正后的第一图像中确定每个第一像素点的图像数据,根据该第二图像中的每个第二像素点的第三坐标,从第二图像中确定每个第二像素点的图像数据,根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将每个第一像素点的图像数据和每个第二像素点的图像数据进行融合,得到模态探测图像,也即PET-CT图像。
本发明实施例中,控制终端探测到目标对象的第一图像和第二图像后,获取第一转换矩阵,并根据该第一转换矩阵和第一图像中每个第一像素点的第一坐标,将该每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标,然后,控制终端再根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像融合为多模态探测图像,由于该第一转换矩阵为将第一图像中的每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标的转换矩阵,因此,减小了第一图像的第一坐标系和第二图像的第二坐标系之间的误差,进一步提高了将第一图像和第二图像融合时的准确性。
本发明实施里提供了一种多模态探测***图像融合的装置,参见图6,该装置包括:
探测模块401,用于通过多模态探测***探测目标对象,得到第一图像和第二图像,该第一图像的视野FOV坐标系为第一坐标系,该第二图像的FOV坐标系为第二坐标系;
第一获取模块402,用于获取第一转换矩阵,该第一转换矩阵用于将该第一图像中的每个第一像素点在该第一坐标系中的坐标转换为在该第二坐标系中的坐标;
第一确定模块403,用于根据该第一转换矩阵和该每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标,该每个第一像素点的第一坐标为该每个第一像素点在该第一坐标系中的坐标,该每个第一像素点的第二坐标为该每个第一像素点在该第二坐标系中的坐标;
融合模块404,用于根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像进行融合,得到多模态探测图像,该每个第二像素点的第三坐标为该每个第二像素点在该第二坐标系中的坐标。
在一种可能的设计中,该第一获取模块402,包括:
探测单元,用于通过该多模态探测***探测坐标配准模体,得到第三图像和第四图像,该坐标配准模体包括n个点源,该n个点源为能够被该多模态探测***探测到的对象,该对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,该第三图像的FOV坐标系为第一坐标系,该第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定单元,用于确定该第三图像中的该n个点源中的每个点源的第四坐标,以及确定该第四图像中的该每个点源的第五坐标,该每个点源的第四坐标为该每个点源在该第一坐标系中的坐标,该每个点源的第五坐标为该每个点源在该第二坐标系的坐标;根据该每个点源的第四坐标和第五坐标,确定该第一转换矩阵。
在一种可能的设计中,该确定单元,包括:
第一确定子单元,用于对于该每个点源,在该第三图像中确定该点源所在的球体,获取该球体内每个第三像素点的像素值和第六坐标,该每个第三像素点的第六坐标为该每个第三像素点在该第一坐标系中的坐标;
第二确定子单元,用于根据该每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定该点源的第四坐标:
其中,(x4,y4,z4)为该点源的第四坐标,(x6,y6,z6)为该每个第三像素点的第六坐标,PixelValuep为该每个第三像素点的像素值。
在一种可能的设计中,该确定单元,包括:
第三确定子单元,用于对于该每个点源,在该第四图像中确定该点源所在的球体,获取该球体内每个第四像素点的像素值和第九坐标,该每个第四像素点的第九坐标为该每个第四像素点在该第二坐标系中的坐标;
第四确定子单元,用于根据该每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定该点源的第五坐标:
其中,(x5,y5,z5)为该点源的第五坐标,(x9,y9,z9)为该每个第四像素点的第九坐标,PixelValueq为该每个第四像素点的像素值。
在一种可能的设计中,该确定单元,包括:
第五确定子单元,用于根据该每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定该每个点源的坐标差异表达式;
第六确定子单元,用于根据该每个点源的坐标差异表达式,确定该多个点源的总坐标差异表达式;
第七确定子单元,用于根据该总坐标差异表达式,确定满足预设条件的该第一转换矩阵,该预设条件为该总坐标差异表达式的值是最小值。
在一种可能的设计中,该第五确定子单元,还用于根据该每个点源的第四坐标和该转换表达式,通过以下公式二,确定该每个点源的第七坐标,该每个点源的第七坐标为该每个点源在该第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
该第五确定子单元,还用于根据该每个点源的第五坐标和第七坐标,通过以下公式三,确定该每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为该每个点源的第七坐标,(x5,y5,z5)为该每个点源的第五坐标,(x4,y4,z4)为该每个点源的第四坐标,M为该转换表达式,Δx为该坐标差异表达式。
在一种可能的设计中,该多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,该第一图像为PET探测器探测的PET图像,该第二图像为CT探测器探测的CT图像,该装置还包括:
第二获取模块,用于根据该第一转换矩阵,获取第二转换矩阵,该第二转换矩阵用于将该第二图像中的每个第二像素点在该第二坐标系中的坐标转换为在该第一坐标系中的坐标;
第二确定模块,用于根据该第二转换矩阵和该每个第二像素点的第三坐标,确定该每个第二像素点的第八坐标,该每个第二像素点的第八坐标为该每个第二像素点在该第一坐标系中的坐标;
第三确定模块,用于根据该每个第二像素点的第八坐标和该每个第一像素点的第一坐标,从该第二图像中确定该每个第一像素点的衰减系数;
校正模块,用于根据该每个第一像素点的衰减系数,对该第一图像进行校正。
本发明实施例中,控制终端探测到目标对象的第一图像和第二图像后,获取第一转换矩阵,并根据该第一转换矩阵和第一图像中每个第一像素点的第一坐标,将该每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标,然后,控制终端再根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像融合为多模态探测图像,由于该第一转换矩阵为将第一图像中的每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标的转换矩阵,因此,减小了第一图像的第一坐标系和第二图像的第二坐标系之间的误差,进一步提高了将第一图像和第二图像融合时的准确性。
需要说明的是:上述实施例提供的多模态探测***图像融合的装置在多模态探测***图像融合时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多模态探测***图像融合的装置与多模态探测***图像融合的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
参见图7,本发明实施例提供了一种控制终端500。该处理终端500用于实施上述实施例中提供的多模态探测***图像融合的方法。具体来讲:
处理终端500可以包括处理器510、收发器520、存储器530、输入单元550、显示单元550、音频电路560以及电源570等部件,如图7所示,本领域技术人员可以理解,图7中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件或者组合某些部件,或者不同的部件布置。其中:
处理器510可以是终端的控制中心,利用各种接口和线路连接整个终端设备的各个部分,如收发器520和存储器530等,通过运行或执行存储在存储器530内的软件程序和/或模块,以及调用存储在存储器530内的数据,执行处理终端500的各种功能和处理数据,从而对处理终端500进行整体监控。可选的,处理器510可包括一个或多个处理核心。在本发明中,处理器510可以用于确定门控信号的相关处理。收发器520可以用于接收和发送数据,终端可以通过收发器520接收和发送数据,终端可以通过因特网收发数据,收发器可以是网卡。
存储器530可用于存储软件程序以及模块,处理器510通过运行存储在存储器530的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器530可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如确定门控信号功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如湮灭点位置信息等)等。此外,存储器530可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入单元540可以用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。显示单元550可以用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元550可包括显示面板551,可选的,可以采用LCD(LiquidCrystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板551。音频电路560、扬声器561,传声器562可提供用户与终端之间的音频接口,音频电路560可将接收到的音频数据转换为电信号。电源570可以通过电源管理***与处理器510逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源570还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
具体在本发明实施例中,处理终端500还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于进行以下操作的指令:
通过多模态探测***探测目标对象,得到第一图像和第二图像,该第一图像的视野FOV坐标系为第一坐标系,该第二图像的FOV坐标系为第二坐标系。
获取第一转换矩阵,该第一转换矩阵用于将第一图像中的每个第一像素点在第一坐标系中的坐标转换为在第二坐标系中的坐标。
根据该第一转换矩阵和每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标,该每个第一像素点的第一坐标为该每个第一像素点在第一坐标系中的坐标,该每个第一像素点的第二坐标为该每个第一像素点在第二坐标系中的坐标。
根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像进行融合,得到多模态探测图像,该每个第二像素点的第三坐标为该每个第二像素点在该第二坐标系中的坐标。
在一种可能的设计中,该获取第一转换矩阵,包括:
通过该多模态探测***探测坐标配准模体,得到第三图像和第四图像,该坐标配准模体包括n个点源,该n个点源为能够被该多模态探测***探测到的对象,该对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,该第三图像的FOV坐标系为第一坐标系,该第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定该第三图像中的n个点源中的每个点源的第四坐标,以及确定该第四图像中的每个点源的第五坐标,该每个点源的第四坐标为该每个点源在第一坐标系中的坐标,该每个点源的第五坐标为该每个点源在第二坐标系的坐标;
根据该每个点源的第四坐标和第五坐标,确定第一转换矩阵。
在一种可能的设计中,该确定该第三图像中的n个点源中的每个点源的第四坐标,包括:
对于每个点源,在该第三图像中确定该点源所在的球体,获取该球体内每个第三像素点的像素值和第六坐标,该每个第三像素点的第六坐标为该每个第三像素点在第一坐标系中的坐标;
根据该每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定该点源的第四坐标:
其中,(x4,y4,z4)为该点源的第四坐标,(x6,y6,z6)为该每个第三像素点的第六坐标,PixelValuep为该每个第三像素点的像素值。
在一种可能的设计中,该确定该第四图像中的该每个点源的第五坐标,包括:
对于该每个点源,在该第四图像中确定该点源所在的球体,获取该球体内每个第四像素点的像素值和第九坐标,该每个第四像素点的第九坐标为该每个第四像素点在该第二坐标系中的坐标;
根据该每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定该点源的第五坐标:
其中,(x5,y5,z5)为该点源的第五坐标,(x9,y9,z9)为该每个第四像素点的第九坐标,PixelValueq为该每个第四像素点的像素值。
在一种可能的设计中,该根据该每个点源的第四坐标和第五坐标,确定该第一转换矩阵,包括:
根据每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定每个点源的坐标差异表达式;
根据每个点源的坐标差异表达式,确定多个点源的总坐标差异表达式;
根据该总坐标差异表达式,确定满足预设条件的该第一转换矩阵,该预设条件为该总坐标差异表达式的值是最小值。
在一种可能的设计中,该根据每个点源的第四坐标、第五坐标和该第一转换矩阵的转换表达式,确定每个点源的坐标差异表达式,包括:
根据每个点源的第四坐标和该转换表达式,通过以下公式二,确定每个点源的第七坐标,该每个点源的第七坐标为每个点源在第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
根据该每个点源的第五坐标和第七坐标,通过以下公式三,确定每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为该每个点源的第七坐标,(x5,y5,z5)为该每个点源的第五坐标,(x4,y4,z4)为该每个点源的第四坐标,M为该转换表达式,Δx为该坐标差异表达式。
在一种可能的设计中,该多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,该第一图像为PET探测器探测的PET图像,该第二图像为CT探测器探测的CT图像,该根据该第一转换矩阵和每个第一像素点的第一坐标,确定该每个第一像素点的第二坐标之前,该方法还包括:
根据该第一转换矩阵,获取第二转换矩阵,该第二转换矩阵用于将该第二图像中的每个第二像素点在第二坐标系中的坐标转换为在第一坐标系中的坐标;
根据该第二转换矩阵和每个第二像素点的第三坐标,确定每个第二像素点的第八坐标,该每个第二像素点的第八坐标为每个第二像素点在第一坐标系中的坐标;
根据该每个第二像素点的第八坐标和该每个第一像素点的第一坐标,从第二图像中确定每个第一像素点的衰减系数;
根据该每个第一像素点的衰减系数,对第一图像进行校正。
本发明实施例中,控制终端探测到目标对象的第一图像和第二图像后,获取第一转换矩阵,并根据该第一转换矩阵和第一图像中每个第一像素点的第一坐标,将该每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标,然后,控制终端再根据该每个第一像素点的第二坐标和该第二图像中的每个第二像素点的第三坐标,将该第一图像和该第二图像融合为多模态探测图像,由于该第一转换矩阵为将第一图像中的每个第一像素点的第一坐标转换为该每个第一像素点在第二坐标系中的第二坐标的转换矩阵,因此,减小了第一图像的第一坐标系和第二图像的第二坐标系之间的误差,进一步提高了将第一图像和第二图像融合时的准确性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种多模态探测***图像融合的方法,其特征在于,所述方法包括:
通过多模态探测***探测目标对象,得到第一图像和第二图像,所述第一图像的视野FOV坐标系为第一坐标系,所述第二图像的FOV坐标系为第二坐标系;
获取第一转换矩阵,所述第一转换矩阵用于将所述第一图像中的每个第一像素点在所述第一坐标系中的坐标转换为在所述第二坐标系中的坐标;
根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标,所述每个第一像素点的第一坐标为所述每个第一像素点在所述第一坐标系中的坐标,所述每个第一像素点的第二坐标为所述每个第一像素点在所述第二坐标系中的坐标;
根据所述每个第一像素点的第二坐标和所述第二图像中的每个第二像素点的第三坐标,将所述第一图像和所述第二图像进行融合,得到多模态探测图像,所述每个第二像素点的第三坐标为所述每个第二像素点在所述第二坐标系中的坐标;
所述获取第一转换矩阵,包括:
通过所述多模态探测***探测坐标配准模体,得到第三图像和第四图像,所述坐标配准模体包括n个点源,所述n个点源为能够被所述多模态探测***探测到的对象,所述对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,所述第三图像的FOV坐标系为第一坐标系,所述第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定所述第三图像中的所述n个点源中的每个点源的第四坐标,以及确定所述第四图像中的所述每个点源的第五坐标,所述每个点源的第四坐标为所述每个点源在所述第一坐标系中的坐标,所述每个点源的第五坐标为所述每个点源在所述第二坐标系的坐标;
根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵;
所述确定所述第三图像中的所述n个点源中的每个点源的第四坐标,包括:
对于所述每个点源,在所述第三图像中确定所述点源所在的球体,获取所述球体内每个第三像素点的像素值和第六坐标,所述每个第三像素点的第六坐标为所述每个第三像素点在所述第一坐标系中的坐标;
根据所述每个第三像素点的像素值和第六坐标,通过以下公式一(1),确定所述点源的第四坐标:
公式一(1):
其中,(x4,y4,z4)为所述点源的第四坐标,(x6,y6,z6)为所述每个第三像素点的第六坐标,PixelValuep为所述每个第三像素点的像素值。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第四图像中的所述每个点源的第五坐标,包括:
对于所述每个点源,在所述第四图像中确定所述点源所在的球体,获取所述球体内每个第四像素点的像素值和第九坐标,所述每个第四像素点的第九坐标为所述每个第四像素点在所述第二坐标系中的坐标;
根据所述每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定所述点源的第五坐标:
公式一(2):
其中,(x5,y5,z5)为所述点源的第五坐标,(x9,y9,z9)为所述每个第四像素点的第九坐标,PixelValueq为所述每个第四像素点的像素值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵,包括:
根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式;
根据所述每个点源的坐标差异表达式,确定所述n个点源的总坐标差异表达式;
根据所述总坐标差异表达式,确定满足预设条件的所述第一转换矩阵,所述预设条件为所述总坐标差异表达式的值是最小值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式,包括:
根据所述每个点源的第四坐标和所述转换表达式,通过以下公式二,确定所述每个点源的第七坐标,所述每个点源的第七坐标为所述每个点源在所述第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
根据所述每个点源的第五坐标和第七坐标,通过以下公式三,确定所述每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为所述每个点源的第七坐标,(x5,y5,z5)为所述每个点源的第五坐标,(x4,y4,z4)为所述每个点源的第四坐标,M为所述转换表达式,Δx为所述坐标差异表达式。
5.根据权利要求1所述的方法,其特征在于,所述多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,所述第一图像为PET探测器探测的PET图像,所述第二图像为CT探测器探测的CT图像,所述根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标之前,所述方法还包括:
根据所述第一转换矩阵,获取第二转换矩阵,所述第二转换矩阵用于将所述第二图像中的每个第二像素点在所述第二坐标系中的坐标转换为在所述第一坐标系中的坐标;
根据所述第二转换矩阵和所述每个第二像素点的第三坐标,确定所述每个第二像素点的第八坐标,所述每个第二像素点的第八坐标为所述每个第二像素点在所述第一坐标系中的坐标;
根据所述每个第二像素点的第八坐标和所述每个第一像素点的第一坐标,从所述第二图像中确定所述每个第一像素点的衰减系数;
根据所述每个第一像素点的衰减系数,对所述第一图像进行校正。
6.一种多模态探测***图像融合的装置,其特征在于,所述装置包括:
探测模块,用于通过多模态探测***探测目标对象,得到第一图像和第二图像,所述第一图像的视野FOV坐标系为第一坐标系,所述第二图像的FOV坐标系为第二坐标系;
第一获取模块,用于获取第一转换矩阵,所述第一转换矩阵用于将所述第一图像中的每个第一像素点在所述第一坐标系中的坐标转换为在所述第二坐标系中的坐标;
第一确定模块,用于根据所述第一转换矩阵和所述每个第一像素点的第一坐标,确定所述每个第一像素点的第二坐标,所述每个第一像素点的第一坐标为所述每个第一像素点在所述第一坐标系中的坐标,所述每个第一像素点的第二坐标为所述每个第一像素点在所述第二坐标系中的坐标;
融合模块,用于根据所述每个第一像素点的第二坐标和所述第二图像中的每个第二像素点的第三坐标,将所述第一图像和所述第二图像进行融合,得到多模态探测图像,所述每个第二像素点的第三坐标为所述每个第二像素点在所述第二坐标系中的坐标;
所述第一获取模块,包括:
探测单元,用于通过所述多模态探测***探测坐标配准模体,得到第三图像和第四图像,所述坐标配准模体包括n个点源,所述n个点源为能够被所述多模态探测***探测到的对象,所述对象可以是混合了医用碘油的F18-FDG溶液或者固态点源,所述第三图像的FOV坐标系为第一坐标系,所述第四图像的FOV坐标系为第二坐标系,n为大于或等于4的整数;
确定单元,用于确定所述第三图像中的所述n个点源中的每个点源的第四坐标,以及确定所述第四图像中的所述每个点源的第五坐标,所述每个点源的第四坐标为所述每个点源在所述第一坐标系中的坐标,所述每个点源的第五坐标为所述每个点源在所述第二坐标系的坐标;根据所述每个点源的第四坐标和第五坐标,确定所述第一转换矩阵;
所述确定单元,包括:
第一确定子单元,用于对于所述每个点源,在所述第三图像中确定所述点源所在的球体,获取所述球体内每个第三像素点的像素值和第六坐标,所述每个第三像素点的第六坐标为所述每个第三像素点在所述第一坐标系中的坐标;
第二确定子单元,用于根据所述每个第三像素点的像素值和第六坐标,通过以下公式一,确定所述点源的第四坐标:
公式一:
其中,(x4,y4,z4)为所述点源的第四坐标,(x6,y6,z6)为所述每个第三像素点的第六坐标,PixelValuep为所述每个第三像素点的像素值。
7.根据权利要求6所述的装置,其特征在于,所述确定单元,包括:
第三确定子单元,用于对于所述每个点源,在所述第四图像中确定所述点源所在的球体,获取所述球体内每个第四像素点的像素值和第九坐标,所述每个第四像素点的第九坐标为所述每个第四像素点在所述第二坐标系中的坐标;
第四确定子单元,用于根据所述每个第四像素点的像素值和第九坐标,通过以下公式一(2),确定所述点源的第五坐标:
公式一(2):
其中,(x5,y5,z5)为所述点源的第五坐标,(x9,y9,z9)为所述每个第四像素点的第九坐标,PixelValueq为所述每个第四像素点的像素值。
8.根据权利要求6所述的装置,其特征在于,所述确定单元,包括:
第五确定子单元,用于根据所述每个点源的第四坐标、第五坐标和所述第一转换矩阵的转换表达式,确定所述每个点源的坐标差异表达式;
第六确定子单元,用于根据所述每个点源的坐标差异表达式,确定所述n个点源的总坐标差异表达式;
第七确定子单元,用于根据所述总坐标差异表达式,确定满足预设条件的所述第一转换矩阵,所述预设条件为所述总坐标差异表达式的值是最小值。
9.根据权利要求8所述的装置,其特征在于,所述第五确定子单元,还用于根据所述每个点源的第四坐标和所述转换表达式,通过以下公式二,确定所述每个点源的第七坐标,所述每个点源的第七坐标为所述每个点源在所述第二坐标系中的坐标:
公式二:(x7,y7,z7)=M×(x4,y4,z4)
所述第五确定子单元,还用于根据所述每个点源的第五坐标和第七坐标,通过以下公式三,确定所述每个点源的坐标差异表达式:
公式三:Δx=(x5,y5,z5)-(x7,y7,z7)
其中,(x7,y7,z7)为所述每个点源的第七坐标,(x5,y5,z5)为所述每个点源的第五坐标,(x4,y4,z4)为所述每个点源的第四坐标,M为所述转换表达式,Δx为所述坐标差异表达式。
10.根据权利要求6所述的装置,其特征在于,所述多模态探测***为正电子发射断层显像-计算机断层扫描PET-CT探测***,所述第一图像为PET探测器探测的PET图像,所述第二图像为CT探测器探测的CT图像,所述装置还包括:
第二获取模块,用于根据所述第一转换矩阵,获取第二转换矩阵,所述第二转换矩阵用于将所述第二图像中的每个第二像素点在所述第二坐标系中的坐标转换为在所述第一坐标系中的坐标;
第二确定模块,用于根据所述第二转换矩阵和所述每个第二像素点的第三坐标,确定所述每个第二像素点的第八坐标,所述每个第二像素点的第八坐标为所述每个第二像素点在所述第一坐标系中的坐标;
第三确定模块,用于根据所述每个第二像素点的第八坐标和所述每个第一像素点的第一坐标,从所述第二图像中确定所述每个第一像素点的衰减系数;
校正模块,用于根据所述每个第一像素点的衰减系数,对所述第一图像进行校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611239157.5A CN106889999B (zh) | 2016-12-28 | 2016-12-28 | 多模态探测***图像融合的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611239157.5A CN106889999B (zh) | 2016-12-28 | 2016-12-28 | 多模态探测***图像融合的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106889999A CN106889999A (zh) | 2017-06-27 |
CN106889999B true CN106889999B (zh) | 2019-12-03 |
Family
ID=59198885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611239157.5A Active CN106889999B (zh) | 2016-12-28 | 2016-12-28 | 多模态探测***图像融合的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106889999B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712133B (zh) * | 2018-12-28 | 2021-04-20 | 上海联影医疗科技股份有限公司 | 病灶定位方法、装置以及磁共振波谱分析*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003536134A (ja) * | 2000-06-02 | 2003-12-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像を合成画像に合併する方法及び装置 |
ES2313223T3 (es) * | 2005-10-06 | 2009-03-01 | Medcom Gesellschaft Fur Medizinische Bildverarbeitung Mbh | Registro de datos de imagenes de ultrasonidoss 2d y datos de imagenes 3-d de un objeto. |
CN102853793B (zh) * | 2012-09-27 | 2015-03-25 | 中国科学院高能物理研究所 | 坐标变换数据处理方法和装置 |
CN104545964A (zh) * | 2013-10-29 | 2015-04-29 | 北京大基康明医疗设备有限公司 | 一种图像校正方法及*** |
CN104665857B (zh) * | 2013-11-28 | 2019-01-11 | 上海联影医疗科技有限公司 | 多模态成像***配准方法 |
CN104840212B (zh) * | 2014-02-14 | 2017-10-27 | 上海联影医疗科技有限公司 | 多模态成像***的配准测试设备及方法 |
-
2016
- 2016-12-28 CN CN201611239157.5A patent/CN106889999B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106889999A (zh) | 2017-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10424118B2 (en) | Perspective representation of a virtual scene component | |
JP3793266B2 (ja) | ポジトロンct装置およびその画像再構成方法 | |
CN109961491A (zh) | 多模态图像截断补偿方法、装置、计算机设备和介质 | |
CN107638188A (zh) | 图像衰减校正方法及装置 | |
US8314380B2 (en) | On-line TOF-PET mashed rebinning for continuous bed motion acquisitions | |
CN109452947A (zh) | 用于生成定位图像和对患者成像的方法、x射线成像*** | |
US9665990B2 (en) | Image display to display 3D image and sectional images | |
CN106097437B (zh) | 基于纯光学***的生物自发光三维成像方法 | |
CN103460245A (zh) | 信息处理设备 | |
JP2008206978A (ja) | 被検体の画像表示方法および装置 | |
CN108697397A (zh) | 辐射断层成像***及其控制程序 | |
CN109934220A (zh) | 一种影像兴趣点的展示方法、装置及终端 | |
CN109887048B (zh) | Pet散射校正方法、图像重建方法、装置及电子设备 | |
CN112401919B (zh) | 一种基于摆位模型的辅助摆位方法及*** | |
JP2015106262A (ja) | 画像処理装置、治療システム及び画像処理方法 | |
JP2012242397A (ja) | 撮像用検出器及び画像検出の方法 | |
CN110495899A (zh) | 确定几何形状校准的方法和设备和确定关联数据的方法 | |
JP2014228443A (ja) | 核医学診断装置および核医学画像生成プログラム | |
CN102727237A (zh) | 医用图像诊断装置以及控制方法 | |
US7912271B2 (en) | Method for determining final projection matrices | |
CN106889999B (zh) | 多模态探测***图像融合的方法和装置 | |
CN109009204A (zh) | 用于调节焦点位置的方法和*** | |
JP2016137050A (ja) | 医用画像処理装置、医用画像処理方法および医用画像診断装置 | |
JP2020003488A (ja) | 医用情報処理装置 | |
Liu et al. | In vivo quantitative reconstruction studies of bioluminescence tomography: effects of peak-wavelength shift and model deviation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |