CN113662579A - 超声波诊断装置、医用图像处理装置及方法、存储介质 - Google Patents
超声波诊断装置、医用图像处理装置及方法、存储介质 Download PDFInfo
- Publication number
- CN113662579A CN113662579A CN202010402012.2A CN202010402012A CN113662579A CN 113662579 A CN113662579 A CN 113662579A CN 202010402012 A CN202010402012 A CN 202010402012A CN 113662579 A CN113662579 A CN 113662579A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- dimensional
- medical image
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000002604 ultrasonography Methods 0.000 claims abstract description 220
- 238000004364 calculation method Methods 0.000 claims abstract description 58
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 239000000523 sample Substances 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 7
- 230000017531 blood circulation Effects 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005481 NMR spectroscopy Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000012285 ultrasound imaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 210000002989 hepatic vein Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000003240 portal vein Anatomy 0.000 description 2
- 238000000293 three-dimensional nuclear magnetic resonance spectroscopy Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明的实施方式涉及医用图像处理装置及方法、超声波诊断装置和存储介质。所述医用图像处理装置用于进行二维超声图像到三维医用图像的配准，其特征在于，具有：计算部，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；配准用二维超声图像提示部，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；三维医用图像取得部，取得一个三维医用图像；以及配准部，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
Description
技术领域
本发明涉及超声波诊断装置、医用图像处理装置及方法、存储介质。
背景技术
在医用领域中，利用由超声波探头的多个振子(压电振子)产生的超声波来对被检体内部进行图像化的超声波诊断装置已被使用。超声波诊断装置从与超声波诊断装置连接的超声波探头向被检体内发送超声波，并生成基于反射波的回波信号，通过图像处理来获得所希望的超声波图像。
已知，为了判断病灶部位和大小等需要把握被检体内部的空间结构，在此情况下，会利用到通过不同的医用图像诊断装置获得的诊断用的3D图像数据，一般来说，除了通过超声波诊断装置获得的3D超声波图像之外，还可以列举出通过X射线CT装置或MRI装置等其他的医用图像摄像装置获得的3D图像数据。
由于3D图像数据的生成较复杂，因此一般在手术前的诊断阶段提前生成用于诊断的3D图像。但是，手术中，由于被检体***的移动等问题，有时会造成实际的内部结构与3D图像中的体数据出现偏差、进而不能准确地表示被检体的内部结构的情况。因此，优选的是，在手术中，使用实时性好且伤害小的超声波诊断装置来对病灶等手术区域进行摄像。与X射线CT装置或MRI装置相比，利用超声波诊断装置时，能够不限定场所和被检体的状态地、以尽可能短的时间进行重新配准，从而减少了例如开腹状态的被检体的负担。
但是，如何选择重新配准所需的超声图像是困难的。现有技术中，由操作者在超声波扫描图像和诊断用3D图像这两者上设定可观察的标记来进行对位。但是这样复杂的操作及开腹状态的被检体的负担成为较大的课题。现有技术中对于如何选择到容易配准的超声波扫描图像没有提出解决方案。另外，在使用单个超声图像进行配准时，可能出现配准结果不理想的问题，但若选择多个超声图像则相应地配准时间变长。因此，期望的是，能够尽可能在短时间内检索到容易配准的超声波扫描图像。
发明内容
本发明要解决的课题在于，提供一种能够在短时间内检索到容易配准的超声波扫描图像的超声波诊断装置、医用图像处理装置及方法、存储介质。
一实施方式涉及的医用图像处理装置，用于进行二维超声图像到三维医用图像的配准，具有：计算部，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；配准用二维超声图像提示部，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；三维医用图像取得部，取得一个三维医用图像；以及配准部，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
一实施方式涉及的超声波诊断装置，具有：超声波探头，向被检体发送超声波，并接收来自上述被检体的超声波；以及医用图像处理装置，所述医用图像处理装置用于进行二维超声图像到三维医用图像的配准，并具有：计算部，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；配准用二维超声图像提示部，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；三维医用图像取得部，取得一个三维医用图像；以及配准部，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
一实施方式涉及的医用图像处理方法，用于进行二维超声图像到三维医用图像的配准，包括如下步骤：计算步骤，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；配准用二维超声图像提示步骤，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；三维医用图像取得步骤，取得一个三维医用图像；以及配准步骤，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
一实施方式涉及的存储介质，存储有能够由计算机执行的多个指令，上述多个指令在被上述计算机执行时，使计算机执行包括如下步骤的方法：计算步骤，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；配准用二维超声图像提示步骤，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；三维医用图像取得步骤，取得一个三维医用图像；以及配准步骤，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
附图说明
图1是表示实施方式涉及的超声波诊断装置的构成例的示意图。
图2是表示实施方式涉及的作为医用图像处理装置的处理电路的构成的示意图。
图3A、图3B、图3C分别表示在显示器上显示带有好的、一般的和差的计算结果的超声图像的示意图。
图4为在显示器上将优选的超声图像强调显示的示意图。
图5是表示用于配准的2D超声图像的选择的流程图。
图6是表示带有特征部位的2D超声图像的图。
图7是表示具有不同的纹理结构的2D超声图像的图。
图8是将各个2D超声图像以磁座标系表示来判断正交性度量的示意图。
图9A、图9B是将各个2D超声图像和关注区域以磁座标系表示来判断覆盖率的示意图。
图10是利用特征部位来进行2D-3D图像的配准的示意图。
图11是利用特征部位来进行2D-3D图像的配准的流程图。
具体实施方式
以下，参照附图对超声波诊断装置、医用图像处理装置及方法、以及记载有用于实现医用图像处理方法的计算机程序的存储介质进行说明。其中，以下说明的实施方式只是一个例子，并不限定于以下的实施方式。另外，一个实施方式中记载的内容原则上也能够同样地应用于其他实施方式。
图1是表示实施方式涉及的超声波诊断装置1的构成例的框图。如图1所示，实施方式涉及的超声波诊断装置1具有装置主体100、超声波探头101、输入装置102、以及显示器103。超声波探头101、输入装置102、以及显示器103与装置主体100连接。
超声波探头101具有多个振子(例如，压电振子)，这些多个振子基于从后述的装置主体100所具有的收发电路110供给的驱动信号来产生超声波。另外，超声波探头101所具有的多个振子接收来自被检体P的反射波并转换成电信号。另外，超声波探头101具有设置于振子的匹配层、和防止超声波从振子向后方传播的衬垫材料等。
输入装置102包括能够由操作者操作的输入器件、和输入来自输入器件的信号的输入电路。输入器件可由跟踪球、开关、鼠标、键盘、通过碰触操作面来进行输入操作的触摸板、显示画面与触摸板一体化而成的触摸屏、使用了光学传感器的非接触输入器件、以及声音输入器件等实现。在输入器件***作者操作时，输入电路生成与该操作对应的信号并向处理电路输出。
显示器103例如由液晶显示器或OLED显示器等一般的显示输出装置构成。显示器103显示供超声波诊断装置1的操作者使用输入装置102来输入各种设定请求的GUI(Graphical User Interface)、或显示在装置主体100中生成的超声波图像数据等。
装置主体100是基于超声波探头101接收到的反射波信号来生成超声波图像数据的装置，如图1所示，装置主体100具有收发电路110、信号处理电路120、图像生成电路130、图像存储器140、存储电路150、以及处理电路160。收发电路110、信号处理电路120、图像生成电路130、图像存储器140、存储电路150以及处理电路160连接成能够相互通信。
关于收发电路110、信号处理电路120、图像生成电路130、图像存储器140、存储电路150，可以采用现有技术中的一般电路来实现，因此在此不再赘述，下面仅详细说明作为本发明的要点的处理电路160。
处理电路160控制超声波诊断装置1的整个处理。具体而言，处理电路160基于操作者经由输入装置102输入的各种设定请求、从存储电路150读入的各种控制程序以及各种数据，来控制收发电路110、信号处理电路120、图像生成电路130以及图像存储器140的处理。处理电路160进行控制以便由显示器103显示图像存储器140所存储的显示用的超声波图像数据。
处理电路160作为本实施方式中的医用图像处理装置发挥作用。
以上，对实施方式涉及的超声波诊断装置1的基本构成进行了说明，下面，详细说明实施方式涉及的作为医用图像处理装置的处理电路160的各组成部分的构成及作用。
如图2所示，处理电路160具备发挥配准用2D超声图像取得功能的配准用2D超声图像取得部161、发挥3D医用图像取得功能的3D医用图像取得部162以及发挥配准功能的配准部163。这里的配准用2D超声图像取得部、3D医用图像取得部162、配准部163是为了方便表述而将处理电路可实现的功能以部件的名称的方式加以命名得到的。图2所示的2D超声图像取得部、3D医用图像取得部162、配准部163的各功能以能够被计算机执行的程序的方式被记录于超声波诊断装置1的存储电路中。处理电路是从存储电路中将程序读出并执行来实现与各程序对应的功能的处理器。换言之，读出了各程序后的处理电路160具有上述配准用2D超声图像取得部、3D医用图像取得部162、配准部163的功能。
配准用2D超声图像取得部161和3D医用图像取得部分别与配准部163连接，所获取的配准用的多个2D超声图像和一个3D医用图像被输入配准部163而进行配准。
此外，在图2中，说明了通过单一的处理电路160来实现配准用2D超声图像取得部、3D医用图像取得部162、配准部163的功能的情况，但是也可以将多个独立的处理器组合来构成处理电路，通过各处理器执行程序来实现各功能。
如图2所示，配准用2D超声图像取得部161具有取得部16A、计算部16B、提示部16C、显示控制部16D。配准用2D超声图像取得部161是在图像生成电路130生成的多个2D超声图像中选择出配准用的2D超声图像的部件。
其中，取得部16A用于从图像生成电路130中获取经由超声波探头101传递并经过处理后的多个2D超声图像。取得部16A不加筛选地获取来自图像生成电路130的全部的2D超声图像。
计算部16B基于事先定义的图像评价参数和图像评价参数所对应的计算方法，对上述超声波探头采集并加以处理后的全部的多个2D超声图像进行计算，并按照图像评价参数所对应的阈值范围，判断每个2D超声图像计算结果与阈值范围的关系。所谓图像评价参数是用于评价2D超声图像是否是有利于精确配准的2D超声图像的指标，本实施方式中将图像评价参数分为特征部位、纹理度量、正交性度量、覆盖程度、和多普勒血流图像来进行说明。但上述所列举的图像评价参数只是一例，并不限定于此。计算部16B的计算中可以针对其中的一个参数进行计算，也可以针对多个参数进行计算。关于各个图像评价参数的计算方法，在后面进行说明。
提示部16C将计算部16B计算出的结果向操作者提示，例如可以将所计算出的计算结果写入2D超声图像中而将两者组合，同时将所计算出的计算结果与事先规定的用于评价推荐程度的阈值范围进行比较，不同的计算结果根据推荐程度而被不同地显示。关于显示方式，可以是将计算结果按照推荐程度的不同而以不同颜色来在超声图像中显示，也可以是按照推荐程度的不同而将计算结果超过规定阈值的2D超声图像作为优选的2D超声图像在显示器上进行强调显示。操作者可以根据提示部16C提示出的计算结果和被强调显示的2D超声图像来确认用于配准的2D超声图像。但是，操作者的确认步骤并不是必须的。也就是说，可以不需要操作者的手动的选择并确认的过程，而是在计算完成后根据计算结果与阈值范围的大小关系而直接选出适当的2D超声图像来进行与包括3D超声图像、3D电子计算机断层扫描图像、3D核磁共振图像在内的3D医用图像的配准。
显示控制部16D控制显示器的显示，使提示部16C提示出的带有上述计算结果的2D超声图像显示在显示器中。此外，显示控制部16D也可以被控制为，使计算结果超过规定阈值的2D超声图像以强调显示的方式显示在显示器中。
在通过配准用2D超声图像取得部161取得的2D超声图像具有多个的情况下，利用配准部163，将这些多个优选的2D超声图像与利用3D医用图像取得部162取得的3D医用图像进行配准，从而能够在短时间内实现2D到3D的精确配准。
在显示器上显示带有计算结果的2D超声图像的情况下，操作者可以事先针对每个图像评价参数设置用于评价推荐程度的多个数值范围。在针对当前的2D超声图像进行计算并得到计算结果后，通过判断计算结果落入哪个数值范围，从而可以得到该当前的2D超声图像的推荐程度。另外，上述计算结果被以归一化后的数值的方式表示，被归一化到[0，1]的区间内，归一化后的结果被显示在显示器上。例如，可以将归一化的结果分为三个区间：0～0.6、0.6～0.85、0.85～1。当结果处于0～0.6的区间时，表示该图像不能用于匹配，用红色来显示归一化后的数值。当结果处于0.6～0.85的区间时，表示该图像的质量一般但也可以用作配准，用黄色来显示归一化后的数値。当结果处于0.85～1的区间时，表示该图像的质量好，适合用于配准，用绿色来显示归一化后的数値。
图3为将带有归一化后的计算结果的2D超声图像在显示器上显示的示意图。其中“XXX：0.95”为绿色，“XXX：0.3”为红色，“XXX：0.7”为黄色，其中的XXX为被选择的图像评价参数的名称，0.95、0.3、0.7为归一化后的计算结果。上述颜色是基于前述的三个区间划分而确定的，操作者可以根据颜色而容易地知道哪些超声图像是优选的，另外也可以不用颜色对数据加以区分，而是只显示归一化后的数值，操作者可以根据操作手册中推荐的阈值范围来选择适当的2D超声图像，并进行接下来的配准。此外，也可以在显示计算结果的同时，将是否优选一并显示，例如在显示器上显示“XXX：0.9(优选)”等字符。上面列举了一些计算结果的显示方法，但本实施方式并不限定于此，只要是能够帮助操作者区分出优选的2D超声图像，则也可以是其他的方法。
另外，上面采用了将计算结果归一化到[0，1]的区间内并显示的方法，但也可以不进行归一化。
图4为在显示器上将优选的超声图像强调显示并对优选的超声图像进行提示的示意图。如图4的上侧所示，在超声波探头的实时扫描中，提示部16C根据计算部16B的计算结果判断当前的超声图像是否是有利于精确配准的超声图像，在判断为是有利于精确配准的超声图像的情况下，对于当前的超声图像例如以对边缘加高光的方式进行强调显示。上述被强调显示的超声图像可以直接用于后续的配准，也可以如图4的下侧所示，进一步向操作者提示后，由操作者在优选出的超声图像中进一步选择出更优选的超声图像。
图4与图3的区别在于，不在显示器上显示具体的计算结果(数值)，而是直接根据计算后的结果将优选的2D超声图像强调显示。
另外，图3A～图3C和图4分别示出了在显示器上显示带有计算结果的超声图像和被强调显示的超声图像的情况，但是也可以不向操作者显示上述超声图像。在此情况下，配准用2D超声图像取得部161也可以不具备显示控制部16D，在此情况下，2D超声图像的选择不由操作者来进行，也不需要操作者的确定，整个选择的过程由配准用2D超声图像取得部161自动完成，换言之，配准用2D超声图像取得部161在将计算部16B计算出的结果与阈值范围进行比较后，不在显示器上显示地自动选择出优选的2D超声图像而应用于后续的配准。在此情况下，也同样可以得到优选的用于配准的2D超声图像。
3D医用图像取得部162用于取得3D超声图像、3D电子计算机断层扫描图像、3D核磁共振图像3D中的至少一个，并将所取得的3D医用图像输入到配准部163中。
配准部163将优选的2D超声图像与来自3D医用图像取得部162的3D医用图像进行配准。
图5是表示用于配准的2D超声图像的选择的流程图。首先在步骤S101中，通过处理电路160中的取得部16A从图像生成电路130中获取经由超声波探头101传递并经过处理后的多个2D超声图像。接着，在步骤S102中，计算部16B基于事先确定的图像评价参数，对所获取的多个2D超声图像进行计算，获得作为计算结果的数值。
接着，提示部16C在接收到来自计算部16B的计算结果后，如步骤S103所示将带有计算结果的2D超声图像向操作者提示，或者如步骤S104所示，与其他2D超声图像相比，将优选的2D超声图像强调显示来向操作者提示。另外，也可以如步骤S105所示，将优选出的2D超声图像不显示地直接用于之后的配准。
根据上述实施方式，基于事先定义的图像评价参数，从由超声波诊断装置摄像到的多个2D超声图像中，选择用于配准的2D超声图像，从而能够在多个2D超声图像中优选出有利于提高配准精度的2D超声图像。
另外，该优选出的2D超声图像可以不是一个，而是多个，由此能够进一步提高配准的精度。
另外，在基于图像评价参数的计算后，以在显示器上显示带有计算结果的2D超声图像的方式、或以将优选的(配准精度高的)2D超声图像强调显示在显示器上的方式来向操作者提示，并供操作者确认，从而能够使操作者方便地选择出适合于配准的2D超声图像。
另外，也可以是，基于计算结果来自动地选择用于配准的2D超声图像，此时由于不需要操作者的确认过程，因此能够以更短的时间完成配准。
下面，举例详细说明本实施方式的图像评价参数。
本实施方式涉及的图像评价参数包括特征部位(landmark)、纹理度量、正交性度量、覆盖程度、和多普勒血流图像中的至少一个。
(特征部位)
特征部位是指在解剖学上具有明显特征的部位，是手术中的解剖关键点。作为例子，可以举出肝脏中的门静脉/肝静脉的汇聚处等。图6是表示带有特征部位的2D超声图像的图，其中以圆点的方式示出了肝脏中的门静脉/肝静脉的汇聚处。在不同模态的医用图像中可以通过例如深度神经网络等检测算法来得到上述特征部位。
由于特征部位是解剖关键点，因此若超声图像中存在特征部位，则在后续的配准过程中，可以提高配准的精度。因此期望的是，在由提示部提示出的用于配准的2D超声图像中，包括带有特征部位的2D超声图像。
(纹理度量)
图7是表示具有不同的纹理结构的2D超声图像的图。纹理度量用于表征超声图像中的纹理结构的多少。纹理结构越明显，则对于后续的配准越有利。如图7所示，右侧的超声图像与左侧的超声图像相比，纹理结构更多，从而，优选的是选择右侧的超声图像来作为配准用的超声图像。
为了判断纹理结构的多少，可以使用标准方差来进行计算。例如选择超声图像的中心区域，通过式1来求出该区域的标准方差SD。
其中，Ij是像素强度，
是平均像素强度，N是像素数。在求出各区域的标准方差后，将各标准方差归一化到[0，1]的区间。
操作者通过选择纹理度量的归一化值更接近于1的扫描面(即2D超声图像)，能够获得具有更多的纹理信息的2D超声图像。
(正交性度量)
在使用多个2D超声图像进行配准时，期望的是可以选取到扫描方向差异大、换言之扫描方向更接近于正交的多个超声图像。这是因为，在保持扫描方向的情况下平行地移动探头来进行扫描时，有可能内部纹理结构的差异不明显，若以不同的方向来进行扫描，则能够观察到更丰富的纹理结构。
为了判断各扫描面之间的正交性而使用了正交性度量。关于正交性度量Orth的计算方法，可以采用下述的式2来实现。
其中，i表示第i个被选择的2D超声图像，Ni表示该第i个被选择的超声图像的正交分量，N为2D超声图像的个数，N’为当前的2D超声图像的正交分量。期望的是，尽可能选择正交性度量Orth大的超声图像。
以下，参照图8来进行说明。如图8所示，为了方便观察，各扫描面被转换到磁坐标系下。I1、I2、I’、I”分别表示扫描方向不同的多个扫描面(即2D超声图像)。其中I1、I2为已经被选择的2D超声图像，N1、N2分别为上述的已经被选择的I1、I2的正交分量，I’、I”为等待被选择的2D超声图像，N’、N”为上述等待被选择的I’、I”的正交分量。通过比较I’、I”可知，I’与已经被选择I1、I2的正交程度更大，因此优选的是，选择I’而不选择I”来作为配准用的2D超声图像。
在求出正交性度量Orth后，将各正交性度量Orth归一化到[0，1]的区间。
操作者通过选择正交性度量的归一化值更接近于1的扫描面，能够获得具有更多的纹理信息的2D超声图像。
(覆盖程度)
用于配准的2D超声图像应覆盖尽可能大的关注区域(ROI:region ofinteresting)。所述关注区域是操作者希望着重观察的区域，例如在肝脏消融手术中，关注区域指的是整个肝脏。多个2D超声图像在三维空间中形成的闭包区域与关注区域的交集的大小表示覆盖程度。优选的是，选择在三维空间中的形成的闭包区域占整个关注区域的比例大的多个二维超声医用图像作为配准用的超声图像。
下面，参照图9A、图9B来说明覆盖程度的判断方法。为了方便观察，各扫描面被转换到磁坐标系下。所谓闭包区域，是指在磁坐标系上将位于外侧的扫描面与关注区域相交的各个交点相连而确定的区域。I1、I2、I3、I4分别表示扫描方向不同的多个扫描面。其中I1、I2为已经被选择的超声图像，I3、I4为等待被选择的超声图像。图9A、9B中的网格图案表示各个2D超声图像在3维空间中形成的闭包区域与关注区域ROI的交集。通过比较可知，I1、I2、I4与关注区域ROI所形成的交集的大小大于I1、I2、I3与关注区域ROI所形成的交集的大小。因此优选的是，选择I4而不选择I3来作为配准用的2D超声图像。
上述覆盖程度的大小同样可以通过算法来实现，另外可以在获得了各个扫描面相对于关注区域的覆盖程度之后，将覆盖程度归一化到[0，1]的区间。
操作者通过选择覆盖程度的归一化值更接近于1的扫描面，能够获得覆盖了更大的关注区域的多个2D超声图像。
(多普勒血流图像)
已知人体的主要的血管一般都包含有明显的结构特征，结构特征越明显则配准效果越好。通过使用多普勒超声图像，能够容易地观察到超声图像中是否包含有血流信息。
操作者通过选择包含有血流信息的超声图像作为配准用的超声图像，能够容易地进行配准并提高配准的精度。
以上分别说明了采用特征部位(landmark)、纹理度量、正交性度量、覆盖程度、和多普勒血流图像来作为图像评价参数的情况，但图像评价参数并不限定于上述列出的参数。
实际使用中，可以仅使用上述图像评价参数之一来选择配准用的2D超声图像，在此情况下，例如在2D超声图像中显示“特征部位：1”。此外，也可以使用多个图像评价参数来选择配准用的2D超声图像，在此情况下，例如在2D超声图像中显示“特征部位：1；纹理度量：0.7；正交性度量：0.5”。
另外，在使用了多个图像评价参数时，操作者也可以根据手术类型、关注部位等而对于多个图像评价参数赋予不同的加权因子(权重)并计算加权的分数。
每个2D超声图像的加权分数Sk的计算公式如式3所示。
其中，Mi为第i个2D超声超声图像的评价参数，Wi为该第i个2D超声图像的权重，N为图像评价参数的个数。在使用加权计算方法而计算出总的加权分数时，可以在2D超声图像中仅显示最终的加权分数，例如“加权分数：0.75”，该加权分数同样是越接近于1越好。
通过采用上述加权的方法，可以更全面地评价每个2D超声图像，进而选择出更适合于配准的2D超声图像。
(变形例1)
配准部163对于优选的2D超声图像与利用3D医用图像取得部162取得的3D医用图像进行配准。多个2D超声图像与3D医用图像之间的配准有可能存在耗时长、配准精度不高的问题。
对此，变形例1的配准部163如图2所示具备特征部位检测部16E和显示控制部16D。特征部位检测部16E用于在多个配准用的2D超声图像和3D医用图像中分别取得各自的特征部位。由于特征部位是指在解剖学上具有明显特征的部位，是手术中的解剖关键点，其容易被算法检测，所以利用特征部位能够容易地实现多个2D超声图像与3D医用图像之间的配准。
图10是利用特征部位来进行2D-3D图像的配准的示意图。其中，I1、I2、I3表示2D超声图像，P1、P2、P3为各个2D超声图像中的特征部位，Q1、Q2、Q3为3D医用图像中的各个特征部位。如图10所示，在通过算法将2D超声图像中的P1、P2、P3与3D医用图像中的Q1、Q2、Q3进行匹配而得到对应的特征部位的点对后，利用〈Pi、Qi〉的点对而生成初始变换参数，对转换模型进行初始化，从而完成其他部位的配准。其中，i为点对的数量，为大于等于1的整数。
图11是利用特征部位来进行2D-3D图像的配准的流程图。下面边参照图11中示出的步骤边说明变形例1的从2D超声图像到3D医用图像的配准。
如图11所示，首先在步骤S201中，获取经由超声波探头101传递并经过处理后的多个2D超声图像。接着，在步骤S202中，通过计算，从所获取的多个2D超声图像中，向操作者提示出有利于确定配准用的2D超声图像的信息。所述信息包括带有计算结果的2D超声图像和被强调显示的2D超声图像中的至少一种。步骤S201和步骤S202分别对应于步骤S101～步骤S104，在此将说明简化。
之后，在步骤S203中，针对优选出的配准用的2D超声图像，分别检测各自的配准用的特征部位。在步骤S204～步骤S205中，在获取了事先准备的3D医用图像后，在该3D医用图像中也检测出配准用的特征部位。另外，2D超声图像的特征部位的检测和3D医用图像的特征部位的检测可以是并行进行的，也可以是按照时间的先后顺序而进行的，在此没有限定。接着，在步骤S206中，将2D、3D图像中的特征部位进行匹配而得到对应的特征部位的〈Pi、Qi〉点对，并利用上述点对而得到初始变换参数，之后在步骤S207中利用所得到的初始变换参数进行2D超声图像到3D医用图像的配准，由此完成整个配准过程。
根据变形例1的方式，能够容易地实现2D超声图像与3D医用图像之间的配准，能够减少配准所需的时间，提高配准的精度，从而减轻了手术中患者的负担。
上述实施方式及其变形中的处理电路例如由处理器实现。处理电路对显示器进行控制，以显示由图像数据表示的图像。处理电路具有的配准用2D超声图像取得功能、3D医用图像取得功能、配准功能等的功能以可由计算机执行的程序的形态被存储在存储器中。处理电路通过将各程序从存储器读出、并执行所读出的各程序，来实现与各程序对应的功能。换言之，读出了各程序的状态的处理电路具有图2的处理电路160所示的各功能。
以上，对本发明的几个实施方式进行了说明，但这些实施方式只是例示，并不意图限定发明的范围。这些新的实施方式能够通过其他的各种方式加以实施，在不脱离发明主旨的范围，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且，包含在技术方案所记载的发明及其等同的范围中。
Claims (19)
1.一种医用图像处理装置，用于进行二维超声图像到三维医用图像的配准，其特征在于，具有：
计算部，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；
配准用二维超声图像提示部，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；
三维医用图像取得部，取得一个三维医用图像；以及
配准部，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
2.如权利要求1所述的医用图像处理装置，其特征在于，
还具备特征部位检测部，该特征部位检测部从上述用于配准的二维超声图像和上述三维医用图像中检测出特征部位，
上述配准部根据上述三维医用图像中的特征部位和上述用于配准的二维超声图像中的对应的特征部位，获得用于配准的初始变换参数并基于上述初始变换参数进行配准。
3.如权利要求1或2所述的医用图像处理装置，其特征在于，
还具备显示控制部，该显示控制部使带有基于上述图像评价参数的计算结果的二维超声图像显示在显示器中。
4.如权利要求3所述的医用图像处理装置，其特征在于，
上述图像评价参数的计算结果根据推荐程度而被不同地显示。
5.如权利要求1或2所述的医用图像处理装置，其特征在于，
还具备显示控制部，该显示控制部使上述用于配准的二维超声图像存在多个的情况下上述计算结果超过规定阈值的二维超声图像以强调显示的方式显示在显示器中。
6.如权利要求5所述的医用图像处理装置，其特征在于，
被强调显示的上述二维超声图像被自动地选择为用于配准的二维超声图像。
7.如权利要求1所述的医用图像处理装置，其特征在于，
上述图像评价参数包括特征部位、纹理度量、正交性度量、覆盖程度、和多普勒血流图像中的至少一个。
8.如权利要求7所述的医用图像处理装置，其特征在于，
在使用纹理度量作为上述图像评价参数的情况下，提示出纹理特征被更多显示的二维超声医用图像作为配准用图像。
9.如权利要求7所述的医用图像处理装置，其特征在于，
在使用正交性度量作为上述图像评价参数的情况下，提示出各个二维超声医用图像的扫描方向接近于正交的二维超声医用图像作为配准用图像。
10.如权利要求7所述的医用图像处理装置，其特征在于，
在使用覆盖程度作为上述图像评价参数的情况下，在多个二维超声医用图像中，提示出在三维空间中形成的闭包区域占整个关注区域的比例大的二维超声医用图像作为配准用图像。
11.如权利要求7所述的医用图像处理装置，其特征在于，
在使用多普勒图像作为上述图像评价参数的情况下，提示出包含血流信息的二维超声医用图像作为配准用图像。
12.如权利要求7所述的医用图像处理装置，其特征在于，
基于多个上述图像评价参数来提示配准用图像时，所述计算部的计算结果是对各个上述图像评价参数赋予各自的加权因子并进行加权计算得到的。
13.如权利要求1所述的医用图像处理装置，其特征在于，
上述图像评价参数的计算结果满足归一化要求。
14.如权利要求1所述的医用图像处理装置，其特征在于，
上述三维医用图像为三维超声图像、三维电子计算机断层扫描图像、三维核磁共振图像中的某种。
15.如权利要求2所述的医用图像处理装置，其特征在于，
所述特征部位是在解剖学上具有明显特征的部位。
16.如权利要求3所述的医用图像处理装置，其特征在于，
上述显示控制部使表示三维医用图像中的特征部位与二维超声图像中的对应的特征部位之间的对应关系的上述初始变换参数显示在上述二维超声图像中。
17.一种超声波诊断装置，其特征在于，具有：
超声波探头，向被检体发送超声波，并接收来自上述被检体的超声波；以及
权利要求1～16中任一项所述的医用图像处理装置。
18.一种医用图像处理方法，用于进行二维超声图像到三维医用图像的配准，其特征在于，包括如下步骤：
计算步骤，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；
配准用二维超声图像提示步骤，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；
三维医用图像取得步骤，取得一个三维医用图像；以及
配准步骤，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
19.一种存储介质，存储有能够由计算机执行的多个指令，
上述多个指令在被上述计算机执行时，使计算机执行包括如下步骤的方法：
计算步骤，对由超声波探头获取的多个二维超声图像所对应的事先定义的图像评价参数进行计算；
配准用二维超声图像提示步骤，基于上述图像评价参数，从所获取的多个二维超声图像中，将用于配准的二维超声图像进行提示；
三维医用图像取得步骤，取得一个三维医用图像；以及
配准步骤，根据上述三维医用图像和上述用于配准的二维超声图像，进行配准。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402012.2A CN113662579A (zh) | 2020-05-13 | 2020-05-13 | 超声波诊断装置、医用图像处理装置及方法、存储介质 |
| JP2021079580A JP2021178175A (ja) | 2020-05-13 | 2021-05-10 | 超音波診断装置、医用画像処理装置、医用画像処理方法、及び、プログラム |
| PCT/JP2021/017844 WO2021230230A1 (ja) | 2020-05-13 | 2021-05-11 | 超音波診断装置、医用画像処理装置、及び、医用画像処理方法 |
| CN202180002022.XA CN113939234A (zh) | 2020-05-13 | 2021-05-11 | 超声波诊断装置、医用图像处理装置以及医用图像处理方法 |
| US17/716,453 US20220240898A1 (en) | 2020-05-13 | 2022-04-08 | Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402012.2A CN113662579A (zh) | 2020-05-13 | 2020-05-13 | 超声波诊断装置、医用图像处理装置及方法、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113662579A true CN113662579A (zh) | 2021-11-19 |
Family
ID=78536878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010402012.2A Pending CN113662579A (zh) | 2020-05-13 | 2020-05-13 | 超声波诊断装置、医用图像处理装置及方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113662579A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114098807A (zh) * | 2021-11-26 | 2022-03-01 | 中国人民解放军海军军医大学 | 一种胸腹部超声扫查辅助装置、方法、介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006056679A1 (de) * | 2006-11-30 | 2008-06-05 | Siemens Ag | Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten insbesondere in Echtzeit |
| CN102224525A (zh) * | 2008-11-25 | 2011-10-19 | 皇家飞利浦电子股份有限公司 | 提供用于配准的图像 |
| CN106296714A (zh) * | 2016-08-23 | 2017-01-04 | 东方网力科技股份有限公司 | 一种图像配准方法和装置 |
| CN109886280A (zh) * | 2019-02-21 | 2019-06-14 | 西安微电子技术研究所 | 一种基于核相关滤波的异源图像目标匹配方法 |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
-
2020
- 2020-05-13 CN CN202010402012.2A patent/CN113662579A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006056679A1 (de) * | 2006-11-30 | 2008-06-05 | Siemens Ag | Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten insbesondere in Echtzeit |
| CN102224525A (zh) * | 2008-11-25 | 2011-10-19 | 皇家飞利浦电子股份有限公司 | 提供用于配准的图像 |
| CN106296714A (zh) * | 2016-08-23 | 2017-01-04 | 东方网力科技股份有限公司 | 一种图像配准方法和装置 |
| CN109886280A (zh) * | 2019-02-21 | 2019-06-14 | 西安微电子技术研究所 | 一种基于核相关滤波的异源图像目标匹配方法 |
| CN110009669A (zh) * | 2019-03-22 | 2019-07-12 | 电子科技大学 | 一种基于深度强化学习的3d/2d医学图像配准方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114098807A (zh) * | 2021-11-26 | 2022-03-01 | 中国人民解放军海军军医大学 | 一种胸腹部超声扫查辅助装置、方法、介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11986355B2 (en) | 3D ultrasound imaging system | |
| RU2663649C2 (ru) | Сегментация крупных объектов из нескольких трехмерных видов | |
| RU2667617C2 (ru) | Система и способ эластографических измерений | |
| EP3003161B1 (en) | Method for 3d acquisition of ultrasound images | |
| US9558549B2 (en) | Image processing apparatus, method of controlling the same and storage medium | |
| US20110066031A1 (en) | Ultrasound system and method of performing measurement on three-dimensional ultrasound image | |
| JP2007296336A (ja) | 超音波システム内で情報を表示するためのユーザ・インターフェース及び方法 | |
| US20180360427A1 (en) | Ultrasonic diagnostic apparatus and medical image processing apparatus | |
| KR20110095211A (ko) | 초음파 진단 장치 | |
| JP7075854B2 (ja) | 超音波診断装置及び表示方法 | |
| US20210045717A1 (en) | Methods and system for camera-aided ultrasound scan setup and control | |
| JP7267928B2 (ja) | ボリュームレンダリングされる超音波画像 | |
| US10952705B2 (en) | Method and system for creating and utilizing a patient-specific organ model from ultrasound image data | |
| KR102539922B1 (ko) | 탄성초음파영상에 대한 변형률 계산 및 변형량의 자동 측정을 위한 방법 및 시스템 | |
| EP2402745A1 (en) | Ultrasound diagnosis apparatus, image processing apparatus and image processing method | |
| JP2018079070A (ja) | 超音波診断装置、及び走査支援プログラム | |
| KR20120046539A (ko) | 바디 마크를 제공하는 초음파 시스템 및 방법 | |
| CN113662579A (zh) | 超声波诊断装置、医用图像处理装置及方法、存储介质 | |
| US11850101B2 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method | |
| JP2024501181A (ja) | 超音波画像取得、追跡、及びレビュー | |
| WO2021230230A1 (ja) | 超音波診断装置、医用画像処理装置、及び、医用画像処理方法 | |
| US20230267618A1 (en) | Systems and methods for automated ultrasound examination | |
| JP7299100B2 (ja) | 超音波診断装置及び超音波画像処理方法 | |
| US20220378403A1 (en) | Ultrasound diagnostic apparatus and diagnosis assistance method | |
| KR20160086126A (ko) | 초음파 진단 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211119 |
|
| WD01 | Invention patent application deemed withdrawn after publication |