CN113939234A - 超声波诊断装置、医用图像处理装置以及医用图像处理方法 - Google Patents

超声波诊断装置、医用图像处理装置以及医用图像处理方法 Download PDF

Info

Publication number
CN113939234A
CN113939234A CN202180002022.XA CN202180002022A CN113939234A CN 113939234 A CN113939234 A CN 113939234A CN 202180002022 A CN202180002022 A CN 202180002022A CN 113939234 A CN113939234 A CN 113939234A
Authority
CN
China
Prior art keywords
image
registration
dimensional
dimensional ultrasound
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002022.XA
Other languages
English (en)
Inventor
勾磐杰
赵舜
赵令令
肖其林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010402012.2A external-priority patent/CN113662579A/zh
Priority claimed from CN202010748328.7A external-priority patent/CN114092374A/zh
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of CN113939234A publication Critical patent/CN113939234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

实施方式的超声波诊断装置具备导出部(161B)、控制部(161C)以及配准部(163)。所述导出部针对由超声波探头(101)取得的多个二维超声波图像，导出预先定义的图像评价参数。所述控制部基于所述图像评价参数的导出结果，从所述多个二维超声波图像中选择配准用的二维超声波图像。所述配准部进行三维医用图像与所述配准用的二维超声波图像的配准。

Description

超声波诊断装置、医用图像处理装置以及医用图像处理方法
技术领域
本说明书及附图中公开的实施方式涉及超声波诊断装置、医用图像处理装置以及医用图像处理方法。
背景技术
在医用领域中，作为使用由超声波探头的多个振子(压电振子)产生的超声波来对被检体内部进行图像化的医用图像诊断装置，使用了超声波诊断装置。超声波诊断装置从与该超声波诊断装置连接的超声波探头向被检体内发送超声波，生成基于反射波的回波信号，通过图像处理得到所希望的超声波图像。
例如，为了判定病灶部位以及大小等，需要掌握被检体内部的空间构造。在该情况下，利用由与上述超声波诊断装置不同的医用图像诊断装置得到的三维(three-dimensional；3D)医用图像。作为3D医用图像，例如，除了由超声波诊断装置得到的3D超声波图像之外，还能够列举从X射线CT(Computed Tomography)装置或者MRI(MagneticResonance Imaging)装置等其他医用图像拍摄装置得到的3D图像。
3D医用图像例如在手术前的诊断阶段预先生成。然而，在手术中，由于被检体***的移动等问题，有时在实际的内部构造、3D医用图像的体数据中产生偏差，从而无法准确地表示被检体的内部构造。因而，期望在手术中利用非侵入式的超声波诊断装置实时地拍摄病灶等手术区域。与X射线CT装置或MRI装置相比，在利用超声波诊断装置时，通过不限定场所与被检体的状态地、在尽可能短的时间内进行配准，能够减少例如开腹状态的被检体的负担。
这里，为了在尽可能短的时间内进行配准，在尽可能短的时间内选择容易配准的超声波图像。例如，在操作者对超声波图像与3D医用图像这两方设定可观察的标记来进行对位等操作的情况下，该操作复杂且花费时间，因此对开腹状态的被检体造成较大的负担。但是，若使用单一的超声波图像进行配准，则有可能产生配准结果不理想的问题。另一方面，若分别使用多个超声波图像进行配准，则在得到理想的配准结果之前配准所需的时间变长。因而，希望能够在尽可能短的时间内检索到容易配准的超声波图像。
现有技术文献
专利文献
专利文献1：日本特开2017－202125号公报
发明内容
发明要解决的课题
本说明书及附图所公开的实施方式要解决的课题之一是在短时间内检索到容易配准的超声波图像。但是，通过本说明书及附图所公开的实施方式解决的课题并不限于上述课题。也可以将与后述的实施方式所示的各构成的各效果对应的课题定位为其他课题。
用来解决课题的手段
本实施方式的超声波诊断装置具备导出部、控制部以及配准部。所述导出部针对由超声波探头取得的多个二维超声波图像，导出预先定义的图像评价参数。所述控制部基于所述图像评价参数的导出结果，从所述多个二维超声波图像中选择配准用的二维超声波图像。所述配准部进行三维医用图像与所述配准用的二维超声波图像的配准。
附图说明
图1是表示本实施方式的超声波诊断装置的构成例的框图。
图2是表示本实施方式的超声波诊断装置的处理电路的构成的框图。
图3A是表示2D超声波图像的显示例的图。
图3B是表示2D超声波图像的显示例的图。
图3C是表示2D超声波图像的显示例的图。
图4是表示2D超声波图像的显示例的图。
图5A是表示本实施方式的超声波诊断装置的处理的流程图。
图5B是表示本实施方式的超声波诊断装置的处理的流程图。
图5C是表示本实施方式的超声波诊断装置的处理的流程图。
图6A是表示包含界标(landmark)的2D超声波图像的图。
图6B是表示包含界标的2D超声波图像的图。
图7A是表示具有不同的纹理结构的2D超声波图像的图。
图7B是表示具有不同的纹理结构的2D超声波图像的图。
图8是用于说明正交性度量的判定方法的图。
图9A是用于说明覆盖程度的判定方法的图。
图9B是用于说明覆盖程度的判定方法的图。
图10是配准的具体例，并且是用于说明使用了界标的配准的图。
图11是配准的具体例，并且是使用界标进行配准的流程图。
图12A是选择多个2D超声波图像作为配准用的2D超声波图像的情况下的具体例。
图12B是选择多个2D超声波图像作为配准用的2D超声波图像的情况下的具体例。
具体实施方式
以下，参照所附附图，对超声波诊断装置、医用图像处理装置以及医用图像处理方法的实施方式进行详细说明。另外，以下说明的实施方式只是一个例子，并不限于以下的实施方式。另外，一个实施方式中所记载的内容原则上也同样能够应用其他实施方式。
图1是表示本实施方式的超声波诊断装置1的构成例的框图。如图1所示，本实施方式的超声波诊断装置1具有装置主体100、超声波探头101、输入装置102以及显示器103。超声波探头101、输入装置102以及显示器103与装置主体100连接。
超声波探头101具有多个振子(例如压电振子)，这些多个振子基于从后述的装置主体100所具有的收发电路110供给的驱动信号产生超声波。另外，超声波探头101所具有的多个振子接收来自被检体P的反射波并转换为电信号。另外，超声波探头101具有设于振子的匹配层以及防止超声波从振子向后方传播的衬垫材料等。另外，在超声波探头101安装有用于取得该超声波探头101的位置信息的磁传感器。
输入装置102包括能够由操作者操作的输入器件以及输入来自输入器件的信号的输入电路。输入器件可由跟踪球、开关、鼠标、键盘、通过触摸操作面来进行输入操作的触摸面板、将显示画面与触摸面板一体化而成的触摸屏、使用了光学传感器的非接触输入器件以及语音输入器件等实现。在输入器件***作者操作的情况下，生成与输入电路该操作对应的信号并输出至处理电路。
显示器103例如由液晶显示器或者OLED(Organic Light EMitting Diode)显示器等一般的显示输出装置构成。显示器103显示用于供超声波诊断装置1的操作者使用输入装置102来输入各种设定请求的GUI(Graphical User Interface)、或者显示在装置主体100中生成的超声波图像数据等。显示器103是显示部的一个例子。
装置主体100是基于超声波探头101接收到的反射波信号来生成超声波图像数据的装置，如图1所示，具有收发电路110、信号处理电路120、图像生成电路130、图像存储器140、存储电路150以及处理电路160。收发电路110、信号处理电路120、图像生成电路130、图像存储器140、存储电路150以及处理电路160能够相互通信地连接。
收发电路110控制基于超声波探头101的超声波的发送。例如，收发电路110基于处理电路160的指示，在按每个振子赋予了规定的发送延迟时间的定时对超声波探头101施加上述的驱动信号(驱动脉冲)。由此，收发电路110使超声波探头101发送将超声波会聚成束状的超声波束。另外，收发电路110控制基于超声波探头101的反射波信号的接收。如上述那样，反射波信号是从超声波探头101发送的超声波被被检体P的体内组织反射后的信号。例如，收发电路110基于控制电路170的指示，对超声波探头101接收到的反射波信号赋予规定的延迟时间并进行加法处理。由此，强调来自与反射波信号的接收指向性对应的方向的反射分量。
信号处理电路120对收发电路110接收到的反射波信号进行各种信号处理。例如，信号处理电路120通过对反射波信号进行各种信号处理，生成以亮度的明亮度来表现每个采样点(观测点)的信号强度的数据(B模态数据)。另外，信号处理电路120生成在扫描区域内的各采样点提取基于移动体的多普勒效应的运动信息的数据(多普勒数据)。
图像生成电路130根据由信号处理电路120进行了各种信号处理的数据，生成图像数据(超声波图像)、或者进行针对超声波图像的各种图像处理等。例如，图像生成电路130根据二维(two-dimensional；2D)的B模态数据，生成以亮度表示反射波的强度的2D超声波图像。另外，图像生成电路130根据二维的多普勒数据，生成将血流信息影像化的2D超声波图像。
这里，图像生成电路130通过根据基于超声波探头101的超声波的扫描方式进行坐标转换，来生成显示用的超声波图像。例如，B模态数据以及多普勒数据是扫描转换处理前的超声波图像数据，图像处理电路140生成的数据是扫描转换处理后的显示用的超声波图像数据。即，图像生成电路130根据扫描转换处理前的2D超声波图像数据生成显示用的2D超声波图像数据。进而，图像生成电路130通过对信号处理电路120生成的三维(three-dimensional；3D)的B模态数据进行坐标转换，生成3D超声波图像。另外，图像生成电路130通过对信号处理电路120生成的三维的多普勒数据进行坐标转换，生成3D超声波图像。进而，图像生成电路130为了生成用于在显示器103中显示体图像数据的各种2D超声波图像，对体图像数据进行绘制处理。
图像生成电路130将超声波图像、进行了各种图像处理的超声波图像储存于图像存储器140。图像存储器140以及存储电路150例如是RAM(Random Access Memory)、闪存(Flash Memory)等半导体存储器元件、或者硬盘、光盘等存储装置等。
处理电路160控制超声波诊断装置1的处理整体。具体而言，处理电路160基于经由输入装置102从操作者输入的各种设定请求、从存储电路150读入的各种控制程序以及各种数据，来控制收发电路110、信号处理电路120、图像生成电路130以及图像存储器140的处理。处理电路160以在显示器103中显示由图像生成电路130生成的显示用的超声波图像、或者图像存储器140所存储的显示用的超声波图像的方式进行控制。
处理电路160作为本实施方式中的医用图像处理装置发挥功能。图2是表示处理电路160的构成的框图。如图2所示，处理电路160执行配准用的2D超声波图像取得功能161、3D医用图像取得功能162、配准功能163以及显示控制功能164。2D超声波图像取得功能161具有取得功能161A、导出功能161B以及控制功能161C。另外，导出功能161B是导出部的一个例子。控制功能161C是控制部的一个例子。配准功能163是配准部的一个例子。
这里，作为图2所示的处理电路160的构成要素的2D超声波图像取得功能161、3D医用图像取得功能162、配准功能163、显示控制功能164所执行的各处理功能例如以能够由计算机执行的程序的方式记录于超声波诊断装置1的存储电路150。处理电路160是通过从存储电路150读出各程序并执行，从而实现与各程序对应的处理功能的处理器。换言之，处于读出各程序的状态的处理电路160具有图2的处理电路160内所示的各功能。关于图像处理电路140所执行的图像生成功能141、检测功能142、推断功能143、显示控制功能144的处理内容，之后进行叙述。
另外，在图2中，对在单一的处理电路160中实现由2D超声波图像取得功能161、3D医用图像取得功能162、配准功能163、显示控制功能164进行的各处理功能的情况进行说明，但也可以组合多个独立的处理器构成处理电路，通过各处理器执行程序来实现各功能。
上述说明中所使用的“处理器”这一用语例如是指CPU(Central ProcessingUnit)、GPU(Graphics Processing Unit)、面向特定用途的集成电路(ApplicationSpecific Integrated Circuit：ASIC))、可编程逻辑器件(例如，简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable GateArray：FPGA))等电路。在处理器为例如CPU的情况下，处理器通过读出保存于存储电路150的程序并执行来实现功能。另一方面，在处理器为例如ASIC的情况下，代替在存储电路150保存程序，而在处理器的电路内直接装入程序。另外，本实施方式的各处理器不限于按每个处理器构成为单一的电路的情况，也可以组合多个独立的电路而构成为一个处理器来实现其功能。而且，也可以将图2中的多个构成要素整合到一个处理器来实现其功能。
以上，对本实施方式的超声波诊断装置1的整体构成进行了说明了。根据该构成，在本实施方式的超声波诊断装置1中，进行以下的处理，以能够在短时间内检索到容易配准的超声波图像。在本实施方式的超声波诊断装置1中，导出功能161B针对由超声波探头101取得的多个2D超声波图像，导出预先定义的图像评价参数。控制功能161C基于图像评价参数的导出结果，从多个2D超声波图像中选择配准用的2D超声波图像。配准功能163进行3D医用图像与配准用的2D超声波图像的配准。
对图2所示的处理电路160的各处理功能进行说明。
首先，对2D超声波图像取得功能161进行说明。2D超声波图像取得功能161从由图像生成电路130生成的多个2D超声波图像中选择配准用的2D超声波图像。如上述那样，2D超声波图像取得功能161具有取得功能161A、导出功能161B以及控制功能161C。
取得功能161A从图像生成电路130取得多个2D超声波图像，作为对被检体P执行超声波扫描时而得的被检体P的超声波图像。取得功能161A不加筛选地取得来自图像生成电路130的所有2D超声波图像。
导出功能161B基于预先定义的图像评价参数和图像评价参数的导出方法，导出针对由取得功能161A取得的所有多个2D超声波图像的图像评价参数。另外，导出功能161B根据与图像评价参数对应的阈值范围，判定针对各2D超声波图像的图像评价参数的导出结果与该阈值范围的关系。
图像评价参数是用于评价2D超声波图像是否为有利于准确的配准的2D超声波图像的指标，在本实施方式中，例如，图像评价参数包括界标、纹理度量、正交性度量、覆盖程度(或者，重复率)以及多普勒血流图像中的至少一个。这些图像评价参数只是一个例子，并不限于此。关于各图像评价参数的导出方法，之后进行叙述。
控制功能161C通过在显示器103中显示由导出功能161B导出的图像评价参数的导出结果，将该导出结果提示给操作者。例如，控制功能161C使2D超声波图像与图像评价参数的导出结果一起显示在显示器103上。具体而言，控制功能161C使导出结果写入2D超声波图像并显示在显示器103上。
另外，控制功能161C基于导出结果以及用于评价推荐度的预先决定的阈值范围，使不同的导出结果根据推荐度而不同地显示在2D超声波图像上。这里，控制功能161C可以根据推荐度将导出结果以不同的颜色显示在2D超声波图像上，也可以根据推荐度将导出结果超过规定的阈值的2D超声波图像作为优选的2D超声波图像而强调显示在显示器103上。由此，操作者通过参照显示在显示器103上的导出结果和强调显示的2D超声波图像，能够确认配准用的2D超声波图像。
这里，配准用的2D超声波图像可以通过操作者的手动(例如操作者使用输入装置102)来选择，也可以通过控制功能161C自动地选择。例如，控制功能161C根据推荐度将导出结果以不同的颜色显示在2D超声波图像上，操作者使用输入装置102选择推荐度最高的2D超声波图像作为配准用的2D超声波图像。或者，控制功能161C根据推荐度，自动选择导出结果超过规定的阈值的2D超声波图像作为优选的2D超声波图像而强调显示在显示器103上。控制功能161C将所选择的配准用的2D超声波图像输出至配准功能163。
3D医用图像取得功能162取得由医用图像诊断装置生成的3D医用图像，并输出至配准功能163。作为医用图像诊断装置，可列举超声波诊断装置、X射线CT(ComputedTomography)装置、MRI(Magnetic Resonance Imaging)装置、SPECT(Single PhotonEMission Computed Tomography，单光子发射计算机断层扫描)装置、PET(PositronEMission computed Tomography，正电子发射型计算机断层显像)装置、将SPECT装置与X射线CT装置一体化而成的SPECT－CT装置、将PET装置与X射线CT装置一体化而成的PET－CT装置等。3D医用图像例如为3D超声波图像、3D计算机断层拍摄图像、3D磁共振图像中的某一个。
配准功能163进行从2D超声波图像取得功能161的控制功能161C输出的配准用的2D超声波图像与从3D医用图像取得功能162输出的3D医用图像的配准。即，配准功能163作为配准用的2D超声波图像与3D医用图像的对位而进行配准。
显示控制功能164使显示器103显示配准功能163的配准结果。即，显示控制功能164使显示器103显示将配准用的2D超声波图像与3D医用图像配准后的图像。
这样，在本实施方式的超声波诊断装置1中，在由2D超声波图像取得功能161取得的2D超声波图像存在多个情况下，在2D超声波图像取得功能161中，导出功能161B基于预先定义的图像评价参数，导出针对由取得功能161A取得的多个2D超声波图像的图像评价参数，控制功能161C基于图像评价参数的导出结果，从多个2D超声波图像中选择优选的2D超声波图像作为配准用的2D超声波图像，从而能够在短时间内检索到容易配准的2D超声波图像。因此，在本实施方式的超声波诊断装置1中，能够使用配准功能163，在短时间内、准确地进行配准用的2D超声波图像与由3D医用图像取得功能162取得的3D医用图像的配准。
这里，对2D超声波图像取得功能161的导出功能161B以及控制功能161C的处理进行详细说明。
首先，操作者按每个图像评价参数预先设定用于评价推荐度的多个数值范围。例如，在2D超声波图像取得功能161中，导出功能161B通过针对由取得功能161A取得的2D超声波图像导出图像评价参数，在得到图像评价参数的导出结果之后，判定导出结果处于哪个数值范围，由此能够得到该2D超声波图像的推荐度。另外，导出结果用归一化后的数值表示，被归一化到[0，1]的区间内，控制功能161C将包含作为导出结果而归一化后的数值的2D超声波图像显示在显示器103上。例如，作为归一化后的数值，导出结果能够分为“0～0.6”、“0.6～0.85”、“0.85～1”这三个区间。在该情况下，推荐度最高的区间为区间“0.85～1”，推荐度最低的区间为区间“0～0.6”。
例如，归一化后的数值由按每个区间分配了颜色的数值来表示，控制功能161C在显示器103上以颜色显示导出结果。具体而言，对三个区间“0～0.6”、“0.6～0.85”、“0.85～1”分别分配红色、黄色、绿色。在该情况下，推荐度最高的颜色为绿色，推荐度最低的颜色为红色。例如，在作为归一化后的数值而导出结果处于“0～0.6”的区间的情况下，控制功能161C作为表示该2D超声波图像不适合于与3D医用图像的配准的信息，在2D超声波图像上用红色显示归一化后的数值。例如，作为归一化后的数值而导出结果处于“0.6～0.85”的区间的情况下，控制功能161C作为表示该2D超声波图像的品质一般但也可以用作与3D医用图像的配准的信息，在2D超声波图像上用黄色显示归一化后的数值。例如，在作为归一化后的数值而导出结果处于“0.85～1”的区间的情况下，控制功能161C作为表示该2D超声波图像的品质良好、适合于与3D医用图像的配准的信息，在2D超声波图像上用绿色显示归一化后的数值。
图3A～图3C是作为2D超声波图像的显示例，并且是控制功能161C将三个2D超声波图像与作为归一化后的数值的导出结果一起显示于显示器103的概略图。
例如，在图3A中，显示在2D超声波图像的左上的信息“XXX：0.95”用绿色标记。在图3B中，显示在2D超声波图像的左上的信息“XXX：0.3”用红色标记。在图3C中，显示在2D超声波图像的左上的信息“XXX：0.7”用黄色标记。在图3A～图3C中，该信息的“XXX”是已被选择的图像评价参数的名称，“0.95”、“0.3”、“0.7”是表示归一化后的数值的导出结果。在图3A～图3C中，显示在2D超声波图像的左上的信息中所使用的红色、黄色、绿色，基于上述的三个区间“0～0.6”、“0.6～0.85”、“0.85～1”来确定。由此，操作者能够根据显示在2D超声波图像上的颜色容易地知道哪个超声波图像优选。
另外，控制功能161C也可以仅将作为导出结果而归一化后的数值“0.95”、“0.3”、“0.7”显示在显示器103上，在操作者选择了该数值中的一个的情况下，将与所选择的数值对应的2D超声波图像作为配准用的2D超声波图像。例如，在操作者选择了数值“0.95”的情况下，控制功能161C将与数值“0.95”对应的2D超声波图像作为配准用的2D超声波图像。
另外，控制功能161C也可以在三个2D超声波图像的左上分别显示包含作为导出结果而归一化后的数值的信息“XXX：0.95”、“XXX：0.3”、“XXX：0.7”，并且一并显示表示是否适合于与3D医用图像的配准的信息。例如，由于信息“XXX：0.95”的数值“0.95”处于区间“0.85～1”内，因此对于信息“XXX：0.95”，控制功能161C如信息“XXX：0.9(优选)”等那样，在显示器103上显示表示适合于与3D医用图像的配准的文字。
在上述的例子中，列举了几个导出结果的显示方法，但本实施方式并不限于此，只要有助于操作者区分优选的2D超声波图像，也可以是其他方法。
另外，在上述的例子中，使用了将导出结果归一化在[0，1]的区间内而进行显示的方法，但也可以不进行归一化。
图4是作为2D超声波图像的显示例，并且是在显示器103强调显示优选的2D超声波图像的概略图。
首先，在图4的上侧，在超声波探头的实时扫描中，导出功能161B针对由取得功能161A取得的多个2D超声波图像200导出图像评价参数，控制功能161C基于图像评价参数的导出结果，判定该多个2D超声波图像200是否为适合于与3D医用图像的配准的2D超声波图像。接下来，在图4的下侧，例如多个2D超声波图像200中的2D超声波图像200A、200B与其他2D超声波图像相比，是优选的2D超声波图像。在该情况下，控制功能161C判定为2D超声波图像200A、200B是适合于与3D医用图像的配准的2D超声波图像，在2D超声波图像200A、200B中，例如以对边缘施加高光的方式进行强调显示。例如，边缘是2D超声波图像200A、200B的边框，控制功能161C以对该边框施加高光的方式进行强调显示。例如，边缘是2D超声波图像200A、200B中的界标，控制功能161C以对该界标施加高光的方式进行强调显示。
另外，上述的强调显示也可以在进行2D超声波图像与3D医用图像的配准时实施。例如，控制功能161C在判定为多个2D超声波图像200中的仅2D超声波图像200A是适合于与3D医用图像的配准的2D超声波图像的情况下，即使在实施了2D超声波图像200A与3D医用图像的配准之后，也进行2D超声波图像200A的强调显示。另外，例如，也可以是，控制功能161C在通过在显示器103中显示2D超声波图像200A、200B来向操作者提示之后，将由操作者选择的2D超声波图像作为配准用的2D超声波图像。
图4所示的例子与图3A～图3C所示的例子的不同点在于，在图4所示的例子中，控制功能161C不将具体的导出结果(数值)显示在显示器103上，而基于导出结果强调显示优选的2D超声波图像。
另外，在图3A～图3C所示的例子中，通过将2D超声波图像与导出结果一起显示在显示器103上来向操作者提示，在图4所示的例子中，向操作者提示强调显示的2D超声波图像，但也可以不向操作者显示2D超声波图像。例如，控制功能161C在基于图像评价参数的导出结果，判定为多个2D超声波图像中的一个2D超声波图像是适合于与3D医用图像的配准的2D超声波图像之后，不将该2D超声波图像提示给操作者，而将优选的2D超声波图像作为配准用的2D超声波图像来实施与3D医用图像的配准。
图5A～图5C是表示作为本实施方式的医用图像处理装置的处理而选择配准用的2D超声波图像的流程图。
图5A相当于图3A～图3C所示的例子，例如是处理电路160通过将多个2D超声波图像与导出结果一起显示于显示器103而提示给操作者之后，进行由操作者选择的2D超声波图像与3D医用图像的配准的情况下的处理。
首先，图5A的步骤S101是处理电路160从存储电路150调用与取得功能161A以及3D医用图像取得功能162对应的程序来执行的步骤。在步骤S101中，2D超声波图像取得功能161的取得功能161A作为对被检体P执行超声波扫描时而得的被检体P的超声波图像，取得从图像生成电路130经由超声波探头101传送并处理后的多个2D超声波图像。另外，3D医用图像取得功能162取得由医用图像诊断装置生成的3D医用图像。
接下来，图5A的步骤S102是处理电路160从存储电路150调用与导出功能161B对应的程序并执行的步骤。在步骤S102中，2D超声波图像取得功能161的导出功能161B基于预先确定的图像评价参数，导出针对由取得功能161A取得的多个2D超声波图像的图像评价参数，得到作为导出结果的数值。
接下来，图5A的步骤S103A是处理电路160从存储电路150调用与控制功能161C对应的程序并执行的步骤。在步骤S103A中，控制功能161C通过在显示器103中显示包含作为图像评价参数的导出结果的数值的多个2D超声波图像来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。
接下来，图5A的步骤S103B是处理电路160从存储电路150调用与配准功能163以及显示控制功能164对应的程序并执行的步骤。在步骤S103B中，配准功能163进行由操作者作为配准用的2D超声波图像而选择的2D超声波图像与由3D医用图像取得功能162取得的3D医用图像的配准。显示控制功能164在显示器103中显示对配准用的2D超声波图像与3D医用图像进行了配准后的图像。
图5B相当于图4所示的例子，例如是处理电路160在将强调显示的2D超声波图像提示给操作者之后，进行由操作者选择的2D超声波图像与3D医用图像的配准的情况下的处理。
首先，在图5B中，与图5A同样地，执行步骤S101、S102。接下来，图5B的步骤S104A是处理电路160从存储电路150调用与控制功能161C对应的程序并执行的步骤。在步骤S104A中，控制功能161C基于图像评价参数的导出结果，判定多个2D超声波图像是否为适合于与3D医用图像的配准的2D超声波图像，通过相比于其他2D超声波图像而使优选的2D超声波图像在显示器103中强调显示来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。
接下来，图5B的步骤S104B是处理电路160从存储电路150调用与配准功能163以及显示控制功能164对应的程序并执行的步骤。在步骤S104B中，配准功能163进行由操作者作为配准用的2D超声波图像而选择的2D超声波图像与由3D医用图像取得功能162取得的3D医用图像的配准。显示控制功能164在显示器103中显示对配准用的2D超声波图像与3D医用图像进行了配准后的图像。这里，在实施了2D超声波图像与3D医用图像的配准之后，例如也可以通过控制功能161C进行对2D超声波图像的边缘施加高光等的强调显示。
图5C例如是处理电路160不向操作者提示优选的2D超声波图像，而将优选的2D超声波图像作为配准用的2D超声波图像来进行与3D医用图像的配准的情况下的处理。
首先，在图5C中，与图5A同样地执行步骤S101、S102。接下来，图5C的步骤S105A是处理电路160从存储电路150调用与控制功能161C对应的程序并执行的步骤。在步骤S105A中，控制功能161C在基于图像评价参数的导出结果，判定为多个2D超声波图像中的一个2D超声波图像是适合于与3D医用图像的配准的2D超声波图像的情况下，不将该优选的2D超声波图像提示给操作者，而选择为配准用的2D超声波图像。
接下来，图5C的步骤S105B是处理电路160从存储电路150调用与配准功能163以及显示控制功能164对应的程序并执行的步骤。在步骤S105B中，配准功能163进行由控制功能161C选择的2D超声波图像与由3D医用图像取得功能162取得的3D医用图像的配准。显示控制功能164在显示器103中显示对配准用的2D超声波图像与3D医用图像进行了配准后的图像。
根据本实施方式，在2D超声波图像取得功能161中，导出功能161B基于预先定义的图像评价参数，导出针对由取得功能161A取得的多个2D超声波图像的图像评价参数，控制功能161C基于图像评价参数的导出结果，从多个2D超声波图像中选择优选的2D超声波图像作为配准用的2D超声波图像，从而能够在短时间内检索到有利于配准精度的提高的2D超声波图像。
另外，在本实施方式中，作为配准用的2D超声波图像而选择的2D超声波图像也可以不是一个，而是多个。即，在由控制功能161C选择了多个2D超声波图像作为配准用的2D超声波图像的情况下，配准功能163进行由控制功能161C选择的多个2D超声波图像与由3D医用图像取得功能162取得的3D医用图像的配准。在该情况下，能够进一步提高配准的精度。
另外，在本实施方式中，导出功能161B在导出了针对多个2D超声波图像的图像评价参数之后，以将2D超声波图像与图像评价参数的导出结果一起显示于显示器103、或者将优选的(配准精度高的)2D超声波图像强调显示于显示器103的方式对操作者进行提示，并使操作者确认，由此操作者能够容易地选择适合于配准的2D超声波图像。
另外，在本实施方式中，导出功能161B也可以基于图像评价参数的导出结果，不将优选的2D超声波图像提示给操作者，而自动地选择优选的2D超声波图像作为配准用的2D超声波图像，在该情况下，由于不需要操作者的确认过程，因此能够以更短的时间完成配准。
以下，举例对本实施方式中使用于的图像评价参数进行详细说明。这里，本实施方式中使用的图像评价参数包括界标(landmark)、纹理度量、正交性度量、覆盖程度以及多普勒血流图像中的至少一个。
(界标)
界标是指在解剖学上具有显著特征的部位，是进行手术时的关键点。例如，在成为治疗对象的脏器为肝脏的情况下，作为界标，可列举门静脉、肝静脉的汇聚处、门静脉、肝静脉的起始部等。图6A以及图6B是表示包含界标的2D超声波图像的图，在图6A、图6B所示的例子中，分别以圆点的方式示出了肝脏中的门静脉、肝静脉的汇聚处。在不同模态的医用图像中，能够通过例如深度神经网络(Deep neural networks)等检测算法来检测界标。
因此，控制功能161C选择包含界标的2D超声波图像作为配准用的2D超声波图像。配准功能163从配准用的2D超声波图像以及3D医用图像中检测界标，使用检测到的界标，进行2D超声波图像与3D医用图像的配准。由此，能够提高配准的精度。这样，在本实施方式中，通过使用界标作为图像评价参数，能够得到适合于与3D医用图像的配准的2D超声波图像。
这里，在提取解剖学上显著的特征作为特征量的情况下，例如使用灰度、特征描述符、神经网络等。
在使用灰度的情况下，通过从由尺度不同的过滤器得到的平滑化图像的差分图像中检测极值来制作直方图，从由直方图表示的图像的局部或者整体区域中的灰度的变化中提取特征量。
在使用特征描述符的情况下，通过以不同的比例尺计算图像之差，对图像的放大缩小、平行移动、旋转等提取鲁棒性的特征量。特征描述符能够用矢量表示。在一般的特征描述符中，使用Harris角点检测、SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)、SURF(Speeded-Up Robust Features，加速稳健特征)。
在使用神经网络的情况下，通过将图像输入神经网络并直接求出特征点的坐标来提取特征量。作为神经网络，可列举Hourglass网络、作为U型神经网络的UNet、nnUNet等卷积神经网络(Convolutional Neural Network；CNN)、LSTM(Long Short-Term Memory，长短期记忆网络)、作为将LSTM简化后的模型的RNN(Recurrent Neural Network，循环神经网络)、GRU(Gated Recurrent Unit，门控循环单元)等恢复型神经网络等，但并不限于这些例子。
(纹理度量)
例如，在2D超声波图像中存在“门静脉”、“门静脉的起始部”等能够用解剖学上的名称区分的部位的情况下，如上述那样，使用界标作为图像评价参数。这里，对于在2D超声波图像中无法用解剖学上的名称区分的部位，例如使用纹理度量作为图像评价参数。
图7A、图7B是表示具有不同的纹理结构的2D超声波图像的图。纹理度量表示超声波图像中的纹理结构的数量。纹理结构越明显，越能提高配准的精度。例如，图7B所示的2D超声波图像与图7A所示的2D超声波图像相比，纹理结构更多。在该情况下，优选选择图7B所示的2D超声波图像作为配准用的2D超声波图像。
为了判定纹理结构的数量，能够使用标准方差来导出。例如，选择超声波图像的中心区域，用式1求出该区域的标准方差SD。
【式1】
Figure BDA0003188068240000161
式中，Ij为像素强度，I的上划线为平均像素强度，N为像素数。在求出各区域的标准方差之后，将各标准方差归一化到[0，1]的区间。
由此，操作者能够选择纹理度量的归一化值更接近1的扫描面(即，2D超声波图像)。例如，控制功能161C通过在显示器103上显示包含纹理度量的归一化值的多个2D超声波图像来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。这样，在本实施方式中，通过使用纹理度量作为图像评价参数，能够得到包含更多纹理结构的2D超声波图像作为配准用的2D超声波图像。
另外，在上述的例子中，作为图像评价参数的一个例子的纹理度量，使用2D超声波图像的亮度的标准方差，但并不限于此。作为图像评价参数的一个例子的纹理度量也可以基于2D超声波图像中的亮度梯度以及亮度差分的至少一个来设定。另外，在作为纹理度量而使用的标准方差、亮度梯度、亮度差分，在各超声波图像中，可以在图像整体中求出，也可以在一部分的区域(中心区域等)中求出。作为纹理度量的标准方差、亮度梯度以及亮度差分这些参数，结果是表示脏器的边界、轮廓的参数，求出该参数的处理相当于根据原图像生成边缘强调图像的处理。
(正交性度量)
在使用多个2D超声波图像进行配准的情况下，期望的是能够选择扫描方向的差异大、换言之扫描方向更接近正交的多个2D超声波图像。这是因为，在保持扫描方向的情况下，当使探头平行移动而进行扫描时，有可能内部纹理结构之差不明显，当以不同的方向进行扫描时，能够观察到更丰富的纹理结构。
为了判定各扫描面之间的正交性，使用正交性度量。关于正交性度量Orth的导出方法，能够用下述的式2实现。
【式2】
Figure BDA0003188068240000171
式中，i表示第i个选择的2D超声波图像，Ni表示该第i个被选择的超声波图像的正交分量，N为2D超声波图像的个数，N’为当前的2D超声波图像的正交分量。期望的是，尽可能选择正交性度量Orth大的超声波图像。
以下，参照图8进行说明。如图8所示，各扫描面被转换到磁坐标系下。例如，磁坐标由安装于超声波探头101的磁传感器得到。另外，在图8中，将2D超声波图像标记为“2DUS”。I1、I2、I’、I”分别表示具有不同的扫描方向的多个扫描面(即，2D超声波图像)。I1、I2是已被选择的2D超声波图像，N1、N2分别是已被选择的I1、I2的正交分量，I’、I”是选择候选的2D超声波图像，N’、N”是选择候选的I’、I”的正交分量。通过I’与I”的比较可知，由于I’与已被选择的I1、I2的正交程度更大，因此优选的是，选择I’而不选择I”作为配准用的2D超声波图像。
在求出正交性度量Orth之后，将各正交性度量Orth归一化到[0，1]的区间。
由此，操作者能够选择正交性度量的归一化值更接近1的扫描面。例如，控制功能161C通过在显示器103上显示包含正交性度量的归一化值的多个2D超声波图像来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。这样，在本实施方式中，通过使用正交性度量作为图像评价参数，能够得到各2D超声波图像的扫描方向更接近正交的2D超声波图像作为配准用的2D超声波图像。
(覆盖程度)
配准用的2D超声波图像应覆盖尽可能大的关注区域(ROI：region ofinteresting)。关注区域是操作者希望特别观察的区域，例如，在肝脏消融手术中，关注区域是指肝脏整体。覆盖程度表示多个2D超声波图像在三维空间中形成的闭包区域与关注区域的交集的大小。优选的是，将在三维空间中形成的闭包区域占整个关注区域的比例大的多个2D超音医用图像作为配准用的超声波图像。
以下，参照图9A、图9B，对覆盖程度的判定方法进行说明。在图9A、图9B中，各扫描面被转换到磁坐标系下。例如，磁坐标通过安装于超声波探头101的磁传感器得到。另外，在图9A、图9B中，将2D超声波图像标记为“2DUS”，将关注区域标记为“ROI”。这里，上述的闭包区域是指，在磁坐标系上将位于外侧的扫描面与关注区域相交的各交叉点连接而确定的区域。图9A所示的I1、I2、I3以及图9B所示的I1、I2、I4分别表示扫描方向不同的多个扫描面。图9A以及图9B所示的I1、I2为已被选择的2D超声波图像，I3、I4为选择候选的超声波图像。图9A、图9B中的网格图案表示各2D超声波图像在三维空间中形成的闭包区域与关注区域ROI的交集。这里，图9B所示的I1、I2、I4与关注区域ROI所形成的交集的大小比图9A所示的I1、I2、I3与关注区域ROI所形成的交集的大小大。因而，优选的是，选择I4而不选择I3。
覆盖程度的大小同样可以通过检测算法来实现，另外，能够在获得各扫描面相对于关注区域的覆盖程度之后，将覆盖程度归一化到[0，1]的区间。
由此，操作者能够选择覆盖程度的归一化值更接近1的扫描面。例如，控制功能161C通过在显示器103中显示包含覆盖程度的归一化值的多个2D超声波图像来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。这样，在本实施方式中，通过使用覆盖程度作为图像评价参数，能够得到覆盖更大关注区域的多个2D超声波图像。
(多普勒血流图像)
人体的主要血管一般都包含明显的结构特征，结构特征越明显，配准效果越好。通过使用多普勒血流图像作为2D超声波图像，能够容易地观察到在2D超声波图像中是否包含血流信息。
由此，操作者能够选择包含血流信息的2D超声波图像。例如，控制功能161C通过在显示器103中显示包含血流信息的多个2D超声波图像来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像。这样，在本实施方式中，通过使用多普勒血流图像作为图像评价参数，能够容易地进行配准，并且能够提高配准的精度。
在本实施方式中，作为图像评价参数列举了界标(landmark)、纹理度量、正交性度量、覆盖程度以及多普勒血流图像等，但图像评价参数并不限于这些。
控制功能161C在仅使用一个图像评价参数选择了配准用的2D超声波图像的情况下，在2D超声波图像上显示表示所使用的图像评价参数的信息。例如，控制功能161C在仅使用界标作为图像评价参数的情况下，在2D超声波图像上显示表示所使用的图像评价参数的信息作为“界标”。另外，控制功能161C在使用多个图像评价参数选择了配准用2D超声波图像的情况下，在2D超声波图像上显示表示所使用的多个图像评价参数的信息。例如，对多个图像评价参数赋予了加权系数，控制功能161C在使用界标、纹理度量、正交性度量作为图像评价参数的情况下，在2D超声波图像上，作为表示所使用的多个图像评价参数的信息，显示“界标：1；纹理度量：0.7；正交性度量：0.5”。
这里，“1”、“0.7”、“0.5”为加权系数，分别对“界标”、“纹理度量”、“正交性度量”赋予。具体而言，在使用多个图像评价参数的情况下，例如，操作者基于手术的类型、关注部位等，对多个图像评价参数赋予不同的加权系数(权重)，控制功能161C基于对多个图像评价参数赋予的加权系数，计算加权分数，基于加权分数，选择配准用的2D超声波图像。
各2D超声波图像的加权分数Sk的计算式如式3所示。
【式3】
Figure BDA0003188068240000191
式中，Mi为第i个2D超声波图像的评价参数，Wi为该第i个2D超声波图像的权重，N为图像评价参数的个数。控制功能161C使用加权的计算方法来计算合计的加权分数，基于计算出的加权分数，选择配准用的2D超声波图像。在该情况下，控制功能161C也可以在2D超声波图像上显示表示最终的加权分数的信息，作为表示所使用的多个图像评价参数的信息。例如，控制功能161C在2D超声波图像中仅显示“加权分数：0.75”，作为表示最终的加权分数的信息。这里，该加权分数越接近1越好。
由此，控制功能161C通过基于对多个图像评价参数赋予的加权系数来计算加权分数，由此更全面地评价各2D超声波图像，并基于评价的结果选择配准用的2D超声波图像。这样，在本实施方式中，通过对多个图像评价参数赋予加权系数，能够选择更适合于配准的2D超声波图像。
(具体例1)
这里，作为配准的具体例，对使用了界标的情况下的配准进行说明。
在该情况下，配准功能163从多个配准用的2D超声波图像以及3D医用图像中检测界标。通过使用界标，能够容易地实现多个2D超声波图像与3D医用图像的配准。
图10是用于说明使用了界标的配准的图。另外，I1、I2、I3表示2D超声波图像，P1、P2、P3为各2D超声波图像中的界标，Q1、Q2、Q3为3D医用图像中的各界标。如图10的上侧所示，配准功能163通过检测算法，检测2D超声波图像中的界标P1、P2、P3以及3D医用图像中的界标Q1、Q2、Q3。然后，配准功能163将界标P1、P2、P3与界标Q1、Q2、Q3进行匹配，得到对应的界标的点对(dot pair)＜Pi，Qi＞。之后，配准功能163使用＜Pi，Qi＞的点对，生成表示3D医用图像中的界标Q1、Q2、Q3与各2D超声波图像中的对应的界标P1、P2、P3之间的对应关系的转换参数，配准功能163基于转换参数，进行各2D超声波图像与3D医用图像的配准。另外，i表示点对的数量，是1以上的整数，在上述的例子中，i＝3。
图11是使用界标进行配准的流程图。以下，参照图11，对具体例1的2D超声波图像与3D医用图像的配准进行说明。
如图11所示，首先，在步骤S201中，进行与上述的步骤S101相同的处理。即，2D超声波图像取得功能161的取得功能161A从图像生成电路130取得经由超声波探头101传送并处理的多个2D超声波图像，作为对被检体P执行超声波扫描时而得的被检体P的超声波图像。
接下来，在步骤S202中，进行相当于上述的步骤S102以及S103A、或者上述的步骤S102以及S104A的处理。即，2D超声波图像取得功能161的导出功能161B基于预先确定的图像评价参数，导出针对由取得功能161A取得的多个2D超声波图像的图像评价参数，得到作为图像评价参数的导出结果的数值。然后，控制功能161C通过在显示器103中显示用于确定配准用的2D超声波图像的信息来向操作者提示。该信息包括带有图像评价参数的导出结果的2D超声波图像以及被强调显示的2D超声波图像中的至少一个。例如，控制功能161C通过在显示器103中显示包含作为图像评价参数的导出结果的数值的多个2D超声波图像来向操作者提示。例如，控制功能161C基于图像评价参数的导出结果，判定多个2D超声波图像是否为适合于与3D医用图像的配准的2D超声波图像，通过相比于其他2D超声波图像而使优选的2D超声波图像在显示器103中强调显示来向操作者提示。此时，控制功能161C将由操作者选择的2D超声波图像作为配准用的2D超声波图像，并输出至配准功能163。
另外，也可以进行相当于上述的步骤S102以及S105A的处理。即，2D超声波图像取得功能161的导出功能161B基于预先确定的图像评价参数，导出针对由取得功能161A取得的多个2D超声波图像的图像评价参数，得到作为图像评价参数的导出结果的数值。然后，控制功能161C基于图像评价参数的导出结果，选择多个2D超声波图像中的适合于与3D医用图像的配准的2D超声波图像作为配准用的2D超声波图像，并输出至配准功能163。
之后，在步骤S203中，配准功能163对从控制功能161C输出的配准用的2D超声波图像，分别检测配准用的界标。
另一方面，在步骤S204中，3D医用图像取得功能162取得通过医用图像诊断装置得到的3D医用图像，并输出至配准功能163。之后，在步骤S205中，配准功能163对从控制功能161C输出的3D医用图像，检测配准用的界标。这里，2D超声波图像的界标的检测以及3D医用图像的界标的检测可以并行地进行，也可以按时间序列进行，界标的检测的定时没有限定。在2D超声波图像的界标的检测以及3D医用图像的界标的检测按时间序列进行的情况下，例如显示控制功能164通过高光等强调显示3D医用图像的界标，使该3D医用图像显示于显示器103，操作者一边参考显示于显示器103的3D医用图像的界标，一边操作超声波探头101，由此执行上述的步骤S201～S203。
接下来，在步骤S206中，配准功能163将2D超声波图像中的界标P1、P2、P3以及3D医用图像中的界标Q1、Q2、Q3进行匹配，取得对应的界标的点对＜Pi，Qi＞。之后，配准功能163使用＜Pi，Qi＞的点对，生成表示3D医用图像中的界标Q1、Q2、Q3以及各2D超声波图像中的对应的界标P1、P2、P3之间的对应关系的转换参数。然后，在步骤S207中，配准功能163使用所生成的转换参数，进行2D超声波图像与3D医用图像的配准。
根据具体例1，能够容易地实现2D超声波图像与3D医用图像的配准，缩短配准所需的时间，并提高配准的精度，由此能够减轻手术中的患者的负担。
(具体例2)
这里，对使用纹理度量作为图像评价参数的情况下，纹理度量基于多个2D超声波图像中的亮度梯度以及亮度差分中的亮度梯度而设定的情况下的具体例进行说明。图12A、图12B是选择多个2D超声波图像作为配准用的2D超声波图像的情况下的具体例，图中的“2DUS图像”表示2D超声波图像。
例如，在操作者对被检体P执行了超声波扫描时，通过取得功能161A取得多个2D超声波图像。此时，导出功能161B针对由取得功能161A取得的多个2D超声波图像导出图像评价参数。具体而言，在2D超声波图像的亮度梯度较大的情况下，导出功能161B对多个2D超声波图像中的图像的亮度梯度大的2D超声波图像的图像评价参数的导出结果设定较大的值，对图像的亮度梯度小的2D超声波图像的图像评价参数的导出结果设定较小的值。
导出结果如上述那样，由归一化后的数值表示，被归一化到[0，1]的区间内。因此，如图12A所示，例如，导出功能161B将图像的亮度梯度最大的2D超声波图像200作为基准2D超声波图像，对基准2D超声波图像的图像评价参数的导出结果设定数值“0.9”，对基准2D超声波图像以外的2D超声波图像200的图像评价参数的导出结果设定比数值“0.9”小的数值。具体而言，对于基准2D超声波图像以外的2D超声波图像200的图像评价参数的导出结果，越远离基准2D超声波图像，越设定小的数值。在图12A所示的例子中，对从基准2D超声波图像前后各离开一个的2D超声波图像200的图像评价参数的导出结果分别设定数值“0.7”、“0.8”，对从基准2D超声波图像前后各离开三个的2D超声波图像200的图像评价参数的导出结果分别设定数值“0.3”、“0.1”。这里，控制功能161C在将导出结果以颜色显示于显示器103的情况下，如上述那样，用分别分配给三个区间“0～0.6”、“0.6～0.85”、“0.85～1”的红色、黄色、绿色在显示器103上显示导出结果。
由于通过超声波扫描得到的多个2D超声波图像为沿着某一轴的方向而排列的图像数据，因此控制功能161C选择图像的亮度梯度最大的2D超声波图像200即基准2D超声波图像以及在该基准2D超声波图像的前后排列的规定数量的2D超声波图像作为多个2D超声波图像。例如，多个2D超声波图像为3个以上的奇数个2D超声波图像。在图12B所示的例子中，在规定数量设为3的情况下，控制功能161C选择7个2D超声波图像作为多个2D超声波图像201～207。在第1个到第7个的多个2D超声波图像201～207中，第4个2D超声波图像204为成为基准的基准2D超声波图像，是图像的亮度梯度大的2D超声波图像。
控制功能161C对多个2D超声波图像201～207的图像评价参数的导出结果赋予加权系数(权重)，基于图像评价参数的导出结果与加权系数，导出多个2D超声波图像201～207的整体的图像评价参数。如图12B所示，例如，控制功能161C对作为基准2D超声波图像的2D超声波图像204的图像评价参数的导出结果“0.9”，作为加权系数而赋予“0.5”，对2D超声波图像204以外的2D超声波图像201～203、205～207的图像评价参数的导出结果，赋予比加权系数“0.5”小的加权系数。具体而言，对于2D超声波图像201～203、205～207的图像评价参数的导出结果，越远离2D超声波图像204，越赋予小的加权系数。在图12B所示的例子中，对2D超声波图像203、2D超声波图像205的图像评价参数的导出结果赋予加权系数“0.25”，对2D超声波图像201、2D超声波图像207的图像评价参数的导出结果赋予加权系数“0.02”。
整体的图像评价参数Qvol的计算式如式4所示。
【式4】
Figure BDA0003188068240000241
式中，Qi为第i个2D超声波图像的评价参数，Wi为该第i个2D超声波图像的权重，N为2D超声波图像的个数。控制功能161C基于整体的图像评价参数的导出结果，选择作为基准2D超声波图像的2D超声波图像204、或者多个2D超声波图像201～207，作为配准用的2D超声波图像。在图12B所示的例子中，控制功能161C在使用式4计算了整体的图像评价参数Qvol的情况下，例如，计算出的整体的图像评价参数Qvol为“0.875”。控制功能161C在整体的图像评价参数Qvol为预先设定的设定图像评价参数以上的情况下，选择多个2D超声波图像201～207作为配准用的2D超声波图像。例如，在对肝脏预先设定的设定图像评价参数为“0.8”的情况下，由于整体的图像评价参数Qvol为设定图像评价参数以上，因此控制功能161C选择多个2D超声波图像201～207作为配准用的2D超声波图像。另外，在整体的图像评价参数Qvol比设定图像评价参数小的情况下，控制功能161C仅选择作为基准2D超声波图像的2D超声波图像204作为配准用的2D超声波图像。
而且，在选择了多个2D超声波图像201～207作为配准用的2D超声波图像的情况下，配准功能163基于多个2D超声波图像201～207重构3D医用图像(体数据)，使用重构后的3D医用图像和由3D医用图像取得功能162取得的3D医用图像进行配准。
这样，在具体例2中，也能够容易地实现2D超声波图像与3D医用图像的配准，缩短配准所需的时间，并提高配准的精度，由此能够减轻手术中的患者的负担。这里，在具体例2中，列举了使用纹理度量的情况，但配准功能163也可以从配准用的2D超声波图像以及由3D医用图像取得功能162取得的3D医用图像中检测界标，使用检测出的界标，进行配准用的2D超声波图像与3D医用图像的配准。
(其他实施方式)
本实施方式并不限于上述方式。例如，处理电路160也可以是与超声波诊断装置1分开设置的工作台。在该情况下，作为医用图像处理装置，工作台具有与处理电路160相同的处理电路，执行上述的处理。
另外，实施方式中图示的各装置的各构成要素是功能概念性的，不一定需要在物理上如图示那样构成。即，各装置的分散、整合的具体的方式并不限定于图示，能够根据各种负载、使用状况等，以任意的单位对其全部或者一部分进行功能性或物理性的分散、整合而构成。进而，在各装置中进行的各处理功能的全部或任意一部分可以通过CPU以及由该CPU分析执行的程序来实现，或者作为基于有线逻辑的硬件而实现。
另外，上述实施方式中说明的处理方法(医用图像处理方法)能够通过由个人计算机、工作台等计算机执行预先准备的程序来实现。该程序能够经由因特网等网络来分发。另外，该程序记录于硬盘、软盘(FD)、CD－ROM、MO、DVD等计算机可读取的非暂时性的记录介质中，能够通过由计算机从记录介质读出而执行。
根据以上说明的至少一个实施方式，能够在短时间内检索到容易配准的超声波图像。
对几个实施方式进行了说明，但这些实施方式是作为例子而提出的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围、主旨中，同样包含在权利要求书所记载的发明及其等效的范围中。

Claims (22)

1.一种超声波诊断装置，具备：
导出部，对于由超声波探头取得的多个二维超声波图像，导出预先定义的图像评价参数；
控制部，基于所述图像评价参数的导出结果，从所述多个二维超声波图像中选择配准用的二维超声波图像；以及
配准部，进行三维医用图像与所述配准用的二维超声波图像的配准。
2.如权利要求1所述的超声波诊断装置，其中，
所述超声波诊断装置还具备界标检测部，该界标检测部从所述配准用的二维超声波图像以及所述三维医用图像中检测界标，
所述配准部基于所述三维医用图像中的界标以及所述配准用的二维超声波图像中的对应的界标，进行所述配准。
3.如权利要求1或2所述的超声波诊断装置，其中，
所述控制部使二维超声波图像与所述导出结果一起显示在显示部中。
4.如权利要求3所述的超声波诊断装置，其中，
所述控制部使所述导出结果按照推荐度显示为不同。
5.如权利要求1或2所述的超声波诊断装置，其中，
所述控制部使所述导出结果超过规定的阈值的二维超声波图像强调显示。
6.如权利要求1或2所述的超声波诊断装置，其中，
所述控制部自动地选择所述导出结果超过规定的阈值的二维超声波图像，作为所述配准用的二维超声波图像。
7.如权利要求1所述的超声波诊断装置，其中，
作为所述图像评价参数，使用界标、纹理度量、正交性度量、覆盖程度以及多普勒血流图像中的至少一个。
8.如权利要求7所述的超声波诊断装置，其中，
在使用所述纹理度量作为所述图像评价参数的情况下，所述控制部选择包含更多纹理结构的二维超声波图像，作为所述配准用的二维超声波图像。
9.如权利要求7所述的超声波诊断装置，其中，
在使用所述正交性度量作为所述图像评价参数的情况下，所述控制部选择各二维超声波图像的扫描方向接近正交的二维超声波图像，作为所述配准用的二维超声波图像。
10.如权利要求7所述的超声波诊断装置，其中，
在使用所述覆盖程度作为所述图像评价参数的情况下，所述控制部在所述多个二维超声波图像中，选择三维空间中形成的闭包区域占整个关注区域的比例大的二维超声波图像，作为所述配准用的二维超声波图像。
11.如权利要求7所述的超声波诊断装置，其中，
在使用所述多普勒图像作为所述图像评价参数的情况下，所述控制部选择包含血流信息的二维超声波图像，作为所述配准用的二维超声波图像。
12.如权利要求7所述的超声波诊断装置，其中，
在使用多个所述图像评价参数的情况下，所述控制部基于对所述多个图像评价参数赋予的加权系数，选择所述配准用的二维超声波图像。
13.如权利要求1所述的超声波诊断装置，其中，
所述控制部使归一化后的数值作为所述导出结果而显示。
14.如权利要求1所述的超声波诊断装置，其中，
所述三维医用图像为三维超声波图像、三维计算机断层拍摄图像、三维磁共振图像中的某一个。
15.如权利要求2所述的超声波诊断装置，其中，
所述界标是在解剖学上具有显著特征的部位。
16.如权利要求2所述的超声波诊断装置，其中，
所述界标检测部生成转换参数，该转换参数表示三维医用图像中的界标与二维超声波图像中的对应的界标之间的对应关系，
所述配准部基于所述转换参数进行所述配准。
17.如权利要求1所述的超声波诊断装置，其中，
在由所述控制部选择所述多个二维超声波图像作为所述配准用的二维超声波图像的情况下，所述配准部使用所述多个二维超声波图像和所述三维医用图像进行所述配准。
18.如权利要求1所述的超声波诊断装置，其中，
在由所述控制部选择所述多个二维超声波图像作为所述配准用的二维超声波图像的情况下，所述配准部基于所述多个二维超声波图像重构三维医用图像，使用所述重构的三维医用图像和所述三维医用图像进行所述配准。
19.如权利要求18所述的超声波诊断装置，其中，
所述控制部，
选择所述图像评价参数最大的二维超声波图像即基准二维超声波图像以及在所述基准二维超声波图像的前后排列的规定数量的二维超声波图像作为所述多个二维超声波图像，
对于所述多个二维超声波图像的所述图像评价参数的所述导出结果，以越远离所述基准二维超声波图像、权重越小的方式赋予该权重，基于所述导出结果和所述权重，导出所述多个二维超声波图像的整体的图像评价参数，
在所述整体的图像评价参数为设定图像评价参数以上的情况下，选择所述多个二维超声波图像作为所述配准用的二维超声波图像。
20.如权利要求19所述的超声波诊断装置，其中，
在使用纹理度量作为所述图像评价参数的情况下，所述图像评价参数基于所述多个二维超声波图像中的亮度梯度以及亮度差分中的至少一个而设定。
21.一种医用图像处理装置，具备：
导出部，对于由超声波探头取得的多个二维超声波图像，导出预先定义的图像评价参数；
控制部，基于所述导出结果，从所述多个二维超声波图像中选择配准用的二维超声波图像；以及
配准部，进行三维医用图像与所述配准用的二维超声波图像的配准。
22.一种医用图像处理方法，包括如下步骤：
对于由超声波探头取得的多个二维超声波图像，导出预先定义的图像评价参数；
基于所述图像评价参数的导出结果，从所述多个二维超声波图像中选择配准用的二维超声波图像；以及
进行三维医用图像与所述配准用的二维超声波图像的配准。
CN202180002022.XA 2020-05-13 2021-05-11 超声波诊断装置、医用图像处理装置以及医用图像处理方法 Pending CN113939234A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN2020104020122 2020-05-13
CN202010402012.2A CN113662579A (zh) 2020-05-13 2020-05-13 超声波诊断装置、医用图像处理装置及方法、存储介质
CN2020107483287 2020-07-30
CN202010748328.7A CN114092374A (zh) 2020-07-30 2020-07-30 图像处理装置以及图像处理方法
JP2021-079580 2021-05-10
JP2021079580A JP2021178175A (ja) 2020-05-13 2021-05-10 超音波診断装置、医用画像処理装置、医用画像処理方法、及び、プログラム
PCT/JP2021/017844 WO2021230230A1 (ja) 2020-05-13 2021-05-11 超音波診断装置、医用画像処理装置、及び、医用画像処理方法

Publications (1)

Publication Number Publication Date
CN113939234A true CN113939234A (zh) 2022-01-14

Family

ID=78510147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002022.XA Pending CN113939234A (zh) 2020-05-13 2021-05-11 超声波诊断装置、医用图像处理装置以及医用图像处理方法

Country Status (4)

Country Link
US (1) US20220240898A1 (zh)
JP (1) JP2021178175A (zh)
CN (1) CN113939234A (zh)
WO (1) WO2021230230A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006056679A1 (de) * 2006-11-30 2008-06-05 Siemens Ag Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten insbesondere in Echtzeit
CN102224525A (zh) * 2008-11-25 2011-10-19 皇家飞利浦电子股份有限公司 提供用于配准的图像

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108430334B (zh) * 2015-12-21 2021-06-01 皇家飞利浦有限公司 用于检查对象的体积的超声成像装置和超声成像方法
JP6865755B2 (ja) * 2015-12-22 2021-04-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者のボリュームを検査する医用撮像装置及び医用撮像方法
JP6887942B2 (ja) * 2017-12-27 2021-06-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
US10743943B2 (en) * 2018-10-03 2020-08-18 Canon Medical Systems Corporation Medical image processing apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006056679A1 (de) * 2006-11-30 2008-06-05 Siemens Ag Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten insbesondere in Echtzeit
CN102224525A (zh) * 2008-11-25 2011-10-19 皇家飞利浦电子股份有限公司 提供用于配准的图像

Also Published As

Publication number Publication date
US20220240898A1 (en) 2022-08-04
JP2021178175A (ja) 2021-11-18
WO2021230230A1 (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
JP7230255B2 (ja) 解析装置及び解析プログラム
JP5670324B2 (ja) 医用画像診断装置
JP6462340B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP6608232B2 (ja) 医用画像診断装置、医用画像処理装置および医用情報の表示制御方法
JP7490839B2 (ja) 解析装置及び解析プログラム
JPWO2005087111A1 (ja) 医用画像診断装置及び医用画像診断方法
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
US11278259B2 (en) Thrombus detection during scanning
JP7346266B2 (ja) 超音波撮像システムおよび対象物体品質レベルを表示するための方法
JP5982602B2 (ja) 解剖学的に知的な心エコー法における肺組織同定
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP6887942B2 (ja) 超音波撮像装置、画像処理装置、及び方法
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
JP7336766B2 (ja) 超音波診断装置、超音波診断方法および超音波診断プログラム
CN113662579A (zh) 超声波诊断装置、医用图像处理装置及方法、存储介质
JP6786260B2 (ja) 超音波診断装置及び画像生成方法
US11413019B2 (en) Method and apparatus for displaying ultrasound image of target object
CN115886876A (zh) 胎儿姿态的评估方法、超声成像方法及超声成像***
CN116650006A (zh) 用于自动超声检查的***和方法
JP2021164569A (ja) 超音波診断装置、およびプログラム
CN114098795A (zh) 用于生成超声探头引导指令的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination