CN102223845A - 信息处理设备、信息处理方法、程序和存储介质 - Google Patents

信息处理设备、信息处理方法、程序和存储介质 Download PDF

Info

Publication number
CN102223845A
CN102223845A CN2009801465291A CN200980146529A CN102223845A CN 102223845 A CN102223845 A CN 102223845A CN 2009801465291 A CN2009801465291 A CN 2009801465291A CN 200980146529 A CN200980146529 A CN 200980146529A CN 102223845 A CN102223845 A CN 102223845A
Authority
CN
China
Prior art keywords
image
mri
elastic information
subject
elastic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801465291A
Other languages
English (en)
Other versions
CN102223845B (zh
Inventor
佐藤清秀
远藤隆明
石川亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102223845A publication Critical patent/CN102223845A/zh
Application granted granted Critical
Publication of CN102223845B publication Critical patent/CN102223845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

获取与第一图像中的被检体的弹性有关的第一弹性信息和与第二图像中的被检体的弹性有关的第二弹性信息，并且基于所述第一弹性信息和所述第二弹性信息中的至少一个，确定所述第一图像和所述第二图像相对于彼此的位置。

Description

信息处理设备、信息处理方法、程序和存储介质
技术领域
本发明涉及一种用于确定由多个摄像设备所拍摄的图像的位置的技术，尤其涉及使用被检体的弹性信息的图像处理技术。
背景技术
在医疗领域，医生在监视器上显示被检体的医用图像，并且解读所显示的医用图像，以观察病变部的状态或随时间的变化。用于拍摄该类型的医用图像的设备(医学影像设备(modality))包括X射线计算机断层摄影(X-ray computed tomography，X射线CT)设备、磁共振成像(magnetic resonance imaging，MRI)设备、核医学诊断设备(单光子发射计算机断层摄影(single-photon-emission computed tomography，SPECT)设备和正电子发射断层摄影(positron emission tomography，PET)设备)、以及超声波成像(ultrasound imaging，US)设备。上述医学影像设备各自能够通过测量该医学影像设备所特有的物理量来提供被检体的内部组织的图像。利用不同的医学影像设备所获得的图像具有不同的特性。因此，医生通常使用多个医学影像设备进行诊断。例如，通过MRI设备和超声波成像设备各自拍摄被检体的图像，并且医生通过综合考虑所获得的信息来进行诊断。
然而，在使用多个医学影像设备拍摄相同被检体的图像的情况下，所获得的图像是基于不同的坐标***。因此，被检体内的特定点可能被显示在所获得的图像上的不同位置处。根据现有技术，利用不同的医学影像设备所拍摄的图像没有以使这些图像之间的几何关系可视化的方式呈现给医生。医生基于利用各个医学影像设备分别获得的图像的信息，来估计该关系。因此，存在如下问题：无法容易地识别出利用不同的医学影像设备所获得的图像之间的关系。
因此，已经尝试开发了如下技术：确定由不同的医学影像设备所拍摄的图像相对于彼此的位置，并且将这些图像呈现给医生，以使得医生能够容易地识别出这些图像之间的关系。特别地，已经尝试开发了如下技术：将以交互方式所拍摄的超声波断层图像和利用其它医学影像设备获得的三维医用图像彼此相关联地进行呈现。在专利文献1中，讨论了如下的应用：预先获得被检体的MRI图像，生成与正在获得的超声波断层图像相对应的MRI断层图像，并且并列显示该MRI断层图像和该超声波断层图像。根据该应用，可以容易地识别出超声波断层图像和MRI图像之间的关系，并且可以提高诊断的效率和精度。另外，可能存在如下情况：在该情况下，诸如特定类型肿瘤的位置等的超声波成像设备无法容易地识别出的信息可以在MRI图像中被可视化。在这种情况下，图像的信息可以互补。结果，例如，可以精确地操作穿刺引导。
为了确定超声波断层图像和三维医用图像相对于彼此的位置，确定与超声波断层图像相对应的断面部分的位置。可以例如通过使用外部传感器测量超声波探头的位置和姿势来确定与超声波断层图像相对应的断面部分的位置。根据专利文献1，用于使用磁场来测量位置和姿势的传感器被安装至超声波探头，并且通过该传感器来测量超声波探头的位置和姿势。
还讨论了如下技术：通过使用图像的信息来确定利用各个医学影像设备获得的超声波断层图像和三维医用图像的位置。在非专利文献1中讨论了这种技术的例子。根据该例子，基于预先拍摄的CT图像来生成超声波仿真图像(ultrasonic simulation image)。然后，基于图像信息来确定利用超声波成像设备实际拍摄的超声波断层图像和上述超声波仿真图像之间的关系。因此，可以确定利用各个医学影像设备所获得的图像相对于彼此的位置。
然而，在使用外部传感器的方法中，必须假定被检体是刚性体并且形状不会改变。然而，根据要检查的被检体的部位，可能难以满足被检体是刚性体的假定。例如，在针对乳腺癌检查而观察***区域的情况下，难以假定要检查的部位、即***是刚性体。特别地，在被检体处于俯卧(面朝下)位置时拍摄MRI图像并且被检体处于仰卧(面朝上)位置时拍摄超声波图像的普通检查流程中，***的形状由于重力的影响而极大地改变。另外，由于超声波图像是在对着正被检查的被检体的部位按压探头时拍摄的，因而正被检查的部位的形状也由于探头所施加的压力而改变。
相反，在根据基于图像信息确定图像相对于彼此的位置的现有技术的技术中，考虑到被检体的被***位是非刚性体这一情况，可以通过补偿图像之间的形状的变化来确定这些图像的位置。然而，由于形状的变化的自由度非常大，因而可能仅获得局部解。因此，难以获得正确的定位结果。
专利文献1
日本专利03871747
非专利文献1
W.Wein，B.Roper，and N.Navab，″Automatic registration and fusion of ultrasound with CT for radiotherapy，″Proc.MICCAI 2005，vol.2，pp.303-311，2005。
发明内容
考虑到上述问题，本发明提供了用于提高不同的两个图像之间的定位精度的技术。
根据本发明的一个方面，一种图像处理设备用于确定第一图像和第二图像相对于彼此的位置。所述图像处理设备包括：第一弹性信息获取单元，用于获取与所述第一图像中的被检体的弹性有关的第一弹性信息；第二弹性信息获取单元，用于获取与所述第二图像中的被检体的弹性有关的第二弹性信息；以及定位单元，用于基于所述第一弹性信息和所述第二弹性信息中的至少一个，确定所述第一图像和所述第二图像相对于彼此的位置。
通过与附图相结合地进行以下说明，本发明的其它特征和优点将变得明显，其中在整个附图中，相同附图标记表示相同或相似的部分。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用来解释本发明的原理。
图1是示出与根据第一实施例的图像处理设备相连接的设备的结构的图。
图2是示出根据第一实施例的图像处理设备的功能结构的图。
图3是示出用于通过执行软件实现根据第一实施例的图像处理设备的功能的计算机的基本结构的图。
图4是由根据第一实施例的图像处理设备所进行的处理序列的流程图。
图5是由根据第一实施例的定位处理单元所进行的处理序列的流程图。
图6是示出根据第二实施例的图像处理设备的功能结构的图。
图7是由根据第二实施例的图像处理设备所进行的处理序列的流程图。
图8是示出根据第三实施例和第四实施例的图像处理设备的功能结构的图。
图9是由根据第三实施例的定位处理单元所进行的处理序列的流程图。
图10是由根据第四实施例的定位处理单元所进行的处理序列的流程图。
具体实施方式
现在将根据附图详细说明本发明的实施例。然而，所例示的实施例并不意图限制本发明的范围。
第一实施例
根据本实施例的图像处理设备具有如下功能：获取预先拍摄的被检体的MRI图像和操作者(工程师或医生)正以交互方式获得的被检体的超声波断层图像这两个图像，生成与超声波断层图像相对应的MRI断层图像，并且显示所生成的MRI断层图像。
图1是示出与根据本实施例的图像处理设备10连接的设备的结构的图。如图1所示，图像处理设备10与超声波成像设备20、磁共振成像设备30以及位置/姿势传感器40相连接。这些设备经由Ethernet(注册商标)等的局域网(LAN)50彼此连接。连接方法不局限于此，并且这些设备还可以经由通用串行总线(USB)或基于IEEE 1394的接口而彼此连接。
超声波成像设备20连接至包括以一维阵列配置的超声波探测元件组的超声波探头25。超声波成像设备20拍摄被检体的二维超声波断层图像。通过如下方式来获得超声波断层图像：使超声波探头25接触被检体(未示出)，发送来自超声波探头25的超声波信号以使得反射该超声波信号，并且利用超声波探头25接收所反射的超声波信号。根据本实施例的超声波成像设备20生成被检体的、用作第一图像的B模式图像和用作第一弹性信息的弹性图像，作为断层图像。弹性图像(下文中有时是指“超声波弹性图像”)表示与拍摄B模式图像的被检体的弹性有关的信息。可以例如通过基于利用超声波探头25向被检体施加压力时所引起的图像的变形量的方法或使用拍动的方法来生成超声波弹性图像。然而，用于生成超声波弹性图像的方法没有特别受到限制。将由超声波成像设备20所生成的图像经由LAN 50发送至图像处理设备10。
磁共振成像设备30基于与被检体的内部组织的磁共振有关的物理特性生成三维图像。因此，获得了用作第二图像的三维MRI图像。由磁共振成像设备30所拍摄的图像例如是T1加权图像。然而，根据需要还可以获得T2加权图像或其它模式下的图像，并且还可以使用造影剂(contrast medium)。另外，还可以获得多个模式下的图像。将由磁共振成像设备30所生成的MRI图像经由LAN 50发送至图像处理设备10。
位置/姿势传感器40测量超声波探头25的位置和姿势，并将测量结果经由LAN 50发送至图像处理设备10。可以使用任意类型的传感器作为位置/姿势传感器40。例如，可以使用利用磁场的磁性传感器或包括刻度器和照相机的光学传感器。
参考图2，将说明根据本实施例的图像处理设备10的功能结构。图2是图像处理设备10的功能框图。如图2所示，图像处理设备10包括超声波断层图像获取单元210、探头位置/姿势获取单元220、MRI图像获取单元230、弹性信息估计单元240、定位处理单元250、MRI断层图像生成单元260、以及显示单元270。
用作第一图像获取单元和第一弹性信息获取单元的超声波断层图像获取单元210获取利用超声波成像设备20所拍摄的超声波断层图像(B模式图像和弹性图像)。
探头位置/姿势获取单元220获取利用位置/姿势传感器40测量得到的超声波探头25的位置和姿势。
用作第二图像获取单元的MRI图像获取单元230获取利用磁共振成像设备30所拍摄的MRI图像。
基于利用MRI图像获取单元230获取到的MRI图像，用作第二弹性信息获取单元的弹性信息估计单元240估计与MRI图像中的被检体的弹性有关的信息作为第二弹性信息。因此，获得了MRI弹性图像。
定位处理单元250进行如下的非刚性体变形定位处理：确定由超声波断层图像获取单元210获取到的超声波断层图像和由MRI图像获取单元230获取到的MRI图像相对于彼此的位置。在该处理中，确定MRI图像的变形参数以及MRI坐标***中的超声波断层图像的位置和姿势，并将确定出的变形参数以及位置和姿势输出至MRI断层图像生成单元260。以下将参考图5所示的流程图详细说明由定位处理单元250所进行的处理。
MRI断层图像生成单元260根据由定位处理单元250获得的定位结果，生成与超声波断层图像相对应的MRI断层图像。更具体地，从预先拍摄的MRI图像中提取与超声波断层图像相对应的区域的图像。
显示单元270将由超声波断层图像获取单元210获得的超声波B模式图像和由MRI断层图像生成单元260生成的MRI断层图像以将图像一个挨一个配置在水平方向或垂直方向上的方式显示在监视器上。
可以作为在计算机的中央处理单元(CPU)执行时实现这些单元的功能的软件时，来提供图2所示的包括在图像处理设备10中的各单元。在本实施例中，作为安装在单个计算机中的软件来提供包括在图像处理设备10中的各单元。
图3是示出执行用以实现包括在图像处理设备10中的各单元的功能的软件的计算机的基本结构的图。
CPU 301使用存储在随机存取存储器(RAM)302和只读存储器(ROM)303中的程序和数据来控制计算机的整体操作。CPU 301通过控制与包括在图像处理设备10中的各单元相对应的软件的执行来实现这些单元的功能。
RAM 302具有临时存储从外部存储装置304加载的程序和数据的区域以及CPU 301进行各种处理所需的工作区域。ROM 303通常存储计算机的基本输入/输出***(BIOS)和设置数据。外部存储装置304用作诸如硬盘驱动器等的大容量信息存储装置，并且存储操作***和由CPU 301执行的程序。将本实施例的说明中被认为已知的信息存储在外部存储装置304中，并根据需要加载至RAM 302。
监视器305包括液晶显示器等。监视器305可以显示例如由显示单元270输出的内容。键盘306和鼠标307是能够由操作者进行操作以将各种指令输入至图像处理设备10的输入装置。
接口308用于在图像处理设备10和外部装置之间通信各种数据，并且包括IEEE 1394端口、USB端口或Ethernet(注册商标)端口等。将经由接口308获得的数据存储在RAM 302中。通过接口308来实现超声波断层图像获取单元210、探头位置/姿势获取单元220和MRI图像获取单元230等的功能。
上述元件通过总线309相互连接。
现在将参考图4所示的流程图来说明由本实施例的图像处理设备10所进行的处理的序列。包括在根据本实施例的图像处理设备10中的各单元的功能是通过使CPU 301执行与这些功能相对应的程序并控制计算机的整体操作来实现的。在进行以下所述的处理之前，将与该流程图相对应的程序代码从外部存储装置304加载至RAM 302。
步骤S410
在步骤S410中，MRI图像获取单元230获取利用磁共振成像设备30所拍摄的MRI图像，并将该MRI图像发送至弹性信息估计单元240、定位处理单元250和MRI断层图像生成单元260。MRI图像获取单元230可以直接从磁共振成像设备30获取MRI图像。可选地，可以将利用磁共振成像设备30所拍摄的图像记录在医用图像记录设备(未示出)中，并且可以从该医用图像记录设备中读取期望图像。
步骤S420
在步骤S420中，弹性信息估计单元240对在步骤S410中获取到的MRI图像进行图像处理，以估计与该MRI图像中的被检体的弹性有关的信息(第二弹性信息)，从而生成MRI弹性图像。将所生成的MRI弹性图像发送至定位处理单元250。
可通过在“Biomechanical model initialized non-rigid registration for image-guided breast surgery”by T.J.Carter，C.Tanner，W.R.Crum，and D.J.Hawkes，Proc.MICCAI 2006 Workshop on Computational Biomechanics for Medicine，pp.104-112，2006中所公开的方法来进行步骤S420的处理。根据该方法，对获取到的MRI图像进行用于将该图像分割为表示具有不同的弹性系数的组织的区域(例如，在正在检查***的情况下，分割为脂肪、乳腺和胸肌等区域)的图像处理。然后，通过将组织的弹性参数代入各个区域，获得三维图像作为MRI弹性图像。作为统计信息预先存储组织的弹性参数。
步骤S430
在步骤S430中，超声波断层图像获取单元210获取利用超声波成像设备20所拍摄的超声波断层图像(B模式图像和弹性图像)。将B模式图像发送至定位处理单元250和显示单元270。将超声波弹性图像发送至定位处理单元250。超声波断层图像获取单元210可以与由超声波成像设备20所进行的摄像处理同步地直接获取超声波断层图像。可选地，可以将过去利用超声波成像设备20所拍摄的断层图像记录在医用图像记录设备(未示出)中，并且可以从该医用图像记录设备中读取期望的断层图像。
步骤S440
在步骤S440中，探头位置/姿势获取单元220获取由位置/姿势传感器40所获得的超声波探头25的位置和姿势的测量值。将测量值转换为MRI坐标***(定义了步骤S410中获取到的MRI图像的坐标***)中的超声波断层图像的位置和姿势。将由此获得的位置和姿势发送至定位处理单元250。
在本实施例中，预先对由位置/姿势传感器40确定出的传感器坐标***和MRI坐标***之间的关系进行校准，并且作为已知信息，预先利用探头位置/姿势获取单元220获得这两个坐标***之间的变换关系。还可以预先对超声波探头25和超声波断层图像之间的关系进行校准，并且作为已知的信息，预先利用探头位置/姿势获取单元220获得超声波探头25和超声波断层图像之间的变换关系。坐标变换的已知方法可以使用上述变换关系来进行用于将传感器坐标***中的探头的位置和姿势转换为MRI坐标***中的超声波断层图像的位置和姿势的处理，由此省略对其的详细说明。
MRI处理中的被检体的姿势与使用超声波探头25的摄像处理中的被检体的姿势不同。由于被检体是弹性体，因而被检体受到重力的影响并且该被检体的形状不完全恒定。另外，步骤S440中获得的MRI坐标***中的超声波断层图像的位置和姿势包括由于被检体的弹力而引起的误差。因此，如果使用步骤S440中获得的位置和姿势来生成MRI断层图像，则难以获得完全对应于超声波断层图像的断层图像。步骤S450中进行的定位处理的目的是为了使用已知信息来校正图像。
步骤S450
在步骤S450中，定位处理单元250基于上述步骤中获取到的信息来进行非刚性体变形定位处理。在非刚性体变形定位处理中，确定步骤S410中获取到的MRI图像和步骤S430中获取到的B模式图像相对于彼此的位置。更具体地，首先，获得了MRI图像的变形参数(在本实施例中为在MRI坐标***的网格图案中所设置的控制点的移位量)以及MRI坐标***中的超声波断层图像的位置和姿势。将由此获得的值输出至MRI断层图像生成单元260。以下将参考图5所示的流程图详细说明步骤S450中进行的详细处理。
步骤S460
在步骤S460中，MRI断层图像生成单元260基于步骤S450中获得的MRI图像的变形参数以及MRI坐标***中的超声波断层图像的位置和姿势，生成与该超声波断层图像相对应的MRI断层图像。首先，根据控制点的移位量，利用诸如B-Spline方法等的已知插值方法来生成变形后的MRI图像作为体数据。然后，基于超声波断层图像的位置和姿势来确定MRI坐标***中的超声波断层图像上的各点的坐标，并且通过对在各点附近的位置处的变形后的MRI图像的像素值进行插值来计算这些点处的像素值。代替生成变形后的MRI图像作为体数据，还可以通过仅计算位于必要点的坐标处的变形后的MRI图像的像素值来生成MRI断层图像。
利用MRI断层图像生成单元260生成的图像没有必要是与对应于超声波断层图像的位置和姿势的MRI断层图像完全相同的图像。例如，可以对MRI断层图像进行显示图像所需的强调处理或噪声去除处理。可选地，还可以生成通过对与断面部分垂直的特定范围内的MRI图像的像素值进行积分所获得的图像。可选地，可以生成与该断面部分相对应的MRI图像的最大强度投影(maximum intensity projection，MIP)。可以生成任意种类的图像，只要该图像与断面部分相对应并且可以根据MRI图像生成该图像即可。
步骤S470
在步骤S470中，显示单元270将步骤S430中获取到的超声波B模式图像和步骤S460中生成的MRI断层图像以将图像一个挨一个配置在水平方向或垂直方向上的方式显示在监视器305上。
步骤S480
在步骤S480中，图像处理设备10判断操作者是否输入了用以结束该处理的指令。如果输入了用以结束该处理的指令，则结束所有处理。如果没有输入用以结束该处理的指令，则过程返回至步骤S430。然后，针对新的超声波断层图像(在正以时间序列拍摄超声波断层图像的情况下为下一超声波断层图像)，重复步骤S430～S470的处理。可以通过例如键盘306输入来自操作者的指令。
如上所述进行了图像处理设备10的处理。
现在将参考图5所示的流程图说明定位处理单元250在步骤S450中进行的非刚性体变形定位处理的序列。在以下所述的处理中，定位处理单元250对未知的定位参数s1和s2进行估计。这里，s1表示MRI坐标***中的超声波断层图像的位置和姿势的估计值。例如，s1包括表示3个自由度的位置的值以及表示3个自由度的姿势的值(欧拉角或四元参数)。另一方面，s2表示MRI断层图像的变形参数的估计值。在本实施例中，将变形参数定义为在MRI坐标***的网格图案中所设置的控制点的移位量。
步骤S505
定位处理单元250基于步骤S420中生成的MRI弹性图像，来估计基于重力的MRI图像的变形参数。
在本实施例中，可能存在如下情况：MRI处理时被检体的姿势与超声波摄像处理时被检体的姿势不同。因此，在定位处理中，考虑到由于重力方向上的差异而引起的被检体的变形可以是有效的。因此，首先，通过使步骤S410中获得的MRI图像变形来获得处于超声波摄像处理时的姿势的被检体的虚拟MRI图像。根据与重力方向有关的信息和MRI图像的弹性信息来估计该处理中所使用的变形参数。例如，通过利用已知的有限元素方法的仿真来估计基于重力的变形参数(控制点的移位量)(参见非专利文献2)。更具体地，利用步骤S420中获得的被检体的弹性信息，考虑到被检体处于超声波摄像处理时的姿势的情况下施加至该被检体的重力，使MRI图像变形。类似地，还可以使通过超声波摄像处理所获得的图像变形。
步骤S510
在步骤S510中，定位处理单元250将未知的定位参数设置为初始值。更具体地，将测量出的步骤S440中获得的MRI坐标***中的超声波断层图像的位置和姿势的值设置为s1的初始值。另外，将步骤S505中获得的基于重力的变形参数设置为s2的初始值。
步骤S515
在步骤S515中，定位处理单元250基于步骤S510中所设置的初始值，对定位一致性进行评价。对基于变形参数s2变形得到的MRI图像和位于s1的超声波断层图像之间的定位一致性进行评价，并且计算评价值。
不仅考虑到MRI图像和超声波断层图像之间的一致性还考虑到MRI弹性图像和超声波弹性图像之间的一致性来进行定位一致性的评价。弹性信息是被检体所特有的，而与医学影像设备无关。因此，可以提高一致性评价的精度。如果仅使用MRI图像和超声波断层图像进行定位处理，则存在值收敛于局部解的可能性。如果附加地使用弹性信息，则可以使值收敛于真实值。
在本实施例中，利用以下等式来计算一致性的评价值e。
e(FUS，FMRI，IUS，IMRI，s1，s2)
＝α·eF(FUS，FMRI，s1，s2)+(1-α)·eI(IUS，IMRI，s1，s2)    (1)
在上述等式中，FUS、FMRI、IUS和IMRI分别表示超声波弹性图像、MRI弹性图像、超声波断层图像和MRI图像。另外，eF表示参数是s1和s2时获得的超声波弹性图像和MRI弹性图像之间的一致性的评价值，并且eI表示参数是s1和s2时获得的超声波断层图像和MRI图像之间的一致性的评价值。另外，α是表示eF和eI之间的混合比率的参数，并被设置为0～1之间的值。定位处理单元250根据被检体的弹性信息来改变α的值。预先设置多个弹性范围，并且根据被检体的弹性所属的弹性范围来改变α的值。因此，根据被检体的被***位来适应性地确定α的值。例如，在被***位例如为***并且由软组织构成的情况下，弹性处于高弹性范围并且α的值增大。在被***位为主要由骨质部分构成的手和脚等的情况下，弹性处于低弹性范围，因此α的值减小。还可以根据被检体的弹性信息的诸如平均值、中间值和众数等的统计量来改变α的值。因此，在由于弹性引起的变形较大的情况下，可以增大表示超声波弹性图像和MRI弹性图像之间的一致性的评价值的比率。定位处理单元250还可以根据超声波弹性图像和MRI弹性图像中的被检体的姿势来改变α的值。如果在用于获得各个图像的处理中被检体的姿势彼此接近，则α的值减小，并且如果被检体的姿势彼此不同，则α的值增大。定位处理单元250将用于获得各个图像的处理中被检体的姿势之间的相关性数字化为数值，并且根据该数值改变α的值。例如，可以将被检体的姿势数字化为水平方向和垂直方向之间的角度，并且可以根据各个图像中的被检体的角度之间的差、以及各个图像中的被检体的角度来改变α的值。
还可以预先将α的值设置为固定值。可选地，图像处理设备10的操作者可以根据需要设置α的值。
利用以下等式来计算超声波弹性图像和MRI弹性图像之间的评价值eF。
e F ( F MRI , F US , s 1 , s 2 ) = e F ′ ( F MRI ′ , F US ) - - - ( 2 )
在上述等式中，F′MRI表示在定位参数是s1和s2的假定下、从与超声波断层图像的断面部分相对应的断面部分提取出的MRI弹性图像的断层图像。可以通过与步骤S460中进行的处理相同的处理来生成该断层图像。另外，e′F是表示超声波弹性图像和从MRI弹性图像提取出的断层图像之间的一致性的评价值。利用以下等式，基于均方误差标准来进行e′F的计算。
e F ′ ( F US , F MRI ′ ) = C SSD ( F US , F MRI ′ ) = - 1 M Σ x i ∈ Ω ( F US ( x i ) - F MRI ′ ( x i ) ) 2 - - - ( 3 )
在上述等式中，Ω表示超声波弹性图像中的各点的坐标，并且M表示相加的像素数。用于计算e′F的方法不局限于此。例如，还可以使用诸如绝对值误差标准、相互相关标准、互信息标准、标准化互信息标准等的用于评价图像之间的一致性或相似度的其它已知评价标准。可选地，还可以在从图像中获得诸如倾斜度等的特征值之后评价该一致性。因此，可以通过各种方法来计算评价值。另外，可以使用与上述标准的任意一个类似的其它标准，或者可以通过计算加权总和来组合地使用上述标准。
利用以下等式来计算超声波断层图像和MRI图像之间的评价值eI。
e I ( I MRI , I US , s 1 , s 2 ) = e I ′ ( I MRI ′ , I US ) - - - ( 4 )
在上述等式中，I′MRI表示在定位参数是s1和s2的假定下、从与超声波断层图像的断面部分相对应的断面部分提取出的MRI图像的断层图像。可以通过与步骤S460中进行的处理相同的处理来生成该断层图像。另外，e′I是表示超声波弹性图像和从MRI图像提取出的断层图像之间的一致性的评价值。可以通过与用于计算e′F的方法类似的方法来进行e′I的计算。因此，省略对其的详细说明。
步骤S520
在步骤S520中，定位处理单元250判断步骤S515中计算出的定位一致性的评价值是否足够高。如果该评价值高于预定阈值，则判断为定位足够精确，并且过程进入步骤S560。如果该评价值等于或小于该预定阈值，则过程进入步骤S525，并且继续进行该定位处理。
在以下步骤中，通过交替地估计参数s1和s2来继续进行该定位处理。首先，在步骤S525～S535中，对超声波断层图像的位置和姿势的估计值s1进行校正，以进行变形后的MRI图像和超声波断层图像之间的刚性体定位。
步骤S525
在步骤S525中，定位处理单元250通过向超声波断层图像的位置和姿势的当前估计值s1施加不同的微小变化，生成与该位置和姿势有关的一些假定量(hypotheses)。然后，对于与位置和姿势有关的每一个假定量，评价基于变形参数s2(在该步骤中被认为固定值)变形得到的MRI图像和超声波断层图像之间的定位一致性，并且计算评价值。通过与步骤S515中使用的方法相同的方法对每一个假定量计算定位一致性的评价值。
步骤S530
在步骤S530中，定位处理单元250选择步骤S525中获得的最大评价值。然后，将获得了最大评价值的假定量(即，最佳假定量)的位置和姿势设置为超声波断层图像的位置和姿势的新的估计值s1。然而，如果最大评价值低于利用当前估计值获得的评价值，则不更新估计值。
步骤S535
在步骤S535中，定位处理单元250判断超声波断层图像的位置和姿势的估计值是否已收敛。如果判断为估计值尚未收敛，则过程进入步骤S525，并且重复用于生成一些假定量并且选择最佳假定量的处理。如果判断为估计值已收敛，则过程进入步骤S540。如果例如步骤S530中获得的评价值的改变量等于或小于预定阈值，则判断为估计值已收敛。可选地，当新的估计值和旧的估计值之间的差等于或小于预定阈值时，可以判断为估计值已收敛。还可以利用其它方法来进行该判断。可选地，可以对上述处理重复的次数进行计数，并且当次数达到预定数量时，可以判断为停止重复该处理。在这种情况下，可以期望所重复的计算将在特定时间段内结束，并且可以满足整个***的实时性需求。
接着，在步骤S540～S550中，对MRI图像的变形参数s2(控制点的移位量)进行校正，以进行变形后的MRI图像和超声波断层图像之间的非刚性体定位。
步骤S540
在步骤S540中，定位处理单元250通过向变形参数的估计值s2施加不同的微小变化，生成与变形参数有关的一些假定量。然后，对于每一个假定量，评价基于假定量变形得到的MRI图像和位于s1(在该步骤中被认为固定值)的超声波断层图像之间的定位一致性，并且计算评价值。利用与步骤S515中使用的方法类似的方法，对每一个假定量计算定位一致性的评价值。
通过在用于评价当前参数的一致性的步骤中计算针对控制点附近的局部区域各自的定位一致性、然后根据确定出的一致性改变控制点的移位量，可以生成假定量。更具体地，如果在特定局部区域确保了定位一致性(评价值高)，则影响该局部区域的控制点的移位量被认为是正确的。因此，向要校正的控制点的移位量施加微小变化。可选地，可以根据评价值来调整向控制点的移位量施加的微小变化量。在这种情况下，可以防止假定量的组合激增，并且可以提高处理速度。
可以根据控制点附近的区域中的MRI弹性图像的值来调整向作为变形参数的控制点的移位量所施加的微小变化的范围。更具体地，如果在控制点附近的区域的弹性高的情况下，可以增大各控制点能够移位的范围，并且在控制点附近的区域的弹性低的情况下，可以减小各控制点能够移位的范围。
步骤S545
在步骤S545中，定位处理单元250选择步骤S540中获得的最大评价值。然后，将获得了最大评价值的假定量(即，最佳假定量)的变形参数设置为变形参数的新的估计值s2。然而，如果最大评价值低于利用当前估计值所获得的评价值，则不更新估计值。
步骤S550
在步骤S550中，定位处理单元250判断变形参数的估计值是否已收敛。如果判断为估计值尚未收敛，则过程进入步骤S540，并且重复用于生成一些假定量并且选择最佳假定量的处理。如果判断为估计值已收敛，则过程进入步骤S555。如果例如步骤S545中获得的评价值的改变量等于或小于预定阈值，则判断为估计值已收敛。可选地，当新的变形参数和旧的变形参数之间的差等于或小于预定阈值时，可以判断为估计值已收敛。还可以利用其它方法来进行该判断。可选地，可以对上述处理重复的次数进行计数，并且当次数达到预定数量时，可以判断为停止重复该处理。在这种情况下，可以期望所重复的计算将在特定时间段内结束，并且可以满足整个***的实时性需求。
步骤S555
在步骤S555中，定位处理单元250判断是否重复上述步骤。在要重复上述步骤的情况下，过程返回至步骤S525，并且进一步更新当前参数。如果无需重复上述步骤，则过程进入步骤S560。可以通过例如预先设置重复的最大次数并且判断步骤S525～S550的重复次数是否已达到最大次数，来进行该判断。此时，如果定位一致性的评价值足够高，则可以与当前重复次数无关地停止重复。可选地，还可以继续进行该重复，直到获得了在步骤S530或S545中没有更新估计值的状态为止。
步骤S560
在步骤S560中，定位处理单元250将上述步骤中获得的MRI图像的变形参数s2以及超声波断层图像的位置和姿势s1作为定位结果输出至MRI断层图像生成单元260。
如上所述，在步骤S450中进行了非刚性体变形定位处理。
通过进行上述处理，根据本实施例的图像处理设备10可以在估计定位参数的处理中通过考虑利用不同医学影像设备获得的多个弹性信息之间的一致性，来进行MRI图像和超声波断层图像之间的高精度定位。
第二实施例
根据本实施例的图像处理设备提供了用于获取被检体的MRI图像和被检体的三维超声波图像这两者并且显示图像以确定图像相对于彼此的位置的功能。
根据本实施例的图像处理设备包括与第一实施例的第二弹性信息获取单元不同的第二弹性信息获取单元。在第一实施例中，根据MRI图像来估计组织结构，并且根据统计量来估计MRI图像的弹性信息。相反，在本实施例中，使用在被检体处于不同姿势时获得的MRI图像来估计MRI图像中的被检体的弹性信息。在这种情况下，可以获得基于被检体的实际变形的弹性信息。因此，可以提高弹性信息的精度。
在第一实施例中，与包括以一维阵列配置的超声波探测元件组的超声波探头25相连接并且获得二维超声波断层图像的超声波成像设备20用作第一医学影像设备。相反，在本实施例中，与包括以二维阵列配置的超声波探测元件组的超声波探头25相连接并且获得三维超声波断层图像的超声波成像设备20用作第一医学影像设备。因此，增加了在定位处理中所使用的信息量。因此，可以减少定位处理的不明确性，并且可以提高定位处理的精度。
与根据本实施例的图像处理设备600相连接的设备的结构与图1所示的结构相同。类似于根据第一实施例的图像处理设备10，图像处理设备600经由LAN 50与超声波成像设备20、磁共振成像设备30以及位置/姿势传感器40相连接。
超声波成像设备20与包括以二维阵列配置的超声波探测元件组的超声波探头25相连接。超声波成像设备20拍摄被检体的三维超声波断层图像(B模式图像和超声波弹性图像)。将由超声波成像设备20生成的图像经由LAN 50发送至图像处理设备600。
类似于第一实施例，磁共振成像设备30拍摄被检体的MRI图像。然而，不同于第一实施例，在本实施例中，在被检体处于不同姿势(在以下的说明中，处于仰卧位置和俯卧位置)时拍摄多个MRI图像。将在被检体处于各个姿势时所拍摄的MRI图像经由LAN 50发送至图像处理设备600。
类似于第一实施例，位置/姿势传感器40测量超声波探头25的位置和姿势，并将测量结果经由LAN 50发送至图像处理设备600。
图6是图像处理设备600的功能框图。如图6所示，图像处理设备600包括超声波图像获取单元610、探头位置/姿势获取单元620、MRI图像获取单元630、弹性信息估计单元640、定位处理单元650、显示图像生成单元660以及显示单元670。
超声波图像获取单元610获取由超声波成像设备20所拍摄的三维超声波图像(B模式图像和弹性图像)。
探头位置/姿势获取单元620获取由位置/姿势传感器40测量得到的超声波探头25的位置和姿势。
MRI图像获取单元630获取被检体处于不同姿势时由磁共振成像设备30所拍摄的多个MRI图像。
基于由MRI图像获取单元630获取到的多个MRI图像，弹性信息估计单元640对以MRI图像的其中一个(在以下说明中，处于俯卧位置的被检体的MRI图像)为基准的、与被检体的弹性有关的信息(第二弹性信息)进行估计。因此，获得了MRI弹性图像。
定位处理单元650进行如下的非刚性体变形定位处理：对由超声波图像获取单元610获取到的超声波图像和由MRI图像获取单元630获取到的MRI图像的其中一个(在以下说明中，处于俯卧位置的被检体的MRI图像)相对于彼此的位置进行确定。在该处理中，对处于俯卧位置的被检体的MRI图像的变形参数以及MRI坐标***中的超声波图像的位置和姿势进行确定，并将确定出的变形参数以及位置和姿势输出至显示图像生成单元660。
显示图像生成单元660根据由定位处理单元650获得的定位结果，生成显示图像。显示单元670将由显示图像生成单元660所生成的显示图像显示在监视器上。
可以作为在计算机的CPU执行时实现这些单元的功能的软件来提供图6所示的包括在图像处理设备600中的各单元。在本实施例中，作为安装在单个计算机中的软件来提供包括在图像处理设备600中的各单元。执行用以实现包括在图像处理设备600中的各单元的功能的软件的计算机的基本结构与图3所示的基本结构相同，因此省略对其的说明。
现在将参考图7所示的流程图来说明本实施例的图像处理设备600所进行的处理的序列。包括在根据本实施例的图像处理设备600中的各单元的功能是通过使CPU 301执行与这些功能相对应的程序并控制计算机的整体操作而实现的。在进行以下所述的处理之前，将与该流程图相对应的程序代码从外部存储装置304加载至RAM 302。
步骤S710
在步骤S710中，MRI图像获取单元630获取由磁共振成像设备30所拍摄的多个MRI图像。将获取到的MRI图像发送至弹性信息估计单元640、位置处理单元650以及显示图像生成单元660。MRI图像获取单元630可以直接从磁共振成像设备30获取MRI图像。可选地，可以将由磁共振成像设备30所拍摄的图像记录在医用图像记录设备(未示出)中，并且可以从该医用图像记录设备中读取期望图像。
步骤S720
在步骤S720中，弹性信息估计单元640进行用于确定与步骤S710获得的多个姿势(在该例子中，仰卧位置和俯卧位置)相对应的MRI图像的位置的处理。然后，基于定位结果，对以MRI图像的其中一个(在该例子中，处于俯卧位置的被检体的MRI图像)为基准的、与被检体的弹性有关的信息进行估计，以生成MRI弹性图像。将所生成的MRI弹性图像发送至定位处理单元650。
更具体地，首先，使用基于亮度信息的相似性的方法进行如下的非刚性体变形定位处理：确定处于俯卧位置的被检体的MRI图像和处于仰卧位置的被检体的MRI图像相对于彼此的位置。例如，可以在处于俯卧位置的被检体的MRI图像的网格图案中设置像素之间的点，然后使用亮度信息的相似性来估计处于仰卧位置的被检体的MRI图像上的相应点的位置。可以使用在“Free-form deformation of solid geometric models”by T.W.Sederberg，Proc.SIGGRAPH′86，vol.20，no.4，pp.151-160，1986中所述的自由形式变形(free form deformation，FFD)方法来进行该处理。然后，对于彼此相对应的像素，计算到附近控制点的距离的平均值，并且将由此获得的值定义为表示该点处的弹性率的数值。该数值是随着柔软度的增加而增大的弹性系数。然后，通过利用插值计算除相应像素点以外的坐标处的弹性系数，来生成MRI弹性图像。在该步骤中，利用相同的医学影像设备来获得经过定位处理的图像。因此，即使在仅使用亮度信息时，也可以获得相对精确的定位结果。
步骤S730
在步骤S730中，超声波图像获取单元610获取由超声波成像设备20所拍摄的三维超声波图像(B模式图像和弹性图像)。将B模式图像发送至定位处理单元650和显示图像生成单元660。将超声波弹性图像发送至定位处理单元650。超声波图像获取单元610可以与超声波成像设备20所进行的摄像处理同步地直接获取三维超声波图像。可选地，可以将过去由超声波成像设备20所拍摄的图像记录在医用图像记录设备(未示出)中，并且可以从该医用图像记录设备中读取期望图像。
步骤S740
在步骤S740中，类似于第一实施例中的步骤S440，探头位置/姿势获取单元620获取测量出的由位置/姿势传感器40所获得的超声波探头25的位置和姿势的值。将测量出的值转换为MRI坐标***(定义了步骤S710中获取到的处于俯卧位置的被检体的MRI图像的坐标***)中的三维超声波图像的位置和姿势。将由此获得的位置和姿势发送至定位处理单元650。
步骤S750
在步骤S750中，定位处理单元650对MRI图像的其中一个(在该例子中，处于俯卧位置的被检体的MRI图像)进行用于确定该MRI图像相对于步骤S730获取到的三维超声波图像的位置的非刚性体变形定位处理。更具体地，首先，获得了处于俯卧位置的被检体的MRI图像的变形参数(在本实施例中，在MRI坐标***的网格图案中所设置的控制点的移位量)以及MRI坐标***中的三维超声波图像的位置和姿势。将由此获得的值输出至显示图像生成单元660。
可以以与根据第一实施例的步骤S450的处理中的方式类似的方式来进行在步骤S750中所进行的定位处理。在图5的流程图中示出该处理的详细内容。然而，由于获得了超声波图像作为三维数据，因而在步骤S515、S525和S540中计算一致性的评价值的方法与第一实施例中的方法不同。更具体地，在等式(3)表示弹性图像上的各点的Ω被从二维平面扩展至三维空间。
在第一实施例中，使用MRI弹性图像确定变形参数s2的初始值(步骤S505)。然而，在本实施例中，可以省略步骤S505的处理，并且可以根据步骤S720中进行的定位处理的结果来确定从俯卧位位置到仰卧位置的变形参数，并且将由此获得的变形参数用作s2的初始值。因此，如果例如在拍摄处于仰卧位置的被检体的MRI图像的处理中被检体的姿势与拍摄超声波图像的处理中被检体的姿势接近，则可以提高初始值的精度。
步骤S760
在步骤S760中，显示图像生成单元660基于步骤S750中获得的MRI图像的变形参数以及MRI坐标***中的三维超声波图像的位置和姿势，生成显示图像。显示图像包括以超声波图像的坐标***为基准的三维超声波图像的三个断面图像以及与三维超声波图像的三个断面图像相对应的MRI图像的三个断面图像。为了获得MRI图像的三个断面图像，首先，根据控制点的移位量使处于俯卧位置的被检体的MRI图像变形。然后，基于三维超声波图像的位置和姿势，从变形后的MRI图像中提取断面部分，以使得提取出的断面部分与超声波图像的断面部分相对应。显示图像不局限于三维超声波图像和MRI图像各自的三个断面图像，并且还可以包括例如各个图像的MIP图像。还可以将该设备构成可以通过例如键盘306利用用户接口来选择显示模式。
步骤S770
在步骤S770中，显示单元670将步骤S760中生成的显示图像以将图像一个挨一个进行配置的方式显示在监视器305上。
步骤S780
在步骤S780中，图像处理设备600判断操作者是否输入了用以结束该处理的指令。如果输入了用以结束该处理的指令，则结束所有处理。如果没有输入用以结束该处理的指令，则过程返回至步骤S730。然后，针对新的三维超声波图像(在正以时间序列拍摄三维超声波图像的情况下为下一帧的三维超声波图像)，重复步骤S730～S770的处理。可以通过例如键盘306输入来自操作者的指令。
如上所述，进行了图像处理设备600的处理。
在本实施例中，通过使MRI图像变形来进行定位处理。然而，在利用不同的医学影像设备获得的图像均为三维的情况下，在定位处理中可以使由各个医学影像设备所获得的图像中的任意图像变形。
在本实施例中，使用具有以二维阵列配置的探测元件的超声波探头来获得三维超声波图像。然而，用于获得三维超声波图像的方法不局限于此。例如，还可以利用具有以一维阵列配置的探测元件的超声波探头，通过组合在不同位置获得的二维超声波图像，来获得三维超声波图像。三维超声波图像无需是密集的，并且还可以进行在离散位置获得的超声波断层图像组和MRI图像之间的定位。在这种情况下，在不同位置获得的超声波断层图像组被认为是稀疏的三维超声波图像，并且在步骤S750所进行的处理中，将超声波断层图像组上的点定义为Ω。
第三实施例
根据本实施例的图像处理设备具有如下功能：获取预先拍摄的被检体的MRI图像和操作者(工程师或医生)正以交互方式获得的被检体的超声波断层图像这两个图像，生成与超声波断层图像相对应的MRI断层图像，并且显示所生成的MRI断层图像。
与根据本实施例的图像处理设备800连接的设备的结构与图1所示的结构相同。类似于根据第一实施例的图像处理设备10，图像处理设备800经由LAN 50与超声波成像设备20、磁共振成像设备30以及位置/姿势传感器40相连接。这些设备与在第一实施例中所述的设备相同，因此省略对其的说明。
图8是图像处理设备800的功能框图。如图8所示，图像处理设备800包括超声波断层图像获取单元210、探头位置/姿势获取单元220、MRI图像获取单元230、弹性信息估计单元240、定位处理单元850、MRI断层图像生成单元260以及显示单元270。除定位处理单元850以外的上述各单元的功能与第一实施例中的各单元的功能相同，因此省略对其的说明。
类似于根据第一实施例的定位处理单元250，定位处理单元850进行如下的非刚性体变形定位处理：确定由超声波断层图像获取单元210获取到的超声波断层图像和由MRI图像获取单元230获取到的MRI图像相对于彼此的位置。在该处理中，确定MRI图像的变形参数以及MRI坐标***中的超声波断层图像的位置和姿势，并将确定出的变形参数以及位置和姿势输出至MRI断层图像生成单元260。根据本实施例的定位处理单元850与根据第一实施例的定位处理单元250的不同之处在于：在用于估计变形参数的处理中，更新从弹性信息估计单元240输入的与MRI图像有关的弹性信息。
定位处理单元850包括用于基于假定的变形参数更新与MRI图像中的被检体的弹性有关的信息(第二弹性信息)的弹性信息更新单元852(第二弹性信息估计单元)。定位处理单元850还包括用于使用弹性信息的一致性来评价定位处理的评价单元854。以下将参考图9所示的流程图来说明具有上述各单元的功能的定位处理单元850所进行的处理。
可以作为在计算机的CPU执行时实现这些单元的功能的软件来提供图8所示的包括在图像处理设备800中的各单元。在本实施例中，作为安装在单个计算机中的软件来提供包括在图像处理设备800中的各单元。执行用以实现包括在图像处理设备800中的各单元的功能的软件的计算机的基本结构与图3所示的基本结构相同，因此省略对其的说明。
由本实施例的图像处理设备800所进行的处理的序列与图4中的流程图所示的处理的序列相同，因此省略对其的说明。在本实施例中，在步骤S450中由定位处理单元850所进行的定位处理不同于第一实施例中的定位处理。
现在将参考图9所示的流程图来说明步骤S450中由定位处理单元850所进行的定位处理的序列。类似于上述实施例，在根据本实施例的定位处理中，确定MRI坐标***中的超声波断层图像的位置和姿势s1以及MRI图像的变形参数s2。
步骤S905
在步骤S905中，定位处理单元850基于步骤S420中生成的MRI弹性图像，来估计基于重力的MRI图像的变形参数。步骤S905中进行的处理与第一实施例中的步骤S505中进行的处理相同，因此省略对其的详细说明。
步骤S910
在步骤S910中，定位处理单元850将未知的定位参数设置为初始值。步骤S910中进行的处理与第一实施例中的步骤S510中进行的处理相同，因此省略对其的详细说明。
类似于第一实施例，在本实施例中，通过交替地估计参数s1和s2来进行该定位处理。
首先，在步骤S915～S925中，对超声波断层图像的位置和姿势的估计值s1进行校正，以进行变形后的MRI图像和超声波断层图像之间的刚性体定位。步骤S915、S920和S925中进行的处理分别与第一实施例中的步骤S525、S530和S535中进行的处理相同，因此省略对其的详细说明。
接着，在步骤S930～S950中，对MRI图像的变形参数s2(控制点的移位量)进行校正，以进行MRI图像和超声波断层图像之间的非刚性体定位。
步骤S930
在步骤S930中，弹性信息更新单元852通过向变形参数的估计值s2施加不同的微小变化，生成与变形参数有关的一些假定量。
通过在用于评价当前参数的一致性的步骤中计算针对控制点附近的局部区域各自的定位一致性、然后根据确定出的一致性改变控制点的移位量，来进行该处理。更具体地，如果在特定局部区域确保了定位一致性(评价值高)，则影响该局部区域的控制点的移位量被认为是正确的。因此，向要校正的控制点的移位量施加微小变化。可选地，可以根据评价值来调整向控制点的移位量所施加的微小变化量。在这种情况下，可以防止假定量的组合激增，并且可以提高处理速度。
步骤S935
在步骤S935中，弹性信息更新单元852基于步骤S930中生成的每一个变形假定量，来估计MRI图像的弹性信息(更新当前MRI弹性图像)。例如，针对每一个控制点，计算到附近控制点的距离的平均值，并且将由此获得的值定义为表示该点处的弹性率的数值。该数值是随着柔软度的增加而增大的弹性系数。然后，通过利用插值计算除控制点以外的坐标处的弹性系数，来生成MRI弹性图像。
步骤S940
在步骤S940中，评价单元854基于步骤S930中生成的每一个假定量，来评价位于s1(在该例子中被认为固定值)的超声波断层图像的定位一致性，并且计算针对该假定量的评价值。利用与第一实施例中的步骤S515所使用的方法相同的方法针对每一假定量计算定位一致性的评价值。本实施例的特征在于：使用针对各假定量在步骤S935中生成的图像作为用于计算评价值的MRI弹性图像。
步骤S945
骤S945中，评价单元854选择步骤S940中获得的最大评价值。然后，将获得了最大评价值的假定量(即，最佳假定量)的变形参数设置为变形参数的新的估计值s2。然而，如果最大评价值低于利用当前估计值所获得的评价值，则不更新估计值。
步骤S950
在步骤S950中，定位处理单元850判断变形参数的估计值是否已收敛。如果判断为估计值尚未收敛，则过程进入步骤S930，并且重复用于生成一些假定量并且选择最佳假定量的处理。如果判断为估计值已收敛，则过程进入步骤S955。步骤S950中进行的处理与第一实施例的步骤S550中进行的处理相同，因此省略对其的详细说明。
步骤S955
在步骤S955中，定位处理单元850判断是否重复上述步骤。在要重复上述步骤的情况下，过程返回至步骤S915，并且进一步更新当前参数。如果无需重复上述步骤，则过程进入步骤S960。步骤S955中进行的处理与第一实施例的步骤S555中进行的处理相同，因此省略对其的详细说明。
步骤S960
在步骤S960中，定位处理单元850将上述步骤中获得的MRI图像的变形参数s2以及超声波断层图像的位置和姿势s1作为定位结果输出至MRI断层图像生成单元260。
如上所述，在步骤S450中进行了非刚性体变形定位处理。
在本实施例中，将由弹性信息估计单元240估计出的弹性图像用作初始弹性图像。然而，该弹性图像不必一定用作初始弹性图像。例如，在以统计方式确定被检体的平均弹性系数的情况下，可以将平均弹性系数用作初始值。在预先没有获得与弹性有关的信息的情况下，可以省略由弹性信息估计单元240所进行的处理以及在步骤S905所进行的处理，并且在将变形参数的初始值(控制点的移位量)设置为0时可以进行以下步骤。
通过进行上述处理，根据本实施例的图像处理设备800可以在用于估计定位参数的处理中通过考虑多个弹性信息之间的一致性，来进行MRI图像和超声波断层图像之间的高精度定位。另外，在本实施例中，由于根据变形的估计量来更新弹性图像，因而可以提高多个弹性信息之间的比较精度。
在根据现有技术的方法中，期望在要相对于彼此确定位置的两个图像之间不存在变形。相反，根据本实施例，使用了在这两个图像之间存在变形这一事实。更具体地，在定位处理中使用在该定位处理中根据这两个图像之间的变形得到的弹性信息。这是本实施例的特征。
第四实施例
根据本实施例的图像处理设备具有如下功能：获取预先拍摄的被检体的MRI图像和操作者(工程师或医生)正以交互方式获得的被检体的超声波断层图像这两个图像，生成与超声波断层图像相对应的MRI断层图像，并且显示所生成的MRI断层图像。
与根据本实施例的图像处理设备1000连接的设备的结构与图1所示的结构相同。类似于根据第一实施例的图像处理设备10，图像处理设备1000经由LAN 50与超声波成像设备20、磁共振成像设备30以及位置/姿势传感器40相连接。这些设备与第一实施例中所述的设备相同，因此省略对其的说明。
根据本实施例的图像处理设备1000的功能框图与图8所示的功能框图相同。然而，定位处理单元的操作与第三实施例中的定位处理单元的操作不同。在本实施例中，定位处理单元是指定位处理单元1050。除定位处理单元1050以外的上述各单元的功能与第三实施例中的各单元的功能相同，因此省略对其的说明。
类似于根据第三实施例的定位处理单元850，定位处理单元1050进行如下的非刚性体变形定位处理：确定由超声波断层图像获取单元210获取到的超声波断层图像和由MRI图像获取单元230获取到的MRI图像相对于彼此的位置。在该处理中，确定MRI图像的变形参数以及MRI坐标***中的超声波断层图像的位置和姿势，并将确定出的变形参数以及位置和姿势输出至MRI断层图像生成单元260。
定位处理单元1050包括：用于基于假定的弹性信息(第二弹性信息)来估计变形参数的弹性信息更新单元1052(第二弹性信息估计单元)；以及用于使用弹性信息的一致性来评价定位处理的评价单元1054。以下将参考图10所示的流程图来说明具有上述各单元的功能的定位处理单元1050所进行的处理。
可以作为在计算机的CPU执行时实现这些单元的功能的软件来提供包括在图像处理设备1000中的各单元。在本实施例中，作为安装在单个计算机中的软件来提供包括在图像处理设备1000中的各单元。执行用以实现包括在图像处理设备1000中的各单元的功能的软件的计算机的基本结构与图3所示的基本结构相同，因此省略对其的说明。
由本实施例的图像处理设备1000所进行的处理的序列与图4的流程图所示的处理的序列相同，因此省略对其的说明。在本实施例中，在步骤S450中由定位处理单元1050所进行的定位处理不同于第一实施例和第三实施例的定位处理。
现在将参考图10所示的流程图来说明步骤S450中由定位处理单元1050所进行的定位处理的序列。类似于上述实施例，在根据本实施例的定位处理中，确定MRI坐标***中的超声波断层图像的位置和姿势s1以及MRI图像的变形参数s2。
步骤S1005
在步骤S1005中，定位处理单元1050基于步骤S420中生成的MRI弹性图像，来估计基于重力的MRI图像的变形参数。步骤S1005中进行的处理与第一实施例中的步骤S505中进行的处理相同，因此省略对其的详细说明。
步骤S1010
在步骤S1010中，定位处理单元1050将未知的定位参数设置为初始值。步骤S1010中进行的处理与第一实施例中的步骤S510中进行的处理相同，因此省略对其的详细说明。
另外，在本实施例中，通过交替地估计参数s1和s2来进行该定位处理。
首先，在步骤S1015～S1025中，对超声波断层图像的位置和姿势的估计值s1进行校正，以进行变形后的MRI图像和超声波断层图像之间的刚性体定位。步骤S1015、S1020和S1025中进行的处理分别与第一实施例中的步骤S525、S530和S535中进行的处理相同，因此省略对其的说明。
接着，在步骤S1030～S1050中，对MRI图像的变形参数s2(控制点的移位量)进行校正，以进行MRI图像和超声波断层图像之间的非刚性体定位。
步骤S1030
在步骤S1030中，弹性信息更新单元1052生成与当前MRI弹性图像的校正有关的一些假定量。更具体地，向在弹性图像中所设置的控制点的弹性系数施加微小变化。然后，利用插值来获得图像的整个区域的弹性系数。
通过在用于评价当前参数的一致性的步骤中计算针对控制点附近的局部区域各自的定位一致性、然后根据确定出的一致性改变控制点的变化量，来进行该处理。更具体地，如果在特定局部区域确保了定位一致性(评价值高)，则影响该局部区域的控制点的弹性系数被认为是正确的。因此，仅针对要校正的控制点的弹性系数生成新的假定量。可选地，可以根据评价值来调整被施加以生成该假定量的变化量。在这种情况下，可以防止假定量的组合激增，并且可以提高处理速度。
步骤S1035
在步骤S1035中，弹性信息更新单元1052基于步骤S1030中生成的每一个假定量，通过与步骤S1005中进行的处理相同的处理来估计基于重力的变形参数。将由此估计出的变形参数定义为变形参数s2的候选组。
步骤S1040
在步骤S1040中，评价单元1054基于步骤S1035中生成的变形参数的候选组，来评价位于s1(在该例子中被认为固定值)的超声波断层图像的定位一致性，并且计算针对该假定量的评价值。与第一实施例的步骤S515中所使用的方法相同的方法针对每一假定量计算定位一致性的评价值。本实施例的特征在于：使用步骤S1030中生成的每一个假定量作为用于计算评价值的MRI弹性图像。
步骤S1045
骤S1045中，评价单元1054选择步骤S1040中获得的最大评价值。然后，将与最大评价值相对应的变形参数s2的候选设置为变形参数的新的估计值s2。然而，如果最大评价值低于利用当前估计值所获得的评价值，则不更新估计值。
步骤S1050
在步骤S1050中，定位处理单元1050判断变形参数的估计值是否已收敛。如果判断为估计值尚未收敛，则过程进入步骤S1030，并且重复用于生成一些假定量并且选择最佳假定量的处理。如果判断为估计值已收敛，则过程进入步骤S1055。步骤S1050中进行的处理与第一实施例的步骤S550中进行的处理相同，因此省略对其的详细说明。
步骤S1055
在步骤S1055中，定位处理单元1050判断是否重复上述步骤。在要重复上述步骤的情况下，过程返回至步骤S1015，并且进一步更新当前参数。如果无需重复上述步骤，则过程进入步骤S1060。步骤S1055中进行的处理与第一实施例的步骤S555中进行的处理相同，因此省略对其的详细说明。
步骤S1060
在步骤S1060中，定位处理单元1050将上述步骤中获得的MRI图像的变形参数s2以及超声波断层图像的位置和姿势s1作为定位结果输出至MRI断层图像生成单元260。
如上所述，在步骤S450中进行了非刚性体变形定位处理。
在本实施例中，将由弹性信息估计单元240估计出的弹性图像用作初始弹性图像。然而，该弹性图像不必一定用作初始弹性图像。例如，在以统计方式确定被检体的平均弹性系数的情况下，可以将该平均弹性系数用作初始值。在预先没有获得与弹性有关的信息的情况下，可以省略由弹性信息估计单元240所进行的处理以及在步骤S1005中所进行的处理，并且在将变形参数的初始值(控制点的移位量)设置为0时可以进行以下步骤。
另外，在本实施例中，仅考虑基于重力的变形。然而，在由于重力以及其它因素均引起实际变形的情况下，还可以考虑除由于重力引起的变形以外的变形。例如，可以在步骤S1045的处理之后进行第一实施例中与在步骤S540和S545所进行的处理相对应的处理。因此，可以估计出无法基于由于重力引起的变形所表现的变形参数。
此外，在本实施例中，可以获得与通过第三实施例所获得的效果相同的效果。
第一变形例
在第一实施例和第二实施例中，根据图5所示的流程图进行非刚性体变形定位处理。然而，由定位处理单元250(650)所进行的处理的序列不局限于流程图所示的序列。还可以应用于第三实施例和第四实施例。
例如，如果可以假定为变形仅由重力而引起，则可以将MRI处理时相对于被检体的重力方向和超声波摄像处理时相对于被检体的重力方向估计为变形参数s2。可以将设置为已知值的重力方向用作s2的初始值。然后，在与非刚性体变形定位处理有关的步骤S540～S550中，可以按照如下改变步骤S540。也就是说，首先，通过向当前s2(重力方向的估计值)施加不同的微小变化，来生成一些假定量。然后，对于每一个假定量，利用与步骤S505中所进行的处理相同的处理来估计控制点的移位量。然后，对基于估计出的移位量变形得到的MRI图像和位于s1(在该步骤中被认为是固定值)的超声波断层图像之间的定位一致性进行评价，并且计算评价值。然后，以上述方式进行最佳假定量的选择(S545)和收敛的判断(S550)。
可以对重力方向和重力方向无法表现的控制点的移位量这两类变形参数进行估计。在这种情况下，可以在步骤S535和S540之间添加上述用于估计重力方向的处理。
在可以精确地控制被检体的姿势的情况下，过程还可以是如下过程：仅在步骤S505中进行变形参数的估计以及在步骤S505之后仅进行刚性体定位处理(换句话说，省略步骤S540～S550中的处理)。另外，在由于重力引起的被检体的变形较小的情况下，可以省略步骤S505的处理。另外，在被检体的变形足够小的情况下，可以假定为被检体是刚性体，并且可以省略步骤S505和S540～S550的处理。在这种情况下，作为定位处理，仅进行刚性体定位处理。换句话说，估计出的参数仅为MRI坐标***中的超声波断层图像的位置和姿势。
上述用于确定针对所生成的每一个假定量的评价值并且选择最佳假定量的方法可以由其它方法来代替。例如，还可以通过以下方法来进行定位处理。首先，将超声波断层图像(超声波弹性图像)分割为多个块。接着，对每一个块和从与该块相对应的区域附近所设置的搜索区域中所提取的MRI图像(MRI弹性图像)的每一个部分之间的一致性进行评价。然后，针对各块选择提供了最高一致性的MRI图像(MRI弹性图像)的部分的位置(对应点)。然后，基于如上所述获得的对应点的组来更新超声波断层图像的位置和姿势。基于MRI弹性图像和超声波弹性图像之间的一致性以及MRI图像和超声波断层图像之间的一致性来进行一致性评价。
由定位处理单元250所进行的处理的序列不局限于如上所述的序列，并且可以使用任意方法，只要在用于估计定位参数的处理中考虑到由不同的医学影像设备所获得的多个弹性信息之间的一致性即可。
第二变形例
在第一实施例、第三实施例和第四实施例中，弹性信息估计单元240根据MRI图像来估计组织结构，并且基于该组织结构来估计MRI图像的弹性信息。在第二实施例中，使用在被检体处于不同姿势时获得的多个MRI图像来估计MRI图像中的被检体的弹性信息。然而，用于获得弹性信息的方法不局限于此，并且还可以利用其它方法来获得该弹性信息。例如，可以基于从被检体处于特定姿势时所拍摄的MRI图像中所提取的组织结构来估计该弹性信息，并且可以在用于确定该MRI图像和被检体处于其它姿势时所获得的MRI图像相对于彼此的位置的定位处理中使用由此获得的弹性信息。然后，可以基于该定位处理的结果再次进行弹性信息的估计。在磁共振成像设备30具有生成MRI弹性图像的功能的情况下，图像处理设备10还可以从磁共振成像设备30接收该MRI弹性图像。
第三变形例
在上述实施例中，使用定位处理的结果来生成与超声波断层图像相对应的MRI断层图像，并且并列显示由此获得的MRI断层图像和超声波断层图像。然而，不必总是进行该处理。例如，可以将所生成的MRI断层图像记录在外部存储装置304中。可选地，可以经由接口308将所生成的MRI断层图像输出至外部装置。可选地，可以将所生成的MRI断层图像和超声波断层图像以彼此叠加的方式显示。
代替生成MRI断层图像，可以确定在MRI图像上识别出的关注区域(例如，肿瘤)的三维位置，并且通过使用定位处理的结果来确定超声波断层图像上的关注区域的位置。另外，可以提供将所获得的信息叠加在超声波断层图像上的应用。另外，可以将MRI图像的变形参数以及超声波断层图像的位置和姿势、即定位处理的结果存储在RAM 302或外部存储装置304中，以使得其它应用可以使用该定位处理的结果。还可以将该定位处理的结果经由接口308输出至外部装置。
第四变形例
在上述实施例中，将MRI设备解释为用于获取三维医用图像的第二医学影像设备。然而，第二医学影像设备不局限于此。例如，还可以使用诸如X射线CT设备、SPECT设备或PET设置等的用于生成三维医用图像的其它医学影像设备作为第二医学影像设备。类似地，第一医学影像设备不局限于超声波成像设备。例如，还可以使用用于使用激光源和包括超声波探测元件的探头来获得被检体的图像的光声断层摄影(photo-acoustic tomography，PAT)设备。第一医学影像设备和第二医学影像设备没有必要是不同的医学影像设备，并且还可以对在不同的条件下由相同的医学影像设备所获得的图像进行定位处理。例如，还可以对通过相同的医学影像设备的不同设备(例如，不同的制造商生产的设备)所获得的图像或者相同设备在不同条件下所获得的图像进行定位处理。
其它实施例
还可以通过向***或设备提供存储有用于实现上述实施例的功能的软件程序代码的记录介质(或者存储介质)、并且使该***或设备的计算机(CPU或MPU)读取并执行存储在该记录介质中的程序代码，来执行本发明。在这种情况下，从记录介质读取的程序代码自身实现了上述实施例的功能，并且存储有该程序代码的记录介质构成了本发明。
除了执行由计算机所读取的程序代码以外，当然还可以通过使在计算机上运行的操作***(OS)响应于该程序代码的指令进行实际处理的一些或全部，来实现上述实施例的功能。
当然还可以通过将从记录介质读取的程序代码存储在***计算机的功能扩展卡或连接至该计算机的功能扩展单元的存储器中、并且使包括在该功能扩展卡或功能扩展单元中的CPU响应于程序代码的指令进行实际处理的一些或全部，来实现上述实施例的功能。
在如上所述将本发明应用于记录介质的情况下，将与上述流程图相对应的程序代码存储在记录介质中。
实施例的说明例示了根据本发明的图像处理设备的例子，并且本发明不局限于上述实施例。
由于在不偏离本发明的精神和范围的情况下作出了本发明的许多明显广泛不同的实施例，因而可以理解，除非权利要求书中进行了限定，否则本发明不局限于说明书的特定实施例。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2008年11月20日提交的日本专利申请2008-296698的优先权，在此通过引用包含该申请的全部内容。

Claims (11)

1.一种图像处理设备，用于确定第一图像和第二图像相对于彼此的位置，所述图像处理设备包括：
第一弹性信息获取单元，用于获取与所述第一图像中的被检体的弹性有关的第一弹性信息；
第二弹性信息获取单元，用于获取与所述第二图像中的被检体的弹性有关的第二弹性信息；以及
定位单元，用于基于所述第一弹性信息和所述第二弹性信息中的至少一个，确定所述第一图像和所述第二图像相对于彼此的位置。
2.根据权利要求1所述的图像处理设备，其特征在于，所述定位单元基于所述第二弹性信息，根据重力使所述第二图像变形。
3.根据权利要求1所述的图像处理设备，其特征在于，所述第二弹性信息获取单元基于被检体处于多个姿势时所拍摄的多个图像中的对应像素之间的距离，估计与被检体的弹性有关的信息作为所述第二弹性信息。
4.根据权利要求1所述的图像处理设备，其特征在于，还包括：
评价单元，用于评价所述第一弹性信息和所述第二弹性信息之间的一致性，
其中，所述定位单元使所述第一图像和所述第二图像中的至少一个变形，直到由所述评价单元计算出的值达到特定值为止。
5.根据权利要求4所述的图像处理设备，其特征在于，所述评价单元除了所述第一弹性信息和所述第二弹性信息之间的一致性以外，还评价所述第一图像和所述第二图像之间的一致性，并且基于被检体的弹性信息来改变所述第一弹性信息和所述第二弹性信息间的一致性以及所述第一图像和所述第二图像间的一致性之间的评价比率。
6.根据权利要求4所述的图像处理设备，其特征在于，所述评价单元除了所述第一弹性信息和所述第二弹性信息之间的一致性以外，还评价所述第一图像和所述第二图像之间的一致性，并且基于被检体在摄像处理时的姿势来改变所述第一弹性信息和所述第二弹性信息间的一致性以及所述第一图像和所述第二图像间的一致性之间的评价比率。
7.根据权利要求1所述的图像处理设备，其特征在于，所述第一图像是由超声波成像设备所拍摄的。
8.根据权利要求1所述的图像处理设备，其特征在于，所述第二图像是由磁共振成像设备所拍摄的。
9.一种图像处理方法，用于确定第一图像和第二图像相对于彼此的位置，所述图像处理方法包括以下步骤：
获取与所述第一图像中的被检体的弹性有关的第一弹性信息；
获取与所述第二图像中的被检体的弹性有关的第二弹性信息；以及
基于所述第一弹性信息和所述第二弹性信息中的至少一个，确定所述第一图像和所述第二图像相对于彼此的位置。
10.一种程序，用于使计算机执行根据权利要求9所述的图像处理方法。
11.一种计算机可读存储介质，用于存储根据权利要求10所述的程序。
CN200980146529.1A 2008-11-20 2009-11-17 图像处理设备和图像处理方法 Active CN102223845B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-296698 2008-11-20
JP2008296698A JP5147656B2 (ja) 2008-11-20 2008-11-20 画像処理装置、画像処理方法、プログラム、及び記憶媒体
PCT/JP2009/069755 WO2010058854A1 (en) 2008-11-20 2009-11-17 Information processing apparatus, information processing method, program, and storage medium

Publications (2)

Publication Number Publication Date
CN102223845A true CN102223845A (zh) 2011-10-19
CN102223845B CN102223845B (zh) 2014-08-27

Family

ID=42198293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980146529.1A Active CN102223845B (zh) 2008-11-20 2009-11-17 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US8867808B2 (zh)
EP (1) EP2358277B1 (zh)
JP (1) JP5147656B2 (zh)
KR (1) KR101267759B1 (zh)
CN (1) CN102223845B (zh)
WO (1) WO2010058854A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041395A1 (zh) * 2014-09-16 2016-03-24 无锡海斯凯尔医学技术有限公司 影像引导型弹性检测***及其检测方法
CN105899145A (zh) * 2014-01-16 2016-08-24 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN108283505A (zh) * 2017-01-10 2018-07-17 佳能医疗***株式会社 超声波诊断装置、图像处理装置及图像处理方法
CN110403681A (zh) * 2018-04-27 2019-11-05 佳能医疗***株式会社 超声波诊断装置以及穿刺辅助方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147656B2 (ja) 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5546230B2 (ja) * 2009-12-10 2014-07-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP5538862B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5737858B2 (ja) * 2010-04-21 2015-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2012004742A1 (en) * 2010-07-09 2012-01-12 Koninklijke Philips Electronics N.V. Automatic point-wise validation of respiratory motion estimation
JP2012050551A (ja) * 2010-08-31 2012-03-15 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2012037181A1 (en) * 2010-09-17 2012-03-22 Siemens Corporation Magnetic resonance elastography for ultrasound image simulation
JP5882217B2 (ja) * 2010-09-21 2016-03-09 株式会社日立メディコ 超音波診断装置および超音波画像の表示方法
JP5373749B2 (ja) * 2010-11-30 2013-12-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用画像表示装置及びその制御プログラム
JP2012213558A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP5822554B2 (ja) * 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
CN103619258B (zh) * 2011-06-20 2016-12-21 皇家飞利浦有限公司 药剂成像
JP5606998B2 (ja) * 2011-07-28 2014-10-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
JP6176818B2 (ja) * 2011-12-06 2017-08-09 東芝メディカルシステムズ株式会社 超音波診断装置及び座標変換プログラム
JP5995449B2 (ja) * 2012-01-24 2016-09-21 キヤノン株式会社 情報処理装置及びその制御方法
KR101502782B1 (ko) * 2012-06-27 2015-03-16 삼성전자 주식회사 영상 왜곡 보정 장치, 이를 포함하는 의료 영상 장치 및 영상 왜곡 보정 방법
CN104619250A (zh) * 2012-09-13 2015-05-13 皇家飞利浦有限公司 基于乳腺mr图像和放射性标记的乳腺外科手术引导
CN103854276B (zh) * 2012-12-04 2018-02-09 东芝医疗***株式会社 图像配准及分割装置和方法，以及医学图像设备
CN105392428B (zh) * 2013-06-26 2019-06-04 皇家飞利浦有限公司 用于映射超声剪切波弹性成像测量的***和方法
KR101533591B1 (ko) 2013-07-08 2015-07-06 삼성메디슨 주식회사 의료 영상 장치 및 의료 영상 제공 방법
CN105593902A (zh) * 2013-09-30 2016-05-18 皇家飞利浦有限公司 用于自动可变形配准的方法和***
JP6251002B2 (ja) * 2013-10-10 2017-12-20 キヤノン株式会社 画像処理装置及び画像処理方法、コンピュータプログラム
US9230331B2 (en) * 2013-10-21 2016-01-05 Samsung Electronics Co., Ltd. Systems and methods for registration of ultrasound and CT images
JP6489801B2 (ja) 2014-01-16 2019-03-27 キヤノン株式会社 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP6489800B2 (ja) 2014-01-16 2019-03-27 キヤノン株式会社 画像処理装置、画像診断システム、画像処理方法およびプログラム
JP6289142B2 (ja) * 2014-02-07 2018-03-07 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP6026455B2 (ja) * 2014-03-17 2016-11-16 富士フイルム株式会社 医用画像表示装置およびその作動方法並びにプログラム
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9808213B2 (en) * 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
US9782152B2 (en) * 2014-08-18 2017-10-10 Vanderbilt University Method and system for real-time compression correction for tracked ultrasound and applications of same
KR102406937B1 (ko) * 2014-11-07 2022-06-10 삼성메디슨 주식회사 초음파 영상장치 및 그 제어 방법
CN106999146B (zh) 2014-11-18 2020-11-10 C·R·巴德公司 具有自动图像呈现的超声成像***
CN112716521B (zh) 2014-11-18 2024-03-01 C·R·巴德公司 具有自动图像呈现的超声成像***
KR101672934B1 (ko) * 2015-02-11 2016-11-04 사회복지법인 삼성생명공익재단 초음파 영상유도 직장 풍선 장치, 그 제어 시스템 및 방사선 치료 방법
US11246660B2 (en) 2015-08-17 2022-02-15 Koninklijke Philips N.V. Simulating breast deformation
CN106491151B (zh) * 2016-01-25 2021-01-29 上海联影医疗科技股份有限公司 Pet图像获取方法及***
JP6840481B2 (ja) * 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
US10743943B2 (en) 2018-10-03 2020-08-18 Canon Medical Systems Corporation Medical image processing apparatus and method
US11571185B2 (en) 2019-11-08 2023-02-07 Samsung Medison Co., Ltd. Medical image displaying apparatus and method of displaying medical image using the same
KR102675564B1 (ko) 2023-07-05 2024-06-14 주식회사 한성넥스 냉난방용 선풍기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102713A (ja) * 2003-09-26 2005-04-21 Hitachi Medical Corp 画像表示システム
JP2005521502A (ja) * 2002-04-03 2005-07-21 セガミ エス．エー．アール．エル． 胸部および腹部の画像モダリティの重ね合わせ
CN1647759A (zh) * 2004-01-29 2005-08-03 西门子公司 对准和重叠医疗成像的系列拍摄中的图像数据的方法
JP2007319676A (ja) * 2006-06-02 2007-12-13 General Electric Co <Ge> 幾何学方式レジストレーションのためのシステムおよび方法
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ ***画像診断システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69332042T2 (de) * 1992-12-18 2003-01-02 Koninkl Philips Electronics Nv Ortungszurückstellung von relativ elastisch verformten räumlichen Bildern durch übereinstimmende Flächen
JP3871747B2 (ja) 1996-11-25 2007-01-24 株式会社日立メディコ 超音波診断装置
FR2791136B1 (fr) * 1999-03-15 2001-06-08 Mathias Fink Procede et dispositif d'imagerie utilisant les ondes de cisaillement
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
FR2844058B1 (fr) * 2002-09-02 2004-11-12 Centre Nat Rech Scient Procede et dispositif d'imagerie utilisant des ondes de cisaillement
WO2005117712A1 (ja) * 2004-06-03 2005-12-15 Hitachi Medical Corporation 画像診断支援方法及び画像診断支援装置
EP1894161A2 (en) 2005-06-15 2008-03-05 Koninklijke Philips Electronics N.V. Method of model-based elastic image registration for comparing a first and a second image
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
CN101370431B (zh) * 2006-01-20 2011-10-05 株式会社日立医药 弹性图像显示方法及弹性图像显示装置
US8727998B2 (en) * 2007-05-16 2014-05-20 Mayo Foundation For Medical Education And Research Portal vein pressure measurement using elastography
GB0712432D0 (en) 2007-06-26 2007-08-08 Isis Innovation Improvements in or relating to determination and display of material properties
US8433114B2 (en) * 2008-09-10 2013-04-30 Siemens Aktiengesellschaft Method and system for elastic composition of medical imaging volumes
JP5147656B2 (ja) 2008-11-20 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP5373749B2 (ja) * 2010-11-30 2013-12-18 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 医用画像表示装置及びその制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005521502A (ja) * 2002-04-03 2005-07-21 セガミ エス．エー．アール．エル． 胸部および腹部の画像モダリティの重ね合わせ
JP2005102713A (ja) * 2003-09-26 2005-04-21 Hitachi Medical Corp 画像表示システム
CN1647759A (zh) * 2004-01-29 2005-08-03 西门子公司 对准和重叠医疗成像的系列拍摄中的图像数据的方法
JP2007319676A (ja) * 2006-06-02 2007-12-13 General Electric Co <Ge> 幾何学方式レジストレーションのためのシステムおよび方法
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ ***画像診断システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105899145A (zh) * 2014-01-16 2016-08-24 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN105899145B (zh) * 2014-01-16 2019-05-14 佳能株式会社 图像处理装置、图像处理方法和存储介质
WO2016041395A1 (zh) * 2014-09-16 2016-03-24 无锡海斯凯尔医学技术有限公司 影像引导型弹性检测***及其检测方法
CN108283505A (zh) * 2017-01-10 2018-07-17 佳能医疗***株式会社 超声波诊断装置、图像处理装置及图像处理方法
CN108283505B (zh) * 2017-01-10 2022-05-31 佳能医疗***株式会社 超声波诊断装置、图像处理装置及图像处理方法
CN110403681A (zh) * 2018-04-27 2019-11-05 佳能医疗***株式会社 超声波诊断装置以及穿刺辅助方法
CN110403681B (zh) * 2018-04-27 2023-12-19 佳能医疗***株式会社 超声波诊断装置以及图像显示方法

Also Published As

Publication number Publication date
CN102223845B (zh) 2014-08-27
JP5147656B2 (ja) 2013-02-20
KR101267759B1 (ko) 2013-05-24
EP2358277B1 (en) 2018-07-18
EP2358277A1 (en) 2011-08-24
US8867808B2 (en) 2014-10-21
US20110216958A1 (en) 2011-09-08
WO2010058854A1 (en) 2010-05-27
JP2010119654A (ja) 2010-06-03
KR20110086846A (ko) 2011-08-01
EP2358277A4 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
CN102223845B (zh) 图像处理设备和图像处理方法
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
CN103251431B (zh) 信息处理设备、信息处理方法
US8908944B2 (en) Information processing apparatus, information processing method, and program
US8768018B2 (en) Information processing apparatus, information processing method, and storage medium
US9558549B2 (en) Image processing apparatus, method of controlling the same and storage medium
US9035941B2 (en) Image processing apparatus and image processing method
JP5706389B2 (ja) 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP5591309B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US8682051B2 (en) Smoothing of dynamic data sets
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101645292B1 (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
US10856850B2 (en) Information processing apparatus, method, and program for matching target object position between the prone and supine positions obtained by MRI and ultrasound
US9020215B2 (en) Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images
Zikic et al. Fast deformable registration of 3D-ultrasound data using a variational approach
US11730384B2 (en) Fluid analysis apparatus, method for operating fluid analysis apparatus, and fluid analysis program
JP5808446B2 (ja) 情報処理装置および情報処理方法
US11704795B2 (en) Quality-driven image processing
CN115908512A (zh) 医学图像的可变形配准

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant