CN105872454B - 图像显示设备和图像显示方法 - Google Patents

图像显示设备和图像显示方法 Download PDF

Info

Publication number
CN105872454B
CN105872454B CN201610073021.5A CN201610073021A CN105872454B CN 105872454 B CN105872454 B CN 105872454B CN 201610073021 A CN201610073021 A CN 201610073021A CN 105872454 B CN105872454 B CN 105872454B
Authority
CN
China
Prior art keywords
image
section
vector
region
focal area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610073021.5A
Other languages
English (en)
Other versions
CN105872454A (zh
Inventor
石原正树
马场孝之
上原祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN105872454A publication Critical patent/CN105872454A/zh
Application granted granted Critical
Publication of CN105872454B publication Critical patent/CN105872454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了图像显示设备和图像显示方法。该方法包括：在显示设备上显示包括人体组织中的肿瘤部分的第一图像；接受对第一图像上第一区域的指定，其中该第一区域包括肿瘤部分；从第一图像的区域提取第一特征点组，该区域距第一区域的距离在阈值以上；获取包括该人体组织中的肿瘤部分的第二图像，该第二图像是在与第一图像不同的时间捕获的；从第二图像提取与第一特征点组对应的第二特征点组；基于第一特征点组与第二特征点组之间的位置关系来生成变换信息，以用于执行第二图像与第一图像之间的图像配准；通过将变换信息应用于第二图像来执行变换处理；以及显示通过变换处理生成的第三图像的至少部分。

Description

图像显示设备和图像显示方法
技术领域
本实施方式中所公开的技术涉及一种显示图像以用于医疗用途的技术。
背景技术
在医疗场景中，医生常常对在不同时间捕获的计算机断层扫描(CT)图像进行比较以用于确定患者的疾病发展过程等。此时，如果所比较的区域是患者的肺等，则在CT图像中包括由于心跳和呼吸而引起的位置变化。因此，例如，通过变换有关指定区域的图像以使得在所比较的各个CT图像中的特征点(例如，血管)的位置彼此对应，来执行图像配准。这使得医生甚至能够易于对与指定区域相关的其中包括有位置变化的CT图像进行比较。在日本公开特许公报第2013-141603号中公开了相关技术。
发明内容
技术问题
在肺中有肿瘤(例如腺癌)的患者中，存在着以下可能性：肺的肺泡由于肿瘤而塌陷(collapse)，从而引起了相邻血管等的位置趋于靠近塌陷位置的所谓“病灶(focusing)”。在关于这种患者的肺的CT图像进行传统的图像配准的情况下，如果采用邻近塌陷位置的血管来作为特征点，则对图像进行变换，还包含与“病灶”相关联的位置变化的影响。结果，在变换后的CT图像中，通过与由于心跳和呼吸而引起的位置变化进行图像配准，与“病灶”相关联的位置变化被抵消。
在一个方面，本实施方式中所公开的技术意图抵消由于心跳和呼吸而引起的位置变化，同时保留与肿瘤所引起的病灶相关联的位置变化的影响。
问题的解决方案
根据本发明的一个方面，图像显示方法包括：在显示设备上显示包括人体组织中的肿瘤部分的第一图像；接受对第一图像上第一区域的指定，其中该第一区域包括肿瘤部分；从第一图像的区域提取第一特征点组，该区域距第一区域的距离在阈值以上；获取包括该人体组织中的肿瘤部分的第二图像，该第二图像是在与第一图像不同的时间捕获的；从第二图像提取与第一特征点组对应的第二特征点组；基于第一特征点组与第二特征点组之间的位置关系来生成变换信息，以用于执行第二图像与第一图像之间的图像配准；通过将变换信息应用于第二图像来执行变换处理；以及在显示设备上显示通过变换处理生成的第三图像的至少部分。
发明的有益效果
本实施方式中所公开的技术能够抵消由于心跳和呼吸而引起的位置变化，同时保留与肿瘤所引起的病灶相关联的位置变化的影响。
附图说明
图1是示出CT图像拍摄***的一个示例的图；
图2是示出图像显示设备的硬件配置的图；
图3是示出图像显示设备中的诊断辅助单元的处理的内容、由医生进行的操作的内容和在并置(juxtaposition)显示屏上显示的内容之间的关系的图；
图4是示出图像显示设备中的诊断辅助单元的处理的内容、由医生进行的操作的内容和在并置显示屏上显示的内容之间的关系的图；
图5是示出在图像数据库(在下文中，将数据库简称为DB)中存储的信息的一个示例的图；
图6是示出比较目标CT图像相对于比较源CT图像的局部位置变化的原因的图；
图7A、图7B和图7C是用于更详细地说明基于肿瘤变化的位置变化的图；
图8A、图8B、图8C和图8D是说明对代表矢量的计算处理和对相应区域的计算处理的图；
图9是示出通过使用包括非刚性变换的影响的代表矢量来执行局部图像配准而获得的图像的图；
图10是示出第二配准单元的功能配置的图；
图11A和图11B是示出病灶区域确定单元的处理的内容的第一图；
图12A和图12B是示出当确定存在病灶区域时代表矢量的计算方法的图；
图13A和图13B是示出当确定不存在病灶区域时代表矢量的计算方法的图；
图14是由第二配准单元执行的局部图像配准处理的流程图；
图15是病灶区域确定处理的第一流程图；
图16是示出通过使用排除非刚性变换的影响的代表矢量来执行局部图像配准而获得的图像的图；
图17A、图17B和图17C是示出病灶区域确定单元的处理的内容的第二图；
图18是病灶区域确定处理的第二流程图；
图19A和图19B是示出病灶区域的一个示例的图；以及
图20是病灶区域确定处理的第三流程图；
具体实施方式
下面将参照附图来描述实施方式。在本说明书和附图中，关于基本上包括相同功能配置的构成元件，通过赋予相同的附图标记来省略重复的说明。
[第一实施方式]
首先，将描述包括根据第一实施方式的图像显示设备的CT图像拍摄***。图1是示出CT图像拍摄***的一个示例的图；
CT图像拍摄***100包括CT设备110、图像显示设备120以及图像数据库130。CT设备110和图像显示设备120以电方式耦接，并且在这两个设备之间执行数据发送和接收。此外，图像显示设备120和图像数据库130也以电方式耦接，并且在这两个设备之间可执行数据发送和接收。
CT设备110通过使用辐射等扫描患者身体内部并且通过使用计算机执行处理(下文中，将这样的处理被称为“拍摄CT图像”)来生成CT图像，该CT图像为患者的断层图像。CT设备110将捕获的CT图像发送到图像显示设备120。
图像显示设备120将在CT设备110中捕获的CT图像存储在所耦接的图像数据库130中。此外，通过由计算机执行安装的诊断辅助程序将图像显示设备120用作诊断辅助单元140。
图像数据库130通过图像显示设备120来接收在CT设备110中捕获的CT图像，并且利用以同时捕获的多个CT图像为单位(成像组)的分类来存储CT图像。
诊断辅助单元140是当医师例如医生基于在CT设备110中所捕获的并存储在图像数据库130中的CT图像来对患者进行诊断时所使用的功能。诊断辅助单元140以并置方式显示例如在不同时间捕获的CT图像，使得医师能够通过对CT图像的比较来做出诊断。下文中，将以并置方式显示的CT图像中的一个(例如，在给定周期过去之前捕获的CT图像)称为“比较源CT图像”，而将另一CT图像(例如，在给定周期过去之后捕获的CT图像)称为“比较目标CT图像”。
诊断辅助单元140在放大显示屏上对比较源CT图像中的包括由医师指定的位置的给定区域的图像进行放大显示。此外，诊断辅助单元140从比较目标CT图像中提取与包括指定位置的给定区域对应的相应区域的图像，并且在放大显示屏上对所提取的图像进行放大显示。
为了执行这类处理，诊断辅助单元140包括第一配准单元141、第二配准单元142以及显示控制单元143。
第一配准单元141例如通过由计算机执行第一配准程序来实现。在以并置方式显示在不同时间捕获的CT图像时，第一配准单元141通过借助于线性变换校正各CT图像之间的位置偏差来执行各CT图像之间的全局图像配准。
第二配准单元142例如通过由计算机执行第二配准程序来实现。当对包括由医师指定的位置的给定区域的图像进行放大显示时，第二配准单元142通过在比较目标CT图像中执行变换处理来从比较目标CT图像中提取相应区域的图像。这使得第二配准单元142能够将该图像通知给显示控制单元143。在变换处理中包括各种处理(例如，变换)。在本实施方式中，变换处理是指平移(translation)。
显示控制单元143例如通过由计算机执行显示程序来实现。显示控制单元143显示由医师选择的比较源CT图像，并且在放大显示屏上对包括由医师指定的位置的给定区域进行放大显示。此外，显示控制单元143在放大显示屏上对由第二配准单元142通知的、并且已被执行了局部图像配准的图像进行放大显示。
接下来，将描述图像显示设备的硬件配置。图2是示出图像显示设备的硬件配置的图。如图2所示，图像显示设备120包括中央处理单元(CPU)201、只读存储器(ROM)202以及随机存取存储器(RAM)203。此外，图像显示设备120包括辅助存储装置204、耦接装置205、显示装置206、操作装置207以及驱动装置208。图像显示设备120的各个装置通过总线209相互耦接。
接下来，CPU 201是执行在辅助存储装置204中存储的各种程序(例如第一配准程序、第二配准程序、显示程序等)的计算机。
ROM 202是非易失性存储器。ROM 202用作为存储各种程序、数据等以用于由CPU201执行在辅助存储装置204中存储的各种程序的主存储装置。例如，ROM 202存储引导程序，例如基本输入/输出***(BIOS)和可扩展固件接口(EFI)。
RAM 203是易失性存储器，并且包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。RAM 203是当由CPU 201执行在辅助存储装置204中存储的各种程序时提供扩展的工作区的主存储装置。
辅助存储装置204是其中记录有在图像显示设备120中安装的各种程序、通过执行各种程序而生成的数据等的计算机可读记录介质。
耦接装置205被耦接到CT设备110和图像数据库130，并且耦接装置205执行与CT设备110和图像数据库130的数据发送和接收。显示装置206通过并置显示屏来显示在CT设备110中捕获并且被存储在图像数据库130中的CT图像。操作装置207接受由医师诸如医生对图像显示设备120执行的各种操作。
驱动装置208是用于设置记录介质210的装置。在这里所述的记录介质210中，包括有以光学方式、电学方式或磁方式记录信息的介质，例如光盘(CD)-ROM、软盘和磁光盘。此外，在记录介质210中，还包括其中以电方式记录信息的半导体存储器等，例如ROM和闪速存储器。
在本实施方式中，例如通过将分布式记录介质210设置在驱动装置208中并且由驱动装置208读取在记录介质210中记录的各种程序来安装辅助存储装置204中所存储的各种程序。可替代地，通过借助于耦接装置205从网络下载来安装各种程序。
接下来，将关于图像显示设备120的诊断辅助单元140的处理的内容、由医师在某一时间进行的操作的内容、以及在图像显示设备120的显示装置206上显示的并置显示屏之间的关系进行描述。
图3和图4是示出图像显示设备中的诊断辅助单元的处理的内容、由医师进行的操作的内容和在并置显示屏上显示的内容之间的关系的图.
当在图像显示设备120中开始由诊断辅助单元140进行的处理时，如图3所示，开始由显示控制单元143进行的处理，并且在显示装置206上显示用于以并置方式显示在不同时间捕获的CT图像的并置显示屏300。在并置显示屏300被显示的状况下，医师例如医生将关于给定患者在给定时间所捕获的给定区域(这里为肺)的图像组选择为比较源CT图像组。这使得显示控制单元143从图像数据库130中读取所选择的比较源CT图像组。此外，当医师从所选择的比较源CT图像组中指定了给定的比较源CT图像(这里，文件名＝“ImageA015”)时，显示控制单元143将指定的比较源CT图像显示在并置显示屏300上。
为了与指定的比较源CT图像进行比较，医师将在不同时间捕获的同一患者的同一区域的图像组选择为比较目标CT图像组。例如，医师输入患者标识(ID)、拍摄日期和时间、所捕获的区域(这里为肺)等来选择比较目标CT图像组。这使得显示控制单元143从图像数据库130中读取通过输入的患者姓名、拍摄日期和时间、所捕获的区域等而识别出的成像组来作为比较目标CT图像组。此外，显示控制单元143从所读取的比较目标CT图像组中读取与在并置显示屏300上显示的比较源CT图像对应的比较目标CT图像(这里，文件名＝“ImageB018”)，并且将比较目标CT图像显示在并置显示屏300上。
此时，第一配准单元141在诊断辅助单元140中工作，并且通过对所读取的CT图像进行线性校正(例如旋转和平移)来执行全局图像配准。通过对整个CT图像进行全局图像配准，解决了比较源CT图像与比较目标CT图像之间的全局位置偏差。
当全局图像配准完成时，如图4所示，医师指定肿瘤部分F在所显示的比较源CT图像中的位置。这使得显示控制单元143在放大显示屏上对给定区域401的图像进行放大显示，该给定区域401包括肿瘤部分F在比较源CT图像上的指定位置。
当对给定区域401的图像进行放大显示时，第二配准单元142基于比较目标CT图像的平移来执行变换处理，并且提取相应区域402的图像(已经被执行局部图像配准的图像)，其中该相应区域402包括对应于肿瘤部分F的肿瘤部分F'的位置。此外，第二配准单元142将从比较目标CT图像中提取的相应区域402的图像通知给显示控制单元143。
显示控制单元143在放大显示屏上对从第二配准单元142通知的比较目标CT图像上的相应区域402的图像进行放大显示。这能够显示已被执行局部图像配准的图像。
如上所述，根据图像显示设备120，能够在医师在比较源CT图像中指定了肿瘤部分F的位置时执行对给定区域401的图像的放大显示。此外，能够从比较目标CT图像中自动提取相应区域402的图像，并且在放大显示屏上对该图像进行放大显示。结果，医师能够容易地掌握在不同时间捕获的成像组中所包括的各CT图像之间的相应位置，并且容易地做出关于肿瘤如何变化的诊断。
接下来，将描述图像数据库130。图5是示出存储在图像数据库中的信息的一个示例的图。如图5中所示，利用基于每个患者的分类来管理存储在图像数据库130中的信息，并且图5表示与患者ID＝“xxx”的患者有关的信息的一个示例。
如在图5中所示，在与患者有关的信息的项目中包括“拍摄日期和时间”、“捕获区域”、“文件名”和“成像组”。在“拍摄日期和时间”中，存储了与捕获到CT图像的日期和时间有关的信息。在“捕获区域”中，存储了与拍摄目标的区域有关的信息。在“文件名”中，存储了用于对通过拍摄而获得的多个CT图像所构成的文件进行识别的文件名。在“成像组”中，存储了通过拍摄而获得的多个CT图像。
在图5的示例中，在图像数据库130中存储了包括有通过关于捕获区域＝“肺”在拍摄日期和时间＝“H26.2.5(2015年2月5日)”进行拍摄而获得的CT图像ImageA001至ImageA030并且具有文件名＝“文件A”的文件。此外，在图像数据库130中存储了包括有通过关于拍摄区域＝“肺”在拍摄日期和时间＝“H26.8.3(2015年8月3日)”进行拍摄而获得的CT图像ImageB001至ImageB030并且具有文件名＝“文件B”的文件。
图5中的虚线表示“ImageA015”的CT图像被选择作为比较源CT图像。此外，另一个虚线表示“ImageB018”的CT图像被选择作为比较目标CT图像。
接下来，将描述诊断辅助单元140的各个单元。在下文中，将主要描述第二配准单元142。
如上所述，在全局图像配准完成时，比较源CT图像与比较目标CT图像之间的总***置变化被校正，而局部位置变化仍留存。出于这个原因，为了放大并显示与包括医师指定的肿瘤部分F的位置的给定区域401相对应的相应区域402的图像，首先第二配准单元142获得比较目标CT图像相对于比较源CT图像的局部位置变化。然后，第二配准单元142根据所获得的变化，通过基于比较目标CT图像中的平移执行变换处理来获得相应区域402。这能够提取已被执行局部图像配准的图像。
这里，在捕获区域＝“肺”的情况下，作为局部位置变化发生的主要原因，引用了两种原因。这两个原因包括基于呼吸和心跳的原因和基于肿瘤改变(随时间改变)的另一原因。图6是示出比较目标CT图像相对于比较源CT图像的局部位置变化的原因的图。
当如图6中所示的那样出现局部位置变化时，例如在包括有与比较源CT图像中的给定区域401相同坐标的比较目标CT图像上的区域中显示图像610。
当在图6中对比较源CT图像中的给定区域401的图像600和与给定区域401具有相同坐标的比较目标CT图像上的区域的图像610进行比较时，结果发现血管的位置和肿瘤的位置由于局部位置变化而大大偏离。在图6中，粗线表示血管601至603和611至613，阴影区域表示肿瘤部分F和F'。
基于呼吸和心跳的位置变化是指与例如呼吸时横膈膜(diaphragm)的运动相关联的位置变化。横膈膜的位置在患者呼气的情况与患者吸气的情况之间发生变化。因此，肺的各部分的位置与此变化相关联地发生变化。也就是说，除了在拍摄时患者的呼吸状态完全一致的情况之外，在比较源CT图像与比较目标CT图像之间可能会引起基于呼吸和心跳的局部位置变化。
基于呼吸和心跳的位置变化是在例如给定方向上整个给定区域401的平移。因此，该位置变化可以被认为是刚性变换。
另一方面，基于肿瘤改变的位置变化是指由于类似腺癌等的恶性肿瘤的生长，随着肺的肺泡被破坏并且肺的肺泡体积减小了由肺的肺泡所保持的空气体积而引起的位置变化(即，与肿瘤引起的病灶相关联)。将通过使用图7A、图7B和图7C进行详细描述。图7A至图7C是用于详细说明基于肿瘤改变的位置变化的图。
图7A示出了在肿瘤中央点O处表示的位置处生成恶性肿瘤例如腺癌紧接着之后周围组织的状态。如图7A中所示，在生成恶性肿瘤紧接着之后的状态下，从肿瘤中央点O到支气管711上的点D1的距离和从肿瘤中央点O到血管712上的点C1的距离均为r1。
图7B示出了包括支气管711和血管712的周围组织由于恶性肿瘤的生长随着肿瘤周围肺的肺泡的破坏而朝向肿瘤中央点O移动的状态。如图7B中所示，由于周围组织朝向肿瘤中央点O的移动，从肿瘤中央点O到支气管711上的点D2的距离和从肿瘤中央点O到血管712上的点C2的距离均变成r2(<r1)。
图7C示出了包括支气管711和血管712的周围组织由于恶性肿瘤的生长随着肿瘤周围肺的肺泡被进一步破坏而进一步朝向肿瘤中央点O移动的状态。如图7C中所示，由于周围组织朝向肿瘤中央点O的移动，从肿瘤中央点O到支气管711上的点D3的距离和从肿瘤中央点O到血管712上的点C3的距离均变成r3(<r2)
如上所述，基于肿瘤改变的位置变化(与肿瘤引起的病灶相关联)具有周围组织朝向肿瘤中央点O移动的特征，并且由于位置如何变化取决于给定区域中的位置而不同，所以该位置变化可以被视为非刚性变换。
如图7A至图7C所示，可以将肿瘤周围的组织大致分类为肿瘤区域703的组织、病灶区域702的组织和正常区域701的组织。在肿瘤区域703中，存在于图7A中的组织的一部分由于被恶性肿瘤破坏而在7C中不存在。另一方面，在病灶区域702中，存在于图7A中的组织也存在于图7C中。然而，相应组织的位置在中心方向上发生变化(B1→B2→B3)。此外，在正常区域701中，存在于图7A中的组织也存在于图7C中，并且相应组织的位置(A1→A2→A3)也几乎不变。
从对图6和图7的以上描述明显看出，比较源CT图像和比较目标CT图像之间的局部位置变化包括：“基于呼吸和心跳的变化”，其可以被认为是刚性变换；以及“基于肿瘤改变的变化”，其是非刚性变换。此外，在“基于肿瘤改变的变化”的情况下，可以根据朝向肿瘤中央点O的移动的程度将肿瘤周围的组织大致分类为正常区域701、病灶区域702和肿瘤区域703。
接下来，将通过使用8A、图8B、图8C、图8D和图9来描述当第二配准单元142针对比较目标CT图像中的以下区域执行局部图像配准时的问题：在该区域中刚性变换和非刚性变换以混合方式存在，如图6中示出的那样。
如上所述，为了在比较目标CT图像中执行局部图像配准，第二配准单元142基于平移来执行变换处理。也就是说，第二配准单元142不执行非线性变换处理，而是执行线性变换处理。这是因为在放射学解释中医师不希望图像被通过非线性变换处理进行处理。
这里，为了基于平移来执行变换处理，第二配准单元142计算代表矢量，该代表矢量指示给定区域401已经移动到比较目标CT图像中的哪个位置。
图8A、图8B、图8C和图8D是说明对代表矢量的计算处理和对相应区域的计算处理的图。图8A是示出对应矢量(黑色箭头)的图，对应矢量(correspondence vectors)是在比较源CT图像的给定区域401(图4)中包括的特征点的位置与在比较目标CT图像中对应于这些特征点的特征点的位置之间的差。区域800是其中包括有比较目标CT图像中的以下特征点的区域：该特征点与比较源CT图像的给定区域401中所包括的特征点对应，并且区域800是用于计算代表矢量的区域。以下，比较目标CT图像中的该区域将被称为代表矢量计算目标区域800。
这里，假定第二配准单元142通过使用代表矢量计算目标区域800中所包括的所有对应矢量来计算代表矢量810。在此情况下，可以通过图8B所示的处理来提取已被执行了局部图像配准的图像。
图8B是示出如何通过使用代表矢量810的逆矢量并且执行以下变换处理来从比较目标CT图像中提取已被执行了局部图像配准的图像的图：在该变换处理中，在使得抵消该代表矢量810的方向上执行平移。如图8B所示，第二配准单元142基于代表矢量810，通过对包括有与比较源CT图像中的给定区域401相同坐标的比较目标CT图像中的区域801进行平移来获得区域802。然后，第二配准单元142通过从比较目标CT图像中提取区域802的图像来提取已被执行了局部图像配准的图像。
然而，以此方式提取的图像正是通过如下方式实现的图像：基于在刚性变换和非刚性变换以混合方式存在的区域中仅引起刚性变换的假定来获得代表矢量，并且平移该区域以抵消所假定的刚性变换。也就是说，平移该区域以便还抵消非刚性变换的影响。
将通过使用图8C和图8D更详细地进行描述。图8C是示出在以下对应矢量中的、与基于呼吸和心跳的位置变化(刚性变换)相对应的对应矢量的图：所述对应矢量连结了比较源CT图像的给定区域401中所包括的特征点的位置和比较目标CT图像中对应于这些特征点的特征点的位置。如图8C所示，基于刚性变换的对应矢量都被定向在相同的方向上并且都具有基本上相同的长度。基于刚性变换的对应矢量存在于正常区域701和病灶区域702中。然而，在肿瘤区域703中，与比较源CT图像的特征点对应的比较目标CT图像的特征点不存在，因此对应矢量也不存在。
另一方面，图8D是示出在以下对应矢量中的、与基于肿瘤改变的位置变化(非刚性变换)相对应的对应矢量的图：所述对应矢量连结了比较源CT图像的给定区域401中所包括的特征点的位置和比较目标CT图像中对应于这些特征点的特征点的位置。如图8D所示，基于非刚性变换的对应矢量仅存在于病灶区域702(不包含肿瘤区域703)中，并且该对应矢量被定向在朝向肿瘤的中心的方向上。
如上所述，基于刚性变换的对应矢量和基于非刚性变换的对应矢量在矢量长度和取向方面具有差异，并且在存在位置方面也具有差异。
同时，图8A中所示的对应矢量是从图8C中所示的对应矢量和图8D中所示的对应矢量彼此相加而得。
也就是说，在图8A所示的对应矢量中存在于与病灶区域702对应的位置处的对应矢量中，基于刚性变换的对应矢量和基于非刚性变换的对应矢量以混合的方式存在。由于此原因，当通过使用存在于与病灶区域702对应的位置处的对应矢量来计算代表矢量810时，在代表矢量810中包括非刚性变换的影响。此外，当通过使用这样的代表矢量810来执行局部图像配准时，不可能执行高精度的图像配准。
将通过使用具体图像来进行描述。图9是示出通过使用包括有非刚性变换的影响的代表矢量来执行局部图像配准而获得的图像的图。在图9的示例中，以重叠的方式示出了通过执行局部图像配准获得的图像900(比较目标CT图像的区域802的图像)和比较源CT图像中的给定区域401的图像600。
如图9所示，即使已经执行了局部图像配准，图像900中包括的血管901至903和肿瘤部分F'的位置仍然与图像600中包括的血管601至603和肿瘤部分F的位置偏离。
鉴于在刚性变换和非刚性变换以混合方式存在的区域中计算代表矢量时的上述问题，本实施方式的第二配准单元142获得将非刚性变换的影响排除的代表矢量。以下将通过使用图10至图16来描述本实施方式的第二配准单元142。
图10是示出第二配准单元的功能配置的图。如图10所示，第二配准单元142包括区域识别单元1001、对应矢量计算单元1002、病灶区域确定单元1003、代表矢量计算单元1004以及图像配准单元1005。
区域识别单元1001识别包括有医师指定的位置的给定区域401。例如，区域识别单元1001获取比较源CT图像上的坐标以识别给定区域401的位置。
对应矢量计算单元1002从区域识别单元1001识别的比较源CT图像的给定区域401提取特征点。此外，对应矢量计算单元1002搜索比较目标CT图像中与所提取的各特征点对应的相应特征点。此外，对应矢量计算单元1002基于从比较源CT图像提取的各特征点的位置与比较目标CT图像中与这些各特征点对应的相应特征点的位置之间的差异来计算对应矢量。
病灶区域确定单元1003基于在对应矢量计算单元1002中计算出的对应矢量来确定在代表矢量计算目标区域800中是否包括病灶区域702。另外，如果确定病灶区域702被包括在内，则病灶区域确定单元1003计算正常区域701与病灶区域702之间的边界位置。此外，病灶区域确定单元1003向代表矢量计算单元1004通知与病灶区域702是否被包括在内有关的确定结果以及正常区域701与病灶区域702之间的边界位置的计算结果。
代表矢量单元1004基于在对应矢量计算单元1002中计算出的对应矢量来计算代表矢量计算目标区域800中的代表矢量。如果确定在代表矢量计算目标区域800中不包括病灶区域702，则代表矢量计算单元1004通过使用代表矢量计算目标区域800(不包括肿瘤区域)中的所有对应矢量来计算代表矢量。另一方面，如果确定在代表矢量计算目标区域800中包括病灶区域702，则代表矢量计算单元1004通过使用代表矢量计算目标区域800中的对应矢量当中的、排除了病灶区域702和肿瘤区域703中所包括的对应矢量之外的对应矢量来计算代表矢量。
代表矢量计算单元1004执行通过使用对应矢量来计算代表矢量的平均处理。
图像配准单元1005基于在代表矢量计算单元1004中计算出的代表矢量，从比较目标CT图像提取对应于给定区域401的相应区域402的图像。例如，图像配准单元1005通过使用比较目标CT图像上的代表矢量来移动坐标以识别给定区域401的位置，从而计算移动后的坐标。此外，图像配准单元1005从比较目标CT图像提取由计算出的移动后的坐标所识别的区域(对应于区域402)的图像，并且将该图像通知给显示控制单元143。这允许显示控制单元143在放大显示屏上对已被执行了的局部图像配准的图像进行放大显示。
接下来，将关于第二配准单元142中包括的各个单元当中的病灶区域确定单元1003和代表矢量计算单元1004的功能的具体示例进行描述。
首先，将描述病灶区域确定单元1003的功能的具体示例。图11A和图11B是示出病灶区域确定单元的处理的内容并且示出图11A和图11B的两个具体示例的第一图。
图11A示出了以下情况：通过具有给定步长宽度的区段(section)将从代表矢量计算目标区域800的中心到边缘的区域划出矩形框架形状，以及基于每个区段的对应矢量来确定在代表矢量计算目标区域800中是否包括病灶区域702。
从代表矢量计算目标区域800的中心到边缘的距离被定义为R，步长宽度被定义为ΔR。此外，虽然这里描述了将代表矢量计算目标区域800划出矩形框架形状的情况，但是可以将代表矢量计算目标区域800划分出圆环形状而不是划出矩形框架形状。
病灶区域确定单元1003提取在R至(R-ΔR)的范围内的区段组1101中包括的对应矢量(在图11A的左端所示的代表矢量计算目标区域800中的阴影区域)。此外，病灶区域确定单元1003提取在(R-ΔR)至(R-ΔR×2)的范围内的区段组1102中包括的对应矢量(在图11A的中央所示的代表矢量计算目标区域800中的阴影区域)。
然后，病灶区域确定单元1003通过计算在所提取的对应矢量当中、在区段组1101的对应矢量与区段组1102的对应矢量之间相邻的对应矢量之间的差来获得差矢量。即，可以说，这里提到的差矢量是表示在比较源CT图像与比较目标CT图像之间特征点的位置变化的差异的矢量。在图11A的右端所示的代表矢量计算目标区域800中的各矢量表示基于区段组1101的对应矢量和区段组1102的对应矢量所计算出的差矢量的一个示例。
如果以此方式获得的差矢量大于给定阈值，则病灶区域确定单元1003确定该差矢量的方向。如果该差矢量的方向被定向为朝向代表矢量计算目标区域800的中心的方向，则病灶区域确定单元1003确定病灶区域702被包括在内。此外，病灶区域确定单元1003将以下两个区段组之间的边界位置确定为正常区域701与病灶区域702之间的边界位置：在该两个区段组中，存在着用于确定病灶区域702被包括在内的对应矢量。
在图11A的示例中，病灶区域确定单元1003将在R至(R-ΔR)的范围内的区段组1101与在(R-ΔR)至(R-ΔR×2)的范围内的区段组1102之间的边界位置确定为正常区域701与病灶区域702之间的边界位置。如果确定不存在病灶区域702，则病灶区域确定单元1003从更内部的区段组提取对应矢量并且执行类似的处理。
图11B示出了以下情况：从代表矢量计算目标区域800的中心到边缘的区域被划分出具有给定步长宽度的矩形框架形状，以及通过使用每个区段组的一部分来确定病灶区域702是否被包括在内。
在图11B的示例中，病灶区域确定单元1003提取在R至(R-ΔR)的范围内的区段组1101的一部分中所包括的对应矢量(即，在图11B的左端所示的代表矢量计算目标区域800中的阴影区域)。此外，病灶区域确定单元1003提取在(R-ΔR)到(R-ΔR×2)的范围内的区段组1102的一部分中所包括的对应矢量(即，在图11B的中央所示的代表矢量计算目标区域800中的阴影区域)。
然后，病灶区域确定单元1003通过计算所提取的对应矢量当中、在区段组1101的对应矢量与区段组1102的对应矢量之间相邻的对应矢量之间的差来获得差矢量。在图11B的右端处所示的代表矢量计算目标区域800中的各矢量表示差矢量。
如果以此方式获得的差矢量大于给定阈值，则病灶区域确定单元1003确定该差矢量的方向。如果该差矢量的方向被定向为朝向代表矢量计算目标区域800的中心的方向，则病灶区域确定单元1003确定病灶区域702被包括在内。此外，病灶区域确定单元1003将以下两个区段组之间的边界位置确定为正常区域701与病灶区域702之间的边界位置：在该两个区段组中，存在着用于确定病灶区域702被包括在内的对应矢量。
从图11A和图11B的描述明显看出，病灶区域确定单元1003首先通过使用从位于代表矢量计算目标区域800的最外侧的区段组1101提取的对应矢量来获得差矢量。这是因为这些对应矢量能够被估计为是不受基于肿瘤改变的位置变化的影响、并且与基于呼吸和心跳的位置变化相关联的对应矢量。
此外，病灶区域确定单元1003计算相邻的对应矢量之间的差。这是因为：在相邻的对应矢量之间不存在基于呼吸和心跳的位置变化的大差异，并且计算该差能够减去基于呼吸和心跳的位置变化的影响。即，可以说，通过计算相邻的对应矢量之间的差(差矢量具有等于或大于给定阈值的幅度)所获得的差矢量表示与基于肿瘤改变的位置变化相对应的矢量。
之所以病灶区域确定单元1003确定差矢量的方向是因为病灶区域702中的差矢量具有差矢量定向为朝向肿瘤中央点O的特征，并且从而该确定可有效用于区别基于肿瘤改变的位置变化。
接下来，将描述代表矢量计算单元1004的功能的具体示例。图12A和图12B是示出当确定病灶区域被包括在内时代表矢量的计算方法的图。
如果在代表矢量计算目标区域800中包括病灶区域702，则代表矢量计算单元1004通过在矢量计算目标区域800中计算出的各对应矢量中排除存在于病灶区域702中的对应矢量而获得代表矢量。在图12A的示例中，在代表矢量计算目标区域800中计算出十五个对应矢量(黑色箭头)，并且代表矢量计算单元1004通过使用排除了存在于病灶区域702中的四个对应矢量后的这些对应矢量(即，使用十一个对应矢量)来计算代表矢量。
代表矢量1200表示通过使用十一个对应矢量计所计算出的代表矢量。通过以此方式将存在于病灶区域702中的四个对应矢量排除在外，能够排除非刚性变换的影响而获得代表矢量1200。
图12B是示出通过使用代表矢量1200执行基于平移的变换处理，来从比较目标CT图像提取已被执行了局部图像配准的图像的情况。如图12B所示，第二配准单元142能够通过根据代表矢量1200的逆矢量对与比较源CT图像的给定区域401对应的比较目标CT图像中的区域801进行平移，来获得相应区域402。另外，第二配准单元142能够通过从比较目标CT图像中提取相应区域402的图像来提取已被执行了局部图像配准的图像。
另一方面，图13B和图13B是示出当确定病灶区域不被包括在内时代表矢量的计算方法的图。如果在代表矢量计算目标区域800中不包括病灶区域702，则代表矢量计算单元1004通过使用在代表矢量计算目标区域800中计算出的各对应矢量来获得代表矢量。然而，代表矢量计算单元1004将肿瘤区域703中所包括的对应矢量排除在外。在肿瘤区域703中，特征点的对应点不存在，因此对应矢量不存在。因此，所计算出的代表矢量是相同的，与存在于肿瘤区域703中的对应矢量是否被排除无关。
在图13A的示例中，在代表矢量计算目标区域800中计算出十五个对应矢量(黑色箭头)，并且代表矢量计算单元1004通过使用这些对应矢量来计算代表矢量。代表矢量1300表示通过使用十五个对应矢量所计算出的代表矢量。如上所述，如果在代表矢量计算目标区域800中不包括病灶区域702，则不会受到非刚性变换的影响，因此可以通过使用所有的对应矢量来计算代表矢量。
图13B是示出通过使用代表矢量1300执行基于平移的变换处理，来从比较目标CT图像提取已被执行了局部图像配准的图像的情况。如图13B所示，第二配准单元142能够通过根据代表矢量1300的逆矢量对与比较源CT图像的给定区域401对应的比较目标CT图像中的区域801进行平移，来获得相应区域402。另外，第二配准单元142能够通过从比较目标CT图像中提取相应区域402的图像来提取已被执行了局部图像配准的图像。
接下来，将描述由第二配准单元142执行的局部图像配准处理的流程。图14是由第二配准单元进行的局部图像配准处理的流程图。
在步骤S1401中，区域确定单元1001识别以医师在比较源CT图像中指定的肿瘤部分F的位置为中心的给定区域401。
在步骤S1402中，对应矢量计算单元1002从区域识别单元1001识别的比较源CT图像的给定区域401提取特征点。此外，对应矢量计算单元1002搜索比较目标CT图像中与所提取的各特征点对应的相应特征点。
在步骤S1403中，病灶区域确定单元1003将包括有从比较目标CT图像搜索的各特征点的区域提取作为代表矢量计算目标区域800。
在步骤S1404中，对应矢量计算单元1002基于从比较源CT图像提取的各特征点的位置与比较目标CT图像中与这些特征点对应的相应特征点的位置之间的差来计算对应矢量。
在步骤S1405中，病灶区域确定单元1003基于所计算的对应矢量来确定在代表矢量计算目标区域800中是否包括病灶区域702。另外，如果确定病灶区域702被包括在内，则病灶区域确定单元1003计算正常区域701与病灶区域702之间的边界位置。稍后将描述步骤S1405的病灶区域确定处理的详细流程图。
在步骤S1406中，代表矢量计算单元1004基于病灶区域确定处理(步骤S1405)的结果来确定病灶区域702是存在还是不存在。如果在步骤S1406中确定病灶区域702不被包括在内，则代表矢量计算单元1004进行到步骤S1407。在步骤S1407中，代表矢量计算单元1004遮掩代表矢量计算目标区域800中包括的肿瘤区域703。
另一方面，如果在步骤S1406中确定病灶区域702被包括在内，则代表矢量计算单元1004进行到步骤S1408。在步骤S1408中，代表矢量计算单元1004遮掩代表矢量计算目标区域800中包括的病灶区域702(包括肿瘤区域703)。
在步骤S1409中，代表矢量计算单元1004通过使用存在于代表矢量计算目标区域800中的对应矢量当中的、除遮掩区域之外的区域的对应矢量，来计算代表矢量。
在步骤S1410中，图像配准单元1005通过使用所计算的代表矢量来从比较目标CT图像提取对应于给定区域401的相应区域402的图像。这能够提取已被执行局部图像配准的图像。
接下来，将描述病灶区域确定处理(步骤S1405)的细节。图15是病灶区域确定处理的第一流程图。
在步骤S1501中，病灶区域确定单元1003将从代表矢量计算目标区域800的中心(肿瘤中央点O)到边缘的区域划分出具有步长宽度ΔR的圆环形状或矩形框架形状。在步骤S1502中，病灶区域确定单元1003将1代入计数器i中。
在步骤S1503中，病灶区域确定单元1003提取在(R-ΔR×(i-1))至(R-ΔR×i)的范围内的区段组以及位于该区段组内部(在靠近肿瘤的一侧)并且在(R-ΔR×i)至(R-ΔR×(i+1))的范围内的区段组。
在步骤S1504中，病灶区域确定单元1003计算存在于所提取的各区段组中的对应矢量中的相邻对应矢量之间的差，并且获得差矢量。
在步骤S1505中，病灶区域确定单元1003确定差矢量的大小(magnitude)是否等于或小于阈值。如果在步骤S1505中确定大小等于或小于阈值，则病灶区域确定单元1003进行到步骤S1506并且使计数器i递增。
在步骤S1507中，病灶区域确定单元1003确定是否满足i≥R/ΔR。如果确定为不满足i≥R/ΔR，则病灶区域确定单元1003确定在更内侧(在靠近肿瘤的一侧)存在区段组，并且返回到步骤S1503。
另一方面，如果在步骤S1507中确定为满足i≥R/ΔR，则病灶区域确定单元1003确定已经关于所有区段组计算了差矢量，然后进行到步骤S1508。
在步骤S1508中病灶区域确定单元1003确定在代表矢量计算目标区域800中不包括病灶区域702，并且结束病灶区域确定处理。
另一方面，如果在步骤S1505中确定差矢量的大小大于阈值，则病灶区域确定单元1003进行到步骤S1509。在步骤S1509中，病灶区域确定单元1003确定差矢量的方向是否定向在朝向代表矢量计算目标区域800的中心的方向。
如果在步骤S1509中确定差矢量的方向不是定向在中心方向上，则病灶区域确定单元1003前进到步骤S1506。另一方面，如果在步骤S1509中确定差矢量的方向定向在中心方向上，则病灶区域确定单元1003进行到步骤S1510。
在步骤S1510中病灶区域确定单元1003确定在代表矢量计算目标区域800中包括病灶区域702，然后进行到步骤S1511。在步骤S1511中，病灶区域确定单元1003将与代表矢量计算目标区域800的中心相距(R-ΔR×i)的位置确定为正常区域701与病灶区域702之间的边界位置。然后，病灶区域确定单元1003结束病灶区域确定处理。
如上所述，如果确定差矢量的大小等于或小于阈值并且相关区域为正常区域701，则本实施方式中的第二配准单元142通过使用各区段的对应矢量来计算代表矢量。此外，如果由于差矢量的大小大于阈值并且差矢量定向在中心方向上而确定病灶区域702被包括在内，则第二配准单元142通过使用与病灶区域702的区段相比距肿瘤较远的区段的对应矢量来计算代表矢量。也就是说，第二配准单元142通过使用与肿瘤部分F分隔开阈值或更长距离的地方的特征点的对应矢量来计算代表矢量。这使得可以计算出排除了非刚性变换的影响的代表矢量，并且能够增强局部图像配准的准确性。
接下来，将关于通过使用排除了非刚性变换的影响的代表矢量来执行局部图像配准而获得的图像进行描述。图16是示出通过使用排除了非刚性变换的影响的代表矢量来执行局部图像配准而获得的图像的图。
在图16的示例中，通过使用排除了非刚性变换的影响的代表矢量1200执行局部图像配准所获得的相应区域402的图像1600，以及比较源CT图像的给定区域401的图像600被以重叠的方式示出。
如图16所示，在图像1600中包括的血管1601至1603和肿瘤部分F'的位置与在图像600中包括的血管601至603和肿瘤部分F的位置大致相同。也就是说，在图像1600的情况下，基于心跳和呼吸的位置变化被抵消。同时，在血管1602和1603中位于肿瘤部分F'周围的血管的位置相对于在图像600所包括的血管601至603中位于肿瘤部分F周围的血管偏离。也就是说，在图像1600的情况下，基于肿瘤改变的位置变化的影响被保留。
从上述描述中明显看出，在本实施方式中，基于平移的变换处理是通过使用与比较源CT图像中指定的肿瘤部分分隔开阈值或更长距离的地方的特征点的对应矢量(与病灶区域的区段相比距肿瘤较远的区段的对应矢量)来执行的。
作为结果，能够抵消由于心跳和呼吸引起的位置变化，同时保留与肿瘤所引起的病灶相关联的位置变化的影响。
[第二实施方式]
在上述的第一实施方式中，将从代表矢量计算目标区域800的中心到边缘的区域划分出具有步长宽度ΔR的圆环形状或矩形框架形状。
与此相反，在第二实施方式中，将从代表矢量计算目标区域800的中心到边缘的区域划分出具有给定步长角度的扇形。下面将主要关于与第一实施方式的差别来描述第二实施方式的细节。
图17A、图17B和图17C是示出病灶区域确定单元的处理的内容的第二图。图17A至图17C示出了通过将从代表矢量计算目标区域800的中心到边缘的区域划分出具有给定步长角度的扇形，以及通过使用各区段组来确定在代表矢量计算目标区域800中是否包括病灶区域702的情况。
在图17的示例中，将给定的步长角度设置为Δθ。在图17A中，病灶区域确定单元1003提取存在于θ＝0至Δθ的范围内的区段组1701中的对应矢量(即，在图17A中所示的代表矢量计算目标区域800中的阴影区域)。此外，病灶区域确定单元1003关于所提取的对应矢量计算相邻对应矢量之间的差，并且获得差矢量。
类似地，在图17B中，病灶区域确定单元1003提取存在于θ＝Δθ至2×Δθ的范围内的区段组1702中的对应矢量(即，在图17B中所示的代表矢量计算目标区域800中的阴影区域)。此外，病灶区域确定单元1003计算在所提取的对应矢量中的相邻对应矢量之间的差，并且获得差矢量。
随后，病灶区域确定单元1003提取代表矢量计算目标区域800中包括的所有区段组中的对应矢量，并且获得差矢量。
此外，如果在每个区段组中获得的差矢量大于给定阈值，则病灶区域确定单元1003确定该差矢量的方向。然后，如果差矢量的方向定向为朝向代表矢量计算目标区域800的中心的方向，则病灶区域确定单元1003确定在代表矢量计算目标区域800中包括病灶区域702。此外，病灶区域确定单元1003将以下的线或平面确定为正常区域701与病灶区域702之间的边界位置：该线或平面连结了用于确定病灶区域702被包括在内的差矢量的位置。
图18是病灶区域确定处理的第二流程图。在步骤S1801中，病灶区域确定单元1003将从代表矢量计算目标区域800的中心(肿瘤中央点O)到边缘的区域划分出具有步长角度Δθ的扇形。在步骤S1802中，病灶区域确定单元1003将1代入计数器i中。
在步骤S1803中，病灶区域确定单元1003提取(Δθ×(i-1))至(Δθ×i)的范围作为区段组。
在步骤S1804中，病灶区域确定单元1003关于所提取的区段组中存在的对应矢量来计算相邻对应矢量之间的差，并且获得差矢量。
在步骤S1805中，病灶区域确定单元1003确定差矢量的大小是否等于或小于阈值。如果在步骤S1805中确定大小等于或小于阈值，则病灶区域确定单元1003进行到步骤S1808。另一方面，如果在步骤S1805中确定大小大于阈值，则病灶区域确定单元1003进行到步骤S1806。
在步骤S1806中，病灶区域确定单元1003确定差矢量的方向是否定向在朝向代表矢量计算目标区域800的中心的方向。
如果在步骤S1806中确定差矢量的方向定向在中心方向上，则病灶区域确定单元1003前进到步骤S1807以保持该差矢量，然后前进到步骤S1808。另一方面，如果在步骤S1806中确定差矢量的方向不是定向在中心方向上，则病灶区域确定单元1003直接进行到步骤S1808。
病灶区域确定单元1003在步骤S1808中使计数器i递增，并且在步骤S1809中确定是否满足i>2π/Δθ。如果在步骤S1809中确定不满足i>2π/Δθ，则病灶区域确定单元1003确定存留着其中差矢量尚未被计算的区段组，并且返回到步骤S1803。
另一方面，如果在步骤S1809中确定满足i>2π/Δθ，则病灶区域确定单元1003确定已经关于所有区段组计算了差矢量，然后进行到步骤S1810。
在步骤S1810中，病灶区域确定单元1003确定在步骤S1807中保持的差矢量的数目是否等于或大于给定数目。
如果在步骤S1810中确定所保持的差矢量的数目不是等于或大于给定数目，则病灶区域确定单元1003进行到步骤S1811，以确定在代表矢量计算目标区域800中不包括病灶区域702，并且结束病灶区域确定处理。
另一方面，如果在步骤S1810中确定所保持的差矢量的数目等于或大于给定数目，则病灶区域确定单元1003进行到步骤S1812并且确定在代表矢量计算目标区域800中包括病灶区域702。
在步骤S1813中，病灶区域确定单元1003基于保持的差矢量的位置来确定正常区域701与病灶区域702之间的边界位置。然后，病灶区域确定单元1003结束病灶区域确定处理。
从上述描述中明显看出，在根据本实施方式的图像显示设备120中，代表矢量计算目标区域被划分出具有给定步长角度的扇形，以用于确定正常区域与病灶区域之间的边界位置。这使得可以类似于上述的第一实施方式确定病灶区域是存在还是不存在，并且可以达到相同的效果。
[第三实施方式]
另外，在上述的第一实施方式和第二实施方式中，为了确定正常区域701和病灶区域702之间的边界位置，通过彼此不同的方法来划分代表矢量计算目标区域800。与此相反，在第三实施方式中，根据由医师指定的肿瘤部分F的位置来切换用于划分的方法。
图19A和图19B是示出病灶区域的一个示例的图。在图19A和图19B中，图19A示出了在肿瘤周围不存在限制组织(restricting tissue)(例如肺中的隔膜和肺壁)的情况。如图19A所示，如果肿瘤周围的组织是同质均一(homogeneous)的，则病灶区域1901具有球形形状。
另一方面，图19B示出了在肿瘤周围存在限制组织1912(例如肺中的隔膜和肺壁)的情况。如图19B所示，如果从肿瘤中央点O到限制组织1912的距离等于或短于给定阈值，则病灶区域1911具有不规则形状。
适合于对具有球形形状的病灶区域1901执行在第一实施方式中所描述的病灶区域确定处理。另一方面，适合于对具有不规则形状的病灶区域1911执行在第二实施方式中所描述的病灶区域确定处理。因此，在根据本实施方式的病灶区域确定单元1003中，根据从肿瘤中央点O到限制组织1912的距离来切换要执行的病灶区域确定处理。
图20是病灶区域确定处理的第三流程图。在步骤S2001中，病灶区域确定单元1003检测影响病灶区域1911的限制组织1912(例如肺中的隔膜和肺壁)的位置。
在步骤S2002中，病灶区域确定单元1003计算从肿瘤中央点O到限制组织1912的最短距离。另外，病灶区域确定单元1003确定所计算的最短距离是否等于或短于给定阈值。
如果在步骤S2002中确定所计算的最短距离不是等于或短于给定阈值，则病灶区域确定单元1003进行到步骤S2003。在步骤S2003中，病灶区域确定单元1003执行在图15中所描述的病灶区域确定处理。
另一方面，如果在步骤S2002中确定所计算的最短距离等于或短于给定阈值，则病灶区域确定单元1003进行到步骤S2004。在步骤S2004中，病灶区域确定单元1003执行在图18中所描述的病灶区域确定处理。
从上述描述中明显看出，在根据本实施方式的图像显示设备120中，根据从肿瘤中央点到限制组织(例如肺中的隔膜和肺壁)的距离来切换要执行的病灶区域确定处理。
由此，按照根据本实施方式的图像显示设备120，可以以较高的精度确定正常区域与病灶区域之间的边界位置。
[第四实施方式]
在上述第一实施方式至第三实施方式中，执行平均处理以用于通过使用对应矢量计算代表矢量。然而，还可以执行另一种处理。例如，可以执行加权平均处理，其中以如下方式执行平均处理：将与代表矢量计算目标区域800的中心(肿瘤中央点O)相距距离短的对应矢量的权重设置得大，并且将与代表矢量计算目标区域800的中心(肿瘤中央点O)相距距离长的对应矢量的权重设置得小。
与通过仅使用在远离肿瘤的位置处的对应矢量来计算代表矢量的情况相比，这能够增强局部图像配准的精度。
此外，在上述第一实施方式至第三实施方式中，描述了对CT图像进行显示的情况。然而，可以将实施方式应用于对除CT图像之外的医学图像进行显示的情况，例如包括磁共振成像(MRI)图像。
本发明不限于上述实施方式中所描述的配置。例如，可以将在上述实施方式中所引用的配置等与另一要素相结合。关于这些点，可以在不脱离本发明的主旨的情况下进行改变，并且可以根据其应用形式适当地限定配置。
附图标记列表
100：CT图像拍摄***
110：CT设备
120：图像显示设备
130：图像数据库
140：诊断辅助单元
141：第一配准单元
142：第二配准单元
143：显示控制单元
300：并置显示屏幕
401：给定区域
402：相应区域
701：正常区域
702：病灶区域
703：肿瘤区域
810：代表矢量
1001：区域识别单元
1002：对应矢量计算单元
1003：病灶区域确定单元
1004：代表矢量计算单元
1005：位置对准单元
1200：代表矢量
1300：代表矢量

Claims (9)

1.一种图像显示方法，包括：
在显示设备上显示包括人体组织中的肿瘤部分的第一图像；
接受对所述第一图像上第一区域的指定，其中所述第一区域包括所述肿瘤部分；
从所述第一图像的区域提取第一特征点组，所述区域距所述第一区域的距离在阈值以上；
获取包括所述人体组织中的所述肿瘤部分的第二图像，所述第二图像是在与所述第一图像不同的时间捕获的；
从所述第二图像提取与所述第一特征点组对应的第二特征点组；
基于所述第一特征点组与所述第二特征点组之间的位置关系来生成变换信息，以用于执行所述第二图像与所述第一图像之间的图像配准；
通过将所述变换信息应用于所述第二图像来执行变换处理；以及
在所述显示设备上显示通过所述变换处理生成的第三图像的至少部分。
2.一种图像显示设备，包括：
指定单元，所述指定单元接受对第一图像中肿瘤部分的区域的指定；
识别单元，所述识别单元识别所述第一图像中的特征点的位置以及第二图像中的其他特征点的其他位置，所述特征点存在于与已接受指定的区域分隔开至少特征点的给定阈值的地方，并且所述其他特征点对应于所述特征点；以及
变换单元，所述变换单元通过使用所述位置与所述其他位置之间的差来变换所述第二图像。
3.根据权利要求2所述的图像显示设备，其中，所述变换单元
将所述第一图像和所述第二图像分成多个区段，将特定区段中所述第一图像与所述第二图像之间第一特征点的第一位置改变与比所述特定区段更接近所述肿瘤的另一区段中所述第一图像与所述第二图像之间第二特征点的第二位置改变进行比较，
通过使用与所述多个区段中的区段相关的第二位置改变来变换图像，在所述区段中，所述第一位置改变与所述第二位置改变之间的差等于或小于阈值，并且
关于所述多个区段中的从所述差大于所述阈值的区段起较接近所述肿瘤的区段，通过使用在较远区段中获得的在所述第一图像与所述第二图像之间第三特征点的第三位置改变来变换图像。
4.根据权利要求3所述的图像显示设备，其中，
所述多个区段是通过将区域划分出具有给定步长宽度的圆环形状或矩形框架形状而生成的，以及
所述区域在要变换的范围的边缘与所述肿瘤之间。
5.根据权利要求4所述的图像显示设备，其中，
所述多个区段是在从所述肿瘤到肺壁的距离长于给定阈值的情况下生成的。
6.根据权利要求4所述的图像显示设备，其中，
所述多个区段是通过将要变换的范围划分出具有给定步长角度的围绕所述肿瘤的扇形而生成的。
7.根据权利要求6所述的图像显示设备，其中，
所述多个区段是在从所述肿瘤到肺壁的距离等于或短于给定阈值的情况下生成的。
8.根据权利要求3所述的图像显示设备，还包括：
确定单元，所述确定单元确定所述第一位置改变与所述第二位置改变之间的差是否等于或小于所述阈值，以及
其中，所述确定单元将所述第二图像中的多个区段中的、从所述差大于所述阈值的区段起较接近所述肿瘤的区段确定为由所述肿瘤引起病灶的病灶区段。
9.根据权利要求8所述的图像显示设备，其中，所述变换单元
遮掩所述第二图像中的多个区段当中的所述病灶区段，并且
通过使用在除了遮掩区段之外的区段中获得的图像之间的特征点的位置改变来变换所述第二图像。
CN201610073021.5A 2015-02-05 2016-02-02 图像显示设备和图像显示方法 Active CN105872454B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-021388 2015-02-05
JP2015021388A JP6641696B2 (ja) 2015-02-05 2015-02-05 画像表示装置、画像表示プログラム及び画像表示方法

Publications (2)

Publication Number Publication Date
CN105872454A CN105872454A (zh) 2016-08-17
CN105872454B true CN105872454B (zh) 2019-03-15

Family

ID=56566894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610073021.5A Active CN105872454B (zh) 2015-02-05 2016-02-02 图像显示设备和图像显示方法

Country Status (3)

Country Link
US (1) US9846939B2 (zh)
JP (1) JP6641696B2 (zh)
CN (1) CN105872454B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303184B (zh) * 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
US10500418B2 (en) * 2017-01-04 2019-12-10 Varian Medical Systems International Ag System and method for patient-specific motion management for treatment
CN108078581B (zh) * 2017-12-12 2019-02-12 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别***和实现装置
CN110232686A (zh) * 2019-06-19 2019-09-13 东软医疗***股份有限公司 肺结节随访图像的获取方法、装置、ct设备和存储介质
JP2021078824A (ja) * 2019-11-20 2021-05-27 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794301A (zh) * 2005-10-27 2006-06-28 上海交通大学 手术导航中基于基准面膜的多模式医学图像配准方法
CN101038669A (zh) * 2007-04-12 2007-09-19 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
CN103202705A (zh) * 2012-01-12 2013-07-17 株式会社东芝 医用图像处理装置及医用图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04180370A (ja) * 1990-11-14 1992-06-26 Matsushita Electric Ind Co Ltd 画像の動きベクトル検出装置及び揺れ補正装置
JP2595841B2 (ja) * 1991-07-17 1997-04-02 松下電器産業株式会社 動き検出回路
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP4965179B2 (ja) * 2006-07-27 2012-07-04 イーストマン コダック カンパニー 画像処理装置
JP5269543B2 (ja) * 2008-10-22 2013-08-21 株式会社東芝 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
US8803984B2 (en) * 2010-02-10 2014-08-12 Dolby International Ab Image processing device and method for producing a restored image using a candidate point spread function
CN103702612B (zh) * 2011-07-20 2016-05-04 株式会社东芝 图像处理***、装置、方法以及医用图像诊断装置
US20140032597A1 (en) * 2012-07-26 2014-01-30 Salesforce.Com, Inc. Computer implemented methods and apparatus for processing communications in a service environment
CN105246409B (zh) * 2013-06-06 2018-07-17 株式会社日立制作所 图像处理装置及图像处理方法
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794301A (zh) * 2005-10-27 2006-06-28 上海交通大学 手术导航中基于基准面膜的多模式医学图像配准方法
CN101038669A (zh) * 2007-04-12 2007-09-19 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
CN103202705A (zh) * 2012-01-12 2013-07-17 株式会社东芝 医用图像处理装置及医用图像处理方法

Also Published As

Publication number Publication date
US9846939B2 (en) 2017-12-19
JP6641696B2 (ja) 2020-02-05
CN105872454A (zh) 2016-08-17
US20160232668A1 (en) 2016-08-11
JP2016140714A (ja) 2016-08-08

Similar Documents

Publication Publication Date Title
CN105872454B (zh) 图像显示设备和图像显示方法
US11798178B2 (en) Fluoroscopic pose estimation
Bergen et al. Stitching and surface reconstruction from endoscopic image sequences: a review of applications and methods
Rietzel et al. Deformable registration of 4D computed tomography data
CN110120095B (zh) 用于使用标准荧光镜的局部三维体积重构的***和方法
US9165362B2 (en) 3D-2D image registration for medical imaging
US9875544B2 (en) Registration of fluoroscopic images of the chest and corresponding 3D image data based on the ribs and spine
CN105074775A (zh) 医学图像的配准
JP2011502687A (ja) ３ｄ造影超音波を使用する介入ナビゲーション
US9936924B2 (en) Task-based source-detector trajectories for tomographic imaging
US20180035966A1 (en) System and method of generating and updatng a three dimensional model of a luminal network
Su et al. A fast CT and CT-fluoroscopy registration algorithm with respiratory motion compensation for image-guided lung intervention
JP2017225724A (ja) 放射線画像撮影システム
Nehmeh et al. A novel respiratory tracking system for smart‐gated PET acquisition
JP7397909B2 (ja) 肺癌放射線のためのガイダンス
JP2005021603A (ja) 放射線画像処理装置、放射線画像処理方法、コンピュータプログラムおよびその記録媒体
Wu et al. Improving image‐guided radiation therapy of lung cancer by reconstructing 4D‐CT from a single free‐breathing 3D‐CT on the treatment day
Behrens et al. Local and global panoramic imaging for fluorescence bladder endoscopy
CN115120346A (zh) 目标点定位方法、装置、电子设备及支气管镜***
JP2007029502A (ja) 位置合せ装置、位置合せ方法、およびそのプログラム
JP3888046B2 (ja) 放射線画像処理方法および放射線画像処理装置
JP2003298939A (ja) 放射線撮影装置、放射線撮影方法、放射線画像用システム、プログラム、及びコンピュータ可読記憶媒体
JP6565422B2 (ja) 画像処理プログラム、画像処理装置及び画像処理方法
Lalys et al. A hybrid image fusion system for endovascular interventions of peripheral artery disease
WO2020012785A1 (ja) 放射線治療装置および放射線治療方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant