CN112512398B - 医疗图像处理装置 - Google Patents

医疗图像处理装置 Download PDF

Info

Publication number
CN112512398B
CN112512398B CN201980050136.4A CN201980050136A CN112512398B CN 112512398 B CN112512398 B CN 112512398B CN 201980050136 A CN201980050136 A CN 201980050136A CN 112512398 B CN112512398 B CN 112512398B
Authority
CN
China
Prior art keywords
region
interest
medical image
display
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980050136.4A
Other languages
English (en)
Other versions
CN112512398A (zh
Inventor
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112512398A publication Critical patent/CN112512398A/zh
Application granted granted Critical
Publication of CN112512398B publication Critical patent/CN112512398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种能够减轻检查负荷的医疗图像处理装置。在第二区域(46)中，显示条(48)。当从未检测到关注区域的未检出状态转移到检测到关注区域的检出状态时，条(48)以最长的状态开始显示，并在从检出状态直至转移到未检出状态期间，维持以最长状态显示。另外，当从检出状态向未检出状态转移时，条(48)的长度随着时间的经过而减少，当经过了一定时间时，长度变为0而消失。此外，当在条(48)消失前已转移到检出状态时，条(48)的长度恢复到最长。

Description

医疗图像处理装置
技术领域
本发明涉及使用医疗图像的分析结果的医疗图像处理装置。
背景技术
在医疗领域中，使用内窥镜图像、X射线图像、CT(Computed Tomography)图像、以及MR(Magnetic Resonance)图像等医疗图像，进行患者的病症诊断或经过观察等图像诊断。基于这样的图像诊断，医生等进行治疗方针的决定等。
近年来，在使用了医疗图像的图像诊断中，正在通过医疗图像处理装置分析医疗图像，对脏器内的病变或肿瘤等应仔细观察的关注区域进行自动识别处理。特别是，通过进行深度学习等机器学习，从过去的医疗图像中学习有关关注区域的信息，并基于利用学习获取的信息，医疗图像处理装置识别处理关注区域的精度已大大提高。
例如，在下述专利文献1中，记载有一种当检测到关注区域时显示警报的内窥镜(医疗图像处理装置)。另外，在下述专利文献1中，记载有即使当关注区域移出到画面外时也继续显示警报的结构。
以往技术文献
专利文献
专利文献1：日本特开2011-160848号公报
发明内容
发明要解决的技术课题
但是，在专利文献1记载的装置中，存在检查负荷大这样的问题。即，在上述专利文献1记载的装置中，由于无法掌握关注区域的检测状态(是检测到关注区域的检出状态还是未检测到关注区域的未检出状态等)发生了变化以来的经过时间，所以当因关注区域移出到画面外等变为未检出状态时，无法判定为了将关注区域返回到画面内而使其为检出状态应追溯至何种程度。因此，用于将关注区域返回到画面内而使其从未检出状态返回(转移)到检出状态的负荷会变大。
本发明是鉴于上述背景而完成的，其目的在于提供一种能够减轻检查负荷的医疗图像处理装置。
用于解决技术课题的手段
为了解决上述课题，本发明的医疗图像处理装置具备：
医疗图像获取部，其获取拍摄观察对象而得到的医疗图像；
关注区域检测部，其从医疗图像中检测关注区域；以及
显示控制部，其使报知检测到关注区域的意思的报知信息及医疗图像显示于显示部，
显示控制部使用关注区域的检测状态及检测状态发生了变化以来的经过时间，使报知信息的显示方式变化。
显示控制部可以为，参照关注区域的检测状态从检测到关注区域的检出状态向未检测到关注区域的未检出状态转移以来的经过时间，使报知信息的显示方式变化。
显示控制部可以为，当关注区域的检测状态从未检测到关注区域的未检出状态转移到检测到关注区域的检出状态时，以第一显示方式使报知信息显示，当关注区域的检测状态从检出状态转移到未检出状态时，以第二显示方式使报知信息显示。
在关注区域的检测状态为检测到关注区域的检出状态下，可以使关注区域叠加于医疗图像来显示。
显示控制部可以使关注区域的检测状态从检出状态向未检出状态转移以来的经过时间作为报知信息显示。
报知信息可以为，以长度根据经过时间发生变化的圆形或直线的时间条的方式显示。
报知信息可以为，以经过时间为文字或数字的方式显示。
报知信息可以为，以根据经过时间使色调或浓淡变化的方式显示。
在显示部的画面内，可以设置有显示医疗图像的第一区域和显示报知信息的第二区域。
可以在第一区域的外周部设置有第二区域。
显示控制部可以为，在检测到关注区域的检出状态下，通过报知信息的显示方式表示医疗图像内的关注区域的检测位置。
显示控制部可以为，在未检测到关注区域的未检出状态下，通过报知信息的显示方式表示关注区域的检测位置中最新的检测位置。
显示控制部可以为，通过报知信息的显示位置表示检测位置。
发明效果
根据本发明，由于可把握关注区域的检测状态发生变化以来的经过时间，所以能够减轻检查负荷。
附图说明
图1是表示医疗图像处理装置和内窥镜装置等的框图。
图2是表示内窥镜装置的框图。
图3是表示医疗图像分析处理部的功能的框图。
图4是表示报知信息的显示方式的说明图。
图5是表示报知信息的显示方式的说明图。
图6是表示报知信息的显示方式的说明图。
图7是表示报知信息的显示方式的说明图。
图8是表示报知信息的显示方式的说明图。
图9是表示报知信息的显示方式的说明图。
图10是表示报知信息的显示方式的说明图。
图11是表示报知信息的显示方式的说明图。
图12是表示报知信息的显示方式的说明图。
图13是表示报知信息的显示方式的说明图。
图14是表示报知信息的显示方式的说明图。
图15是表示报知信息的显示方式的说明图。
图16是表示报知信息的显示方式的说明图。
图17是表示报知信息的显示方式的说明图。
图18是包括医疗图像处理装置的诊断支援装置。
图19是包括医疗图像处理装置的医疗业务支援装置。
图20是表示报知信息的显示方式的说明图。
具体实施方式
如图1所示，医疗图像处理装置10具备：医疗图像获取部11、医疗图像分析处理部12、显示部13、显示控制部15、输入接收部16、总括控制部17、及保存部18。
医疗图像获取部11从内窥镜装置21等直接、或经由PACS(Picture Archiving andCommunication System)22等管理***或者其他信息***获取包含被摄体图像的医疗图像。医疗图像是静止图像或动态图像(所谓的检查动态图像)。医疗图像为动态图像时，医疗图像获取部11可在检查后获取构成动态图像的帧图像作为静止图像。另外，医疗图像为动态图像时，在医疗图像的显示中，除了显示构成动态图像的一个代表帧的静止图像以外，还包括一次或多次回放动态图像。另外，在医疗图像获取部11获取的医疗图像中，除了医生使用内窥镜装置21等医疗装置拍摄的图像以外，还包括内窥镜装置21等医疗装置无论医生的拍摄指示如何都自动拍摄到的图像。此外，在本实施方式中，由于医疗图像处理装置10及内窥镜装置21都使用医疗图像进行图像处理，故医疗图像处理装置10及内窥镜装置21皆相当于本发明的医疗图像处理装置。
医疗图像获取部11当能够获取多个医疗图像时，可选择性地获取这些医疗图像中的一个或多个医疗图像。另外，医疗图像获取部11可获取在多个互不相同的检查中获取的多个医疗图像。例如，可获取在过去进行的检查中获取的医疗图像和在最新的检查中获取的医疗图像中的一方或两方。即，医疗图像获取部11可任意获取医疗图像。
在本实施方式中，获取多个包含被摄体图像的医疗图像。更具体而言，获取在一次特定的检查中拍摄到的医疗图像，并且，当存在多个在一次特定的检查中拍摄到的医疗图像时，获取一系列医疗图像中的多个医疗图像。另外，在本实施方式中，医疗图像处理装置10与内窥镜装置21连接，从内窥镜装置21获取医疗图像。即，在本实施方式中，医疗图像是内窥镜图像。
显示部13是显示医疗图像获取部11获取的医疗图像、及医疗图像分析处理部12的分析结果的显示器。可共用医疗图像处理装置10所连接的设备等包括的监视器或显示器，并作为医疗图像处理装置10的显示部13来使用。显示控制部15控制显示部13中的医疗图像及分析结果的显示方式。
输入接收部16接受来自连接于医疗图像处理装置10的鼠标、键盘、及其他操作设备的输入。医疗图像处理装置10的各部的动作可使用这些操作设备进行控制。
总括控制部17总括控制医疗图像处理装置10的各部的动作。在输入接收部16接收到使用了操作设备的操作输入的情况下，总括控制部17根据该操作输入控制医疗图像处理装置10的各部。
保存部18将医疗图像的静止画面等保存在医疗图像处理装置10包括的存储器等存储设备(未图示)、或内窥镜装置21等医疗装置或者PACS22包括的存储设备(未图示)中。
如图2所示，在本实施方式中，医疗图像处理装置10所连接的内窥镜装置21具有通过照射白色的波长频带的光或特定波长频带的光的至少任一种光拍摄被摄体来获取图像的内窥镜31、经由内窥镜3l将照明光照射到被摄体内的光源装置32、处理器装置33、及显示用内窥镜31拍摄到的内窥镜图像等的显示部34。内窥镜31在照明光中使用的特定波长频带的光例如为比绿色波长频带短的波长频带的光、特别是可见区域的蓝色频带或紫色频带的光。
处理器装置33具备医疗图像获取部35、医疗图像分析处理部36、及显示控制部37。医疗图像获取部35获取从内窥镜31输出的医疗图像。医疗图像分析处理部36对通过医疗图像获取部35获取的医疗图像进行分析处理。在医疗图像分析处理部36的处理内容与在医疗图像处理装置10的医疗图像分析处理部12的处理内容同样。显示控制部37将在医疗图像分析处理部36获得的医疗图像显示于显示部34。处理器装置33与医疗图像处理装置10连接。此外，显示部34等同于显示部13，医疗图像获取部35与医疗图像获取部11同样，医疗图像分析处理部36与医疗图像分析处理部12同样，显示控制部37与显示控制部15同样。
医疗图像分析处理部36使用医疗图像获取部35获取的医疗图像进行分析处理。如图3所示，医疗图像分析处理部36包括关注区域检测部41和显示方式决定部42。在关注区域检测部41，进行从医疗图像检测关注区域47(参照图4～图6、图16、图17、图20)的关注区域检测处理。作为关注区域检测处理，可以例如使用NN(Neural Network)、CNN(Convolutional Neural Network)、AdaBoost、随机森林(Random Forest)等。另外，作为关注区域检测处理，也可以基于通过医疗图像的颜色信息、像素值的梯度等获得的特征量，进行关注区域47的检测。此外，像素值的梯度等例如根据被摄体的形状(粘膜的整体起伏或局部凹陷或者***等)、颜色(炎症、出血、发红、或由于萎缩引起的白化等颜色)、组织的特征(血管的粗细、深度、密度或它们的组合等)、或结构的特征(凹坑图案等)等表现出变化。
此外，通过关注区域检测部41检测的关注区域47例如是包括以癌症为代表的病变部、良性肿瘤部、炎症部(除了所谓的炎症以外，还包括有出血或萎缩等变化的部分)、由于因加热而导致的烧伤疤或者通过着色剂、荧光药剂等的着色进行了标记的标记部、或实施了生物体检查(所谓的活检)的活检实施部的区域。即，包含病变的区域、可能发生病变的区域、进行了活检等某种处置的区域、夹子或钳子等处置器具、或暗部区域(由于是褶皱(皱纹)的背后、管腔里面而导致观察光难以到达的区域)等无论是否可能发生了病变都需要详细观察的区域等可成为关注区域47。在内窥镜装置21中，关注区域检测部41检测包括病变部、良性肿瘤部、炎症部、标记部、或活检实施部中至少任意一者的区域作为关注区域47。
显示方式决定部42决定用于报知检测到关注区域47的报知信息的显示方式、以及医疗图像43(参照图4～图17)的显示方式。显示控制部37根据所决定的显示方式将报知信息及医疗图像43显示于显示部34。
如图4～图9所示，在本实施方式中，在例如显示于显示部34的显示画面44(以下有时简称为画面)中，设置有用于显示医疗图像43的第一区域45和用于显示报知信息的第二区域46，显示方式决定部42决定在这些第一、第二区域45、46中显示的图像的显示方式。此外，图4～图9是按获取顺序排列出将随着内窥镜检查依次获取的一系列医疗图像43显示于画面内(第一区域45内)的显示画面44，图4、图5、图6表示检测到关注区域47的检出状态，图7、图8、图9表示未检测到关注区域47的未检出状态。
在第一区域45中，在检出状态下，使关注区域47叠加于医疗图像43来显示(参照图4、图5、图6)。另外，在第一区域45中，在未检出状态下，仅显示医疗图像43(参照图7、图8、图9)。
此外，在本实施方式中，通过将关注区域47以阴影叠加于医疗图像43(参照图4、图5、图6)来显示，但本发明不限定于此。可以通过对关注区域47进行着色来将其叠加于医疗图像43来显示。另外，也可以通过仅对关注区域47的轮廓进行着色强调来将其叠加于医疗图像43来显示。像这样，将关注区域47叠加于医疗图像43来显示时的显示方式可适当变更。而且，不限定于将关注区域47叠加于医疗图像43来显示的方式，例如，也可以通过用框包围关注区域47等进行强调。另外，本发明由于其主要特征存在于后述的第二区域46的显示方式(报知信息的显示方式)，所以关于第一区域45，也可以构成为，即使是检出状态也不显示或强调关注区域47，而仅显示医疗图像43。当然，也可以构成为，通过用户(进行内窥镜检查的医生等)的选择操作切换显示或强调关注区域47的状态和不显示关注区域47而仅显示医疗图像43的状态。
在第二区域46中，显示表示在检出状态下在医疗图像43中存在关注区域47的报知信息(参照图4、图5、图6)。在本实施方式中，报知信息以条48(时间条)的方式显示。在从未检出状态转移到检出状态时，该条48以最长的状态开始显示，并在从检出状态直至转移到未检出状态期间，维持以最长状态显示。另外，该条48当从检出状态向未检出状态转移时，长度随着时间的经过减少(参照图7、图8、图9)。即，在第二区域46中，在从检出状态转移到未检出状态的情况下，显示其长度随着时间的经过而减少的条48。此外，条48当向未检出状态转移以来经过了一定时间时，长度变为0而消失(变为非显示，参照图9)。另外，当在条48消失前已转移到检出状态时，条48的长度恢复到最长(参照图4、图5、图6)
如以上所示，通过基于关注区域47的检测状态及检测状态变化以来的经过时间使第二区域46的显示方式(报知信息的显示方式)变化，用户可获知是否为检出状态以及变为未检出状态以来的经过时间。由此，例如，当将移出到画面外的关注区域47再次返回到画面内等时，可凭直觉容易判定应追溯至何种程度，容易地将关注区域47返回到画面内，从而能够减轻检查的负荷。
此外，本发明不限定于上述实施方式，可对细部的结构进行适当变更。例如，在上述实施方式中，以利用直线状的条表示经过时间为例进行了说明，但也可以如图10所示，利用圆形的条49表示经过时间。
另外，也可以如图11、图12所示，以颜色(显示颜色)的变化表示经过时间。在图11、图12，在第二区域46中，设置了以不同的颜色进行了彩涂的区域50、51，在检出状态下将整个第二区域46设为区域50，当向未检出状态转移时，随着时间的经过，使区域50减少(在图11中缩短区域50的长度，在图12中减小区域50的直径)，相反通过使区域51增加来表示经过时间。当然，也可以利用颜色(显示颜色)的浓淡和/或亮度的变化表示经过时间。
而且，如图13所示，也可以利用数字表示经过时间。在图13，当从检出状态向未检出状态转移时，通过在第二区域46中进行倒计时(将第二区域46的数值每秒减少1)表示经过时间。当然，也可以利用文字表示经过时间。
而且，也可以像利用条和数值两者表示经过时间之类那样，将上述方法多个组合来表示经过时间。
另外，以通过条和/或数值等减少来表示经过时间为例进行了说明，但也可以通过条和/或数值等增加来表示经过时间。
此外，在使用了图10以后的附图进行的说明中，对与上述实施方式同样的部件赋予同样的符号并省略了说明。
另外，由于可自由设定第二区域46的位置和/或形状，所以如图14、图15所示，也可以在第一区域45的外周部设置第二区域46。此外，第一区域45的外周部也可以是第一区域45的内侧的区域。而且，在图14的例子中，将第一区域45的内侧且外缘部(在图14中用阴影表示的区域)设为第二区域46。另外，第一区域45的外周部也可以是第一区域45的外侧的区域。而且，在图15的例子中，也可以将以包围第一区域45的方式设置于第一区域45的外侧的矩形框状区域(在图15中用阴影表示的区域)设为第二区域46。当然，第一区域45的外周部也可以是跨域第一区域45的内侧的区域和第一区域45的外侧的区域双方的区域。
而且，在上述实施方式中，以通过第二区域46的显示内容报知检测到关注区域47、及未检测到关注区域47以来的经过时间为例进行了说明，但本发明不限定于此。例如，如图16、图20所示，也可以报知关注区域47的检测位置。在图16、图20的例子中，将第二区域46设置在第一区域45的外周部，并在通过利用穿过第一区域45的中心的线段将第二区域46分割成四个而形成的四个区域52～55的任一区域中显示条56，由此，报知了关注区域47的检测位置。
具体而言，在从未检出状态变为检出状态的情况下，对是否已在画面右上、画面右下、画面左上、画面左下的任一区域检测到关注区域47进行调查，当在画面右上的区域检测到关注区域47时在第二区域46中画面右上的区域52、当在画面右下的区域检测到关注区域47时在第二区域46中画面右下的区域53、当在画面左上的区域检测到关注区域47时在第二区域46中画面左上的区域54、当在画面左下的区域检测到关注区域47时在第二区域46中画面左下的区域55，以最长的状态显示条56。此外，图16、图20表示在画面右上的区域52检测到关注区域47、且在该区域52显示了条56的状态。而且，在检出状态中，也对应于关注区域47的位置的变化而使条56的显示位置(显示的区域)移动，当从检出状态转移到未检出状态时，不改变条56的显示位置(即，在与关注区域47的检测位置中最新的检测位置对应的位置(区域)显示条56)，而是随着时间的经过使条56的长度减少(例如，以使条56在第二区域46的角的部分剩余的方式将条56从其两端减少)。通过这样做，由于不但在检出状态下容易判明关注区域47的位置，而且即使在未检出状态下也最后判明检测到关注区域47的位置，所以能够更容易将关注区域47返回到画面内，从而更加减轻检查的负荷。
此外，用于报知关注区域47的检测位置的第二区域46的显示方式不限定于此。例如，在前述的图16、图20的例子中，使用根据关注区域47的位置使第二区域46内的条56的显示位置变化的例子进行了说明，但也可以根据关注区域47的位置使第二区域46本身的显示位置和/或形状变化。另外，如图17所示，对于第二区域46中与关注区域47的检测位置不同的区域，也可以显示有关关注区域47的信息。在图17的例子中，对于与关注区域47的检测位置对应的区域52例如彩涂了蓝色，对于距关注区域47的检测位置最远的区域55(未邻接于与关注区域47的检测位置对应的区域的区域55)例如彩涂了红色，对于邻接于与关注区域47的检测位置对应的区域的区域53、54例如彩涂了黄色。通过这样做，由于即使在例如着眼于远离关注区域47的区域55的周边进行了检查的情况下也判明检测到关注区域47，所以可防止漏看了关注区域47这样的问题。
另外，在上述实施方式中，使用报知检测到关注区域47、及未检测到关注区域47以来的经过时间这两者的例子进行了说明，但也可以设为仅报知未检测到关注区域47以来的经过时间的结构。该情况下，即使在从未检出状态转移到检出状态的情况下，也不在第二区域46中进行显示，而当从检出状态转移到未检出状态时，显示在上述实施方式中说明的条48等，报知成为未检出状态以来的经过时间即可(参照图7～图9)。
此外，如图18所示，与内窥镜装置21及其他医疗器械(modality)或PACS22组合使用的诊断支援装置610可包括上述实施方式及其他变形例的医疗图像处理装置10。另外，如图19所示，例如包括内窥镜装置21、经由任意的网络626与第一检查装置621、第二检查装置622、…、第N检查装置623等各种检查装置连接的医疗业务支援装置630可包括上述实施方式及其他变形例的医疗图像处理装置10。
除此以外，医疗图像处理装置10、内窥镜装置21、及包括医疗图像处理装置10的各种装置或***可进行以下的各种变更等来使用。
作为医疗图像，可使用照射白色频带的光、或照射多个波长频带的光作为白色频带的光而得到的普通光图像。
作为医疗图像，当使用照射特定波长频带的光而得到的图像时，特定波长频带可使用比白色的波长频带窄的频带。
特定波长频带例如是可见区域的蓝色频带或绿色频带。
当特定波长频带为可见区域的蓝色频带或绿色频带时，优选特定波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且，特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
特定波长频带例如是可见区域的红色频带。
当特定波长频带为可见区域的红色频带时，优选特定波长频带包括585nm以上615nm或610nm以上730nm以下的波长频带，并且，特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
特定波长频带例如包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，并且，特定波长频带的光可在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。
在特定波长频带包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带且特定波长频带的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长的情况下，优选特定波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，并且，特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
在医疗图像是拍摄生物体内而得的生物体内图像的情况下，该生物体内图像可具有生物体内的荧光物质发出的荧光的信息。
另外，荧光可利用在生物体内照射峰波长为390nm以上470nm以下的激励光而得的荧光。
在医疗图像为拍摄生物体内而得的生物体内图像的情况下，前述的特定波长频带可利用红外光的波长频带。
在医疗图像为拍摄生物体内而得的生物体内图像、且作为前述的特定波长频带利用红外光的波长频带的情况下，优选特定波长频带包括790nm以上820nm或905nm以上970nm以下的波长频带，并且，特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
医疗图像获取部11可具有特殊光图像获取部，该特殊光图像获取部基于照射白色频带的光、或照射多个波长频带的光作为白色频带的光而得的普通光图形，获取具有特定波长频带的信号的特殊光图像。该情况下，作为医疗图像可利用特殊光图像。
特定波长频带的信号可通过基于包含在普通光图像中的RGB或CMY的颜色信息的运算来获得。
可具备特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光、或照射多个波长频带的光作为白色频带的光而得的普通光图像、及照射特定波长频带的光而得的特殊光图像中的至少一方的运算，生成特征量图像的特征量图像生成部。该情况下，作为医疗图像可利用特征量图像。
对于内窥镜装置21，可使用胶囊型内窥镜作为内窥镜31。该情况下，光源装置32和处理器装置33的一部分可搭载于胶囊型内窥镜。
在上述实施方式及变形例中，医疗图像获取部11、医疗图像分析处理部12及构成医疗图像分析处理部12的各部、显示控制部15、输入接收部16、总控控制部17、以及医疗图像获取部35、医疗图像分析处理部36、显示控制部37、关注区域检测部41、显示方式决定部42之类的执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合、或CPU与GPU的组合等)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的方式。其次，有诸如以片上***(System OnChip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的***整体的功能的处理器的方式。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的方式的电路(circuitry)。
符号说明
10 医疗图像处理装置
11 医疗图像获取部
12 医疗图像分析处理部
13 显示部
15 显示控制部
16 输入接收部
17 总括控制部
18 保存部
21 内窥镜装置
22 PACS(Picture Archiving and Communication System)
31 内窥镜
32 光源装置
33 处理器装置
34 显示部
35 医疗图像获取部
36 医疗图像分析处理部
37 显示控制部
41 关注区域检测部
42 显示方式决定部
43 医疗图像
44 显示画面
45 第一区域
46 第二区域
47 关注区域
48 条
49 条
50、51 区域
52～55 区域
56 条
610 诊断支援装置
621 第一检查装置
622 第二检查装置
626 网络
630 医疗业务支援装置
623 检查装置

Claims (13)

1.一种医疗图像处理装置，其中，
具备：
医疗图像获取部，其获取拍摄观察对象而得到的医疗图像；
关注区域检测部，其从所述医疗图像中检测关注区域；以及
显示控制部，其使报知检测到所述关注区域的意思的报知信息及所述医疗图像显示于显示部，
所述显示控制部使用所述关注区域的检测状态及所述检测状态发生变化以来的经过时间，使所述报知信息的显示方式变化，
所述显示控制部参照所述关注区域的检测状态从检测到所述关注区域的检出状态向未检测到所述关注区域的未检出状态转移以来的经过时间，使所述报知信息的显示方式变化，
所述显示控制部使所述关注区域的检测状态从所述检出状态向所述未检出状态转移以来的经过时间作为所述报知信息显示于所述显示部。
2.根据权利要求1所述的医疗图像处理装置，其中，
所述显示控制部当所述关注区域的检测状态从未检测到所述关注区域的未检出状态转移到检测到所述关注区域的检出状态时，以第一显示方式使所述报知信息显示于所述显示部，当所述关注区域的检测状态从所述检出状态转移到所述未检出状态时，以第二显示方式使所述报知信息显示于所述显示部。
3.根据权利要求1所述的医疗图像处理装置，其中，
在所述关注区域的检测状态为检测到所述关注区域的检出状态下，使所述关注区域叠加于所述医疗图像来显示。
4.根据权利要求2所述的医疗图像处理装置，其中，
在所述关注区域的检测状态为检测到所述关注区域的检出状态下，使所述关注区域叠加于所述医疗图像来显示。
5.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
所述报知信息以长度根据所述经过时间发生变化的圆形或直线的时间条的方式显示。
6.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
所述报知信息以所述经过时间为文字或数字的方式显示。
7.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
所述报知信息以根据所述经过时间使色调或浓淡变化的方式显示。
8.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
在所述显示部的画面内，设置有显示所述医疗图像的第一区域和显示所述报知信息的第二区域。
9.根据权利要求8所述的医疗图像处理装置，其中，
在所述第一区域的外周部设置有所述第二区域。
10.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
在检测到所述关注区域的检出状态下，所述显示控制部通过所述报知信息的显示方式表示所述医疗图像内的所述关注区域的检测位置。
11.根据权利要求1～4中任一项所述的医疗图像处理装置，其中，
在未检测到所述关注区域的未检出状态下，所述显示控制部通过所述报知信息的显示方式表示所述关注区域的检测位置中最新的检测位置。
12.根据权利要求10所述的医疗图像处理装置，其中，
所述显示控制部通过所述报知信息的显示位置表示所述检测位置。
13.一种医疗图像处理装置，其中，
具备：
医疗图像获取部，其获取拍摄观察对象而得到的医疗图像；
关注区域检测部，其从所述医疗图像中检测关注区域；以及
显示控制部，其使报知检测到所述关注区域的意思的报知信息及所述医疗图像显示于显示部，
所述显示控制部使用所述关注区域的检测状态及所述检测状态发生变化以来的经过时间，使所述报知信息的显示方式变化，
在未检测到所述关注区域的未检出状态下，所述显示控制部通过所述报知信息的显示方式表示所述关注区域的检测位置中最新的检测位置。
CN201980050136.4A 2018-07-27 2019-06-03 医疗图像处理装置 Active CN112512398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018140953 2018-07-27
JP2018-140953 2018-07-27
PCT/JP2019/022047 WO2020021864A1 (ja) 2018-07-27 2019-06-03 医療画像処理装置

Publications (2)

Publication Number Publication Date
CN112512398A CN112512398A (zh) 2021-03-16
CN112512398B true CN112512398B (zh) 2024-03-29

Family

ID=69180889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050136.4A Active CN112512398B (zh) 2018-07-27 2019-06-03 医疗图像处理装置

Country Status (5)

Country Link
US (3) US11605363B2 (zh)
EP (2) EP4339900A3 (zh)
JP (1) JP7125987B2 (zh)
CN (1) CN112512398B (zh)
WO (1) WO2020021864A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584739B (zh) * 2018-08-20 2024-04-05 富士胶片株式会社 医疗图像处理***
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP7123173B2 (ja) * 2018-12-28 2022-08-22 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP7448923B2 (ja) 2020-03-31 2024-03-13 日本電気株式会社 情報処理装置、情報処理装置の作動方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010046525A (ja) * 2009-11-30 2010-03-04 Olympus Medical Systems Corp 画像表示装置
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
CN102247116A (zh) * 2010-04-15 2011-11-23 奥林巴斯株式会社 图像处理装置
CN102740757A (zh) * 2010-02-05 2012-10-17 奥林巴斯株式会社 图像处理装置、内窥镜***、程序以及图像处理方法
CN103156647A (zh) * 2011-12-08 2013-06-19 株式会社东芝 超声波诊断装置、图像处理装置及图像处理方法
JP2013135776A (ja) * 2011-12-28 2013-07-11 Toshiba Corp 超音波診断装置
CN106456097A (zh) * 2014-06-26 2017-02-22 株式会社日立制作所 图像处理装置以及图像处理方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8048069B2 (en) * 2006-09-29 2011-11-01 Medtronic, Inc. User interface for ablation therapy
JP6734028B2 (ja) * 2014-11-14 2020-08-05 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置及び画像生成方法
JP6418940B2 (ja) * 2014-12-25 2018-11-07 キヤノン株式会社 電子機器及びその制御方法
WO2018216617A1 (ja) 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US20180358124A1 (en) * 2017-06-09 2018-12-13 Precision Dynamics Corporation Healthcare Reminder Label System With Visual Indicator

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751680A (zh) * 2008-12-16 2010-06-23 奥林巴斯株式会社 图像处理装置以及图像处理方法
JP2010046525A (ja) * 2009-11-30 2010-03-04 Olympus Medical Systems Corp 画像表示装置
CN102740757A (zh) * 2010-02-05 2012-10-17 奥林巴斯株式会社 图像处理装置、内窥镜***、程序以及图像处理方法
CN102247116A (zh) * 2010-04-15 2011-11-23 奥林巴斯株式会社 图像处理装置
CN103156647A (zh) * 2011-12-08 2013-06-19 株式会社东芝 超声波诊断装置、图像处理装置及图像处理方法
JP2013135776A (ja) * 2011-12-28 2013-07-11 Toshiba Corp 超音波診断装置
CN106456097A (zh) * 2014-06-26 2017-02-22 株式会社日立制作所 图像处理装置以及图像处理方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
US11881190B2 (en) 2024-01-23
US20230162703A1 (en) 2023-05-25
WO2020021864A1 (ja) 2020-01-30
EP4339900A3 (en) 2024-06-19
EP3831272B1 (en) 2024-03-27
CN112512398A (zh) 2021-03-16
JPWO2020021864A1 (ja) 2021-07-01
US20240105143A1 (en) 2024-03-28
EP4339900A2 (en) 2024-03-20
US11605363B2 (en) 2023-03-14
US20210110915A1 (en) 2021-04-15
EP3831272A4 (en) 2021-11-17
JP7125987B2 (ja) 2022-08-25
EP3831272A1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
CN112512398B (zh) 医疗图像处理装置
US20210153722A1 (en) Medical image processing system
CN111050628B (zh) 医疗图像处理装置
US11436726B2 (en) Medical image processing system
US11950757B2 (en) Medical image processing apparatus
US11862327B2 (en) Medical image processing system
US11867896B2 (en) Endoscope system and medical image processing system
CN112867430B (zh) 医疗图像处理***及学习方法
CN112867430A (zh) 医疗图像处理***及学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant