JP6827557B2 - 医療画像処理装置 - Google Patents

医療画像処理装置 Download PDF

Info

Publication number
JP6827557B2
JP6827557B2 JP2019551032A JP2019551032A JP6827557B2 JP 6827557 B2 JP6827557 B2 JP 6827557B2 JP 2019551032 A JP2019551032 A JP 2019551032A JP 2019551032 A JP2019551032 A JP 2019551032A JP 6827557 B2 JP6827557 B2 JP 6827557B2
Authority
JP
Japan
Prior art keywords
medical image
medical
display
malignancy
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551032A
Other languages
English (en)
Other versions
JPWO2019082741A1 (ja
Inventor
麻依子 遠藤
麻依子 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019082741A1 publication Critical patent/JPWO2019082741A1/ja
Application granted granted Critical
Publication of JP6827557B2 publication Critical patent/JP6827557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042Determining blood loss or bleeding, e.g. during a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Description

本発明は、複数の医療画像を表示する医療画像処理装置に関する。
従来、医療に係る装置(以下、医療装置という)のうち、被写体像を含む画像(以下、医療画像という)を取得するものは、取得した医療画像を医師に提示する。そして、医師は、医療装置から得る医療画像を判断材料の1つとして使用して診断等をする。
具体的な検査内容等にもよるが、医療装置の多くは、1回の検査において複数の医療画像を取得する。このため、医療装置または医療装置が取得した医療画像を表示等するための装置等は、取得した複数の医療画像を配列して一覧表示することで、診断等に使用する画像を選択しやすくする。また、取得及び表示する医療画像の数が特に多い場合等においては、一覧表示をしても、診断等に使用する医療画像を迅速かつ適切に選択することが難しい場合がある。このため、複数の医療画像を一覧表示する医療装置は、複数の医療画像を単に一覧に表示するだけでなく、医師等が診断等に必要な医療画像の発見または選択等を容易にする工夫をする場合がある。
例えば、カプセル内視鏡は多数の医療画像を取得及び一覧表示する医療装置である。特許文献1に記載のカプセル内視鏡用の画像表示装置は、複数の医療画像である内視鏡画像を一覧表示する際に、これら複数の医療画像に優先度を定め、優先度の順に配列して一覧表示することを開示している。
特開2013−085593号公報
特許文献1に記載の画像表示装置は、一覧表示のための優先度を、赤色具合(赤み)、赤色の濃度、赤色の面積、または、これらの組み合わせで決定する。これは、出血の有無及び程度を鑑別するためである。しかし、出血の有無及び程度は有用な診断材料の1つであるが、出血の有無及び程度だけで一覧表示する際の優先度を決定すると、例えば出血がない病変を見落としてしまう場合がある。また、例えば、いわゆる特殊光画像等の通常とは配色が異なる医療画像を取得する場合、こうした医療画像の優先度が低く評価されると、結果として、重大な病変が含まれていても見落とされてしまう場合がある。こうしたことから、複数の医療画像を一覧表示する医療装置等においては、医師等がより迅速かつ正確に診断等に必要な医療画像を選択できる一覧表示が求められている。
本発明は、複数の医療画像を一覧表示する際に、診断等に必要な医療画像を、従来よりも迅速かつ正確に選択可能な医療画像処理装置を提供することを目的とする。
本発明の医療画像処理装置は、被写体像を含む医療画像を取得する医療画像取得部と、複数の医療画像を表示する表示部と、医療画像を用いて、異常領域を判別する異常領域判別部と、異常領域が含む異常の悪性度を鑑別する悪性度鑑別部と、表示部に複数の医療画像を表示する際に、悪性度を用いて複数の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制する表示制御部と、を備える。
悪性度鑑別部は、異常領域が含む異常の種類または異常の進行度を鑑別し、かつ、異常の種類または異常の進行度を用いて悪性度を定めることが好ましい。
異常の種類または異常の進行度と、悪性度と、を対応付ける対応関係を記憶する記憶部を備え、悪性度鑑別部は、記憶部が記憶する対応関係を用いて、異常の種類または異常の進行度から悪性度を求めることが好ましい。
対応関係は、患者ごとに、または、医師ごとに設定可能であることが好ましい。
対応関係に変更があった場合、記憶部は、変更後の対応関係を記憶することが好ましい。
表示制御部は、複数の医療画像を悪性度の順に配列することが好ましい。
表示制御部は、医療画像に強調フラグを付し、医療画像に文字を付し、医療画像の表示色を調節し、または、医療画像の表示サイズを調節することにより、複数の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制することが好ましい。
複数の医療画像が同一の異常を含む異常領域を有するか否かを判別する同一異常領域判別部を備え、同一の異常を含む異常領域を有する2以上の医療画像がある場合に、表示制御部は、悪性度と、医療画像の撮影距離と、を用いて、同一の異常を含む異常領域を有する2以上の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制することが好ましい。
表示制御部は、同一の異常を含む異常領域を有する2以上の医療画像のうち、相対的に撮影距離が近い医療画像の表示を強調または抑制することが好ましい。
表示制御部は、同一の異常を含む異常領域を有する2以上の医療画像のうち、相対的に撮影距離が遠い医療画像の表示を強調または抑制することが好ましい。
表示制御部は、同一の異常を含む異常領域を有する2以上の医療画像のうち、撮影距離が、撮影部位ごとに定める所定の撮影距離に近い医療画像を他の医療画像と比較して強調または抑制することが好ましい。
表示制御部は、複数の医療画像のうち、撮影距離が手技に応じて異なる基準撮影距離に相対的に近い1または複数の医療画像の表示を優先的に強調し、または、撮影距離が基準撮影距離から相対的に遠い1または複数の医療画像の表示を抑制することが好ましい。
本発明の医療画像処理装置は、複数の医療画像を一覧表示する際に、診断等に必要な医療画像を、従来よりも迅速かつ正確に選択可能な一覧表示をすることができる。
医療画像処理装置のブロック図である。 内視鏡装置のブロック図である。 医療画像解析処理部のブロック図である。 医療画像処理装置の作用を示すフローチャートである。 撮影の時系列順に配列する一覧表示の例である。 悪性度の順に配列する一覧表示の例である。 一部の内視鏡画像を拡大または縮小する一覧表示の例である。 一部の内視鏡画像に強調枠を付す一覧表示の例である。 一部の内視鏡画像に強調マークを付す一覧表示の例である。 一部の内視鏡画像の表示色を調節する一覧表示の例である。 第2実施形態における医療画像解析処理部のブロック図である。 第2実施形態の医療画像処理装置の作用を示すフローチャートである。 撮影距離順に配列する一覧表示の例である。 撮影距離順に一部の内視鏡画像を拡大または縮小する一覧表示の例である。 医療画像処理装置を含む内視鏡装置のブロック図である。 医療画像処理装置を含む診断支援装置の説明図である。 医療画像処理装置を含む医療業務支援装置の説明図である。
[第1実施形態]
図1に示すように、医療画像処理装置10は、医療画像取得部11、医療画像解析処理部12、表示部13、表示制御部15、入力受信部16、統括制御部17、及び、保存部18を備える。
医療画像取得部11は、医療装置である内視鏡装置21等から直接に、または、PACS(Picture Archiving and Communication System)22等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は、静止画像または動画(いわゆる検査動画)である。医療画像が動画である場合、医療画像取得部11は、検査後に、動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する1つの代表フレームの静止画像を表示することのほか、動画を1または複数回、再生することを含む。また、医療画像取得部11が取得する医療画像には、内視鏡装置21等の医療装置を用いて医師が撮影した画像の他、内視鏡装置21等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。
医療画像取得部11は、複数の医療画像を取得し得る場合、これらの医療画像のうち1または複数の医療画像を選択的に取得できる。また、医療画像取得部11は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部11は、任意に医療画像を取得できる。
本実施形態においては、医療画像処理装置10は、内視鏡装置21と接続し、内視鏡装置21から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
また、医療画像取得部11は、1または複数の撮影条件が異なる内視鏡画像(医療画像)を取得することができる。撮影条件とは、医療画像の撮影に係る条件であって、例えば、照明光のスペクトル、または、医療画像を生成する際の画像処理の有無もしくは強度、等である。照明光のスペクトルとは、波長ごとの強度分布であり、波長帯域及び中心波長の概念を含む。医療画像を生成する際の画像処理とは、例えば、特定の組織、構造、または病変を強調する色彩等の調節に係る処理等である。この他、医療画像取得部11は、表示部13への表示に使用しない内視鏡画像を1または複数取得することができる。表示に使用しない内視鏡画像は、例えば、異常領域の検出等、内視鏡画像(医療画像)の解析処理に使用する。
図2に示すように、本実施形態において医療画像処理装置10が接続する内視鏡装置21は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影する内視鏡31、内視鏡31を介して被写体内に照明光を照射する光源装置32、プロセッサ装置33、及び、内視鏡31を用いて撮影した内視鏡画像等を表示するモニタ34を有する。
内視鏡31は、被写体が反射または散乱した照明光、または、被写体もしくは被写体に投与した薬剤等が発光する蛍光、等を用いて被写体を撮影するイメージセンサ41を備える。イメージセンサ41は、例えば、CMOS(Complementary Metal?Oxide?Semiconductor)のカラーセンサ(カラーフィルタを有するセンサ)である。
光源装置32は、光源部42と、光源制御部47と、を含む。光源部42は、スペクトルが異なる複数種類の照明光を発光できる。光源部42は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)、またはキセノンランプ等の発光デバイスを備える。また、光源部42は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。本実施形態においては、光源部42は、中心波長が約405nmの紫色光を発光するV−LED43と、中心波長が約450nmの青色光を発光するB−LED44と、中心波長が約540nmの緑色光を発光するG−LED45と、中心波長が約630nmのR−LED46と、を備える。
光源制御部47は、光源部42が含む発光源を制御し、内視鏡31が被写体の撮影に使用する照明光を発生する。また、光源制御部47は、光源部42が複数の発光デバイスを含む場合、各発光デバイスの発光のタイミング及び発光量をそれぞれに制御することができる。したがって、光源装置32は、スペクトルが異なる複数種類の照明光を、任意のタイミング及び任意の強度で内視鏡31に供給できる。例えば、本実施形態においては、光源装置32は、光源制御部47が行う制御により、白色光の他、紫色光、青色光、緑色光、赤色光、または、これら各色の光のうち2以上を任意の強度比で混合した光等を、任意のタイミング及び任意の強度で照明光として発光できる。この他、光源装置32は、発光デバイスの特性により、または、光学フィルタの使用により、特定の狭い波長帯域を有する光(いわゆる狭帯域光)を照明光として発光できる。例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光を発光できる。
プロセッサ装置33は、イメージセンサ41から内視鏡画像を取得し、または、イメージセンサ41から取得した内視鏡画像に画像処理を施した内視鏡画像を生成する内視鏡画像生成部48を備える。イメージセンサ41及び内視鏡画像生成部48は、内視鏡装置21において「内視鏡画像取得部」を構成する。内視鏡画像取得部は、照明光を使用して被写体を撮影することにより、被写体像を含む内視鏡画像を取得する。医療画像処理装置10は上記プロセッサ装置33と接続する。そして、医療画像取得部11は、内視鏡装置21の内視鏡画像生成部48から直接に内視鏡画像を取得する。
医療画像解析処理部12は、医療画像取得部11が取得した医療画像である内視鏡画像(以下、単に内視鏡画像という)を用いて解析処理をする。具体的には、図3に示すように、異常領域判別部51と、悪性度鑑別部52と、記憶部53と、を含む。
異常領域判別部51は、医療画像取得部11が取得した医療画像を用いて、異常領域を判別する(以下、異常領域判別処理という)。異常領域とは、病変等の異常が認められる部分(病変部分または病変の可能性がある部分)を1または複数含む、注目すべき領域(いわゆる注目領域、関心領域、または、異常領域等と称する領域である。以下、異常領域という。)である。異常領域判別部51は、1または複数の所定の特徴量を算出し、算出した特徴量を用いて異常領域を判別する。また、異常領域判別部51は、特徴量を使用する代わりに、テクスチャ解析または規則形状を用いたパターンマッチングによって異常領域を判別することができる。
医療画像取得部11が内視鏡画像を取得する場合、異常領域とは、1または複数の病変、周辺の組織等と相違する色もしくは形状の特徴を有する領域、薬剤を散布等した領域、または、処置(生検、内視鏡的粘膜切除術(EMR(Endoscopic Mucosal Resection))、または、内視鏡的粘膜下層剥離術(ESD(Endoscopic Submucosal Dissection))等)を実施した領域、等の対象を含む領域である。医療画像が内視鏡画像である場合、病変等とは、例えば、ポリープ(***性病変)であり、より具体的には、過形成ポリープ(HP:hyperplastic polyp)、SSA/P(sessile serrated adenoma/polyp)、腺腫、癌、等である。また、周辺の組織等と相違する色もしくは形状の特徴を有する領域とは、被写体の発赤、萎縮、憩室、または、治療痕、等である。
異常領域判別処理においては、少なくとも異常領域の有無を判別する。異常領域判別処理においては、上記のほかに、異常領域の位置、大きさ、面積、または、色等を判別することができる。また、異常領域判別部51は、異常領域判別処理の結果に、各判別の確からしさを表す「確度」を含めることができる。
異常領域判別処理においては、医療画像の一部または全部について、異常領域であるか否かを判別する。すなわち、異常領域判別部51は、異常領域判別処理を、画素ごとに、内視鏡画像を小領域に分ける場合にはその小領域ごとに、または、内視鏡画像の全体に対して、行うことができる。
異常領域判別処理においては、各医療画像の1箇所または複数箇所を異常領域と判別する場合がある。異常領域判別部51は、異常領域判別処理に、1または複数の医療画像を使用することができる。異常領域判別部51は、異常領域判別処理に、表示に使用しない医療画像を使用する場合がある。異常領域判別処理においては、白色光とは異なるスペクトルを有する特殊光を使用して撮影した医療画像を用いる場合がある。
悪性度鑑別部52は、異常領域が含む異常(以下、病変等という)の悪性度を鑑別する。より具体的には、悪性度鑑別部52は、病変等の種類または病変等の進行度を鑑別し、かつ、鑑別した病変等の種類または進行度を用いて悪性度を定める。悪性度とは、病変等の診断における重要性を示す評価であって、少なくとも病変等の種類または病変等の進行度(「病変等」が治療痕等である場合には経過状況)を反映する評価である。
例えば、病変等がポリープである場合、悪性度鑑別部52は、病変等の種類として、過形成ポリープ、SSA/P、腺腫、または、癌のいずれかに鑑別する。また、病変等が癌である場合、病変等の進行度を内視鏡所見分類により鑑別する。たとえば、大腸腫瘍の場合は、内視鏡所見分類として、NICE(The Narrow-band imaging International Colorectal Endoscopic)分類、または、JNET(The Japan NBI(Narrow Band Imaging) Expert Team)分類等がある。また、病変等が炎症性腸疾患である場合においても、病変等の進行度を内視鏡所見分類により鑑別する。例えば、炎症性腸疾患の1つである潰瘍性大腸炎においては、内視鏡所見分類は、例えば、Mayo分類、または、Matts分類等がある。
悪性度鑑別部52は、1または複数の所定の特徴量を算出し、算出した特徴量を用いて、病変等の種類または進行度を鑑別する。また、悪性度鑑別部52は、特徴量を使用する代わりに、テクスチャ解析または規則形状を用いたパターンマッチングによって病変等の種類または進行度を鑑別できる。
悪性度鑑別部52は、記憶部53が記憶する対応関係54を用いて、鑑別した病変等の種類または病変等の進行度から悪性度を求める。記憶部53は、病変等の種類または病変等の進行度と、悪性度と、を対応付ける対応関係54を記憶する。対応関係54は、例えば、病変等の種類または病変等の進行度を悪性度に変換するための変換テーブル、または、病変等の種類または病変等の進行度から悪性度を求める関数のパラメータ、等である。悪性度は例えば数値であり、例えば、ポリープを判別対象とする場合、正常(ポリープがない場合)の悪性度は「0」、及び、癌の悪性度はステージに応じて「100〜200」等と求めることができる。悪性度は、病変等の種類または進行度に応じて、相対的かつ段階的に定める。このため、病変等の種類または進行度が異なれば、悪性度は異なる。
表示部13は、医療画像取得部11が取得した医療画像、及び、異常領域の判別結果等を表示するディスプレイである。また、表示部13は、医療画像取得部11が複数の医療画像を取得した場合、これら複数の医療画像を一覧表示できる。医療画像処理装置10が接続するデバイス等が含むモニタまたはディスプレイを共用し、医療画像処理装置10の表示部13として使用できる。
表示制御部15は、表示部13における医療画像及び解析結果の表示態様を制御する。具体的には、表示制御部15は、表示部13に複数の医療画像を表示する際に、悪性度を用いて複数の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制する。その結果、表示制御部15は、診断等の必要性が高い医療画像、または、診断等において重要度が高い医療画像等、優先的に診断等すべき医療画像の表示を強調する。例えば、複数の医療画像を一覧表示する場合、複数の医療画像を悪性度の順に配列することにより、表示順が早い医療画像を他の医療画像に比べて相対的に強調し、または、表示順が遅い医療画像を他の医療画像に比べて相対的に抑制する。「表示順が早い」とは、表示部13の具体的形態または設定等にも依るが、例えば、表示部13において、他の医療画像よりも上部に表示すること、または、他の医療画像よりも左側に表示すること、をいう。「表示順が遅い」とは、例えば、表示部13において、他の医療画像よりも下部に表示すること、または、他の医療画像よりも右側に表示すること、をいう。
また、表示制御部15は、医療画像に強調フラグを付し、医療画像に文字を付し、医療画像の表示色を調節し、または、医療画像の表示サイズを調節することにより、複数の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制できる。強調フラグとは、他の医療画像に対する識別性を有する符号(サイン)、シンボル、またはエンブレム等であり、例えば、強調枠57(図8参照)または強調マーク58(図9参照)等である。
強調フラグを付すことにより、強調フラグを付した医療画像を他の医療画像に対して相対的に強調できる。また、強調フラグを付さない医療画像は、強調フラグを付した医療画像に対して相対的に目立たなくなり、結果として、強調フラグを付さない医療画像の表示が抑制される。医療画像に付す「文字」は、例えば、診断等を直接的に促すメッセージ、または、その医療画像が含む異常の種類もしくは進行度等を表すことにより、間接的に診断等を促す文字列等である。また、医療画像に付す「文字」には、例えば、診断等の必要性が低いことを表すネガティブなメッセージを含む。これらのメッセージ等は、結果として、一部の医療画像の表示を強調または抑制する。表示色の調節とは、医療画像の一部または全部の色を、もとの医療画像の色から変更することをいい、医療画像の一部または全部の明るさ(明度もしくは輝度等)を一時的または継続的に変更することを含む。目立つ表示色は医療画像の表示を強調し、かつ、目立ちにくい表示色は医療画像の表示を抑制する。表示サイズの調節とは、他の医療画像に対して相対的に拡大または縮小することをいう。表示サイズの拡大は医療画像の表示を強調し、かつ、表示サイズの縮小は医療画像の表示を抑制する。
入力受信部16は、医療画像処理装置10に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。医療画像処理装置10の各部の動作はこれらの操作デバイスを用いて制御できる。
統括制御部17は、医療画像処理装置10の各部の動作を統括的に制御する。入力受信部16が操作デバイスを用いた操作入力を受信した場合には、統括制御部17は、その操作入力にしたがって医療画像処理装置10の各部を制御する。
保存部18は、医療画像処理装置10が含むメモリ等の記憶デバイス(図示しない)、または、内視鏡装置21等の医療装置もしくはPACS22が含む記憶デバイス(図示しない)に、必要に応じて異常領域の判別結果、異常領域が含む異常の種類もしくは進行度の鑑別結果、または、悪性度等を保存する。
以下、医療画像処理装置10の動作の流れを説明する。図4に示すように、医療画像取得部11は、自動的に、または、手動選択により、複数の内視鏡画像を取得する(ステップS110)。本実施形態においては、図5に示す内視鏡画像61,62,63,64,65,66,67,68,69、及び、図6に示す内視鏡画像74,81,88,91等を取得する。
医療画像取得部11が医療画像を取得すると、異常領域判別部51は、各医療画像の異常領域を判別する(ステップS111)。本実施形態においては、内視鏡画像91に異常領域X1があり(図6参照)、内視鏡画像74に異常領域X2があり(図6参照)、内視鏡画像88に異常領域X3があり(図6参照)、内視鏡画像66に異常領域X4があり(図5参照)、かつ、内視鏡画像81に異常領域X5(図6参照)がある。内視鏡画像61等、その他の医療画像においては異常領域はない。
異常領域判別部51が異常領域を判別すると、少なくとも、悪性度鑑別部52が各異常領域X1〜X5が含む異常、すなわち、各々の病変等の悪性度を鑑別する(ステップS112)。本実施形態においては、異常領域X1の悪性度が最も高く、次いで、異常領域X2、異常領域X3、異常領域X4の順に悪性度が高く、かつ、異常領域X5の悪性度は異常領域X1〜X5のなかで最も低い。
悪性度鑑別部52が悪性度を鑑別すると、表示制御部15は、医療画像取得部11が取得した医療画像のうち一部または全部を表示部13の表示画面に一覧表示し、かつ、この一覧表示の際に、悪性度を用いて医療画像を強調表示する(ステップS113)。
例えば、図5に示すように、内視鏡画像61等を撮影時刻順に一覧表示すると、撮影時刻が早い内視鏡画像61等の表示順が早くなる。したがって、医療画像取得部11が取得した内視鏡画像61等のうち、内視鏡画像66等の異常領域がある内視鏡画像の一部または全部(図6においては内視鏡画像66以外の異常領域がある内視鏡画像91等)は、例えば、スクロールバー56を用いて表示画面を遷移しなければ見つけることができない。また、スクロールバー56を用いて表示画面を遷移して、異常領域がある内視鏡画像91等を探す場合においても、異常領域を含まない内視鏡画像61等を含めて異常領域の有無を確認しなければならないので、医師等の負担になる。
一方、医療画像処理装置10においては、表示制御部15が、例えば、図6に示すように、悪性度が高い順に内視鏡画像91等を配列して一覧表示する。すなわち、表示制御部15は、撮影時刻に関わらず、異常領域がある内視鏡画像91等を異常領域を含まない内視鏡画像61等よりも優先して表示することによって強調する。これにより、医師等は、異常領域がある内視鏡画像91等を、異常領域を含まない内視鏡画像61よりも容易に見つけることができる。また、異常領域がある内視鏡画像91等の中で見ても、表示制御部15は、悪性度がより高いものを優先的に表示するので、表示制御部15が一覧表示する順に内視鏡画像91等を観察すれば、容易に診断等を行うことができる。
上記のように、医療画像処理装置10は、病変等の悪性度を用いて複数の医療画像を一覧表示するので、従来の医療画像処理装置等と比較して、診断等に必要な医療画像を、従来よりも迅速かつ正確に選択可能である。被写体の赤み等の診断における1つの判断材料にしたがって医療画像の表示順をソートするのではなく、より診断の実情に即した総合的な判断基準である「悪性度」にしたがって、悪性度が高い医療画像を見つけやすくするので、見落とし等もより確実に防止できる。
上記第1実施形態においては、表示制御部15は、表示部13に表示する医療画像を、悪性度の順にソートして一覧表示しているが、表示制御部15は、表示部13に表示する医療画像を悪性度の順にソートする代わりに、または、医療画像を悪性度の順にソートした上でさらに、医療画像を相対的に拡大または縮小することで、悪性度が高い医療画像を強調表示することができる。例えば、図7に示すように、内視鏡画像61を撮影時刻順に表示する場合に、表示制御部15は、異常領域を含まない内視鏡画像61と比べて、悪性度が高い病変等を含む内視鏡画像66を相対的に拡大することで、内視鏡画像66を強調表示することができる。こうすると、表示画面に一覧表示している内視鏡画像61等のなかでも、診断等において注目すべき内視鏡画像66を容易に見つけることができる。図7においては、図5の表示態様と比較して、異常領域X4がある内視鏡画像66を拡大し、かつ、異常領域を含まない内視鏡画像61等を縮小しているが、異常領域X4がある内視鏡画像66の拡大、または、異常領域を含まない内視鏡画像61等の縮小のうち、少なくともいずれか一方を行えば、内視鏡画像66を相対的に強調表示することができる。但し、異常領域を含む医療画像は、少なくとも異常領域を含まない医療画像よりは大きく表示する。
なお、表示制御部15は、医療画像の拡大率または縮小率を、悪性度を用いて設定することができる。例えば、悪性度が高いほど拡大率を大きく、悪性度が低いほど縮小率を大きくすれば、悪性度が高い病変等を含む医療画像ほど相対的に目立つようになるので、医師等は診断等において必要な医療画像をさらに迅速かつ正確に選択できる。
上記第1実施形態においては、表示制御部15は、表示部13に表示する医療画像を、悪性度の順にソートして一覧表示しているが、表示制御部15は、強調フラグを付して、異常領域がある内視鏡画像66等を強調表示することができる。例えば、図8に示すように、悪性度が高い病変等を含む内視鏡画像66に強調枠57を付すことで、異常領域を含まない内視鏡画像61等に対して相対的に強調することができる。また、図9に示すように、悪性度が高い病変等を含む内視鏡画像66に強調マーク58を付すことで、異常領域を含まない内視鏡画像61等に対して相対的に強調することができる。これらのように、強調フラグを付せば、表示画面に一覧表示している内視鏡画像61等のなかでも、診断等において注目すべき内視鏡画像66を容易に見つけることができる。
なお、上記強調フラグを付す強調表示は、悪性度を用いたソートもしくは悪性度を用いた相対的な拡大の代わりに、または、これらと組み合わせて行うことができる。強調枠57または強調マーク58の形状、色、太さ、または大きさ等は、悪性度を用いて設定することができる。例えば、悪性度によって強調枠57または強調マーク58の色を変えれば、強調枠57または強調マーク58の色によって悪性度を容易に判別できるので、医師等は診断等において必要な医療画像をさらに迅速かつ正確に選択できる。
上記第1実施形態においては、表示制御部15は、表示部13に表示する医療画像を、悪性度の順にソートして一覧表示しているが、表示制御部15は、表示色を調節して、異常領域がある内視鏡画像66等を強調表示することができる。図10に示すように、例えば、異常領域を含まない内視鏡画像61をグレーアウトすることで、悪性度が高い病変等を含む内視鏡画像66を相対的に強調することができる。
なお、上記表示色の調節による強調表示は、悪性度を用いたソート、悪性度を用いた相対的な拡大、もしくは、強調フラグを付す強調表示の代わりに、または、これらと組み合わせて行うことができる。また、上記変形例では、異常領域を含まない内視鏡画像61等を着色しているが、悪性度が高い病変等を含む内視鏡画像66等を着色して目立たせることによって強調することができる。もちろん、異常領域を含まない内視鏡画像61等と異常領域を含む内視鏡画像66等をそれぞれ異なる色で着色することで、悪性度が高い病変等を含む内視鏡画像66等を強調することができる。表示色の調節による強調表示をする場合、医療画像の表示色は、悪性度を用いて設定することができる。医療画像の表示色を悪性度を用いて設定すれば、医療画像の表示色によって悪性度を容易に判別できるので、医師等は診断等において必要な医療画像をさらに迅速かつ正確に選択できる。
[第2実施形態]
内視鏡装置21等の医療装置を用いて検査を行う際には、病変等の異常を、例えば撮影条件を変えて複数回撮影し、同一の異常を含む複数の医療画像を取得する場合がある。これらは同一の異常を撮影しているため、基本的に、悪性度鑑別部52が鑑別する悪性度はほぼ同一(異なっていても近い値)である。しかし、撮影条件によっては、診断における使いやすさ(病変等の観察しやすさ等)が異なるので、これらを平等に強調表示するよりも、より診断に使用しやすい医療画像を優先的に強調表示することが望ましい。
このため、本第2実施形態においては、図11に示すように、医療画像解析処理部12に、異常領域判別部51、悪性度鑑別部52、及び、記憶部53に加えて、同一異常領域判別部201を設ける。この他の構成は、第1実施形態と同様である。
同一異常領域判別部201は、医療画像取得部11が取得した複数の医療画像が同一の異常を含む異常領域を有するか否かを判別する。「同一の異常」とは、異常と判別する対象が同じ対象であることをいう。例えば、内視鏡画像66は異常領域X4を含むが、異常領域X4が含む病変等を内視鏡画像66とは異なる距離、角度、または明るさ等において撮影した内視鏡画像は、内視鏡画像66と同一の異常を含む。一方、内視鏡画像66の異常領域X4が含む病変等が癌であり、かつ、内視鏡画像91の異常領域X1が含む病変等が癌である場合であっても、異常領域X4の癌と異常領域X1の癌が腸管の異なる位置にある別個の癌である場合、これらは同じ対象を撮影したものではないから、内視鏡画像66と内視鏡画像91は同一の異常を含まない。また、同一異常領域判別部201は、医療画像を用いて算出する特徴量(色情報もしくは輝度値等)、類似度、動きの向き及び大きさを表す動きベクトル、または、比較する医療画像の撮影時刻の近さ等のうち1または複数を組み合わせて、上記同一異常領域判別処理をする。
同一の異常を含む異常領域を有する2以上の医療画像がある場合、表示制御部15は、悪性度と、医療画像の撮影距離と、を用いて、同一の異常を含む異常領域を有する2以上の医療画像のうち少なくとも一部の医療画像の表示を強調または抑制する。例えば、表示制御部15は、同一の異常を含む異常領域を有する2以上の医療画像のうち、相対的に撮影距離が近い医療画像の表示を強調または抑制し、または、同一の異常を含む異常領域を有する2以上の医療画像のうち、相対的に撮影距離が遠い医療画像の表示を強調または抑制する。より具体的には、例えば、病変等の種類または進行度によっては、表示制御部15は、同一の異常を含む異常領域を有する2以上の医療画像のうち、相対的に撮影距離が近い医療画像の表示を強調し、または、相対的に撮影距離が遠い医療画像の表示を抑制する。また、病変等の種類または進行度によっては、表示制御部15は、同一の異常を含む異常領域を有する2以上の医療画像のうち、撮影距離が、撮影部位(食道、胃、または大腸等)ごとに定める所定の撮影距離(適正な撮影距離)に近い医療画像の表示を他の医療画像の表示と比較して強調し、または、撮影距離が撮影部位ごとに定める所定の撮影距離から遠い医療画像の表示を他の医療画像の表示と比較して抑制する。
なお、撮影距離とは、内視鏡装置21の場合、内視鏡31と被写体との距離であり、かつ、内視鏡31がズーム機能を有する場合には、撮影倍率を含めた内視鏡31と被写体との実質的な距離である。表示制御部15は、医療画像の撮影距離を、医療画像のヘッダ等、PACS22、まは、内視鏡装置21等の医療画像を撮影した医療装置から取得する。
以下、同一異常領域判別部201を含む、医療画像処理装置10の動作の流れを説明する。図12に示すように、医療画像取得部11は、自動的に、または、手動選択により、複数の内視鏡画像を取得する(ステップS210)。本実施形態においては、医療画像取得部11は、少なくとも、図13に示す内視鏡画像211、内視鏡画像212、及び、内視鏡画像213を含む、複数の内視鏡画像を取得する。内視鏡画像211、内視鏡画像212、及び、内視鏡画像213は、いずれも異常領域X20を撮影した内視鏡画像である。但し、内視鏡画像211、内視鏡画像212、及び、内視鏡画像213はそれぞれ撮影距離が異なる。内視鏡画像211は、内視鏡画像212、及び、内視鏡画像213のうち、最も撮影距離が近い内視鏡画像である。内視鏡画像212は、2番目に撮影距離が近い内視鏡画像であり、かつ、内視鏡画像213は、内視鏡画像211は、内視鏡画像212、及び、内視鏡画像213のうちで最も撮影距離が遠い内視鏡画像である。
医療画像取得部11が医療画像を取得すると、異常領域判別部51は各医療画像の異常領域を判別し(ステップS211)、悪性度鑑別部52が悪性度を鑑別する(ステップS212)。その後、同一異常領域判別部201は、各医療画像が同一の異常を含む異常領域を有するか否かを判別する(ステップS213)。本実施形態においては、内視鏡画像211、内視鏡画像212、及び、内視鏡画像213は、同一の異常領域X20を含む。
表示制御部15は、悪性度と、撮影距離と、を用いて、複数の内視鏡画像を表示部13に一覧表示する(ステップS214)。例えば、図13に示すように、表示制御部15は、例えば、第1実施形態と同様に複数の内視鏡画像を悪性度の順にソートして表示する。そして、同一の異常領域X20を含む内視鏡画像211、内視鏡画像212、及び、内視鏡画像213の並び順については、同一の異常領域X20を含むために悪性度はほぼ同じであるから、これらは撮影距離が近い順に配列する。
上記のように、同一の異常領域X20を判別し、同一の異常領域X20を有する内視鏡画像211、内視鏡画像212、及び、内視鏡画像213を撮影距離の順に配列すると、病変等がほぼ同じ悪性度である場合でも、診断においてより使いやすい内視鏡画像211を相対的に強調することができる。この結果、診断等に必要な内視鏡画像を特に迅速かつ正確に選択できる。
上記第2実施形態においては、表示制御部15は、表示部13に表示する複数の内視鏡画像を悪性度及び撮影距離の順にソートして一覧表示するが、図14に示すように、表示制御部15は、悪性度及び撮影距離の順に内視鏡画像211を相対的に拡大して強調することができる。強調フラグを付して強調する場合、表示色の調節をして強調する場合も同様に、悪性度及び撮影距離を用いることができる。
なお、第2実施形態においては、表示制御部15は、複数の医療画像のうち、撮影距離が手技に応じて異なる基準撮影距離に相対的に近い1または複数の医療画像の表示を優先的に強調し、または、撮影距離が基準撮影距離から相対的に遠い1または複数の医療画像の表示を抑制することができる。手技とは、スクリーニング、診断、または、処置等である。基準撮影距離とは、表示を強調または抑制する基準とする撮影距離である。上記のように手技に応じて基準撮影距離を設定するのは、例えば、スクリーニングする際と、診断する際と、処置をする際とでは、撮影の目的が異なるので、適正な撮影距離が異なるからである。上記のように手技に応じて基準撮影距離を設定する場合、例えば、内視鏡装置21等の医療装置またはPACS22は医療画像のヘッダ等に各医療画像の撮影目的に関する情報を記録し、表示制御部15は、医療画像のヘッダ等から、その医療画像の撮影目的に関する情報を得る。そして、表示制御部15は、適正な撮影距離で撮影した医療画像を、他の医療画像と比較して強調する。こうすると、撮影目的に合致した適切な医療画像の表示を強調することができる。
上記第1実施形態、第2実施形態、及び、変形例(以下、上記実施形態等という)においては、対応関係54を予め定めているが、対応関係54は、患者ごとに、または、医師ごとに設定可能である。患者ごと、または、医師ごとに、診断の対象とする病変等が異なるからである。また、入力受信部16等を用いて、対応関係54に変更があった場合、記憶部53は、変更後の対応関係54を自動的に、または、手動による設定変更の保存操作に応じて記憶する。このため、例えば、患者ごと、または、医師ごとの対応関係54の設定を検査ごとにやり直す必要はなく、悪性度鑑別部52は、設定変更後の対応関係54を自動的に使用する。
上記実施形態等における医療画像解析処理部12を構成する各部は、機械学習またはディープラーニング等により学習した、いわゆるAI(Artificial Intelligence)プログラムを用いて構成することができる。
上記実施形態等においては、医療画像処理装置10と内視鏡装置21は別個の装置であるが、内視鏡装置21は、医療画像処理装置10を含むことができる。この場合、図15に示す内視鏡装置510のように、医療画像処理装置10を構成する各部520は、プロセッサ装置33に設ける。但し、表示部13は、内視鏡装置21のモニタ34を共用できる。また、医療画像取得部11は、イメージセンサ41及び内視鏡画像生成部48が形成する「内視鏡画像取得部」に相当する。このため、プロセッサ装置33には医療画像取得部11及び表示部13以外の各部を設ければ足りる。その他の各部の構成は、第1実施形態と同様である。また、上記各実施形態及びその他変形例の医療画像処理装置10と、図2の内視鏡装置21と、の全体で新たな内視鏡装置を構成できる。
また、図16に示すように、内視鏡装置21その他モダリティと組み合わせて使用する診断支援装置610は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。また、図17に示すように、例えば内視鏡装置21を含む、第1検査装置621、第2検査装置622、…、第N検査装置623等の各種検査装置と任意のネットワーク626を介して接続する医療業務支援装置630は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。
この他、医療画像処理装置10、及び、医療画像処理装置10を含む各種装置、及び、医療画像処理装置10の機能を内包する各種装置またはシステムは、以下の種々の変更等をして使用できる。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nmまたは610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nmまたは905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像取得部11は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡装置21については、内視鏡31としてカプセル内視鏡を使用できる。この場合、光源装置32と、プロセッサ装置33の一部と、はカプセル内視鏡に搭載できる。
上記実施形態等において、医療画像取得部11、医療画像解析処理部12(医療画像解析処理部12を構成する各部)、表示制御部15、入力受信部16、統括制御部17、並びに、内視鏡装置21の内視鏡画像生成部48等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 医療画像処理装置
11 医療画像取得部
12 医療画像解析処理部
13 表示部
15 表示制御部
16 入力受信部
17 統括制御部
18 保存部
21,510 内視鏡装置
22 PACS
31 内視鏡
32 光源装置
33 プロセッサ装置
34 モニタ
41 イメージセンサ
42 光源部
47 光源制御部
48 内視鏡画像生成部
51 異常領域判別部
52 悪性度鑑別部
53 記憶部
54 対応関係
56 スクロールバー
57 強調枠
58 強調マーク
61〜69,74,81,88,91,211〜213 内視鏡画像
201 同一異常領域判別部
520 医療画像処理装置を構成する各部
610 診断支援装置
621 第1検査装置
622 第2検査装置
623 第N検査装置
626 ネットワーク
630 医療業務支援装置
X1〜X5,X20 異常領域
S110〜S113、S210〜S214 動作のステップ

Claims (12)

  1. 被写体像を含む医療画像を取得する医療画像取得部と、
    複数の前記医療画像を表示する表示部と、
    前記医療画像を用いて、異常領域を判別する異常領域判別部と、
    前記異常領域が含む異常の悪性度を鑑別する悪性度鑑別部と、
    前記表示部に複数の前記医療画像を表示する際に、前記悪性度を用いて複数の前記医療画像のうち少なくとも一部の前記医療画像の表示を強調または抑制する表示制御部と、
    を備える医療画像処理装置。
  2. 前記悪性度鑑別部は、前記異常領域が含む異常の種類または異常の進行度を鑑別し、かつ、前記異常の種類または前記異常の進行度を用いて前記悪性度を定める請求項1に記載の医療画像処理装置。
  3. 前記異常の種類または前記異常の進行度と、前記悪性度と、を対応付ける対応関係を記憶する記憶部を備え、
    前記悪性度鑑別部は、前記記憶部が記憶する前記対応関係を用いて、前記異常の種類または前記異常の進行度から前記悪性度を求める請求項2に記載の医療画像処理装置。
  4. 前記対応関係は、患者ごとに、または、医師ごとに設定可能である請求項3に記載の医療画像処理装置。
  5. 前記対応関係に変更があった場合、前記記憶部は、変更後の前記対応関係を記憶する請求項3または4に記載の医療画像処理装置。
  6. 前記表示制御部は、複数の前記医療画像を前記悪性度の順に配列する請求項1〜5のいずれか1項に記載の医療画像処理装置。
  7. 前記表示制御部は、前記医療画像に強調フラグを付し、前記医療画像に文字を付し、前記医療画像の表示色を調節し、または、前記医療画像の表示サイズを調節することにより、複数の前記医療画像のうち少なくとも一部の前記医療画像の表示を強調または抑制する請求項1〜6のいずれか1項に記載の医療画像処理装置。
  8. 複数の前記医療画像が同一の異常を含む前記異常領域を有するか否かを判別する同一異常領域判別部を備え、
    同一の異常を含む前記異常領域を有する2以上の前記医療画像がある場合に、前記表示制御部は、前記悪性度と、前記医療画像の撮影距離と、を用いて、同一の異常を含む前記異常領域を有する2以上の前記医療画像のうち少なくとも一部の前記医療画像の表示を強調または抑制する請求項1〜7のいずれか1項に記載の医療画像処理装置。
  9. 前記表示制御部は、同一の異常を含む前記異常領域を有する2以上の前記医療画像のうち、相対的に撮影距離が近い前記医療画像の表示を強調または抑制する請求項8に記載の医療画像処理装置。
  10. 前記表示制御部は、同一の異常を含む前記異常領域を有する2以上の前記医療画像のうち、相対的に撮影距離が遠い前記医療画像の表示を強調または抑制する請求項8に記載の医療画像処理装置。
  11. 前記表示制御部は、同一の異常を含む前記異常領域を有する2以上の前記医療画像のうち、前記撮影距離が、撮影部位ごとに定める所定の撮影距離に近い前記医療画像を他の前記医療画像と比較して強調または抑制する請求項8に記載の医療画像処理装置。
  12. 前記表示制御部は、複数の前記医療画像のうち、前記撮影距離が手技に応じて異なる基準撮影距離に相対的に近い1または複数の前記医療画像の表示を優先的に強調し、または、前記撮影距離が前記基準撮影距離から相対的に遠い1または複数の前記医療画像の表示を抑制する請求項8に記載の医療画像処理装置。
JP2019551032A 2017-10-26 2018-10-16 医療画像処理装置 Active JP6827557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017207132 2017-10-26
JP2017207132 2017-10-26
PCT/JP2018/038511 WO2019082741A1 (ja) 2017-10-26 2018-10-16 医療画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019082741A1 JPWO2019082741A1 (ja) 2020-10-22
JP6827557B2 true JP6827557B2 (ja) 2021-02-10

Family

ID=66247810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551032A Active JP6827557B2 (ja) 2017-10-26 2018-10-16 医療画像処理装置

Country Status (5)

Country Link
US (1) US11132795B2 (ja)
EP (1) EP3701852B1 (ja)
JP (1) JP6827557B2 (ja)
CN (1) CN111278349B (ja)
WO (1) WO2019082741A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101898580B1 (ko) * 2018-01-22 2018-09-13 주식회사 뷰노 영상의 열람을 지원하는 방법 및 이를 이용한 장치
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020012872A1 (ja) 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
JP7216187B2 (ja) * 2019-03-08 2023-01-31 富士フイルム株式会社 医用画像処理装置及び医用画像処理装置の作動方法
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP7495511B2 (ja) 2020-09-15 2024-06-04 富士フイルム株式会社 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム
WO2022230607A1 (ja) * 2021-04-26 2022-11-03 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2023153069A1 (ja) * 2022-02-09 2023-08-17 富士フイルム株式会社 医療画像装置、内視鏡システム、及び、診断書作成システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263111B2 (ja) * 1992-01-29 2002-03-04 株式会社東芝 画像保管通信システム及びその端末装置
JP3634634B2 (ja) * 1998-07-27 2005-03-30 三洋電機株式会社 歯科診療支援装置
JP2002099896A (ja) * 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
JP2004135868A (ja) * 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
JP4868152B2 (ja) * 2004-07-30 2012-02-01 財団法人名古屋産業科学研究所 癌細胞の悪性度判定法
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
GB0521521D0 (en) * 2005-10-21 2005-11-30 Medical Res Council Diagnostic methods and kits
JP2010068865A (ja) * 2008-09-16 2010-04-02 Fujifilm Corp 画像診断装置
US20100097392A1 (en) * 2008-10-14 2010-04-22 Olympus Medical Systems Corp. Image display device, image display method, and recording medium storing image display program
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5421756B2 (ja) * 2009-12-11 2014-02-19 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP5698483B2 (ja) * 2010-09-22 2015-04-08 オリンパス株式会社 蛍光観察装置
CN103140160B (zh) * 2011-03-30 2015-06-17 奥林巴斯医疗株式会社 图像管理装置、图像管理装置的工作方法以及胶囊型内窥镜***
JP5846841B2 (ja) * 2011-10-14 2016-01-20 株式会社東芝 医用画像表示装置
CN104135908B (zh) * 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
TWI522367B (zh) * 2013-04-12 2016-02-21 Univ Chang Gung Urine biomarkers are used to predict bladder and kidney cancer
EP3037939A4 (en) * 2013-11-21 2017-05-31 Olympus Corporation Image display device
CN103654691B (zh) * 2013-12-27 2015-10-28 上海交通大学 胃肠道癌前病变无创诊查装置
RU2589652C1 (ru) * 2015-04-17 2016-07-10 Общество С Ограниченной Ответственностью "Сибнейро" (Ооо "Сибнейро") Способ предоперационного определения степени злокачественности и гистологического подтипа опухолей оболочек головного мозга
JP6461739B2 (ja) * 2015-07-28 2019-01-30 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
EP3357406A4 (en) * 2015-09-29 2018-10-10 FUJI-FILM Corporation Image processing apparatus, endoscope system, and image processing method

Also Published As

Publication number Publication date
EP3701852B1 (en) 2023-05-10
JPWO2019082741A1 (ja) 2020-10-22
EP3701852A4 (en) 2020-12-02
US20200258224A1 (en) 2020-08-13
CN111278349A (zh) 2020-06-12
EP3701852A1 (en) 2020-09-02
WO2019082741A1 (ja) 2019-05-02
CN111278349B (zh) 2023-03-24
US11132795B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6827557B2 (ja) 医療画像処理装置
JP7033146B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6920931B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
US20200184645A1 (en) Medical image processing apparatus
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112512398B (zh) 医疗图像处理装置
JP2024023832A (ja) 画像処理装置及び内視鏡システム並びに画像処理プログラム
JP6785990B2 (ja) 医療画像処理装置、及び、内視鏡装置
CN112584739B (zh) 医疗图像处理***
JP6834019B2 (ja) 医療画像処理装置、及び、内視鏡装置
WO2020184257A1 (ja) 医用画像処理装置及び方法
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210119

R150 Certificate of patent or registration of utility model

Ref document number: 6827557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250