JPWO2020054542A1 - 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム - Google Patents

医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム Download PDF

Info

Publication number
JPWO2020054542A1
JPWO2020054542A1 JP2020545948A JP2020545948A JPWO2020054542A1 JP WO2020054542 A1 JPWO2020054542 A1 JP WO2020054542A1 JP 2020545948 A JP2020545948 A JP 2020545948A JP 2020545948 A JP2020545948 A JP 2020545948A JP WO2020054542 A1 JPWO2020054542 A1 JP WO2020054542A1
Authority
JP
Japan
Prior art keywords
interest
region
medical image
transition time
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020545948A
Other languages
English (en)
Other versions
JP7170050B2 (ja
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020054542A1 publication Critical patent/JPWO2020054542A1/ja
Application granted granted Critical
Publication of JP7170050B2 publication Critical patent/JP7170050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)

Abstract

医療画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供する。表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、を備え、強調処理部は、注目領域の位置を第1強調レベルで強調し、かつ第1強調レベルで強調してから遷移時間経過後に第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理装置によって上記課題を解決する。

Description

本発明は医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムに係り、特に時系列画像の注目領域を報知する技術に関する。
医療分野においては、内視鏡システムを用いた検査が行われている。近年、内視鏡スコープにより撮像された内視鏡画像から病変等の注目領域を自動検出する技術が病変の見落とし防止につながるとして期待されている。
自動検出された結果の術者への報知方法として、画像中の注目領域に図形を重畳するなどして強調表示などが挙げられる。
特許文献1には、白色光の波長帯域における情報を有する通常光画像に基づき生成される表示画像の表示態様設定処理を行う際に、特定の波長帯域光画像内の画素の特徴量に基づいて注目領域を検出し、注目領域の検出結果に基づいて経過時間の設定処理を行い、経過時間が経過するまでの間、注目領域についてのアラート情報が設定された表示画像を表示する画像処理装置が開示されている。この超過時間は、通常光画像の動き量が検出され、検出された動き量が大きいほど短く設定される。
また、特許文献2には、順次入力される被検体の観察画像から注目領域を検出し、注目領域が継続して検出された場合に、注目領域の検出が開始されたタイミングから第1時間経過後に入力される被検体の観察画像に対し、注目領域に対応する位置の強調処理をする内視鏡画像処理装置が開示されている。この第1時間は、観察画像内における注目領域の位置情報、及びサイズ情報のうちの少なくとも一方に基づいて設定される。
特開2011−160848号公報 国際公開第2017/203560号
特許文献1に記載の画像処理装置は、設定された経過時間を超過するまでアラート情報が設定された表示画像を表示するため、注目領域が画面内から消えてもアラート情報が表示され続ける場合があり、このようなアラート情報は画像観察の妨げになるという問題点があった。また、動き量が大きいほど超過時間を短く設定しても、見落としやすい注目領域をより強調することはできないという問題点があった。
さらに、特許文献2に記載の内視鏡画像処理装置では、注目領域の検出直後に強調処理が行われないため、注目領域の見落としを防止することができないという課題があった。また、術者が注目領域を発見した後も強調処理が行われている可能性も高く、画像観察の妨げになるという問題点があった。
本発明はこのような事情に鑑みてなされたもので、医療画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供することを目的とする。
上記目的を達成するために医療画像処理装置の一の態様は、表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、を備え、強調処理部は、注目領域の位置を第1強調レベルで強調し、かつ第1強調レベルで強調してから遷移時間経過後に第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理装置である。
本態様によれば、注目領域の位置を第1強調レベルで強調し、遷移時間経過後に第1強調レベルよりも相対的に小さい第2強調レベルで強調するようにしたので、医療画像の観察を妨げることなく注目領域を報知することができる。
本発明によれば、医療画像の観察を妨げることなく注目領域を報知することができる。
複数の医療画像を取得する画像取得部と、医療画像から注目領域を検出する注目領域検出部と、注目領域の特徴量を算出する特徴量算出部と、を備えることが好ましい。これにより、複数の医療画像、注目領域、特徴量を適切に取得することができる。
複数の医療画像を表示部に順次表示させる表示制御部を備えることが好ましい。これにより、注目領域を強調した複数の医療画像を表示部に順次表示させることができる。
特徴量は、注目領域の視認性に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の視認性が相対的に悪いほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
特徴量は、注目領域の医療画像内における大きさに基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の医療画像内における大きさが相対的に小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
特徴量は、注目領域の医療画像内の位置に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の医療画像内の位置が周辺部に相対的に近いほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
特徴量は、注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の輝度値が小さいほど、又は注目領域の輝度値と注目領域外の輝度値との差分が小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
特徴量は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の色空間と注目領域外の色空間との差分が小さいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
特徴量は、注目領域の動き量、又は注目領域の動き方向に基づいて算出されることが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、注目領域の動き量が大きいほど遷移時間を長い時間に設定することが好ましい。これにより、遷移時間を適切に設定することができる。
遷移時間設定部は、第1強調レベルで強調してから遷移時間が経過するまでの間の注目領域の特徴量に応じて遷移時間を再設定することが好ましい。これにより、遷移時間を適切に設定することができる。
強調処理部は、第1強調レベルで強調してから遷移時間が経過するまで第1強調レベルで強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。
強調処理部は、第1強調レベルで強調してから遷移時間が経過するまで強調レベルを相対的に徐々に下げて強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。
強調処理部は、第2強調レベルで強調してから一定時間が経過すると強調を終了することが好ましい。これにより、医療画像の観察を妨げることなく注目領域を強調することができる。
強調処理部は、第2強調レベルで強調してから一定時間が経過するまで第2強調レベルで強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。
強調処理部は、第2強調レベルで強調してから一定時間が経過するまで強調レベルを相対的に徐々に下げて強調することが好ましい。これにより、注目領域の位置を適切に強調することができる。
上記目的を達成するために内視鏡システムの一の態様は、複数の医療画像を撮像する内視鏡スコープと、表示部と、上記の医療画像処理装置と、を備えた内視鏡システムである。
本態様によれば、医療画像の観察を妨げることなく注目領域を報知することができる。
上記目的を達成するために医療画像処理方法の一の態様は、表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理工程と、注目領域の特徴量に応じて遷移時間を設定する遷移時間設定工程と、を備え、強調処理工程は、注目領域の位置を第1強調レベルで強調し、かつ第1強調レベルで強調してから遷移時間経過後に第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理方法である。
本態様によれば、医療画像の観察を妨げることなく注目領域を報知することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
本発明によれば、医療画像の観察を妨げることなく注目領域を報知することができる。
図1は、内視鏡システムの全体構成を示す概略図である。 図2は、医療画像処理装置の電気的構成を示すブロック図である。 図3は、医療画像処理方法の各処理を示すフローチャートである。 図4は、強調処理工程の詳細を示すフローチャートである。 図5は、注目領域の強調レベルの遷移を示す図である。 図6は、注目領域の強調表示の遷移の一例を示す図である。 図7は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図8は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図9は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図10は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図11は、注目領域の強調レベルの連続的な遷移を示す図である。 図12は、医療画像処理方法の各処理を示すフローチャートである。 図13は、遷移時間設定工程の詳細を示すフローチャートである。 図14は、注目領域の強調レベルの遷移の一例を示す図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
<内視鏡システムの全体構成>
図1は、本実施形態に係る医療画像処理装置を含む内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、電子内視鏡である内視鏡スコープ10と、光源装置11と、内視鏡プロセッサ装置12と、表示装置13と、医療画像処理装置14と、操作部15と、表示器16と、を備える。
内視鏡スコープ10は、被写体像を含む時系列画像を取得する時系列画像取得部に相当するものであり、例えば軟性内視鏡である。この内視鏡スコープ10は、被検体内に挿入され且つ先端と基端とを有する挿入部20と、挿入部20の基端側に連設され且つ術者が把持して各種操作を行う手元操作部21と、手元操作部21に連設されたユニバーサルコード22と、を有する。
挿入部20は、全体が細径で長尺状に形成されている。挿入部20は、その基端側から先端側に向けて順に可撓性を有する軟性部25と、手元操作部21の操作により湾曲可能な湾曲部26と、不図示の撮像光学系(対物レンズ)及び撮像素子28等が内蔵される先端部27と、が連設されて構成される。
撮像素子28は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子である。撮像素子28の撮像面には、先端部27の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子28は、その撮像面に入射した被観察部位の像光を撮像(電気信号に変換)して、撮像信号を出力する。
手元操作部21には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部21には、湾曲部26の湾曲操作に用いられる2種類の湾曲操作ノブ29と、送気送水操作用の送気送水ボタン30と、吸引操作用の吸引ボタン31と、が設けられている。また、手元操作部21には、被観察部位の静止画39の撮影指示を行うための静止画撮影指示部32と、挿入部20内を挿通している処置具挿通路(不図示)内に処置具(不図示)を挿入する処置具導入口33と、が設けられている。
ユニバーサルコード22は、内視鏡スコープ10を光源装置11に接続するための接続コードである。このユニバーサルコード22は、挿入部20内を挿通しているライトガイド35、信号ケーブル36、及び流体チューブ(不図示)を内包している。また、ユニバーサルコード22の端部には、光源装置11に接続されるコネクタ37aと、このコネクタ37aから分岐され且つ内視鏡プロセッサ装置12に接続されるコネクタ37bと、が設けられている。
コネクタ37aを光源装置11に接続することで、ライトガイド35及び流体チューブ(不図示)が光源装置11に挿入される。これにより、ライトガイド35及び流体チューブ(不図示)を介して、光源装置11から内視鏡スコープ10に対して必要な照明光と水と気体とが供給される。その結果、先端部27の先端面の照明窓(不図示)から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン30の押下操作に応じて、先端部27の先端面の送気送水ノズル(不図示)から先端面の観察窓(不図示)に向けて気体又は水が噴射される。
コネクタ37bを内視鏡プロセッサ装置12に接続することで、信号ケーブル36と内視鏡プロセッサ装置12とが電気的に接続される。これにより、信号ケーブル36を介して、内視鏡スコープ10の撮像素子28から内視鏡プロセッサ装置12へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置12から内視鏡スコープ10へ制御信号が出力される。
光源装置11は、コネクタ37aを介して、内視鏡スコープ10のライトガイド35へ照明光を供給する。照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。
内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して、内視鏡スコープ10の動作を制御する。また、内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して内視鏡スコープ10の撮像素子28から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像38a(図2参照)からなる時系列画像(複数の医療画像の一例)である動画38を生成する。動画38のフレームレートは、例えば30fps(frame per second)である。
更に、内視鏡プロセッサ装置12は、内視鏡スコープ10の手元操作部21にて静止画撮影指示部32が操作された場合、動画38の生成と並行して、動画38中の1枚のフレーム画像38aを撮影指示のタイミングに応じて取得し、静止画39とする。
動画38及び静止画39は、被検体内、即ち生体内を撮像した医療画像である。更に動画38及び静止画39が、上述の特定の波長帯域の光(特殊光)により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置12は、生成した動画38及び静止画39を、表示装置13と医療画像処理装置14とにそれぞれ出力する。
尚、内視鏡プロセッサ装置12は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成(取得)してもよい。この場合、内視鏡プロセッサ装置12は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置12は、特定の波長帯域の信号を、通常光画像に含まれる赤(Red)、緑(Green)、及び青(Blue)のRGB色情報あるいはシアン(Cyan)、マゼンタ(Magenta)、及びイエロー(Yellow)のCMY色情報に基づく演算を行うことで得る。
また、内視鏡プロセッサ装置12は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光(特殊光)により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置12は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画38又は静止画39は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
表示装置13は、内視鏡プロセッサ装置12に接続されており、この内視鏡プロセッサ装置12から入力された動画38及び静止画39を表示する。術者(医師)は、表示装置13に表示される動画38を確認しながら、挿入部20の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部32を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
<医療画像処理装置の構成>
医療画像処理装置14は、主として時系列画像に含まれる注目領域を術者に報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部15は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器16(表示部の一例)はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
図2は、医療画像処理装置14の電気的構成を示すブロック図である。図2に示す医療画像処理装置14は、主として時系列画像取得部40と、注目領域検出部41と、注目領域情報取得部42と、座標算出部43と、制御部44と、表示制御部45と、遷移時間設定部46と、記憶部47と、から構成されている。
制御部44は、記憶部47に記憶されたプログラム(医療画像処理プログラム)51に基づき、時系列画像取得部40、注目領域検出部41、注目領域情報取得部42、座標算出部43、表示制御部45、及び遷移時間設定部46を統括制御し、また、これらの各部の一部として機能する。
記憶部47は、注目領域検出部41による検出結果を記憶し、また、撮像された静止画39を記憶するとともに、報知情報を構成する図形を記憶する図形記憶部50、プログラム51及び医療画像処理装置14の各種制御に係る情報等を記憶する部分である。
時系列画像取得部40は、内視鏡プロセッサ装置12(図1)に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置12から被写体像を含む時系列のフレーム画像38aからなる動画38(本例では、内視鏡スコープ10により撮像される動画38)を取得する。また、内視鏡スコープ10にて動画38の撮像途中に既述の静止画39の撮像が行われた場合、時系列画像取得部40は、内視鏡プロセッサ装置12から動画38及び静止画39を取得する。
尚、時系列画像取得部40は、内視鏡プロセッサ装置12から動画38を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画38を取得してもよい。また、時系列画像取得部40は、インターネット上のサーバ或いはデータベース等にアップロードされた動画38をインターネット経由で取得してもよい。
注目領域検出部41は、体腔の観察中に撮像された動画38から注目領域を検出する部分である。注目領域検出部41は、動画38の各フレーム画像38a(又は間引かれた一定間隔のフレーム画像38a)の特徴量(画像特徴量の一例)を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。注目領域検出部41は、算出された特徴量を用いて画像内の病変等の注目領域を検出する。
注目領域の例としては、ポリープ、癌、大腸憩室、炎症、EMR(Endoscopic Mucosal Resection)瘢痕、ESD(Endoscopic Submucosal Dissection)瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具などがある。
注目領域検出部41は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
尚、注目領域検出部41は、CNNにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
注目領域情報取得部42は、注目領域検出部41により注目領域が検出された場合、注目領域検出部41から注目領域を示す注目領域情報を取得する。注目領域情報は、例えば画像内の注目領域の輪郭の座標情報、及び注目領域の特徴量とすることができる。
座標算出部43は、注目領域情報取得部42から注目領域情報を取得し、取得した注目領域情報に基づいて動画38における注目領域の位置を示す1つ以上の注目座標を算出する。座標算出部43は、例えば注目領域を囲む多角形又は円の輪郭線上の1つ以上の注目座標を算出する。多角形の頂点の座標、又は多角形の辺の中点の座標を注目座標として算出してもよいし、円の円周を複数に等分割する点の座標を注目座標として算出してもよい。
遷移時間設定部46は、注目領域情報取得部42から注目領域の特徴量を取得し、取得した特徴量に応じて強調処理の遷移時間を設定する。
表示制御部45は、画像表示制御部45A及び報知情報表示制御部45Bを備えている。画像表示制御部45Aは、時系列画像取得部40が取得した動画38を表示器16に出力し、表示器16に動画38を表示させる。即ち、表示器16には、複数のフレーム画像38aが順次表示される。
報知情報表示制御部45Bは、座標算出部43により算出された注目座標に基づいて、かつ遷移時間設定部46により設定された遷移時間に基づいて、注目領域を報知する図形からなる報知情報を表示器16に出力する。これにより、表示器16に表示される動画38に遷移時間に応じて報知情報が重畳され、報知情報により注目領域の位置が強調される。報知情報表示制御部45Bは、複数の注目座標と同数の複数の図形を重畳させてもよいし、複数の注目座標を直線で結んだ矩形又は円形の図形を重畳させてもよい。
<医療画像処理方法:第1の実施形態>
内視鏡システム9を用いた医療画像処理方法について説明する。図3は、第1の実施形態に係る医療画像処理方法の各処理を示すフローチャートである。医療画像処理方法は、画像取得工程(ステップS1)と、注目領域検出工程(ステップS2)と、特徴量算出工程(ステップS4)と、遷移時間設定工程(ステップS5)と、強調処理工程(ステップS6)と、を含む。
ステップS1では、時系列画像取得部40は、内視鏡スコープ10により撮像される動画38のフレーム画像38aを取得する。
ステップS2では、注目領域検出部41は、ステップS1で取得したフレーム画像38aから注目領域を検出する。
ステップS3では、注目領域情報取得部42は、ステップS2で新たな注目領域を検出したか否かを判定する。即ち、注目領域情報取得部42は、ステップS2で検出された注目領域が、前回のフレーム画像38aにおいて検出された注目領域が今回のフレーム画像38aにおいて引き続き検出された注目領域であるか、又は前回のフレーム画像38aでは検出されていなかった新たな注目領域であるかを判定する。ステップS2で新たな注目領域が検出された場合は、ステップS4へ移行する。ステップS2で検出された注目領域が新たな注目領域でない場合、又は注目領域が検出されていない場合は、ステップS6へ移行する。
ステップS4では、注目領域情報取得部42(特徴量算出部の一例)は、注目領域検出部41が検出した新たな注目領域の特徴量を算出する。特徴量は、注目領域の視認性に基づいて算出される。
ステップS5では、遷移時間設定部46は、ステップS4で算出した特徴量に応じて新たな注目領域の遷移時間Taを設定する。遷移時間Taは、注目領域の視認性が相対的に悪いほど長い時間に設定される。
遷移時間設定部46は、設定した遷移時間Taを新たな注目領域に紐付けて不図示のメモリに記憶する。また、遷移時間設定部46は、不図示の計時部により新たな注目領域が最初に検出された時刻tfを取得し、取得した時刻tfを新たな注目領域に紐付けて不図示のメモリに記憶する。
ステップS6では、医療画像処理装置14は、時系列画像に含まれる注目領域の位置を強調する。即ち、画像表示制御部45Aは、表示器16にフレーム画像38aを表示させる。また、報知情報表示制御部45Bは、表示器16に表示されるフレーム画像38aのステップS2で検出された注目領域の位置に図形からなる報知情報を重畳させる。
ここでは、画像表示制御部45Aは、ステップS2で注目領域を検出したフレーム画像38aを表示させる。ステップS3〜ステップS6の処理時間が長くなる場合には、画像表示制御部45Aは、ステップS2で注目領域を検出したフレーム画像38aより後のフレーム画像38aに報知情報を重畳してもよい。
また、病変が検出された直後は画面の動きが大きい場合が多く、見落とし防止のためにはより強いレベルの強調表示が必要となる。一方で、検出から特定タイミングが経過してユーザが注目領域を発見した後は、強調表示を行うことは観察の妨げになるため好ましくない。したがって、ステップS6では、報知情報表示制御部45B(強調処理部の一例)は、注目領域の位置を第1強調レベルで強調し、かつ第1強調レベルで強調してから遷移時間経過後に第1強調レベルよりも相対的に小さい第2強調レベルで強調する。この強調処理の詳細については後述する。
続くステップS7では、制御部44は、内視鏡検査の終了を判定する。検査が終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップS1に戻り同様の処理を繰り返す。
〔強調処理工程〕
図4は、強調処理工程(ステップS6)の詳細を示すフローチャートである。
ステップS11では、報知情報表示制御部45Bは、ステップS2で検出された注目領域の中から1つの注目領域を選択する。
ステップS12では、報知情報表示制御部45Bは、ステップS11で選択した注目領域が最初に検出されてから、遷移時間Taが経過したか否かを判定する。
即ち、報知情報表示制御部45Bは、ステップS11で選択した注目領域に紐付けられた遷移時間Ta、及びステップS11で選択した注目領域が最初に検出された時刻tfを、不図示のメモリから読み出す。また、報知情報表示制御部45Bは、不図示の計時部から現在の時刻tcを読み出す。そして、報知情報表示制御部45Bは、ステップS11で選択した注目領域が最初に検出されてからの経過時間Tp=tc−tfを算出し、経過時間Tpと遷移時間Taとを比較する。
注目領域が最初に検出されてからの時間が遷移時間Taを経過していない場合は、ステップS13へ移行する。ステップS13では、報知情報表示制御部45Bは、ステップS11で選択した注目領域を第1強調レベルLV1で強調する。このように、検出直後は相対的に大きい強調レベルである第1強調レベルLV1で強調するため、術者による注目領域の見落としを防止することができる。
注目領域が最初に検出されてからの時間が遷移時間Taを経過している場合は、ステップS14へ移行する。ステップS14では、報知情報表示制御部45Bは、ステップS11で選択した注目領域が最初に検出されてから、終了時間Teが経過したか否かを判定する。ここでは、終了時間Te=遷移時間Ta+一定時間Tbとし、報知情報表示制御部45Bは、経過時間Tpと終了時間Teとを比較する。一定時間Tbは、予め不図示のメモリに記憶されている。一定時間Tbを遷移時間Taと同じ時間にしてもよい。
注目領域が最初に検出されてからの時間が終了時間Teを経過していない場合は、ステップS15へ移行する。ステップS15では、報知情報表示制御部45Bは、ステップS11で選択した注目領域を第2強調レベルLV2で強調する。第2強調レベルLV2は、第1強調レベルLV1よりも相対的に小さい強調レベルである。
このように、遷移時間Taの経過後は相対的に小さい強調レベルである第2強調レベルLV2で強調するため、適切な強調表示を行うことができる。
注目領域が最初に検出されてからの時間が終了時間Teを経過している場合は、ステップS16へ移行する。ステップS16では、報知情報表示制御部45Bは、ステップS11で選択した注目領域の強調を終了する。即ち、報知情報表示制御部45Bは、ステップS11で選択した注目領域について、終了時間Teを経過した後は強調しない。
このように、終了時間Teの経過後は強調処理を行わないことで、術者が発見した注目領域について観察の妨げになることがない。
続くステップS17では、報知情報表示制御部45Bは、ステップS2において検出された全ての注目領域について強調処理が終了したか否かを判定する。全ての注目領域について強調処理を終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップS1に戻って異なる注目領域を選択し、同様の処理を繰り返す。
なお、一度検出されて遷移時間Taが設定された検出領域であっても、ステップS2で検出されなかった注目領域はステップS11で選択されない。即ち、ステップS2で検出されなかった注目領域は、設定された遷移時間Taにかかわらず強調処理は行われない。したがって、画面内から消滅した注目領域には強調処理は行われず、術者による動画の観察が不要な強調処理によって阻害されることはない。また、見落としやすい注目領域をより強調することができる。
〔強調処理の表示例〕
図5は、注目領域の強調レベルの遷移の一例を示す図である。図5に示す例では、時刻t1は注目領域が検出された時刻である。また、時刻t2は時刻t1から遷移時間Taが経過した時刻である。更に、時刻t3は時刻t1から終了時間Te(=Ta+Tb)が経過した時刻である。
また、図6は、注目領域の強調表示の遷移の一例を示す図である。図6のF6Aは、時刻t1から時刻t2までの間に表示器16に表示される画像の一例を示している。F6Aに示すように、時刻t1から時刻t2までの間は、時刻t1において新たに検出された注目領域R1が、矩形の図形F1によって囲まれることで強調されている。この例では、図形F1は、第1強調レベルLV1の色を有しており、注目領域R1の位置が図形F1により第1強調レベルLV1で強調される。このように、新たに検出された注目領域R1が第1強調レベルLV1で強調されることで、術者による注目領域の見落としを防止することができる。
図6のF6Bは、時刻t2から時刻t3までの間に表示器16に表示される画像の一例を示している。F6Bに示すように、時刻t2から時刻t3までの間は、時刻t1から引き続き検出されている注目領域R1が、矩形の図形F2によって囲まれることで強調されている。図形F2は、第2強調レベルLV2の色を有しており、注目領域R1の位置が図形F2により第2強調レベルLV2で強調される。
遷移時間Taの経過後は、注目領域R1の報知(強調)の必要性が低くなる。したがって、遷移時間Taの経過後は、第1強調レベルLV1よりも強調レベルの小さい第2強調レベルLV2で注目領域R1を強調することで、場面ごとに適切な強調表示を行うことができる。
また、遷移時間Taを注目領域の特性に応じて設定することで、注目領域ごとの最適な時間で強調表示を切り替えることが可能になる。ここでは、注目領域の視認性を評価して視認性が悪い場合ほど遷移時間を長く設定した。視認性の悪い場合ほど術者による発見が遅れる可能性が高いため、より長く第1強調レベルLV1での表示を行うことで、見落とし防止に貢献できる。逆に、視認性の高い病変は術者にとって発見容易であるので、短時間で第1強調レベルLV1での表示から第2強調レベルLV2の強調に切り替えることで、術者の観察への悪影響を小さくすることができる。
図6のF6Cは、時刻t3以降に表示器16に表示される画像の一例を示している。F6Cに示すように、時刻t3以降は注目領域R1が強調されていない。終了時間Teの経過後は、注目領域R1の報知の必要性は無いと考えられる。したがって、注目領域R1が強調されないことで、術者による動画の観察が阻害されることを防止することができる。
〔強調レベル変更のバリエーション〕
図6に示した例では、重畳表示する図形の色を変更することで第1強調レベルLV1での強調及び第2強調レベルLV2での強調を行ったが、強調レベルの変更は以下の態様も可能である。
図7は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。図7のF7Aでは、注目領域R2が矩形の図形F11によって囲まれることで強調されている。図形F11は、第1強調レベルLV1の濃度を有しており、注目領域R2の位置が図形F11により第1強調レベルLV1で強調される。また、図7のF7Bでは、注目領域R2が矩形の図形F12によって囲まれることで強調されている。図形F12は、第2強調レベルLV2の濃度を有しており、注目領域R2の位置が図形F12により第2強調レベルLV2で強調される。このように、図形F11と図形F12を用いて強調することで、強調レベルを変更することができる。
図8は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。図8のF8Aでは、注目領域R3が矩形の図形F21によって囲まれることで強調されている。図形F21は、第1強調レベルLV1の線の太さを有しており、注目領域R3の位置が図形F21により第1強調レベルLV1で強調される。また、図8のF8Bでは、注目領域R3が矩形の図形F22によって囲まれることで強調されている。図形F22は、第2強調レベルLV2の線の太さを有しており、注目領域R3の位置が図形F22により第2強調レベルLV2で強調される。このように、図形F21と図形F22を用いて強調することで、強調レベルを変更することができる。
図9は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。図9のF9Aでは、注目領域R4が実線の矩形の図形F31によって囲まれることで強調されている。図形F31は、第1強調レベルLV1の形状を有しており、注目領域R4の位置が図形F31により第1強調レベルLV1で強調される。また、図9のF9B1では、注目領域R4が破線の矩形の図形F32によって囲まれることで強調されている。図形F32は、第2強調レベルLV2の形状を有しており、注目領域R4の位置が図形F32により第2強調レベルLV2で強調される。このように、図形F31と図形F32を用いて強調することで、強調レベルを変更することができる。
また、図9のF9B2では、注目領域R4が矢印型の図形F33によって指し示されることで強調されている。図形F33は、第2強調レベルLV2の形状を有しており、注目領域R4の位置が図形F33により第2強調レベルLV2で強調される。したがって、図形F31と図形F33を用いて強調することで、強調レベルを変更することができる。
図10は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。ここでは、図形を注目領域に重畳させている。図10のF10Aでは、注目領域R5が図形F41によって重畳されることで強調されている。図形F41は、第1強調レベルLV1の濃度を有しており、注目領域R5の位置が図形F41により第1強調レベルLV1で強調される。また、図10のF10Bでは、注目領域R5が図形F42によって重畳されることで強調されている。図形F42は、第2強調レベルLV2の濃度を有しており、注目領域R5の位置が図形F42により第2強調レベルLV2で強調される。このように、図形F41と図形F42を用いて強調することで、強調レベルを変更することができる。
色、濃度、線の太さ、形状のうち複数を変更してもよいし、図6〜図10に示した第1強調レベルLV1の図形と第2強調レベルLV2の図形とを、適宜組み合わせて使用することも可能である。
図5に示す例では、強調レベルを段階的に変更していたが、強調レベルを連続的に変更してもよい。図11は、注目領域の強調レベルの連続的な遷移を示す図である。時刻t1、t2、及びt3は、図5と同様の時刻である。
図11に示す例では、第1強調レベルで強調してから遷移時間Taが経過するまで(時刻t1から時刻t2まで)強調レベルを相対的に徐々に下げて強調し、第2強調レベルLV2で強調してから一定時間Tbが経過するまで(時刻t2から時刻t3まで)強調レベルを相対的に徐々に下げて強調している。このように強調レベルを変更してもよい。
なお、時刻t1から時刻t2までは強調レベルを相対的に徐々に下げて強調し、時刻t2から時刻t3までは第2強調レベルLV2で強調してもよいし、時刻t1から時刻t2までは第1強調レベルLV1で強調し、時刻t2から時刻t3までは強調レベルを相対的に徐々に下げて強調してもよい。
〔特徴量と遷移時間〕
本実施形態では、注目領域情報取得部42は、注目領域の視認性に基づいて特徴量を算出し、遷移時間設定部46は、視認性が相対的に悪いほど長い時間に遷移時間Taを設定したが、注目領域の他の特性に基づいて特徴量を算出し、遷移時間を設定してもよい。
例えば、特徴量は、注目領域の画像内における大きさに基づいて算出されてもよい。この場合、遷移時間は注目領域の画像内における大きさに基づいて設定される。注目領域が小さいほど術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域が相対的に小さいほど、遷移時間Taが長い時間に設定されることが好ましい。
特徴量は、注目領域の画像内における位置に基づいて算出されてもよい。この場合、遷移時間は注目領域の画像内における位置に基づいて設定される。注目領域の位置が画像の端(周辺部)に近いほど術者の注意が薄く、注目領域が画像の外側に外れやすいため、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の位置が画像の周辺部に相対的に近いほど、遷移時間Taが長い時間に設定されることが好ましい。
また、特徴量は、注目領域の輝度値、又は注目領域と注目領域外の輝度値の差分に基づいて算出されてもよい。この場合、遷移時間は注目領域の輝度値、又は注目領域と注目領域外の輝度値の差分に基づいて設定される。注目領域が暗い、又は周囲との輝度値の差分が小さいほど術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の輝度値が相対的に小さいほど、又は注目領域と注目領域外の輝度値の差分が相対的に小さいほど、遷移時間Taが長い時間に設定されることが好ましい。注目領域の輝度値、及び注目領域外の輝度値は、輝度値の平均値、又は中央値等の統計的な指標に基づいて算出することができる。
また、特徴量は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分(色空間における距離)に基づいて算出されてもよい。この場合、遷移時間は注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分(色空間における距離)に基づいて設定される。注目領域の彩度(色情報の一例)が低い、又は周囲との色差が小さいほど、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の彩度が相対的に低いほど、又は注目領域の彩度と注目領域外の彩度との差分が相対的に小さいほど、遷移時間Taが長い時間に設定されることが好ましい。
更に、特徴量は、注目領域の動き量、又は注目領域の動き方向に基づいて算出されてもよい。この場合、遷移時間は注目領域の動き量、又は注目領域の動き方向に基づいて設定される。注目領域の動き量が大きいほど、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の動き量が大きいほど、遷移時間Taが長い時間に設定されることが好ましい。また、注目領域の動き方向が画面の端に向かう方向の場合は、術者による注目領域の発見が遅れる可能性が高い。したがって、注目領域の動き方向が画面の端に向かう方向である場合は、画面の中央に向かう方向である場合よりも、遷移時間Taが相対的に長い時間に設定されることが好ましい。
<第2の実施形態>
第1の実施形態では、新たな注目領域が検出されると、その注目領域の特徴量を算出し、算出した特徴量に応じてその注目領域の遷移時間Taを設定していた。したがって、遷移時間Taは検出された時点で決定しており、その後の内視鏡スコープ10の移動等による注目領域の変化には対応していない。これに対し、第2の実施形態では、注目領域の特徴量に応じて遷移時間を再設定する。
第2の実施形態に係る医療画像処理方法について説明する。図12は、第2の実施形態に係る医療画像処理方法の各処理を示すフローチャートである。なお、図3に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
第2の実施形態に係る医療画像処理方法は、遷移時間設定工程(ステップS5)と強調処理工程(ステップS6)との間に、遷移時間再設定工程(ステップS21)を含んでいる。
〔遷移時間再設定工程〕
図13は、遷移時間設定工程(ステップS21)の詳細を示すフローチャートである。
ステップS31では、遷移時間設定部46は、ステップS2で検出された注目領域の中から1つの注目領域を選択する。
ステップS32では、遷移時間設定部46は、ステップS31で選択した注目領域が最初に検出されてから、再評価時間Trが経過したか否かを判定する。
即ち、遷移時間設定部46は、予め設定された再評価時間Tr、及びステップS31で選択した注目領域が最初に検出された時刻tfを、不図示のメモリから読み出す。また、遷移時間設定部46は、不図示の計時部から現在の時刻tcを読み出す。そして、遷移時間設定部46は、ステップS31で選択した注目領域が最初に検出されてからの経過時間Tp=tc−tfを算出し、経過時間Tpと再評価時間Trとを比較する。
再評価時間Trを経過していない場合は、ステップS35へ移行する。一方、再評価時間Trを経過している場合は、ステップS33へ移行する。ステップS33では、注目領域情報取得部42は、ステップS31で選択した注目領域の特徴量を算出する。特徴量は、例えば注目領域の視認性に基づいて算出される。なお、特徴量は、注目領域の他の特性に基づいて算出されてもよい。
続くステップS34では、遷移時間設定部46は、ステップS33で再算出した特徴量に応じてステップS31で選択した注目領域の遷移時間を再設定する。再設定された遷移時間をTarとする。遷移時間Tarは、例えば注目領域の視認性が相対的に悪いほど長い時間に設定される。
遷移時間設定部46は、再設定した遷移時間TarをステップS31で選択した注目領域に紐付けて不図示のメモリに記憶する。
ステップS35では、遷移時間設定部46は、ステップS2において検出された全ての注目領域について強調処理が終了したか否かを判定する。全ての注目領域について強調処理を終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップS31に戻って異なる注目領域を選択し、同様の処理を繰り返す。
以上のように、遷移時間が再設定される。ステップS6の強調処理工程では、再設定された遷移時間Tarに基づいて強調処理を行う。
図14は、本実施形態における注目領域の強調レベルの遷移の一例を示す図である。時刻t1は注目領域が検出された時刻である。また、時刻t2は時刻t1から最初に設定された遷移時間Taが経過する時刻である。
時刻t4は、時刻t1から再評価時間Trが経過した時刻である。ここでは、時刻t4において遷移時間Tarが再設定されている。時刻t5は、時刻t1から再設定された遷移時間Tarが経過した時刻である。
このように、図14に示す例では、再設定された遷移時間Tarは当初の遷移時間Taよりも短い時間である。時刻t4における注目領域の特徴量によっては、再設定された遷移時間Tarが当初の遷移時間Taよりも長い時間の場合もある。
本実施形態によれば、注目領域の特徴量が時間的に変動しても遷移時間を適切に設定することができる。例えば注目領域が検出されたタイミングでは注目領域の画像内のサイズが小さい場合でも、その後の術者による内視鏡スコープ10の操作によって注目領域の画像内のサイズが大きくなることは多々ある。このような場合、検出されたタイミングで設定された比較的長い遷移時間は不適切となってしまう問題がある。
本実施形態によれば、注目領域の特徴量の再評価によって遷移時間が短く再設定されるので、このような問題を解決できる。逆に、注目領域が検出されたタイミングでは視認性が良く、何等かの要因で視認性が悪化した場合には、遷移時間を長く再設定することができる。この特徴量の再評価は1度だけである必要はなく、一定時間間隔で何度も行ってもよいし、毎フレーム行ってもよい。
なお、遷移時間再設定工程において、遷移時間設定部46は注目領域の特徴量に基づいて一定時間Tbを再設定してもよい。
<その他>
上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD−ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、内視鏡プロセッサ装置12及び医療画像処理装置14は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置12及び医療画像処理装置14を一体の装置として構成し、医療画像処理装置14の機能を有する内視鏡プロセッサ装置12としてもよい。
また、内視鏡プロセッサ装置12及び医療画像処理装置14の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
9…内視鏡システム
10…内視鏡スコープ
11…光源装置
12…内視鏡プロセッサ装置
13…表示装置
14…医療画像処理装置
15…操作部
16…表示器
20…挿入部
21…手元操作部
22…ユニバーサルコード
25…軟性部
26…湾曲部
27…先端部
28…撮像素子
29…湾曲操作ノブ
30…送気送水ボタン
31…吸引ボタン
32…静止画撮影指示部
33…処置具導入口
35…ライトガイド
36…信号ケーブル
37a…コネクタ
37b…コネクタ
38…動画
38a…フレーム画像
39…静止画
40…時系列画像取得部
41…注目領域検出部
42…注目領域情報取得部
43…座標算出部
44…制御部
45…表示制御部
45A…画像表示制御部
45B…報知情報表示制御部
46…遷移時間設定部
47…記憶部
50…図形記憶部
51…プログラム
F1〜F42…図形
R1〜R5…注目領域
S1〜S35…医療画像処理方法の各ステップ
図1は、内視鏡システムの全体構成を示す概略図である。 図2は、医療画像処理装置の電気的構成を示すブロック図である。 図3は、医療画像処理方法の各処理を示すフローチャートである。 図4は、強調処理工程の詳細を示すフローチャートである。 図5は、注目領域の強調レベルの遷移を示す図である。 図6は、注目領域の強調表示の遷移の一例を示す図である。 図7は、図形の色を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図8は、図形の線の太さを変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図9は、図形の形状を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図10は、図形の濃度を変更して注目領域の強調レベルを変更する態様の一例を示す図である。 図11は、注目領域の強調レベルの連続的な遷移を示す図である。 図12は、医療画像処理方法の各処理を示すフローチャートである。 図13は、遷移時間設定工程の詳細を示すフローチャートである。 図14は、注目領域の強調レベルの遷移の一例を示す図である。
〔遷移時間再設定工程〕
図13は、遷移時間設定工程(ステップS21)の詳細を示すフローチャートである。
再評価時間Trを経過していない場合は、ステップS35へ移行する。一方、再評価時間Trを経過している場合は、ステップS33へ移行する。ステップS33では、注目領域情報取得部42は、ステップS31で選択した注目領域の特徴量を算出する。特徴量は、例えば注目領域の視認性に基づいて算出される。なお、特徴量は、注目領域の他の特性に基づいて算出されてもよい。

Claims (25)

  1. 表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理部と、
    前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定部と、
    を備え、
    前記強調処理部は、前記注目領域の位置を第1強調レベルで強調し、かつ前記第1強調レベルで強調してから前記遷移時間経過後に前記第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理装置。
  2. 前記複数の医療画像を取得する画像取得部と、
    前記医療画像から注目領域を検出する注目領域検出部と、
    前記注目領域の特徴量を算出する特徴量算出部と、
    を備えた請求項1に記載の医療画像処理装置。
  3. 前記複数の医療画像を前記表示部に順次表示させる表示制御部を備えた請求項1又は2に記載の医療画像処理装置。
  4. 前記特徴量は、前記注目領域の視認性に基づいて算出される請求項1から3のいずれか1項に記載の医療画像処理装置。
  5. 前記遷移時間設定部は、前記注目領域の視認性が相対的に悪いほど前記遷移時間を長い時間に設定する請求項4に記載の医療画像処理装置。
  6. 前記特徴量は、前記注目領域の前記医療画像内における大きさに基づいて算出される請求項1から5のいずれか1項に記載の医療画像処理装置。
  7. 前記遷移時間設定部は、前記注目領域の前記医療画像内における大きさが相対的に小さいほど前記遷移時間を長い時間に設定する請求項6に記載の医療画像処理装置。
  8. 前記特徴量は、前記注目領域の前記医療画像内の位置に基づいて算出される請求項1から7のいずれか1項に記載の医療画像処理装置。
  9. 前記遷移時間設定部は、前記注目領域の前記医療画像内の位置が周辺部に相対的に近いほど前記遷移時間を長い時間に設定する請求項8に記載の医療画像処理装置。
  10. 前記特徴量は、前記注目領域の輝度値、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分に基づいて算出される請求項1から9のいずれか1項に記載の医療画像処理装置。
  11. 前記遷移時間設定部は、前記注目領域の輝度値が小さいほど、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分が小さいほど前記遷移時間を長い時間に設定する請求項10に記載の医療画像処理装置。
  12. 前記特徴量は、前記注目領域の色情報、又は前記注目領域の色情報と前記注目領域外の色情報との差分に基づいて算出される請求項1から11のいずれか1項に記載の医療画像処理装置。
  13. 前記遷移時間設定部は、前記注目領域の色空間と前記注目領域外の色空間との差分が小さいほど前記遷移時間を長い時間に設定する請求項12に記載の医療画像処理装置。
  14. 前記特徴量は、前記注目領域の動き量、又は前記注目領域の動き方向に基づいて算出される請求項1から13のいずれか1項に記載の医療画像処理装置。
  15. 前記遷移時間設定部は、前記注目領域の動き量が大きいほど前記遷移時間を長い時間に設定する請求項14に記載の医療画像処理装置。
  16. 前記遷移時間設定部は、前記第1強調レベルで強調してから前記遷移時間が経過するまでの間の前記注目領域の特徴量に応じて前記遷移時間を再設定する請求項1から15のいずれか1項に記載の医療画像処理装置。
  17. 前記強調処理部は、前記第1強調レベルで強調してから前記遷移時間が経過するまで前記第1強調レベルで強調する請求項1から16のいずれか1項に記載の医療画像処理装置。
  18. 前記強調処理部は、前記第1強調レベルで強調してから前記遷移時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項1から16のいずれか1項に記載の医療画像処理装置。
  19. 前記強調処理部は、前記第2強調レベルで強調してから一定時間が経過すると強調を終了する請求項1から18のいずれか1項に記載の医療画像処理装置。
  20. 前記強調処理部は、前記第2強調レベルで強調してから前記一定時間が経過するまで前記第2強調レベルで強調する請求項19に記載の医療画像処理装置。
  21. 前記強調処理部は、前記第2強調レベルで強調してから前記一定時間が経過するまで強調レベルを相対的に徐々に下げて強調する請求項19に記載の医療画像処理装置。
  22. 前記複数の医療画像を撮像する内視鏡スコープと、
    前記表示部と、
    請求項1から21のいずれか1項に記載の医療画像処理装置と、
    を備えた内視鏡システム。
  23. 表示部に順次表示される複数の医療画像に含まれる注目領域の位置を強調する強調処理工程と、
    前記注目領域の特徴量に応じて遷移時間を設定する遷移時間設定工程と、
    を備え、
    前記強調処理工程は、前記注目領域の位置を第1強調レベルで強調し、かつ前記第1強調レベルで強調してから前記遷移時間経過後に前記第1強調レベルよりも相対的に小さい第2強調レベルで強調する医療画像処理方法。
  24. 請求項23に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
  25. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項24に記載のプログラムをコンピュータに実行させる記録媒体。
JP2020545948A 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム Active JP7170050B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018169399 2018-09-11
JP2018169399 2018-09-11
PCT/JP2019/034790 WO2020054542A1 (ja) 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2020054542A1 true JPWO2020054542A1 (ja) 2021-08-30
JP7170050B2 JP7170050B2 (ja) 2022-11-11

Family

ID=69777639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020545948A Active JP7170050B2 (ja) 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム

Country Status (5)

Country Link
US (1) US12059123B2 (ja)
EP (1) EP3851023B1 (ja)
JP (1) JP7170050B2 (ja)
CN (1) CN112654283A (ja)
WO (1) WO2020054542A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112739250A (zh) * 2018-09-18 2021-04-30 富士胶片株式会社 医用图像处理装置、处理器装置、医用图像处理方法及程序
JP7237883B2 (ja) * 2020-04-14 2023-03-13 Eizo株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2023166647A1 (ja) * 2022-03-03 2023-09-07 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法
WO2024166310A1 (ja) * 2023-02-09 2024-08-15 オリンパスメディカルシステムズ株式会社 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006255021A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
US20160093046A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Apparatus and method for supporting computer aided diagnosis
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP6188721B2 (ja) 2012-12-13 2017-08-30 オリンパス株式会社 蛍光観察装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006255021A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
US20160093046A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Apparatus and method for supporting computer aided diagnosis
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置

Also Published As

Publication number Publication date
JP7170050B2 (ja) 2022-11-11
US20210174115A1 (en) 2021-06-10
WO2020054542A1 (ja) 2020-03-19
CN112654283A (zh) 2021-04-13
EP3851023A4 (en) 2021-10-13
US12059123B2 (en) 2024-08-13
EP3851023A1 (en) 2021-07-21
EP3851023B1 (en) 2024-08-21

Similar Documents

Publication Publication Date Title
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
JP7170050B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP6840263B2 (ja) 内視鏡システム及びプログラム
US20210174557A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7170050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150