JPWO2019039252A1 - 医療画像処理装置及び医療画像処理方法 - Google Patents

医療画像処理装置及び医療画像処理方法 Download PDF

Info

Publication number
JPWO2019039252A1
JPWO2019039252A1 JP2019538044A JP2019538044A JPWO2019039252A1 JP WO2019039252 A1 JPWO2019039252 A1 JP WO2019039252A1 JP 2019538044 A JP2019538044 A JP 2019538044A JP 2019538044 A JP2019538044 A JP 2019538044A JP WO2019039252 A1 JPWO2019039252 A1 JP WO2019039252A1
Authority
JP
Japan
Prior art keywords
image
moving image
reproduction
medical
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019538044A
Other languages
English (en)
Other versions
JP6975241B2 (ja
Inventor
千尋 植田
千尋 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019039252A1 publication Critical patent/JPWO2019039252A1/ja
Application granted granted Critical
Publication of JP6975241B2 publication Critical patent/JP6975241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)

Abstract

医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる医療画像処理装置及び医療画像処理方法を提供する。表示装置での医療画像の動画像の再生を制御する動画再生制御部と、動画再生制御部による動画像の再生回数をカウントする再生回数制御部であって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御部と、再生回数制御部によりカウントされた動画像の再生回数を、表示装置に表示させる情報表示制御部と、を備える。

Description

本発明は、医療画像の動画像を再生する医療画像処理装置及び医療画像処理方法に関する。
従来から、医療分野において電子内視鏡(以下、単に内視鏡と略す)を利用した内視鏡検査が行われている。この内視鏡検査では、例えば被検体内の被観察部位に対して照明光を照射し、被観察部位に反射された照明光の反射光を撮像して取得した反射光画像に基づき、被観察部位の観察が行われる。また、この場合、内視鏡により被観察部位の動画撮影が行われ、被観察部位の動画像が得られる。この動画像は、医師のより的確な診断、画像解析(動画解析)による病変等の有無の判定、及び医療レポートの資料等として用いられる。
内視鏡検査は頻繁に行われ、これに応じて内視鏡検査で得られる動画像の数も多数になるので、医師が各動画像の再生状況を一目で確認できるようにすることが好ましい。例えば、特許文献1及び特許文献2には、各動画の再生回数を履歴として保存することが開示されている。また、特許文献3には、動画の全編を再生した場合に、その動画の再生回数をカウントアップすることが開示されている。
特開2010−283477号公報 特開2000−350165号公報 特開2016−119590号公報
ところで、内視鏡検査で得られる医療画像の動画像において、病変等の注目領域を含むフレーム画像が診断等に特に重要である。このため、医師は、動画像の全編を再生しなくとも、注目領域を含むフレーム画像の確認が済んでいれば、動画の内容を実質的には確認したと言える。従って、上記特許文献3に記載のように、動画の全編再生を条件として再生回数のカウントアップを行う場合、医師が動画の内容を実質的に確認していたとしてもその動画の再生回数には反映されないため、医師による各動画像の再生状況を正確に把握するのは困難であった。
本発明はこのような事情に鑑みてなされ、医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる医療画像処理装置及び医療画像処理方法を提供することを目的とする。
本発明の目的を達成するための医療画像処理装置は、表示装置での医療画像の動画像の再生を制御する動画再生制御部と、動画再生制御部による動画像の再生回数をカウントする再生回数制御部であって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御部と、再生回数制御部によりカウントされた動画像の再生回数を、表示装置に表示させる情報表示制御部と、を備える。
この医療画像処理装置によれば、動画像の全編を再生しなくとも、ユーザによる動画像の内容確認が実質的に完了している場合には、この動画像の再生回数をカウントアップさせることができる。
本発明の他の態様に係る医療画像処理装置において、フレーム画像ごとに注目すべき領域である注目領域が含まれるか否かを解析して、注目領域を含むフレーム画像を特定フレーム画像として決定する医療画像解析処理部を備える。これにより、ユーザ(医師)による的確な診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
本発明の他の態様に係る医療画像処理装置において、医療画像解析処理部は、深層学習を用いた画像解析処理によりフレーム画像内に注目領域が含まれるか否かを解析する。これにより、ユーザ(医師)による診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
本発明の他の態様に係る医療画像処理装置において、動画像は、動画像の撮影と、動画像の撮影中に静止画像の撮影とを行う機能を有する医療装置により取得された、医療装置により静止画像の撮影が実行された場合、動画像の撮影中において静止画像の撮影が実行されたタイミングを示すタイミング情報を記憶するタイミング情報記憶部と、タイミング情報記憶部に記憶されているタイミング情報に基づき、静止画像の撮影が実行されたタイミングで撮影されたフレーム画像を特定フレーム画像として決定する画像特定部と、を備える。これにより、ユーザ(医師)による診断及び確認等の必要性が高いフレーム画像を、特定フレーム画像として決定することができる。
本発明の他の態様に係る医療画像処理装置において、再生回数制御部によりカウントされた動画像の再生回数を記憶する再生回数記憶部を備える。動画像の再生回数を記憶しておくことにより、動画像の再生回数の表示及び確認をいつでも行うことができる。
本発明の他の態様に係る医療画像処理装置において、動画再生制御部における動画像の再生を実行させるユーザを特定するユーザ特定部を備え、再生回数制御部は、動画像の再生回数のカウントをユーザごとに個別に行い、再生回数記憶部は、動画像の再生回数をユーザごとに個別に記憶する。これにより、ユーザごとの動画像の再生状況を正確に把握することができる。
本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像の再生の有無を示す再生有無情報を表示装置に表示させる。これにより、ユーザによる動画像の再生の有無を容易に判別することができる。
本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像の再生回数として、動画像の再生回数を示す数字及びグラフの少なくとも一方を表示装置に表示させる。これにより、動画像の再生回数を容易に把握することができる。
本発明の他の態様に係る医療画像処理装置において、情報表示制御部は、動画像が複数存在する場合、動画像の再生回数を動画像ごとに表示装置に表示させる。これにより、動画像ごとの再生状況を容易に把握することができる。
本発明の目的を達成するための医療画像処理方法は、表示装置での医療画像の動画像の再生を制御する動画再生制御ステップと、動画再生制御ステップで再生される動画像の再生回数をカウントする再生回数制御ステップであって、且つ動画像を構成する複数のフレーム画像の中で特定フレーム画像まで動画像が再生された場合、動画像の再生回数をカウントアップする再生回数制御ステップと、再生回数制御ステップでカウントされた動画像の再生回数を、表示装置に表示させる表示制御ステップと、を有する。
本発明の医療画像処理装置及び医療画像処理方法は、医師等のユーザによる医療画像の動画像の再生状況を正確に把握することができる。
内視鏡システムの全体構成を示す概略図である。 医療画像処理装置の機能を示す機能ブロック図である。 画像記憶部の概略図である。 特定フレーム画像の一例を説明するための説明図である。 再生画像選択画面の一例を示した説明図である。 再生制御部による動画像の再生制御を説明するための説明図である。 記憶部内の再生回数記憶部の概略図である。 医療画像解析処理部により特定フレーム画像の特定が行われた場合の再生回数制御部による動画像の再生回数のカウントアップを説明するための説明図である。 画像特定部により特定フレーム画像の特定が行われた場合の再生回数制御部による動画像の再生回数のカウントアップを説明するための説明図である。 情報表示制御部による再生回数表示の更新について説明するための説明図である。 内視鏡システムにおける動画像の再生及び動画像の再生回数のカウントの流れを示すフローチャートである。
[内視鏡システムの全体構成]
図1は、内視鏡システム9の全体構成を示す概略図である。図1に示すように、内視鏡システム9は、電子内視鏡である内視鏡10と、光源装置11と、プロセッサ12と、表示装置13と、医療画像処理装置14と、操作部15と、表示装置16と、を備える。
内視鏡10は、本発明の医療装置に相当し、例えば軟性内視鏡である。この内視鏡10は、被検体内に挿入され且つ先端と基端とを有する挿入部20と、挿入部20の基端側に連設され且つ術者が把持して各種操作を行う操作部21と、操作部21に連設されたユニバーサルコード22と、を有する。
挿入部20は、全体が細径で長尺状に形成されている。挿入部20は、その基端側から先端側に向けて順に可撓性を有する軟性部25と、操作部21の操作により湾曲可能な湾曲部26と、不図示の撮影光学系及び撮像素子28等が内蔵される先端部27と、が連設されて構成される。
撮像素子28は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子である。撮像素子28の撮像面には、先端部27の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の撮影光学系等を介して、被観察部位の像光が入射する。撮像素子28は、その撮像面に入射した被観察部位の像光を撮像(電気信号に変換)して、撮像信号を出力する。
操作部21には、術者によって操作される各種操作部材が設けられている。具体的に、操作部21には、湾曲部26の湾曲操作に用いられる2種類の湾曲操作ノブ29と、送気送水操作用の送気送水ボタン30と、吸引操作用の吸引ボタン31と、が設けられている。また、操作部21には、被観察部位の静止画像39の撮影指示を行うための静止画像撮影指示部32と、挿入部20内を挿通している処置具挿通路(不図示)内に処置具(不図示)を挿入する処置具導入口33と、が設けられている。
ユニバーサルコード22は、内視鏡10を光源装置11に接続するための接続コードである。このユニバーサルコード22は、挿入部20内を挿通しているライトガイド35、信号ケーブル36、及び流体チューブ(不図示)を内包している。また、ユニバーサルコード22の端部には、光源装置11に接続されるコネクタ37Aと、このコネクタ37Aから分岐され且つプロセッサ12に接続されるコネクタ37Bと、が設けられている。
コネクタ37Aを光源装置11に接続することで、ライトガイド35及び流体チューブ(不図示)が光源装置11に挿入される。これにより、ライトガイド35及び流体チューブ(不図示)を介して、光源装置11から内視鏡10に対して必要な照明光と水と気体とが供給される。その結果、先端部27の先端面の照明窓(不図示)から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン30の押下操作に応じて、先端部27の先端面の送気送水ノズル(不図示)から先端面の観察窓(不図示)に向けて気体又は水が噴射される。
コネクタ37Bをプロセッサ12に接続することで、信号ケーブル36とプロセッサ12とが電気的に接続される。これにより、信号ケーブル36を介して、内視鏡10の撮像素子28からプロセッサ12へ被観察部位の撮像信号が出力されると共に、プロセッサ12から内視鏡10へ制御信号が出力される。
なお、本実施形態では、内視鏡10として軟性内視鏡を例に挙げて説明を行ったが、例えば硬性内視鏡等の被観察部位の動画撮影を可能な各種の電子内視鏡を用いてもよい。
光源装置11は、コネクタ37Aを介して、内視鏡10のライトガイド35へ照明光を供給する。照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。
プロセッサ12は、コネクタ37B及び信号ケーブル36を介して、内視鏡10の動作を制御する。また、プロセッサ12は、コネクタ37B及び信号ケーブル36を介して内視鏡10の撮像素子28から取得した撮像信号に基づき、被観察部位の動画像38を生成する。さらに、プロセッサ12は、内視鏡10の操作部21にて静止画像撮影指示部32が操作された場合、動画像38の生成と並行して、撮像素子28から取得した撮像信号に基づき被観察部位の静止画像39を生成する。この静止画像39は、動画像38よりも高解像度に生成されていてもよい。
動画像38及び静止画像39は、被検体内、すなわち生体内を撮影した生体内画像である。さらに動画像38及び静止画像39が、上述の特定の波長帯域の光(特殊光)により得られた画像である場合、両者は特殊光画像である。そして、プロセッサ12は、生成した動画像38及び静止画像39を、表示装置13と医療画像処理装置14とにそれぞれ出力する。
なお、プロセッサ12は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成(取得)してもよい。この場合、プロセッサ12は、特殊光画像取得部として機能する。そして、プロセッサ12は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青[RGB(Red、Green、Blue)]あるいはシアン、マゼンタ、及びイエロー[CMY(Cyan,Magenta,Yellow)]の色情報に基づく演算を行うことで得る。
また、プロセッサ12は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光(特殊光)により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、プロセッサ12は、特徴量画像生成部として機能する。
表示装置13は、プロセッサ12に接続されており、このプロセッサ12から入力された動画像38及び静止画像39を表示する。ユーザ(医師)は、表示装置13に表示される動画像38を確認しながら、挿入部20の進退操作等を行い、被観察部位に病変等を発見した場合には静止画像撮影指示部32を操作して被観察部位の静止画撮影を実行する。
医療画像処理装置14は、本実施形態では例えばパーソナルコンピュータが用いられる。また、操作部15はパーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示装置16はパーソナルコンピュータに接続可能な各種モニタが用いられる。
また、医療画像処理装置14として、ワークステーション(サーバ)等の診断支援装置を用いてよく、この場合、操作部15及び表示装置16はそれぞれワークステーションに接続した複数の端末ごとに設けられる。さらに、医療画像処理装置14として、例えば医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
医療画像処理装置14は、動画像38及び静止画像39の取得及び記憶と、動画像38及び静止画像39の再生制御と、動画像38の再生回数のカウントと、そのカウント結果の表示と、を行う。操作部15は、医療画像処理装置14に対する操作指示の入力に用いられる。表示装置16は、医療画像処理装置14の制御の下、動画像38及び静止画像39の表示を行ったり、動画像38の再生回数等の表示を行ったりする。
[医療画像処理装置の機能]
図2は、医療画像処理装置14の機能を示す機能ブロック図である。図2に示すように、動画像38の再生制御と、動画像38の再生回数のカウントと、この再生回数のカウント結果の表示と、を含む医療画像処理装置14の各種制御を実行する制御部のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
医療画像処理装置14のプロセッサ(不図示)は、プログラム51に基づき、画像取得部41、ユーザ特定部42、医療画像解析処理部43A、画像特定部43B、表示制御部44、及び再生回数制御部45として機能する。また、医療画像処理装置14には、医療画像処理装置14の各種制御に係る情報を記憶する記憶部47が設けられている。
記憶部47には、ユーザ情報50及びプログラム51が格納され、且つ画像記憶部53及び再生回数記憶部54が設けられている。ユーザ情報50は、医療画像処理装置14を使用する医師等のユーザに固有のユーザID(identification)と、ユーザIDごとに定められたパスワードとを対応付けた情報である。プログラム51は、既述の動画像38の再生制御、動画像38の再生回数のカウント、及びそのカウント結果の表示等を医療画像処理装置14に実行させるためのアプリケーションプログラムである。
画像記憶部53は、詳しくは後述するが、医療画像処理装置14が取得した動画像38及び静止画像39を記憶する。また、再生回数記憶部54は、詳しくは後述するが、動画像38の再生回数をユーザごとに記憶する。
なお、本実施形態では、記憶部47が医療画像処理装置14内に設けられているが、記憶部47はインターネット上のサーバ或いはデータベース内に設けられていてもよい。このため、本発明の医療画像処理装置には、複数の装置で構成される医療画像処理システムも含まれる。
画像取得部41は、プロセッサ12に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、プロセッサ12から動画像38を取得する。また、内視鏡10にて動画像38の撮影途中に既述の静止画像39の撮影が行われた場合、画像取得部41は、プロセッサ12から動画像38及び静止画像39を取得する。そして、画像取得部41は、取得した動画像38及び静止画像39を記憶部47内の画像記憶部53に記憶させる。図中の符号38aは、動画像38を構成する複数のフレーム画像である。
なお、画像取得部41は、プロセッサ12から動画像38及び静止画像39を直接取得する代わりに、メモリーカード等の各種情報記憶媒体を介して動画像38及び静止画像39を取得してもよい。また、画像取得部41は、インターネット上のサーバ或いはデータベース等にアップロードされた動画像38及び静止画像39をインターネット経由で取得してもよい。
また、画像取得部41は、動画像38及び静止画像39として、既述の特定の波長帯域の情報を有する特殊光画像を取得する場合には、特殊光画像取得部として機能する。
さらにまた、画像取得部41は、プロセッサ12等から入力される動画像38の全てを画像記憶部53に記憶させる必要はなく、例えば、静止画像撮影指示部32の操作に応じて被観察部位の静止画撮影が行われた場合、その前後の一分間(撮影前一分間から撮影後一分間)の動画像38を画像記憶部53に記憶させてもよい。
図3は、画像記憶部53の概略図である。図3に示すように、画像取得部41は、プロセッサ12等から取得した動画像38を、画像記憶部53内のフォルダごと(フォルダA、フォルダB、フォルダC、…)に個別に記憶させる。また、内視鏡10にて動画像38の撮影途中に既述の静止画像39の撮影が行われた場合、画像取得部41は、プロセッサ12から動画像38と共に取得した静止画像39を、この動画像38と同じフォルダ内に記憶させる。
動画像38は、図中では1ファイルで示されているが、動画像38の撮影時間が長い場合には複数ファイルに分割されていてもよい。
静止画像39のヘッダ情報39aには、プロセッサ12により、動画像38の撮影中に静止画像39の撮影が行われた撮影タイミングを示す時間情報が記録されている。このため、ヘッダ情報39aを参照することで、前述の撮影タイミングを判別することができる。従って、ヘッダ情報39aは本発明のタイミング情報に相当し、且つ画像記憶部53は本発明のタイミング情報記憶部として機能する。
なお、本実施形態では静止画像39のヘッダ情報39aを本発明のタイミング情報として用いているが、前述の撮影タイミングを判別可能であればヘッダ情報39aに特に限定されず、例えば動画像38のヘッダに記憶したり、或いは動画像38及び静止画像39とは別に記憶したりしてもよい。
画像記憶部53内の各フォルダには、後述の医療画像解析処理部43A及び画像特定部43Bの解析結果である特定フレーム情報56が記憶されている。この特定フレーム情報56は、詳しくは後述するが、同じフォルダ内に記憶されている動画像38を構成する複数のフレーム画像38aの中に含まれている特定フレーム画像60(図4参照)を示す情報である。
図2に戻って、ユーザ特定部42は、ユーザによる医療画像処理装置14の利用開始時にこのユーザの特定を行う。例えばユーザ特定部42は、後述の表示制御部44を制御して表示装置16にログイン画面を表示させ、ユーザに対してユーザID及びパスワードの入力を促す。次いで、ユーザ特定部42は、ログイン画面上でユーザID及びパスワードが入力された場合、入力されたユーザID及びパスワードと、既述の記憶部47内のユーザ情報50とを照合することにより、医療画像処理装置14を利用しているユーザを特定する。そして、ユーザ特定部42は、ユーザの特定結果を表示制御部44及び再生回数制御部45へそれぞれ出力する。
なお、ユーザID及びパスワード基づきユーザの特定を行う代わりに、ユーザが保有しているIDカードを利用したり、或いは公知の生体認証技術を用いたりしてもよい。
医療画像解析処理部43A及び画像特定部43Bは、動画像38を構成する複数のフレーム画像38aの中から、予め定めた特定フレーム画像60(図4参照)を特定する。この特定フレーム画像60は、ユーザ(医師)による的確な診断を行うために確認の必要性が高い画像である。
医療画像解析処理部43Aは、フレーム画像38aごとに注目すべき領域である注目領域61(図4参照)が含まれるか否かを解析し、この注目領域61が含まれるフレーム画像38aを特定フレーム画像60(図4参照)として決定する。
図4は、特定フレーム画像60の一例を説明するための説明図である。図4に示すように、注目領域61は、例えば被観察部位内で発生している病変領域である。また、注目領域61には、病変領域以外に、過去に処置具等での処置又は検査によって被観察部位の体壁に残された痕(治療痕及び検査痕)も含まれる。さらに、注目領域61としては、処置具等で処置又は検査が行われている領域、すなわち処置具等の注目すべき対象が映っている領域も含まれる。
図2に戻って、本実施形態の医療画像解析処理部43Aは、新たな動画像38が画像記憶部53に記憶されるごとに、深層学習アルゴリズム65に基づき、深層学習(ディープラーニング)を用いた画像解析処理を行うことにより、フレーム画像38aごとに注目領域61が含まれるか否かを解析する。深層学習アルゴリズム65は、公知のコンボリューションニューラルネットワーク(畳み込みニューラルネットワーク)の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、フレーム画像38aに注目領域61が含まれている否かを認識するアルゴリズムである。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。
医療画像解析処理部43Aは、注目領域61を含むフレーム画像38aを特定フレーム画像60として決定し、この特定フレーム画像60を動画像38内で識別可能な情報(フレーム番号等)を、既述の特定フレーム情報56として、動画像38と同じフォルダ内に記憶させる。
画像特定部43Bは、内視鏡10において動画像38の撮影途中で静止画像39の撮影が行われた場合、この静止画像39の撮影が実行された撮影タイミングで撮影された動画像38のフレーム画像38aを、特定フレーム画像60として決定する。ここで、静止画像39の撮影は、被観察部位に病変領域が発生している場合、被観察部位に治療痕又は検査痕が存在している場合、及び被観察部位に対して処置具等で処置又は検査を行っている場合等に良く行われる。このため、既述の撮影タイミングで撮影された動画像38のフレーム画像38aには、既述の注目領域61が含まれている可能性が高い。
画像特定部43Bは、画像記憶部53に新たな動画像38が記憶されるごとに、この動画像38と同じフォルダ内に静止画像39が記憶されているか否かを確認する。次いで、画像特定部43Bは、動画像38と同じフォルダ内に静止画像39が記憶されている場合、静止画像39のヘッダ情報39aに基づき、動画像38の各フレーム画像38aの中で、既述の撮影タイミングで撮影されたフレーム画像38aを、特定フレーム画像60として決定する。そして、画像特定部43Bは、既述の医療画像解析処理部43Aと同様に、特定フレーム画像60を動画像38内で識別可能な情報を、既述の特定フレーム情報56として、動画像38と同じフォルダ内に記憶させる。
このように、本実施形態の特定フレーム情報56には、医療画像解析処理部43Aにより特定された特定フレーム画像60を示す情報と、画像特定部43Bにより特定された特定フレーム画像60を示す情報との双方が含まれる。
なお、本実施形態の医療画像処理装置14は、医療画像解析処理部43A及び画像特定部43Bの双方を備えているが、いずれか一方だけを備えるようにしてもよい。
表示制御部44は、表示装置16による画像表示を制御する。この表示制御部44は、再生制御部44A及び情報表示制御部44Bとして機能する。
再生制御部44Aは、本発明の動画再生制御部に相当し、画像記憶部53内のフォルダごとに記憶された動画像38(静止画像39も可)を表示装置16で再生させる再生制御を行う。再生制御部44Aは、操作部15において再生画像選択画面表示操作がなされると、記憶部47内のプログラム51及び画像記憶部53等に基づき、再生画像選択画面69(図5参照)を表示装置16に表示させる。
図5は、再生画像選択画面69の一例を示した説明図である。なお、図5では、ユーザ(ユーザ1)による動画再生は1回も行われていないとして説明を行う。図5に示すように、再生画像選択画面69には、ユーザ欄71と画像一覧表示欄72とが設けられている。また、再生画像選択画面69には、操作部15の操作に応じて画面内を移動するカーソル73が表示される。
ユーザ欄71には、医療画像処理装置14を利用しているユーザのユーザ名(ユーザIDでも可)が表示される。再生制御部44Aは、既述のユーザ特定部42から入力されるユーザ特定結果に基づき、ユーザ欄71内にユーザ名を表示させる。
画像一覧表示欄72には、画像記憶部53内のフォルダごとに記憶された動画像38のサムネイル画像38Sと、動画再生ボタン75と、後述の再生回数表示77とが表示される。再生制御部44Aは、再生画像選択画面69の表示を行う場合、画像記憶部53内の各動画像38のサムネイル画像38Sを生成する。例えば再生制御部44Aは、動画像38と同じフォルダ内に静止画像39が記憶されている場合、この静止画像39に基づきサムネイル画像38Sを生成し、逆に静止画像39が記憶されていない場合、動画像38の任意のフレーム画像38aに基づき、サムネイル画像38Sを生成する。
次いで、再生制御部44Aは、画像一覧表示欄72内に各動画像38のサムネイル画像38Sを表示させる。なお、画像一覧表示欄72内に全ての動画像38のサムネイル画像38Sを表示できない場合、再生制御部44Aは、操作部15を介してカーソル73により画像一覧表示欄72の表示切替ボタン72aを選択する選択操作がなされるごとに、画像一覧表示欄72内に表示するサムネイル画像38Sを切り替える。
また、再生制御部44Aは、画像一覧表示欄72内において、サムネイル画像38Sごとに、各々に対応する動画像38のフォルダ名(動画像38のファイル名でも可)と、動画再生ボタン75と、を表示させる。
情報表示制御部44Bは、記憶部47内の後述の再生回数記憶部54を参照して、ユーザによる各動画像38の再生回数を示す再生回数表示77を、画像一覧表示欄72内のサムネイル画像38Sごとに表示させる。これにより、画像一覧表示欄72内にサムネイル画像38Sが複数存在する場合、サムネイル画像38Sごとに、各々に対応する動画像38の再生回数表示77を対応付けて表示させることができる。
図6は、再生制御部44Aによる動画像38の再生制御を説明するための説明図である。図6に示すように、操作部15を介してカーソル73により画像一覧表示欄72内の任意の動画再生ボタン75を選択する選択操作がなされると、再生制御部44Aは、この選択操作に対応する動画像38を画像記憶部53から取得し、この動画像38に基づく動画再生を表示装置16に実行させる。これにより、本実施形態では、再生画像選択画面69とは別ウィンドウで動画再生画面80が表示装置16に表示され、この動画再生画面80内で動画像38の再生が開始される。なお、静止画像39の撮影を行っている場合、この静止画像39の撮影一分前から撮影一分後までの動画像38を再生してもよい。
ここで、動画像38の再生態様は特に限定されず、例えば表示装置16において動画再生画面80の全画面表示等を行ってもよい。
再生制御部44Aは、操作部15を介してカーソル73により動画再生画面80内のクローズボタン80aを選択する閉じ操作がなされると、動画再生画面80を閉じる。これにより、動画像38の再生途中或いは全編再生後等の任意のタイミングで動画像38の再生を終了させることができる。
図7は、記憶部47内の再生回数記憶部54の概略図である。図7に示すように、再生回数記憶部54は、後述の再生回数制御部45による動画像38の再生回数のカウントと、この再生回数のカウント結果の記憶とに用いられる。再生回数記憶部54は、画像記憶部53内の各フォルダの動画像38の各々の再生回数を示す再生回数情報82を、ユーザ(ユーザ1、ユーザ2、ユーザ3、…)ごとに個別に記憶している。これにより、再生回数記憶部54を参照することで、ユーザごとの各動画像38の再生回数を判別することができる。そして、各再生回数情報82は、後述の再生回数制御部45により更新される。
図2に戻って、再生回数制御部45は、再生制御部44Aによる動画像38の再生が開始された場合に作動し、各動画像38の再生回数をユーザごとに個別にカウントする。
最初に、再生回数制御部45は、既述のユーザ特定部42から入力されるユーザ特定結果と、再生制御部44Aにより再生が開始された動画像38の種類(フォルダ名)とに基づき、再生回数記憶部54を参照して、この動画像38に対するユーザの再生回数を取得する。次いで、再生回数制御部45は、再生が開始された動画像38に対応する画像記憶部53内の特定フレーム情報56に基づき、この動画像38を構成する複数のフレーム画像38aの中で特定フレーム画像60まで動画像38が再生された場合、この動画像38の再生回数をカウントアップする。
図8は、医療画像解析処理部43Aにより特定フレーム画像60の特定が行われた場合の再生回数制御部45による動画像38の再生回数のカウントアップを説明するための説明図である。なお、図中左側から右側に向かって動画像38の再生時間が経過していくものとする。
図9は、画像特定部43Bにより特定フレーム画像60の特定が行われた場合の再生回数制御部45による動画像38の再生回数のカウントアップを説明するための説明図である。この場合、既述の再生制御部44Aは、動画再生画面80内にシークバー85及び移動指標86と、固定指標87とを表示することが好ましい。
シークバー85及び移動指標86は、動画像38の全体の再生時間(各フレーム画像38a)のうち今どの部分が再生されているのかを示す。固定指標87は、動画像38の全体の再生時間(フレーム画像38a)のうち特定フレーム画像60の再生タイミングを示す指標である。この固定指標87は、動画像38に対応する特定フレーム情報56に基づき、シークバー85上での位置が決定される。なお、既述の図8に示した動画再生画面80内にも同様の表示を行ってもよい。
図8及び図9に示すように、再生回数制御部45は、再生制御部44Aによる動画像38の再生が開始された場合、この動画像38に対応する特定フレーム情報56に基づき、この動画像38を構成する各フレーム画像38aの中で特定フレーム画像60が再生されるまでは、この動画像38の再生回数をカウントアップしない。そして、再生回数制御部45は、図中の矢印SPに示すように、特定フレーム画像60まで動画像38の再生が継続すると、この動画像38の再生回数をカウントアップ(+1)する。すなわち、特定フレーム画像60まで動画像38が再生されていれば、それ以降のどのタイミングで動画再生が終了しても動画像38の再生回数はカウントアップされる。
ここで、1つの動画像38の中に複数の特定フレーム画像60が含まれている場合、再生回数制御部45は、例えば最後の特定フレーム画像60が再生された場合、すなわち全ての特定フレーム画像60が再生された場合に、動画像38の再生回数をカウントアップする。なお、最初の特定フレーム画像60が再生された場合、或いは全ての特定フレーム画像60の中で一定割合以上の特定フレーム画像60が再生された場合等に、動画像38の再生回数をカウントアップしてもよい。さらに、医療画像解析処理部43A及び画像特定部43Bのうちの予め定めた一方により特定された全ての特定フレーム画像60が再生された場合に、動画像38の再生回数をカウントアップしてもよい。
再生回数制御部45は、動画像38の再生が終了し、且つこの動画像38の再生回数をカウントアップした場合、このカウントアップ後の再生回数を、ユーザと動画像38の種類との双方に対応した再生回数記憶部54内の再生回数情報82に記憶させる。これにより、再生回数記憶部54内において、再生回数情報82がユーザごと且つ動画像38の種類ごとに個別に記憶及び更新される。
図10は、情報表示制御部44Bによる再生回数表示77の更新について説明するための説明図である。図10に示すように、再生回数制御部45により再生回数情報82の更新がなされると、この更新後の再生回数情報82に基づき、情報表示制御部44Bは、画像一覧表示欄72内の再生回数表示77を更新する。
情報表示制御部44Bは、再生回数が「0」の動画像38(サムネイル画像38S)に対応する再生回数表示77は「数字」で表示し、再生回数が「1」以上の動画像38(サムネイル画像38S)に対応する再生回数表示77は「数字」及び「グラフ」の双方で表示する。なお、動画像38の再生回数に関わらず、再生回数表示77を「数字」及び「グラフ」の少なくとも一方で表示してもよい。
また、情報表示制御部44Bは、画像一覧表示欄72内において、再生回数が「1」以上のサムネイル画像38Sについては、サムネイル画像38Sを囲むように枠表示89を行う。この枠表示89の有無は、画像一覧表示欄72内に表示されるサムネイル画像38Sに対応する動画像38の再生の有無を示す。このため、枠表示89は、本発明の再生有無情報に相当する。なお、枠表示89以外の他の表示態様又は表示方法により、動画像38の再生の有無を判別可能にしてもよい。
[内視鏡システムの作用]
図11は、内視鏡システム9における動画像38の再生及び動画像38の再生回数のカウント(医療画像処理方法)の流れを示すフローチャートである。図11に示すように、医療画像処理装置14による動画像38の再生に先立って、画像取得部41は、プロセッサ12等から動画像38を取得し、取得した動画像38を画像記憶部53内のフォルダごとに個別に記憶させる(ステップS1)。
そして、画像取得部41により新たな動画像38が画像記憶部53に記憶されるごとに、医療画像解析処理部43A及び画像特定部43Bが作動する。医療画像解析処理部43Aは、既述の深層学習を用いた画像解析処理により、動画像38のフレーム画像38aごとに注目領域61が含まれるか否かを解析し、注目領域61を含むフレーム画像38aを特定フレーム画像60として決定する(ステップS2)。これにより、ユーザ(医師)による的確な診断のために確認の必要性が高い注目領域61を含むフレーム画像38aを特定フレーム画像60として決定することができる。
一方、画像特定部43Bは、新たに記憶された動画像38と同じフォルダ内に静止画像39が記憶されているか否かを確認する。そして、画像特定部43Bは、同じフォルダ内に静止画像39が記憶されている場合、この静止画像39のヘッダ情報39aに基づき、静止画像39の撮影タイミングで撮影されたフレーム画像38aを特定フレーム画像60として決定する(ステップS2)。これにより、上述の注目領域61が含まれている可能性が高いフレーム画像38aを特定フレーム画像60として決定することができる。
そして、医療画像解析処理部43A及び画像特定部43Bは、決定した特定フレーム画像60に関する特定フレーム情報56を、画像記憶部53内の新たな動画像38に対応するフォルダ内に記憶させる。
ユーザが、操作部15により医療画像処理装置14の利用開始操作(ログイン操作)を行うと、ユーザ特定部42は、表示制御部44を制御して表示装置16にログイン画面を表示させる。この表示を受けてユーザが操作部15にてユーザID及びパスワードを入力するログイン操作を行うと、ユーザ特定部42は、入力されたユーザID及びパスワードと記憶部47内のユーザ情報50とを照合することで、ユーザの特定を行う(ステップS3)。そして、ユーザ特定部42は、ユーザ特定結果を表示制御部44及び再生回数制御部45へそれぞれ出力する。
次いで、ユーザが操作部15を介して再生画像選択画面表示操作を行うと(ステップS4)、再生制御部44Aは、記憶部47内のプログラム51及び画像記憶部53に基づき、再生画像選択画面69を表示装置16に表示させる(ステップS5)。この際に、情報表示制御部44Bは、ユーザ特定部42によるユーザ特定結果に基づき、再生回数記憶部54を参照して、このユーザに対応する動画像38ごとの再生回数表示77を、画像一覧表示欄72内の各サムネイル画像38Sにそれぞれ対応付けて表示させる(ステップS5)。これにより、ユーザの動画像38ごとの再生状況を容易に把握することができる。
ユーザが操作部15を介してカーソル73により任意の動画再生ボタン75を選択する選択操作を行うと、再生制御部44Aは、この選択操作に対応する動画像38を画像記憶部53から取得する(ステップS6)。そして、再生制御部44Aは、画像記憶部53から取得した動画像38に基づき、動画再生画面80での動画再生を表示装置16に実行させる(ステップS7、本発明の動画再生制御ステップに相当)。これにより、動画像38の再生が開始される。
再生制御部44Aによる動画再生が開始されると、再生回数制御部45は、ユーザ特定部42から入力されるユーザ特定結果と、再生制御部44Aにより再生が開始された動画像38の種類とに基づき、再生回数記憶部54を参照して、この動画像38に対するユーザの再生回数を取得する。次いで、再生回数制御部45は、再生が開始された動画像38に対応する特定フレーム情報56に基づき、特定フレーム画像60まで動画像38が再生された場合、この動画像38の再生回数をカウントアップする(ステップS8でYES、ステップS9、本発明の再生回数制御ステップに相当)。
そして、再生回数制御部45は、カウントアップ後の動画像38の再生回数を、ユーザと動画像38の種類との双方に対応した再生回数記憶部54内の再生回数情報82に記憶させる(ステップS10)。これにより、再生回数記憶部54内の再生回数情報82が更新される。このように本実施形態では、ユーザごとに動画像38の再生回数を個別にカウントし、且つ動画像38の再生回数をユーザごとに個別に記憶するようにしたので、ユーザごとの動画像38の再生状況を正確に把握することができる。
動画再生画面80での動画再生の終了後、情報表示制御部44Bは、再生回数制御部45により再生回数情報82が更新された場合、この更新後の再生回数情報82に基づき、画像一覧表示欄72内の再生回数表示77を更新する(ステップS11、本発明の表示制御ステップに相当)。これにより、ユーザによる最新の動画像38の再生回数が表示装置16に表示される。
また、情報表示制御部44Bは、動画像38の再生回数が0から1にカウントアップされた場合、この動画像38に対応するサムネイル画像38Sに対して既述の枠表示89を行う。これにより、画像一覧表示欄72内の各サムネイル画像38Sにそれぞれ対応する各動画像38の再生の有無を容易に判別することができる。
一方、再生回数制御部45は、特定フレーム画像60まで動画像38が再生されなかった場合、動画像38の再生回数のカウントアップは行わない(ステップS8でNO)。
以下、ユーザが他の動画像38の再生を行う場合、上述のステップS6からステップS11までの処理が繰り返し実行される(ステップS12)。
[本実施形態の効果]
本実施形態の内視鏡システム9は、動画像38を構成する各フレーム画像38aの中で特定フレーム画像60まで動画像38が再生された場合に、この動画像38の再生回数をカウントアップしている。このため、動画像38の全編を再生しなくとも、ユーザによる動画像38の内容確認が実質的に完了している場合に、この動画像38の再生回数をカウントアップさせることができる。その結果、ユーザによる各動画像38の再生状況を正確に把握することができる。
[その他]
上記実施形態の医療画像解析処理部43Aは、深層学習を用いた画像解析処理により、フレーム画像38aごとに注目領域61が含まれるか否かを判定しているが、他の方法を用いて判定を行ってもよい。例えばフレーム画像38aを複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。そして、フレーム画像38aの局所領域ごとに局所領域内の画素の特徴量(例えば色相)を算出する。次いで、各局所領域の中から特定の色相を有する局所領域を注目領域61として決定する。以下、全てのフレーム画像38aに対して上述の各処理を繰り返し実行する。
このように医療画像解析処理部43Aは、フレーム画像38a内の画素の特徴量に基づいてフレーム画像38a内の注目領域61を検出することができる。
上記実施形態では、医療画像処理装置14の医療画像解析処理部43Aによりフレーム画像38aごとに注目領域61が含まれているか否かを解析しているが、他の装置で行われたフレーム画像38aごとの画像解析結果を取得してもよい。例えば、医療画像解析処理部43Aは、フレーム画像38aごとの画像解析結果を記録した記録装置(記憶装置)から画像解析結果(特定フレーム情報56等)を取得する。この場合、医療画像解析処理部43Aは、画像解析結果を取得する医療画像解析結果取得部として機能する。
上記実施形態では、プロセッサ12と医療画像処理装置14とが別体に設けられているが、プロセッサ12と医療画像処理装置14とが一体化されていてもよい。すなわち、プロセッサ12に、医療画像処理装置14としての機能を設けてもよい。
上記実施形態では、内視鏡10により撮影された動画像38の再生について説明したが、例えば超音波診断装置、X線画像診断システム、デジタルマンモグラフィ、CT(Computed Tomography)検査装置、及びMRI(Magnetic Resonance Imaging)検査装置等の被観察部位の動画撮影を行う各種の医療装置により撮影された動画像38の再生を行う各種医療画像処理装置にも本発明を適用できる。また、本発明は、医療画像である動画像38の解析及び診断に用いられる画像診断(解析)装置、及び医療レポート作成等に用いられる診療業務支援装置等の動画像38の再生を行う各種動画再生装置に適用可能である。
[付記]
本明細書では以下に示す発明を含む多様な技術思想の開示を含んでいる。
[付記A1]
本発明に係る医療画像処理装置において、さらに、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
[付記A2]
本発明に係る医療画像処理装置において、さらに、医療画像解析処理部を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
[付記A3]
付記A1又は付記A2に係る医療画像処理装置において、医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
[付記B1]
付記A1から付記A3のいずれか1つに記載の医療画像処理装置において、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
[付記B2]
付記B1に係る医療画像処理装置において、医療画像は、特定の波長帯域の光を照射して得た画像であることを特徴とし、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
[付記B3]
付記B2に係る医療画像処理装置において、特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
[付記B4]
付記B3に係る医療画像処理装置において、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
[付記B5]
付記B2に係る医療画像処理装置において、特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
[付記B6]
付記B5に係る医療画像処理装置において、特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
[付記B7]
付記B2に係る医療画像処理装置において、特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
[付記B8]
付記B7に係る医療画像処理装置において、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
[付記B9]
付記B2に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
[付記B10]
付記B9に係る医療画像処理装置において、蛍光は、ピークが390nmから470nmである励起光を生体内に照射して得る医療画像処理装置。
[付記B11]
付記B2に係る医療画像処理装置において、医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
[付記B12]
付記B11に係る医療画像処理装置において、特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
[付記B13]
付記A1から付記A3のいずれか1つに記載の医療画像処理装置において、医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
[付記B14]
付記B13に係る医療画像処理装置において、特定の波長帯域の信号は、通常光画像に含まれる赤、緑、及び青あるいはシアン、マゼンタ、及びイエローの色情報に基づく演算により得る医療画像処理装置。
[付記B15]
付記A1から付記A3のいずれか1つに記載の医療画像処理装置において、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
[付記C1]
上記各付記のいずれか1つに記載の医療画像処理装置と、白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
[付記C2]
上記各付記のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
[付記C3]
上記各付記のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
9 内視鏡システム
10 内視鏡
11 光源装置
12 プロセッサ
13 表示装置
14 医療画像処理装置
16 表示装置
20 挿入部
21 操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
28 撮像素子
29 湾曲操作ノブ
30 送気送水ボタン
31 吸引ボタン
32 静止画像撮影指示部
33 処置具導入口
35 ライトガイド
36 信号ケーブル
37A コネクタ
37B コネクタ
38 動画像
38S サムネイル画像
38a フレーム画像
39 静止画像
39a ヘッダ情報
41 画像取得部
42 ユーザ特定部
43A 医療画像解析処理部
43B 画像特定部
44 表示制御部
44A 再生制御部
44B 情報表示制御部
45 再生回数制御部
47 記憶部
50 ユーザ情報
51 プログラム
53 画像記憶部
54 再生回数記憶部
56 特定フレーム情報
60 特定フレーム画像
61 注目領域
65 深層学習アルゴリズム
69 再生画像選択画面
71 ユーザ欄
72 画像一覧表示欄
72a 表示切替ボタン
73 カーソル
75 動画再生ボタン
77 再生回数表示
80 動画再生画面
80a クローズボタン
82 再生回数情報
85 シークバー
86 移動指標
87 固定指標
89 枠表示
S1〜S12 ステップ(医療画像処理方法)
SP 矢印

Claims (10)

  1. 表示装置での医療画像の動画像の再生を制御する動画再生制御部と、
    前記動画再生制御部による前記動画像の再生回数をカウントする再生回数制御部であって、且つ前記動画像を構成する複数のフレーム画像の中で特定フレーム画像まで前記動画像が再生された場合、前記動画像の再生回数をカウントアップする再生回数制御部と、
    前記再生回数制御部によりカウントされた前記動画像の再生回数を、前記表示装置に表示させる情報表示制御部と、
    を備える医療画像処理装置。
  2. 前記フレーム画像ごとに注目すべき領域である注目領域が含まれるか否かを解析して、前記注目領域を含む前記フレーム画像を前記特定フレーム画像として決定する医療画像解析処理部を備える請求項1に記載の医療画像処理装置。
  3. 前記医療画像解析処理部は、深層学習を用いた画像解析処理により前記フレーム画像内に前記注目領域が含まれるか否かを解析する請求項2に記載の医療画像処理装置。
  4. 前記動画像は、前記動画像の撮影と、前記動画像の撮影中に静止画像の撮影とを行う機能を有する医療装置により取得され、
    前記医療装置により前記静止画像の撮影が実行された場合、前記動画像の撮影中において前記静止画像の撮影が実行されたタイミングを示すタイミング情報を記憶するタイミング情報記憶部と、
    前記タイミング情報記憶部に記憶されている前記タイミング情報に基づき、前記静止画像の撮影が実行されたタイミングで撮影された前記フレーム画像を前記特定フレーム画像として決定する画像特定部と、
    を備える請求項1に記載の医療画像処理装置。
  5. 前記再生回数制御部によりカウントされた前記動画像の再生回数を記憶する再生回数記憶部を備える請求項1から4のいずれか1項に記載の医療画像処理装置。
  6. 前記動画再生制御部における前記動画像の再生を実行させるユーザを特定するユーザ特定部を備え、
    前記再生回数制御部は、前記動画像の再生回数のカウントを前記ユーザごとに個別に行い、
    前記再生回数記憶部は、前記動画像の再生回数を前記ユーザごとに個別に記憶する請求項5に記載の医療画像処理装置。
  7. 前記情報表示制御部は、前記動画像の再生の有無を示す再生有無情報を前記表示装置に表示させる請求項1から6のいずれか1項に記載の医療画像処理装置。
  8. 前記情報表示制御部は、前記動画像の再生回数として、前記動画像の再生回数を示す数字及びグラフの少なくとも一方を前記表示装置に表示させる請求項1から7のいずれか1項に記載の医療画像処理装置。
  9. 前記情報表示制御部は、前記動画像が複数存在する場合、前記動画像の再生回数を動画像ごとに前記表示装置に表示させる請求項1から8のいずれか1項に記載の医療画像処理装置。
  10. 表示装置での医療画像の動画像の再生を制御する動画再生制御ステップと、
    前記動画再生制御ステップで再生される前記動画像の再生回数をカウントする再生回数制御ステップであって、且つ前記動画像を構成する複数のフレーム画像の中で特定フレーム画像まで前記動画像が再生された場合、前記動画像の再生回数をカウントアップする再生回数制御ステップと、
    前記再生回数制御ステップでカウントされた前記動画像の再生回数を、前記表示装置に表示させる表示制御ステップと、
    を有する医療画像処理方法。
JP2019538044A 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理装置の作動方法 Active JP6975241B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017160986 2017-08-24
JP2017160986 2017-08-24
PCT/JP2018/029384 WO2019039252A1 (ja) 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2019039252A1 true JPWO2019039252A1 (ja) 2020-07-30
JP6975241B2 JP6975241B2 (ja) 2021-12-01

Family

ID=65438697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538044A Active JP6975241B2 (ja) 2017-08-24 2018-08-06 医療画像処理装置及び医療画像処理装置の作動方法

Country Status (4)

Country Link
US (1) US20200184644A1 (ja)
JP (1) JP6975241B2 (ja)
CN (1) CN111031889B (ja)
WO (1) WO2019039252A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020078954A1 (en) * 2018-10-16 2020-04-23 Koninklijke Philips N.V. A system and method for medical visit documentation automation and billing code suggestion in controlled environments
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267273A (ja) * 2003-03-05 2004-09-30 Sangaku Renkei Kiko Kyushu:Kk 医用システム
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP2009110539A (ja) * 2006-05-18 2009-05-21 Panasonic Corp 電子機器、コンテンツ再生制御方法、プログラム、記憶媒体、集積回路
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
JP2013183218A (ja) * 2012-02-29 2013-09-12 Nikon Corp 動画再生装置および動画再生プログラム
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380458B2 (ja) * 1998-01-30 2003-02-24 富士写真光機株式会社 電子内視鏡装置
JP4183819B2 (ja) * 1999-01-26 2008-11-19 オリンパス株式会社 医療用画像ファイリングシステム
WO2008142831A1 (ja) * 2007-05-17 2008-11-27 Olympus Medical Systems Corp. 画像情報の表示処理装置及び表示処理方法
CN102256533B (zh) * 2009-07-29 2014-03-05 奥林巴斯医疗株式会社 图像显示装置、解读辅助***以及解读辅助方法
KR100931931B1 (ko) * 2009-08-31 2009-12-15 주식회사 인트로메딕 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
WO2012042966A1 (ja) * 2010-09-28 2012-04-05 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN103491851B (zh) * 2011-05-30 2016-04-27 奥林巴斯株式会社 医疗信息记录装置
WO2013024687A1 (ja) * 2011-08-12 2013-02-21 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及び読影用プログラム
JP5980604B2 (ja) * 2012-07-18 2016-08-31 オリンパス株式会社 内視鏡システム
EP3100668A4 (en) * 2014-01-30 2017-11-15 Olympus Corporation Medical video recording and playback system and medical video recording and playback device
JP5959787B1 (ja) * 2014-11-27 2016-08-02 オリンパス株式会社 画像再生装置および画像再生プログラム
JP2016119590A (ja) * 2014-12-22 2016-06-30 ブラザー工業株式会社 動画サーバ装置及びシーン抽出プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267273A (ja) * 2003-03-05 2004-09-30 Sangaku Renkei Kiko Kyushu:Kk 医用システム
JP2009110539A (ja) * 2006-05-18 2009-05-21 Panasonic Corp 電子機器、コンテンツ再生制御方法、プログラム、記憶媒体、集積回路
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP2012045419A (ja) * 2011-11-14 2012-03-08 Fujifilm Corp 医用画像表示装置、医用画像表示システム及び医用画像表示方法、並びに内視鏡装置
JP2013183218A (ja) * 2012-02-29 2013-09-12 Nikon Corp 動画再生装置および動画再生プログラム
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宮崎祐太: "畳み込みニューラルネットワークを用いたカプセル内視鏡画像における小腸病変の位置検出", 情報処理学会研究報告, JPN7018003701, 2016, JP, ISSN: 0004548998 *

Also Published As

Publication number Publication date
WO2019039252A1 (ja) 2019-02-28
CN111031889A (zh) 2020-04-17
US20200184644A1 (en) 2020-06-11
CN111031889B (zh) 2022-04-05
JP6975241B2 (ja) 2021-12-01

Similar Documents

Publication Publication Date Title
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
CN111295127B (zh) 检查支持装置、内窥镜装置及记录介质
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7346693B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US11978184B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
US20200170484A1 (en) Diagnosis support system, endoscope system, processor and diagnosis support method
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN112969403A (zh) 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
US20200184644A1 (en) Medical image processing device and medical image processing method
JP2024051041A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2020184257A1 (ja) 医用画像処理装置及び方法
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP2021101900A (ja) 学習データ作成装置、方法及びプログラム並びに医療画像認識装置
JPWO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
WO2022044642A1 (ja) 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
WO2021176852A1 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
CN116916808A (zh) 医用图像处理装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211105

R150 Certificate of patent or registration of utility model

Ref document number: 6975241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150