JP7389823B2 - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び、画像処理プログラム Download PDF

Info

Publication number
JP7389823B2
JP7389823B2 JP2021570594A JP2021570594A JP7389823B2 JP 7389823 B2 JP7389823 B2 JP 7389823B2 JP 2021570594 A JP2021570594 A JP 2021570594A JP 2021570594 A JP2021570594 A JP 2021570594A JP 7389823 B2 JP7389823 B2 JP 7389823B2
Authority
JP
Japan
Prior art keywords
image
observation mode
endoscopic
automatic recording
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570594A
Other languages
English (en)
Other versions
JPWO2021144951A1 (ja
JPWO2021144951A5 (ja
Inventor
裕也 川畑
誠 北村
明広 窪田
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2021144951A1 publication Critical patent/JPWO2021144951A1/ja
Publication of JPWO2021144951A5 publication Critical patent/JPWO2021144951A5/ja
Application granted granted Critical
Publication of JP7389823B2 publication Critical patent/JP7389823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736Gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Endoscopes (AREA)

Description

本発明は、予め定めた検査部位が撮影された画像を自動的に記録する画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。このような内視鏡システムを用いた胃の一次検診では、二次検診において病変の見逃しを防止するために、網羅性の高い画像の記録が要求されている。
例えば、日本国特開2010-51399号公報には、内視鏡画像の記録を自動的に開始し、かつ、自動的に停止することができる内視鏡画像記録装置が開示されている。この内視鏡画像記録装置は、内視鏡により得られる画像信号に赤色がしきい値以上含むか否かを判定し、画像信号に赤色がしきい値以上含むと判定された場合に画像信号の記録を自動的に開始し、しきい値以上含まないと判定された場合に画像信号の記録を自動的に停止する。
しかしながら、この内視鏡画像記録装置では、画像信号に赤色が閾値以上含まれない場合、検査対象の部位であっても内視鏡画像が記録されることがない。通常、内視鏡を用いた内視鏡検査では、内視鏡検査の経験が浅い医師が検診を実施する可能性もある。そのため、上述した内視鏡画像記録装置を用いた場合、内視鏡検査の経験が浅い医師が検診を実施した際に、画像の記録が必要な検査部位を見逃してしまい、検査部位の画像が記録されていないという事象が発生する虞がある。
このような検査部位の画像が記録されていないという事象が発生することを防止するために、医師の技量に依存しない検査部位の自動記録技術が必要とされている。
本発明は、上記事情に鑑みてなされたものであり、予め定めた検査部位が撮影された内視鏡画像を自動的に記録することができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
本発明の一態様の画像処理装置は、被検体の体内を撮像した被判定用内視鏡画像を入力する入力部と、予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断する部位判断部と、条件判定部と、自動記録部と、を有し、前記条件判定部は、前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定し、前記自動記録部は、前記部位判断部により同一または類似していると判断された場合、かつ、前記条件判定部により前記自動記録に適した観察モードであると判定された場合に、前記入力部に入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録する。
また、本発明の一態様の画像処理方法は、被検体の体内を撮像した被判定用内視鏡画像を入力し、予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断し、前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定し、同一または類似していると判断された場合、かつ、前記自動記録に適した観察モードであると判定された場合に、入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録する。
また、本発明の一態様の画像処理プログラムは、被検体の体内を撮像した被判定用内視鏡画像を入力するコードと、予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断するコードと、前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定するコードと、同一または類似していると判断された場合、かつ、前記自動記録に適した観察モードであると判定された場合に、入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録するコードと、をコンピュータに実行させる。
本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図である。 ビデオプロセッサ3の構成の一例を示す図である。 予め定めた検査部位の一例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 表示装置の表示画面上に表示される表示画面例を説明するための図である。 第1の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。 第2の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
なお、以下の説明に用いる各図において、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものもある。即ち、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図であり、図2は、ビデオプロセッサの構成の一例を示す図であり、図3は、予め定めた検査部位の一例を説明するための図である。
図1に示すように、内視鏡システム1は、いわゆる上部消化管用の内視鏡システムである。内視鏡システム1は、被検体Pの体腔内に先端部を挿入することによって被写体Pの体内画像を撮像し、被写体像の画像信号を出力する撮像部を備える内視鏡2と、内視鏡2における撮像部から出力される画像信号に対して所定の画像処理を施す画像処理部を備えるとともに内視鏡システム1全体の動作を統括的に制御する画像処理装置としてのビデオプロセッサ3と、内視鏡2の先端から出射するための照明光を発生する光源装置4と、ビデオプロセッサ3において画像処理が施された画像を表示する表示装置5と、を主に備える。
内視鏡2は、先端部に撮像部を備えると共に主として可撓性を有する細長形状部により構成される挿入部6と、挿入部6の基端側に接続され各種の操作信号の入力を受け付ける操作部7と、操作部7から基端側に向けて延出されビデオプロセッサ3および光源装置4と接続するユニバーサルコード8と、を備える。
ここで内視鏡2は、挿入部6の先端部に配設した撮像部とビデオプロセッサ3における画像処理部との間において、挿入部6における撮像部から挿入部6、操作部7およびユニバーサルコード8のそれぞれ内部を経由してビデオプロセッサ3の画像処理部に至るまで延設され、撮像部からの画像信号等の伝送するための信号伝送路を備える。
挿入部6は、最先端部に配設された、撮像素子等を備えた撮像部9を内蔵した先端部10と、先端部10の基端側に配設され、複数の湾曲駒によって構成された湾曲自在な湾曲部11と、湾曲部11の基端側に接続され、可撓性を有する長尺状の可撓管部12と、を有する。
操作部7には、湾曲操作部、及び、各種スイッチ等が設けられている。湾曲操作部は、湾曲部11を湾曲動作させる際に操作される。各種スイッチは、例えば、レリーズスイッチ、フリーズスイッチ、あるいは、通常光観察(WLI)と狭帯域光観察(NBI)との切替を行うための観察モード切替スイッチ等である。
また、ビデオプロセッサ3は、インターネット13を経由してサーバ14に接続されている。ビデオプロセッサ3は、撮像部9により撮像された内視鏡画像をインターネット13を経由してサーバ14に送信したり、サーバ14からインターネット13を経由して所望のデータを受信することができる。
図2に示すように、ビデオプロセッサ3は、CPU15と、I/F16と、RAM17と、ROM18と、記録部19と、バス20とを有して構成されている。CPU15、I/F16、RAM17、ROM18及び記録部19は、互いにバス20を介して接続されている。
I/F16には、内視鏡2の撮像部9により撮像された内視鏡画像(画像信号)が入力される。また、ROM18には、画像処理プログラム18aが記憶されている。プロセッサを構成するCPU15は、ROM18から画像処理プログラム18aを読み出し、RAM17に展開して実行することで、後述する内視鏡画像の自動記録処理を実行することができる。
メモリとしての記録部19には、後述する自動記録処理により自動記録を実行すると判断された内視鏡画像が記録される。
本実施形態では、CPU15は、予め定めた検査部位の内視鏡画像を記録部19に自動記録する。ここで、予め定めた検査部位は、図3に示すように、胃21の噴門部22、胃底部(穹窿部)23、胃体部24、胃角部25及び幽門部26である。なお、予め定めた検査部位は、胃21に限定されることなく、咽頭、食道、小腸、あるいは、大腸等であってもよい。
ここで、内視鏡検査中に表示装置5に表示画面上に表示される表示画面例を図4A~図4Fを用いて説明する。
図4A~図4Fは、表示装置の表示画面上に表示される表示画面例を説明するための図である。
図4Aに示すように、表示装置5の表示画面5a上には、内視鏡画像31と、患者情報32と、検査部位情報33と、サムネイル34とが表示される。
内視鏡画像31には、内視鏡2の撮像部9により取得された画像が表示される。患者情報32には、患者名、性別及び年齢等の情報が表示される。
検査部位情報33には、予め定めた検査部位である噴門部22、胃底部23、胃体部24、胃角部25、幽門部26の情報が表示される。サムネイル34には、胃21のモデル画像34aが表示される。モデル画像34aには、胃21の噴門部22、胃底部23、胃体部24、胃角部25、幽門部26のそれぞれの位置に対応して、マーカー35、36、37、38及び39が表示される。
噴門部22が撮影された内視鏡画像が記録部19に自動記録されると、図4Bに示すように、検査部位情報33の噴門部22にハッチングが掛けられる。また、サムネイル34のモデル画像34aにおいて、自動記録された検査部位である噴門部22に対応する位置のマーカー35が塗り潰される。
次に、胃底部23が撮影された内視鏡画像が記録部19に自動記録されると、図4Cに示すように、検査部位情報33の胃底部23にハッチングが掛けられる。また、サムネイル34のモデル画像34aにおいて、自動記録された検査部位である胃底部23に対応する位置のマーカー36が塗り潰される。
次に、胃体部24が撮影された内視鏡画像が記録部19に自動記録されると、図4Dに示すように、検査部位情報33の胃体部24にハッチングが掛けられる。また、サムネイル34のモデル画像34aにおいて、自動記録された検査部位である胃体部24に対応する位置のマーカー37が塗り潰される。
次に、胃角部25が撮影された内視鏡画像が記録部19に自動記録されると、図4Eに示すように、検査部位情報33の胃角部25にハッチングが掛けられる。また、サムネイル34のモデル画像34aにおいて、自動記録された検査部位である胃角部25に対応する位置のマーカー38が塗り潰される。
次に、幽門部26が撮影された内視鏡画像が記録部19に自動記録されると、図4Fに示すように、検査部位情報33の幽門部26にハッチングが掛けられる。また、サムネイル34のモデル画像34aにおいて、自動記録された検査部位である幽門部26に対応する位置のマーカー39が塗り潰される。
例えば、胃底部23が撮影された内視鏡画像が記録部19に記録されていない場合、検査部位情報33の胃底部23にハッチングが掛けられていない状態となる。さらに、サムネイル34のモデル画像34aにおいて、胃底部23に対応する位置のマーカー36が塗り潰されていない状態となる。医師は、表示装置5の表示画面5aに表示された検査部位情報33、サムネイル34を確認することで、記録部19に内視鏡画像が記録がされていない検査部位を容易に把握することができる。
例えば、挿入部6の先端部10が幽門部26に達した後に胃底部23の記録漏れがあったことを医師が把握した場合、挿入部6の先端部10を抜去する際に記録漏れがあった検査部位である胃底部23の画像記録を行うことができる。
次に、このように構成された内視鏡システムの自動記録処理について説明する。図5は、第1の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。
この図5の自動記録処理は、プロセッサを構成するCPU15が、ROM18から画像処理プログラム18aを読み出し、RAM17に展開して実行することで行われる。なお、プロセッサの全部若しくは一部の機能は、論理回路あるいはアナログ回路を用いて構成してもよく、また、各種プログラムの処理を、FPGA(Field Programmable Gate Array)等の電子回路により実現するようにしてもよい。
まず、CPU15は、被検体Pの体腔内を撮像した内視鏡画像を入力する(S1)。このS1の処理が入力部を構成する。内視鏡画像は、内視鏡2の撮像部9により撮像された画像である。撮像部9により撮像された内視鏡画像は、I/F16を経由してCPU15に入力される。
次に、CPU15は、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する(S2)。このS2の処理が部位判断部を構成する。ここで、予め定めた検査部位は、上述したように、胃21の噴門部22、胃底部23、胃体部24、胃角部25及び幽門部26である。
具体的には、部位判断部は、深層学習(ディープラーニング)により生成される深層学習モデルを用いて、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断する。部位判断部は、胃21の部位を判定する深層学習モデルに内視鏡画像を入力し、撮像部位の推論結果を取得する。部位判断部は、推論結果の情報から検査部位と撮像部位とが同一または類似しているか否かを判断する。
なお、S2の処理は、例えば、サーバ14上で実行されてもよい。すなわち、サーバ14に深層学習モデルを記憶しておくとともに、CPU15は、入力部に入力された内視鏡画像をインターネット13を経由してサーバ14に送信し、サーバ14上で検査部位と撮像部位とが同一または類似しているか否かを判断する。そして、CPU15は、サーバ14からインターネット13を経由して判断結果を受け取り、検査部位と撮像部位とが同一または類似しているという判断結果を受け取った場合、入力部に入力した内視鏡画像を記録部19に自動記録する。
また、部位判断部は、深層学習により生成される深層学習モデルを用いて、撮像部位の判断を行っているが、これに限定されることなく、例えばZNCC(Zero-mean Normalized Cross-Correlation)アルゴリズム等の類似度算出アルゴリズムを用いて、予め蓄積された内視鏡画像と入力された内視鏡画像との類似度を算出し、算出した類似度を用いて撮像部位が予め定めた検査部位か否かを判断してもよい。
CPU15は、部位判断部により同一または類似していないと判断された場合(S2:NO)、S1の処理に戻り同様の処理を繰り返す。一方、CPU15は、部位判断部により同一または類似していると判断された場合(S2:YES)、入力部に入力した内視鏡画像を記録部19に自動的に記録する(S3)。このS3の処理が自動記録部を構成する。なお、記録部19には静止画が記録されるが、静止画に限定されることなく、動画を記録してもよい。
ここで、同じ検査部位の内視鏡画像が記録部19に大量に記録されると、記録部19の記録容量を圧迫したり、二次検診時に二次読影者の負担が大きくなってしまう。
そこで、自動記録部は、部位判断部により同一または類似していると判断された内視鏡画像を所定枚数(例えば3枚~5枚)、記録部19に自動的に記録する。この結果、記録部19の記録容量を圧迫することがなく、かつ、二次読影者の負担を小さくすることができる。
なお、自動記録部は、記録部19に複数枚記録された内視鏡画像から観察画像に適した代表画像を検査部位毎に選定し、選定しなかった内視鏡画像を記録部19から削除するようにしてもよい。自動記録部は、例えば、S2の処理により、予め定めた検査部位に最も類似している判断された画像を代表画像に選定する。この結果、噴門部22、胃底部23、胃体部24、胃角部25、幽門部26のそれぞれにおいて、観察に最も適した代表画像が1枚だけ記録部19に記録されることになる。
また、自動記録部は、代表画像を選定した場合、それ以降において、代表画像を選定した検査部位の画像を記録部19に記録しないようにしてもよい。すなわち、自動記録部は、噴門部22の代表画像を記録部19に記録した場合、その後、噴門部22の内視鏡画像は、記録部19に記録しないようにする。
最後に、CPU15は、予め定めた検査部位が全て記録されたか否かを判定する(S4)。CPU15は、予め定めた検査部位が全て記録されていないと判定した場合(S4:NO)、S1の処理に戻り同様の処理を繰り返す。一方、CPU15は、予め定めた検査部位が全て記録されたと判定した場合(S4:YES)、自動記録処理を終了する。
以上の処理により、予め定めた検査部位に関する内視鏡画像と、入力部に入力した内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、同一または類似していると判断された内視鏡画像を記録部19に自動的に記録することができる。
よって、本実施形態の画像処理装置によれば、予め定めた検査部位が撮影された内視鏡画像を自動的に記録することができる。
また、本実施形態の画像処理装置により、上記で説明した自動記録処理を実行することで、記録が必要な検査部位が撮影された内視鏡画像の記録漏れを防ぐことができる。この結果、医師は、内視鏡検査中に内視鏡画像の記録漏れについて危惧する必要がなくなるため、内視鏡検査に集中することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
第2の実施形態の全体構成は、第1の実施形態と同一である。第2の実施形態では、自動記録処理が第1の実施形態と異なる。第1の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断して自動記録を実行していた。これに対して、第2の実施形態では、予め定めた検査部位と、内視鏡画像の撮像部位とが同一または類似しているか否かを判断し、かつ、自動記録に適した条件か否かの判定を行い、自動記録を実行する。
図6は、第2の実施形態の自動記録処理の流れの一例を説明するためのフローチャートである。なお、図6において、図5と同様の処理については、同一の符号を付して説明を省略する。
S2の処理により、部位判断部により類似していると判断された場合、CPU15は、自動記録に適した条件か否かを判定する(S11)。このS11の処理が条件判定部を構成する。
具体的には、条件判定部は、光源設定部からの光源の設定値を取得する。条件判定部は、光源の設定値が通常光観察(WLI)の設定値か、あるいは、狭帯域光観察(NBI)の設定値かを取得する。例えば、条件判定部は、通常光観察の設定値が設定されている場合、自動記録に適していない条件と判定し、狭帯域光観察の設定値が設定されている場合、自動記録に適している条件と判定する。なお、光源の設定値は、通常光観察(WLI)の設定値、及び、狭帯域光観察(NBI)の設定値に限定されることなく、他の特殊光観察の設定値であってもよい。
CPU15は、条件判定部により自動記録に適した条件でないと判定された場合(S11:NO)、S1の処理に戻り、同様の処理を繰り返す。一方、CPU15は、条件判定部により自動記録に適した条件であると判定された場合(S11:YES)、S12の処理に進む。
CPU15は、部位判断部により同一または類似している判断された場合、かつ、条件判定部により自動記録に適した条件と判定された場合、入力部に入力した内視鏡画像を記録部19に自動的に記録する(S12)。S12の処理が自動記録部を構成する。
ここで、自動記録部は、第1の実施形態と同様に、部位判断部により同一または類似している判断され、かつ、条件判定部により自動記録に適した条件と判定された内視鏡画像を所定枚数だけ記録部19に記録する。
なお、自動記録部は、第1の実施形態と同様に、記録部19に複数枚記録された内視鏡画像から観察画像に適した代表画像を検査部位毎に選定し、選定しなかった内視鏡画像を記録部19から削除するようにしてもよい。また、自動記録部は、自動記録部は、代表画像を選定した場合、それ以降において、代表画像を選定した検査部位の画像を記録部19に記録しないようにしてもよい。
最後に、CPU15は、S4の処理において、検査部位が全て記録されていないと判定した場合、S1の処理に戻り、検査部位が全て記録されたと判定した場合、自動記録処理を終了する。
なお、自動記録に適した条件は、光源の設定値に限定されることなく、他の条件であってもよい。
条件判定部は、内視鏡と撮像部位との距離を取得する距離取得部により取得された内視鏡の先端部10と撮像部位との距離に応じて、自動記録に適した条件か否かを判定してもよい。
例えば、条件判定部は、距離取得部により取得された内視鏡の先端部10と撮像部位との距離が所定値以下の場合、自動記録に適した条件と判定する。一方、条件判定部は、距離取得部により取得された内視鏡の先端部10と撮像部位との距離が所定値よりも大きい場合、自動記録に適した条件でないと判定する。
また、条件判定部は、内視鏡に対する撮像部位の方向を推定する方向推定部により推定された内視鏡に対する撮像部位の方向に応じて、自動記録に適した条件か否かを判定してもよい。
例えば、条件判定部は、方向推定部により撮像部位の方向が所定の方向を向いていると推定された場合、自動記録に適した条件と判定する。一方、条件判定部は、方向推定部により撮像部位の方向が所定の方向を向いていないと推定された場合、自動記録に適した条件でないと判定する。
さらに、条件判定部は、入力部に入力した内視鏡画像から対象物を検出する対象物検出部により検出された対象物の種類に応じて、自動記録に適した条件か否かを判定してもよい。対象物検出部により検出される対象物は、病変領域、粘膜領域、不要物(食物残渣あるいは泡等)領域、暗部領域、あるいは、ハレーション領域等である。
例えば、条件判定部は、対象物検出部により病変領域、または、粘膜領域が検出された場合、自動記録に適した条件と判定する。一方、条件判定部は、対象物検出部により、不要物領域、暗部領域、または、ハレーション領域が検出された場合、自動記録に適した条件でないと判定する。
なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD-ROM等の可搬媒体や、ハードディスク等の非一時的なコンピュータ読み取り可能な記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムコードがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを経由して流通または提供することができる。利用者は、通信ネットワークを経由してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置を実現することができる。
また、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (13)

  1. 被検体の体内を撮像した被判定用内視鏡画像を入力する入力部と、
    予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断する部位判断部と、
    条件判定部と、
    自動記録部と、を有し、
    前記条件判定部は、前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定し、
    前記自動記録部は、前記部位判断部により同一または類似していると判断された場合、かつ、前記条件判定部により前記自動記録に適した観察モードであると判定された場合に、前記入力部に入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録する画像処理装置。
  2. 前記条件判定部は、内視鏡の先端部と撮像部位との距離に応じて、前記自動記録に適した観察モードあるか否かを判定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記条件判定部は、内視鏡に対する撮像部位の方向に応じて、前記自動記録に適した観察モードであるか否かを判定することを特徴とする請求項1に記載の画像処理装置。
  4. 前記条件判定部は、前記被判定用内視鏡画像から検出された対象物の種類に応じて、前記自動記録に適した観察モードであるか否かを判定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記自動記録部は、前記記録部に記録された前記所定枚数の内視鏡画像から観察に適した代表画像を選定して前記記録部に記録することを特徴とする請求項1に記載の画像処理装置。
  6. 前記自動記録部は、前記所定枚数の内視鏡画像のうち、前記代表画像に選定されなかった内視鏡画像を前記記録部から削除することを特徴とする請求項5に記載の画像処理装置。
  7. 前記自動記録部は、検査部位毎に前記代表画像を選定することを特徴とする請求項5に記載の画像処理装置。
  8. 前記自動記録部は、前記代表画像を選定した後、前記代表画像を選定した検査部位に関する内視鏡画像を前記記録部に記録しないことを特徴とする請求項5に記載の画像処理装置。
  9. 前記予め定めた検査部位は、胃であることを特徴とする請求項1に記載の画像処理装置。
  10. 前記予め定めた検査部位は、前記胃の噴門部、胃底部、胃体部、胃角部及び幽門部であることを特徴とする請求項9に記載の画像処理装置。
  11. 前記予め定めた検査部位は、咽頭、食道、小腸、あるいは、大腸であることを特徴とする請求項1に記載の画像処理装置。
  12. 被検体の体内を撮像した被判定用内視鏡画像を入力し、
    予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断し、
    前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定し、
    同一または類似していると判断された場合、かつ、前記自動記録に適した観察モードであると判定された場合に、入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録する、ことを特徴とする画像処理方法。
  13. 被検体の体内を撮像した被判定用内視鏡画像を入力するコードと、
    予め定めた検査部位に関する対比用内視鏡画像と、前記被判定用内視鏡画像とが同一または類似しているか否かを判断するコードと、
    前記被判定用内視鏡画像の観察モードが、白色光観察モードおよび少なくとも1種の特殊光観察モードのうち自動記録に適した観察モードであるか否かを判定するコードと、
    同一または類似していると判断された場合、かつ、前記自動記録に適した観察モードであると判定された場合に、入力した前記被判定用内視鏡画像を所定枚数、記録部に自動的に記録するコードと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2021570594A 2020-01-17 2020-01-17 画像処理装置、画像処理方法、及び、画像処理プログラム Active JP7389823B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001476 WO2021144951A1 (ja) 2020-01-17 2020-01-17 画像処理装置、画像処理方法、及び、画像処理プログラム

Publications (3)

Publication Number Publication Date
JPWO2021144951A1 JPWO2021144951A1 (ja) 2021-07-22
JPWO2021144951A5 JPWO2021144951A5 (ja) 2022-07-20
JP7389823B2 true JP7389823B2 (ja) 2023-11-30

Family

ID=76864086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570594A Active JP7389823B2 (ja) 2020-01-17 2020-01-17 画像処理装置、画像処理方法、及び、画像処理プログラム

Country Status (3)

Country Link
US (1) US20220345659A1 (ja)
JP (1) JP7389823B2 (ja)
WO (1) WO2021144951A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278964A (ja) 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2016189812A (ja) 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2019130924A1 (ja) 2017-12-26 2019-07-04 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3958526B2 (ja) * 2001-02-28 2007-08-15 ペンタックス株式会社 電子内視鏡装置の観察部位表示システム
JP5825886B2 (ja) * 2011-07-04 2015-12-02 Hoya株式会社 画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2017006618A1 (ja) * 2015-07-09 2017-01-12 オリンパス株式会社 サーバ、内視鏡システム、送信方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278964A (ja) 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2016189812A (ja) 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2019130924A1 (ja) 2017-12-26 2019-07-04 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20220345659A1 (en) 2022-10-27
JPWO2021144951A1 (ja) 2021-07-22
WO2021144951A1 (ja) 2021-07-22

Similar Documents

Publication Publication Date Title
US8353816B2 (en) Endoscopy system and method therefor
JP5280620B2 (ja) 生体内のフィーチャーを検出するためのシステム
US20090051695A1 (en) Image processing apparatus, computer program product, and image processing method
EP2727514B1 (en) Image processing device
US8467615B2 (en) Image display apparatus
JP6774552B2 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
US20210361142A1 (en) Image recording device, image recording method, and recording medium
JP4749732B2 (ja) 医用画像処理装置
JP2018139846A (ja) 内視鏡システム及びその作動方法
JP3984230B2 (ja) 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム
JP6313913B2 (ja) 内視鏡画像観察支援システム
US20190298159A1 (en) Image processing device, operation method, and computer readable recording medium
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7389823B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP4445742B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP7138719B2 (ja) 内視鏡システムに用いる画像処理装置、内視鏡システム及び内視鏡システムの作動方法
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2021241735A1 (ja) 内視鏡プロセッサ装置
WO2024121885A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
US20240013389A1 (en) Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program
KR20230163723A (ko) 내시경 검사 판독 보조 시스템
JPWO2021144951A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231117

R151 Written notification of patent or utility model registration

Ref document number: 7389823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151