JP7135082B2 - 内視鏡装置、内視鏡装置の作動方法、及びプログラム - Google Patents
内視鏡装置、内視鏡装置の作動方法、及びプログラム Download PDFInfo
- Publication number
- JP7135082B2 JP7135082B2 JP2020519528A JP2020519528A JP7135082B2 JP 7135082 B2 JP7135082 B2 JP 7135082B2 JP 2020519528 A JP2020519528 A JP 2020519528A JP 2020519528 A JP2020519528 A JP 2020519528A JP 7135082 B2 JP7135082 B2 JP 7135082B2
- Authority
- JP
- Japan
- Prior art keywords
- lesion
- unit
- examination
- information
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
Description
本発明は、内視鏡装置、内視鏡操作方法、及びプログラムに関し、特に撮影された病変の数をカウントする技術に関する。
内視鏡を使用して患者の診断を行う場合には、術者(又は医師)は、内視鏡装置の複雑な操作を行いつつ、内視鏡装置のモニタに映された画像を観察して病変を発見して診断を行わなければならない。内視鏡検査中の術者の負担を軽減することが望まれている。
従来より、内視鏡検査中の術者の観察及び診断を支援する提案がされている。
例えば特許文献1に記載された技術は、内視鏡装置で撮影された一連の画像(内視鏡画像)から、診断に有益な画像を優先的に抽出することを目的としている。例えば、特許文献1に記載された技術では、出血、発赤、アフタ、潰瘍等の異常領域(病変)の数をカウントし、この異常領域の数に基づいて代表画像を抽出する。そして、抽出された代表画像は診断に使用される。
ここで、内視鏡検査において、患者が有する病変の数は重要な情報である。術者は、内視鏡検査中に病変の数をカウントし、検査の終了後に病変の数に基づいてレポートを作成したりする。
しかしながら、1回の内視鏡検査において多数の病変が発見された場合や、内視鏡検査が長時間に及んだ場合には、術者が病変の数を正確にカウント及び記憶できない場合がある。
また、内視鏡検査は、基本的に体内にスコープを挿入するときに体内を洗浄し観察しやすい条件を整えた後、抜去しながら詳しい観察を行う。ここで、スコープは挿入時と抜去時とで同じ経路を往復するので、挿入時及び抜去時において同じ数の病変を発見するはずである。しかしながら、実際の内視鏡検査においては様々な要因により、挿入時に発見した病変を抜去時に見逃してしまう場合がある。
このような問題に対処する為に、内視鏡検査期間中に病変の数を正確にカウントし、術者の内視鏡検査を支援することにより、負担を軽減することが望まれている。
特許文献1には、内視鏡検査期間中に患者が有する病変の数を正確にカウントし、術者の内視鏡検査を支援することに関する言及はない。
本発明はこのような事情に鑑みてなされたもので、その目的は、内視鏡検査期間中に病変の数を正確にカウントし、術者を支援することにより、術者の負担を軽減し、内視鏡検査を正確に且つ効率的に実施することができる内視鏡装置、内視鏡操作方法、及びプログラムを提供することである。
上記目的を達成するための本発明の一の態様である内視鏡装置は、内視鏡検査期間中に撮影される時系列の画像から病変が検出された場合、検出された病変を示す第1病変画像及び第1病変画像の特徴を示す特徴量のうちの少なくとも一方を示す取得病変情報を取得する病変情報取得部と、病変情報取得部で既に取得された第1の病変情報である既存病変情報と、病変情報取得部が新たに取得した取得病変情報とを比較し、既存病変情報と同じ病変に対応する取得病変情報であるか否かを識別する病変識別部と、1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウント部と、病変カウント部がカウントした病変数を表示する表示部と、病変カウント部を制御する制御部であって、病変識別部により既存病変情報と同じ病変に対応する取得病変情報でないと識別されると、病変カウント部によりカウントされる病変数を1つ増加させる制御部と、を備える。
本態様によれば、1回の内視鏡検査に検出される病変の個数である病変数がカウントされ、カウントした病変数が表示部に表示されるので、内視鏡検査を実施する術者の負担が軽減され、内視鏡検査を正確に且つ効率的に実施することができる。
好ましくは、内視鏡装置は、内視鏡検査を第1検査と第2検査とに分割する分割指示を制御部に出力する検査分割部を備え、制御部は、分割指示に基づいて、病変カウント部に第1検査の病変数のカウントと第2検査の病変数のカウントを別々に行わせる。
本態様によれば、検査分割部により、内視鏡検査を第1検査と第2検査とに分割する分割指示が制御部に出力され、制御部は分割指示に基づいて、病変カウント部に第1検査の病変数のカウントと第2検査の病変数のカウントを別々に行わせる。これにより、1回の内視鏡検査において、病変数のカウントを分割して行うことができ、術者の支援をより的確に行うことができる。
好ましくは、検査分割部が出力する分割指示は、第1検査はスコープの挿入時であり、第2検査はスコープの抜去時である。
本態様によれば、スコープの挿入時と抜去時とに内視鏡検査が分割されて病変数がカウントされるので、挿入時の発見した病変数と抜去時の発見した病変数を比較しながら検査を行うことができ、術者の検査の負担を軽減することができる。例えば、術者が挿入時に発見した病変数と抜去時に発見した病変数を比較しながら内視鏡検査を行うことで、内視鏡検査時の病変の見落としを抑制することができる。
また、上記目的を達成するための本発明の一の態様である内視鏡装置は、内視鏡検査期間中に撮影される時系列の画像から病変が検出された場合、検出された病変を示す第1病変画像及び第1病変画像の特徴を示す特徴量のうちの少なくとも一方を示す取得病変情報を取得する病変情報取得部と、時系列の画像から、病変を識別する病変識別部と、1回の内視鏡検査で検出される病変の個数である病変数をカウントする病変カウント部と、病変カウント部がカウントした病変数を表示する表示部と、病変カウント部を制御する制御部と、内視鏡検査を、スコープの挿入時に行う第1検査と、スコープの抜去時に行う第2検査とに分割する分割指示を制御部に出力する検査分割部と、を備え、第1検査において、病変識別部は、病変情報取得部で既に取得された取得病変情報である既存病変情報と、病変情報取得部が新たに取得した取得病変情報とを比較し、既存病変情報と同じ病変を示す取得病変情報であるか否かを識別し、制御部は、病変識別部により既存病変情報と同じ病変を示す取得病変情報でないと識別されると、病変カウント部によりカウントされる病変数を1つ増加させ、第1検査に続いて行われる第2検査において、病変識別部は、第1検査で取得済みの既存病変情報と、第2検査で新たに取得した取得病変情報とを、比較し、第1検査で取得済みの既存病変情報と同じ病変を示すか否かを識別し、制御部は、第1検査が完了したときの病変数を残存病変数とし、病変識別部が、第1検査で取得済みの既存病変情報と同じ病変を示す取得病変情報であると識別した場合には、残存病変数を1つ減らして残存病変数を更新し、表示部は、残存病変数に基づいて、残存病変数を表示する。
本態様によれば、残存病変数が更新され、表示部に残存病変数が表示されるので、術者の検査を的確に支援することができる。例えば、術者は残存病変数を確認しながら内視鏡検査を行うことで、内視鏡検査時の病変の見落とし抑制することができる。
好ましくは、制御部は、病変識別が第1検査における既存病変情報と同じ病変を示す取得病変情報でないと識別した場合には、病変カウント部に第2検査の新規病変数としてカウントさせ、表示部は、新規病変数を表示する。
本態様によれば、第2検査で新たに発見された病変を新規病変数としてカウントして、表示部に新規病変数として表示するので、術者の検査の支援をより的確に行うことができる。
好ましくは、検査分割部は、ユーザの指示に基づいて、分割指示を制御部に出力する。
本態様によれば、ユーザの指示に基づいて、分割指示が制御部に出力されるので、ユーザ(例えば術者)は任意のタイミングで検査の分割を行うことができる。
好ましくは、検査分割部は、自動で分割指示を制御部に出力する。
本態様によれば、自動で分割指示を制御部に出力するので、術者の負担を軽減することができる。
好ましくは、表示部は、内視鏡検査中の画像と共に、病変数を表示する。
本態様によれば、表示部に内視鏡検査中の画像と共に、病変数が表示されるので、術者は観察を行いながら病変数を確認することができる。
好ましくは、内視鏡装置は、既存病変情報は第1病変画像に対応する第2病変画像を有し、表示部は、第2病変画像と共に病変数を表示する。
本態様によれば、第2病変画像と共に病変数が表示部に表示されるので、術者は既に取得された病変画像と病変数とを同時に確認することができる。
好ましくは、表示部は、検査分割部が分割指示を制御部に出力した場合には、第1検査の病変数及び第2検査の病変数を表示する。
本態様によれば、検査分割部が分割指示を制御部に出力した場合には、第1検査の病変数及び第2検査の病変数が表示されるので、術者の支援を的確に行うことができる。
好ましくは、内視鏡装置は、既存病変情報を保存する保存部を備え、病変識別部は、保存部に保存された既存病変情報と、病変情報取得部が新たに取得した取得病変情報とを比較し、既存病変情報と同じ病変に対応する取得病変情報であるか否かを識別する。
好ましくは、保存部は、病変情報取得部で取得された取得病変情報の全て、又は一部を既存病変情報として保存する請求項10に記載の内視鏡装置。
本態様によれば、病変情報取得部で取得された取得病変情報の全て、又は一部を既存病変情報として保存されるので、効率的な既存病変情報の保存を行うことができる。
本発明の他の態様である内視鏡操作方法は、内視鏡検査期間中に撮影される時系列の画像から病変が検出された場合、検出された病変を示す第1病変画像及び第1病変画像の特徴を示す特徴量のうちの少なくとも一方を示す取得病変情報を取得する病変画像取得ステップと、病変画像取得ステップで既に取得された第1の病変情報である既存病変情報と、病変画像取得ステップが新たに取得した取得病変情報とを比較し、既存病変情報と同じ病変に対応する取得病変情報であるか否かを識別する病変識別ステップと、1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウントステップと、病変カウントステップがカウントした病変数を表示する表示ステップと、病変カウントステップを制御する制御ステップであって、病変識別ステップにより既存病変情報と同じ病変に対応する取得病変情報でないと識別されると、病変カウントステップによりカウントされる病変数を1つ増加させる制御ステップと、を含む。
本発明の他の態様であるプログラムは、内視鏡検査期間中に撮影される時系列の画像から病変が検出された場合、検出された病変を示す第1病変画像及び第1病変画像の特徴を示す特徴量のうちの少なくとも一方を示す取得病変情報を取得する病変画像取得ステップと、病変画像取得ステップで既に取得された第1の病変情報である既存病変情報と、病変画像取得ステップが新たに取得した取得病変情報とを比較し、既存病変情報と同じ病変に対応する取得病変情報であるか否かを識別する病変識別ステップと、1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウントステップと、病変カウントステップがカウントした病変数を表示する表示ステップと、病変カウントステップを制御する制御ステップであって、病変識別ステップにより既存病変情報と同じ病変に対応する取得病変情報でないと識別されると、病変カウントステップによりカウントされる病変数を1つ増加させる制御ステップと、を含む内視鏡操作工程をコンピュータに実行させる。
本発明によれば、1回の内視鏡検査に検出される病変の個数である病変数がカウントされ、カウントした病変数が表示部に表示されるので、内視鏡検査を実施する術者の負担が軽減され、内視鏡検査を正確に且つ効率的に実施することができる。
以下、添付図面に従って本発明にかかる内視鏡装置、内視鏡操作方法、及びプログラムの好ましい実施の形態について説明する。
図1は内視鏡装置10の外観斜視図である。
図1に示すように内視鏡装置10は、大別して、被検体内の観察対象を撮像する内視鏡スコープ(ここでは軟性内視鏡)11と、光源装置12と、プロセッサ装置13と、液晶モニタ等の表示器14と、を備えている。
光源装置12は、通常画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡スコープ11へ供給する。
プロセッサ装置13は、内視鏡装置10の一形態としても機能し得るものであり、内視鏡スコープ11により得られた画像信号に基づいて表示用又は記録用の通常画像及び/又は特殊光画像の画像データを生成する機能を有する。
表示器14は、プロセッサ装置13から入力される表示用の画像データに基づき通常画像又は特殊光画像等を表示する。
内視鏡スコープ11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部に連設され、内視鏡スコープ11の把持及び挿入部16の操作に用いられる手元操作部17と、手元操作部17を光源装置12及びプロセッサ装置13に接続するユニバーサルコード18と、を備えている。
挿入部16の先端部である挿入部先端部16aには、照明レンズ42、対物レンズ44、撮像素子45などが内蔵されている(図2参照)。挿入部先端部16aの後端には、湾曲自在な湾曲部16bが連設されている。また、湾曲部16bの後端には、可撓性を有する可撓管部16cが連設されている。なお、挿入部先端部16a及び湾曲部16bによりスコープヘッドが構成される。
手元操作部17には、アングルノブ21、操作ボタン22、及び鉗子入口23などが設けられている。アングルノブ21は、湾曲部16bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン22は、送気、送水、吸引等の各種の操作に用いられる。鉗子入口23は、挿入部16内の鉗子チャネルに連通している。なお、アングルノブ21には、湾曲部16bを上下に動かす上下アングルノブ及び湾曲部16bを左右に動かす左右アングルノブが設けられている。
ユニバーサルコード18には、送気及び/又は送水チャンネル、信号ケーブル、及びライトガイド40などが組み込まれている。ユニバーサルコード18の先端部には、光源装置12に接続されるコネクタ部25aと、プロセッサ装置13に接続されるコネクタ部25bとが設けられている。これにより、コネクタ部25aを介して光源装置12から内視鏡スコープ11に照明光が供給され、コネクタ部25bを介して内視鏡スコープ11により得られた画像信号がプロセッサ装置13に入力される。
なお、光源装置12には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部12aが設けられ、また、プロセッサ装置13には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部13aが設けられている。
図2は内視鏡装置10の電気的構成を示すブロック図である。
図2に示すように内視鏡スコープ11は、大別して、ライトガイド40と、照明レンズ42と、対物レンズ44と、撮像素子45と、手元操作部17と、内視鏡制御部47と、ROM(Read Only Memory)48とを有している。
ライトガイド40は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド40は、その入射端がコネクタ部25aを介して光源装置12に挿入されており、その出射端が挿入部16を通って挿入部先端部16a内に設けられた照明レンズ42に対向している。光源装置12からライトガイド40に供給された照明光は、照明レンズ42を通して観察対象に照射される。そして、観察対象で反射及び/又は散乱した照明光は、対物レンズ44に入射する。
対物レンズ44は、入射した照明光の反射光又は散乱光(即ち、観察対象の光学像)を撮像素子45の撮像面に結像させる。
撮像素子45は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子であり、対物レンズ44よりも奥側の位置で対物レンズ44に相対的に位置決め固定されている。撮像素子45の撮像面には、光学像を光電変換する複数の光電変換素子(フォトダイオード)により構成される複数の画素が2次元配列されている。また、本例の撮像素子45の複数の画素の入射面側には、画素毎に赤(R)、緑(G)、青(B)のカラーフィルタが配置され、これによりR画素、G画素、B画素が構成されている。なお、RGBのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。
撮像素子45は、対物レンズ44により結像される光学像を電気的な画像信号に変換してプロセッサ装置13に出力する。
なお、撮像素子45がCMOS型である場合には、A/D(Analog/Digital)変換器が内蔵されており、撮像素子45からプロセッサ装置13に対してデジタルの画像信号が直接出力される。また、撮像素子45がCCD型である場合には、撮像素子45から出力される画像信号は図示しないA/D変換器等でデジタルな画像信号に変換された後、プロセッサ装置13に出力される。
手元操作部17は、図示しない静止画撮像ボタン、通常画像撮影モード、特殊光画像撮影モードを設定する撮影モード設定部を有している。
内視鏡制御部47は、手元操作部17での操作に応じてROM48等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子45の駆動を制御する。例えば、通常画像撮影モードの場合、内視鏡制御部47は、撮像素子45のR画素、G画素及びB画素の信号を読み出すように撮像素子45を制御し、特殊光画像撮影モードであって、特殊光画像を取得するために照明光としてV-LED32aから紫色光が発光される場合、又はB-LED32bから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子45のB画素の信号のみを読み出すように撮像素子45を制御する。
また、内視鏡制御部47は、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、手元操作部17での入力操作情報及びROM48に記憶されている内視鏡スコープ11の種類を識別するための識別情報等をプロセッサ装置13に送信する。
光源装置12は、光源制御部31及び光源ユニット32を有している。光源制御部31は、光源ユニット32の制御と、プロセッサ装置13のプロセッサ制御部61との間で通信を行い、各種情報の遣り取りを行う。
光源ユニット32は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット32は、V-LED(Violet Light Emitting Diode)32a、B-LED(Blue
Light Emitting Diode)32b、G-LED(Green Light Emitting Diode)32c、及びR-LED(Red Light Emitting Diode)32dの4色のLEDを有する。V-LED32aは、中心波長405nmで、波長帯域380~420nmの紫色光を発光する紫色光源である。B-LED32bは、中心波長460nm、波長帯域420~500nmの青色光を発する青色半導体光源である。G-LED32cは、波長帯域が480~600nmに及ぶ緑色光を発する緑色半導体光源である。R-LED32dは、中心波長620~630nmで、波長帯域が600~650nmの赤色光を発光する赤色半導体光源である。なお、V-LED32aとB-LED32bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED32a~32dの点灯や消灯、点灯時の発光量等は、光源制御部31が各々に独立した制御信号を入力するによって各々に制御することができる。通常画像撮影モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dを全て点灯させる。このため、通常画像撮影モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。
一方、特殊観察モードの場合、光源制御部31は、V-LED32a、B-LED32b、G-LED32c、及びR-LED32dのうちのいずれか1つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量(光量比)を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。
各LED32a~32dが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構(図示せず)を介して内視鏡スコープ11内に挿通されたライトガイド40に入射される。
なお、光源装置12の照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光(特殊光)、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。特殊光の特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ且つこの蛍光物質を励起させる励起光の波長帯域(390nmから470nm)である。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する。
プロセッサ装置13は、プロセッサ操作部13a、プロセッサ制御部61、ROM62、デジタル信号処理回路(DSP:Digital Signal Processor)63、画像処理部65、表示制御部66、及び記憶部67等を有している。
プロセッサ操作部13aは、電源ボタン、マウスにより表示器14上で指示される座標位置及びクリック(実行指示)等の入力を受け付ける入力部等を含む。
プロセッサ制御部61は、プロセッサ操作部13aでの入力操作情報、及び内視鏡制御部47を介して受信した手元操作部17での入力操作情報に応じてROM62から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置13の各部を制御するとともに、光源装置12を制御する。なお、プロセッサ制御部61は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。
内視鏡スコープ11(撮像素子45)から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するDSP63は、プロセッサ制御部61の制御の下、内視鏡スコープ11から入力される動画の1フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、1フレーム分の画像データを生成する。
画像処理部65は、DSP63から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して3×3のマトリックス処理、階調変換処理、及び3次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。
画像処理部65により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部67に記録される。
表示制御部66は、入力する画像データから通常画像、特殊光画像を表示器14に表示させるための表示用データを生成し、生成した表示用データを表示器14に出力し、表示器14に表示用画像を表示させる。
<第1の実施形態>
図3は、本発明の内視鏡装置10の主な機能を示すブロック図である。
保存部101は記憶部67に設けられ、病変情報取得部103、病変識別部105、病変カウント部107、及び制御部109は画像処理部65に設けられている。また、表示部111は、表示制御部66及び表示器14から構成されている。
病変情報取得部103は、内視鏡検査期間中に撮影される時系列の画像から病変が検出された場合、その検出された病変に関する取得病変情報を取得する。ここで第1の病変情報とは、検出された病変を示す第1病変画像及び第1病変画像の特徴を示す特徴量のうちの少なくとも一方を示す情報である。また病変を示す病変画像とは、病変像又は病変像を含む画像のことである。また、病変画像の特徴を示す特徴量とは、画像の特徴量を示す様々なパラメータを使用することができる。なお、この特徴量に関しては公知の技術が適用されるため、ここでは詳しい説明を省略する。ここで、内視鏡検査期間とは、1人の被検査者の1回の内視鏡検査の期間を意味する。
図4は、病変情報取得部103が取得病変情報を取得する一例を示す図である。本例では、内視鏡検査期間中に、内視鏡スコープ11で撮影される時系列の複数の画像(動画)201が画像処理部65に入力される。動画は複数のフレームで構成されており、一部のフレームは病変Iを有する。本例ではフレーム203、フレーム205、及びフレーム207では病変I(病変Iの像)を有する。
画像処理部65には病変検出部102が設けられており、病変検出部102に複数の画像201が入力されると、病変Iを有するフレーム203、フレーム205、及びフレーム207が抽出される。なお、病変検出部102で行われる病変の検出は、公知の技術で行われるので、ここでは詳細な説明は省略する。そして、病変検出部102で検出された病変Iを有する病変画像は病変情報取得部103に入力される。そして、病変情報取得部103は、病変Iを示す取得病変情報を取得する。
図5は、病変情報取得部103が取得病変情報を取得する他の例を示す図である。本例では、内視鏡検査期間中に、術者が内視鏡スコープ11で撮影した時系列の複数の画像(静止画)210が画像処理部65に入力される。術者は、内視鏡検査を行っている間に、病変Iを発見し病変Iについて単数又は複数の画像を内視鏡スコープ11により取得される。そして、取得された画像210は、病変情報取得部103に入力される。
図3に戻って、保存部101は既存病変情報を保存する。ここで、既存病変情報は、既に取得された取得病変情報である。すなわち、既存病変情報は過去に取得された取得病変情報である。保存部101は、病変情報取得部103で取得された全ての取得病変情報、又は一部の取得病変情報を既存病変情報として保存する。また、保存部101には、既存病変情報として、第2病変画像及び第2病変画像の特徴を示す特徴量のうち少なくとも一方が保存される。なお、保存部101は、記憶部67に設けられているが、例えばメモリ(プロセッサ制御部61のRAM(Random access memory:不図示))において既存病変情報を保持している場合も保存されている状態である。
保存部101に、取得病変情報の一部が保存される場合には、例えば、最も新しく病変情報取得部103で取得された1つの既存病変情報が保存される。また、保存部101は、所定の基準で取得病変情報から選択された代表情報を保存してもよい。例えば、代表情報は、病変ごとに最も適切に病変を示すことが可能な情報である。さらに、保存部101は、病変を撮影する環境(光源、拡大率、構図)が変わったときに既存病変情報を保存してもよい。
病変識別部105は、病変情報取得部103で既に取得された第1の病変情報である既存病変情報と、病変情報取得部103が新たに取得した取得病変情報とを比較する。そして病変識別部105は、既存病変情報と同じ病変を示す取得病変情報であるか否かを識別する。病変識別部105は、例えば第1病変画像と第2病変画像とを比較する。この場合病変識別部105は、第1病変画像と第2病変画像の2枚の画像が同一病変を示すか否かを判定する判別器で構成される。また病変識別部105は、第1病変画像の特徴を示す特徴量と第2病変画像の特徴を示す特徴量とを比較してもよい。この場合病変識別部105は、第1病変画像及び第2病変画像に対応する特徴ベクトルを抽出し、特徴ベクトルの類似度が閾値以上であるか否かで、取得病変情報と既存病変情報との病変が同一であるか否かを識別する。ここで特徴ベクトルの例としては、画像のヒストグラム、BoVW(Bag Of Visual Words)ベクトル、ニューラルネットワークによる特徴ベクトルが挙げられる。
また、病変識別部105が行う比較は、保存部101に保存された既存病変情報の全てに対して行ってもよいし、一部に対して行ってもよい。また、病変識別部105で行う識別には、第1病変画像及び第2病変画像に関連して入力される情報を利用してもよい。例えば、関連して入力される情報としては、検査時刻、フレーム番号、スコープ位置、及び病変の種類等である。例えば、病変識別部105は、取得病変情報と近い検査時刻の既存病変情報との比較を行う。
病変カウント部107は、1回の内視鏡検査に検出される病変の個数である病変数をカウントし保持する。病変カウント部107の病変数のカウントは、制御部109で制御される。なお、病変カウント部107の病変数の初期値は0であり、内視鏡検査が開始されるときに初期値(病変数=0)にセットされる。
制御部109は、病変識別部105の識別結果に基づいて、病変カウント部107を制御する。制御部109は、病変識別部105により取得病変情報と既存病変情報とは同じ病変を示すと識別されると、病変カウント部107によりカウントされる病変数を維持する。すなわち、制御部109は、病変カウント部107に重複して同じ病変をカウントしないように、カウントの制御を行う。
表示部111は、病変カウント部107がカウントした病変数を表示する。表示部111では、表示制御部66の制御により表示器14に表示される。表示部111の表示形態に関しては後で詳細に説明する。
次に、内視鏡装置10の動作の工程(本発明の内視鏡操作方法の相当)に関して説明する。図6は、内視鏡装置10の動作を示すフロー図である。なお、以下では、取得病変情報及び既存病変情報として、それぞれ第1病変画像及び第2病変画像が入力される場合について説明する。
内視鏡検査が開始され、病変カウント部107は、病変数のカウントを初期値(病変数=0)にする(ステップS10)。その後、病変情報取得部103に取得病変情報である第1病変画像が入力される(ステップS11:病変画像取得ステップ)。制御部109は、内視鏡検査の開始後の最初に入力される第1病変画像(取得病変情報)であるか否かを判定し(ステップS12)、病変カウント部107が保持する病変数を1にする(ステップS15)。また、保存部101には、最初の第1病変画像が保存される(ステップS16)。そして表示部111は、病変数1を表示する(ステップS17)。
一方、制御部109が最初に入力される第1病変画像でないと判定した場合には、病変識別部105は、第1病変画像と保存部101に保存される第2病変画像とを比較する(ステップS13:病変識別ステップ)。病変識別部105が、保存部101に同一病変を示す第2病変画像があると識別した場合(ステップS14)には、第1病変画像は保存部101に保存される(ステップS16)。またこの場合には、病変カウント部107が保持する病変数は維持されたまま保持される。そして、表示部111により病変数が表示される(ステップS17)。一方、病変識別部105が、保存部101に同一病変がないと識別した場合(ステップS14)には、制御部109は病変数を「1」増加させる(ステップS15:制御ステップ及びカウントステップ)。そして、第1病変画像は保存部101に保存され(ステップS16)、増加された病変数が表示部111に表示される(ステップS17:表示ステップ)。
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
次に、表示部111の表示形態に関して説明する。表示部111は、少なくとも病変数を含む表示を行うことにより、内視鏡検査の術者を支援する。
図7及び図8は、表示部111で行われる表示例を示す図である。
図7は表示部111の第1表示例を示す。本例では表示器14に、内視鏡検査中の画面150が表示されている。内視鏡検査中の画面150には、被検査対象153と病変155が写っている。また、内視鏡検査中の画面150と共に、発見された病変数151が表示されている。
図8は表示部111の第2表示例を示す。本例では表示器14に、内視鏡検査中の画面150が表示されている。また、表示器14には、既に検出された病変画像である第2病変画像157及び159が表示されている。なお、第2病変画像157及び159には、発見順序に沿って番号が付されている(第2病変画像157には「1」及び第2病変画像159には「2」)。ここで、第2病変画像157及び159は、それぞれの病変157a及び病変159aの病変画像の代表画像である。
以上のように、1回の内視鏡検査に検出される病変の個数である病変数がカウントされ、カウントした病変数が表示部111に表示されるので、内視鏡検査を実施する術者の負担が軽減され、内視鏡検査を正確に且つ効率的に実施することができる。
<第2の実施形態>
次に、第2の実施形態に関して説明する。本実施形態では、内視鏡検査を第1検査と第2検査とに分割し、第1検査及び第2検査のそれぞれにおいて病変数のカウントが行われる。
図9は、内視鏡装置10の主な機能構成例を示すブロック図である。保存部101は記憶部67に設けられている。病変情報取得部103、病変識別部105、病変カウント部107、制御部109、及び検査分割部113は画像処理部65に設けられている。また、表示部111は、表示制御部66及び表示器14で構成されている。なお、図3で既に説明を行った箇所は、同じ符号を付し説明を省略する。
検査分割部113は、1回の内視鏡検査を第1検査と第2検査とに分割する分割指示を制御部109に出力する。制御部109は、分割指示に基づいて、病変カウント部107に第1検査の病変数のカウントと第2検査の病変数のカウントとを独立に行わせる。検査分割部113は、術者(ユーザ)の指示に基づいて分割指示を制御部109に出力する場合と、自動で分割指示を制御部109に出力する。
検査分割部113が、術者の指示に基づいて分割指示を出力する場合には、例えば術者は、手元操作部17のボタン等の入力デバイスを介して、分割指示を検査分割部113に入力する。また、内視鏡装置10に備えられた音声入力デバイス(不図示)により、術者は分割指示を入力してもよい。
また検査分割部113が、自動で分割指示を出力する場合には、例えば、被検査対象の部位を内視鏡装置10により撮影された撮影画像により自動認識して分割指示を出力する。また例えば、検査分割部113は、術者により予め設定された検査時刻で分割指示を出力する。また例えば、検査分割部113は、スコープの位置を認識して分割指示を出力する。また例えば、検査分割部113は、内視鏡スコープ11の移動方向を認識して分割指示を出力する。
検査分割の具体例として、第1検査はスコープの挿入時であり、第2検査はスコープの抜去時の例が挙げられる。この場合、検査分割部113は、現在のスコープの動いている方向を、挿入方向か抜去方向か検知して切り替える。検査分割部113は、折り返し地点を認識し、それ以降を抜去とするとしてもよい。例えば大腸の場合は、バウヒン弁を認識した箇所を折り返し地点とする。なお、第1検査においては、第1検査の期間における取得病変情報と既存病変情報との比較が行われ、第2検査においては、第2検査の期間における取得病変情報と既存病変情報との比較が行われる。
図10及び図11は、本実施形態の内視鏡装置10の表示部111で行われる表示例を示す図である。
図10は表示部111の第3表示例を示す。本例では内視鏡検査中の画面150とともに病変数161が表示されている。病変161では、挿入時病変数、抜去時病変数、総病変数が示されている。内視鏡スコープ11の挿入時には、2つの病変数が発見されたので総病変数は2と表示されている。
図11は表示部111の第4表示例を示す。本例では内視鏡検査中の画面150とともに挿入時に発見された病変の代表画像が表示されている。具体的には、現在行われている検査名(「抜去中」)163が表示され、また、挿入時に発見された病変の代表画像165及び代表画像167が表示されている。また、挿入時に発見された病変が、抜去時に再び発見された場合には、例えば代表画像をハイライト表示する。図11に示した場合では、内視鏡検査中の画面150に病変155が表示されており、代表画像167にも同じ病変155が表示されているので、代表画像167はハイライト表示が行われている。
以上のように、検査分割部113により、内視鏡検査を第1検査と第2検査とに分割する分割指示が制御部109に出力され、制御部109は分割指示に基づいて、病変カウント部107に第1検査の病変数のカウントと第2検査の病変数のカウントを別々に行わせる。これにより、1回の内視鏡検査において、病変数のカウントを分割して行うことができ、術者の支援をより的確に行うことができる。
<第3の実施形態>
次に、第3の実施形態に関して説明する。本実施形態では、残存病変数が表示される。
図12は、本実施形態の内視鏡装置10の動作を示すフロー図である。図12に示された例では、内視鏡スコープ11の挿入時と抜去時により分割される場合である。また、取得病変情報及び既存病変情報として、それぞれ第1病変画像及び第2病変画像が入力される場合について説明する。
内視鏡スコープ11の挿入が終了し、術者から手元操作部17を介して指示が入力され、検査分割部113は、分割指示を制御部109に出力する(ステップS20)。その後、制御部109は、病変カウント部107のカウントを、残存病変数=挿入時病変数、新規病変数=0とする(ステップS21)。ここで残存病変数とは、挿入時(第1検査)に発見された病変数である。そして、抜去時においては、制御部109は、病変カウント部107に残存病変数から1つ減らして残存病変数を更新させる。次に、抜去時において、病変情報取得部103に取得病変情報である第1病変画像が入力される(ステップS22)。
その後、病変識別部105は、保存部101に保存されている第2病変画像と入力される第1病変画像とを比較する(ステップS23)。先ず、病変識別部105は、抜去時に同一の病変を示す第2病変画像があるか否かを識別する(ステップS24)。そして、病変識別部105が抜去時に第1病変画像が示す病変と同じ病変を示す第2病変画像が無いと識別した場合には、次に、病変識別部105は、挿入時に同一の病変を示す第2病変画像があるか否かを識別する(ステップS25)。そして制御部109は、病変識別部105が挿入時に同一病変があると識別した場合には、病変カウント部107が保持する残存病変数を-1とする(ステップS27)。一方、制御部109は、病変識別部105が挿入時に同一病変がないと判定した場合には、病変カウント部107が保持する新規病変数を+1とする(ステップS26)。その後、第1病変画像は第2病変画像として保存部101に保持され(ステップS28)、表示部111は病変カウント部107が保持する新規病変数及び残存病変数を表示する。
一方、病変識別部105が抜去時に第1病変画像が示す病変と同じ病変を示す第2病変画像があると判定した場合には、第1病変画像は保存部101に保存され、病変カウント部107が保持する残存病変数及び新規病変数を維持したまま表示部111に表示される(ステップS29)。なお、上述したように、第1検査と第2検査とに内視鏡検査が分割された場合には、病変識別部105は、第1検査における取得病変情報と既存病変情報とを比較し、第2検査における取得病変情報と既存病変情報とを比較する。
図13及び図14は、本実施形態の内視鏡装置10の表示部111で行われる表示例を示す図である。
図13は表示部111の第5表示例を示す。本例では内視鏡検査中の画面150とともに病変数171が表示されている。病変171では、挿入時病変数、抜去時病変数、総病変数、及び残存病変数が示されている。
図14は表示部111の第6表示例を示す。本例では内視鏡検査中の画面150とともに病変数171が表示されている。病変数171では、挿入時病変数、抜去時病変数、総病変数、残存病変数、及び新規病変数が示されている。
以上のように、残存病変数が更新され、表示部111に残存病変数が表示されるので、術者の検査を的確に支援することができる。例えば、術者は残存病変数を確認しながら内視鏡検査を行うことで、内視鏡検査時の病変の見落とし抑制することができる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1 :病変数
10 :内視鏡装置
11 :内視鏡スコープ
12 :光源装置
12a :光源操作部
13 :プロセッサ装置
13a :プロセッサ操作部
14 :表示器
16 :挿入部
16a :挿入部先端部
16b :湾曲部
16c :可撓管部
17 :手元操作部
18 :ユニバーサルコード
21 :アングルノブ
22 :操作ボタン
23 :鉗子入口
25a :コネクタ部
25b :コネクタ部
31 :光源制御部
32 :光源ユニット
32a :V-LED
32b :B-LED
32c :G-LED
32d :R-LED
40 :ライトガイド
42 :照明レンズ
44 :対物レンズ
45 :撮像素子
47 :内視鏡制御部
48 :ROM
61 :プロセッサ制御部
62 :ROM
65 :画像処理部
66 :表示制御部
67 :記憶部
101 :保存部
102 :病変検出部
103 :病変情報取得部
105 :病変識別部
107 :病変カウント部
109 :制御部
111 :表示部
113 :検査分割部
150 :画面
Claims (12)
- 内視鏡検査期間中に、スコープが被検体内を移動して撮影される時系列の画像から病変が検出された場合、前記検出された病変を示す第1病変画像の特徴ベクトルを示す取得病変情報を取得する病変情報取得部と、
前記病変情報取得部で既に取得された前記取得病変情報である既存病変情報と、前記病変情報取得部が新たに取得した前記取得病変情報との前記特徴ベクトルとを比較し、前記既存病変情報と同じ病変を示す前記取得病変情報であるか否かを識別する病変識別部と、
1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウント部と、
前記病変カウント部がカウントした前記病変数を表示する表示部と、
前記病変カウント部を制御する制御部であって、前記病変識別部により前記既存病変情報と同じ病変を示す前記取得病変情報でないと識別されると、前記病変カウント部によりカウントされる前記病変数を1つ増加させる制御部と、
前記内視鏡検査を第1検査と第2検査とに分割する分割指示を前記制御部に出力する検査分割部を備え、
前記制御部は、前記分割指示に基づいて、前記病変カウント部に前記第1検査の病変数のカウントと前記第2検査の病変数のカウントを別々に行わせ、
前記検査分割部が出力する前記分割指示は、前記第1検査は前記スコープの挿入時であり、前記第2検査は前記スコープの抜去時である内視鏡装置。 - 内視鏡検査期間中に、スコープが被検体内を移動して撮影される時系列の画像から病変が検出された場合、前記検出された病変を示す第1病変画像の特徴ベクトルを示す取得病変情報を取得する病変情報取得部と、
前記時系列の画像から、病変を識別する病変識別部と、
1回の内視鏡検査で検出される病変の個数である病変数をカウントする病変カウント部と、
前記病変カウント部がカウントした前記病変数を表示する表示部と、
前記病変カウント部を制御する制御部と、
前記内視鏡検査を、前記スコープの挿入時に行う第1検査と、前記スコープの抜去時に行う第2検査とに分割する分割指示を前記制御部に出力する検査分割部と、を備え、
前記第1検査において、
前記病変識別部は、
前記病変情報取得部で既に取得された前記取得病変情報である既存病変情報と、前記病変情報取得部が新たに取得した前記取得病変情報との前記特徴ベクトルとを比較し、前記既存病変情報と同じ病変を示す前記取得病変情報であるか否かを識別し、
前記制御部は、
前記病変識別部により前記既存病変情報と同じ病変を示す前記取得病変情報でないと識別されると、前記病変カウント部によりカウントされる前記病変数を1つ増加させ、
前記第1検査に続いて行われる前記第2検査において、
前記病変識別部は、前記第1検査で取得済みの前記既存病変情報と、前記第2検査で新たに取得した前記取得病変情報とを、比較し、前記第1検査で取得済みの前記既存病変情報と同じ病変を示すか否かを識別し、
前記制御部は、前記第1検査が完了したときの前記病変数を残存病変数とし、前記病変識別部が、前記第1検査で取得済みの前記既存病変情報と同じ病変を示す前記取得病変情報であると識別した場合には、前記残存病変数を1つ減らして前記残存病変数を更新し、
前記表示部は、前記残存病変数に基づいて、前記残存病変数を表示する内視鏡装置。 - 前記制御部は、前記病変識別部が前記第1検査における前記既存病変情報と同じ病変を示す前記取得病変情報でないと識別した場合には、前記病変カウント部に前記第2検査の新規病変数としてカウントさせ、
前記表示部は、前記新規病変数を表示する請求項2に記載の内視鏡装置。 - 前記検査分割部は、ユーザの指示に基づいて、前記分割指示を前記制御部に出力する請求項1から3のいずれか1項に記載の内視鏡装置。
- 前記検査分割部は、自動で前記分割指示を前記制御部に出力する請求項1から3のいずれか1項に記載の内視鏡装置。
- 前記表示部は、前記内視鏡検査中の画像と共に、前記病変数を表示する請求項1から5のいずれか1項に記載の内視鏡装置。
- 前記既存病変情報は前記第1病変画像に対応する第2病変画像を有し、
前記表示部は、前記第2病変画像と共に前記病変数を表示する請求項1から6のいずれか1項に記載の内視鏡装置。 - 前記表示部は、前記検査分割部が前記分割指示を前記制御部に出力した場合には、前記第1検査の前記病変数及び前記第2検査の前記病変数を別々に表示する請求項1から5のいずれか1項に記載の内視鏡装置。
- 前記既存病変情報を保存する保存部を備え、
前記病変識別部は、前記保存部に保存された前記既存病変情報と、前記病変情報取得部が新たに取得した前記取得病変情報とを比較し、前記既存病変情報と同じ病変を示す前記取得病変情報であるか否かを識別する請求項1から8のいずれか1項に記載の内視鏡装置。 - 前記保存部は、前記病変情報取得部で取得された前記取得病変情報の全て、又は一部を前記既存病変情報として保存する請求項9に記載の内視鏡装置。
- 病変情報取得部と、病変識別部と、病変カウント部と、表示部と、制御部と、検査分割部とを備える内視鏡装置の作動方法であって、
前記病変情報取得部が、内視鏡検査期間中に、スコープが被検体内を移動して撮影される時系列の画像から病変が検出された場合、前記検出された病変を示す第1病変画像の特徴ベクトルを示す特徴量のうちの少なくとも一方を示す取得病変情報を取得する病変画像取得ステップと、
前記病変識別部が、前記病変画像取得ステップで既に取得された前記取得病変情報である既存病変情報と、前記病変画像取得ステップが新たに取得した前記取得病変情報との特徴ベクトルとを比較し、前記取得病変情報と同じ病変を示す前記取得病変情報であるか否かを、識別する病変識別ステップと、
前記病変カウント部が、1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウントステップと、
前記表示部が、前記病変カウントステップでカウントした前記病変数を表示する表示ステップと、
前記制御部が、前記病変カウントステップを制御する制御ステップであって、前記病変識別ステップにより前記既存病変情報と同じ病変を示す前記取得病変情報でないと識別されると、前記病変カウントステップでカウントされる前記病変数を1つ増加させる制御ステップと、
前記検査分割部が、前記内視鏡検査を第1検査と第2検査とに分割する分割指示を出力する検査分割ステップとを含み、
前記制御ステップでは、前記制御部が、前記分割指示に基づいて、前記病変カウントステップにおける前記病変カウント部に、前記第1検査の病変数のカウントと前記第2検査の病変数のカウントを別々に行わせ、
前記検査分割ステップでは、前記検査分割部が出力する前記分割指示は、前記第1検査は前記スコープの挿入時であり、前記第2検査は前記スコープの抜去時である、内視鏡装置の作動方法。 - 内視鏡検査期間中に、スコープが被検体内を移動して撮影される時系列の画像から病変が検出された場合、前記検出された病変を示す第1病変画像の特徴ベクトルを示す取得病変情報を取得する病変画像取得ステップと、
前記病変画像取得ステップで既に取得された前記取得病変情報である既存病変情報と、前記病変画像取得ステップが新たに取得した前記取得病変情報との特徴ベクトルとを比較し、前記取得病変情報と同じ病変を示す前記取得病変情報であるか否かを識別する病変識別ステップと、
1回の内視鏡検査に検出される病変の個数である病変数をカウントする病変カウントステップと、
前記病変カウントステップがカウントした前記病変数を表示する表示ステップと、
前記病変カウントステップを制御する制御ステップであって、前記病変識別ステップにより前記既存病変情報と同じ病変に対応する前記取得病変情報でないと識別されると、前記病変カウントステップによりカウントされる前記病変数を1つ増加させる制御ステップと、
前記内視鏡検査を第1検査と第2検査とに分割する分割指示を出力する検査分割ステップとを含み、
前記制御ステップは、前記分割指示に基づいて、前記病変カウントステップに前記第1検査の病変数のカウントと前記第2検査の病変数のカウントを別々に行わせ、
前記検査分割ステップで出力する前記分割指示は、前記第1検査は前記スコープの挿入時であり、前記第2検査は前記スコープの抜去時である、内視鏡操作工程をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018095391 | 2018-05-17 | ||
JP2018095391 | 2018-05-17 | ||
PCT/JP2019/016478 WO2019220848A1 (ja) | 2018-05-17 | 2019-04-17 | 内視鏡装置、内視鏡操作方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019220848A1 JPWO2019220848A1 (ja) | 2021-05-13 |
JP7135082B2 true JP7135082B2 (ja) | 2022-09-12 |
Family
ID=68540177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020519528A Active JP7135082B2 (ja) | 2018-05-17 | 2019-04-17 | 内視鏡装置、内視鏡装置の作動方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11950760B2 (ja) |
EP (1) | EP3795062A4 (ja) |
JP (1) | JP7135082B2 (ja) |
CN (1) | CN112105286A (ja) |
WO (1) | WO2019220848A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7125484B2 (ja) * | 2018-07-20 | 2022-08-24 | 富士フイルム株式会社 | 内視鏡システム |
EP3851025A4 (en) * | 2018-09-11 | 2021-10-13 | NEC Corporation | INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM |
CN114845624A (zh) * | 2019-12-26 | 2022-08-02 | 富士胶片株式会社 | 医用图像处理装置、医用图像处理方法及程序 |
WO2022014077A1 (ja) * | 2020-07-15 | 2022-01-20 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022107492A1 (ja) * | 2020-11-17 | 2022-05-27 | 富士フイルム株式会社 | プロセッサ装置、プロセッサ装置の作動方法、プロセッサ装置用プログラム、及び内視鏡システム |
WO2023276017A1 (ja) * | 2021-06-30 | 2023-01-05 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、内視鏡システム及び画像処理方法 |
WO2023089717A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
WO2024028925A1 (ja) * | 2022-08-01 | 2024-02-08 | 日本電気株式会社 | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101273916A (zh) | 2007-03-30 | 2008-10-01 | 吉温成像有限公司 | 评估患者状况的***和方法 |
JP2011024727A (ja) | 2009-07-23 | 2011-02-10 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2012170641A (ja) | 2011-02-22 | 2012-09-10 | Olympus Corp | 蛍光観察装置 |
WO2018069992A1 (ja) | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
WO2019054265A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165677A (ja) * | 2003-12-02 | 2005-06-23 | Olympus Corp | 検査マネージメント方法及び検査マネージメントシステム |
JP4418400B2 (ja) * | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
WO2007129616A1 (ja) * | 2006-05-02 | 2007-11-15 | National University Corporation Nagoya University | 内視鏡挿入支援システム及び内視鏡挿入支援方法 |
JP5005981B2 (ja) * | 2006-08-03 | 2012-08-22 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
US8900124B2 (en) | 2006-08-03 | 2014-12-02 | Olympus Medical Systems Corp. | Image display device |
JP4914680B2 (ja) * | 2006-09-05 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
KR20140091177A (ko) * | 2013-01-10 | 2014-07-21 | 삼성전자주식회사 | 병변 진단 장치 및 방법 |
JP6188477B2 (ja) * | 2013-08-02 | 2017-08-30 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6371544B2 (ja) | 2014-03-14 | 2018-08-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015181643A (ja) * | 2014-03-24 | 2015-10-22 | オリンパス株式会社 | 湾曲形状推定システム、管状挿入システム、及び、湾曲部材の湾曲形状推定方法 |
CN105912831B (zh) * | 2015-02-19 | 2021-08-20 | 松下知识产权经营株式会社 | 信息终端的控制方法 |
JPWO2017216922A1 (ja) * | 2016-06-16 | 2019-04-11 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
-
2019
- 2019-04-17 WO PCT/JP2019/016478 patent/WO2019220848A1/ja active Application Filing
- 2019-04-17 CN CN201980031457.XA patent/CN112105286A/zh active Pending
- 2019-04-17 JP JP2020519528A patent/JP7135082B2/ja active Active
- 2019-04-17 EP EP19802615.5A patent/EP3795062A4/en active Pending
-
2020
- 2020-10-22 US US17/078,084 patent/US11950760B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101273916A (zh) | 2007-03-30 | 2008-10-01 | 吉温成像有限公司 | 评估患者状况的***和方法 |
JP2011024727A (ja) | 2009-07-23 | 2011-02-10 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2012170641A (ja) | 2011-02-22 | 2012-09-10 | Olympus Corp | 蛍光観察装置 |
WO2018069992A1 (ja) | 2016-10-12 | 2018-04-19 | オリンパス株式会社 | 挿入システム |
WO2019054265A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3795062A4 (en) | 2021-06-16 |
US20210042925A1 (en) | 2021-02-11 |
WO2019220848A1 (ja) | 2019-11-21 |
CN112105286A (zh) | 2020-12-18 |
US11950760B2 (en) | 2024-04-09 |
EP3795062A1 (en) | 2021-03-24 |
JPWO2019220848A1 (ja) | 2021-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
CN110325100B (zh) | 内窥镜***及其操作方法 | |
JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
US10335014B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP6092792B2 (ja) | 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法 | |
JP4394356B2 (ja) | 電子内視鏡装置 | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
JP7411772B2 (ja) | 内視鏡システム | |
WO2020036121A1 (ja) | 内視鏡システム | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
JP7015385B2 (ja) | 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム | |
US20210082568A1 (en) | Medical image processing device, processor device, endoscope system, medical image processing method, and program | |
US10462440B2 (en) | Image processing apparatus | |
US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
JP7214886B2 (ja) | 画像処理装置及びその作動方法 | |
CN115315210A (zh) | 图像处理装置、图像处理方法、导航方法以及内窥镜*** | |
CN112689469B (zh) | 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法 | |
WO2019202982A1 (ja) | 内視鏡装置、内視鏡操作方法、及びプログラム | |
CN114627045A (zh) | 医用图像处理***、医用图像处理***的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220506 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220506 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220517 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7135082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |