WO2023090091A1

WO2023090091A1 - 画像処理装置及び内視鏡システム

Info

Publication number: WO2023090091A1
Application number: PCT/JP2022/039847
Authority: WO
Inventors: 稔宏臼田
Original assignee: 富士フイルム株式会社
Priority date: 2021-11-19
Filing date: 2022-10-26
Publication date: 2023-05-25

Abstract

認識器の処理結果を適切に保存できる画像処理装置及び内視鏡システムを提供する。内視鏡によって時系列に撮影された画像を処理する画像処理装置であって、入力された画像に対し認識処理を行う認識器と、プロセッサと、を備える。プロセッサは、画像を時系列順に取得し、画像を時系列順に表示部に表示させ、認識処理の実行指示に応じて、指示を受け付けた時点で表示部に表示されている画像を第１画像として認識器に認識処理させ、認識器の処理結果に基づく第１情報を表示部に表示させ、認識処理の実行指示を受け付けた時点を特定する第２情報に関連付けて、認識器の処理結果に関する第３情報を記憶部に保存する。

Description

画像処理装置及び内視鏡システム

　本発明は、画像処理装置及び内視鏡システムに係り、特に、内視鏡によって時系列に撮影された画像を処理する画像処理装置、及び、その画像処理装置を含む内視鏡システムに関する。

　近年、医療分野では、コンピュータ診断支援（Computer-Aided Diagnosis：ＣＡＤ）の技術開発が加速している。特に、人工知能（artificial intelligence：ＡＩ）を活用したＣＡＤの技術開発が加速している。一般に、ＡＩは、深層学習（Deep learning）等の機械学習により生成される。

　特許文献１には、学習済みモデルで構成される認識器を用いて、内視鏡で撮影された画像から病変部を自動検出する技術が記載されている。また、特許文献２には、学習済みモデルで構成される認識器を用いて、内視鏡で撮影された画像から病変部の鑑別分類を行う技術が記載されている。

国際公開第２０１８／０４３６９９号国際公開第２０１８／１０５０６３号

　通常、認識器による処理結果は、内視鏡で撮影した画像を表示する表示装置に表示される。しかし、表示中の画像に対する認識器の処理結果は遅れて表示される。このため、たとえば、画面キャプチャなどによって、表示中の画像に対する認識器の処理結果を保存すると、正しい処理結果を保存できないという問題がある。

　本開示の技術に係る一つの実施形態は、認識器の処理結果を適切に保存できる画像処理装置及び内視鏡システムを提供する。

　（１）内視鏡によって時系列に撮影された画像を処理する画像処理装置であって、入力された画像に対し認識処理を行う認識器と、プロセッサと、を備え、プロセッサは、画像を時系列順に取得し、画像を時系列順に表示部に表示させ、認識処理の実行指示に応じて、指示を受け付けた時点で表示部に表示されている画像を第１画像として認識器に認識処理させ、認識器の処理結果に基づく第１情報を表示部に表示させ、認識処理の実行指示を受け付けた時点を特定する第２情報に関連付けて、認識器の処理結果に関する第３情報を記憶部に保存する、画像処理装置。

　（２）認識処理の実行指示が、静止画の撮影指示を兼ね、プロセッサは、認識処理の実行指示に応じて、第１画像を記憶部に保存する、（１）の画像処理装置。

　（３）第２情報が、認識処理の実行指示に応じて記憶部に保存される第１画像で構成される、（２）の画像処理装置。

　（４）第２情報が、認識処理の実行指示を受け付けた時点の時刻又は日時の情報、若しくは、撮影開始からの経過時間の情報で構成される、（１）又は（２）の画像処理装置。

　（５）プロセッサは、認識処理の実行指示に応じて、指示を受け付けた時点で表示部に表示されている第１情報を第２情報に関連付けて記憶部に保存し、第１画像に対する認識器の処理結果が出力された後、認識器の処理結果に基づいて、記憶部に保存した第１情報を更新し、更新後の第１情報を第３情報として記憶部に保存する、（１）から（３）のいずれか１の画像処理装置。

　（６）第３情報が、更新後の第１情報であることを示す情報を含んで構成される、（５）の画像処理装置。

　（７）プロセッサは、認識処理の実行指示を受け付けた時点で表示部に表示されている画面の画像であって、第１画像及び第１情報を含む画像を第２画像として記憶部に保存し、第１画像に対する認識器の処理結果が出力された後、認識器の処理結果に基づいて、記憶部に保存した第２画像の第１情報の部分を更新することにより、更新後の第１情報の部分を第３情報とし、かつ、第１画像の部分を第２情報として含む第２画像を記憶部に保存する、（１）の画像処理装置。

　（８）プロセッサは、表示部の画面内に設定された第１領域に第１画像を表示させ、第１領域とは異なる領域に設定された第２領域に第１情報を表示させる、（７）の画像処理装置。

　（９）第３情報が、更新後の第１情報であることを示す情報を含んで構成される、（７）又は（８）の画像処理装置。

　（１０）第１情報及び第３情報が、認識器の処理結果に基づいて生成される画像で構成される、（１）から（９）のいずれか１の画像処理装置。

　（１１）第１情報が、認識器の処理結果に基づいて生成される画像で構成され、第３情報が、第１情報を構成する画像の生成に必要な情報で構成される、（１）から（９）のいずれか１の画像処理装置。

　（１２）第３情報が、第１情報の生成に必要な情報で構成される、（１）から（９）のいずれか１の画像処理装置。

　（１３）第３情報が、認識器の処理結果を示す情報である、（１１）又は（１２）の画像処理装置。

　（１４）認識器が、病変部を検出し、第１情報が、病変部の位置を示す情報で構成される、（１）から（１３）のいずれか１の画像処理装置。

　（１５）認識器が、病変部を鑑別し、第１情報が、病変部の鑑別結果を示す情報で構成される、（１）から（１３）のいずれか１の画像処理装置。

　（１６）認識器が、病変部の種別を判別し、第１情報が、病変部の種別を示す情報で構成される、（１）から（１３）のいずれか１の画像処理装置。

　（１７）認識器が、特定の臓器の部位を判別し、第１情報が、臓器内で観察済みの部位を示す情報で構成される、（１）から（１３）のいずれか１の画像処理装置。

　（１８）内視鏡によって時系列に撮影された画像を処理する画像処理装置であって、入力された画像に対し認識処理を行う認識器と、プロセッサと、を備え、プロセッサは、画像を時系列順に取得し、画像を時系列順に表示部に表示させ、認識処理の実行指示に応じて、指示を受け付けた時点で表示部に表示されている画像を第１画像として認識器に認識処理させ、認識器の処理結果に基づく第１情報を表示部に表示させ、認識処理の実行指示を受け付けた時点で表示部に表示されている画面の画像であって、第１画像及び第１情報を含む画像を第２画像として取得し、第２画像の第１情報の部分を第４情報で置き換えた画像を第３画像として生成し、第３画像を記憶部に保存する、画像処理装置。

　（１９）内視鏡と、（１）から（１８）のいずれか１の画像処理装置と、を備えた内視鏡システム。

　本発明によれば、認識器の処理結果を適切に保存できる。

内視鏡システムのシステム構成の一例を示すブロック図プロセッサ装置が有する主な機能のブロック図画像処理装置のハードウェア構成の一例を示すブロック図画像処理装置が有する主な機能のブロック図認識処理部が有する主な機能のブロック観察状況の判定結果の一例を示す図画面表示の一例を示す図観察状況表示マップの一例を示す図観察状況の判定結果の情報を記録する場合の処理の流れの概略を示す図観察対象部位ごとに設定される撮影の判定基準の一例を示す図画像処理装置が有する主な機能のブロック図保存の処理の概念図画像処理装置が有する主な機能のブロック図保存の処理の概念図観察状況表示マップが更新済みである場合の保存用画面画像の一例を示す図他の画像への置き換えの一例を示す図画面キャプチャによって鑑別結果を保存する場合の処理の一例を示す図

　以下、添付図面に従って本発明の好ましい実施形態について詳説する。

　［第１の実施の形態］
　ここでは、上部消化器官、特に胃の内視鏡検査を行う内視鏡システムに本発明を適用した場合を例に説明する。

　［内視鏡システムの構成］
　図１は、内視鏡システムのシステム構成の一例を示すブロック図である。

　同図に示すように、本実施の形態の内視鏡システム１は、内視鏡１０、光源装置２０、プロセッサ装置３０、入力装置４０、表示装置５０及び画像処理装置１００等を備える。内視鏡１０は、光源装置２０及びプロセッサ装置３０に接続される。光源装置２０、入力装置４０及び画像処理装置１００は、プロセッサ装置３０に接続される。表示装置５０は、画像処理装置１００に接続される。

　本実施の形態の内視鏡システム１は、通常の白色光による観察（白色光観察）の他に、特殊光を用いた観察（特殊光観察）が可能なシステムとして構成される。特殊光観察には、狭帯域光観察が含まれる。狭帯域光観察には、ＢＬＩ観察（Blue laser imaging観察）、ＮＢＩ観察（Narrow band imaging観察）、ＬＣＩ観察（Linked Color Imaging観察）等が含まれる。なお、特殊光観察自体は、公知の技術であるので、その詳細についての説明は省略する。

　［内視鏡］
　本実施の形態の内視鏡１０は、電子内視鏡（軟性鏡）、特に、上部消化器官用の電子内視鏡である。電子内視鏡は、操作部、挿入部及び接続部等を備え、挿入部の先端に組み込まれた撮像素子で被写体を撮影する。撮像素子には、所定のフィルタ配列（たとえば、ベイヤ配列）を有するカラー撮像素子（たとえば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等を用いたカラー撮像素子）が使用される。操作部には、アングルノブ、送気送水ボタン、吸引ボタン、モード切り替えボタン、レリーズボタン及び鉗子口等が備えられる。モード切り替えボタンは、観察モードを切り替えるボタンである。たとえば、白色光観察を行うモード、ＬＣＩ観察を行うモード及びＢＬＩ観察を行うモードの切り替えが行われる。レリーズボタンは、静止画の撮影を指示するボタンである。なお、内視鏡自体は公知であるので、その詳細についての説明は省略する。内視鏡１０は、接続部を介して光源装置２０及びプロセッサ装置３０に接続される。

　［光源装置］
　光源装置２０は、内視鏡１０に供給する照明光を生成する。上記のように、本実施の形態の内視鏡システム１は、通常の白色光観察の他に、特殊光観察が可能なシステムとして構成される。このため、光源装置２０は、通常の白色光の他、特殊光観察に対応した光（たとえば、狭帯域光）を生成する機能を有する。なお、上記のように、特殊光観察自体は、公知の技術であるので、その照明光の生成についての説明は省略する。光源種の切り替えは、たとえば、内視鏡１０の操作部に備えられるモード切り替えボタンで行われる。

　［プロセッサ装置］
　プロセッサ装置３０は、内視鏡システム全体の動作を統括制御する。プロセッサ装置３０は、そのハードウェア構成として、プロセッサ、主記憶装置、補助記憶装置、入出力インターフェース等を備える。

　図２は、プロセッサ装置が有する主な機能のブロック図である。

　同図に示すように、プロセッサ装置３０は、内視鏡制御部３１、光源制御部３２、画像処理部３３、入力制御部３４及び出力制御部３５等の機能を有する。各機能は、プロセッサが所定のプログラムを実行することにより実現される。補助記憶装置には、プロセッサが実行する各種プログラム、及び、制御等に必要な各種データ等が格納される。

　内視鏡制御部３１は、内視鏡１０を制御する。内視鏡１０の制御には、撮像素子の駆動制御、送気送水の制御及び吸引の制御等が含まれる。

　光源制御部３２は、光源装置２０を制御する。光源装置２０の制御には、光源の発光制御、光源種の切り替え制御等が含まれる。

　画像処理部３３は、内視鏡１０の撮像素子から出力される信号に各種信号処理を施して、撮影画像を生成する処理を行う。

　入力制御部３４は、入力装置４０及び内視鏡１０の操作部からの操作の入力、及び、各種情報の入力を受け付ける処理を行う。

　出力制御部３５は、画像処理装置１００への情報の出力を制御する。画像処理装置１００に出力する情報には、内視鏡で撮影された画像（内視鏡画像）の他、入力装置４０を介して入力された情報、及び、各種操作情報等が含まれる。各種操作情報には、入力装置４０による操作情報の他、内視鏡１０の操作部の操作情報が含まれる。操作情報には、静止画の撮影指示が含まれる。静止画の撮影指示は、たとえば、内視鏡１０においては、操作部に備えられたレリーズボタンのボタン操作により行われる。この他、フットスイッチ、音声入力装置、タッチパネル等を介して撮影指示を行う構成とすることもできる。

　［入力装置］
　入力装置４０は、表示装置５０と共に内視鏡システム１におけるユーザーインターフェースを構成する。入力装置４０は、たとえば、キーボード、マウス及びフットスイッチ等で構成される。この他にも、入力装置４０は、タッチパネル、音声入力装置及び視線入力装置等を含めた構成とすることができる。

　［表示装置］
　表示装置５０は、内視鏡画像の表示に使用される他、各種情報の表示に使用される。表示装置５０は、たとえば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electroluminescence Display：ＯＥＬＤ）等で構成される。この他、表示装置５０は、プロジェクタ、ヘッドマウントディスプレイ等で構成することもできる。本実施の形態において、表示装置５０は、表示部の一例である。

　［画像処理装置］
　画像処理装置１００は、内視鏡１０で撮影された画像に対し、各種認識処理を行う。一例として、本実施の形態では、画像から病変部を検出する処理、検出された病変部を鑑別する処理、及び、観察状況を判定する処理等を行う。また、画像処理装置１００は、認識処理の結果を含めて、内視鏡１０で撮影された画像を表示装置５０に出力する処理を行う。更に、画像処理装置１００は、ユーザからの指示に応じて、静止画を撮影し、記録する処理を行う。

　図３は、画像処理装置のハードウェア構成の一例を示すブロック図である。

　画像処理装置１００は、いわゆるコンピュータで構成され、そのハードウェア構成として、プロセッサ１０１、主記憶装置（メインメモリ）１０２、補助記憶装置（ストレージ）１０３、入出力インターフェース１０４等を備える。画像処理装置１００は、入出力インターフェース１０４を介してプロセッサ装置３０及び表示装置５０と接続される。補助記憶装置１０３は、たとえば、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）を含むフラッシュメモリ等で構成される。補助記憶装置１０３には、プロセッサ１０１が実行するプログラム、及び、制御等に必要な各種データが記憶される。また、内視鏡で撮影された画像（静止画及び動画）及び認識処理の結果は、補助記憶装置１０３に保存される。

　図４は、画像処理装置が有する主な機能のブロック図である。

　同図に示すよう、画像処理装置１００は、画像取得部１１１、コマンド取得部１１２、認識処理部１１３、記録制御部１１４及び表示制御部１１５等の機能を有する。各部の機能は、プロセッサ１０１が、所定のプログラム（画像処理プログラム）を実行することで実現される。

　画像取得部１１１は、内視鏡１０によって時系列に撮影された画像を時系列順に取得する処理を行う。画像は、プロセッサ装置３０を介して取得される。

　コマンド取得部１１２は、コマンド情報を取得する。コマンド情報には、静止画の撮影指示の情報が含まれる。上記のように、静止画の撮影指示は、内視鏡１０の操作部に備えられたレリーズボタンにより行われる。

　認識処理部１１３は、画像取得部１１１で取得した画像に対し、画像認識を行うことにより各種処理を行う。図５は、認識処理部が有する主な機能のブロックである。同図に示すように、本実施の形態の認識処理部１１３は、病変検出部１１３Ａ、鑑別部１１３Ｂ及び観察状況判定部１１３Ｃ等の機能を有する。

　病変検出部１１３Ａは、入力された画像に対し、画像認識を行うことにより、画像内に含まれるポリープ等の病変部を検出する。病変部には、病変部であることが確定的な部分の他、病変の可能性がある部分（良性の腫瘍又は異形成等）、及び、直接的又は間接的に病変に関連する可能性のある特徴を有する部分（発赤等）等が含まれる。病変検出部１１３Ａは、画像から病変部を認識するように学習された学習済みモデルで構成される。学習済みモデルを用いた病変部の検出自体は公知の技術であるので、その詳細についての説明は省略する。一例として、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いたモデルで構成される。なお、病変部の検出は、検出した病変部に対する種別の判別を含めることができる。

　鑑別部１１３Ｂは、病変検出部１１３Ａで検出された病変部について鑑別処理を行う。一例として、本実施の形態では、病変検出部１１３Ａで検出されたポリープ等の病変部について、腫瘍性（NEOPLASTIC）又は非腫瘍性（HYPERPLASTIC）の鑑別処理を行う。鑑別部１１３Ｂは、画像から病変部を鑑別するように学習された学習済みモデルで構成される。

　観察状況判定部１１３Ｃは、検査対象に対する観察状況を判定する処理を行う。具体的には、検査対象の所定の部位を観察したか否かを判定する処理を行う。本実施の形態では、静止画の撮影結果から所定の部位を観察したか否かを判定する。すなわち、撮影した静止画に所定の部位が含まれているか否かを判定して、検査対象の所定の部位を観察したか否かを判定する。したがって、静止画の撮影が前提となる。所定の部位（観察対象部位）は、検査の目的等に応じて、検査対象ごとに定められる。たとえば、検査対象が胃の場合、一例として、（１）食道胃接合部、（２）噴門直下の小弯（Ｊターン操作による撮影）、（３）噴門直下の大弯（Ｕターン操作による撮影）、（４）胃角部又は体下部からの小弯後壁（Ｊターン操作による撮影）、（５）幽門輪前部から幽門輪、及び、（６）体下部大弯見下ろしが、観察対象部位に設定される。これらの部位は、意図的に記録されなければならいない部位である。また、これらの部位は、意図的な内視鏡操作が要求される部位である。なお、（４）の「胃角部又は体下部からの小弯後壁」については、必ずしも胃角を撮影できない場合があること及び後壁を撮影していることを担保できないことを考慮して、「体下部小弯（Ｊターン操作による撮影）」とすることもできる。また、（５）の「幽門輪前部から幽門輪」については、幽門輪をピンポイントで撮影するよりは、前庭部を俯瞰的に撮影できているかを重視した「前庭部全景」とすることもできる。また、（６）の「体下部大弯見下ろし」については、体下部に限らず、ヒダが開いた大弯が撮影できていることを重視した「大弯見下ろし」とすることもできる。

　観察状況判定部１１３Ｃは、画像から部位を認識する部位認識部１１３Ｃ１、及び、部位認識部１１３Ｃ１の認識結果に基づいて、観察対象部位が観察（撮影）されたか否かを判定する判定部１１３Ｃ２を含む。

　部位認識部１１３Ｃ１は、入力された画像に対し、画像認識を行うことにより、画像に含まれる部位を認識する処理を行う。部位認識部１１３Ｃ１は、画像から部位を認識するように学習された学習済みモデルで構成される。一例として、部位認識部１１３Ｃ１は、ＣＮＮで構成される。本実施の形態において、部位認識部１１３Ｃ１を構成する学習済みモデルは、認識器の一例である。

　なお、上記のように、本実施の形態では、静止画の撮影結果から観察対象部位を観察したか否かを判定する。したがって、部位認識部１１３Ｃ１には、静止画が入力される。静止画の撮影は、ユーザによる撮影指示に応じて行われる。よって、本実施の形態では、静止画の撮影指示が、観察状況の判定処理の実行指示を兼ねる。

　判定部１１３Ｃ２は、部位認識部１１３Ｃ１による認識結果に基づいて、観察対象部位が観察（撮影）された否かを判定する。本実施の形態では、上記６つ部位が観察されたか否かを判定する。図６は、観察状況の判定結果の一例を示す図である。同図に示すように、判定結果は、観察対象部位ごとに「観察済み」であるか、「未観察」であるかが示される。一度でも認識された観察対象部位は「観察済み」とされる。一方、未だ認識されていない観察対象部位は「未観察」とされる。観察状況の判定結果の情報は、観察状況表示マップの生成に必要な情報を構成する。観察状況表示マップは、観察状況を図で示したものである。観察状況表示マップの詳細は、後述する。

　記録制御部１１４は、静止画の撮影指示に応じて、静止画を撮影し、補助記憶装置１０３に記録（保存）する処理を行う。更に、記録制御部１１４は、観察状況の判定機能がＯＮされている場合、観察状況の判定結果の情報を静止画に関連付けて補助記憶装置１０３に記録（保存）する処理を行う。

　静止画は、静止画の撮影指示を受け付けた時点で表示装置５０に表示されている画像を保存する。これにより、ユーザは、所望の画像を静止画として保存できる。記録制御部１１４は、静止画の撮影指示に応じて、表示装置５０に表示されているフレームの画像を取得し、補助記憶装置１０３に記録する。観察状況の判定機能がＯＮされている場合、そのフレームの画像（静止画として記録する画像）が、観察状況判定部１１３Ｃに入力される。記録制御部１１４は、その処理結果を取得し、静止画に関連付けて補助記憶装置１０３に記録する。本実施の形態において、補助記憶装置１０３に記録する静止画は、認識処理の実行指示を受け付けた時点を特定する第２情報の一例である。また、その静止画に関連付けられて補助記憶装置１０３に記録される観察状況の判定結果の情報は、第３情報の一例である。更に、補助記憶装置１０３は、記憶部の一例である。

　なお、関連付けの手法は、特に限定されない。静止画と、その静止画に基づく観察状況の判定結果の情報との対応関係が分かる形式で記録できればよい。したがって、たとえば、別途生成した管理ファイルにより、両者の対応付けを管理してもよい。また、たとえば、静止画の付属情報（いわゆるメタ情報）として、観察状況の判定結果の情報を記録してもよい。

　表示制御部１１５は、表示装置５０の表示を制御する。表示制御部１１５は、内視鏡１０によって時系列に撮影された画像を時系列順に表示装置５０に表示させる。また、表示制御部１１５は、認識処理部１１３での認識処理の結果に基づく情報を表示装置５０に表示させる。

　図７は、画面表示の一例を示す図である。同図は、表示装置５０が、いわゆるワイドモニタ（画面が横長モニタ）の場合の例を示している。

　同図に示すように、画面５２内に設定された主表示領域Ａ１に内視鏡で撮影された画像Ｉがリアルタイムに表示される。すなわち、ライブビューが表示される。主表示領域Ａ１は、第１領域の一例である。画面５２には、更に副表示領域Ａ２が設定され、検査に関する各種情報が表示される。図７に示す例では、患者に関する情報Ｉｐ、及び、検査中に撮影された静止画Ｉｓを副表示領域Ａ２に表示した場合の例を示している。静止画Ｉｓは、たとえば、画面５２の上から下に向かって撮影された順に表示される。

　また、図７に示すように、病変部の検出支援機能がＯＮされている場合、病変部の検出結果が画面５２に表示される。病変部の検出結果は、検出された病変部を枠（いわゆるバウンディングボックス）Ｂで囲う形で表示される。枠Ｂは、病変部の位置を示す情報の一例である。病変検出部１１３Ａにおいて、病変部の種別を判別する場合には、病変部の位置を示す情報に代えて、あるいは、病変部の位置を示す情報に加えて、判別した病変部の種別の情報が画面上に表示される。病変部の種別の情報は、画面の所定の位置、たとえば、検出した病変部の近傍、あるいは、副表示領域Ａ２に表示される。

　また、図７に示すように、鑑別支援機能がＯＮされている場合、鑑別結果が画面５２に表示される。鑑別結果は、画面５２内に設定された鑑別結果表示領域Ａ３に表示される。図７は、鑑別結果が「腫瘍性（NEOPLASTIC）」の場合の例を示している。

　更に、図７に示すように、観察状況の判定機能がＯＮされている場合、観察状況を示す観察状況表示マップＭが画面５２に表示される。観察状況表示マップＭは、観察状況の判定結果に基づいて生成され、所定の位置に表示される。この位置は、表示が内視鏡の画像Ｉに重ならない位置に設定される。図７は、副表示領域Ａ２に観察状況表示マップＭを表示させた場合の例を示している。副表示領域Ａ２において、観察状況表示マップＭは、他の表示よりも優先して表示される。すなわち、他の情報と表示が重なる場合、最上位に表示される。本実施の形態において、観察状況表示マップＭが表示される領域は、第２領域の一例である。この領域は、内視鏡の画像Ｉが表示される領域とは異なる領域である。

　図８は、観察状況表示マップの一例を示す図である。同図は、検査対象が胃の場合の例を示している。

　同図に示すように、観察状況表示マップＭは、検査対象とする臓器のシェーマ図を用いて生成される。本実施の形態では、胃のシェーマ図を用いて生成される。具体的には、図８に示すように、矩形のボックス内に胃のシェーマ図Ｓｃが表示され、そのシェーマ図上に観察対象部位Ｏｔ１～Ｏｔ６がラインで示される。同図は、第１観察対象部位Ｏｔ１が「食道胃接合部」、第２観察対象部位Ｏｔ２が「噴門直下の小弯」、第３観察対象部位Ｏｔ３が「噴門直下の大弯」、第４観察対象部位Ｏｔ４が「胃角部又は体下部からの小弯後壁」、第５観察対象部位Ｏｔ５が「幽門輪前部から幽門輪」、第６観察対象部位Ｏｔ６が、「体下部大弯見下ろし」の場合の例を示している。

　各観察対象部位Ｏｔ１～Ｏｔ６を示すラインは、その観察対象部位が「観察済み」であるか、「未観察」であるかによって、異なる色で表示される。たとえば、「未観察」観察対象部位のラインは、グレーで表示され、「観察済み」観察対象部位のラインは、緑（図８では黒で表示）で表示される。図８は、第１観察対象部位Ｏｔ１、第２観察対象部位Ｏｔ２及び第３観察対象部位Ｏｔ３が「未観察」であり、第４観察対象部位Ｏｔ４、第５観察対象部位Ｏｔ５及び第６観察対象部位Ｏｔ６「観察済み」の場合の例を示している。

　このように、観察対象部位を示すラインを色分けして表示することにより、観察対象部位が観察済みであるか、未観察であるかを一目で把握できる。本実施の形態において、観察状況表示マップＭは、第１情報の一例である。

　［内視鏡システムの作用］
　内視鏡システム１の基本動作として、画像処理装置１００は、内視鏡１０で撮影された画像を表示装置５０にリアルタイムに表示させる。

　この基本動作に加えて、画像処理装置１００は、各種の支援情報を表示装置５０に表示させる。本実施の形態では、支援情報として、病変部の検出結果の情報、病変部の鑑別結果の情報、及び、観察状況の判定結果の情報が表示される。各支援情報は、該当する機能がＯＮされている場合に表示される。たとえば、病変部の検出支援機能がＯＮされている場合、病変部の検出結果として、検出された病変部が枠で囲われて表示される。また、鑑別支援機能がＯＮされている場合、鑑別結果が鑑別結果表示領域Ａ３に表示される。更に、観察状況の判定機能がＯＮされている場合、観察状況の判定結果として、観察状況表示マップＭが画面５２に表示される。観察状況の判定処理は、静止画の撮影結果に基づいて行われる。すなわち、撮影された静止画に観察対象部位が含まれているか否かを判定して、所定の観察対象部位が観察されたか否かを判定する。

　更に、画像処理装置１００は、ユーザによる静止画の撮影指示に応じて、表示装置５０に表示中のフレームの画像を静止画として記録する。

　観察状況の判定機能がＯＮされている場合、画像処理装置１００は、撮影された静止画に関連付けて、観察状況の判定結果の情報を記録する。

　図９は、観察状況の判定結果の情報を記録する場合の処理の流れの概略を示す図である。

　同図に示すように、表示装置５０には、内視鏡で撮影された画像Ｉが、所定のフレームレートで表示される。

　ある特定の時点で静止画の撮影が指示されると、その指示を受け付けた時点で表示装置５０に表示されている画像Ｉｘが、記録制御部１１４で取得され、補助記憶装置１０３に記録される。この画像Ｉｘは、観察状況判定部１１３Ｃに入力される。観察状況判定部１１３Ｃは、入力された画像を処理し、観察状況の判定結果を出力する。記録制御部１１４は、観察状況判定部１１３Ｃから出力された観察状況の判定結果の情報Ｏｘを取得し、先に記録した静止画Ｉｘに関連付けて、補助記憶装置１０３に記録する。観察状況の判定結果の情報Ｏｘは、観察対象部位ごとに「観察済み」、「未観察」の判定結果を示した情報で構成される。

　観察状況の判定結果の情報Ｏｘは、表示制御部１１５にも出力される。表示制御部１１５は、取得した観察状況の判定結果の情報Ｏｘに基づいて、観察状況表示マップＭを生成し、画面５２の所定の位置に表示させる（図７参照）。

　このように、本実施の形態の内視鏡システム１によれば、静止画と、その静止画に基づく観察状況の判定結果とを適切に関連付けて保存できる。これにより、たとえば、検査後に静止画を確認等する際に、正確な観察状況を参照できる。

　表示装置５０の画面５２には、観察状況表示マップＭが表示されるが（図７参照）、その表示は遅れて更新される。このため、たとえば、画面キャプチャなどによって、内視鏡の画像Ｉと、その時に観察状況表示マップＭとを保存すると、正確な対応関係にない画像Ｉと観察状況表示マップＭとが保存される。これに対して、本実施の形態の内視鏡システム１では、撮影した静止画に基づく観察状況の判定結果を取得して保存するので、正確な対応関係で静止画と観察状況の判定結果を保存できる。

　［変形例］
　［観察状況の判定結果の情報の保存］
　上記実施の形態では、撮影した静止画と、その静止画に基づく観察状況の判定結果の情報とを関連付けて保存する構成としているが、特定の時点での観察状況の判定結果の情報のみを保存する構成とすることもできる。たとえば、観察状況の判定結果の保存指示（認識処理の実行指示）を受け付けた時点で観察状況の判定処理を実施し、その結果を保存する構成にできる。この場合、観察状況の判定結果の保存指示を受け付けた時点で表示装置に表示されている画像を観察状況判定部１１３Ｃに入力し、その結果を取得して、補助記憶装置１０３に記録する。また、この場合、保存指示を受け付けた時点での時刻又は日時の情報に関連付けて、結果の情報を記録する。若しくは、保存指示を受け付けた時点での撮影開始からの経過時間の情報に関連付けて、結果の情報を記録する。

　また、静止画に関連付けて記録する場合も、直接、静止画に関連付けて記録するのではなく、間接的に静止画に関連付けて記録する構成とすることもできる。たとえば、上記のように、結果の情報を日時又は時刻の情報に関連付けて記録する場合、静止画についても、日時又は時刻の情報に関連付けて記録する。これにより、日時又は時刻から両者を対応付けることができる。撮影開始からの経過時間の情報に関連付けて記録する場合も同様である。

　また、静止画に関連付けて記録する観察状況の判定結果の情報は、更新後の情報であることを示す情報を含めて記録することがより好ましい。これにより、更新後の情報であることを容易に確認できる。

　［保存する情報］
　上記実施の形態では、静止画に関連付けて、その静止画に基づく観察状況の判定結果の情報を保存する構成としているが、静止画に関連付けて保存する情報は、これに限定されるものではない。病変部の検出結果の情報及び／又は鑑別結果の情報を保存対象とすることもできる。たとえば、撮影した静止画に関連付けて、病変部の検出結果の情報を保存する場合、静止画の撮影指示に応じて、表示装置に表示されている画像を保存し、かつ、病変検出部に入力する。そして、その病変検出部による病変部の検出結果の情報を取得して、静止画に関連付けて保存する。また、たとえば、撮影した静止画に関連付けて、病変部の鑑別結果の情報を保存する場合、静止画の撮影指示に応じて、表示装置に表示されている画像を保存し、かつ、鑑別部に入力する。そして、その鑑別部による鑑別結果の情報を取得して、静止画に関連付けて保存する。

　［観察状況の判定］
　上記実施の形態では、あらかじめ設定した観察対象部位が、静止画として撮影されたか否かによって、観察状況を判定する手法を採用しているが、観察状況を判定する手法は、これに限定されるものではない。内視鏡で撮影した画像に観察対象部位が含まれているか否かを判定して、観察状況を判定する方法を採用することもできる。

　また、観察対象部位が撮影されたか否かについては、撮影の良し悪しも判定の条件に加えてもよい。撮影の良し悪しは、たとえば、ボケ、ぶれ、明るさ、構図、汚れ、ターゲット領域の有無等に分解し、それぞれで判定する。また、撮影の良し悪しは、観察対象部位ごとに設定し、撮影された画像が、すべての要件を満たしている場合に、観察対象部位が撮影されたと判定する。

　図１０は、観察対象部位ごとに設定される撮影の判定基準の一例を示す図である。

　同図に示すように、すべての観察対象部位について、画像のボケ及びぶれの判定を行う。また、すべての観察対象部位について、画像の明るさの判定を行う。

　また、観察対象部位が、食道胃接合部（第１観察対象部位）の場合、更に、境界可視判定を行う。境界可視判定は、画像から胃と食道の接合部が可視可能であるか否かの判定を行う。

　また、観察対象部位が、噴門直下の小弯（第２観察対象部位）の場合、更に、噴門可視判定及び噴門距離判定を行う。噴門可視判定は、画像から噴門が可視可能であるか否かを判定する。噴門距離判定は、画像から噴門までの距離（撮影距離）を計測し、その可否を判定する。

　また、観察対象部位が、噴門直下の大弯（第３観察対象部位）の場合、更に、処置判定及び構図判定を行う。処置判定は、画像から観察対象部位に水、残渣及び泡等が溜まっているか否かを判定する。構図判定は、撮影構図の可否を判定する。たとえば、観察対象部位が、画像中央に写っているか否か等を判定する。

　また、観察対象部位が、胃角部又は体下部からの小弯後壁（第４観察対象部位）の場合、差ライン、構図判定を行う。

　また、観察対象部位が、幽門輪前部から幽門輪（第５観察対象部位）の場合、更に、蠕動判定及び構図判定を行う。蠕動判定は、画像から観察対象部位に蠕動があるか否かを判定する。

　また、観察対象部位が、体下部大弯見下ろし（第６観察対象部位）の場合、更に、処置判定、構図判定、及び、ひだ判定が行われる。ひだ判定は、画像から観察対象部位のひだが延びてるか否かを判定する。

　各判定を行う判定器は、たとえば、学習済みモデルで構成することができる。

　［第２の実施の形態］
　上記第１の実施の形態では、撮影した静止画に関連付けて、その静止画に基づく観察状況の判定結果の情報を保存する構成としている。本実施の形態では、撮影した静止画に関連付けて、その静止画に基づく観察状況表示マップを保存する。

　図１１は、画像処理装置が有する主な機能のブロック図である。

　記録制御部１１４は、静止画の撮影が指示されると、撮影が指示された時点で表示装置５０に表示されているフレームの画像を取得し、補助記憶装置１０３に保存する。保存された画像が、撮影された静止画を構成する。本実施の形態において、保存される静止画は、第１画像の一例であり、かつ、第２情報の一例である。

　認識処理部１１３は、観察状況判定部１１３Ｃを含む（図５参照）。静止画の撮影が指示されると、撮影が指示された時点で表示装置５０に表示されているフレームの画像が観察状況判定部１１３Ｃに入力される。観察状況判定部１１３Ｃによる観察状況の判定結果に基づき観察状況表示マップを生成し、表示装置５０に表示させる。

　記録制御部１１４は、生成された観察状況表示マップを取得し、撮影した静止画に関連付けて、補助記憶装置１０３に保存する。観察状況表示マップは、画像データの形式で取得される。本実施の形態において、観察状況表示マップは、第１情報及び第３情報の一例である。

　図１２は、保存の処理の概念図である。

　時刻Ｔ１で静止画の撮影が指示されたとする。撮影が指示されると、その時点（時刻Ｔ１）で表示装置５０に表示されている画像Ｉ１が補助記憶装置１０３に保存される。

　ここで、時刻Ｔ１の時点で表示装置５０に表示される観察状況表示マップＭ１は、未だ判定結果が反映されていない状態にある。たとえば、時刻Ｔ１での撮影が、最初の撮影であったとする。この場合、時刻Ｔ１の時点で表示装置５０に表示される観察状況表示マップＭ１は、すべての観察対象部位が未観察の状態の表示となる。すなわち、各観察対象部位を示すラインの色がグレーの状態での表示となる。

　時刻Ｔ１で撮影された静止画に基づく観察状況の判定結果が、観察状況表示マップに反映されるのは、時刻Ｔ１よりも後の時点の時刻Ｔ２である。記録制御部１１４は、時刻Ｔ２の時点で表示装置５０に表示される観察状況表示マップＭ２を取得し、時刻Ｔ１の時点で撮影された画像（静止画）Ｉ１に関連付けて補助記憶装置１０３に保存する。

　たとえば、時刻Ｔ１の時点で第６観察対象部位（体下部大弯見下ろし）を撮影した場合、第６観察対象部位が観察済みの表示となった観察状況表示マップＭ２が、撮影した画像Ｉ１に関連付けられて保存される。

　このように、本実施の形態においても、静止画と、その静止画に基づく観察状況表示マップとを適切に関連付けて保存できる。

　［変形例］
　撮影した静止画に関連付けて保存する観察状況表示マップについては、更新済みであることを示す情報を付加してもよい。たとえば、観察状況表示マップを構成する画像内に「Ｕｐｄａｔｅｄ（更新済み）」の文字情報を付加する。これにより、保存されている観察情報表示マップが更新後のものであることを容易に確認できる。

　［第３の実施の形態］
　本実施の形態では、画面キャプチャ（スクリーンショット）によって、静止画及び観察状況表示マップを保存する。すなわち、画面キャプチャによって静止画を保存し、同時に観察状況表示マップを保存する。

　上記のように、観察状況は、撮影された静止画に基づいて判定される。したがって、その結果が、観察状況表示マップに反映されるのは、静止画の撮影の後である。よって、画面キャプチャによって静止画及び観察状況表示マップを保存すると、不適切な観察状況表示マップが保存される事態が生じる。

　本実施の形態では、静止画の撮影が指示された場合に、画面の表示を一時的に保存し、事後的に観察状況表示マップを更新する。すなわち、撮影が指示された時点の画面の表示を一時的に保存し、その後、撮影された画像に対する観察状況表示マップが得られた段階で、観察状況表示マップの領域の画像を更新し、保存する。これにより、静止画及び観察状況表示マップが正確に対応付けられた画面情報を保存できる。

　図１３は、画像処理装置が有する主な機能のブロック図である。

　記録制御部１１４は、静止画の撮影が指示されると、撮影が指示された時点で表示装置５０に表示されている画面の画像を取得し、主記憶装置１０２に保存する。また、本実施の形態において、静止画の撮影が指示された時点で表示装置５０に表示されている画面の画像は、第２画像の一例である。また、その画面の画像に含まれる内視鏡の画像は、第１画像の一例であり、かつ、第２情報の一例である。

　記録制御部１１４は、生成された観察状況表示マップの画像を取得し、主記憶装置１０２に記録した画面の画像を更新する。すなわち、画面の画像のうち観察状況表示マップの部分の画像を新たに取得した観察状況表示マップの画像で上書きして書き換える。そして、更新後の画面の画像を補助記憶装置１０３に保存する。本実施の形態において、観察状況表示マップは、第１情報及び第３情報の一例である。また、本実施の形態において、主記憶装置１０２及び補助記憶装置１０３は、記憶部の一例である。

　図１４は、保存の処理の概念図である。

　時刻Ｔ１で静止画の撮影が指示されたとする。撮影が指示されると、その時点（時刻Ｔ１）で表示装置５０に表示されている画面の画像（画面画像）ＳＩ１が、主記憶装置１０２に保存される。この画面画像ＳＩ１には、時刻Ｔ１の時点での内視鏡の画像Ｉ１及び観察状況表示マップＭ１が含まれる。時刻Ｔ１の時点の観察状況表示マップＭ１は、時刻Ｔ１の時点での画像Ｉ１に対する観察状況の判定結果が反映されていないものである。たとえば、時刻Ｔ１での静止画の撮影が、最初の撮影の場合、観察状況表示マップＭ１は、すべての観察対象部位が未観察の状態の表示となる。

　時刻Ｔ１で撮影された静止画に基づく観察状況の判定結果が、観察状況表示マップに反映されるのは、時刻Ｔ１よりも後の時点の時刻Ｔ２である。記録制御部１１４は、時刻Ｔ２の時点で表示装置５０に表示される観察状況表示マップＭ２の画像を取得し、取得した画像で主記憶装置１０２に保存されている画面画像ＳＩ１を更新する。すなわち、画面画像ＳＩ１に表示されている観察状況表示マップＭ１の画像を新たに取得した観察状況表示マップＭ２の画像で上書きして書き換える。そして、更新後の画面画像（保存用画面画像）ＳＩ１ａを補助記憶装置１０３に保存する。

　［変形例］
　［更新済みであることの表示］
　観察状況表示マップを更新した画像（保存用画面画像）については、観察状況表示マップが更新済みであることを示す情報を付加することが好ましい。

　図１５は、観察状況表示マップが更新済みである場合の保存用画面画像の一例を示す図である。

　同図に示すように、観察状況表示マップＭ２が更新された保存用画面画像ＳＩ１ａにおいて、観察状況表示マップＭ２上の所定の位置に観察後のものであることを示す情報を付加する。同図においては、観察状況表示マップＭ２を構成する図の右上位置に「Ｕｐｄａｔｅｄ」の文字からなるマークＭｘを付して、観察状況表示マップＭ２が更新後のものであることを示している。これにより、観察状況表示マップＭ２が更新されていること、すなわち、観察状況の判定結果が適切に反映されたものであることを容易に確認できる。

　［他の画像への置き換え］
　上記本実施の形態では、画面キャプチャした画像に対し、観察状況の判定結果を正しく反映した観察状況表示マップに置き換える構成としているが、画面キャプチャした画像に対し、観察状況表示マップの部分の画像を他の画像に置き換える構成とすることもできる。

　図１６は、他の画像への置き換えの一例を示す図である。同図（Ａ）は、静止画の撮影が指示された時点で表示装置に表示されている画面の画像の一例を示す図である。すなわち、同図は、キャプチャされた画面画像を示している。同図（Ｂ）は、保存する画像の一例を示す図である。

　同図に示すように、画面キャプチャされた画面画像に対し、観察状況表示マップの表示領域が他の画像に置き換えられている。図１６（Ｂ）は、情報が何も表示されていないブランク画像ＢＬに置き換えた場合の例を示している。この場合、記録制御部１１４は、静止画の撮影が指示されると、撮影が指示された時点で表示装置５０に表示されている画面の画像（画面画像）ＳＩａを取得し、主記憶装置１０２に保存する。記録制御部１１４は、この画面画像に対し、観察状況表示マップの領域の部分の画像をブランク画像に置き換えた画像（保存用画像）ＳＩｂを生成し、補助記憶装置１０３に保存する。本例において、画面キャプチャされた画像は第２画像の一例である。また、画面キャプチャされた画像に含まれる内視鏡の画像は、第１画像の一例である。更に、画面キャプチャされた画像に含まれる観察状況表示マップは、第１情報の一例である。また、置き換えるブランク画像は、第４情報の一例である。また、観察状況表示マップの領域の画像がブランク画像に置き換えられた画面画像は、第３画像の一例である。

　このように、画面キャプチャした画像に対し、観察状況表示マップの部分の画像を他の画像に置き換えることで、不適切な観察状況表示マップが保存されるのを防止できる。

　なお、本例では、ブランク画像に置き換える例で説明したが、その他の画像に置き換える構成とすることもできる。たとえば、テキスト等を含む画像に置き換える構成とすることもできる。

　［鑑別結果の保存］
　図１７は、画面キャプチャによって鑑別結果を保存する場合の処理の一例を示す図である。

　同図は、所定のポジションマップＰＭを用いて観察結果を画面上に表示する場合の例を示している。ポジションマップＰＭとは、鑑別している領域（病変部の領域）を位置で示した図である。鑑別している領域が、鑑別結果に応じた色で表示される。たとえば、鑑別結果が腫瘍性の場合、該当領域が黄色で表示され、鑑別結果が非腫瘍性の場合、該当領域が緑色で示される。

　図１７（Ａ）は、画面キャプチャされた画像（画面画像）ＳＩａの一例を示す図である。同図は、画面キャプチャがされた時点で未だ鑑別結果が出力されていない場合の例を示している。

　図１７（Ｂ）は、保存する画面画像（保存用画面画像）ＳＩｂの一例を示す図である。同図に示すように、キャプチャされた画面画像ＳＩａに対し、ポジションマップの領域の画像が置き換えられた、画像ＳＩｂが生成される。置き換えられる画像は、画面キャプチャした時点で表示装置に表示されている内視鏡の画像に基づくポジションマップＰＭａの画像である。

　なお、本例においても、ポジションマップをブランク画像に置き換えて保存する構成とすることもできる。

　［その他の実施の形態］
　［保存する認識器の処理結果の情報］
　上記実施の形態では、内視鏡で撮影された画像から病変部を検出する処理、検出された病変部を鑑別する処理、及び、観察状況を判定する処理等を行い、その結果を保存する場合を例に説明したが、画像処理装置が行う認識処理の種類、及び、保存する処理結果の種類は、これに限定されるものではない。検査の目的等に応じて適宜設定できる。

　［保存先］
　上記実施の形態では、撮影した静止画及び認識器の処理結果に関する情報等を画像処理装置に備えられた補助記憶装置に保存する構成としているが、各情報の保存先は、これに限定されるものではない。外部の記憶装置に保存する構成とすることもできる。たとえば、ネットワーク等を介して接続されたデータサーバ等に保存する構成とすることもできる。

　［ハードウェア構成］
　画像処理装置が有する機能は、各種のプロセッサ（Processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

１　内視鏡システム
１０　内視鏡
２０　光源装置
３０　プロセッサ装置
３１　内視鏡制御部
３２　光源制御部
３３　画像処理部
３４　入力制御部
３５　出力制御部
４０　入力装置
５０　表示装置
５２　画面
１００　画像処理装置
１０１　プロセッサ
１０２　主記憶装置
１０３　補助記憶装置
１０４　入出力インターフェース
１１１　画像取得部
１１２　コマンド取得部
１１３　認識処理部
１１３Ａ　病変検出部
１１３Ｂ　鑑別部
１１３Ｃ　観察状況判定部
１１３Ｃ１　部位認識部
１１３Ｃ２　判定部
１１４　記録制御部
１１５　表示制御部
Ａ１　主表示領域
Ａ２　副表示領域
Ａ３　鑑別結果表示領域
Ｂ　検出された病変部を囲う枠
ＢＬ　ブランク画像
Ｉ　内視鏡で撮影された画像
Ｉ１　時刻Ｔ１の時点で表示装置に表示されている内視鏡の画像
Ｉｐ　患者に関する情報
Ｉｓ　撮影された静止画
Ｉｘ　静止画の撮影が指示された時点で表示装置に表示されている内視鏡の画像（静止画）
Ｍ　観察状況表示マップ
Ｍ１　時刻Ｔ１の時点で表示装置に表示される観察状況表示マップ
Ｍ２　時刻Ｔ２の時点で表示装置に表示される観察状況表示マップ
Ｍｘ　更新済みであることを示すマーク
Ｏｔ１　第１観察対象部位
Ｏｔ２　第２観察対象部位
Ｏｔ３　第３観察対象部位
Ｏｔ４　第４観察対象部位
Ｏｔ５　観察対象部位
Ｏｔ６　第６観察対象部位
Ｏｘ　観察状況の判定結果の情報
ＰＭ　ポジションマップ
ＰＭａ　置き換えられたポジションマップ
ＳＩ１　画面画像
ＳＩ１ａ　保存用画面画像
ＳＩａ　画面画像
ＳＩｂ　保存用画面画像
Ｓｃ　シェーマ図

Claims

　内視鏡によって時系列に撮影された画像を処理する画像処理装置であって、
　入力された前記画像に対し認識処理を行う認識器と、
　プロセッサと、
　を備え、
　前記プロセッサは、
　前記画像を時系列順に取得し、
　前記画像を時系列順に表示部に表示させ、
　認識処理の実行指示に応じて、指示を受け付けた時点で前記表示部に表示されている前記画像を第１画像として前記認識器に認識処理させ、
　前記認識器の処理結果に基づく第１情報を前記表示部に表示させ、
　前記認識処理の実行指示を受け付けた時点を特定する第２情報に関連付けて、前記認識器の処理結果に関する第３情報を記憶部に保存する、
　画像処理装置。
　前記認識処理の実行指示が、静止画の撮影指示を兼ね、
　前記プロセッサは、前記認識処理の実行指示に応じて、前記第１画像を前記記憶部に保存する、
　請求項１に記載の画像処理装置。
　前記第２情報が、前記認識処理の実行指示に応じて前記記憶部に保存される前記第１画像で構成される、
　請求項２に記載の画像処理装置。
　前記第２情報が、前記認識処理の実行指示を受け付けた時点の時刻又は日時の情報、若しくは、撮影開始からの経過時間の情報で構成される、
　請求項１又は２に記載の画像処理装置。
　前記プロセッサは、
　前記認識処理の実行指示に応じて、指示を受け付けた時点で前記表示部に表示されている前記第１情報を前記第２情報に関連付けて前記記憶部に保存し、
　前記第１画像に対する前記認識器の処理結果が出力された後、前記認識器の処理結果に基づいて、前記記憶部に保存した前記第１情報を更新し、更新後の前記第１情報を前記第３情報として前記記憶部に保存する、
　請求項１から３のいずれか１項に記載の画像処理装置。
　前記第３情報が、更新後の前記第１情報であることを示す情報を含んで構成される、
　請求項５に記載の画像処理装置。
　前記プロセッサは、
　前記認識処理の実行指示を受け付けた時点で前記表示部に表示されている画面の画像であって、前記第１画像及び前記第１情報を含む画像を第２画像として前記記憶部に保存し、
　前記第１画像に対する前記認識器の処理結果が出力された後、前記認識器の処理結果に基づいて、前記記憶部に保存した前記第２画像の前記第１情報の部分を更新することにより、更新後の前記第１情報の部分を前記第３情報とし、かつ、前記第１画像の部分を前記第２情報として含む前記第２画像を前記記憶部に保存する、
　請求項１に記載の画像処理装置。
　前記プロセッサは、前記表示部の画面内に設定された第１領域に前記第１画像を表示させ、前記第１領域とは異なる領域に設定された第２領域に前記第１情報を表示させる、
　請求項７に記載の画像処理装置。
　前記第３情報が、更新後の前記第１情報であることを示す情報を含んで構成される、
　請求項７又は８に記載の画像処理装置。
　前記第１情報及び前記第３情報が、前記認識器の処理結果に基づいて生成される画像で構成される、
　請求項１から９のいずれか１項に記載の画像処理装置。
　前記第１情報が、前記認識器の処理結果に基づいて生成される画像で構成され、
　前記第３情報が、前記第１情報を構成する画像の生成に必要な情報で構成される、
　請求項１から９のいずれか１項に記載の画像処理装置。
　前記第３情報が、前記第１情報の生成に必要な情報で構成される、
　請求項１から９のいずれか１項に記載の画像処理装置。
　前記第３情報が、前記認識器の処理結果を示す情報である、
　請求項１１又は１２に記載の画像処理装置。
　前記認識器が、病変部を検出し、
　前記第１情報が、前記病変部の位置を示す情報で構成される、
　請求項１から１３のいずれか１項に記載の画像処理装置。
　前記認識器が、病変部を鑑別し、
　前記第１情報が、前記病変部の鑑別結果を示す情報で構成される、
　請求項１から１３のいずれか１項に記載の画像処理装置。
　前記認識器が、病変部の種別を判別し、
　前記第１情報が、前記病変部の種別を示す情報で構成される、
　請求項１から１３のいずれか１項に記載の画像処理装置。
　前記認識器が、特定の臓器の部位を判別し、
　前記第１情報が、前記臓器内で観察済みの部位を示す情報で構成される、
　請求項１から１３のいずれか１項に記載の画像処理装置。
　内視鏡によって時系列に撮影された画像を処理する画像処理装置であって、
　入力された前記画像に対し認識処理を行う認識器と、
　プロセッサと、
　を備え、
　前記プロセッサは、
　前記画像を時系列順に取得し、
　前記画像を時系列順に表示部に表示させ、
　認識処理の実行指示に応じて、指示を受け付けた時点で前記表示部に表示されている前記画像を第１画像として前記認識器に認識処理させ、
　前記認識器の処理結果に基づく第１情報を前記表示部に表示させ、
　前記認識処理の実行指示を受け付けた時点で前記表示部に表示されている画面の画像であって、前記第１画像及び前記第１情報を含む画像を第２画像として取得し、
　前記第２画像の前記第１情報の部分を第４情報で置き換えた画像を第３画像として生成し、
　前記第３画像を記憶部に保存する、
　画像処理装置。
　内視鏡と、
　請求項１から１８のいずれか１項に記載の画像処理装置と、
　を備えた内視鏡システム。