(実施の形態1)
図1は、本発明の実施の形態1に係る内視鏡検査データ記録システム1の構成を示す図である。内視鏡検査データ記録システム1は内視鏡部門に設置され、図示しない内視鏡業務支援システムと連携して動作する。内視鏡検査データ記録システム1は内視鏡システム10、内視鏡検査データ記録装置20、端末装置30を備え、それらはLANなどのネットワーク2によって相互接続される。
内視鏡検査データ記録システム1は医療施設内の別のシステムと連携が可能である。例えばネットワーク2にゲートウェイ装置(不図示)が接続され、このゲートウェイ装置を介して内視鏡検査データ記録システム1は、オーダリングシステム、電子カルテシステム、医事会計システム等と連携可能である。
図2は、実施の形態1に係る内視鏡システム10の構成を示す図である。内視鏡システム10は内視鏡11、内視鏡処理装置(カメラコントロールユニットともいう)12、表示装置13及び光源装置14を備える。内視鏡11は患者の体内に挿入され、患者の体内を撮影する。内視鏡11は撮像素子111、鉗子チャンネル112及び操作部113を含む。
撮像素子111はCCDイメージセンサ、CMDイメージセンサまたはCMOSイメージセンサを備え、入射光を光電変換する。光電変換により生成された画像信号は、図示しない信号処理回路によりA/D変換、ノイズ除去などの信号処理が施され、内視鏡処理装置12に出力される。鉗子チャンネル112は、鉗子などの処置具を通すためのチャンネルである。操作部113にはレリーズボタン、内視鏡の先端を曲げるためのアングルノブ等が設けられる。
表示装置13は、内視鏡処理装置12から入力される画像を表示する。例えば、内視鏡11により撮像されている患者の体内の画像をリアルタイムに表示する。光源装置14はキセノンランプ等の光源を備え、内視鏡11の先端に光を送る。光源装置14は内視鏡11に複数種類の観察光を照射できる。例えば白色光、狭帯域光(Narrow Band Imaging:NBI)、蛍光、近赤外光を照射できる。
内視鏡処理装置12は内視鏡システム10全体を制御する。内視鏡処理装置12は制御部121、および通信部126を備える。制御部121は照射光切替制御部122、および画像認識部123を含む。画像認識部123は薬剤散布検知部123a、および処置実施検知部123bを含む。図2の制御部121には、実施の形態1の処理に関連する機能ブロックのみを描いている。
制御部121の機能は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。例えば、画像認識部123はFPGAにより構成されてもよい。
図3は、実施の形態1に係る内視鏡検査データ記録装置20の構成を示す図である。内視鏡検査データ記録装置20は例えばサーバ、またはPCで構成される。内視鏡検査データ記録装置20は通信部21、制御部22、記憶部23、およびコンソール部24を備える。制御部22はデータ取得部221、操作受付部222、表示制御部223、データ算出部224及びデータ記録部225を含む。データ取得部221は照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cを含む。図3の制御部22にも、実施の形態1の処理に関連する機能ブロックのみを描いている。制御部22の機能も、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。
記憶部23はHDD、SSD等の記録媒体を備え、マスタ情報保持部231、および検査データ保持部232を含む。図3の記憶部23にも、実施の形態1の処理に関連する機能ブロックのみを描いている。
図4は、実施の形態1に係る端末装置30の構成を示す図である。端末装置30は医師、看護師など医療機関に従事する医療従事者が使用する端末装置であり、例えばPC、タブレット、PDAなどで構成される。タブレット、PDAなどの携帯端末装置が使用される場合、ネットワーク2にアクセスポイント(不図示)が設置され、無線LANによりネットワーク2に接続される。端末装置30は通信部31、制御部32、記憶部33、表示部34、および操作入力部35を備える。以下、図2〜図4を参照しながら具体的に説明する。
内視鏡11で患者の体内を撮影した内視鏡画像は動画像として、内視鏡処理装置12に入力される。例えば30Hzのフレームレートで入力される。内視鏡処理装置12の表示制御部(不図示)は、入力された内視鏡動画像を表示装置13に表示させる。内視鏡処理装置12の操作受付部(不図示)は内視鏡11の操作部113に対してなされた医師の操作を受け付ける。例えば医師によるレリーズボタンの押下を受け付ける。内視鏡処理装置12の画像抽出部(不図示)は、レリーズボタンが押下されたタイミングで内視鏡動画像から静止画を抽出する。抽出された静止画は内視鏡システム10の記憶装置(不図示)に保存されるか、ネットワーク2を介して内視鏡画像記録装置(不図示)に転送されて保存される。なお内視鏡検査データ記録装置20に転送して保存してもよいし、PACS(Picture Archiving and Communication System)(不図示)に転送して保存してもよい。
照射光切替制御部122は、内視鏡処理装置12の操作部(不図示)に対して医師によりなされた観察光の切替操作を受け付け、当該切替操作により指示された種別の観察光を発光するよう光源装置14を制御する。光源装置14で発光された観察光は、内視鏡11を通じて患者の体腔に誘導され、体腔内を照射する。
薬剤散布検知部123aは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用された薬剤を画像認識により検出する。薬剤散布検知部123aはフレーム画像内から画像認識により薬剤を定期的に所定の時間間隔で探索する。例えば、N秒またはNフレームおきに探索を実行する。例えば1秒おき、または5秒おきに探索する。
探索対象の薬剤は患者の体内に散布された色素剤・染色剤である。色素剤は生体粘膜に吸収されず表面に貯留することで形状や凹凸を観察するために使用される。染色剤は組織による吸収有無や反応の違いにより粘膜表面性状や細胞構造の違いを観察するために使用される。
代表的な色素・染色剤として、インジゴカルミン、ルゴール(ヨード)、ピオクタニン(クリスタルバイオレット)、メチレンブルー、酢酸、墨汁が挙げられる。インジゴカルミンの主な散布臓器は胃、大腸であり、腫瘍性病変(癌、腺腫等)および非腫瘍性病変(過形成性ポリープ)等の鑑別診断および範囲診断に用いられる。ルゴールの主な散布臓器は食道であり、 食道癌の鑑別診断および範囲診断に用いられる。ピオクタニンの主な散布臓器は大腸であり、大腸癌を含む腫瘍性・非腫瘍性病変の鑑別診断および深達度診断に用いられる。メチレンブルーの主な散布臓器は胃、大腸であり、胃の腸上皮化生の診断に用いられてる。近年は超拡大内視鏡(endocytoscopy:EC)観察の核染色にも使用される。なお、この用途でピオクタニンを使用する場合もある。酢酸の主な散布臓器は胃、大腸であり、腫瘍性病変(癌、腺腫等)および非腫瘍性病変(過形成性ポリープ)等の鑑別診断および範囲診断に用いられる。インジゴカルミンと併用され、範囲診断の精度を高めるために使用される。
薬剤散布検知部123aは内視鏡画像内から薬剤(例えば、インジゴカルミン(青色〜緑青色)、ルゴール(褐色〜黄褐色)、ピオクタニン(紫色〜青紫色)、メチレンブルー(青色)、酢酸(白色))を色調特徴量に基づき検出する。色調特徴量に基づく検出方法として例えば、特願平7−116138号、特願2014−191781号に記載した方法を使用することができる。
薬剤散布検知部123aは探索対象の内視鏡画像ごとに色調特徴量を算出し、探索対象の各内視鏡画像内における薬剤散布の有無を検知する。薬剤が散布されている場合、その薬剤の種別を特定する。薬剤散布検知部123aはN秒またはNフレームおきに、患者の体内における薬剤の散布状態を示す薬剤散布データをデータ送出部125に渡す。
処置実施検知部123bは内視鏡動画像に含まれるフレーム画像から、内視鏡検査で使用される処置具を画像認識により検出し、検出した処置具をもとに実施されている処置を検知する。処置実施検知部123bはフレーム画像内から画像認識により処置具を定期的に探索する。通常、薬剤散布検知部123aによる薬剤の画像認識処理と同期して処理される。
処置具には鉗子が含まれる。鉗子には生検鉗子、把持鉗子、ホットバイオプシー鉗子などがある。ホットバイオプシー鉗子は高周波通電ができ、異物をつまんで切除し回収できる鉗子である。また処置具には注射針が含まれる。注射針には生検針、生理食塩水を局注するための局注針などがある。また処置具には高周波処置具が含まれる。高周波処置具にはスネア、切開鉗子、ナイフ、止血鉗子などがある。高周波スネアはEMR(Endoscopic Mucosal Resection)に使用される。高周波ナイフはESD(Endoscopic Submucosal Dissection)に使用される。
また処置具には、止血に使用されるクリップが含まれる。また処置具には、消化管内のポリープを結さつするための結紮装置が含まれる。また処置具には十二指腸スコープ用処置具が含まれる。十二指腸スコープ用処置具には、カニューラ、造影チューブ、砕石具などが含まれる。カニューラはERCP(Endoscopic Retrograde Cholangiopancreatography)に使用される。
また処置具には、ガイドワイヤ、ブラシ、バスケット、チューブ、ステント、バルーン、カテーテル等が含まれる。ガイドワイヤ、カテーテルはERCPに使用される。ブラシは細胞診に使用される。バスケットは採石、異物回収に使用される。チューブは色素散布に使用される。ステントは留置術に使用される。バルーンは拡張術に使用される。
以下、処置具の具体的な検出方法について説明する。内視鏡11は機種によって処置具の鉗子チャンネル112の位置が決まっている。鉗子チャンネル112が2チャンネルの機種もある。各処置具を鉗子チャンネル12に挿通した際の内視鏡画像をテンプレート画像とし、検査時の内視鏡画像と照合することにより、いずれの処置具が使用されたかを検出する。テンプレート画像は処置具ごとに、鉗子チャネル方向、突出長、開閉状態が異なる画像を複数用意する。また回転により画像上の形状が変化する非対称形状の処置具については、回転角度が異なる画像を複数用意する。
内視鏡画像から処置具を検出するために、まず内視鏡画像からエッジを検出する。エッジ検出用の画像には赤色(R)画像または緑色(G)画像を用いる。処置具シースが赤い場合は緑色(G)画像を用いるとよい。次にエッジ画像内からテンプレートマッチング、Hough変換などを用いて線分形状を検出する。次に、検出した線分形状とテンプレート画像を照合し、一致度を算出する。一致度が最も高いテンプレート画像の処置具を検出結果とする。
図5は、生検鉗子41を含む内視鏡画像40の一例を示す図である。処置具は、図5に示すように基本的に、4〜8時の方向からフレームインする。従って処置具のテンプレート画像は、4〜8時の方向からフレームインする向きのテンプレート画像のみを用意すればよい。これによりテンプレート画像の数、照合に必要な演算量を低減できる。
なお処置具の検出において、シースの色情報を考慮することも可能である。また近年パターン検出等で利用されているSIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)等の特徴量を用いたアルゴリズムを用いてもよい。
処置実施検知部123bは画像認識により検出した処置具をもとに、実施されている処置を検知する。例えば生検鉗子が検出された場合、生検が実施されていると判定する。処置実施検知部123bはN秒またはNフレームおきに、医師により実施される処置の実施状況を示す処置実施データをデータ送出部125に渡す。
照射光切替制御部122は、薬剤散布検知部123a及び処置実施検知部123bによる薬剤散布および処置実施の検知タイミングに同期して、N秒またはNフレームおきに光源装置14で使用されている観察光の種別を示す照射光種別データをデータ送出部125に渡す。
データ送出部125は、照射光切替制御部122から渡された照射光種別データ、薬剤散布検知部123aから渡された薬剤散布データ、および処置実施検知部123bから渡された処置実施データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。データ送出部125は、所定の時間間隔で渡される照射光種別データ、薬剤散布データ、および処置実施データをその都度、送信してもよいし、バッファ(不図示)にデータを一時蓄積してからまとめて送信してもよい。例えば、内視鏡検査終了後にその内視鏡検査の照射光種別データ、薬剤散布データ、および処置実施データを一括送信してもよい。またバッファ(不図示)の容量が小さく設計されている場合、バッファ(不図示)の空き容量がなくなった段階で蓄積したデータを一括送信する。
内視鏡検査データ記録装置20の照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cは、照射光種別データ、薬剤散布データ、および処置実施データを内視鏡システム10からそれぞれ取得する。データ記録部225は、照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部22cによりそれぞれ取得されるデータの推移を検査データ保持部232に記録する。
本実施の形態では照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cは、照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそれぞれ取得する。データ記録部225は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図6(a)−(c)は、マスタ情報保持部231に保持されるマスタ情報テーブルの例を示す図である。図6(a)は観察光種別マスタテーブル213aの一例を示し、図6(b)は薬剤種別マスタテーブル213bの一例を示し、図6(c)は処置種別マスタテーブル213cの一例を示している。
図6(a)に示す観察光種別マスタテーブル213aには観察光種別として、白色光=1、狭帯域光=2、蛍光=3、近赤外光=4の4種類が規定されている。図6(b)に示す薬剤種別マスタテーブル213bには薬剤種別として、インジゴカルミン=1、ルゴール=2、ビオクタニン=3、メチレンブルー=4、酢酸=5の5種類が規定されている。なお番号0は薬剤検出なしを示している。図6(c)に示す処置種別マスタテーブル213cには処置種別として、生検=1、ポリペクトミー=2、局注=3、・・・、ステント=9の9種類が規定されている。なお番号0は処置検出なしを示している。また図示しないが、各処置と各処置で使用される処置具が紐付けられた処置具マスタテーブルが設けられ、画像認識により検出された処置具に基づき処置種別が特定される。
観察光種別マスタテーブル213aと同じテーブルが内視鏡システム10の照射光切替制御部122にも設けられる。また薬剤種別マスタテーブル213bと同じテーブルが内視鏡システム10の薬剤散布検知部123aにも設けられる。また処置種別マスタテーブル213cおよび処置具マスタテーブルと同じテーブルが内視鏡システム10の処置実施検知部123bにも設けられる。
照射光切替制御部122は所定の時間間隔で観察光の種別を確認し、確認した観察光の種別を観察光種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。薬剤散布検知部123aは所定の時間間隔で内視鏡画像内において薬剤を探索し、探索結果を薬剤種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。処置実施検知部123bは所定の時間間隔で内視鏡画像内において処置具を探索し、その探索結果を処置具マスタテーブルおよび処置種別マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図7は、検査データ保持部232に記録される検査データ232aの一例を示す図である。図7に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cにより取得された照射光種別データ、薬剤散布データ、および処置実施データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置に関するデータが時系列に記録される。なお時系列データは時間単位のデータではなく、フレーム単位のデータであってもよい。図7に示す例では検査開始から2秒経過時点で観察光が白色光から狭帯域光に切り替えられている。また検査開始から100秒経過時点で生検が開始されている。また検査開始から1000秒経過時点でルゴールが散布されている。
より正確に内視鏡検査を記録するためには、内視鏡検査の開始時刻および終了時刻に加え、内視鏡11が体腔内に挿入された時刻、体腔外に抜去された時刻を記録することが望まれる。
内視鏡システム10の検査開始・終了検知部(不図示)は、医師により検査開始ボタンが押下されると内視鏡検査の開始を検知し、その検知時刻を含む検査開始検知データをデータ送出部125に渡す。なお検査開始は光源装置14への内視鏡11の装着、または光源装置14の電源オンに起因して検知してもよい。また検査開始・終了検知部(不図示)は、医師により検査終了ボタンが押下されると内視鏡検査の終了を検知し、その検知時刻を含む検査終了検知データをデータ送出部125に渡す。なお検査終了は光源装置14からの内視鏡11の抜き取り、または光源装置14の電源オフに起因して検知してもよい。
内視鏡システム10の体腔内挿入状態検知部(不図示)は、内視鏡11が体腔内に挿入されたことを検知すると、その検知時刻を含む内視鏡挿入検知データをデータ送出部125に渡す。内視鏡11が体腔内に挿入されたこと及び体腔外に抜去されたことは、特願平7−116138号に記載した方法により検知することができる。また、体腔内挿入状態検知部(不図示)は例えば、内視鏡画像の赤色(R)成分の増加率にもとづき内視鏡11が体腔内に挿入されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡11がマウスピースを通過し、体腔内に挿入されたことを検知してもよい。
また体腔内挿入状態検知部(不図示)は、内視鏡11が体腔外に抜去されたことを検知すると、その検知時刻を含む内視鏡抜去検知データをデータ送出部125に渡す。体腔内挿入状態検知部(不図示)は例えば、内視鏡画像の赤色(R)成分の減少率にもとづき内視鏡11が体腔外に抜去されたことを検知してもよい。また患者のマウスピースに装着されたセンサの検知信号にもとづき、内視鏡11がマウスピースを通過し、体腔外に抜去されたことを検知してもよい。
データ送出部125は、検査開始・終了検知部(不図示)から渡された検査開始検知データおよび検査終了検知データ、ならびに体腔内挿入状態検知部(不図示)から渡された内視鏡挿入検知データおよび内視鏡抜去検知データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
内視鏡検査データ記録装置20の検査開始・終了データ取得部(不図示)および体腔内挿入状態検知データ取得部(不図示)は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを取得する。データ記録部225は、検査開始検知データ、検査終了検知データ、内視鏡挿入検知データ、および内視鏡抜去検知データを検査データ保持部232に記録する。
内視鏡検査データ記録装置20のデータ算出部224は、照射光種別データ取得部221aにより取得された照射光種別データの時系列データをもとに内視鏡検査における各観察光の使用時間、および/または各観察光の使用回数を算出する。観察光の使用時間は、観察光の照射が連続している時間から算出できる。また詳細は後述するが、内視鏡11で撮像された動画像または静止画の付帯情報に含まれる照射光情報、若しくはユーザにより手動で入力された、特定の観察光を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
またデータ算出部224は、薬剤散布データ取得部221bにより取得された薬剤散布データの時系列データをもとに内視鏡検査における各薬剤を使用しての観察時間、および/または各薬剤の使用回数を算出する。薬剤を使用しての観察時間は、薬剤が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、特定の薬剤を使用しての観察開始時刻と観察終了時刻との時間差から算出できる。
またデータ算出部224は、処置実施データ取得部221cにより取得された処置実施データの時系列データをもとに内視鏡検査における各処置の実施時間、および/または各処置の実施回数を算出する。処置の実施時間は、処置具が動画像にフレームインしている時間から算出できる。また詳細は後述するが、ユーザにより手動で入力された、処置開始時刻と処置終了時刻との時間差から算出できる。
データ記録部225は、データ算出部224により算出された各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数の少なくとも1つを検査データ保持部232に記録する。
図8は、検査データ保持部232に記録される検査データ232bの別の例を示す図である。図8に示す例はデータ記録部225が、データ算出部224により算出された内視鏡検査における、各観察光の使用時間、各観察光の使用回数、各薬剤を使用しての観察時間、各薬剤の使用回数、各処置の実施時間、および各処置の実施回数を検査データ保持部232に記録した例である。図8に示す検査データ232bは、図7に示した素の検査データ232aを加工して生成したデータである。
図8に示す例において、検知情報種別欄の「内視鏡」は番号0が体腔内への挿入を、番号1が体腔外への抜去を示している。「観察光」は検査開始から0〜1秒が白色光、検査開始から2〜98秒が狭帯域光、検査開始から99〜2000秒が白色光(2回目)である。処置として検査開始から100〜600秒の期間に生検が実施されている。薬剤散布として検査開始から1000〜1500秒の期間にルゴールが散布されている。
このように内視鏡検査の推移を示す素の時系列データを、内視鏡検査で起こったイベントの種別、開始時刻、終了時刻、回数に加工して記録することができる。なお加工データを生成した場合、素の時系列データを消去してデータ量を圧縮してもよい。また素の時系列データの加工方法は、素の時系列データを復元できればよく、その加工方法および記録方法は問わない。
以上の説明においては薬剤散布や処置実施を画像認識により検出する例を挙げた。この点、薬剤散布や処置実施をユーザが手動で入力してもよい。例えば、医師や看護師が内視鏡検査中もしくは検査後に、内視鏡システム10の表示装置13または端末装置30の表示部34に表示された内視鏡画像を見て、薬剤散布および/または処置実施に関する情報を入力してもよい。
具体的には散布された薬剤名を入力し、薬剤散布状態での観察開始時点および観察終了時点のフレーム画像を指定する。また実施された処置名を入力し、処置開始時点および処置終了時点のフレーム画像を指定する。内視鏡検査データ記録装置20の操作受付部222は、医師または看護師により入力された薬剤散布および/または処置実施に関する情報を受け付け、データ記録部225およびデータ算出部224に渡す。体腔内の部位によっては画像認識の精度が下がる部位があり、画像認識により誤ったデータが検出された場合、医師または看護師により手動で修正される。
なお観察光の種別についても、医師または看護師が、観察光の切替時点および切替後の観察光の種別を手動で入力することができる。また、内視鏡11で撮像された動画像またはフレーム画像の付帯情報から観察光の種別と切替時点を特定できる場合もある。
図9は、実施の形態1に係る内視鏡システム10の動作例を説明するためのフローチャートである。内視鏡システム10の検査開始・終了検知部(不図示)が内視鏡検査の開始を検知すると(S10のY)、その検知時刻をデータ送出部125に通知する。その後、体腔内挿入状態検知部(不図示)が内視鏡11の体腔内への挿入を検知すると(S11のY)、その検知時刻をデータ送出部125に渡す。
画像認識部123は内視鏡11で撮像された内視鏡画像を取得する(S12)。薬剤散布検知部123aは取得された内視鏡画像内において薬剤を探索し、処置実施検知部123bは取得された内視鏡画像内において処置具を探索する(S13)。薬剤散布検知部123aおよび処置実施検知部123bは探索結果をデータ送出部125に渡す。照射光切替制御部122は観察光の種別を確認する(S14)。照射光切替制御部122は確認結果をデータ送出部125に渡す。データ送出部125は、観察光、薬剤、処置に関するデータをバッファ(不図示)に一時保持する(S15)。
体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知せずに(S16のN)、内視鏡画像の取得からN秒が経過すると(S17のY)、ステップS12に戻り、新たな内視鏡画像を取得する(S12)。体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知すると(S16のY)、その検知時刻をデータ送出部125に渡す。その後、検査開始・終了検知部(不図示)が内視鏡検査の終了を検知すると(S18のY)、その検知時刻をデータ送出部125に通知する。データ送出部125は、バッファ(不図示)に蓄積されたデータを時系列データとして内視鏡検査データ記録装置20に送出する(S19)。
図10は、実施の形態1に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。内視鏡検査データ記録装置20のデータ取得部221は、内視鏡システム10から各種の時系列データを取得する(S20)。データ算出部224は、取得された観察光に関する時系列データをもとに観察光の使用時間と使用回数を種類別に算出する(S21)。またデータ算出部224は、取得された薬剤散布に関する時系列データをもとに薬剤を使用しての観察時間と薬剤の使用回数を種類別に算出する(S22)。またデータ算出部224は、取得された処置実施に関する時系列データをもとに処置の実施時間と実施回数を種類別に算出する(S23)。データ記録部225は、取得された時系列データと算出された加工データを検査データ保持部232に記録する(S24)。
以上説明したように実施の形態1によれば、内視鏡検査において使用した観察光の種別、各種の薬剤散布による精密診断、生検等の各種処置実施を各時点におけるデータとして記録できる。従って薬剤散布や処置実施に要した時間や回数を把握するとともに、その出現順序の把握、平均値算出等の定量評価、他の検査との比較を行うことが可能となり、内視鏡検査の品質を正確かつ客観的に評価することが可能となる。なお、本実施の形態においては観察光、薬剤散布及び処置実施に関して取得された時系列データと算出された加工データを記録する内視鏡検査データ記録システムについて説明したが、これらの各データのいずれかを選択的に取得あるいは記録するように構成することももちろん可能であり、データの利用目的や使用可能な計算資源等に応じて適宜選択的に取得及び記録してもよい。
従来、内視鏡検査中の観察光切替、薬剤散布、処置実施に関する情報は、医師や看護師の記憶に基づき医師や看護師により事後的に手作業で記録されてきた。しかしながら、記録する情報が多岐に渡るため、記録の精度や粒度が記録者毎にばらばらになる傾向があり、統一的なデータ記録が実現できていなかった。また医師や看護師による手作業による記録は煩雑な作業である。これに対して実施の形態1によれば、内視鏡検査中の内視鏡画像から画像認識により検出した情報等をもとに、内視鏡検査の軌跡を時系列に自動的に記録できる。従って医師や看護師の作業負担を軽減でき、統一的なデータ記録が可能になる。
また薬剤散布等の各イベントの検知順序をもとに内視鏡検査において使用された手技も特定できる。例えば、局注針が検出された後、高周波スネアが検出された場合、EMRが実施されたと推定できる。また狭帯域光(NBI)を使用中に拡大観察を行うと診療報酬が加算となるが、本実施の形態によれば観察光の切替時刻、処置の実施時刻が記録されるため、自動的に診療報酬の加算を計算することも可能である。
また、内視鏡検査は国内外を問わず日常的に膨大な例数が実施されており、これらのデータを集積することによりビッグデータを生成できる。集積したビックデータは、各種の統計的な分析やデータマイニング等に利用できる。
(実施の形態2)
実施の形態1では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態2ではそれらに加えて、患者の体内の臓器表面と内視鏡11との距離を示すデータ、および/または内視鏡11の拡大倍率を示すデータを時系列的に記録する例を説明する。
図11は、実施の形態2に係る内視鏡システム10の構成を示す図である。実施の形態2に係る内視鏡システム10は、図2に示した実施の形態1に係る内視鏡システム10に撮像距離推定部123cおよび倍率制御部124が追加された構成である。以下、実施の形態1との相違点を説明する。
撮像距離推定部123cは、内視鏡動画像に含まれるフレーム画像から、患者の体内の臓器表面と内視鏡11の先端との間の撮像距離を推定する。撮像距離推定部123cは例えば特許5028138号に記載した方法を用いて撮像距離を推定する。本実施の形態では推定した撮像距離を「遠」、「中」、「近」に分類する。なお3カテゴリに限らず、2カテゴリまたは4カテゴリ以上に分類してもよい。
撮像距離推定部123cは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに撮像距離を推定し、推定結果をデータ送出部125に渡す。撮像距離の推定開始タイミングには、内視鏡動画像の記録開始のタイミング、画像記録装置でのストップウォッチ計測開始のタイミング、および初回レリーズのタイミングのいずれかを用いることができる。また撮像距離の推定終了タイミングには、内視鏡動画像の記録終了のタイミング、画像記録装置でのストップウォッチ計測終了のタイミング、および検査終了ボタン押下のタイミングのいずれかを用いることができる。
倍率制御部124は、拡大観察機能を有する拡大内視鏡が光源装置14に装着されている場合において、操作部113に対する医師の操作に従い拡大内視鏡の倍率を制御する。倍率制御部124は、N秒またはNフレームおきに拡大内視鏡の倍率を確認し、確認結果をデータ送出部125に渡す。倍率制御部124は、ズーム倍率をそのままの数値で渡してもよいし、最大広角時を0%、最大望遠時を100%とするパーセント数値で渡してもよい。なお、拡大内視鏡からズーム倍率を取得する代わりに、画像認識により広角観察か近接拡大観察かを検出してもよい。
データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像距離推定部123cから渡された撮像距離を示す撮像距離データ、および倍率制御部124から渡された拡大内視鏡の倍率を示す倍率データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
図12は、実施の形態2に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態2に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に撮像距離データ取得部221dおよび倍率データ取得部221eが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像距離データ取得部221dおよび倍率データ取得部221eは、撮像距離データおよび倍率データを内視鏡システム10からそれぞれ取得する。データ記録部225は、撮像距離データ取得部221dおよび倍率データ取得部221eによりそれぞれ取得されるデータの推移を検査データ保持部232に記録する。本実施の形態では撮像距離データ取得部221dおよび倍率データ取得部221eは、撮像距離データおよび倍率データの時系列データを取得し、データ記録部225は、それぞれ取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図13(a)−(b)は、マスタ情報保持部231に保持される撮像距離マスタテーブル231dの一例と、検査データ保持部232に記録される検査データ232cの一例を示す図である。 図13(a)に示す撮像距離マスタテーブル231dには、撮像距離分類として、遠=1、中=2、近=3の3カテゴリが規定されている。
撮像距離マスタテーブル231dと同じテーブルが内視鏡システム10の撮像距離推定部123cにも設けられる。撮像距離推定部123cは所定の時間間隔で内視鏡画像から撮像距離を推定し、推定結果を撮像距離マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図13(b)に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、撮像距離データ取得部221d、および倍率データ取得部221eにより取得された照射光種別データ、薬剤散布データ、処置実施データ、撮像距離データ、および倍率データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、撮像距離、倍率に関するデータが時系列的に記録される。図13(b)に示す例では検査開始から2秒経過時点で撮像距離が「遠」から「中」になり(即ち、内視鏡11が臓器表面に近づき)、100秒経過時点で撮像距離が「中」から「近」になっている(即ち、内視鏡11が臓器表面により近づいている)。また検査開始から100秒経過時点で生検が開始されたとき、拡大内視鏡の倍率が80%になっている。
以上説明したように実施の形態2によれば、実施の形態1の効果に加えて以下の効果を奏する。臓器表面までの撮像距離や拡大内視鏡使用時の拡大倍率を定量的かつ客観的に扱える状態で記録することにより、範囲診断や鑑別診断等の精査に関する評価および比較が可能となる。
一般的に病変発見のための観察では遠景で観察され、病変発見後の詳細な観察では近景で観察される傾向にある。従って撮像距離データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また薬剤散布時、各処置実施時、狭帯域光使用時の撮像距離データを蓄積することにより、それらを行う際の内視鏡11の位置をデータベース化して傾向を導き出すことができる。
拡大内視鏡を使用した検査において、一般的に病変発見のための観察では広角で観察され、病変発見後の詳細な観察では拡大された状態で観察される傾向にある。従って拡大内視鏡の倍率データをもとに、病変発見のための観察を行っているのか、詳細な観察を行っているのかを推定することができる。また、近年はボタン操作により焦点を切り替える二焦点切り替え式の拡大内視鏡も実用化されており、そのような機種を使用する場合は連続的な倍率変化ではなく広角または拡大のいずれかの状態での観察となる。また薬剤散布時、各処置実施時、狭帯域光使用時の拡大内視鏡の倍率データを蓄積することにより、それらを行う際の拡大内視鏡の倍率をデータベース化して傾向を導き出すことができる。
(実施の形態3)
実施の形態1では、観察光切替、薬剤散布、処置実施に関するデータを時系列的に記録する例を説明した。実施の形態3ではそれらに加えて、内視鏡11により撮像された画像の撮像状態を示すデータを時系列的に記録する例を説明する。
図14は、実施の形態3に係る内視鏡システム10の構成を示す図である。実施の形態3に係る内視鏡システム10は、図2に示した実施の形態1に係る内視鏡システム10に撮像状態分類部123dが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像状態分類部123dは、内視鏡11により時系列的に撮像される各内視鏡画像の撮像状態を分類する。具体的には患者の体腔内の臓器表面を適切に撮像している状態の内視鏡画像であるか否かを分類する。即ち体腔内の臓器を十分に観察できる画像と、体腔内の臓器を十分に観察できない画像とに分類する。以下、前者を分類A、後者を分類Bとする。分類Bの画像には、ハレーション、色ずれ、赤玉(大腸過近接)、多量の泡、残渣、液体、焦点外れ(ボケ)、ぶれ、送水等が含まれる画像が含まれる。内視鏡画像の撮像状態を分類する方法として例えば、特許4615963号、特許4624841号、特許5530406号に記載した方法を使用することができる。これらの方法を用いて分類Bに該当する内視鏡画像を検出し、分類Bに該当しない内視鏡画像を分類Aに分類する。
撮像状態分類部123dは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに内視鏡画像の撮像状態を分類し、分類結果をデータ送出部125に渡す。
データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部123dから渡された撮像状態データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
図15は、実施の形態3に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態3に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に撮像状態データ取得部221fが追加された構成である。以下、実施の形態1との相違点を説明する。
撮像状態データ取得部221fは、撮像状態データを内視鏡システム10から取得する。データ記録部225は、撮像状態データ取得部221fにより取得される撮像状態データの推移を検査データ保持部232に記録する。本実施の形態では撮像状態データ取得部221fは撮像状態データの時系列データを取得し、データ記録部225は取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図16は、マスタ情報保持部231に保持される撮像状態マスタテーブル231fの一例を示す図である。図16に示す例では、分類Aの「体腔内臓器を十分に観察できる画像」をさらに、観察良好=0と、観察可能=1の2種類に細分類している。また分類Bの「体腔内臓器を十分に観察できない画像」をさらに、残渣、液体、送水=2、ハレーション=3、色ずれ=4、焦点外れ(ボケ)、ぶれ=5、判定不能=6の5種類に細分類している。従って撮像状態が合計7つのカテゴリに分類される。
撮像状態マスタテーブル231fと同じテーブルが内視鏡システム10の撮像状態分類部123dにも設けられる。撮像状態分類部123dは所定の時間間隔で内視鏡画像の撮像状態を検出し、検出結果を撮像状態マスタテーブルを参照して番号に変換し、データ送出部125に渡す。
図17は、検査データ保持部232に記録される検査データ232cの一例を示す図である。図17に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、および撮像状態データ取得部221fにより取得された照射光種別データ、薬剤散布データ、処置実施データ、および撮像状態データの時系列データをそのまま検査データ保持部232に記録した例である。
この例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、撮像状態に関するデータが時系列的に記録される。図17に示す例では検査開始時点で焦点外れ、またはぶれが検出され、検査開始から1秒経過時点で色ずれが検出され、検査開始から2秒経過時点で観察良好な状態になっている。検査開始直後の内視鏡11が口から食道に移動する間は、撮像される画像がブレやすくなる。また検査開始から700秒経過時点で送水がなされており、十分な観察ができない撮像状態になっている。
(実施の形態3の応用例)
実施の形態3に係る以上の説明では、撮像状態分類部123dは、フレーム画像単体から静的な撮像状態を検出して撮像状態を分類した。以下に説明する応用例ではフレーム画像間の変化にもとづき動的な撮像状態を検出して撮像状態を分類する。
撮像状態分類部123dは、時系列的に撮像される内視鏡画像においてフレーム画像間の変化に基づく評価値を算出する。フレーム画像間の変化に基づく評価値は例えば、特許5147308号に記載した方法により算出できる。以下、算出した評価値を変化評価値Pとする。
変化評価値Pの算出は、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに実行する。その際、現在のフレーム画像と、N秒またはNフレーム過去のフレーム画像との変化に基づき変化評価値Pを算出してもよいし、現在のフレーム画像と直前のフレーム画像との変化に基づき変化評価値Pを算出してもよい。撮像状態分類部123dは、算出した変化評価値Pをもとに動的な撮像状態を検出して分類する。
変化評価値Pはフレーム画像間の変化が小さいほど小さな値をとり、内視鏡11の動きが小さいことを示している。医師が内視鏡11の動きを止めて特定の部位を観察している場合、変化評価値Pは0に近い値をとる。
撮像状態分類部123dは、薬剤散布検知部123aおよび処置実施検知部123bによる薬剤および処置具の画像認識処理と同期して、N秒またはNフレームおきに内視鏡画像の静的および動的な撮像状態を検出してそれぞれカテゴリ分類し、分類結果をデータ送出部125に渡す。データ送出部125は、照射光種別データ、薬剤散布データ、および処置実施データに加えて、撮像状態分類部123dから渡された静的撮像状態データおよび動的撮像状態データを、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。
撮像状態データ取得部221fは、静的撮像状態データおよび動的撮像状態データを内視鏡システム10から取得する。データ記録部225は、撮像状態データ取得部221fにより取得される静的撮像状態データおよび撮像状態データの推移を検査データ保持部232に記録する。本実施の形態では撮像状態データ取得部221fは、静的撮像状態データおよび動的撮像状態データの時系列データを取得し、データ記録部225は取得される時系列データをそのまま、または加工して検査データ保持部232に記録する。
図18は、マスタ情報保持部231に保持される変化評価値・撮像状態マスタテーブル231gの一例を示す図である。図18に示す例では、上述の静的な撮像状態の分類処理において分類Aに分類された画像が動的な撮像状態の分類処理の対象となり、静的な撮像状態の分類処理において分類Bに分類された画像は動的な撮像状態の分類処理の対象とならない。
分類Aに分類された「体腔内臓器を十分に観察できる画像」の内、画像評価値Pが0.0≦P<0.3の範囲の画像(分類Aa)は、動的な撮像状態が観察良好=0に分類される。画像評価値Pが0.3≦P<0.8の範囲の画像(分類Ab)は、動的な撮像状態が観察可能=1に分類される。画像評価値Pが0.8≦P≦1.0の範囲の画像(分類Ac)は、動的な撮像状態が観察不適=2に分類される。
変化評価値・撮像状態マスタテーブル231gと同じテーブルが内視鏡システム10の撮像状態分類部123dにも設けられる。撮像状態分類部123dは所定の時間間隔で内視鏡画像間の変化評価値Pを算出し、変化評価値・撮像状態マスタテーブルを参照して番号に変換し、データ送出部125に渡す。なお静的な撮像状態を分類Aに分類した内視鏡画像については、変化評価値Pの算出をスキップしてもよい。
図19は、検査データ保持部232に記録される検査データ232dの一例を示す図である。図19に示す例はデータ記録部225が、照射光種別データ取得部221a、薬剤散布データ取得部221b、処置実施データ取得部221c、および撮像状態データ取得部221fにより取得された照射光種別データ、薬剤散布データ、処置実施データ、静的撮像状態データ、変化評価値P、および動的撮像状態データの時系列データをそのまま検査データ保持部232に記録した例である。なお、この例では静的な撮像状態が分類Bに分類された内視鏡画像については、変化評価値Pおよび動的撮像状態データが記録されない例であるが、分類Bに分類された内視鏡画像についても変化評価値Pおよび動的撮像状態データを算出・分類して記録してもよい。
図19に示す例では検査開始から検査終了まで1秒単位で観察光、薬剤散布、処置、静的な撮像状態、変化評価値、および動的な撮像状態に関するデータが時系列的に記録される。図19に示す例では検査開始から4秒経過時点と1300秒経過時点で内視鏡11が移動されており、観察不適な状態になっている。
図20は、実施の形態3の応用例に係る内視鏡システム10の動作例を説明するためのフローチャートである。内視鏡システム10の検査開始・終了検知部(不図示)が内視鏡検査の開始を検知すると(S10のY)、その検知時刻をデータ送出部125に通知する。その後、体腔内挿入状態検知部(不図示)が内視鏡11の体腔内への挿入を検知すると(S11のY)、その検知時刻をデータ送出部125に渡す。
画像認識部123は内視鏡11で撮像された内視鏡画像を取得する(S12)。撮像状態分類部123dは、取得された内視鏡画像の静的な撮像状態を検出して分類し、分類結果をデータ送出部125に渡す(S121)。撮像状態分類部123dは、今回取得された内視鏡画像と前回取得された内視鏡画像との差分をもとに変化評価値Pを算出し、変化評価値Pをデータ送出部125に渡す(S122)。撮像状態分類部123dは、算出した変化評価値Pをもとに今回取得された内視鏡画像の動的な撮像状態を検出して分類し、分類結果をデータ送出部125に渡す(S123)。
薬剤散布検知部123aは今回取得された内視鏡画像内において薬剤を探索し、処置実施検知部123bは今回取得された内視鏡画像内において処置具を探索する(S13)。薬剤散布検知部123aおよび処置実施検知部123bは探索結果をデータ送出部125に渡す。照射光切替制御部122は観察光の種別を確認する(S14)。照射光切替制御部122は確認結果をデータ送出部125に渡す。データ送出部125は、観察光、薬剤、処置、静的な撮像状態、変化評価値P、および動的な撮像状態に関するデータをバッファ(不図示)に一時保持する(S15)。
体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知せずに(S16のN)、今回の内視鏡画像の取得からN秒が経過すると(S17のY)、ステップS12に戻り、新たな内視鏡画像を取得する(S12)。体腔内挿入状態検知部(不図示)が内視鏡11の体腔外への抜去を検知すると(S16のY)、その検知時刻をデータ送出部125に渡す。その後、検査開始・終了検知部(不図示)が内視鏡検査の終了を検知すると(S18のY)、その検知時刻をデータ送出部125に通知する。データ送出部125は、バッファ(不図示)に蓄積された時系列データを内視鏡検査データ記録装置20に送出する(S19)。
なおステップS122およびS123の処理は、ステップS121における静的な撮像状態の分類処理において、今回取得された内視鏡画像が分類Bに分類された場合、スキップ可能である。
また分類Bに分類された内視鏡画像について変化評価値Pと動的撮像状態データが生成された場合であっても、ステップS19における時系列データの送出処理において送出対象から除外してもよい。
以上説明したように実施の形態3によれば、実施の形態1の効果に加えて以下の効果を奏する。時系列的に撮像された複数の内視鏡画像のそれぞれの撮像状態を分類して記録することにより、臓器表面等を適切に撮像しているか否か(即ち、臓器表面を十分に観察可能であるか否か)等の状態情報を定量的かつ客観的に記録できる。さらに、隣接するフレーム画像間の変化評価値を算出して記録することにより、内視鏡11の動きを記録することができる。例えば、変化評価値の推移から内視鏡11が挿入操作(移動)中であること、医師が臓器表面を観察している状態にあること等を推測できる。
撮像状態の記録は内視鏡画像の保存を前提とするものではなく、保存されない内視鏡動画像区間、破棄される内視鏡画像についての撮像状態も記録される。撮像状態の時系列データの記録は、内視鏡検査中の医師による内視鏡11の取り扱いを時系列的に記録することを主目的とするものであり、保存される内視鏡画像の品質を記録することを主目的とするものではない。
(実施の形態4)
実施の形態4では、内視鏡検査データ記録装置20に蓄積した内視鏡検査データの利用方法の一例を説明する。
図21は、実施の形態4に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態4に係る内視鏡検査データ記録装置20は、図15に示した実施の形態3に係る内視鏡検査データ記録装置20にデータ解析部224aおよび統計データ保持部233が追加された構成である。以下、実施の形態4に係る処理について説明する。
内視鏡検査における1検査あたりの(a)検査時間は、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間の合計で定義できる。
(c)非観察時間とは、患者の臓器の拍動、呼気や観察部位の収縮による画像の乱れ(ハレーション等)、等により医師が十分な観察をできない時間をいう。(d)通常観察時間とは、観察部位を比較的ゆっくりと移動しながら、あるいはスコープの移動を止めた状態で比較的遠めの観察距離から病変の有無を観察する時間をいう(詳細観察時間に分類される時間を除く)。(e)詳細観察時間とは、近接観察、NBI観察、拡大観察、薬剤散布など病変を発見した場合に注意して観察する時間をいう。(f)処置時間とは、生検、ステント留置・抜去、EMRなどの各種処置を実施する時間をいう。
データ算出部224は検査時間(a)を、検査データ保持部232に保持される対象となる内視鏡検査の検査開始時刻と検査終了時刻から算出する。またデータ算出部224は(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間を、検査データ保持部232に保持される当該内視鏡検査の検査開始時刻と内視鏡挿入時刻から算出する。
またデータ算出部224は(c)非観察時間を、検査データ保持部232に保持される当該内視鏡検査の撮像状態データをもとに算出する。例えば、静的な撮像状態の分類処理において「体腔内臓器を十分に観察できない画像」=分類Bに分類された内視鏡画像、および動的な撮像状態の分類処理において観察不適に分類された内視鏡画像が撮像されている区間の合計時間を(c)非観察時間とする。
またデータ算出部224は(e)詳細観察時間を、検査データ保持部232に保持される当該内視鏡検査における特殊光の照射時間、拡大内視鏡を使用した拡大観察時間、薬剤を使用しての観察時間等をもとに算出する。またデータ算出部224は(f)処置時間を、検査データ保持部232に保持される当該内視鏡検査で実施された処置の実施時間をもとに算出する。またデータ算出部224は(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間を、検査データ保持部232に保持される当該内視鏡検査の内視鏡抜去時刻と検査終了時刻から算出する。
またデータ算出部224は(d)通常観察時間を、(a)検査時間から、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間の合計を減算することにより算出する。
データ算出部224は、算出した(a)検査時間、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間を検査データ保持部232に記録する。
データ解析部224aは、検査データ保持部232に記録されたデータをもとに統計解析を実行し、生成した統計データを統計データ保持部233に記録する。
図22は、統計データ保持部233に記録される統計データ233aの一例を示す図である。この例ではデータ解析部224aは、検査項目、部位、および病変種で内視鏡検査の検査データを分類し、分類ごとに(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間のそれぞれの平均値を算出している。
図22に示す例では、検査項目=上部内視鏡検査、観察部位=胃、病変=ポリープに分類される内視鏡検査の(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間の平均時間と、検査項目=下部内視鏡検査、観察部位=S字状結腸、病変=腺腫に分類される内視鏡検査の(c)非観察時間、(d)通常観察時間、(e)詳細観察時間、(f)処置時間の平均時間がそれぞれ算出されている。さらに検査項目=上部内視鏡検査、観察部位=胃、病変=ポリープに分類される内視鏡検査の病変発見率と、検査項目=下部内視鏡検査、観察部位=S字状結腸、病変=腺腫に分類される内視鏡検査の病変発見率がそれぞれ算出されている。
このような統計データを生成することにより、内視鏡検査の分類ごとに内視鏡検査の特徴を調査することができる。また内視鏡検査の分類ごとに、内視鏡11の操作・手技の難易度を定量化でき、検査プロトコルの作成や手技の改良に活用することができる。また、どの時間を多くかけることが病変の発見に大きく寄与するかを検討・調査することも可能となる。
図23は、実施の形態4に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。データ算出部224は、検査データ保持部232から内視鏡検査の各種データを読み込む(S2240)。データ算出部224は、読み込んだ各種データをもとに各種所要時間((a)検査時間、(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間、(c)非観察時間、(e)詳細観察時間、(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間)を算出する(S2241)。
データ算出部224は、(a)検査時間−{(b)検査開始から患者の体腔内へ内視鏡11が挿入されるまでの時間+(c)非観察時間+(e)詳細観察時間+(f)処置時間、(g)患者の体腔外へ内視鏡11を抜去してから検査終了までの時間}を計算して、(d)通常観察時間を算出する(S2242)。データ算出部224は、算出された各種所要時間を検査データ保持部232に保存する(S2243)。データ算出部224は、以上の処理を原則的に全ての内視鏡検査の検査データについて実行する。
データ解析部224aは内視鏡検査の分類ごとに、検査データ保持部232から各種所要時間を読み込む(S2244)。データ算出部224は、読み込んだ各種所要時間の統計値(例えば、平均値、中央値)を算出する(S2245)。データ解析部224aは、算出した各種所要時間の統計値を統計データ保持部233に保存する(S2246)。データ解析部224aは以上の処理を、指定された内視鏡検査の分類について実行する。
以上説明したように実施の形態4によれば、内視鏡検査における各時点の状態を示すデータが時系列的に記録されているため、内視鏡検査における各種所要時間を正確に算出できる。従って内視鏡検査の過程を客観的に評価でき、医師の癖や改善点の発見等に活用できる。また複数の内視鏡検査において同じ仕様のデータが収集されるため内視鏡検査における客観的な統計データを算出することができる。従って検査プロトコルの作成や改善に活用できる。また学術データとしても活用できる。
(実施の形態5)
実施の形態5では、内視鏡11により撮像された内視鏡画像に部位情報を付与する方法を説明する。
図24は、実施の形態5に係る内視鏡検査データ記録装置20の構成を示す図である。実施の形態5に係る内視鏡検査データ記録装置20は、図3に示した実施の形態1に係る内視鏡検査データ記録装置20に画像取得部221gおよび部位情報付与部226が追加された構成である。以下、実施の形態5に係る処理について説明する。
実施の形態1−4では内視鏡11により撮像された内視鏡画像を、内視鏡システム10から内視鏡検査データ記録装置20に転送する処理を必須としなかったが、実施の形態5では内視鏡画像の転送を必須とする。転送対象となる内視鏡画像は医師によりレリーズ、またはフットスイッチの操作によりシャッターが切られて撮像された静止画像である。当該静止画像は保存用の画像であり、それらの画像の内、医師により選択された画像はレポートに添付される。なお、内視鏡動画像の内視鏡システム10から内視鏡検査データ記録装置20への転送は必須ではない。
画像取得部221gは、医師の操作により内視鏡11で撮像された複数の内視鏡画像を内視鏡システム10から取得する。部位情報付与部226は、取得された内視鏡画像に部位情報(例えば十二指腸、胃、食道)を付与する。部位情報は例えば、以下の方法により付与することができる。
部位情報付与部226は、医師または看護師により手動で入力された部位情報を付与する。具体的には表示制御部223は、画像取得部221gにより取得された内視鏡画像を検査中または検査後に、内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。医師または看護師は表示された内視鏡画像に、その内視鏡画像がどの部位の画像であるかを手動で入力する。内視鏡検査データ記録装置20の操作受付部222は、医師または看護師により入力された部位情報を受け付け、部位情報付与部226に渡す。
また部位情報付与部226は、内視鏡画像から画像認識により部位を特定することもできる。例えば取得した内視鏡画像と、各部位のパターンデータをマッチングして部位を特定する。なお画像認識により部位を特定できなかった内視鏡画像については医師または看護師が手動で入力する。
また部位情報付与部226は、検査プロトコルに規定された部位の撮影順に従い、内視鏡画像に部位情報を付与することもできる。検査プロトコルとは、観察する部位、観察時の注意事項、記録すべき静止画の条件等を順序立てて手順化したものであり、ルーチン検査を実施する場合に使用される。例えば、上部内視鏡検査では内視鏡11を最初に十二指腸まで挿入し、食道の方向に内視鏡11を戻してくるように観察する手順が用いられている。
図25(a)−(b)は、内視鏡画像に撮影順に部位情報を付与するための部位特定画面50の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は部位特定画面50を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。図25(a)に示す部位特定画面50は、内視鏡画像に部位情報が付与される前の画面である。この例に示す上部内視鏡検査の検査プロトコルでは、(1)十二指腸、(2)十二指腸、(3)胃(幽門)、(4)胃(胃体部)、(5)胃(胃角部)、(6)胃(噴門)、(7)食道(下部)、(8)食道(中部)、(9)食道(上部)、(10)咽喉部の順番に10枚の内視鏡画像を撮影することが規定されている。
1枚目の内視鏡画像欄51の部位情報欄51aに十二指腸が設定され、・・・、4枚目の内視鏡画像欄54の部位情報欄54aに胃(胃体部)が設定され、・・・、10枚目の内視鏡画像欄510の部位情報欄510aに咽喉部が設定される。
医師は、上部内視鏡検査の検査プロトコルに従い内視鏡11を十二指腸の奥まで挿入し、規定された部位の画像を順番に撮影していく。図25(b)に示すように1番目に撮影された画像は1枚目の内視鏡画像欄51に割り当てられる。医師がOKボタン50aを押下すると画像の割り当てが確定する。割り当てられた内視鏡画像に写っている部位と、割り当てられた欄の部位情報が一致しない場合、キャンセルボタン50bを押下することにより割り当てをキャンセルできる。
図25(b)に示す例では、医師は胃(胃角部)の撮影をスキップしている。例えば、3枚目の胃(幽門)の内視鏡画像が割り当てられた段階(4枚目の胃(胃角部)の内視鏡画像の割り当てを待っている段階)で、OKボタン50aを押下すると胃(胃角部)の内視鏡画像の割り当てをスキップできる。以上に説明した検査プロトコルに規定された部位の撮影順序に従い、内視鏡11で撮影された内視鏡画像に部位情報を付与する処理は、内視鏡検査中に同時並行で行ってもよいし、検査後に行ってもよい。
図26は、実施の形態5に係る内視鏡検査データ記録装置20の動作例を説明するためのフローチャートである。この動作例は、検査プロトコルで規定された部位の撮影順に従い実際に撮影された内視鏡画像に部位情報を付与する例である。画像取得部221gは、内視鏡検査において撮影された内視鏡画像を内視鏡システム10から撮影順に取得する(S2260)。部位情報付与部226は、検査プロトコルで規定された部位の撮影順に従い、内視鏡システム10から取得された内視鏡画像に部位情報を付与する(S2261)。部位情報付与部226は、部位情報が付与された内視鏡画像を、ネットワーク2を介して画像記録装置(不図示)に転送する(S2262)。なお内視鏡検査データ記録装置20に内視鏡画像も保存する場合は、記憶部23内の画像保持部(不図示)に保存する。
以上説明したように実施の形態5によれば、内視鏡検査において撮像された保存用の内視鏡画像に対して簡単に部位情報を付与することができる。特に検査プロトコルで規定された部位の撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が意識的に検査プロトコルを順守する動機付けにもなる。手動で部位情報を入力する必要がないため医師や看護師による煩雑な作業が不要となる。また画像認識処理により内視鏡画像から部位を検出する方法は部位を誤認識する可能性があるが、撮影順に従い内視鏡画像に部位情報を付与する方法では、医師が撮影順を順守していれば誤った部位情報が付与されることがない。
(実施の形態6)
実施の形態1に係る内視鏡検査データ記録装置20のデータ算出部224は、各種時系列データをもとに、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数を算出した。この算出の基礎として使用される時系列データは、対象となる内視鏡検査の全期間(検査開始時刻から検査終了時刻までの期間)のデータである。
実施の形態5ではデータ算出部224は、内視鏡検査における指定された2地点間の、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数の少なくとも1つを算出する。内視鏡検査における2地点は、時刻、検知情報、撮像画像などで指定できる。
図27は、内視鏡検査における2地点の指定画面60の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は、2地点の指定画面60を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。指定画面60は任意ボタン61 観察光ボタン62、薬剤ボタン63、処置ボタン64を含む。
任意ボタン61は2地点を時刻で指定するためのボタンである。観察光ボタン62は観察光の種別を選択し、選択された観察光の使用開始時刻と使用終了時刻を2地点として指定するためのボタンである。薬剤ボタン63は薬剤の種別を選択し、選択された薬剤を使用した観察開始時刻と観察終了時刻を2地点として指定するためのボタンである。処置ボタン64は処置の種別を選択し、選択された処置の実施開始時刻と実施終了時刻を2地点として指定するためのボタンである。
図27は、医師または看護師により薬剤ボタン63が押下され、薬剤の選択ウインドウ63aが表示された状態を描いている。例えばルゴールが選択されると、ルゴールを散布した状態での観察開始時刻と観察終了時刻が2地点として指定される。
内視鏡検査における2地点は、2つの部位情報を選択することによっても指定できる。実施の形態4で説明したように内視鏡画像に部位情報が付与されている場合、部位情報が付与された2枚の内視鏡画像を選択することによっても、2地点を指定できる。
図28は、内視鏡検査における部位間選択画面70の一例を示す図である。内視鏡検査データ記録装置20の表示制御部223は、部位間選択画面70を内視鏡システム10の表示装置13または端末装置30の表示部34に表示させる。部位間選択画面70は、第1エリア71、第2エリア72を有する。
第1エリア71は、2つの部位名を選択して部位間を選択するエリアである。図28は第1選択欄71aのプルダウンメニューから胃(幽門)が選択され、第2選択欄71bのプルダウンメニューから胃(噴門)が選択された例を描いている。
第2エリア72は、部位情報が付加されている複数の内視鏡画像から2つの内視鏡画像を選択して2つの部位を選択し、部位間を選択するエリアである。図28は、3番目に撮影された胃(幽門)の内視鏡画像72aと、6番目に撮影された胃(噴門)の内視鏡画像72bが選択された例を描いている。
以上説明したように実施の形態6によれば、内視鏡検査における任意の2つの地点間における観察時間等を算出できるため、内視鏡検査のきめ細かな分析や評価が可能となる。例えば胃の観察において噴門、胃体部、胃角部、等の部位ごとの観察時間を算出できるため、きめ細かな分析や評価が可能となる。例えば、観察手順が検査プロトコルに沿って、標準時間通りに行われているか分析できる。
(実施の形態7)
経験が浅い非熟練医師が内視鏡検査を行った場合、検査後に熟練医師が指導を兼ね、所見の見落としが無いか、診断の誤りが無いか、撮影/検査が正しく行われているか等のチェック(ダブルチェック)を行うことが一般的である。そのためには非熟練医師の検査に熟練医師が立ち会う必要があるが、実際の医療現場では、常に熟練医師が立ち会うことは難しく効率的でもない。そのため、モニタ室等で全検査室の検査状況を一括表示することが行われている。この場合、内視鏡11で撮像された動画像をリアルタイムに表示することが多い。複数の検査室の情報が並行して表示されても、全ての情報を詳細に把握することは困難である。また、非熟練医師の内視鏡検査のスキルアップの面からも検査中のプロセスを評価することが重要である。
そこで実施の形態7では、内視鏡検査の各時点の状態を示すデータを記録するとともにリアルタイムにモニタに表示させる。これにより非熟練医師の評価(ダブルチェック)や指導を効率的に支援することができ、非熟練医師のスキルアップにも寄与する。
実施の形態7では内視鏡システム10のデータ送出部125は、照射光切替制御部122から渡された照射光種別データ、薬剤散布検知部123aから渡された薬剤散布データ、および処置実施検知部123bから渡された処置実施データをリアルタイムに、ネットワーク2を介して内視鏡検査データ記録装置20に送出する。即ちバッファ(不図示)にデータを蓄積せずに、渡されたデータを逐次送出する。
上述したように内視鏡検査データ記録装置20の照射光種別データ取得部221a、薬剤散布データ取得部221b、および処置実施データ取得部221cによりそれぞれ取得されるデータの推移は、データ記録部225により検査データ保持部232に記録される。それと共に当該データの推移は、表示制御部223により端末装置30に転送され、表示部34の画面に表示される。表示制御部223は当該画面に内視鏡検査の各時点の状態を示すデータの推移とともに、当該内視鏡検査で撮像された画像を併せて表示させてもよい。内視鏡動画像をリアルタイムに表示し続けてもよいし、医師の操作により撮影された静止画像を表示させてもよい。なお、当該画面と同じ画面を内視鏡システム10の表示装置13に表示させてもよい。その場合、検査を実施している医師本人が当該画面を見ることができる。
図29は、内視鏡検査の推移をデータで表した画面例の第1状態(検査開始直後)を示す図である。図30は、内視鏡検査の推移をデータで表した画面例の第2状態(検査開始から5分経過時)を示す図である。図31は、内視鏡検査の推移をデータで表した画面例の第3状態(検査開始から11分経過時)を示す図である。図32は、内視鏡検査の推移をデータで表した画面例の第4状態(検査終了時)を示す図である。
図29−図32に示す画面34a−34dでは、使用中の観察光の種別が模様で表現されている。なお観察光の種別を色分けで表現してもよい。またレリーズが切られたタイミング、薬剤が散布されたタイミング等のイベント発生時に、イベント内容と時刻情報が表示される。またレリーズが切られて撮像された内視鏡画像が、そのレリーズが切られた時点に対応する位置に表示される。以上のような内視鏡検査の各時点の状態を示すデータが内視鏡検査の進行とともに画面内に追加されていく。
なお画面34a−34dに検査プロトコル(挿入方法、観察部位、観察方法、撮影タイミング等)を表示させ、検査プロトコル通りに内視鏡検査が実施されているかを確認できるようにしてもよい。
なお複数の検査室で内視鏡検査が同時並行で行われている場合、各内視鏡検査の推移を示すデータを、画面分割で表示してもよい。また複数のモニタを用意し、それぞれのモニタに表示してもよい。
以上説明したように実施の形態7によれば、内視鏡検査の推移を示す時系列データを記録するだけでなく、そのデータをリアルタイムに経時的にモニタに表示させることにより、検査がどのように進んでいるかをモニタリングすることができ、検査プロトコルへの準拠状態や時間的な進行度合い等を確認することができる。従ってミスの防止や検査の進行状況・効率を把握することが可能となる。また内視鏡システム10の表示装置13に表示した場合、検査を実施している医師がプロセスの確認ができ、自己評価もできる。
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施の形態1−6において説明した手法は様々な組み合わせが可能であり、図1−図32に例示した組み合わせに限らない。
上述の実施の形態1−7において画像認識部123が内視鏡処理装置12に設けられる構成を説明したが、画像認識部123は内視鏡検査データ記録装置20に設けられてもよいし、内視鏡処理装置12及び内視鏡検査データ記録装置20以外の別の装置内に設けられてもよい。
上述の実施の形態1−7では、光源装置14や内視鏡画像からN秒またはNフレームおきに各種のデータを検知し、内視鏡検査データ記録装置20に送信した。この点、データの種別によってはイベント発生時のデータのみを検知し、内視鏡検査データ記録装置20に送信してもよい。例えば、薬剤散布データについて薬剤が散布されていない期間のデータは、内視鏡検査データ記録装置20に送信しない設定も可能である。