JP4025621B2 - Image processing apparatus and endoscopic image processing apparatus - Google Patents

Image processing apparatus and endoscopic image processing apparatus Download PDF

Info

Publication number
JP4025621B2
JP4025621B2 JP2002314699A JP2002314699A JP4025621B2 JP 4025621 B2 JP4025621 B2 JP 4025621B2 JP 2002314699 A JP2002314699 A JP 2002314699A JP 2002314699 A JP2002314699 A JP 2002314699A JP 4025621 B2 JP4025621 B2 JP 4025621B2
Authority
JP
Japan
Prior art keywords
endoscope
data
image
shape
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002314699A
Other languages
Japanese (ja)
Other versions
JP2004147778A (en
Inventor
克己 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002314699A priority Critical patent/JP4025621B2/en
Priority to EP03809860A priority patent/EP1504712B1/en
Priority to PCT/JP2003/013829 priority patent/WO2004039249A1/en
Priority to US10/515,668 priority patent/US8211010B2/en
Priority to CNB2003801007597A priority patent/CN100396227C/en
Priority to DE60330335T priority patent/DE60330335D1/en
Publication of JP2004147778A publication Critical patent/JP2004147778A/en
Application granted granted Critical
Publication of JP4025621B2 publication Critical patent/JP4025621B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、電子内視鏡で撮像生成した内視鏡画像データと、電子内視鏡挿入部の挿入形状を示す形状データとを相互に関連づけして記録再生可能とする画像処理装置及び内視鏡画像処理装置に関する。
【０００２】
【従来の技術】
一般に電子内視鏡は、先端に電子撮像素子を設けた細長で可撓性を有する挿入部を有し、この挿入部を体腔内の管腔である被検体部に外部から挿入し、挿入部先端の電子撮像素子で撮像生成した画像信号を基にモニタ画面に再生される画像から被検体部を観察したり、及び挿入部に設けられた鉗子チャンネルから挿入された処置用鉗子で生体組織の採取や治療処置を行うようになっている。
【０００３】
ところで、体腔内の管腔は、例えば、大腸や小腸等のように曲がっており、このような曲がった管腔内に内視鏡を挿入観察する際に、内視鏡挿入部が管腔のどの位置まで挿入されているか、あるいは内視鏡挿入部がどのような形状になっているか判明すると、内視鏡による観察処置の操作性が向上する。
【０００４】
このため内視鏡の挿入部が管腔内に挿入された位置や、挿入形状等を被検体である人体に無害で、いかなる管腔でも使用できる内視鏡の形状検出装置が提案されている。
【０００５】
例えば、内視鏡の挿入部のチャンネルにプローブソースコイルを内蔵したプローブが挿通され、そのプローブソースコイルに磁界発生駆動信号を供給し、そのプローブソースコイルから発生した磁界を被検体が載置されるベッドの所定位置に設けた複数の３軸センスコイルで検出し、そのセンスコイルの検出信号を基にプローブソースコイルの位置を算出する。その算出した位置から挿入部の形状画像情報を生成し、その形状画像情報を基にモニタに挿入部の形状画像として表示すると共に、その形状画像を互いに直交する２つの視点方向の形状画像も生成して、モニタに２つの画面を同時表示することを可能とする内視鏡形状検出装置がある（例えば、特許文献１参照）。
【０００６】
また、複数の第１のコイルからなるソースコイルと、このソースコイルの複数の第１のコイルからの磁界を検出する複数の第２のコイルからなるセンスコイルと、前記ソースコイルまたはセンスコイルのいずれか一方を体腔内に挿入される内視鏡の挿入部に配置し、前記センスコイルで検出したソースコイルの磁界に基づいて、内視鏡挿入部の形状を推定する形状推定手段とを有する内視鏡形状検出装置において、前記形状推定手段で推定した挿入部形状から特定の形状を検出し、その特定形状が検出されると警告を発生する内視鏡形状検出装置がある（例えば、特許文献２参照）。
【０００７】
【特許文献１】
特開平８−１０７８７５号公報（カラム００１７乃至カラム０１７８、図１乃至図１３）。
【０００８】
【特許文献２】
特開２０００−１７５８６１号公報（カラム００１１乃至カラム００４９、図１乃至図１０）。
【０００９】
【発明が解決しようとする課題】
従来、内視鏡による被検体の観察中の術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中し、内視鏡挿入部の形状検出装置で生成表示される挿入部形状画像に集中されないことが多く、内視鏡挿入部の挿入進行に障害が生じて初めて挿入部形状画像に注目することになり、内視鏡観察の進行の妨げや被検体に対して不快感を生じさせる要因となる。
【００１０】
このような内視鏡観察の進行の迅速化と被検体に与える不快感を解消するためには、前記特許文献１に開示されている内視鏡形状装置は、モニタ画面に観察部位の内視鏡画像と、挿入部形状画像が同時に表示されることから術者の意識が両画像に払われるために、内視鏡観察の進行促進と被検体への不快感の解消が可能である。
【００１１】
また、特許文献２に開示されている内視鏡形状検出装置は、内視鏡挿入部の管腔への挿入過程で、ループを描いた場合に、被検体に不快感を与えることから、挿入部が管腔でループを描くような形状となった際に、そのロープ形状を検出して警告を発生することで、術者に注意を促す、被検体に対する不快感を未然に防止するものである。
【００１２】
これら内視鏡形状検出装置は、被検体の内視鏡画像と挿入部形状画像との記録については何ら示唆していない。一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の収得訓練に用いられる。
【００１３】
この内視鏡画像と挿入部形状画像の録画記録は、一般的にはビデオ機器が用いられることが多く、内視鏡画像と挿入部形状画像は、それぞれ異なるビデオ機器に記録されるために、再生表示する際に内視鏡画像と挿入部形状画像とが再生表示不一致となったり、または内視鏡画像と挿入部形状画像を単一のビデオ機器に同時録画記録するには、特殊なビデオ機器が必要となる。
【００１４】
このような内視鏡形状検出装置で検出した挿入部の形状画像と内視鏡画像とを共に記録すると共に、その記録時に、挿入部形状画像に関連付けて内視鏡画像を記録する内視鏡画像ファイリングシステムが特願２００１−３４７９０９号に提案されている。
【００１５】
しかし、この特願２００１−３４７９０９号に提案されている内視鏡画像のファイリングシステムは、内視鏡に設けられたレリーズボタンを操作したときの内視鏡画像と挿入形状を静止画の状態で記録している。このため、内視鏡観察の開始から終了までの観察行為全般にわたる確認や操作訓練には不向きである。
【００１６】
また、必要に応じて内視鏡画像や挿入形状画像の任意のフレームに対して、情報を付加したり、両画像の同期再生時に付加した情報を表示する機能については何ら示唆されていなく、内視鏡検査の開始から終了までの内視鏡画像や挿入形状画像の記録保存と、その記録保存された画像に付加情報の入力を可能にした内視鏡画像処理装置が要望されている。
【００１７】
本発明は、このような要望に鑑みてなされたもので、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生可能な内視鏡画像処理装置を提供することを目的としている。
【００１８】
また、内視鏡画像データや挿入形状データに対して関連情報を付加することができ、保存された挿入形状データと内視鏡画像との同期再生時に関連情報も共に表示可能である内視鏡画像処理装置を提供することを第２の目的としている。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、内視鏡挿入部の形状を検出するとともに、当該形状を表示するためのデータを出力する形状観測装置から第１のデータを受信して保存する第１のデータ保存手段と、前記内視鏡装置から内視鏡画像データを含む第２のデータを受信して保存する第２のデータ保存手段と、前記内視鏡挿入部の形状を検出した検出時間の情報と前記内視鏡画像データに含まれる時間情報との対応表を作成する作成手段と、前記第１のデータ及び第２のデータを前記対応表に基づいて再生するとともに、同期した状態あるいは単独でモニタに表示させる再生手段と、を有することを特徴とする。
【００２０】
この内視鏡画像処理装置は、内視鏡画像と挿入形状データとを保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部形状を自由に対比することができる。
【００２１】
本発明の内視鏡画像処理装置は、前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴としている。
【００２２】
この内視鏡画像処理装置は、内視鏡画像と挿入形状に関連する情報を入力し、同期再生を行うことにより、内視鏡画像とそのときの内規鏡挿入形状、関連情報を自由に対比することができる。また、検査後に内視鏡画像および挿入形状を同期再生時に、それらに対する所見を記録することができる。
【００２３】
本発明の内視鏡画像処理装置は、前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、を有することを特徴としている。
【００２４】
この内視鏡画像処理装置は、挿入形状を認識した際に認識結果を表示し、認識結果の関連情報を表示するなどの処理をすることにより、術者の内視鏡形状の正確な把握と、関連情報の理解を促すことができる。
【００２５】
本発明の内視鏡画像処理装置は、被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、前記内視鏡画像データ記憶手段から前記記憶された内視鏡画像データを読み出し、前記挿入形状データ記憶手段から前記記憶された挿入形状データを読み出し、該読み出された内視鏡画像データが有する該内視鏡画像データ取得時の取得時間情報と、該読み出された前記挿入形状データが有する該挿入形状データ取得時の取得時間情報とに基づき、前記読み出された内視鏡画像データによる内視鏡画像と、該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、を備えたことを特徴としている。
【００２６】
この内視鏡画像処理装置は、内視鏡画像と挿入形状データとを保存し、同期再生を行うことにより、内視鏡画像とそのときの内視鏡挿入部形状を自由に対比することができる。
【００２７】
本発明の内視鏡画像処理装置は、前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、を更に有することを特徴としている。
【００２８】
この内視鏡画像処理装置は、内視鏡画像と挿入形状に関連する情報を入力し、同期再生を行うことにより、内視鏡画像とそのときの内規鏡挿入形状、関連情報を自由に対比することができる。また、検査後に内視鏡画像および挿入形状を同期再生時に、それらに対する所見を記録することができる。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。本発明に係る内視鏡画像処理装置の第１の実施形態を図１乃至図６を用いて詳細に説明する。
【００３０】
図１は本発明に係る電子内視鏡システムの全体構成を示すブロック図、図２は本発明に係る電子内視鏡システムの内視鏡画像処理装置の第１の実施形態における内視鏡画像と内視鏡挿入形状等のデータ記録保存する処理動作を説明するフローチャート、図３は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状の同期再生処理動作を説明するフローチャート、図４は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状を再生表示する再生表示処理動作を説明するフローチャート、図５は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状データを記録保存する際のディスプレイに表示されるウインドウと表示画面を説明する説明図、図６は本発明に係る内視鏡画像処理装置の第１の実施形態における内視鏡画像と挿入形状を同期再生する際のディスプレイに表示されるウィンドウと表示画面を説明する説明図である。
【００３１】
最初に本発明に係る内視鏡画像処理装置を用いた電子内視鏡システム１を図１を用いて説明する。
【００３２】
電子内視鏡システム１は、内視鏡装置２と、内視鏡挿入形状観測装置３、及び画像処理装置４から構成されている。
【００３３】
内視鏡装置２は、電子内視鏡１２、ビデオプロセッサ１０、光源装置１１、及び観察モニタ１４からなっている。
【００３４】
電子内視鏡１２は、図示していないが、体腔内の管腔に挿入される細長の挿入部先端に電子撮像素子が設けられ、その電子撮像素子を駆動制御して管腔の観察部位の撮像映像信号を生成出力させると共に、挿入部内に設けたライトガイドにより管腔の観察部位を照明するようになっている。
【００３５】
更に、電子内視鏡１２の挿入部の先端部分には、湾曲部が設けられ、挿入部基端に設けられた操作部から湾曲操作可能になっている。
【００３６】
更にまた、電子内視鏡１２の操作部には、レリーズスイッチ１２ａと、ビデオプロセッサ１０との間で電子撮像素子を駆動制御したり、撮像生成された撮像映像信号を送受信するケーブルと、光源装置１１からの照明光をライトガイドに導くライトガイドケーブル等が設けられている。このレリーズスイッチ１２ａが操作されると、後述する静止画の記録が実行される。
【００３７】
また、電子内視鏡１２は、図示していないが、管腔での挿入部の挿入位置や形状を検出するための検出機能が設けられている。この挿入部形状検出機能は、前述した従来と同様に、内視鏡の挿入部に設けられた複数のソースコイルと、内視鏡挿入形状観測装置３に設けられた図示していない複数のセンスコイルからなる。
【００３８】
ビデオプロセッサ１０は、前記電子内視鏡１２の電子撮像素子を駆動制御すると共に、電子撮像素子で光電変換し生成された撮像映像信号を所定の信号処理を行い、色信号や輝度信号からなるＹ／Ｃ信号、またはＲＧＢ信号等を生成する。
【００３９】
このビデオプロセッサ１０で生成された輝度信号と色信号からなるＹ／Ｃ信号またはＲＧＢ信号は、観察モニタ１４と、画像処理装置１５へと直接出力されるようになっている。
【００４０】
また、レリーズスイッチ１２ａが操作されると、撮像画像の静止画像の出力指示が可能となっている。
【００４１】
なお、ビデオプロセッサ１０には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有している。
【００４２】
光源装置１１は、照明光源であるランプと、そのランプの点灯回路等からなり、ランプ点灯時に投射された照明光を前記電子内視鏡１２のライトガイドへと供給し、挿入部先端から管腔の観察部位へと投射される。
【００４３】
観察モニタ１４は、前記ビデオプロセッサ１０で生成されたＹ／Ｃ信号またはＲＧＢ信号等を基に内視鏡画像を表示するものである。
【００４４】
内視鏡挿入形状観測装置３は、内視鏡装置２の周辺装置であり、内視鏡挿入形状観測装置３に設けられた図示していないセンスコイルにより検出した前記電子内視鏡１２に設けられたソースコイルの磁界を基に、各ソースコイルの位置座標データ算出や、その算出された位置座標データから挿入部の形状を推定形成して、挿入部形状画像信号を生成する形状処理装置１３と、その形状処理装置１３で生成された挿入部形状画像信号を基に挿入形状画像を表示するモニタ１３ｂからなっている。
【００４５】
なお、この内視鏡挿入形状観測装置３は、形状処理装置１３で処理生成されてモニタ１３ｂに表示される挿入部形状画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネルからの指示入力により、変更可能となっている。
【００４６】
前記形状処理装置１３には、通信ポート１３ａが設けられ、内視鏡挿入形状を示す３次元座標情報、及び形状表示属性等の挿入形状データを画像処理装置４へ出力可能となっている。
【００４７】
なお、電子内視鏡得１２に設けられているレリーズスイッチ１２ａの操作時の挿入形状データのみを出力させることもできる。
【００４８】
画像処理装置４は、パーソナルコンピュータ（以下。単にＰＣと称する）１５と、このＰＣ１５に各種指示入力するためのマウス１６とキーボード１７と、及びＰＣ１５で処理された各種情報データや画像情報を再生表示するディスプレイ１８からなっている。
【００４９】
更に、ＰＣ１５には、前記内視鏡挿入形状観測装置３の形状処理装置１３の通信ポート１３ａから出力される挿入形状データを取り込む通信ポート１５ａ、前記内視鏡２のビデオプロセッサ１０の通信ポート１０ａから出力される内視鏡検査情報を取り込む通信ポート１５ｂと、及び前記内視鏡２のビデオプロセッサ１０で生成された動画映像信号を所定の圧縮画像データに変換する動画像入力ボード１５ｃを有している。
【００５０】
つまり、画像処理装置４の動画像入力ボード１５ｃには、前記ビデオプロセッサ１０で生成された動画像の映像信号が入力されて、その動画像の映像信号を所定の圧縮動画映像信号データ、例えば、ＭＪＰＥＧ形式の圧縮画像データに変換して、ＰＣ１５の図示していない記録装置に保存される。
【００５１】
なお、一般的には、内視鏡検査開始前には、ビデオプロセッサ１０から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ１４に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート１０ａから通信ポート１５ｂを介して、画像処理装置４に送信記録することも可能である。
【００５２】
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。
【００５３】
つまり、画像処理装置４は、必要に応じてビデオプロセッサ１０と接続して、ビデオプロセッサ１０からの各種情報データを受信保存するようになっている。
【００５４】
このような構成の電子内視鏡システム１における画像処理装置４の動作を説明する。最初に、内視鏡挿入形状観測装置３の形状処理装置１３からの内視鏡挿入形状データ、前記ビデオプロセッサ１０からの検査情報と内視鏡画像を取得保存する処理動作について図２と図５を用いて説明する。
【００５５】
この処理動作は、画像処理装置４に設けられている内視鏡検査用アプリケーションを駆動させることで実現される。内視鏡検査を始めるにあたり、ビデオプロセッサ１０では検査情報を入力し、画像処理装置４では内視鏡検査用アプリケーションを起動させる。この内視鏡検査用アプリケーションを起動させるとディスプレイ１８には、図５（ａ）に示す検査ウィンドウ１００、及び図５（ｂ）に示す内視鏡画像ウィンドウ１０５が表示されるようになっている。
【００５６】
この画像処理装置４のＰＣ１５が内視鏡検査用アプリケーションを駆動し、且つ、ディスプレイ１８に検査ウィンドウ１００が表示されると、ＰＣ１５はステップＳ１で、ビデオプロセッサ１０からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置１３からは挿入形状データを受信保存するモードに設定される。
【００５７】
次に、ＰＣ１５はステップＳ２で、術者がマウス１６またはキーボード１７を操作して、前記検査ウィンドウ１００に表示された検査開始ボタン（図中Ｓｔａｒｔ Ｅｘａｍ．と表記）１０１がオン操作されたかどうか判断する。検査開始ボタン１０１がオン操作されるまで待機し、オン操作されるとステップＳ３以降が実行される。
【００５８】
ＰＣ１５はステップＳ３で、通信ポート１５ａを開き、内視鏡挿入形状観測装置３の形状処理装置１３との通信を開始し、ステップＳ４で、通信ポート１５ｂを開き、ビデオプロセッサ１０との通信を開始する。
【００５９】
ＰＣ１５はステップＳ５で、ビデオプロセッサ１０に対して、検査情報の取得コマンドを通信ポート１５ｂからビデオプロセッサ１０の通信ポート１０ａに送信し、この検査情報取得コマンドを受信したビデオプロセッサ１０は、検査情報をＰＣ１５へと送信する。
【００６０】
このステップＳ５でビデオプロセッサ１０から送信され検査情報をＰＣ１５は、ステップＳ６で図示していない記録装置に記録保存する。
【００６１】
次に、ＰＣ１５はステップＳ７で、通信ポート１５ａから形状処理装置１３の通信ポート１３ａに対して挿入形状データの取得コマンドを送信し、その挿入形状データ取得コマンドを受信した形状処理装置１３は、挿入形状データの送信出力を開始する。この送信は、ＰＣ１５と形状処理装置１３の間の通信が終了し、通信ポート１５ａが閉じられるまで続けられる。
【００６２】
ＰＣ１５はステップＳ８で、前記ステップＳ７で形状処理装置１３から送信出力された挿入形状データを受信し、前記ステップＳ６で記録保存した検査情報と関連づけて、ＰＣ１５に設けられている図示していないハードディスクにファイル記録保存する（以下、挿入形状ファイルと称する）。
【００６３】
次に、ＰＣ１５はステップＳ９で、動画像入力ボード１５ｃに前記ビデオプロセッサ１０から入力された動画映像信号をＭＪＰＥＧ形式の圧縮画像データに変換して、前記ステップＳ６で記録保存した検査情報と関連付けて、ＰＣ１５の図示していないハードディスクにファイル記録保存する（以下、画像ファイルと称する）と共に、前記動画像入力ボード１５ｃに入力されている動画像を図５（ｂ）に示す内視鏡画像ウィンドウ１０５の内視鏡画像領域１０６に表示させる。
【００６４】
次に、ＰＣ１５はステップＳ１０で、検査ウィンドウ１００の検査終了ボタン（図中Ｅｎｄ Ｅｘａｍ．と表記）１０２が操作されたか判断し、検査終了ボタン１０２が操作されていないと判定されると前記ステップＳ８に戻り、検査終了ボタン１０２が操作されたと判定されると、ステップＳ１１で、通信ポート１５ａ、１５ｂを閉じて形状処理装置１３とビデオプロセッサ１０との情報データの通信を終了させる。
【００６５】
このようにして、画像処理装置４は、内視鏡装置２のビデオプロセッサ１０で入力して検査情報データと、電子内視鏡１２で撮像した映像信号を所定の圧縮画像データに変換した内視鏡画像データと、及び内視鏡挿入形状観測装置３で観測生成した挿入形状データを取得し、且つ、所定の記録装置に前記検査情報に関連付けて記録保存する。
【００６６】
次に、前記画像処理装置４に記録保存された検査情報データ、内視鏡画像データ、及び挿入形状データを基に、内視鏡画像と挿入形状画像の同期再生処理動作について図３と図６を用いて説明する。
【００６７】
なお、この処理動作において、内視鏡画像と挿入形状の同期再生と共に、再生の一時停止、再生終了、表示フレームを直接指定する機能、及び表示属性の変更に関しても説明する。
【００６８】
なお、表示属性としては、内視鏡挿入形状のＸ軸回りの回転と、Ｙ軸回りの回転で、挿入形状表示の座標系は、図６（ｂ）に示す挿入形状表示画面１３０内に示す。これらの機能は、画像処理装置４で動作させるビューアアプリケーション（以下、ビューアと省略する）で実行され、このビューアを起動すると、ディスプレイ１８には図６（ａ）に示す再生制御ウィンドウ１１０、図６（ｂ）に示す挿入形状表示ウィンドウ１３０、図６（ｃ）に示す内視鏡画像ウィンドウ１３５が表示される。
【００６９】
内視鏡画像、及び挿入形状画像のフレームレートは決まっており、更に、挿入形状画像は、１フレーム毎に記録時間が記録されるため、内視鏡画像と挿入形状画像の同期再生は、画像ファイル、および挿入形状ファイルの作成時間により再生開始時間を調整対応するフレーム表を作成すれば両者の同期再生は可能である。
【００７０】
例えば、画像ファイルの作成時間が１０時００分００秒、挿入形状ファイルの作成時間が１０時００分０１秒、内視鏡画像のフレームレートが毎秒３０枚、挿入形状のフレームレートが毎秒１５枚であるとすると、図１２に示すように画像ファイルの内視鏡画像フレーム番号と挿入形状ファイルのフレーム番号の関係表が形成でき、この関係表から対応するフレームを表示することで同期再生が可能となる。
【００７１】
なお、内視鏡画像、あるいは内視鏡挿入形状のみを単独に再生する場合は、図１２の関係を使用せず、後述する再生タイマーの処理間隔をフレームレートから決定して再生表示すればよい。
【００７２】
最初に、内視鏡画像と挿入形状画像との同期再生処理動作を行うために、術者は、前記ＰＣ１５のビューアを起動させて、ディスプレイ１８に図６（ａ）に示す再生制御ウィンドウ１１０、図６（ｂ）に示す挿入形状表示ウィンドウ１３０、図６（ｃ）に示す内視鏡画像ウィンドウ１３５を表示される。
【００７３】
この再生制御ウィンドウ１１０が表示されると、ＣＰＵ１５はステップＳ２１で、術者が内視鏡画像と挿入形状画像の同期再生を行う画像ファィルを指定する。この同期再生を行う画像ファイルの指定は、例えば、再生制御ウィンドウ１１０の再生ボタン（図中Ｐｌａｙと表記）１１１をマウス１６またキーボード１７を用いて操作すると、ディスプレイ１８にファイル選択用のウィンドウが表示されて、そのファイル選択用ウィンドウから画像ファイルを指定すると、その画像ファイルの検査情報で関連付けられた挿入形状ファイルが同期再生の相手となる。画像ファィルが含むフレーム数をＮｆとする。
【００７４】
このように、術者によって、ディスプレイ１８に表示されたファイル選択用ウィンドウから画像ファイルと、その画像ファィルに関連する挿入形状ファイルが選択されると、ＰＣ１５はステップＳ２２で、再生制御ウィンドウ１１０のスライダーコントロール１１４の範囲を最小値０、最大値をＮｆ−１に初期化する。
【００７５】
次に、ＰＣ１５はステップＳ２３で、各種変数の初期化を行う。この各種変数の初期は、現在の動作状態を示すステータスを再生Ｓｔ＝Ｐｌａｙｂａｃｋ、表示フレーム番号Ｆｒｍ＝０、Ｘ軸回りの回転角θｘ＝０、Ｙ軸回りの回転角θｙ＝０とする。
【００７６】
なお、再生フレーム番号Ｆｒｍは、内視鏡画像のフレーム番号を指しており、挿入形状を表示する際は、前記内視鏡画像のフレーム番号Ｆｒｍに対応する挿入形状フレームを図１２に示す関係表から探索する。
【００７７】
前記ステップＳ２３の各種変数の初期化が終了すると、ＰＣ１５はステップＳ２４で、再生タイマーを設定する。このタイマーは、ソフトウェアの多重化処理などに用いられるソフトウェアタイマーである。
【００７８】
この再生タイマーは、後述する内視鏡画像と挿入形状の表示処理を一定時間間隔で実行するもので、タイマーが処理する間隔は、内視鏡画像のフレームレートをｆ（ｆｐｓ）とすると、１／ｆ（ｓｅｃ）とする。
【００７９】
前記ステップＳ２４のタイマー設定処理が終了すると、ＰＣ１５はステップＳ２５で、再生制御ウィンドウ１１０の再生終了ボタン（図中Ｓｔｏｐと表記）１１３が操作されたか判定し、再生終了ボタン１１３が操作されたと判定されるとステップＳ３６で再生タイマーの駆動を終了させて、この内視鏡画像と挿入形状画像の同期再生表示の処理動作を終了させ、再生終了ボタン１１３は操作されていないと判定されると、ステップＳ２６で、再生制御ウィンドウ１１０のスライダーコントロール１１４のつまみ１１４ａが操作移動されたかどうか判定する。
【００８０】
このステップＳ２６のスライダーコントロール１１４は、術者により再生する内視鏡画像のフレームを直接指定するもので、その指定した内視鏡画像と関連する挿入形状画像を表示することができる。
【００８１】
なお、スライダーコントローラ１１４のつまみ１１４ａを移動させて、再生する内視鏡画像のフレームを指定した際には、同期再生は一時停止状態となり、つまみ１１４ａが移動された場合はステップＳ２７以降が実行され、つまみ１１４ａが移動していない場合は、ステップＳ３０以降が実行される。
【００８２】
前記ステップＳ２６でスライダーコントローラ１１４のつまみ１１４ａが移動して再生表示される内視鏡画像のフレームが指定されたと判定されると、ＰＣ１５はステップＳ２７で、再生タイマーによる内視鏡画像と挿入形状画像の更新を一時停止させるためにステータスを一時停止（Ｓｔ＝Ｐａｕｓｅ）にセットする。
【００８３】
次に、ＰＣ１５はステップＳ２８で、スライダーコントロール１１４のつまみ１１４ａで移動設定したフレーム位置を求め、その位置データを内視鏡画像ファイルの表示フレーム番号Ｆｒｍにセットし、ステップＳ２９で、前記ステップＳ２８で内視鏡画像ファイルの表示フレーム番号Ｆｒｍに対応する内視鏡画像フレームを図６（ｃ）の画像表示画面１３５に表示すると共に、Ｆｒｍに対応する挿入形状データ、及び表示属性を挿入形状ファイルから取得し、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転軸θｙによる挿入形状の回転により再構成した挿入形状画像を図６（ｂ）の挿入形状表示画面１３０に表示して、前記ステップＳ２５へ戻る。
【００８４】
なお、この内視鏡画像ウィンドウ１３５及び挿入形状ウィンドウ１３０は、ディスプレイ１８に適当に重畳表示するか、予め与えた設定に従い、内視鏡画像、挿入形状を適当な縮尺で縮小して両ウィンドウが重ならないように表示しても良い。両ウィンドウの大きさは、ユーザが変更できるようにすることもできる。
【００８５】
前記ステップＳ２６で、スライダーコントローラ１１４のつまみ１１４ａが移動されていないと判定されると、ＰＣ１８はステップＳ３０で、再生制御ウィンドウ１１０の再生ボタン（図中Ｐｌａｙと表記）１１１が操作されたか判定され、この再生ボタン１１１が操作されてないと判定されると、ステップＳ３２以降が実行され、再生ボタン１１１が操作されたと判定されると、ステップＳ３１でＰＣ１５は、ステータスを再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）にセットして、再生タイマーによる内視鏡画像と挿入形状画像の更新を再開させて、前記ステップＳ２５へと戻る。
【００８６】
前記ステップＳ３０で再生ボタン１１１が操作されていないと判定されると、ＰＣ１５はステップＳ３２で、再生制御ウィンドウ１１０の一時停止ボタン（図中Ｐａｕｓｅと表記）１１２が操作されたか判定し、一時停止ボタン１１２が操作されていないと判定されると、ステップＳ３４以降が実行され、一時停止ボタン１１２が操作されたと判定されると、ステップＳ３３でＰＣ１５は、ステータスを一時停止（Ｓｔ＝Ｐａｕｓｅ）にセットして、再生タイマーによる内視鏡画像と挿入形状画像の更新を一時停止させ、前記ステップＳ２５へと戻る。
【００８７】
前記ステップＳ３２で一時停止ボタン１１２が操作されていないと判定されると、ＰＣ１５はステップＳ３４で、挿入形状回転ボタン１１５（図中上下と左右方向の矢印キーで表記）が操作されたか判定し、操作されていないと判定されると前記ステップＳ２５に戻り、挿入形状回転ボタン１１５が操作されたと判定されると、ステップＳ３５で挿入形状回転ボタン１１５で操作された挿入形状画像の回転角の増減処理を行い、前記ステップＳ２５へと戻る。
【００８８】
このステップＳ３５で処置される回転角の増減処置は、例えば、挿入形状回転ボタン１１５の右向き矢印（→）が操作されると、Ｙ軸回りの回転角θｙをＣｙ増加させ、左向き矢印（←）が操作されると、Ｙ軸周りの回転角θｙをＣｙ減少させ、上向き矢印（↑）が操作されると、Ｘ軸周りの回転角θｘをＣｘ減少させ、下向き矢印（↓）が操作されると、Ｘ軸周りの回転角θｘをＣｘ増加させる。
【００８９】
なお、ＣｘとＣｙは、予め与えておく挿人形伏の回転角の増減量の定数で、単位は角度を表すラジアンである。このＣｘとＣｙの大きさを変えることにより、挿入形状回転ボタン１１５が操作されるたびに挿入形状の回転する度合いを変えることができる。
【００９０】
次に、前記ステップＳ２４の再生タイマーについて、図４を用いて説明する。この再生タイマーは、内視鏡画像、挿入形状の表示機能、及びスライダーコントロール１１４のつまみ１１４ａの位置更新機能を持つ。このつまみ１１４ａの位置更新機能により、内視鏡画像の全フレームの中で、現在どのフレームを表示しているかを術者が簡単に認識できるようになっている。
【００９１】
なお、ソフトウェアタイマーにより実現しているソフトウェアにおける多重化処理は、マルチスレッドによる手法により行っても良い。
【００９２】
１／ｆ（ｓｅｃ）毎に再生タイマー処理が呼ばれると、ＰＣ１５はステップＳ４１において、ステータスが再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）であるか判定し、再生でないと判定されると、再生タイマーの処理を終了する。再生であると判定されると、ステップＳ４２に移行する。
【００９３】
ステップＳ４２でＰＣ１５は、内視鏡画像ファイルから、表示指定されているフレームの内視鏡画像データを復号化して内視鏡画像表示画面１３５の内視鏡画像表示領域１３６に表示させる。
【００９４】
次に、ＰＣ１５はステップＳ４３で、前記ステップＳ４２で内視鏡画像表示領域１３６に表示されている内視鏡画像のフレームに対応する挿入形状データ及び表示属性を挿入形状ファイルから読み取り、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転角θｙによる回転により挿入形状画像として再構成して挿入形状表示ウィンドウ１３０の挿入形状画像表示領域１３１に表示する。なお、挿入形状のＸ軸とＹ軸の回転は、挿入形状の３次元座標に対して、公知の座標変換により行う。
【００９５】
次に、ＰＣ１５はステップＳ４４で、表示フレーム番号Ｆｒｍに１を加算（Ｆｒｍ＋１）し、ステップＳ４５でＦｒｍ＝Ｎｆ−１かどうか判断する。つまり、最終フレームまで再生表示したかどうか判定する。
【００９６】
このステップＳ４５で、最終フレームまで再生表示が完了したと判定されるとステップＳ４６でＰＣ１５はタイマーの駆動を終了させる。
【００９７】
前記ステップＳ４５で、最終フレームまで再生表示していないと判定されると、ステップＳ４７でＰＣ１５は、スライダーコントロール１１４のつまみ１１４ａの位置を、前記ステップＳ４４で表示フレーム番号Ｆｒｍに１を加算したフレームの位置にスライダコントローラ１１４のつまみ１１４ａを移動させて、再生タイマーの処理を終了する。
【００９８】
これにより、前記画像処理装置４に記録保存された内視鏡画像及び挿入形状データを用いて、ディスプレイ１８に同期再生表示させることが可能となる。
【００９９】
なお、画像処理装置４の機能は、ビデオプロセッサ１０、または内視鏡挿入形状観測装置３に内蔵保有しても良いことは明らかである。
【０１００】
また、内規鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１０１】
このようにして、内視鏡画像と挿入形状データとを記録保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部の形状を自由に対比することができ、内視鏡挿入操作の教育に有効に活用できる。
【０１０２】
また、内視鏡検査後に内視鏡挿入部の形状の表示属性を変えながら同期再生を行うことで、内視鏡挿入の困難性の原因、患者の不快感の原因等を探索する際の有効な機能となる。
【０１０３】
次に、本発明に係る画像処理装置の第２の実施形態について図７乃至図９を用いて説明する。この第２の実施形態は、内視鏡検査時に記録保存した内視鏡検査情報、内視鏡画像、及び挿入形状データ等のデータから所望の内視鏡画像や内視鏡挿入形状画像の検索と、それら検索した内視鏡画像や内視鏡挿入形状画像に情報を付加する機能を有するものである。
【０１０４】
この第２の実施形態の検索と情報付加機能を実行のために、ＰＣ１５において検索と情報付加機能を持つビューアを起動する。ビューアは、ディスプレイ１８に図９（ａ）に示す検索と情報付加用の再生制御ウィンドウ２１０と、図９（ｂ）に示す挿入形状ウィンドウ２３０と、図９（ｃ）に示す内視鏡画像ウィンドウ２３５を表示する。
【０１０５】
この検索と情報付加機能において、例えば、内視鏡挿入部のループ形状の検索例を用いて説明する。なお、認識可能なループとして、予め、αループ、Ｎループ、γループとし、挿入部形状は曲線と考えることができるため、曲線の特徴抽出技術を使用する。ここでは、説明を簡単にするために挿入部形状を２次元曲線で考え、例えば、Ｐ形フーリエ記述子を使用する。このＰ形フーリエ記述子は、電子情報通信学会論文誌ｖｏｌ．ｊ６７−Ａ Ｎｏ．３に示されている。
【０１０６】
この手法は、まず曲線をｎ個（ｎは分割数で正数）の線分で分割し、その線分の端点を複素表示し、各点での全曲率関数を定義し、全曲率関数をフーリエ変換して得られたパワースペクトルを曲線の特徴とする。各ループのＰ形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれのループのパワースペクトルをＣｒｉ（ｋ）、（ｋ＝０、…、ｎ−１）とし、ｉ＝０はαループ、ｉ＝２はＮループ、ｉ＝３はγループとする。
【０１０７】
この検索と情報付加機能の処理動作を図７を用いて説明する。前記ＰＣ１５はステップＳ５１で、ディスプレイ１８に表示されている再生制御ウィンドウ２１０において、再生表示対象もしくは検索対象の検査情報が選択されたか判定する。
【０１０８】
この再生表示対象もしくは検索対象の検査情報は、前記再生制御ウィンド２１０の検査情報表示領域２１９に表示されており、その検査情報のリストからマウス１６またはキーボード１７で選択する。
【０１０９】
このステップＳ５１で内視鏡検査情報リストから再生表示若しくは検索対象の検査情報が選択指示されたと判定されると、ステップＳ５２でＰＣ１５は、再生制御ウィンドウ２１０の検査情報表示領域２１９に表示されている検査情報リストの選択した検査情報を反転表示に表示変更する。
【０１１０】
前記ステップＳ５１で内視鏡検査情報リストからの選択が行われない場合は、その検査情報リストの最初にリストされている検査情報が選択されものと見なす。選択された検査情報に関連付けられている画像ファィルに含まれているフレーム数をＮｆとする。
【０１１１】
次に、ＰＣ１５はステップＳ５３で、再生制御ウィンドウ２１０の検索ボタン（図中Ｒｅｔｒｉｅｖａｌと表記）２１６が操作されたか判定し、検索ボタン２１６が操作されていないと判定されると、ステップＳ６０以降が実行され、検索ボタン２１６が操作されたと判定されると、ステップＳ５４でステータスを検索に設定（Ｓｔ＝Ｒｅｔｒｉｅｖａｌ）し、表示フレーム番号Ｆｒｍ＝０、Ｘ軸回りの回転角θｘ＝０、Ｙ軸回りの回転角θｙ＝０に設定する。なお、軸回りの回転の処理は前述の第１の実施形態と同じである。
【０１１２】
次に、ＰＣ１５はステップＳ５５で、図示しない検索情報ウィンドウをディスプレイ１８に表示させ、この検索情報ウィンドウを用いて、検索するループ形状等の検索情報を入力する。ここでは、αループを検索するための情報が入力されたとする。
【０１１３】
このステップＳ５５で検索するループ形状であるαループ情報が入力されると、ステップＳ５６で、挿入形状データから特徴データを１フレーム毎に算出する。この算出されたパワースペクトルをＣｊ（ｋ）、（ｋ＝０、…、ｎ−１）、（ｊ＝０、…、Ｎｆ−１）とする。
【０１１４】
次にＰＣ１５はステップＳ５７で、予め記憶しておいた代表的なループのパワースペクトルＣｒｉ（ｋ）と、前記ステップＳ５６で算出したパワースペクトルＣｊ（ｋ）との距離を求める。例えば、αループとパワースペクトルの距離が闇値より小さい場合は、Ｃｊ（ｋ）はαループであると判断する。この２つのパワースペクトルの距離は、例えばユークリッド距離を使用し、類似判定を全フレームに対して行う。
【０１１５】
ＰＣ１５はステップＳ５８において、スライダーコントロール２１４の範囲を最小値０、最大値をＮｆ−１に初期化し、ステップＳ５９で前記ステップＳ５６とＳ５７において、類似と判断されたフレーム位置を示す図形２１８をスライダーコントロール２１４の近傍に表示する。なお、図９（ａ）の再生制御ウィンドウ２１０のスライダーコントローラ２１４の図中の上側にフレーム位置図形２１８を表示している。このフレーム位置図形２１８は、ループの種類により色分けしても良い。
【０１１６】
次に、ＰＣ１５はステップＳ６０で、スライダーコントローラ２１４のつまみ２１４ａが移動されたか判定し、移動されていないと判定されるとステップＳ６３以降が実行され、つまみ２１４ａが移動したと判定されると、ステップＳ６１で移動したつまみ２１４ａの位置を検出して再生フレーム番号Ｆｒｍをつまみ位置にセットし、ステップＳ６２で、そのセットされたフレームの内視鏡静止画像と内視鏡挿入形状画像を表示する。表示方法はステップＳ２９と同様である。
【０１１７】
このステップＳ６２における内視鏡静止画像と内視鏡挿入画像の表示は、第１の実施形態と同様である。つまり、この内視鏡画像ウィンドウ２３５、及び挿入形状ウインドウ２３０は、ディスプレイ１８に適当に重畳表示するか、予め与えた設定に従い、内視鏡画像、挿入形状を適当な縮尺で縮小して両ウィンドウが重ならないように表示する。
【０１１８】
次に、ＰＣ１５はステップＳ６３で、前記再生制御ウィンドウ２１０の情報入力ボタン（図中Ｉｎｆｏｒｍａｔｉｏｎと表記）２１７が操作されたか判定し、操作されていないと判定されると、ステップＳ６５以降が実行され、情報入力ボタン２１７が操作されたと判定されると、ステップＳ６４で、ディスプレイ１８に表示されている内視鏡静止画像と内視鏡挿入形状画像に付加したい情報を図示していない情報入力ウィンドウを用いて入力する。この入力された付加情報は、前記内視鏡検査情報および再生フレーム番号（Ｆｒｍ）と関連付けて記録保存される。
【０１１９】
なお、この付加情報は、内視鏡画像と内視鏡挿入形状画像とは、別の情報として記憶できるようになっている。
【０１２０】
次に、ＰＣ１５はステップＳ６５で、再生ボタン（Ｐｌａｙ）２１１が操作されたか判定し、操作されたと判定されると前記ステップＳ２２（図３参照）以降の同期再生の処理動作に移行する。第２の実施形態におけるステップＳ２２〜Ｓ３６の同期再生処理は、再生終了ボタン、再生ボタン、一時停止ボタン、回転ボタン、スライダーコントロールは図６のものから図９のものに置き換えて処理は実行される。ステップＳ３６を実行後はステップＳ５１に戻るものとする。
【０１２１】
再生ボタン２１１が操作されていないと判定されると、ステップＳ６６で終了ボタン（Ｃｌｏｓｅ）２２０が操作されたか判定し、操作されていないと判定されると前記ステップＳ５１に戻り、終了ボタン２２０が操作されたと判定されるとステップＳ６７で、この検索と情報付加を行うビュアーを終了させる。
【０１２２】
以上説明したように、内視鏡検査後に、検索条件の基で検索した内視鏡画像と内視鏡挿入部形状画像に付加情報を追加入力することが可能となる。
【０１２３】
このように検索と情報付加機能により付加情報を追加入力した内視鏡画像と内視鏡挿入形状画像の同期再生動作は、前述の図３のステップＳ２２からＳ３６の処理と基本的に同じであるが、ステップＳ２４の再生タイマーの処理動作が異なるために、この検索と情報付加機能の再生タイマー処理動作について、図８を用いて説明する。
【０１２４】
この検索と情報付加機能の再生タイマー処理は、内視鏡画像フレームと内視鏡挿入形状の表示機能、付加情報表示機能、及びスライダーコントロールのつまみ位置の更新機能を実現する。
【０１２５】
ＰＣ１５はステップＳ７１で、ステータスが再生（Ｓｔ＝Ｐｌａｙｂａｃｋ）か判定し、再生（Ｐｌａｙｂａｃｋ）ではないと判定されると、この再生タイマー処理を終了する。再生であると判定されると、ステップＳ７２で内視鏡画像ファイルから指定されたフレームの内視鏡画像を復号化し、その復号化されたフレームの内視鏡画像をディスプレイ１８に図９（ｃ）に示す内視鏡画像ウィンドウ２３５の内視鏡画像領域２３６に表示する。
【０１２６】
次に、ＰＣ１５はステップＳ７３で、前記ステップＳ７２で復号化した内視鏡画像のフレームに対応する内視鏡挿入形状データ、及び表示属性を取得し、前記表示属性、及びＸ軸周りの回転角θｘ、Ｙ軸周りの回転角θｙによる回転により再構成した形状画像をディスプレイ１８に図９（ｂ）に示す挿入形状表示ウインドウ２３０の挿入部形状表示領域２３１に表示する。
【０１２７】
更に、ＰＣ１５はステップＳ７４で、前記ステップＳ７３と同様に復号化した内視鏡画像のフレームに対応する内視鏡挿入形状データから、前記ステップＳ５６とＳ５７（図７参照）と同様の方法により挿入形状を認識し、その結果を挿入形状表示画面２３０の認識結果表示領域２３２に表示する。認識できる形状は、例えば、αループ、Ｎループ、γループなどである。
【０１２８】
次に、ＰＣ１５はステップＳ７５で、前記復号化した内視鏡画像のフレームに対応する付加情報を検索して挿入形状表示ウィンドウ２３０の情報表示領域２３３に表示する。
【０１２９】
このようにして、ディスプレイ１８に指定したフレームの内視鏡画像と、そのフレームに対応する内視鏡挿入形状画像、挿入形状認識結果、及び付加情報が表示されると、ＰＣ１５はステップＳ７６で、ディスプレイ１８に表示しているフレームを示す再生フレーム番号Ｆｒｍに１を加算（Ｆｒｍ＋１）し、ステップＳ７７で、最終フレームまで再生表示したか判定し、最終フレームまで再生表示されたと判定されるとステップＳ７８でタイマー駆動を終了させる。
【０１３０】
前記ステップＳ７７で、最終フレームまで再生表示されていないと判定されると、ステップＳ７９で、スライダーコントロール２１４のつまみ２１４ａの位置をフレームに対応する位置に移動させて、この再生タイマーの処理を終了させる。
【０１３１】
以上説明したように、この第２の実施形態は、内視鏡検査の過程で撮像生成した内視鏡画像、及び内視鏡挿入形状画像から入力した検索事項で所望の画像を検索再生表示でき、且つ、その検索再生表示された画像に付加情報を追加入力できる。
【０１３２】
この第２の実施形態では、内視鏡挿入形状により検索し、その検索した内視鏡挿入形状に付加情報を入力する例に説明したが、内視鏡検査情報で検索して、その内視鏡検査情報に付加情報を入力したり、内視鏡画像検索により内視鏡画像を検索し、その検索した内視鏡画像に付加情報を入力したりできることは明らかである。
【０１３３】
なお、第２の実施形態の画像処理装置４の機能は、ビデオプロセッサ１０、または内視鏡挿入形状観測装置３に内蔵保有しても良いことは明らかである。
【０１３４】
また、内視鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１３５】
このようにして、内視鏡画像と挿入形状画像に関連する付加情報を入力記録保存し、同期再生を行うことにより、内視鏡画像とその時の内視鏡挿入部の形状、関連情報を自由に対比することができ、内視鏡挿入操作の教育に有効に活用できる。特に、関連情報の入力により内視鏡挿入の独学用アプリケーションとして使用できる。
【０１３６】
また、内視鏡検査後に内視鏡挿入部の形状の表示属性を変えながら同期再生を行うことで、内視鏡挿入の困難性の原因、患者の不快感の原因等を検討する際に有効で、その検討時に関連情報の付加が可能で、検討結果の記録保存ともなる。
【０１３７】
次に、本発明に係る画像処理装置の第３の実施形態を図１０と図１１を用いて説明する。
【０１３８】
この第３の実施形態の画像処理装置は、例えば、大腸内視鏡で内視鏡検査を行う場合、内視鏡挿入部を大腸に挿入していく過程で、挿入部がループを形成することがある。このループは、その形状によりαループ、Ｎループ、γループ等と称せられている。
【０１３９】
このようなループが形成されると被検体者である患者に不快感を与えることもあることから、内視鏡挿入部のループを解除して直線化させて患者への不快感を解消させている。 この内視鏡挿入部の直線化のための操作は、ループの状態に依存する。このため、挿入部のループの状態を認識表示し、且つ、内視鏡挿入部の操作方法を表示することにより、内視鏡検査の時間短縮化と患者の不快感軽減を図るものである。
【０１４０】
この第３の実施形態は、前述の第１の実施形態に加えて挿入形状の認識機能と、その認識結果および関連情報の表示機能を有するものである。これらの機能は、画像処理装置４で動作する検査用アプリケーションとして実現される。
【０１４１】
内視鏡検査を始めるにあたり、ビデオプロセッサ１０では検査情報を入力し、画像処理装置４では検査用アプリケーションを起動する。
【０１４２】
この検査用アプリケーションを起動するとディスプレイ１８に図１１（ａ）に示す検査ウィンドウ３００、及び図１１（ｂ）に示す内視鏡画像ウインドウ３０５が表示されるようになっている。
【０１４３】
この検査用アプリケーションでは、内視鏡挿入部のループの種類を認識し、その認識結果を表示し、且つ、その認識結果から関連情報である内視鏡挿入部の操作方法を検索して表示する例を用いて説明する。
【０１４４】
なお、以下の説明において、認識するループとしてα、Ｎ、γを考慮し、前述の第２の実施形態と同様にＰ形フーリエ記述子による特徴をあらかじめ記憶しておき、それぞれのループのパワースペクトルＣｒｉ（ｋ）、（ｋ＝０、…、ｎ−１）とし、ｉ＝０はα、ｉ＝２はＮ、ｉ＝３はγとする。
【０１４５】
また、各ループ状態に対応する内視鏡挿入部の操作方法は、あらかじめデータベースに登録しておき、認識結果を検索キーとして、その内視鏡挿入部の操作方法を検索できるようになっている。
【０１４６】
前述したように、検査用アプリケーションが起動すると、ＰＣ１５はステップＳ９１で、ディスプレイ１８に表示されている図１１（ａ）に示す検査ウインドウ３００、及び図１１（ｂ）に示す内視鏡画像ウインドウ３０５が表示され、ビデオプロセッサ１０と形状処理装置１３からの内視鏡画像、検査情報、及び挿入形状データの受信保存モードに設定され、ステップＳ９２で検査ウィンドウ３００の検査開始ボタン（図中Ｓｔａｒｔ Ｅｘａｍ．と表記）３０１がマウス１６またはキーボード１７で操作されるまで待機する。
【０１４７】
前記検査開始ボタン３０１が操作されると、ＰＣ１５はステップＳ９３で、通信ポート１５ａを開き、内視鏡挿入形状観測装置３の形状処理装置１３との通信を開始する。
【０１４８】
次に、ＰＣ１５はステップＳ９４で、通信ポート１５ｂを開き、ビデオプロセッサ１０との通信を開始し、ステップＳ９５で、検査情報取得コマンドを通信ポート１５ｂからビデオプロセッサ１０の通信ポート１０ａに送信し、この検査情報取得コマンドを通信ポート１０ａを介して受信したビデオプロセッサ１０は、内視鏡検査情報を前述の検査情報取得コマンドの送信経路と逆の経路で前記ＰＣ１５に送信する。
【０１４９】
ＰＣ１５は、前記ステップＳ９５でビデオプロセッサ１０から送信された内視鏡検査情報をステップＳ９６で受信し、図示していない記録メモリに記録保存する。
【０１５０】
次に、ＰＣ１５はステップＳ９７で、通信ポート１５ａから形状処理装置１３の通信ポート１３ａに挿入形状データの取得コマンドを送信し、この挿入形状データの取得コマンドを通信ポート１３ａを介して受信した形状処理装置１３は、挿入形状データを前述の挿入形状データ取得コマンドの送信経路と逆の経路で前記ＰＣ１５に送信を開始する。
【０１５１】
ＰＣ１５は、前記ステップＳ９７で形状処理装置１３から送信された内視鏡挿入形状データをステップＳ９８で受信し、図示していないハードディスクにに、前記ステップＳ９６で記録保存した内視鏡検査情報と関連づけてファイル記録保存する。
【０１５２】
次に、ＰＣ１５はステップＳ９９で、 受信した挿入形状データから挿入形状の特徴を抽出する。この挿入形状の特徴抽出は、前記Ｐ形フーリエ記述子を使用する（前述の第２の実施形態の図７のステップＳ５６の処理を参照）。フーリエ記述子によるパワースペクトルをＣ（ｋ）、（ｋ＝０、…、ｎ−１；ｎは正数であり、曲線の分割数）とする。
【０１５３】
このステップＳ９９で、挿入形状の特徴が抽出されると、ＰＣ１５はステップＳ１００で、Ｃ（ｋ）とＣｒｉ（ｋ）との距離を算出する。この距離は、例えばユークリッド距離を使用する。
【０１５４】
前記ステップＳ１００で算出された距離は、ステップＳ１０１で予め設定されている閾値と比較される。
【０１５５】
このステップＳ１０１の比較の結果、前記ステップＳ１００で算出した距離値が閾値より大きいと判定されるとステップＳ１０６以降が実行され、閾値よりも小さいと判定されると、ステップＳ１０２以降が実行される。
【０１５６】
前記ステップＳ１０１で算出距離値が閾値よりも小さいと判定されると、ＰＣ１５はステップＳ１０２で、内視鏡挿入部のループの認識結果をディスプレイ１８に表示させる。このループの認識結果表示は、検査ウィンドウ３００の認識結果表示部３０３に表示する（ループ名等）。
【０１５７】
次に、ＰＣ１５はステップＳ１０３で、挿入部のループ形状が今までと変化したかどうかを判定し、変化したと判定されると、ステップＳ１０４で警告音発生させる。この警告音発生により術者は、内視鏡挿入形状観測装置３のモニタ１３ｂに表示されている内視鏡挿入形状画像を見ることを促す。
【０１５８】
前記ステップＳ１０３で挿入部のループ形状に変化がないと判定されたり、または前記ステップＳ１０４の警告音が発生すると、ＰＣ１５はステップＳ１０５で、内視鏡挿入部のループ形状の認識結果を基に、関連情報を検索し、その検索した関連情報をディスプレイ１８に表示されている検査ウィンドウ３００の関連情報表示部３０４に表示する。
【０１５９】
つまり、関連情報表示部３０４には、事前に作成してデータベースに記録保存されているループ状態に応じた内視鏡挿入部の操作方法に関する情報が表示される。この表示を参考に術者は内視鏡操作を行うことが可能である。
【０１６０】
次に、ＰＣ１５はステップＳ１０６で、ビデオプロセッサ１０から動画像入力ボード１５ｃに入力された動画映像信号をＭＪＰＥＧ形式で圧縮画像データに変換して、前記内視鏡検査情報と関連付けて図示していないハードディスクにファイル記録保存する。なお、このビデオプロセッサ１０からの入力画像は、ディスプレイ１８の内視鏡画像３０５の画像表示領域３０６に表示する。
【０１６１】
次に、ＰＣ１５はステップＳ１０７で、検査ウインドウ３００の検査終了ボタン（図中Ｅｎｄ Ｅｘａｍ．と表記）３０２が操作されたか判定し、操作されていないと判定されると前記ステップＳ９８に戻り、検査終了ボタン３０２が操作されたと判定されると、ＰＣ１５はステップＳ１０８で前記ビデオプロセッサ１０と形状処理装置１３との通信を行っている通信ポート１５ａ，１５ｂを閉じて、この検査アプリケーションを終了する。
【０１６２】
この第３の実施形態は、内視鏡挿入形状を主体に説明したが、内視鏡検査情報、および、内視鏡動画像にも適用できる。
【０１６３】
また、この第３の実施形態は、画像処理装置４の機能として説明したが、ビデオプロセッサ１０や内視鏡挿入形状観測装置３に同じ機能を保有することも可能である。
【０１６４】
さらに、内視鏡画像の保存形式は、動画像に限定されるものでなく、記録時間が明確であれば静止画の連続保存でも同様の効果が得られる。
【０１６５】
このように、内視鏡挿入部のループ形状を認識し、その認識したループの状態を認識表示し、且つ、内視鏡操作方法等の関連情報を表示することにより、術者が内視鏡の挿入形状を正確に把握し、その関連情報の理解を促すことで、内視鏡検査の時間の短縮化と患者の不快感軽減が可能性となった。
【０１６６】
［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【０１６７】
（付記１）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡挿入部の形状を検出し、その形状を表示する形状観測装置からの第１のデータを受信し保存する第１のデータ保存手段と、
内視鏡装置から検査情報と内視鏡画像等の第２のデータを受信し、前記第１のデータと相互に関連付けて保存する第２のデータ保存手段と、
前記第１と第２のデータ保存手段で保存したデータを同期した状態、あるいは単独でモニタに表示させる再生手段と、
を有することを特徴とする画像処理装置。
【０１６８】
（付記２）
前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、
前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴とする付記１記載の画像処理装置。
【０１６９】
（付記３）
前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、
前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、
を有することを特徴とする付記１または２のいずれかに記載の画像処理装置。
【０１７０】
（付記４）
被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、
前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、
前記内視鏡画像データ記憶手段から前記記憶された内視鏡画像データを読み出し、前記挿入形状データ記憶手段から前記記憶された挿入形状データを読み出し、該読み出された内視鏡画像データが有する該内視鏡画像データ取得時の取得時間情報と、該読み出された前記挿入形状データが有する該挿入形状データ取得時の取得時間情報とに基づき、前記読み出された内視鏡画像データによる内視鏡画像と、該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【０１７１】
（付記５）
前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、
前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、
を更に有することを特徴とする付記４記載の内視鏡画像処理装置。
【０１７２】
（付記６）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡形状を検出し形状を表示する形状観測装置から第１のデータを受信する第１のデータ受信手段と、
内視鏡装置から設定に従い第２のデータを受信する第２のデータ受信手段と、
前記第１および／または第２のデータ受信機能で受信したデータを解析する受信データ解析手段と、
前記受信データ解析手段による解析結果にもとに処理を決定し、実行する受信時処理手段と、
を有することを特徴とする画像処理装置。
【０１７３】
（付記７）
内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡挿入部の形状を検出し、その形状を表示する形状観測装置からの第１のデータを受信し保存する第１のデータ保存手段と、
内視鏡装置から検査情報と内視鏡画像等の第２のデータを受信し、前記第１のデータと相互に関連付けて保存する第２のデータ保存手段と、
前記第１と第２のデータ保存手段で保存したデータを同期した状態、あるいは単独でモニタに表示させる再生手段と、
を有することを特徴とする画像処理装置。
【０１７４】
（付記８）
前記第１のデータは内視鏡形伏に関するデータであることを特徴とする付記７記載の画像処理装置。
【０１７５】
（付記９）
前記第２のデータは内視鏡検査に関連する検査データおよび／または、画像データであることを特徴とする付記項７または８のいずれかに記載の画像処理装置。
【０１７６】
（付記１０）
第１のデータおよび第２のデータ受信時に第１のデータおよび／または第２のデータを表示するデータ表示手段を有する付記７乃至９のいずれかに記載の画像処理装置。
【０１７７】
（付記１１）
前記再生手段は、前記第１のデータおよび、前記第２のデータの記録開始時間、第１のデータおよび、第２のデータの単位時間あたりのデータ数により作成した第１のデータと第２のデータの対応表を用いることにより同期再生を実現すること特徴とする付記７乃至１０のいずれかに記載の画像処理装置。
【０１７８】
（付記１２）
前記再生手段は、前記形状観測装置で設定された表示属性と同じ条件でデータを表示することを特徴とする付記７乃至１１のいずれかに記載の画像処理装置。
【０１７９】
（付記１３）
前記再生手段は、第２のデータの表示属性を変更する表示属性変更機能を持つことを特徴とする付記１２に記載の画像処理装置。
【０１８０】
（付記１４）
前記再生手段は、前記第１のデータと第２のデータが同期した状態で、入力手段の操作に応じて表示するデータを変更できることを特徴とする付記７乃至１３のいずれかに記載の画像処理装置。
【０１８１】
（付記１５）
前記入力手段により選択されたデータに関連情報を付加する情報付加手段と
前記情報付加機能により付加された情報を第1、第２のデータの再生時に、表示する機能を持つことを特徴とする付記１４に記載の画像処理装置。
【０１８２】
（付記１６）
前記第１のデータ、第２のデータをデータの特徴により検索を実行する検索手段と、
前記検索機能により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
前記再生手段は、前記検索結果情報付加機能により付加された情報を第1、第２のデータの再生時に、表示する機能を持つことを特徴とする付記７乃至１５のいずれかに記載の画像処理装置。
【０１８３】
（付記１７）
前記入力手段は、操作可能な範囲で前記第１および、第２のデータの全体を示し、前記検索結果により抽出されたデータのデータ全体に対する相対位置に、図形を表示する機能を有する付記１６に記載の画像処理装置。
【０１８４】
（付記１８）
前記第１および／または第２のデータ保存機能により受信したデータを解析する解析手段と、
前記解析機能による解析結果をもとに処理を決定し、実行する処理手段と、
を有することを特徴とする付記７乃至１７のいずれかに記載の画像処理装置。
【０１８５】
（付記１９）
前記処理手段が、前記解析機能で解析結果を表示する機能を有することを特徴とする付記１８に記載の画像処理装置。
【０１８６】
（付記２０）
前記解析結果に関連する関連情報を保存する関連情報保存手段と、
前記処理手段は、解析結果をもとに前記関連情報保存機能から関連情報を検索し解析結果と共に、関連情報を表示する機能を有することを特徴とする付記１９に記載の画像処理装置。
【０１８７】
（付記２１）
内視鏡装置および、その周辺機器と接続可能な画像処理装置において、
内規鏡形状を検出し形状を表示する形状観測装置から第１のデータを受信する第１のデータ受信手段と、
内視鏡装置から設定に従い第２のデータを受信する第２のデータ受信手段と、
前記第１および／または、第２のデータ受信機能で受信したデータを解析する受信データ解析手段と、
前記受信データ解析手段による解析結果にもとに処理を決定し、実行する受信時処理手段と、
を有することを特徴とする画像処理装置。
【０１８８】
（付記２２）
前記第１のデータ受信手段で受信するデータが内視鏡形状に関するデータであることを特徴とする付記２１に記載の画像処理装置。
【０１８９】
（付記２３）
前記第２のデータ受信手段で受信するデータが、内視鏡検査に関する検査データおよび／または画像データであることを特徴とする付記項２１または２２のいずれかに記載の画像処理装置。
【０１９０】
（付記２４）
第１のデータおよび／または第２のデータを表示する受信時データ表示機能を有することを特徴とする付記２１乃至２３のいずれかに記載の画像処理装置。
【０１９１】
（付記２５）
前記受信時処理手段が、前記受信データ解析機能による解析結果を表示する機能を有することを特徴とする付記２１乃至２４のいずれかに記載の画像処理装置。
【０１９２】
（付記２６）
前記受信データ解析手段による解析結果に関連する関連情報を保存する受信時関連情報保存手段と、
前記受信時処理手段は、前記受信時関連情報保存手段から必要な関連情報を検索して解析結果と共に、関連情報を表示する機能を有することを特徴とする付記２５に記載の画像処理装置。
【０１９３】
【発明の効果】
本発明の画像処理装置は、記録保存されている内視鏡画像と内視鏡挿入形状データを基に内視鏡画像と内視鏡挿入形状画像を同期再生させて、内視鏡画像と、その内視鏡画像に内視鏡挿入形状画像を自由に対比させることができる。
【０１９４】
また、内視鏡検査後に内視鏡挿入形状の表示属性を変えながら同期再生させることで、実際の内視鏡検査を再現しながら内視鏡挿入操作の教育が可能で、且つ、内視鏡検査時の内視鏡挿入の困難性の原因や患者の不快感原因等を検討できると共に、内視鏡装置の訓練として用いることもできる。
【図面の簡単な説明】
【図１】本発明に係る電子内視鏡システムの構成を示すブロック図。
【図２】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状データを記録保存する処理動作を説明するフローチャート。
【図３】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生処理動作を説明するフローチャート。
【図４】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生の再生タイマー処理動作を説明するフローチャート。
【図５】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状データの記録保存時の表示画面を示し、（ａ）は検査ウィンドウ、（ｂ）は内視鏡画像ウインドウ。
【図６】本発明に係る電子内視鏡システムの画像処理装置における第１の実施形態である内視鏡画像と内視鏡挿入形状画像との同期再生処理動作の表示画面を示し、（ａ）は再生制御ウィンドウ、（ｂ）は挿入部形状画像ウィンドウ、（ｃ）は内視鏡画像ウインドウ。
【図７】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像と内視鏡挿入形状画像に付加情報の入力処理動作を説明するフローチャート。
【図８】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像、内視鏡挿入形状画像、及び付加情報を同期再生の再生タイマー処理動作を説明するフローチャート。
【図９】本発明に係る電子内視鏡システムの画像処理装置における第２の実施形態である内視鏡画像、内視鏡挿入形状画像、付加情報同期再生処理動作の表示画面を示し、（ａ）は再生制御ウィンドウ、（ｂ）は挿入部形状画像ウインドウ、（ｃ）は内視鏡画像ウインドウ。
【図１０】本発明に係る電子内視鏡システムの画像処理装置における第３の実施形態である内視鏡画像や内視鏡挿入形状画像の特徴項目検索と、その特徴項目に対する関連情報の表示処理動作を説明するフローチャート。
【図１１】本発明に係る電子内視鏡システムの画像処理装置における第３の実施形態である内視鏡画像や内視鏡挿入形状画像の特徴項目検索処理動作の表示画面を示し、（ａ）は検査ウィンドウ、（ｂ）は内視鏡画像ウインドウ。
【図１２】本発明に係る電子内視鏡システムの画像処理装置における内視鏡画像と内視鏡挿入形状画像とのフレーム対応表を説明する説明図。
【符号の説明】
１…電子内視鏡システム
２…内視鏡装置
３…内視鏡挿入形状観測装置
４…画像処理装置
１０…ビデオプロセッサ
１１…光源装置
１２…電子内視鏡
１３…形状処理装置
１４…観察モニタ
１５…パーソナルコンピュータ（ＰＣ）
１６…マウス
１７…キーボード
１８…ディスプレイ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an endoscope capable of recording and reproducing the endoscope image data imaged and generated by the electronic endoscope and the shape data indicating the insertion shape of the electronic endoscope insertion portion in association with each other The present invention relates to a mirror image processing apparatus.
[0002]
[Prior art]
In general, an electronic endoscope has an elongated and flexible insertion portion provided with an electronic imaging device at the tip, and the insertion portion is inserted from the outside into a subject portion which is a lumen in a body cavity. A subject part is observed from an image reproduced on a monitor screen based on an image signal generated and generated by an electronic image pickup device at the tip, or a living tissue is treated with a treatment forceps inserted from a forceps channel provided in an insertion part. It is designed to collect and treat.
[0003]
By the way, the lumen in the body cavity is bent like, for example, the large intestine and the small intestine, and when inserting and observing the endoscope in such a bent lumen, the endoscope insertion portion is When it is determined to what position the endoscope has been inserted or the shape of the endoscope insertion portion, the operability of the observation procedure using the endoscope is improved.
[0004]
Therefore, there has been proposed an endoscope shape detection device that can be used in any lumen without harming the position of the insertion portion of the endoscope inserted into the lumen, the insertion shape, or the like on the human body as the subject. .
[0005]
For example, a probe incorporating a probe source coil is inserted into a channel of an insertion portion of an endoscope, a magnetic field generation drive signal is supplied to the probe source coil, and a subject is placed on the magnetic field generated from the probe source coil. The position of the probe source coil is calculated based on detection signals from the sense coils. Generates shape image information of the insertion portion from the calculated position, displays the shape image of the insertion portion on the monitor based on the shape image information, and generates shape images of two viewpoint directions orthogonal to each other. Thus, there is an endoscope shape detection device that can simultaneously display two screens on a monitor (see, for example, Patent Document 1).
[0006]
Further, a source coil composed of a plurality of first coils, a sense coil composed of a plurality of second coils for detecting magnetic fields from the plurality of first coils of the source coil, and any of the source coil or the sense coil One of these is disposed in the insertion portion of the endoscope that is inserted into the body cavity, and has an internal shape estimation unit that estimates the shape of the endoscope insertion portion based on the magnetic field of the source coil detected by the sense coil. In an endoscope shape detection device, there is an endoscope shape detection device that detects a specific shape from an insertion portion shape estimated by the shape estimation means, and generates a warning when the specific shape is detected (for example, patent document) 2).
[0007]
[Patent Document 1]
JP-A-8-107875 (columns 0017 to 0178, FIGS. 1 to 13).
[0008]
[Patent Document 2]
JP 2000-175861 (columns 0011 to 0049, FIGS. 1 to 10).
[0009]
[Problems to be solved by the invention]
Conventionally, an operator's consciousness during observation of a subject with an endoscope is mainly concentrated on an endoscope image obtained by imaging an observation site of a lumen, and is generated and displayed by a shape detection device of an endoscope insertion portion. It is often not concentrated on the insertion portion shape image, and the insertion portion shape image will be noticed only when the insertion progress of the endoscope insertion portion is obstructed. Cause discomfort.
[0010]
In order to speed up the progress of such endoscopic observation and eliminate the unpleasant feeling given to the subject, the endoscope-shaped device disclosed in Patent Document 1 provides an internal view of the observation site on the monitor screen. Since the mirror image and the insertion portion shape image are displayed at the same time, the operator's consciousness is paid to both images, so that the progress of endoscopic observation can be promoted and the discomfort to the subject can be eliminated.
[0011]
In addition, the endoscope shape detecting device disclosed in Patent Document 2 gives discomfort to the subject when a loop is drawn in the process of inserting the endoscope insertion portion into the lumen. When the part becomes a shape that draws a loop in the lumen, by detecting the rope shape and generating a warning, the operator is alerted and the discomfort to the subject is prevented in advance. is there.
[0012]
These endoscope shape detection devices do not suggest any recording of the endoscope image and the insertion portion shape image of the subject. Generally, in endoscopic observation, an endoscopic image is recorded and recorded and used for confirmation of an observation site at a later date and acquisition training for endoscopic operation.
[0013]
In general, video equipment is often used for recording and recording the endoscope image and the insertion portion shape image. Since the endoscope image and the insertion portion shape image are recorded in different video devices, respectively. When playing back and displaying, the endoscopic image and the insertion part shape image do not match the playback display, or the endoscopic image and the insertion part shape image are recorded simultaneously on a single video device. Equipment is required.
[0014]
An endoscope that records both the shape image of the insertion portion and the endoscope image detected by such an endoscope shape detection device, and records the endoscope image in association with the insertion portion shape image at the time of recording. An image filing system is proposed in Japanese Patent Application No. 2001-347909.
[0015]
However, the filing system for an endoscopic image proposed in Japanese Patent Application No. 2001-347909 is a state in which an endoscopic image and an insertion shape when a release button provided on the endoscope is operated are in a still image state. It is recorded. For this reason, it is not suitable for confirmation and operation training over the entire observation act from the start to the end of endoscopic observation.
[0016]
In addition, there is no suggestion of a function for adding information to an arbitrary frame of an endoscopic image or an insertion shape image as necessary, or for displaying information added during synchronous playback of both images. There is a demand for an endoscopic image processing apparatus that enables recording and storage of endoscopic images and insertion shape images from the start to the end of endoscopic examination, and allows input of additional information to the recorded and stored images.
[0017]
The present invention has been made in view of such a demand, and provides an endoscope image processing apparatus capable of storing both endoscope insertion shape data and endoscope image data and synchronously reproducing both images. It is an object.
[0018]
An endoscope that can add related information to endoscopic image data and insertion shape data, and can display related information at the time of synchronized reproduction of the stored insertion shape data and the endoscopic image. A second object is to provide an image processing apparatus.
[0019]
[Means for Solving the Problems]
The present invention of The image processing device detects the shape of the endoscope insertion part in the endoscope device and the image processing device that can be connected to its peripheral devices. And receiving the first data from the shape observation device that outputs data for displaying the shape. First data storage means for storing; Said From the endoscopic device Includes endoscopic image data Receive second data do it A second data storage means for storing; Creating means for creating a correspondence table between detection time information for detecting the shape of the endoscope insertion portion and time information included in the endoscope image data; and the first data and the second data are While playing based on the correspondence table, And reproducing means for displaying on a monitor in a synchronized state or independently.
[0020]
This endoscopic image processing apparatus includes an endoscopic image and Insert shape data Are stored and synchronized playback is performed, so that the endoscope image and the endoscope insertion portion shape at that time can be freely compared.
[0021]
The endoscopic image processing apparatus of the present invention has a search means for searching the first data and the second data based on data characteristics, and a function of adding related information to the data searched by the search means. The search result information adding means and the reproducing means have the information added by the search result information adding function displayed on a monitor during reproduction of the first and second data.
[0022]
This endoscopic image processing apparatus includes an endoscopic image and Insert shape By inputting the information related to and performing synchronized reproduction, it is possible to freely compare the endoscopic image, the insertion shape of the internal endoscope at that time, and related information. In addition, the endoscope image and the inserted shape can be recorded at the time of synchronous reproduction after inspection.
[0023]
The endoscopic image processing apparatus according to the present invention is based on an analysis unit that analyzes the first and second data received and stored by the first and / or second data storage unit, and an analysis result by the analysis unit. And processing means for determining and executing the processing.
[0024]
This endoscopic image processing apparatus displays the recognition result when recognizing the insertion shape, and displays the related information of the recognition result, thereby accurately grasping the endoscope shape of the operator. , Can promote understanding of related information.
[0025]
The endoscope image processing apparatus of the present invention stores an endoscope image data of the subject received from an endoscope device that obtains an endoscope image by observing the subject with an endoscope. Data storage means; insertion shape data storage means for storing insertion shape data representing the insertion shape of the endoscope received from an insertion shape detection device for detecting the insertion shape of the endoscope inserted into the subject; The stored endoscope image data is read from the endoscope image data storage means, the stored insertion shape data is read from the insertion shape data storage means, and the read endoscope image data has Based on the acquisition time information at the time of acquiring the endoscope image data and the acquisition time information at the time of acquiring the insertion shape data included in the read insertion shape data, the internal information based on the read endoscope image data is obtained. Scope An image, and display control means for controlling so as to display in association with the insertion shape data corresponding to the endoscope image data, comprising the.
[0026]
This endoscopic image processing apparatus includes an endoscopic image and Insert shape data Are stored and synchronized reproduction is performed, so that the endoscope image and the endoscope insertion portion shape at that time can be freely compared.
[0027]
The endoscopic image processing apparatus of the present invention includes a related information input unit that inputs additional information related to the endoscopic image or the insertion shape that is displayed and controlled by the display control unit, and the related information And additional information storage means for storing additional information input by the input means in association with the endoscopic image or the insertion shape.
[0028]
This endoscopic image processing apparatus includes an endoscopic image and Insert shape By inputting the information related to and performing synchronized reproduction, it is possible to freely compare the endoscopic image, the insertion shape of the internal endoscope at that time, and related information. In addition, the endoscope image and the inserted shape can be recorded at the time of synchronous reproduction after inspection.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. A first embodiment of an endoscopic image processing apparatus according to the present invention will be described in detail with reference to FIGS.
[0030]
FIG. 1 is a block diagram showing an overall configuration of an electronic endoscope system according to the present invention, and FIG. 2 is an endoscopic image in a first embodiment of an endoscopic image processing apparatus of the electronic endoscope system according to the present invention. FIG. 3 is a flowchart for explaining the processing operation for recording and storing data such as the endoscope insertion shape, etc. FIG. 3 is a process for synchronously reproducing the endoscope image and the insertion shape in the first embodiment of the endoscope image processing apparatus according to the present invention. FIG. 4 is a flowchart for explaining the operation. FIG. 4 is a flowchart for explaining the reproduction display processing operation for reproducing and displaying the endoscope image and the insertion shape in the first embodiment of the endoscope image processing apparatus according to the present invention. Explanatory drawing explaining the window and display screen which are displayed on the display at the time of recording and saving the endoscopic image and the insertion shape data in the first embodiment of the endoscopic image processing apparatus according to the invention, FIG. In Is an explanatory view illustrating a display screen window displayed on the display when reproducing synchronizing an endoscopic image and the insertion shape in the first embodiment of the endoscopic image processing apparatus that.
[0031]
First, an electronic endoscope system 1 using an endoscope image processing apparatus according to the present invention will be described with reference to FIG.
[0032]
The electronic endoscope system 1 includes an endoscope device 2, an endoscope insertion shape observation device 3, and an image processing device 4.
[0033]
The endoscope apparatus 2 includes an electronic endoscope 12, a video processor 10, a light source device 11, and an observation monitor 14.
[0034]
Although not shown, the electronic endoscope 12 is provided with an electronic imaging device at the distal end of an elongated insertion portion that is inserted into a lumen in a body cavity, and the electronic imaging device is driven and controlled to control the observation site of the lumen. An imaging video signal is generated and output, and the observation site of the lumen is illuminated by a light guide provided in the insertion portion.
[0035]
Furthermore, a bending portion is provided at the distal end portion of the insertion portion of the electronic endoscope 12, and a bending operation can be performed from an operation portion provided at the proximal end of the insertion portion.
[0036]
Furthermore, the operation unit of the electronic endoscope 12 includes a cable for driving and controlling the electronic image pickup device between the release switch 12a and the video processor 10, and for transmitting and receiving a picked-up image signal, and a light source device. A light guide cable or the like for guiding illumination light from 11 to the light guide is provided. When the release switch 12a is operated, a still image recording described later is executed.
[0037]
Although not shown, the electronic endoscope 12 is provided with a detection function for detecting the insertion position and shape of the insertion portion in the lumen. As in the conventional case described above, this insertion portion shape detection function has a plurality of source coils provided in the insertion portion of the endoscope and a plurality of senses (not shown) provided in the endoscope insertion shape observation device 3. It consists of a coil.
[0038]
The video processor 10 drives and controls the electronic image pickup device of the electronic endoscope 12 and performs predetermined signal processing on a picked-up video signal generated by photoelectric conversion by the electronic image pickup device, thereby generating a Y signal including a color signal and a luminance signal. / C signal or RGB signal or the like is generated.
[0039]
A Y / C signal or RGB signal composed of a luminance signal and a color signal generated by the video processor 10 is directly output to the observation monitor 14 and the image processing device 15.
[0040]
Further, when the release switch 12a is operated, it is possible to instruct to output a still image of the captured image.
[0041]
Although not shown, the video processor 10 has a function of inputting examination information related to endoscopic examination.
[0042]
The light source device 11 includes a lamp that is an illumination light source, a lighting circuit for the lamp, and the like, supplies illumination light projected when the lamp is turned on to the light guide of the electronic endoscope 12, and a lumen from the distal end of the insertion portion. Is projected onto the observation site.
[0043]
The observation monitor 14 displays an endoscopic image based on the Y / C signal or RGB signal generated by the video processor 10.
[0044]
The endoscope insertion shape observation device 3 is a peripheral device of the endoscope device 2 and is provided in the electronic endoscope 12 detected by a sense coil (not shown) provided in the endoscope insertion shape observation device 3. Based on the magnetic field of the obtained source coil, the position coordinate data of each source coil is calculated, and the shape of the insertion portion is estimated and formed from the calculated position coordinate data to generate the insertion portion shape image signal. And a monitor 13b for displaying an insertion shape image based on the insertion portion shape image signal generated by the shape processing device 13.
[0045]
The endoscope insertion shape observation device 3 does not show shape display attributes such as a rotation angle and an enlargement / reduction rate of the insertion portion shape image generated and processed by the shape processing device 13 and displayed on the monitor 13b. It can be changed by inputting an instruction from the operation panel.
[0046]
The shape processing device 13 is provided with a communication port 13a, and can output three-dimensional coordinate information indicating an endoscope insertion shape and insertion shape data such as a shape display attribute to the image processing device 4.
[0047]
Note that it is also possible to output only the insertion shape data when the release switch 12a provided in the electronic endoscope 12 is operated.
[0048]
The image processing apparatus 4 reproduces and displays a personal computer (hereinafter simply referred to as a PC) 15, a mouse 16 and a keyboard 17 for inputting various instructions to the PC 15, and various information data and image information processed by the PC 15. The display 18 is made up of.
[0049]
Further, the PC 15 has a communication port 15a for fetching insertion shape data output from the communication port 13a of the shape processing device 13 of the endoscope insertion shape observation device 3, and a communication port 10a of the video processor 10 of the endoscope 2. A communication port 15b for capturing endoscopic examination information output from the video signal, and a moving image input board 15c for converting a moving image signal generated by the video processor 10 of the endoscope 2 into predetermined compressed image data. ing.
[0050]
In other words, the moving image input board 15c of the image processing apparatus 4 receives the moving image video signal generated by the video processor 10 and converts the moving image video signal into predetermined compressed video signal data, for example, It is converted into compressed image data in the MJPEG format and stored in a recording device (not shown) of the PC 15.
[0051]
In general, before the start of the endoscopic examination, examination information related to the endoscopic examination is input from the video processor 10, and characters and characters are input to the observation monitor 14 based on the inputted examination information data. The inspection information data can be transmitted and recorded in the image processing apparatus 4 from the communication port 10a through the communication port 15b.
[0052]
The examination information includes, for example, the patient's name, date of birth, sex, age, patient code, and examination date.
[0053]
That is, the image processing apparatus 4 is connected to the video processor 10 as necessary, and receives and stores various information data from the video processor 10.
[0054]
The operation of the image processing apparatus 4 in the electronic endoscope system 1 having such a configuration will be described. First, FIG. 2 and FIG. 5 show processing operations for acquiring and storing endoscope insertion shape data from the shape processing device 13 of the endoscope insertion shape observation device 3, examination information from the video processor 10, and an endoscope image. Will be described.
[0055]
This processing operation is realized by driving an endoscopic examination application provided in the image processing apparatus 4. When starting an endoscopic examination, the video processor 10 inputs examination information, and the image processing apparatus 4 activates an endoscopic examination application. When the endoscopic examination application is activated, the display 18 displays an examination window 100 shown in FIG. 5A and an endoscope image shown in FIG. 5B. window 105 is displayed.
[0056]
When the PC 15 of the image processing apparatus 4 drives the endoscope inspection application and the inspection window 100 is displayed on the display 18, the PC 15 in step S1, the inspection information and the endoscopic image from the video processor 10 are displayed. data The insertion shape data from the endoscope insertion shape observation device 13 Is set to the mode to receive and save.
[0057]
Next, in step S2, the PC 15 determines whether or not the operator has operated the mouse 16 or keyboard 17 to turn on the examination start button 101 (indicated as Start Exam. In the figure) displayed on the examination window 100. To do. The process waits until the inspection start button 101 is turned on. When the inspection start button 101 is turned on, steps S3 and after are executed.
[0058]
In step S3, the PC 15 opens the communication port 15a to start communication with the shape processing device 13 of the endoscope insertion shape observation device 3, and in step S4, opens the communication port 15b and starts communication with the video processor 10. To do.
[0059]
In step S5, the PC 15 transmits an inspection information acquisition command to the video processor 10 from the communication port 15b to the communication port 10a of the video processor 10, and the video processor 10 that has received the inspection information acquisition command receives the inspection information. Send to PC15.
[0060]
In step S5, the PC 15 records and saves the inspection information transmitted from the video processor 10 in a recording device (not shown) in step S6.
[0061]
Next, in step S7, the PC 15 transmits an insertion shape data acquisition command from the communication port 15a to the communication port 13a of the shape processing device 13, and the shape processing device 13 that has received the insertion shape data acquisition command inserts the insertion shape data acquisition command. Start transmission of shape data. This transmission is continued until the communication between the PC 15 and the shape processing apparatus 13 is completed and the communication port 15a is closed.
[0062]
In step S8, the PC 15 receives the insertion shape data transmitted and output from the shape processing apparatus 13 in step S7, and associates it with the inspection information recorded and saved in step S6. The hard disk (not shown) provided in the PC 15 The file is recorded and saved (hereinafter referred to as an insertion shape file).
[0063]
Next, in step S9, the PC 15 converts the moving image signal input from the video processor 10 to the moving image input board 15c into compressed image data in the MJPEG format, and associates it with the examination information recorded and stored in step S6. In addition, a file is recorded and stored in a hard disk (not shown) of the PC 15 (hereinafter referred to as an image file), and a moving image input to the moving image input board 15c is displayed in an endoscope image window 105 shown in FIG. Are displayed in the endoscopic image area 106 of FIG.
[0064]
Next, in step S10, the PC 15 determines whether the inspection end button (indicated as End Exam.) 102 in the inspection window 100 has been operated. If it is determined that the inspection end button 102 has not been operated, step S8 is performed. When it is determined that the inspection end button 102 has been operated, the communication ports 15a and 15b are closed in step S11, and the communication of information data between the shape processing apparatus 13 and the video processor 10 is ended.
[0065]
In this way, the image processing apparatus 4 is an endoscope in which examination information data input by the video processor 10 of the endoscope apparatus 2 and a video signal captured by the electronic endoscope 12 are converted into predetermined compressed image data. The mirror image data and the insertion shape data observed and generated by the endoscope insertion shape observation device 3 are acquired, and recorded and stored in association with the examination information in a predetermined recording device.
[0066]
Next, based on the examination information data, the endoscope image data, and the insertion shape data recorded and stored in the image processing apparatus 4, the synchronized reproduction processing operation of the endoscope image and the insertion shape image will be described with reference to FIGS. Will be described.
[0067]
In this processing operation, a description will be given of synchronized playback of an endoscopic image and an insertion shape, pause of playback, end of playback, a function of directly specifying a display frame, and change of display attributes.
[0068]
As the display attributes, the endoscope insertion shape is rotated around the X axis and the rotation around the Y axis, and the coordinate system of the insertion shape display is shown in the insertion shape display screen 130 shown in FIG. . These functions are executed by a viewer application (hereinafter abbreviated as “viewer”) operated by the image processing apparatus 4, and when this viewer is activated, the display 18 displays a reproduction control window 110 shown in FIG. An insertion shape display window 130 shown in FIG. 6B and an endoscope image window 135 shown in FIG.
[0069]
The frame rate of the endoscopic image and the insertion shape image is determined, and the recording time of the insertion shape image is recorded for each frame. If the playback start time is adjusted according to the creation time of the file and the insertion shape file, and a corresponding frame table is created, both can be played back synchronously.
[0070]
For example, the creation time of the image file is 10:00:00, the creation time of the insertion shape file is 10:00:01, the frame rate of the endoscopic image is 30 frames per second, and the frame rate of the insertion shape is 15 frames per second As shown in FIG. 12, a relationship table between the endoscope image frame number of the image file and the frame number of the insertion shape file can be formed as shown in FIG. 12, and synchronized playback is possible by displaying the corresponding frame from this relationship table It becomes.
[0071]
In the case of reproducing only an endoscopic image or an endoscope insertion shape alone, the relationship shown in FIG. 12 is not used, and the processing interval of a later-described reproduction timer may be determined from the frame rate and reproduced and displayed. .
[0072]
First, in order to perform the synchronous reproduction processing operation of the endoscopic image and the insertion shape image, the operator activates the viewer of the PC 15 and displays the reproduction control window 110 shown in FIG. An insertion shape display window 130 shown in FIG. 6B and an endoscope image window 135 shown in FIG. 6C are displayed.
[0073]
When the reproduction control window 110 is displayed, the CPU 15 designates an image file in which the surgeon performs synchronous reproduction of the endoscopic image and the insertion shape image in step S21. The designation of the image file to be synchronized is performed by, for example, operating a playback button (indicated as “Play” in the figure) 111 of the playback control window 110 using the mouse 16 or the keyboard 17 to display a file selection window on the display 18. Then, when an image file is designated from the file selection window, the insertion shape file associated with the inspection information of the image file becomes a partner for synchronous reproduction. Let Nf be the number of frames included in the image file.
[0074]
As described above, when the operator selects the image file and the insertion shape file related to the image file from the file selection window displayed on the display 18, the PC 15 moves the slider of the reproduction control window 110 in step S22. The range of the control 114 is initialized to the minimum value 0 and the maximum value to Nf-1.
[0075]
Next, in step S23, the PC 15 initializes various variables. At the initial stage of these various variables, the status indicating the current operation state is set to reproduction St = Playback, display frame number Frm = 0, rotation angle about the X axis θx = 0, and rotation angle about the Y axis θy = 0.
[0076]
Note that the playback frame number Frm indicates the frame number of the endoscopic image, and when displaying the insertion shape, the insertion shape frame corresponding to the frame number Frm of the endoscopic image is shown in the relationship table shown in FIG. Search from.
[0077]
When the initialization of various variables in step S23 is completed, the PC 15 sets a playback timer in step S24. This timer is a software timer used for software multiplexing processing or the like.
[0078]
This playback timer executes display processing of an endoscopic image and an insertion shape, which will be described later, at regular time intervals. The interval processed by the timer is the frame rate of the endoscopic image. The If f (fps), then 1 / f (sec).
[0079]
When the timer setting process of step S24 is completed, the PC 15 determines in step S25 whether or not the playback end button (indicated as “Stop” in the figure) 113 of the playback control window 110 has been operated, and determines that the playback end button 113 has been operated. Then, in step S36, the driving of the playback timer is ended, the processing operation of the synchronous playback display of the endoscopic image and the inserted shape image is ended, and if it is determined that the playback end button 113 is not operated, the step In S26, it is determined whether or not the knob 114a of the slider control 114 of the reproduction control window 110 has been moved.
[0080]
The slider control 114 in step S26 directly designates an endoscope image frame to be reproduced by the operator, and can display an insertion shape image associated with the designated endoscope image.
[0081]
Note that when the knob 114a of the slider controller 114 is moved to specify the frame of the endoscopic image to be played back, the synchronized playback is paused, and when the knob 114a is moved, step S27 and subsequent steps are executed. If the knob 114a is not moved, step S30 and subsequent steps are executed.
[0082]
If it is determined in step S26 that the knob 114a of the slider controller 114 has moved and the frame of the endoscopic image to be reproduced and displayed has been designated, the PC 15 determines in step S27 the endoscopic image and insertion shape image by the reproduction timer. The status is set to pause (St = Pause) in order to pause the update.
[0083]
Next, in step S28, the PC 15 obtains the frame position moved and set by the knob 114a of the slider control 114, sets the position data to the display frame number Frm of the endoscope image file, and in step S29, the step S28. The endoscope image frame corresponding to the display frame number Frm of the endoscope image file is displayed on the image display screen 135 of FIG. 6C, and the insertion shape data and display attributes corresponding to Frm are displayed from the insertion shape file. The insertion shape image acquired and reconstructed by rotation of the insertion shape by the rotation angle θx around the X axis and the rotation axis θy around the Y axis is displayed on the insertion shape display screen 130 in FIG. The process returns to step S25.
[0084]
The endoscope image window 135 and the insertion shape window 130 are appropriately superimposed on the display 18 or the endoscope image and the insertion shape are reduced at an appropriate scale according to the setting given in advance. You may display so that it may not overlap. The size of both windows can be changed by the user.
[0085]
If it is determined in step S26 that the knob 114a of the slider controller 114 has not been moved, the PC 18 determines in step S30 whether or not the playback button 111 (shown as Play in the figure) of the playback control window 110 has been operated. If it is determined that the playback button 111 has not been operated, step S32 and subsequent steps are executed. If it is determined that the playback button 111 has been operated, the PC 15 sets the status to playback (St = Playback) in step S31. Then, the updating of the endoscope image and the insertion shape image by the reproduction timer is restarted, and the process returns to step S25.
[0086]
If it is determined in step S30 that the playback button 111 has not been operated, the PC 15 determines in step S32 whether or not the pause button 112 (represented as Pause in the figure) 112 of the playback control window 110 has been operated. If it is determined that 112 is not operated, step S34 and subsequent steps are executed. If it is determined that the pause button 112 is operated, the PC 15 sets the status to pause (St = Pause) in step S33. Then, the updating of the endoscope image and the insertion shape image by the reproduction timer is temporarily stopped, and the process returns to step S25.
[0087]
If it is determined in step S32 that the pause button 112 has not been operated, the PC 15 determines in step S34 whether the insertion shape rotation button 115 (indicated by the up and down and left and right arrow keys in the figure) has been operated, If it is determined that it has not been operated, the process returns to step S25. If it is determined that the insertion shape rotation button 115 has been operated, the rotation angle increase / decrease process of the insertion shape image operated by the insertion shape rotation button 115 in step S35. And return to step S25.
[0088]
For example, when the right arrow (→) of the insertion shape rotation button 115 is operated, the rotation angle θy around the Y axis is increased by Cy and the left arrow (←) is used. Is operated, the rotation angle θy around the Y axis is decreased by Cy, and when the upward arrow (↑) is operated, the rotation angle θx around the X axis is decreased by Cx and the downward arrow (↓) is operated. Then, the rotation angle θx around the X axis is increased by Cx.
[0089]
Note that Cx and Cy are constants for increasing and decreasing the rotation angle of the puppet to be given in advance, and the unit is radians representing the angle. By changing the sizes of Cx and Cy, the degree of rotation of the insertion shape can be changed each time the insertion shape rotation button 115 is operated.
[0090]
Next, the reproduction timer in step S24 will be described with reference to FIG. This playback timer has a function of displaying an endoscopic image, an insertion shape, and a function of updating the position of the knob 114a of the slider control 114. The position updating function of the knob 114a allows the operator to easily recognize which frame is currently displayed among all the frames of the endoscopic image.
[0091]
Note that the multiplexing process in the software realized by the software timer may be performed by a multi-thread method.
[0092]
When the playback timer process is called every 1 / f (sec), the PC 15 determines whether or not the status is playback (St = Playback) in step S41, and if it is determined that playback is not performed, the PC 15 ends the playback timer process. . If it is determined to be playback, the process proceeds to step S42.
[0093]
In step S <b> 42, the PC 15 decodes the endoscopic image data of the frame designated for display from the endoscopic image file and displays it in the endoscopic image display area 136 of the endoscopic image display screen 135.
[0094]
Next, in step S43, the PC 15 reads insertion shape data and display attributes corresponding to the frame of the endoscope image displayed in the endoscope image display area 136 in step S42 from the insertion shape file, and displays the display attributes. , And a rotation angle θx around the X axis and a rotation angle θy around the Y axis to reconstruct an insertion shape image and display it in the insertion shape image display area 131 of the insertion shape display window 130. Note that the rotation of the X axis and the Y axis of the insertion shape is performed by known coordinate transformation on the three-dimensional coordinates of the insertion shape.
[0095]
Next, in step S44, the PC 15 adds 1 to the display frame number Frm (Frm + 1), and in step S45. Frm = Nf-1 Judge whether or not. That is, it is determined whether or not playback and display have been performed up to the last frame.
[0096]
If it is determined in step S45 that the reproduction display has been completed up to the final frame, the PC 15 ends the timer drive in step S46.
[0097]
If it is determined in step S45 that playback and display up to the final frame have not been performed, the PC 15 in step S47 changes the position of the knob 114a of the slider control 114 and the frame obtained by adding 1 to the display frame number Frm in step S44. The knob 114a of the slider controller 114 is moved to the position, and the playback timer process is terminated.
[0098]
Thereby, an endoscopic image recorded and stored in the image processing device 4 and Insert shape data Can be used for synchronous playback display on the display 18.
[0099]
It is obvious that the function of the image processing device 4 may be built in the video processor 10 or the endoscope insertion shape observation device 3.
[0100]
Further, the storage format of the internal mirror image is not limited to a moving image, and the same effect can be obtained even in continuous storage of still images if the recording time is clear.
[0101]
In this way, endoscopic images and Insert shape data Are recorded and stored, and synchronized playback is performed so that the endoscope image can be freely compared with the shape of the endoscope insertion portion at that time, and can be effectively used for education of endoscope insertion operation.
[0102]
In addition, by performing synchronized playback while changing the display attribute of the shape of the endoscope insertion part after endoscopy, it is effective when searching for causes of endoscope insertion difficulty, patient discomfort, etc. Function.
[0103]
Next, a second embodiment of the image processing apparatus according to the present invention will be described with reference to FIGS. This second embodiment includes endoscopy information, endoscopic images recorded and stored during endoscopy, and Insert shape data And the like, it has a function of searching for a desired endoscopic image and endoscope insertion shape image and adding information to the searched endoscope image and endoscope insertion shape image.
[0104]
In order to execute the search and information addition function of the second embodiment, a viewer having a search and information addition function is activated on the PC 15. The viewer displays on the display 18 a reproduction control window 210 for searching and adding information shown in FIG. 9A, an insertion shape window 230 shown in FIG. 9B, and an endoscope image window shown in FIG. 9C. 235 is displayed.
[0105]
This search and information addition function will be described using, for example, a search example of the loop shape of the endoscope insertion portion. Note that α loop, N loop, and γ loop are used as recognizable loops in advance, and the shape of the insertion portion can be considered as a curve, so a curve feature extraction technique is used. Here, in order to simplify the explanation, the shape of the insertion portion is considered as a two-dimensional curve, and for example, a P-type Fourier descriptor is used. This P-type Fourier descriptor is the same as that of the IEICE Transactions Vol. j67-A No. 3.
[0106]
In this method, first, a curve is divided into n segments (n is a positive number), the end points of the segments are displayed in a complex manner, and the total curvature function at each point is defined. The power spectrum obtained by Fourier transform is the characteristic of the curve. The characteristics of each loop by the P-type Fourier descriptor are stored in advance, and the power spectrum of each loop is Cri (k), (k = 0,..., N−1), i = 0 is an α loop, i = 2 is an N loop, and i = 3 is a γ loop.
[0107]
The processing operation of this search and information addition function will be described with reference to FIG. In step S51, the PC 15 determines whether or not examination information to be reproduced or displayed is selected in the reproduction control window 210 displayed on the display 18.
[0108]
The inspection information to be reproduced or searched is displayed in the inspection information display area 219 of the reproduction control window 210 and is selected from the list of inspection information with the mouse 16 or the keyboard 17.
[0109]
If it is determined in this step S51 that the reproduction display or search target examination information has been selected from the endoscopic examination information list, the PC 15 is displayed in the examination information display area 219 of the reproduction control window 210 in step S52. The inspection information selected in the inspection information list is displayed in reverse video.
[0110]
If no selection is made from the endoscopic examination information list in step S51, it is assumed that the examination information listed at the beginning of the examination information list is selected. Let Nf be the number of frames included in the image file associated with the selected examination information.
[0111]
Next, in step S53, the PC 15 determines whether or not the search button (represented as “Retriev” in the figure) 216 of the playback control window 210 has been operated. If it is determined that the search button 216 has not been operated, step S60 and subsequent steps are executed. If it is determined that the search button 216 has been operated, the status is set to search in step S54 (St = Retrieve), the display frame number Frm = 0, the rotation angle θx = 0 around the X axis, and the rotation around the Y axis The rotation angle θy = 0 is set. Note that the rotation processing around the axis is the same as that in the first embodiment.
[0112]
Next, in step S55, the PC 15 displays a search information window (not shown) on the display 18 and inputs search information such as a loop shape to be searched using the search information window. Here, it is assumed that information for searching for an α loop is input.
[0113]
When α loop information, which is a loop shape to be searched in step S55, is input, feature data is calculated for each frame from the inserted shape data in step S56. This calculated power spectrum is assumed to be Cj (k), (k = 0,..., N−1), (j = 0,..., Nf−1).
[0114]
Next, in step S57, the PC 15 obtains the distance between the power spectrum Cri (k) of the typical loop stored in advance and the power spectrum Cj (k) calculated in step S56. For example, when the distance between the α loop and the power spectrum is smaller than the dark value, Cj (k) is determined to be the α loop. For the distance between the two power spectra, for example, the Euclidean distance is used, and similarity determination is performed for all frames.
[0115]
In step S58, the PC 15 initializes the range of the slider control 214 to the minimum value 0 and the maximum value to Nf−1. In step S59, the PC 15 controls the figure 218 indicating the frame position determined to be similar in steps S56 and S57. Displayed in the vicinity of 214. A frame position figure 218 is displayed on the upper side of the slider controller 214 in the reproduction control window 210 of FIG. 9A. The frame position figure 218 may be color-coded according to the type of loop.
[0116]
Next, in step S60, the PC 15 determines whether or not the knob 214a of the slider controller 214 has been moved. If it is determined that the knob 214a has not been moved, step S63 and subsequent steps are executed. The position of the knob 214a moved in S61 is detected and the reproduction frame number Frm is set to the knob position. In step S62, the endoscope still image and the endoscope insertion shape image of the set frame are displayed. The display method is the same as in step S29.
[0117]
The display of the endoscope still image and the endoscope insertion image in step S62 is the same as in the first embodiment. That is, the endoscope image window 235 and the insertion shape window 230 are appropriately superimposed on the display 18 or both the windows are obtained by reducing the endoscope image and the insertion shape at an appropriate scale according to a preset setting. Display so that they do not overlap.
[0118]
Next, in step S63, the PC 15 determines whether the information input button (indicated as “Information” in the figure) 217 of the reproduction control window 210 has been operated. If it is determined that it has not been operated, step S65 and subsequent steps are executed. If it is determined that the information input button 217 has been operated, in step S64, an information input window (not shown) for information to be added to the endoscope still image and the endoscope insertion shape image displayed on the display 18 is used. Enter. The input additional information is recorded and stored in association with the endoscopic examination information and the reproduction frame number (Frm).
[0119]
This additional information can be stored as separate information for the endoscope image and the endoscope insertion shape image.
[0120]
Next, in step S65, the PC 15 determines whether or not the playback button (Play) 211 has been operated. If it is determined that the playback button (Play) 211 has been operated, the PC 15 proceeds to the synchronous playback processing operation after step S22 (see FIG. 3). The synchronized playback processing in steps S22 to S36 in the second embodiment is performed by replacing the playback end button, playback button, pause button, rotation button, and slider control from those in FIG. 6 to those in FIG. . After executing step S36, the process returns to step S51.
[0121]
If it is determined that the playback button 211 is not operated, it is determined in step S66 whether the end button (Close) 220 is operated. If it is determined that the play button 211 is not operated, the process returns to step S51, and the end button 220 is operated. If it is determined that it has been done, the viewer for performing this search and information addition is terminated in step S67.
[0122]
As described above, after the endoscopic examination, it is possible to additionally input additional information to the endoscope image and the endoscope insertion portion shape image searched based on the search condition.
[0123]
The synchronous reproduction operation of the endoscope image and the endoscope insertion shape image in which additional information is additionally input by the search and information addition function as described above is basically the same as the processing in steps S22 to S36 in FIG. However, since the processing operation of the playback timer in step S24 is different, the playback timer processing operation of the search and information addition function will be described with reference to FIG.
[0124]
The search and playback timer processing of the information addition function realizes an endoscope image frame and endoscope insertion shape display function, an additional information display function, and a slider control knob position update function.
[0125]
In step S71, the PC 15 determines whether the status is playback (St = Playback). If it is determined that the status is not playback (Playback), the PC 15 ends the playback timer process. If it is determined that the reproduction is to be performed, the endoscope image of the frame specified from the endoscope image file is decoded in step S72, and the endoscope image of the decoded frame is displayed on the display 18 as shown in FIG. To the endoscope image area 236 of the endoscope image window 235 shown in FIG.
[0126]
Next, in step S73, the PC 15 acquires endoscope insertion shape data and display attributes corresponding to the frame of the endoscope image decoded in step S72, and obtains the display attributes and the rotation angle around the X axis. The shape image reconstructed by the rotation by θx and the rotation angle θy around the Y axis is displayed on the display 18 in the insertion portion shape display area 231 of the insertion shape display window 230 shown in FIG.
[0127]
Further, in step S74, the PC 15 inserts the endoscope insertion shape data corresponding to the frame of the endoscope image decoded in the same manner as in step S73 by the same method as in steps S56 and S57 (see FIG. 7). The shape is recognized, and the result is displayed in the recognition result display area 232 of the insertion shape display screen 230. Recognizable shapes are, for example, an α loop, an N loop, a γ loop, and the like.
[0128]
Next, in step S75, the PC 15 searches for additional information corresponding to the frame of the decoded endoscopic image and displays it in the information display area 233 of the insertion shape display window 230.
[0129]
In this way, when the endoscope image of the frame designated on the display 18 and the endoscope insertion shape image, the insertion shape recognition result, and the additional information corresponding to the frame are displayed, the PC 15 in step S76, 1 is added to the playback frame number Frm indicating the frame displayed on the display 18 (Frm + 1). In step S77, it is determined whether playback display has been performed up to the final frame. If it is determined that playback display has been performed up to the final frame, step S78 is performed. To end the timer drive.
[0130]
If it is determined in step S77 that the playback and display have not been performed until the last frame, in step S79, the position of the knob 214a of the slider control 214 is moved to a position corresponding to the frame, and the processing of this playback timer is ended. .
[0131]
As described above, in the second embodiment, a desired image can be searched, reproduced, and displayed using search items input from an endoscope image captured and generated in the course of endoscopy and an endoscope insertion shape image. In addition, additional information can be additionally input to the image that has been retrieved and displayed.
[0132]
In the second embodiment, the example has been described in which the search is performed based on the endoscope insertion shape, and additional information is input to the searched endoscope insertion shape. Obviously, it is possible to input additional information to the spectroscopic information, to search an endoscopic image by endoscopic image search, and to input additional information to the searched endoscopic image.
[0133]
It is obvious that the functions of the image processing device 4 of the second embodiment may be incorporated in the video processor 10 or the endoscope insertion shape observation device 3.
[0134]
In addition, the storage format of the endoscopic image is not limited to a moving image, and the same effect can be obtained by continuous storage of still images if the recording time is clear.
[0135]
In this way, additional information related to the endoscopic image and the insertion shape image is input and recorded and stored, and synchronized playback allows the endoscopic image and the shape and related information of the endoscope insertion portion at that time to be freely set. It can be effectively used for education of endoscope insertion operation. In particular, it can be used as a self-study application for endoscope insertion by inputting related information.
[0136]
In addition, by performing synchronized playback while changing the display attribute of the shape of the endoscope insertion part after endoscopy, it is effective when examining the cause of endoscope insertion difficulty and patient discomfort Therefore, it is possible to add related information at the time of the examination, and also to record and save the examination results.
[0137]
Next, a third embodiment of the image processing apparatus according to the present invention will be described with reference to FIGS.
[0138]
In the image processing apparatus according to the third embodiment, for example, when performing endoscopy with a large intestine endoscope, the insertion unit forms a loop in the process of inserting the endoscope insertion unit into the large intestine. There is. This loop is called an α loop, an N loop, a γ loop, or the like depending on its shape.
[0139]
If such a loop is formed, it may cause discomfort to the patient as the subject, so the loop of the endoscope insertion part is released and straightened to eliminate the discomfort to the patient. Yes. The operation for straightening the endoscope insertion portion depends on the state of the loop. For this reason, the state of the loop of the insertion portion is recognized and displayed, and the operation method of the endoscope insertion portion is displayed, thereby shortening the time for endoscopy and reducing patient discomfort.
[0140]
This third embodiment has an insertion shape recognition function and a recognition result and related information display function in addition to the first embodiment described above. These functions are realized as an inspection application that operates on the image processing apparatus 4.
[0141]
When starting an endoscopic examination, the video processor 10 inputs examination information, and the image processing apparatus 4 activates an examination application.
[0142]
When this inspection application is activated, an inspection window 300 shown in FIG. 11A and an endoscope image window 305 shown in FIG. 11B are displayed on the display 18.
[0143]
In this inspection application, the type of loop of the endoscope insertion unit is recognized, the recognition result is displayed, and the operation method of the endoscope insertion unit, which is related information, is retrieved from the recognition result and displayed. This will be described using an example.
[0144]
In the following description, α, N, and γ are considered as loops to be recognized, and the characteristics based on the P-type Fourier descriptor are stored in advance as in the second embodiment, and the power spectrum of each loop is stored. Cri (k), (k = 0,..., N−1), i = 0 is α, i = 2 is N, and i = 3 is γ.
[0145]
In addition, the operation method of the endoscope insertion unit corresponding to each loop state is registered in advance in a database, and the operation method of the endoscope insertion unit can be searched using the recognition result as a search key. .
[0146]
As described above, when the inspection application is started, the PC 15 in step S91, the inspection window 300 shown in FIG. 11A displayed on the display 18 and the endoscope image window 305 shown in FIG. 11B. Is displayed from the video processor 10 and the shape processing device 13. Endoscopic images, examination information, and insertion shape data The reception and storage mode is set, and the process waits until the examination start button 301 (indicated as Start Exam. In the figure) 301 of the examination window 300 is operated with the mouse 16 or the keyboard 17 in step S92.
[0147]
When the inspection start button 301 is operated, the PC 15 opens the communication port 15a and starts communication with the shape processing device 13 of the endoscope insertion shape observation device 3 in step S93.
[0148]
Next, in step S94, the PC 15 opens the communication port 15b and starts communication with the video processor 10. In step S95, the PC 15 transmits an inspection information acquisition command from the communication port 15b to the communication port 10a of the video processor 10. The video processor 10 that has received the examination information acquisition command via the communication port 10a transmits the endoscopic examination information to the PC 15 through a path reverse to the transmission path of the aforementioned examination information acquisition command.
[0149]
The PC 15 receives the endoscopy information transmitted from the video processor 10 in step S95 in step S96, and records and saves it in a recording memory (not shown).
[0150]
Next, in step S97, the PC 15 switches from the communication port 15a to the communication port 13a of the shape processing apparatus 13. Insert shape data The shape processing apparatus 13 that transmits the acquisition command and receives the insertion shape data acquisition command via the communication port 13a, Insert shape data as described above Transmission to the PC 15 is started through a path reverse to the transmission path of the acquisition command.
[0151]
The PC 15 receives the endoscope insertion shape data transmitted from the shape processing apparatus 13 in step S97 in step S98, and associates it with the endoscope inspection information recorded and saved in step S96 on a hard disk (not shown). To save the file.
[0152]
Next, in step S99, the PC 15 extracts the feature of the insertion shape from the received insertion shape data. The feature extraction of the inserted shape uses the P-type Fourier descriptor (see the process in step S56 in FIG. 7 of the second embodiment). Let the power spectrum by the Fourier descriptor be C (k), (k = 0,..., N−1; n is a positive number and the number of divisions of the curve).
[0153]
When the feature of the insertion shape is extracted in step S99, the PC 15 calculates the distance between C (k) and Cri (k) in step S100. For this distance, for example, the Euclidean distance is used.
[0154]
The distance calculated in step S100 is compared with a preset threshold value in step S101.
[0155]
As a result of the comparison in step S101, if it is determined that the distance value calculated in step S100 is greater than the threshold value, step S106 and subsequent steps are executed. If it is determined that the distance value is smaller than the threshold value, step S102 and subsequent steps are executed.
[0156]
If it is determined in step S101 that the calculated distance value is smaller than the threshold value, the PC 15 causes the display 18 to display the loop recognition result of the endoscope insertion unit in step S102. This loop recognition result display is displayed on the recognition result display section 303 of the inspection window 300 (loop name, etc.).
[0157]
Next, in step S103, the PC 15 determines whether or not the loop shape of the insertion portion has changed, and if it is determined that it has changed, a warning sound is generated in step S104. The generation of this warning sound prompts the surgeon to view the endoscope insertion shape image displayed on the monitor 13b of the endoscope insertion shape observation device 3.
[0158]
If it is determined in step S103 that there is no change in the loop shape of the insertion portion, or if the warning sound in step S104 is generated, the PC 15 in step S105, based on the recognition result of the loop shape of the endoscope insertion portion, The related information is searched, and the searched related information is displayed on the related information display unit 304 of the examination window 300 displayed on the display 18.
[0159]
That is, the related information display unit 304 displays information related to the operation method of the endoscope insertion unit according to the loop state created in advance and recorded and stored in the database. With reference to this display, the operator can perform an endoscope operation.
[0160]
Next, in step S106, the PC 15 converts the moving image video signal input from the video processor 10 to the moving image input board 15c into compressed image data in the MJPEG format and associates it with the endoscopic examination information (not shown). Save the file to the hard disk. The input image from the video processor 10 is displayed in the image display area 306 of the endoscopic image 305 of the display 18.
[0161]
Next, in step S107, the PC 15 determines whether the inspection end button (indicated as End Exam.) 302 in the inspection window 300 has been operated. If it is determined that the operation has not been performed, the process returns to step S98 and the inspection ends. If it is determined that the button 302 has been operated, the PC 15 closes the communication ports 15a and 15b communicating with the video processor 10 and the shape processing apparatus 13 in step S108, and ends this inspection application.
[0162]
Although the third embodiment has been described mainly with respect to an endoscope insertion shape, the third embodiment can also be applied to endoscopy information and endoscope moving images.
[0163]
Moreover, although this 3rd Embodiment demonstrated as a function of the image processing apparatus 4, the video processor 10 and the endoscope insertion shape observation apparatus 3 can also have the same function.
[0164]
Furthermore, the storage format of the endoscopic image is not limited to a moving image, and if the recording time is clear, the same effect can be obtained even in continuous storage of still images.
[0165]
In this way, the operator recognizes the loop shape of the endoscope insertion portion, recognizes and displays the recognized loop state, and displays related information such as the endoscope operation method, so that the operator can By accurately grasping the insertion shape and promoting the understanding of related information, the time required for endoscopy and the reduction of patient discomfort can be reduced.
[0166]
[Appendix]
According to the embodiment of the present invention described in detail above, the following configuration can be obtained.
[0167]
(Appendix 1)
In an image processing apparatus connectable to an endoscope apparatus and its peripheral devices,
First data storage means for detecting the shape of the endoscope insertion section and receiving and storing the first data from the shape observation device for displaying the shape;
Second data storage means for receiving second data such as examination information and an endoscopic image from the endoscope apparatus, and storing the second data in association with the first data;
A reproduction means for displaying the data stored in the first and second data storage means in a synchronized state or independently on a monitor;
An image processing apparatus comprising:
[0168]
(Appendix 2)
Search means for executing a search for the first data and the second data according to data characteristics;
Search result information adding means having a function of adding related information to the data searched by the search means;
The image processing apparatus according to appendix 1, wherein the reproduction means displays information added by the search result information addition function on a monitor during reproduction of the first and second data.
[0169]
(Appendix 3)
Analyzing means for analyzing the first and second data received and stored by the first and / or second data storing means;
Processing means for determining and executing processing based on the analysis result by the analyzing means;
The image processing apparatus according to any one of appendix 1 or 2, characterized by comprising:
[0170]
(Appendix 4)
Endoscopic image data storage means for storing endoscopic image data of the subject received from an endoscopic device that obtains an endoscopic image by observing the subject with an endoscope;
Insertion shape data storage means for storing insertion shape data representing the insertion shape of the endoscope received from an insertion shape detection device for detecting the insertion shape of the endoscope inserted into the subject;
The stored endoscope image data is read out from the endoscope image data storage means, the stored insertion shape data is read out from the insertion shape data storage means, and the read endoscope image data has Based on the read endoscope image data based on the acquisition time information at the time of acquiring the endoscope image data and the acquisition time information at the time of acquiring the insertion shape data included in the read insertion shape data Display control means for controlling to display an endoscopic image and insertion shape data corresponding to the endoscopic image data in association with each other;
An endoscopic image processing apparatus comprising:
[0171]
(Appendix 5)
Related information input means for inputting additional information related to the endoscopic image or the insertion shape which is displayed and controlled by the display control means;
Additional information storage means for storing additional information input by the related information input means in association with the endoscopic image or the insertion shape;
The endoscope image processing device according to appendix 4, further comprising:
[0172]
(Appendix 6)
In an image processing apparatus connectable to an endoscope apparatus and its peripheral devices,
First data receiving means for receiving first data from a shape observation device for detecting an endoscope shape and displaying the shape;
Second data receiving means for receiving second data in accordance with settings from the endoscope apparatus;
Received data analyzing means for analyzing data received by the first and / or second data receiving function;
A processing unit at the time of reception that determines and executes processing based on the analysis result by the received data analysis unit;
An image processing apparatus comprising:
[0173]
(Appendix 7)
In an image processing apparatus connectable to an endoscope apparatus and its peripheral devices,
First data storage means for detecting the shape of the endoscope insertion section and receiving and storing the first data from the shape observation device for displaying the shape;
Second data storage means for receiving second data such as examination information and an endoscopic image from the endoscope apparatus, and storing the second data in association with the first data;
A reproduction means for displaying the data stored in the first and second data storage means in a synchronized state or independently on a monitor;
An image processing apparatus comprising:
[0174]
(Appendix 8)
The image processing apparatus according to appendix 7, wherein the first data is data relating to an endoscope shape.
[0175]
(Appendix 9)
9. The image processing apparatus according to claim 7, wherein the second data is examination data and / or image data related to an endoscopic examination.
[0176]
(Appendix 10)
The image processing apparatus according to any one of appendices 7 to 9, further comprising data display means for displaying the first data and / or the second data when receiving the first data and the second data.
[0177]
(Appendix 11)
The reproducing means includes a first data and a second data generated by the number of data per unit time of the first data and the second data, the first data, and the second data. 11. The image processing apparatus according to any one of appendices 7 to 10, wherein synchronous reproduction is realized by using a data correspondence table.
[0178]
(Appendix 12)
12. The image processing apparatus according to any one of appendices 7 to 11, wherein the reproduction unit displays data under the same conditions as display attributes set by the shape observation apparatus.
[0179]
(Appendix 13)
13. The image processing apparatus according to appendix 12, wherein the reproduction unit has a display attribute change function for changing a display attribute of the second data.
[0180]
(Appendix 14)
14. The image processing according to any one of appendices 7 to 13, wherein the reproduction unit can change data to be displayed in accordance with an operation of the input unit in a state where the first data and the second data are synchronized. apparatus.
[0181]
(Appendix 15)
Information adding means for adding related information to the data selected by the input means;
15. The image processing apparatus according to appendix 14, wherein the image processing apparatus has a function of displaying information added by the information adding function when reproducing the first and second data.
[0182]
(Appendix 16)
Search means for searching for the first data and the second data according to data characteristics;
Search result information adding means having a function of adding related information to the data searched by the search function;
The image processing according to any one of appendices 7 to 15, wherein the reproduction means has a function of displaying the information added by the search result information addition function when the first and second data are reproduced. apparatus.
[0183]
(Appendix 17)
Appendix 16 has a function of displaying the first and second data as a whole within an operable range, and displaying a graphic at a relative position to the entire data of the data extracted by the search result. The image processing apparatus described.
[0184]
(Appendix 18)
Analyzing means for analyzing data received by the first and / or second data storage function;
Processing means for determining and executing processing based on the analysis result by the analysis function;
An image processing apparatus according to any one of appendices 7 to 17, characterized in that:
[0185]
(Appendix 19)
The image processing apparatus according to appendix 18, wherein the processing means has a function of displaying an analysis result by the analysis function.
[0186]
(Appendix 20)
Related information storage means for storing related information related to the analysis result;
The image processing apparatus according to appendix 19, wherein the processing means has a function of retrieving related information from the related information storage function based on an analysis result and displaying the related information together with the analysis result.
[0187]
(Appendix 21)
In an image processing apparatus connectable to an endoscope apparatus and its peripheral devices,
First data receiving means for receiving first data from a shape observing device that detects the shape of the internal mirror and displays the shape;
Second data receiving means for receiving second data in accordance with settings from the endoscope apparatus;
Received data analyzing means for analyzing data received by the first and / or second data receiving function;
A processing unit at the time of reception that determines and executes processing based on the analysis result by the received data analysis unit;
An image processing apparatus comprising:
[0188]
(Appendix 22)
The image processing apparatus according to appendix 21, wherein the data received by the first data receiving means is data relating to an endoscope shape.
[0189]
(Appendix 23)
23. The image processing apparatus according to any one of appendices 21 or 22, wherein the data received by the second data receiving means is examination data and / or image data relating to an endoscopic examination.
[0190]
(Appendix 24)
24. The image processing apparatus according to any one of appendices 21 to 23, wherein the image processing apparatus has a reception data display function for displaying the first data and / or the second data.
[0191]
(Appendix 25)
25. The image processing apparatus according to any one of appendices 21 to 24, wherein the reception processing unit has a function of displaying an analysis result by the received data analysis function.
[0192]
(Appendix 26)
Receiving related information storing means for storing related information related to the analysis result by the received data analyzing means,
26. The image processing apparatus according to appendix 25, wherein the reception processing unit has a function of searching for necessary related information from the reception related information storage unit and displaying related information together with an analysis result.
[0193]
【The invention's effect】
The image processing apparatus of the present invention synchronously reproduces an endoscope image and an endoscope insertion shape image based on an endoscope image and endoscope insertion shape data recorded and stored, and an endoscope image, The endoscope insertion shape image can be freely compared with the endoscope image.
[0194]
In addition, it is possible to educate the endoscope insertion operation while reproducing the actual endoscopic examination by synchronizing and playing back while changing the display attribute of the endoscope insertion shape after the endoscopic examination. The cause of difficulty in insertion of the endoscope at the time of examination and the cause of patient discomfort can be examined, and it can also be used as training for the endoscope apparatus.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic endoscope system according to the present invention.
FIG. 2 is a flowchart for explaining a processing operation for recording and storing an endoscope image and endoscope insertion shape data according to the first embodiment of the image processing apparatus of the electronic endoscope system according to the present invention.
FIG. 3 is a flowchart for explaining a synchronous reproduction processing operation of an endoscope image and an endoscope insertion shape image according to the first embodiment in the image processing apparatus of the electronic endoscope system according to the present invention.
FIG. 4 is a flowchart for explaining a reproduction timer processing operation for synchronous reproduction of an endoscope image and an endoscope insertion shape image according to the first embodiment of the image processing apparatus of the electronic endoscope system according to the present invention.
FIG. 5 shows a display screen when recording and storing an endoscope image and endoscope insertion shape data according to the first embodiment of the image processing apparatus of the electronic endoscope system according to the present invention, (a) Inspection window, (b) is an endoscopic image window.
FIG. 6 shows a display screen of the synchronous reproduction processing operation of the endoscope image and the endoscope insertion shape image according to the first embodiment in the image processing apparatus of the electronic endoscope system according to the present invention; ) Is a reproduction control window, (b) is an insertion portion shape image window, and (c) is an endoscope image window.
FIG. 7 is a flowchart for explaining an additional information input processing operation for an endoscope image and an endoscope insertion shape image according to the second embodiment of the image processing apparatus of the electronic endoscope system according to the present invention.
FIG. 8 illustrates a playback timer processing operation for synchronous playback of an endoscope image, an endoscope insertion shape image, and additional information according to a second embodiment of the image processing apparatus of the electronic endoscope system according to the present invention. Flowchart.
FIG. 9 shows a display screen of an endoscope image, an endoscope insertion shape image, and an additional information synchronized reproduction processing operation according to the second embodiment of the image processing apparatus of the electronic endoscope system according to the present invention; a) is a reproduction control window, (b) is an insertion portion shape image window, and (c) is an endoscope image window.
FIG. 10 is a feature item search of an endoscope image or an endoscope insertion shape image, which is a third embodiment of the image processing apparatus of the electronic endoscope system according to the present invention, and display of related information for the feature item; The flowchart explaining processing operation.
FIG. 11 shows a display screen of a feature item search processing operation of an endoscope image and an endoscope insertion shape image, which is a third embodiment of the image processing apparatus of the electronic endoscope system according to the present invention; ) Is an examination window, and (b) is an endoscope image window.
FIG. 12 is an explanatory diagram illustrating a frame correspondence table between an endoscope image and an endoscope insertion shape image in the image processing apparatus of the electronic endoscope system according to the present invention.
[Explanation of symbols]
1 ... Electronic endoscope system
2. Endoscope device
3. Endoscope insertion shape observation device
4. Image processing apparatus
10 ... Video processor
11 ... Light source device
12 ... Electronic endoscope
13. Shape processing device
14 ... Observation monitor
15 ... Personal computer (PC)
16 ... Mouse
17 ... Keyboard
18 ... Display

Claims (5)

内視鏡装置、及びその周辺機器と接続可能な画像処理装置において、
内視鏡挿入部の形状を検出するとともに、当該形状を表示するためのデータを出力する形状観測装置から第１のデータを受信して保存する第１のデータ保存手段と、
前記内視鏡装置から内視鏡画像データを含む第２のデータを受信して保存する第２のデータ保存手段と、
前記内視鏡挿入部の形状を検出した検出時間の情報と前記内視鏡画像データに含まれる時間情報との対応表を作成する作成手段と、
前記第１のデータ及び第２のデータを前記対応表に基づいて再生するとともに、同期した状態あるいは単独でモニタに表示させる再生手段と、
を有することを特徴とする画像処理装置。In an image processing apparatus connectable to an endoscope apparatus and its peripheral devices,
First data storage means for detecting the shape of the endoscope insertion portion and receiving and storing first data from a shape observation device that outputs data for displaying the shape ;
A second data storage means for receiving and storing second data including an endoscopic image data from the endoscope device,
Creating means for creating a correspondence table between detection time information for detecting the shape of the endoscope insertion portion and time information included in the endoscope image data;
Reproducing means for reproducing the first data and the second data based on the correspondence table and displaying them on a monitor in a synchronized state or independently;
An image processing apparatus comprising: 前記第１のデータと第２のデータをデータの特徴により検索を実行する検索手段と、
前記検索手段により検索されたデータに関連情報を付加する機能を有する検索結果情報付加手段と、
前記再生手段は、前記検索結果情報付加機能により付加された情報を前記第１と第２のデータの再生時にモニタに表示させることを特徴とする請求項１記載の画像処理装置。Search means for executing a search for the first data and the second data according to data characteristics;
Search result information adding means having a function of adding related information to the data searched by the search means;
The image processing apparatus according to claim 1, wherein the reproduction unit displays information added by the search result information addition function on a monitor during reproduction of the first and second data. 前記第１および／または第２のデータ保存手段で受信保存する第１と第２のデータを解析する解析手段と、
前記解析手段による解析結果を基に、処理を決定し実行する処理手段と、
を有することを特徴とする請求項１または２のいずれかに記載の画像処理装置。Analyzing means for analyzing the first and second data received and stored by the first and / or second data storing means;
Processing means for determining and executing processing based on the analysis result by the analyzing means;
The image processing apparatus according to claim 1, further comprising: 被検体を内視鏡により観察して内視鏡画像を得る内視鏡装置から受信した前記被検体の内視鏡画像データを記憶する内視鏡画像データ記憶手段と、
前記被検体に挿入した内視鏡の挿入形状を検出する挿入形状検出装置から受信した該内視鏡の挿入形状を表す挿入形状データを記憶する挿入形状データ記憶手段と、
前記内視鏡画像データに含まれる時間情報と前記挿入形状データ取得時の取得時間情報との対応表を作成する作成手段と、
前記内視鏡画像データ及び前記挿入形状データを読み出すとともに、前記対応表に基づいて前記内視鏡画像データと当該内視鏡画像データに対応する挿入形状データとを対応させて表示するように制御する表示制御手段と、
を備えたことを特徴とする内視鏡画像処理装置。Endoscopic image data storage means for storing endoscopic image data of the subject received from an endoscopic device that obtains an endoscopic image by observing the subject with an endoscope;
Insertion shape data storage means for storing insertion shape data representing the insertion shape of the endoscope received from an insertion shape detection device for detecting the insertion shape of the endoscope inserted into the subject;
Creating means for creating a correspondence table between the time information included in the endoscopic image data and the acquisition time information at the time of obtaining the insertion shape data;
The endoscope image data and the insertion shape data are read out, and the endoscope image data and the insertion shape data corresponding to the endoscope image data are displayed in correspondence with each other based on the correspondence table. Display control means for
An endoscopic image processing apparatus comprising: 前記表示制御手段により表示制御されて表示している前記内視鏡画像または前記挿入形状に関連する付加情報を入力する関連情報入力手段と、
前記関連情報入力手段により入力された付加情報を該内視鏡画像または該挿入形状に関連付けて記憶する付加情報記憶手段と、
を更に有することを特徴とする請求項４記載の内視鏡画像処理装置。Related information input means for inputting additional information related to the endoscopic image or the insertion shape which is displayed and controlled by the display control means;
Additional information storage means for storing additional information input by the related information input means in association with the endoscopic image or the insertion shape;
The endoscope image processing apparatus according to claim 4, further comprising:
JP2002314699A 2002-10-29 2002-10-29 Image processing apparatus and endoscopic image processing apparatus Expired - Fee Related JP4025621B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002314699A JP4025621B2 (en) 2002-10-29 2002-10-29 Image processing apparatus and endoscopic image processing apparatus
EP03809860A EP1504712B1 (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method
PCT/JP2003/013829 WO2004039249A1 (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method
US10/515,668 US8211010B2 (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method
CNB2003801007597A CN100396227C (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method
DE60330335T DE60330335D1 (en) 2002-10-29 2003-10-29 ENDOSCOPIC INFORMATION PROCESSOR AND PROCESSING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002314699A JP4025621B2 (en) 2002-10-29 2002-10-29 Image processing apparatus and endoscopic image processing apparatus

Publications (2)

Publication Number Publication Date
JP2004147778A JP2004147778A (en) 2004-05-27
JP4025621B2 true JP4025621B2 (en) 2007-12-26

Family

ID=32458943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002314699A Expired - Fee Related JP4025621B2 (en) 2002-10-29 2002-10-29 Image processing apparatus and endoscopic image processing apparatus

Country Status (2)

Country Link
JP (1) JP4025621B2 (en)
CN (1) CN100396227C (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4656988B2 (en) * 2005-04-11 2011-03-23 オリンパスメディカルシステムズ株式会社 Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis method
US20090149703A1 (en) 2005-08-25 2009-06-11 Olympus Medical Systems Corp. Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
JP4794992B2 (en) * 2005-11-16 2011-10-19 オリンパスメディカルシステムズ株式会社 Insertion monitoring device
JP4789545B2 (en) * 2005-08-25 2011-10-12 オリンパスメディカルシステムズ株式会社 Endoscope insertion shape analyzer
JP5057675B2 (en) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 Living body observation device
JP4891646B2 (en) * 2006-04-14 2012-03-07 オリンパスメディカルシステムズ株式会社 Image display device
EP2008574B1 (en) 2006-04-14 2012-07-25 Olympus Medical Systems Corp. Image display apparatus
US20080088621A1 (en) * 2006-10-11 2008-04-17 Jean-Jacques Grimaud Follower method for three dimensional images
JP4855901B2 (en) * 2006-11-13 2012-01-18 オリンパスメディカルシステムズ株式会社 Endoscope insertion shape analysis system
CN102469914B (en) * 2009-09-30 2014-11-05 奥林巴斯医疗株式会社 Endoscope apparatus and bending drive control method
US20150351608A1 (en) * 2013-01-10 2015-12-10 Ohio University Method and device for evaluating a colonoscopy procedure
JP6626837B2 (en) * 2014-12-19 2019-12-25 オリンパス株式会社 Insertion / extraction support device
WO2016098255A1 (en) * 2014-12-19 2016-06-23 オリンパス株式会社 Insertion and removal support device and insertion and removal support method
JP6626836B2 (en) * 2014-12-19 2019-12-25 オリンパス株式会社 Insertion / extraction support device
CN107105969B (en) * 2014-12-19 2019-10-22 奥林巴斯株式会社 Plugging auxiliary apparatus and plug householder method
JPWO2016098254A1 (en) * 2014-12-19 2017-10-12 オリンパス株式会社 Insertion / removal support device and insertion / removal support method
CN108471923B (en) * 2015-12-25 2020-12-04 奥林巴斯株式会社 Flexible pipe insertion device
JP6633751B2 (en) 2016-06-16 2020-01-22 富士フイルム株式会社 Navigation apparatus, navigation method, and endoscope system
WO2018096680A1 (en) * 2016-11-28 2018-05-31 オリンパス株式会社 Information presentation system
JP2019170638A (en) * 2018-03-28 2019-10-10 オリンパス株式会社 Endoscope system
CN110731745A (en) * 2019-09-10 2020-01-31 中山大学附属第一医院 endoscope shape estimation device integrating pressure sensing technology
WO2021156926A1 (en) * 2020-02-03 2021-08-12 オリンパス株式会社 Endoscope control device, endoscope control method, and endoscope control program
CN114882132A (en) * 2022-04-25 2022-08-09 武汉博视曼医疗科技有限公司 Image conversion method, device, storage medium and apparatus for endoscope system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261858A (en) * 1993-03-15 1994-09-20 Olympus Optical Co Ltd Shape measuring probe device
JP3910688B2 (en) * 1997-07-01 2007-04-25 オリンパス株式会社 Endoscope shape detection device and endoscope shape detection method
JP2000175861A (en) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd Endoscope shape detecting device
JP4142189B2 (en) * 1998-12-28 2008-08-27 オリンパス株式会社 Endoscope shape detection system
JP3610265B2 (en) * 1999-08-05 2005-01-12 オリンパス株式会社 Endoscope device
JP2002000546A (en) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd Endoscopic system

Also Published As

Publication number Publication date
CN100396227C (en) 2008-06-25
JP2004147778A (en) 2004-05-27
CN1694643A (en) 2005-11-09

Similar Documents

Publication Publication Date Title
JP4025621B2 (en) Image processing apparatus and endoscopic image processing apparatus
JP4274854B2 (en) Endoscope insertion shape analyzer
US8211010B2 (en) Endoscope information processor and processing method
EP2014219A2 (en) Endoscopic image processing apparatus
US7951070B2 (en) Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure
JP4153963B2 (en) Endoscope insertion shape detection device
US20220095903A1 (en) Augmented medical vision systems and methods
JP4418400B2 (en) Image display device
JP7194889B2 (en) Computer program, learning model generation method, surgery support device, and information processing method
JP4855901B2 (en) Endoscope insertion shape analysis system
CN111936033A (en) Medical system
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
JP4574983B2 (en) Image display apparatus, image display method, and image display program
JP7081862B1 (en) Surgery support system, surgery support method, and surgery support program
JP2024051041A (en) Information processing device, information processing method, and computer program
US20050234326A1 (en) Medical procedure support system and method
JP4794992B2 (en) Insertion monitoring device
JP2005131031A (en) Image display device, method and program
WO2021044910A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP4615842B2 (en) Endoscope system and endoscope image processing apparatus
JP2019005038A (en) Endoscope system
US20230069802A1 (en) Recording Medium and Image Playback Method
WO2023080170A1 (en) Computer program, trained model generation method, and information processing device
JP4436654B2 (en) Surgery support system
JP2012020027A (en) Processor for electronic endoscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071005

R151 Written notification of patent or utility model registration

Ref document number: 4025621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees