JP2018007960A - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP2018007960A JP2018007960A JP2016140631A JP2016140631A JP2018007960A JP 2018007960 A JP2018007960 A JP 2018007960A JP 2016140631 A JP2016140631 A JP 2016140631A JP 2016140631 A JP2016140631 A JP 2016140631A JP 2018007960 A JP2018007960 A JP 2018007960A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image
- frame image
- index
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】煩雑な演算処理をすることなく、同一部位を写し出すリアルタイム画像と記録動画像の同時表示を行う。【解決手段】リアルタイム動画像を記録する間、オペレータが動画像再生時に指標となるフレーム画像を設定するためのマーキング操作を行うと、マーキン操作時に写し出されているフレーム画像に関する画像データ以外の情報(例えば記録開始からの時刻もしくはフレーム番号)が、動画ファイルのメタデータとして記録される。そして、新たな内視鏡作業において、先の記録処理時に指標となった被写体と同じ被写体が動画像表示の中で写し出されると、オペレータは記録動画像再生開始操作を行う。これに応じて、記録動画像を構成する一連のフレーム画像の中から、指標フレーム画像関連情報に基づいてそのフレーム画像を抽出し、そのフレーム画像に応じた再生開始フレーム画像から再生表示を開始させる。【選択図】図4
Description
本発明は、体内器官などを撮像し、必要に応じて処置などを行う内視鏡装置に関し、特に、リアルタイムの動画像と記録動画像の同時表示に関する。
内視鏡装置では、スコープによる撮像によって観察部位の動画像をリアルタイムでモニタ表示するが、病変部診断向上のため、比較対象となる過去に記録された動画像をリアルタイム動画像と合わせて同時表示することも可能である(特許文献1参照)。そこでは、過去の内視鏡作業時に記録された動画像をリアルタイムの動画像と同時表示する。このとき、記録動画像を構成する一連のフレーム画像の中で、リアルタイム動画像と同一部位が含まれるフレーム画像を、血管のパターンマッチングにより抽出する。
パターンマッチングは、フレーム画像に対してシフトベクトル演算などを行う必要があり、計算処理量が膨大となり、パターンマッチングによる同一部位のフレーム画像抽出を迅速に行うことは難しい。
したがって、煩雑な計算処理なく、同一部位を写し出すリアルタイム動画像と記録動画像を同時表示することが求められる。
本発明の内視鏡装置は、スコープの撮像によるリアルタイム動画像と、一連のフレーム画像で構成される記録動画像とをモニタに同時表示させる画像処理部と、指標フレーム画像関連情報に基づき、一連のフレーム画像の中からその指標フレーム画像を抽出するフレーム画像抽出部と、抽出された指標フレーム画像に基づいて再生開始フレーム画像を定め、その再生開始フレーム画像から、記録動画像の再生表示を開始させる動画再生制御部とを備える。
ここで、「指標フレーム画像関連情報」とは、記録動画像と関連付けて記録されたフレーム画像であって画像データ以外のフレーム画像に関する情報を意味する。例えば、指標フレーム画像関連情報は、記録動画像の中で指標となるフレーム画像の番号もしくは記録開始してからの時刻の少なくともいずれか一方を含む。再生開始フレーム画像は、抽出された指標フレーム画像そのものであってもよく、あるいは、そこから所定フレーム数分あるいは所定時間分だけ前後にあるフレーム画像を再生開始フレーム画像とすることができる。
本発明の内視鏡装置は、例えば、肺、耳鼻咽喉などの器官、食道、胃、十二指腸、小腸、大腸といった消化器官、あるいは子宮などの器官を観察対象とすることが可能であるが、特に、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、大腸が特に変形しやすい消化器であり、画像データに基づいてマッチング対象を見つけることが特に困難であるためである。そのため、内視鏡装置は、大腸用内視鏡装置であることが好ましい。
内視鏡装置は、リアルタイム動画像をメモリに記録する動画像記録処理部をさらに備えることが可能であり、動画像記録処理部は、動画像再生時に指標となるフレーム画像を設定するためのマーキング操作が行われると、そのマーキング操作時に表示されているフレーム画像を指標フレーム画像とし、その指標フレーム画像に対するフレーム画像関連情報を、該指標フレーム画像と関連付けて記録することが可能である。また、フレーム画像抽出部は、ユーザによる記録動画像再生表示開始操作に応じて、指標フレーム画像を抽出することが可能である。
本発明によれば、煩雑な演算処理をすることなく、同一部位を写し出すリアルタイム動画像と記録動画像の同時表示を行うことができる。
以下では、図面を参照して本実施形態である内視鏡装置について説明する。
図1は、本実施形態である内視鏡装置のブロック図である。
内視鏡装置10は、ビデオスコープ(スコープ)20と、ビデオスコープ20が着脱自在に接続されるプロセッサ30とを備え、モニタ40がプロセッサ30に接続されている。プロセッサ30に設けられた光源(図示せず)から放射された光は、ビデオスコープ20内に設けられたライトガイド(図示せず)を通ってビデオスコープ20の先端部から被写体に向けて照射される。光源としては、放電ランプ(例えばキセノンランプ、ハロゲンランプ、水銀ランプ、メタルはライドランプ)などのランプ、LEDなどの発光素、レーザなどの半導体光源を適用することが可能である。また、プロセッサとは別に光源装置を設けてもよい。
被写体において反射した光は、ビデオスコープ20の撮像素子(例えば、CCD、CMOSなど)21に結像し、被写体像が撮像素子21の受光面に形成される。1フレーム分の画素信号が撮像素子21から所定時間間隔で読み出され、プロセッサ30の画像処理回路32へ送られる。
画像処理回路32は、画素信号に対して色変換処理、ガンマ補正処理など一連の画像処理を施し、カラー画像信号を生成する。カラー画像信号がモニタ40に出力されることにより、観察画像がリアルタイム動画像としてモニタ40に表示される。システムコントロール回路33は、画像処理回路32などの各回路へ制御信号を出力し、プロセッサ30の動作を制御する。
内視鏡装置10では、モニタ40に表示されるリアルタイム動画像を記録することが可能であり、ビデオスコープ20あるいはプロセッサ30のフロントパネルに設けられたボタン(図示せず)を操作することによって、動画像記録処理が実行される。具体的には、動画記録部36が画像処理回路32から送られてくる画像信号に対して圧縮処理を施し、圧縮動画像データを動画ファイルとして動画ファイル保存部(例えばメモリ)38に記録する。ここでは、MPEG方式に従って動画像が圧縮処理され、記録される。
記録された動画像を再生表示する場合、動画再生部34が動画ファイル保存部38から対象となる動画ファイルを読み出し、圧縮動画像データに対して復元処理を行う。画像処理回路32は、動画再生部34から送られてくる動画像データに基づいて画像信号を生成、モニタ32に出力する。これによって記録された動画像がモニタ40に再生表示される。
このような動画像の記録、再生表示に加え、内視鏡装置10では、ビデオスコープ20によるリアルタイム動画像と、記録された動画像とをモニタ40に同時表示させることが可能である。オペレータが、プロセッサ30のフロントパネルに設けられた同時表示モード設定ボタン(図示せず)を操作すると、システムコントロール回路33は、動画再生部34および画像処理回路32を制御する。
動画再生部34は、該当する動画ファイルの圧縮動画像データを復元し、画像処理回路32へ送信する。画像処理回路32は、リアルタイム動画像と動画再生部34から送られてくる記録動画像とをモニタ40に同時表示するように、表示制御処理を実行する。
図2は、リアルタイム動画像と記録動画像の同時表示画面を示した図である。モニタ画面40Sの左側半分にリアルタイム動画像が表示される一方、記録された動画像が右側上隅付近に再生表示される。
このような動画像同時表示モードは、通常、同一患者の同一部位を写し出しているリアルタイム動画像と記録動画像とを比較し、病変部の進行具合などを診断するために使用される。本実施形態では、動画像記録時にオペレータが指標となる被写体が写し出されたタイミングでマーキングを行う。そして、後の内視鏡作業では、同一の被写体がリアルタイム動画像に映し出されるタイミングで、記録した動画像の再生表示を開始させる操作を行う。このとき、先の動画像記録時にマーキングされた(指標となる被写体が写し出された)シーンから再生表示を開始させる。以下、これについて詳述する。
図3は、動画像記録処理のフローチャートである。
内視鏡作業(手技)の開始に合わせて、オペレータにより動画像記録開始の操作が行われると、動画像記録処理が開始される(S101)。それとともに、ユーザーデータ(患者情報)、記録日時、手技の種類などの情報が、メタデータとして記録される(S102)。
オペレータは、内視鏡作業の開始に伴い、スコープ先端部が診断対象となる、あるいは注目する部位付近に到達するまで、ビデオスコープ20の挿入部を体内に挿入させていく。例えば、下部消化器官にある盲腸を診断する場合、盲腸に到達するまでビデオスコープ20を挿入していく。
診断対象となる被写体がモニタ40に映し出されると、オペレータは、このシーンの画像をマーキングする操作を行う。すなわち、後の動画像再生時に指標となるフレーム画像として設定する。具体的には、ビデオスコープ20に設けられたボタンあるいはプロセッサ30のフロントパネルに設けられたボタンを操作する。
このようなオペレータによるマーキング操作が行われると、その操作が行われたときにモニタ画面40Sに表示されている画像に関する情報が、メタデータとして記録される(S103、S104)。すなわち、後の記録動画像再生時に指標となるフレーム画像の情報が、メタデータとして記録される。
ここでは、マーキング操作がおこなわれた時の時刻(すなわち記録開始からそのフレーム画像表示までの時間)、あるいはそのフレーム画像のフレーム番号が、動画ファイルのメタセクション上に記録される。動画像記録終了の操作がオペレータによって行われると、記録処理が終了する(S105)。動画ファイルとして保存される記録動画像データは、一連のフレーム画像からなり、各フレーム画像は、記録開始からの時刻およびフレーム番号と関連付けられている。
なお、マーキング操作は動画像記録中複数回行うことが可能である、この場合、指標となる被写体の種類を、メタデータとして記録すればよい。
図4は、リアルタイム動画像と記録動画像の同時表示処理のフローチャートである。
オペレータは、リアルタイム動画像を見ながら、以前の動画像記録時に指標とした部位が映し出されるまで内視鏡操作を行う。その指標となる被写体の画像(例えば盲腸の画像)の表示を確認すると、記録動画像再生開始のため入力操作を行う。ここでは、ビデオスコープ20に設けられたボタンあるいはプロセッサ30のフロントパネルに設けられたボタンが操作される。なお、フットスイッチを操作するようにしてもよい。
オペレータによる記録動画像再生開始操作があったと判断されると(S201)、対応する動画像ファイルを検索する処理が実行される(S202)。システムコントロール回路33は、そのとき設定されている患者情報などと一致する動画ファイルが動画ファイル保存部38にあるか否かを、動画ファイルのメタデータ照合に基づいて判断する。なお、複数の動画ファイルが存在する場合、診断対象が一致する動画ファイル、あるいは最新の動画ファイルを自動的に選択すればよく、あるいはオペレータに選択させるようにしてもよい。
該当する動画ファイルが存在する場合、メタデータの中に指標となるフレーム画像の情報が含まれているか否かが判断される(S203、S204)。指標となるフレーム画像の情報、すなわち時刻もしくはフレーム番号の情報がメタデータに含まれている場合、動画像再生処理を実行する(S205、S206)。このとき、そのフレーム番号あるいは時刻に応じたフレーム画像から再生表示開始させるように、動画再生部34が制御される。
オペレータは、動画像再生表示が開始されると、再生表示されている記録動画像とリアルタイム動画像とを比較しながら、内視鏡操作を行う。通常、同一部位を診断対象にした場合、オペレータの内視鏡操作は同じ操作を繰り返すことになる。例えば、挿入部を徐々に引き抜き、あるいは徐々に押し込んでいく。したがって、指標となるフレーム画像から記録動画像を再生表示開始させて内視鏡操作を続けると、リアルタイム動画像と記録動画像の写し出されている被写体を比較すれば、実質的に同じ被写体を時間経過とともに写し出していることになる。
記録動画像再生が終了、あるいはオペレータによる再生終了操作、内視鏡作業が終了すると、同時表示処理は終了し、リアルタイム動画像だけの表示に戻る(S207、S208)。
このように本実施形態によれば、リアルタイム動画像を記録するとき、オペレータのマーキング操作によって指標となる被写体が写し出されるフレーム画像に関する情報(時刻もしくはフレーム番号)がメタデータとして記録される。そして、新たな内視鏡作業において、先の記録処理時に指標となった被写体と同じ被写体が動画像表示の中で写し出されると、記録動画像再生開始操作を行う。これに応じて、記録動画像を構成する一連のフレーム画像の中から、指標となるフレーム画像の情報に基づいてそのフレーム画像を抽出し、そのフレーム画像から再生表示を開始させる。
例えば、内視鏡の引き抜き操作のように、診断対象の部位まで長い時間かけて内視鏡先端部を送り込んだあと、徐々に挿入部を引きながら部位を観察、診断するような場合、その部位到達まで時間がかかり、それまでに記録した動画像データの量も膨大になる。しかしながら、部位に到達した以降の記録動画像とリアルタイム動画像とを比較すればよく、それ以前に記録された動画像データは参考にならない。
本実施形態では、オペレータが指標とするフレーム画像の場面から記録動画像を再生表示開始するため、リアルタイム動画像と同一部位を写し出したフレーム画像が直ちに表示され、その後の内視鏡操作を待機させることなく、同時表示することができる。しかも、パターンマッチングなど煩雑な演算処理をせず、動画像記録時に関連付けて記録されたフレーム情報から指標となるフレーム画像を抽出するため、速やかに動画像再生表示を開始することができる。
特に、内視鏡観察画像は、大部分が赤味を帯びた被写体であって輝度の明暗が強調される画像であるため、記録時の撮影範囲(作業中観察する範囲)が広いと、パターンマッチング対象となる動画像データが膨大となり、同一部位のフレーム画像を選択することが難しい。また、撮影対象となる消化管の変化などによってマッチング対象を抽出できない場合が生じる。しかしながら本実施形態では、オペレータの意図するシーンが写し出されたタイミングでマーキング操作および動画像再生表示開始操作を行うため、特別な画像処理を行う必要がない。
また、診断を精度よく行うためには高精細な画像を得ることが好ましく、画像の解像度は、少なくとも100万画素以上であることが好ましく、200万画素、800万画素、それ以上の画素数であることが好ましい。しかしながら、画像の解像度が高くなるほどフレーム画像及び動画像のデータ量が大きくなり、パターンマッチングにより同一部位のフレーム画像抽出し、リアルタイム動画像と記録動画像を同時表示する場合の計算量が極めて膨大となってしまう問題がある。これに対し、本実施形態によれば、計算処理の負荷を抑えることができる。
このように、従来のようなマッチング手法では、マッチング精度の悪さ、マッチング対象発見の困難性、膨大な計算量といった問題、あるいは、マッチングエラーによって意図しない部位を再生表示してしまうという問題がある。これに対し本実施形態では、計算処理量を抑え、かつ、精度よくオペレータが意図する部位の記録画像をリアルタイム動画像と合わせて同時表示することを両立させることができる。
なお、指標となるフレーム画像に対し所定時間、あるいは所定フレーム数分だけ前後したフレーム画像から再生表示を開始させてもよい。例えば、指標フレーム画像に対して数フレーム前の画像から開始させることにより、同時表示のときに内視鏡操作開始タイミングが調整しやすくなる。すなわち、抽出した指標となるフレーム画像に基づいて再生開始フレーム画像を定め、そこから再生開始させてもよい。
また、マーキング操作に関係なく、自動的にマーキングすべき被写体を写し出したフレーム画像を検知したら自動的にそのフレーム画像の情報をメタデータとして記録するようにしてもよい。また、メタデータ以外の情報を関連付けて記憶させてもよい。
10 内視鏡装置
20 ビデオスコープ(スコープ)
30 プロセッサ
32 画像処理回路(画像処理部)
33 システムコントロール回路(フレーム画像抽出部、動画再生制御部)
34 動画再生部
36 動画記録部(動画像記録処理部)
20 ビデオスコープ(スコープ)
30 プロセッサ
32 画像処理回路(画像処理部)
33 システムコントロール回路(フレーム画像抽出部、動画再生制御部)
34 動画再生部
36 動画記録部(動画像記録処理部)
Claims (5)
- スコープの撮像によるリアルタイム動画像と、一連のフレーム画像で構成される記録動画像とをモニタに同時表示させる画像処理部と、
記録動画像と関連付けて記録された指標となるフレーム画像に関する情報であって画像データ以外の情報(以下、指標フレーム画像関連情報という)に基づき、一連のフレーム画像の中からその指標フレーム画像を抽出するフレーム画像抽出部と、
抽出された指標フレーム画像に基づいて再生開始フレーム画像を定め、その再生開始フレーム画像から、記録動画像の再生表示を開始させる動画再生制御部と
を備えたことを特徴とする内視鏡装置。 - リアルタイム動画像をメモリに記録する動画像記録処理部をさらに備え、
前記動画像記録処理部が、指標フレーム画像を設定するためのマーキング操作が行われると、そのマーキング操作時に表示されているフレーム画像を指標フレーム画像とし、その指標フレーム画像に対するフレーム画像関連情報を、該指標フレーム画像と関連付けて記録することを特徴とする請求項1に記載の内視鏡装置。 - 前記動画像記録処理部が、リアルタイム動画像を動画ファイルとして前記メモリに記録し、指標フレーム画像関連情報を、動画ファイルのメタデータとして記録することを特徴とする請求項2に記載の内視鏡装置。
- 前記フレーム画像抽出部が、ユーザによる記録動画像再生表示開始操作に応じて、指標フレーム画像を抽出することを特徴とする請求項1乃至3のいずれかに記載の内視鏡装置。
- 前記指標フレーム画像関連情報が、記録動画像の中で指標となるフレーム画像の番号もしくは記録開始してからの時刻の少なくともいずれか一方を含むことを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016140631A JP2018007960A (ja) | 2016-07-15 | 2016-07-15 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016140631A JP2018007960A (ja) | 2016-07-15 | 2016-07-15 | 内視鏡装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018007960A true JP2018007960A (ja) | 2018-01-18 |
Family
ID=60994548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016140631A Pending JP2018007960A (ja) | 2016-07-15 | 2016-07-15 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018007960A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198322A1 (ja) * | 2018-04-10 | 2019-10-17 | オリンパス株式会社 | 医療システム |
WO2024142585A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社アドバンテスト | 蛍光検出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036370A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
WO2015114901A1 (ja) * | 2014-01-30 | 2015-08-06 | オリンパス株式会社 | 医療用動画記録再生システム及び医療用動画記録再生装置 |
JP2017093996A (ja) * | 2015-11-27 | 2017-06-01 | オリンパス株式会社 | 内視鏡システム及びその表示方法 |
-
2016
- 2016-07-15 JP JP2016140631A patent/JP2018007960A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036370A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
WO2015114901A1 (ja) * | 2014-01-30 | 2015-08-06 | オリンパス株式会社 | 医療用動画記録再生システム及び医療用動画記録再生装置 |
JP2017093996A (ja) * | 2015-11-27 | 2017-06-01 | オリンパス株式会社 | 内視鏡システム及びその表示方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198322A1 (ja) * | 2018-04-10 | 2019-10-17 | オリンパス株式会社 | 医療システム |
US12042339B2 (en) | 2018-04-10 | 2024-07-23 | Olympus Corporation | Medical system and method of controlling medical system |
WO2024142585A1 (ja) * | 2022-12-28 | 2024-07-04 | 株式会社アドバンテスト | 蛍光検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130342668A1 (en) | Medical information recording apparatus | |
JP6663571B2 (ja) | 内視鏡画像処理装置、および、内視鏡画像処理装置の作動方法、並びにプログラム | |
JP2006198106A (ja) | 電子内視鏡装置 | |
JP6774552B2 (ja) | プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法 | |
JP2015195845A (ja) | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 | |
KR20040069332A (ko) | 내시경 화상 처리 장치 | |
JP2006271870A (ja) | 内視鏡用画像処理装置 | |
JP5308884B2 (ja) | 内視鏡用プロセッサ装置、およびその作動方法 | |
US20180049629A1 (en) | Signal processing apparatus and endoscope system | |
KR100896773B1 (ko) | 캡슐 내시경 시스템 및 그 타임 쉬프트 기능 구현 방법 | |
JP2018007960A (ja) | 内視鏡装置 | |
US20140043455A1 (en) | Endoscope for storing images | |
JP2012090701A (ja) | 電子内視鏡用プロセッサ及び電子内視鏡装置 | |
JP2012020028A (ja) | 電子内視鏡用プロセッサ | |
JP5825886B2 (ja) | 画像処理装置、内視鏡装置の画像処理方法、及び画像処理ソフトウェア | |
JP2005103030A (ja) | 医療画像作成装置及び医療画像作成プログラム | |
WO2018043585A1 (ja) | 内視鏡装置、情報処理装置およびプログラム | |
WO2017026323A1 (ja) | 内視鏡システム | |
JP4786994B2 (ja) | 電子内視鏡システム | |
US12035045B2 (en) | Endoscope processor, information processing method, and computer program | |
JP2005334426A (ja) | 口腔内観察装置 | |
WO2022085500A1 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
WO2020121373A1 (ja) | 画像記録装置 | |
JPH1147090A (ja) | 内視鏡撮像装置 | |
JP2017006260A (ja) | 内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201124 |