JP2016144507A - 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP2016144507A
JP2016144507A JP2015021992A JP2015021992A JP2016144507A JP 2016144507 A JP2016144507 A JP 2016144507A JP 2015021992 A JP2015021992 A JP 2015021992A JP 2015021992 A JP2015021992 A JP 2015021992A JP 2016144507 A JP2016144507 A JP 2016144507A
Authority
JP
Japan
Prior art keywords
image
blood vessel
vessel extraction
endoscopic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015021992A
Other languages
English (en)
Other versions
JP6285373B2 (ja
Inventor
泰士 白石
Hiroshi Shiraishi
泰士 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015021992A priority Critical patent/JP6285373B2/ja
Publication of JP2016144507A publication Critical patent/JP2016144507A/ja
Application granted granted Critical
Publication of JP6285373B2 publication Critical patent/JP6285373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

【課題】観察対象の血管を抽出する内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供する。【解決手段】内視鏡システム10は、内視鏡12、光源装置14、及びプロセッサ装置16を有する。内視鏡12は、観察対象を撮像して画像信号を出力する。光源装置14は、観察対象を照明する。プロセッサ装置16は、血管強調用画像処理部60を備える。血管強調用画像処理部60は、画像生成部70、第1血管抽出部72、第2血管抽出部74、及び合成処理部76を有する。画像生成部70は、画像信号から内視鏡画像を生成する。第1血管抽出部72は、内視鏡画像から中深層血管を抽出した第1血管抽出画像を出力する。第2血管抽出部74は、内視鏡画像から中深層血管と表層血管を抽出した第2血管抽出画像を出力する。合成処理部76は、内視鏡画像と第1血管抽出画像と第2血管抽出画像とを合成する。【選択図】図13

Description

本発明は、観察対象の血管を抽出する内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法に関する。
医療現場において、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。光源装置は、観察対象を照明するための照明光を発生する。内視鏡は、照明光で照明された観察対象を撮像センサで撮像して画像信号を出力する。プロセッサ装置は、内視鏡から送信された画像信号から観察対象の画像を生成してモニタに表示させる。
近年では、観察対象を撮像して得た画像から、観察対象の表面から浅い表層付近に存在する細い表層血管と、観察対象の表面から中深層程度に存在する太い中深層血管とを抽出するとともに、画像に対して、抽出した表層血管及び中深層程度を重ね合わせることによって、血管が明瞭に写されている画像を用いた診断が行われてきている。例えば、特許文献1は、通常画像と血管抽出用の血管強調画像とを同時に取得し、血管強調画像に対して周波数フィルタ等の血管抽出処理を施すことによって表層血管と中深層血管とを抽出するとともに、これらの血管を通常画像に重畳させて表示している。
特許5501210
表層血管と中深層血管については、ガンなどの病変部の診断に有効な情報であることから、表層血管と中深層血管を漏れなく抽出し、それら血管を強調した画像をドクターに提供することが求められている。ここで、太い中深層血管を抽出する処理については、プロセッサ装置の処理負担はそれほど大きくはないものの、細い表層血管を抽出する処理は、太い中深層血管を抽出する処理と比較して、プロセッサ装置の処理負担が大きいことが多い。したがって、細い表層血管を連続的に抽出して画像上で表示した場合には、プロセッサ装置の処理が滞って、動画性が低下するなどの問題が生じることがある。
本発明は、処理負担をかけることなく、表層血管と中深層血管を抽出した画像を表示する内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡システムは、観察対象を撮像する撮像センサと、撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、内視鏡画像または内視鏡画像を生成するための画像信号に対して第1血管抽出処理を施すことにより、画像生成部が連続的に生成する内視鏡画像について、観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して、または連続的に生成される内視鏡画像から間欠的に選択された内視鏡画像を生成するための画像信号に対して、第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、内視鏡画像のうち一部の内視鏡画像について、観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成する合成処理部とを備える。
また、本発明の内視鏡システムは、観察対象を撮像する撮像センサと、撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、内視鏡画像または内視鏡画像を生成するための画像信号に対して第1血管抽出処理を施すことにより、画像生成部が連続的に生成する内視鏡画像について、観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して、または連続的に生成される内視鏡画像から間欠的に選択された内視鏡画像を生成するための画像信号に対して、第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、内視鏡画像のうち一部の内視鏡画像について、観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、内視鏡画像の静止画像の取得を指示する静止画像取得指示部と、静止画像取得指示部から静止画像取得指示があった場合に、静止画像取得指示の前後の特定期間中に生成される複数の内視鏡画像の中から、静止画像に適した一つの内視鏡画像を選択する選択部と、選択部によって選択された内視鏡画像を取得したタイミングを第1タイミングとした場合に、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して表示用画像を生成し、静止画像として表示または記録させる合成処理部とを備える。
本発明のプロセッサ装置は、撮像センサによって観察対象を撮像して得られる画像信号を取得する画像信号取得部と、撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、内視鏡画像または内視鏡画像を生成するための画像信号に対して第1血管抽出処理を施すことにより、画像生成部が連続的に生成する内視鏡画像について観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して、または連続的に生成される内視鏡画像から間欠的に選択された内視鏡画像を生成するための画像信号に対して、第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、内視鏡画像のうち一部の内視鏡画像について観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成する合成処理部とを備える。
本発明の内視鏡システムの作動方法は、撮像センサによって観察対象を撮像して得られる画像信号を用いて、画像生成部が、内視鏡画像を連続的に生成するステップと、第1血管抽出部が、内視鏡画像または内視鏡画像を生成するための画像信号に対して第1血管抽出処理を施すことにより、画像生成部が連続的に生成する内視鏡画像について観察対象の血管を抽出した第1血管抽出画像を出力するステップと、第2血管抽出部が、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して、または連続的に生成される内視鏡画像から間欠的に選択された内視鏡画像を生成するための画像信号に対して、第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、内視鏡画像のうち一部の内視鏡画像について観察対象の血管を抽出した第2血管抽出画像を出力するステップと、合成処理部が、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成するステップとを備える。
第1血管抽出処理は、観察対象の中深層血管を抽出する低解像度の血管抽出処理であり、第2血管抽出処理は、観察対象の表層血管と中深層血管とを抽出する高解像度の血管抽出処理であることが好ましい。
合成処理部は、中深層血管を基準にして内視鏡画像及び第1血管抽出画像に対して第2血管抽出画像の位置合わせをすることが好ましい。
第1血管抽出画像または第2血管抽出画像を用いて、観察対象の血管に関する血管情報指標を算出する血管情報指標算出部を備えることが好ましい。合成処理部は、第1血管抽出画像及び第2血管抽出画像に加えて血管情報指標を内視鏡画像に合成して表示用画像を生成する好ましい。血管情報指標は、観察対象の血管の密度であることが好ましい。
内視鏡画像、内視鏡画像を生成するための画像信号、または第1血管抽出画像を用いて、観察対象の動き量を検出する動き検出部と、動き量を用いて、第2血管抽出部による第2血管抽出処理の頻度を変更する制御部とを備えることが好ましい。
制御部は、動き量が第1閾値よりも大きい場合に第2血管抽出処理を停止させ、動き量が第2閾値以上第1閾値以下の場合に第2血管抽出処理を第1の頻度で行わせ、動き量が第2閾値よりも小さい場合に第2血管抽出処理を第1の頻度よりも低い第2の頻度で行わせることが好ましい。
第1血管抽出部と合成処理部とが設けられた第1処理装置と、第2血管抽出部が設けられ、第1処理装置よりも処理能力が高い第2処理装置とを備えることが好ましい。
合成処理部は、第2処理装置から一定期間、第2血管抽出画像が入力されない場合、内視鏡画像に第2血管抽出画像を合成せずに表示用画像を生成することが好ましい。
第1処理装置に設けられ、内視鏡画像にタグを付けるタグ付け部と、第1処理装置に設けられ、タグが付けられたタグ付きの内視鏡画像を、第2処理装置に送信する第1処理装置側送信部と第2処理装置に設けられ、第1処理装置側送信部からのタグ付きの内視鏡画像を受信する第2処理装置側受信部と、第2処理装置に設けられ、タグ付きの内視鏡画像に対して第2血管抽出処理を施して出力されたタグ付きの第2血管抽出画像を、第1処理装置に送信する第2処理装置側送信部と、第1処理装置に設けられ、第2処理装置側送信部からのタグ付きの第2血管抽出画像を受信する第1処理装置側受信部とを備えることが好ましい。
本発明によれば、連続的に生成された内視鏡画像について血管を抽出する第1血管抽出処理を施し、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して、第1血管抽出処理よりも高精度に血管を抽出する第2血管抽出処理を施し、第1血管抽出処理によって出力された第1血管抽出画像と、第2血管抽出処理によって出力された第2血管抽出画像とを内視鏡画像に合成することによって、処理負担をかけることなく、表層血管と中深層血管を抽出した画像を表示する内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法を提供できる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 カラーフィルタの分光特性を示すグラフである。 内視鏡画像の生成について説明する説明図である。 内視鏡画像を示す模式図である。 第1血管抽出画像の生成について説明する説明図である。 第1血管抽出画像を示す模式図である。 第2血管抽出画像の生成について説明する説明図である。 第2血管抽出画像を示す模式図である。 表示用画像の生成について説明する説明図である。 表示用画像を示す模式図である。 第1実施形態の作用について説明するフローチャートである。 第2実施形態における血管強調用画像処理部の機能を説明するブロック図である。 血管情報指標に基づく情報を表示した表示用画像を示す模式図である。 第3実施形態における血管強調用画像処理部の機能を説明するブロック図である。 第3実施形態における第2血管抽出処理の制御を示すフローチャートである。 第4実施形態におけるプロセッサ装置と外部処理装置を示すブロック図である。 内視鏡画像に対するタグ付けについて説明する説明図である。 第4実施形態における第2血管抽出画の生成について説明する説明図である。 第2血管抽出画像の入力の有無に応じた合成について説明するフローチャートである。 第5実施形態の内視鏡システムの機能を示すブロック図である。 白色光の発光スペクトルを示すグラフである。 特殊光の発光スペクトルを示すグラフである。 第6実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタを示す平面図である。
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW(モード切替スイッチ)12fと、静止画像取得指示部12gとが設けられている。モード切替SW12fは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常モードと血管抽出モードとを有している。通常モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。血管抽出モードは、観察対象に含まれる血管が強調された画像(以下、血管強調画像という)をモニタ18に表示する。静止画像取得指示部12gは、内視鏡システム10に静止画像の取得を指示するとともに、取得させた静止画像をモニタ18に表示、またはストレージ(図示省略)に記録させるために用いられる。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図2において、光源装置14は、光源20と、光源20を制御する光源制御部21とを備えている。光源20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明するための照明光を発する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3において、V−LED20aは、中心波長405nm、波長帯域380nm〜420nmの紫色光Vを発する紫色半導体光源である。B−LED20bは、中心波長460nm、波長帯域420nm〜500nmの青色光Bを発する青色半導体光源である。G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED20dは、中心波長620nm〜630nmで、波長帯域が600nm〜650nmに及び赤色光Rを発する赤色半導体光源である。なお、V−LED20aとB−LED20bの中心波長は、±5nmから±10nm程度の幅を有する。
光源制御部21は、各LED20a〜20dに対して独立に制御信号を入力することによって、各LED20a〜20dの点灯や消灯、点灯時の発光量などを独立に制御する。本実施形態では、通常モード及び血管抽出モードのどちらの観察モードでも、光源制御部21は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。このため、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光が、通常モード及び血管抽出モードの照明光として用いられる。
各LED20a〜20dが発する各色の光は、ミラーやレンズなどで構成される光路結合部23を介して、挿入部12a内に挿通されたライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光源20が発した照明光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬された照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光などの各種の光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
撮像センサ44は、照明光で照明された観察対象を撮像するカラー撮像センサである。撮像センサ44の各画素には、図4に示すB(青色)カラーフィルタ、G(緑色)カラーフィルタ、R(赤色)カラーフィルタのいずれかが設けられている。このため、撮像センサ44は、Bカラーフィルタが設けられたB画素(青色画素)で紫色から青色の光を受光し、Gカラーフィルタが設けられたG画素(緑色画素)で緑色の光を受光し、Rカラーフィルタが設けられたR画素(赤色画素)で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。
撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。また、撮像センサ44の代わりに、カラーフィルタを設けていないモノクロの撮像センサを用いても良い。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部50と、DSP(Digital Signal Processor)52と、ノイズ除去部54と、画像処理切替部56と、通常用画像処理部58と、血管強調用画像処理部60と、映像信号生成部62と、選択部64とを備えている。画像信号取得部50は、CDS/AGC回路46及びA/Dコンバータ48を介して、撮像センサ44からデジタル画像信号を取得する。
DSP52は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理などの各種信号処理を施す。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理ともいう)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ除去部54は、DSP52でデモザイク処理などが施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法などによる)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部56に送信される。
画像処理切替部56は、モード切替SW12fの操作によって通常モードにセットされている場合には、画像信号を通常用画像処理部58に送信し、血管抽出モードにセットされている場合には、画像信号を血管強調用画像処理部60に送信する。
通常用画像処理部58は、画像処理切替部56から受信した画像信号に対して色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像を生成する。色変換処理では、画像信号に対して3×3のマトリクス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば、血管やピットパターン(腺管)などの観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように各種画像処理などを施した画像信号を用いたカラー画像が通常画像である。
血管強調用画像処理部60は、画像処理切替部56から受信した画像信号から、観察対象に含まれる血管が強調された血管強調画像を生成する。
血管強調用画像処理部60には、画像生成部70と、第1血管抽出部72と、第2血管抽出部74と、合成処理部76とが設けられている(図2参照)。画像処理切替部56からの画像信号は、画像生成部70が受信する。
画像生成部70は、画像処理切替部56から受信した画像信号を用いて内視鏡画像を生成する。例えば、画像生成部70は、通常用画像処理部58と同様に、画像信号に対して色変換処理、色彩強調処理、及び構造強調処理を行うことによって、内視鏡画像を生成する。具体的には、図5において、画像生成部70は、各時間ta〜tjで画像信号を連続的に受信した場合に、各時間ta〜tfの画像信号のそれぞれに対して上記各種処理を行う。これにより、画像生成部70は、各時間ta〜tjの内視鏡画像82a〜82jを連続的に生成する。
図6において、例えば、画像生成部70で生成された時間tgの内視鏡画像82gは、観察対象の粘膜83の他に、粘膜83の表面から中深層程度の深さに存在する太い中深層血管84と、粘膜83の表面から表層付近までの深さに存在する細い表層血管85とが観察できる。その他の時間の内視鏡画像についても同様であり、粘膜83と中深層血管84と表層血管85とが観察できる。画像生成部70は、生成した内視鏡画像を第1血管抽出部72と第2血管抽出部74と合成処理部76に送信する。
第1血管抽出部72は、画像生成部70から受信した内視鏡画像に対して第1血管抽出処理を施すことにより、第1血管抽出画像を出力する。第1血管抽出処理は、内視鏡画像に対して低精度の周波数解析を行うことによって、太い中深層血管に対応する低周波成分を得るための低解像度の血管抽出処理である。周波数解析を低精度で行う場合は、低周波成分が得られ高周波成分については得られないが、プロセッサ装置16の処理負担が小さいため、解析結果を出力するまでの時間が短い。一方、周波数解析を高精度で行う場合は、低周波成分と高周波成分とを得られるが、プロセッサ装置16の処理負担が大きいため、解析結果を出力するまでの時間が長い。したがって、第1血管抽出部72では、画像生成部70で連続的に生成された内視鏡画像について第1血管抽出処理を施すことによって、中深層血管が抽出された第1血管抽出画像をほぼリアルタイムに出力する。
具体的には、図7において、第1血管抽出部72は、画像生成部70が時間ta〜tjで連続的に生成した内視鏡画像82a〜82jについて、それぞれ第1血管抽出処理を施す。これにより、第1血管抽出部72は、時間ta〜tjで生成された内視鏡画像82a〜82jに対して、リアルタイムに第1血管抽出画像86a〜86jを出力する。
図8において、例えば、第1血管抽出画像86gは、画像生成部70が時間tgに生成した内視鏡画像82gから中深層血管84が抽出されている。その他の第1血管抽出画像についても、同様に中深層血管84が抽出される。第1血管抽出部72は、出力した第1血管抽出画像を合成処理部76に送信する。
第2血管抽出部74は、画像生成部70から受信した内視鏡画像に対して第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、第2血管抽出画像を出力する。第2血管抽出処理は、第1血管抽出処理で行われる周波数解析よりも演算精度が高精度の周波数解析を行うことによって、太い中深層血管に対応する低周波成分と細い表層血管に対応する高周波成分とを得るための高解像度の血管抽出処理である。このため、第2血管抽出処理で第2血管抽出画像が出力されるまでの時間は、第1血管抽出処理で第1血管抽出画像が出力されるまでの時間よりも長い。
第2血管抽出部74は、画像生成部70で連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して第2血管抽出処理を施す。具体的には、図9において、第2血管抽出部74は、10フレーム分の内視鏡画像82a〜82jの中から、5フレーム毎に、内視鏡画像に対して第2血管抽出処理を施す。例えば、第2血管抽出部74は、時間taに生成された1フレーム目の内視鏡画像82aに対して第2血管抽出処理を施すことによって、内視鏡画像82aに対応する第2血管抽出画像88aを出力する。第2血管抽出画像88aは、内視鏡画像82aに対して第2血管抽出処理を開始した時間taから4フレーム分後の時間teに出力される。また、第2血管抽出部74は、時間tfに生成された6フレーム目の内視鏡画像82fに対して第2血管抽出処理を施すことによって、内視鏡画像82fに対応する第2血管抽出画像88bを出力する。第2血管抽出画像88bは、内視鏡画像82fに対して第2血管抽出処理を開始した時間tfから4フレーム分後の時間tjに出力される。
図10において、第2血管抽出画像88aでは、画像生成部70が時間taに生成した内視鏡画像82aから、中深層血管84と表層血管85とが抽出されている。また、第2血管抽出画像88bでは、画像生成部70が時間tfに生成した内視鏡画像82fから、中深層血管84と表層血管85とが抽出される。第2血管抽出部74は、出力した第2血管抽出画像を合成処理部76に送信する。
合成処理部76は、画像生成部70から受信した内視鏡画像に対して、第1血管抽出部72から受信した第1血管抽出画像と、第2血管抽出部74から受信した第2血管抽出画像とを合成して、モニタ18に表示するための表示用画像を生成する。合成処理部76は、生成した表示用画像を映像信号生成部62に送信する。
以下においては、合成処理部76が特定の第1タイミングに表示用画像を生成する場合の説明を行う。
例えば、図11に示すように、第1タイミングが時間tgである場合に、合成処理部76は、時間tgに取得した第1血管抽出画像86gと、時間tg以前の第2タイミングに取得した第2血管抽出画像のうち、時間tgに最も近いタイミングである時間teに取得した第2血管抽出画像88aとを用いて、時間tgにおける表示用画像90を生成する。ここで、第1血管抽出画像86gは、時間tgの内視鏡画像82gに第1血管抽出処理を施して得られる画像であるのに対して、第2血管抽出画像88aは、時間taの内視鏡画像82aに第2血管抽出処理を施して得られる画像である。したがって、第1血管抽出画像86gと第2血管抽出画像88aは位置ずれが生じている場合がある。
このため、合成処理部76は、内視鏡画像82g及び第1血管抽出画像86gに対して、第2血管抽出画像88aの位置合わせをする。例えば、合成処理部76は、内視鏡画像82g(図6参照)と第1血管抽出画像86g(図8参照)と第2血管抽出画像88a(図10参照)とのそれぞれに含まれた中深層血管84を基準にして、内視鏡画像82g及び第1血管抽出画像86gに対して、第2血管抽出画像88aの位置合わせをする。そして、合成処理部76は、位置合わせ後に、第1血管抽出画像86gと第2血管抽出画像88aとを、内視鏡画像82gに対して合成することによって、図12に示すような表示用画像90を生成する。
なお、合成を行う方法の例として、合成処理部76は、第1血管抽出画像86gと第2血管抽出画像88aとにそれぞれ含まれた中深層血管84に対応する画素の画像信号と、第2血管抽出画像88aに含まれた表層血管85に対応する画素の画像信号とを、内視鏡画像82gに対して重畳(加算または乗算)する。これにより、表示用画像90は、内視鏡画像82gよりも、中深層血管84に対応する画素の画像信号、及び表層血管85に対応する画素の画像信号が大きくなる。このため、表示用画像90では、内視鏡画像82gに対して、中深層血管84及び表層血管85が強調して表される。
映像信号生成部62は、通常用画像処理部58または血管強調用画像処理部60から受信した画像を、モニタ18で表示可能な画像として表示するための映像信号に変換し、モニタ18に順次出力する。これにより、モニタ18には、通常画像が入力された場合は通常画像を表示し、表示用画像が入力された場合はこの表示用画像を血管強調画像として表示する。
次に、本発明の作用について、図13に示すフローチャートに沿って説明する。まず、血管抽出モードにセットされた場合(S11)に、画像生成部70は、観察対象を撮像して得られた画像信号を連続的に取得する(S12)。画像生成部70は、これら画像信号から、内視鏡画像を連続的に生成する(S13)。第1血管抽出部72は、連続的に生成された内視鏡画像について第1血管抽出処理を実行することによって(S14)、中深層血管が抽出された第1血管抽出画像を出力する(S15)。
第2血管抽出部74では、連続的に生成された内視鏡画像から間欠的に選択される内視鏡画像に対して、第1血管抽出処理よりも高精度の第2血管抽出処理を実行することによって(S16)、中深層血管及び表層血管が抽出された第2血管抽出画像を出力する(S17)。
合成処理部76は、内視鏡画像及び第1血管抽出画像に対して第2血管抽出画像の位置合わせを行い(S18)、内視鏡画像に対して第1血管抽出画像と第2血管抽出画像を合成することにより(S19)、表示用画像を生成する(S20)。具体的には、合成処理部76は、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して表示用画像を生成する。モニタ18は、生成された表示用画像を表示する(S21)。
以上のように、本発明は、連続的に生成される内視鏡画像の全フレームに対して低解像度の第1血管抽出処理を施して第1血管抽出画像を出力し、連続的に生成される内視鏡画像から間欠的に選択される内視鏡画像に対して高解像度の第2血管抽出処理を施して第2血管抽出画像を出力し、第1血管抽出画像と第2血管抽出画像とを内視鏡画像に合成した表示用画像を生成するため、プロセッサ装置の処理負担を低減し、且つ全フレームで高解像度の第2血管抽出処理を行う場合と同様の画像を表示できる。
なお、合成処理部76は、静止画像取得指示部12gから静止画像取得指示があった場合には、静止画像取得指示の前後の特定期間中に生成される複数の内視鏡画像の中から選択部64(図2参照)によって選択された内視鏡画像に対して、第1血管抽出画像と第2血管抽出画像を合成することによって表示用画像を生成し、この表示用画像を静止画像として表示させても良い。選択部64は、特定期間中に生成される複数の内視鏡画像の中から、静止画像に適した一つの内視鏡画像を選択する。例えば、選択部64は、複数の内視鏡画像のうち、高周波成分が最も多い内視鏡画像を選択する。なお、合成処理部76は、静止画像をストレージ(図示省略)に記録させるようにしても良い。
具体的には、合成処理部76は、選択部64によって選択された内視鏡画像を取得したタイミングを第1タイミングとした場合に、この第1タイミングに取得した第1血管抽出画像を、表示用画像の生成に用いる第1血管抽出画像として選択する。また、合成処理部76は、第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで取得した第2血管抽出画像を、表示用画像の生成に用いる第2血管抽出画像として選択する。そして、合成処理部76は、選択した第1血管抽出画像と第2血管抽出画像とを、第1タイミングに取得した内視鏡画像(すなわち、選択部64によって選択された内視鏡画像)に対して合成することによって表示用画像を生成し、この表示用画像を静止画像とする。
また、上記実施形態では、第1血管抽出部72は、内視鏡画像に対して第1血管抽出処理を施しているが、内視鏡画像を生成するための画像信号に対して第1血管抽出処理を施しても良い。
第2血管抽出部74は、画像生成部70が連続的に生成した内視鏡画像から間欠的に選択される内視鏡画像に対して第2血管抽出処理を施しているが、連続的に生成した内視鏡画像から間欠的に選択される内視鏡画像を生成するための画像信号に対して第2血管抽出処理を施しても良い。
[第2実施形態]
第2実施形態では、第1血管抽出部72で出力された第1血管抽出画像または第2血管抽出部74で出力された第2血管抽出画像を用いて、観察対象の血管に関する血管情報を指標化(数値化)した血管情報指標を算出する。また、第2実施形態では、血管強調用画像処理部60に代えて、血管強調用画像処理部91が設けられる。それ以外については、上記第1実施形態と同様である。
図14において、血管強調用画像処理部91には、上記第1実施形態の画像生成部70と第1血管抽出部72と第2血管抽出部74とに加え、合成処理部92と、血管情報指標算出部93とを備える。
合成処理部92は、画像生成部70で生成された内視鏡画像に対して、第1血管抽出部72で出力された第1血管抽出画像と、第2血管抽出部74で出力された第2血管抽出画像とを、上記第1実施形態と同様に、位置合わせした後に合成することにより、ベース画像を生成する。このベース画像は、内視鏡画像に対して、中深層血管84及び表層血管85が強調された画像であり、上記第1実施形態の表示用画像と同じ画像であるが、モニタ18には表示されない。合成処理部92は、ベース画像を血管情報指標算出部93に送信する。
血管情報指標算出部93は、合成処理部92から受信したベース画像から血管情報指標を算出する。血管情報指標は、観察対象に含まれる血管が単位面積中に占める割合、即ち血管の密度であることが好ましい。血管の密度を算出する場合、血管情報指標算出部93は、例えば、ベース画像から特定の大きさ(単位面積)の領域を切り出し、その領域内の全画素に占める血管の割合を算出する。これをベース画像内の全画素に対して行うことで血管の密度を算出する。血管情報指標算出部93は、算出した血管情報指標を、合成処理部92に送信する(図14参照)。
合成処理部92では、血管情報指標算出部93から血管情報指標を受信した場合、生成したベース画像に対して、血管情報指標に基づく情報を合成することにより、表示用画像を生成する。即ち、合成処理部92は、第1血管抽出画像及び第2血管抽出画像に加えて血管情報指標を内視鏡画像に合成して表示用画像を生成する。例えば、合成処理部92は、ベース画像に対して、血管情報指標に基づく情報を表示させるようにオーバーラップ処理することにより、図15に示す表示用画像96を生成する。表示用画像96には、例えば、左上領域98などに、血管の密度を示す数値が表示される。なお、画面上の血管を示す画素をピクセル(pix)で表す場合には、血管の密度は、単位面積(pix)あたりに血管を示す画素が占める割合なのでpix−2で示される。例えば、図15においては、血管の密度は0.24(pix−2)と表示されている。また、合成処理部92は、ベース画像に対して、血管情報指標に応じて色付け処理を行うことにより、血管情報指標が一定値以上の領域を疑似カラーで表示させるように表示用画像を生成しても良い。また、疑似カラーの領域を、血管情報指標の数値に応じて異なる色で表示させても良い。このように、血管情報指標に基づいた表示用画像96をモニタ18に表示させることによって、病変の診断を確実に行うことができる。
なお、血管情報指標算出部93は、合成処理部92から受信したベース画像から血管情報指標を算出しているが、第1血管抽出部72から第1血管抽出画像を受信し、この第1血管抽出画像から血管情報指標を算出しても良い。また、血管情報指標算出部93は、第2血管抽出部74から第2血管抽出画像を受信し、この第2血管抽出画像から血管情報指標を算出しても良い。
[第3実施形態]
上記第1実施形態では、第2血管抽出部74は、一定の時間間隔で間欠的に第2血管抽出処理を実行しているが、第3実施形態では、観察対象の動き量に応じて、第2血管抽出部74が第2血管抽出処理を実行する頻度を変更する。第3実施形態では、血管強調用画像処理部60に代えて、血管強調用画像処理部100が設けられる。それ以外については、上記第1実施形態と同様である。
図16において、血管強調用画像処理部100には、上記第1実施形態が備える各部に加え、動き検出部102と、制御部104とを備える。
動き検出部102は、画像生成部70で連続的に生成される内視鏡画像を受信し、受信した内視鏡画像を用いて、観察対象の動き量を検出する。動き検出部102は、例えば、時間taで生成された内視鏡画像82aに含まれる中深層血管84と、時間tbで生成された内視鏡画像82bに含まれる中深層血管84との間の動き量を検出する。動き検出部102は、検出した動き量を、制御部104に送信する。
制御部104は、第2血管抽出部74を制御して、動き検出部102から受信した動き量に基づいて、第2血管抽出処理の実行頻度を変更する。
具体的には、図17に示すように、制御部104は、動き検出部102から動き量を受信すると(S31)、動き量が第1閾値よりも大きいか否かを判定する(S32)。動き量が第1閾値よりも大きい場合(S32でYES)、第2血管抽出部74を制御して、第2血管抽出処理を停止させる(S33)。動き量が第1閾値よりも大きい場合は、スクリーニング等で内視鏡を大きく動かしている可能性があるため、第2血管抽出処理を停止させることによって、プロセッサ装置の処理負担を軽減する。
また、動き量が第1閾値以下の場合(S32でNO)、動き量が第2閾値以上第1閾値以下であるか否かを判定する(S34)。なお、第1閾値は、第2閾値よりも大きい値とする。そして、動き量が第2閾値以上第1閾値以下である場合(S34でYES)、第2血管抽出部74を制御して、第2血管抽出処理を第1の頻度で実行させる(S35)。動き量が第2閾値以上第1閾値以下である場合は、比較的ゆっくりと内視鏡を動かして観察対象の観察が行われているため、第2血管抽出処理を第1の頻度で行わせることによって、中深層血管と表層血管とが表示された表示用画像を見ながら診断を行うことができる。
また、動き量が第2閾値よりも小さい場合(S34でNO)、第2血管抽出部74を制御して、第2血管抽出処理を第1の頻度よりも低い第2の頻度で実行させる(S36)。動き量が第2閾値よりも小さい場合は、観察対象を精査するために内視鏡の動きを停止させている可能性があるため、第2血管抽出処理を第1の頻度よりも低い第2の頻度で行わせることにより、プロセッサ装置の処理負担を軽減する。
なお、動き検出部102は、連続的に生成される内視鏡画像を用いて観察対象の動き量を検出しているが、第1血管抽出部72で連続的に出力される第1血管抽出画像を受信し、この第1血管抽出画像を用いて観察対象の動き量を検出しても良い。
[第4実施形態]
第4実施形態では、第1血管抽出部72と合成処理部76とをプロセッサ装置16(本発明の「第1処理装置」に対応する)に設ける一方で、第2血管抽出部74をプロセッサ装置16に対して接続ケーブル(図示省略)などを介して接続される外付けの外部処理装置112(本発明の「第2処理装置」に対応する)(図18参照)に設ける。
具体的には、図18において、第4実施形態におけるプロセッサ装置16の血管強調用画像処理部60は、上記第1実施形態と異なり、第2血管抽出部74が設けられていない代わりに、タグ付け部114と、第1送信部116(本発明の「第1処理装置側送信部」に対応する)と、第1受信部118(本発明の「第1処理装置側受信部」に対応する)とが設けられている。また、外部処理装置112には、第2血管抽出部74の他、第2受信部120(本発明の「第2処理装置側受信部」に対応する)と、第2送信部122(本発明の「第2処理装置側送信部」に対応する)とが設けられている。外部処理装置112は、GPU(Graphics Processing Unit)等を搭載したコンピュータであり、プロセッサ装置16よりも、画像に対する処理能力が高い。なお、画像に対する処理能力は、画像に対して施す画像処理の処理速度を示している。したがって、外部処理装置112は、第2血管抽出部74が第2血管抽出処理を行った場合に、その処理結果が出力されるまでの速度がプロセッサ装置16よりも速い、すなわち、画像に対する画像処理の処理速度がプロセッサ装置16よりも速い。また、第4実施形態においては、プロセッサ装置16と外部処理装置112との間で、第1送信部116と第2受信部120とを介して内視鏡画像の送受信が行われ、第2送信部122と第1受信部118とを介して第2血管抽出画像の送受信が行われる。
タグ付け部114は、画像生成部70から連続的に生成された内視鏡画像を取得した場合、これら連続的に生成された内視鏡画像に対してタグを付ける。タグは、内視鏡画像が生成されたタイミングに関する情報を有する。例えば、図19において、タグ付け部114は、時間taに取得した内視鏡画像82aに対して、時間taの情報を有するタグXを付けることによって、タグ付きの内視鏡画像121aを生成する。以降、時間tb〜tjに取得した内視鏡画像82b〜82jに対しても同様に、タグ付け部114は、各時間tb〜tjの情報を有するタグが付けられたタグ付きの内視鏡画像を生成する。生成されたタグ付きの内視鏡画像は、第1送信部116を介して、外部処理装置112の第2受信部120に送信される。
第2血管抽出部74は、第2受信部120が第1送信部116から受信したタグ付きの内視鏡画像に対して第2血管抽出処理を施すことによって、タグ付きの第2血管抽出画像を出力する。外部処理装置112はプロセッサ装置16よりも画像に対する画像処理の処理速度が速いため、第2血管抽出部74は、上記第1実施形態の第2血管抽出部と比較して、第2血管抽出画像を出力するまでの時間が短い。
例えば、図20において、第2血管抽出部74は、タグ付きの内視鏡画像121aに対して第2血管抽出処理を施すことによって、タグXが付けられたタグ付きの第2血管抽出画像122aを出力する。タグ付きの第2血管抽出画像122aは、内視鏡画像82a内視鏡画像が生成された時間taから2フレーム分後の時間tcに出力される。出力されたタグ付きの第2血管抽出画像122aは、第2送信部122を介して、プロセッサ装置16の第1受信部118に送信される。
合成処理部76は、第1タイミングに取得した第1血管抽出画像と、第1タイミング以前の第2タイミングに受信した第2血管抽出画像のうち、第1タイミングに最も近いタイミングで受信した第2血管抽出画像とを、第1タイミングに取得した内視鏡画像に対して合成して表示用画像を生成する。
このように、高精度の第2血管抽出処理を行う第2血管抽出部74を、プロセッサ装置16よりも処理能力の高い外部処理装置112に設けることによって、プロセッサ装置16の処理負担を軽減できる。また、プロセッサ装置16と外部処理装置112との間で内視鏡画像及び第2血管抽出画像の送受信を行った場合でも、内視鏡画像と第2血管抽出画像とを対応付けるタグの情報に基づいて位置合わせ及び合成が行われるため、内視鏡画像と第2血管抽出画像との間で大きく位置ずれが生じることを防止できる。
なお、第4実施形態におけるプロセッサ装置16の合成処理部76は、外部処理装置112から、一定期間、第2血管抽出画像の入力が無い場合には、内視鏡画像に対して、第2血管抽出画像を合成せずに、第1血管抽出画像のみを合成するようにしても良い。具体的には、図21に示すように、合成処理部76は、外部処理装置112からの第2血管抽出画像の入力の有無を判定する(S41)。合成処理部76は、一定期間、第2血管抽出画像の入力が無い場合(S41でYES)、内視鏡画像に対して、第2血管抽出画像を合成せずに、第1血管抽出画像のみを合成する(S42)。一方、合成処理部76は、一定期間内に第2血管抽出画像の入力が有った場合(S41でNO)、内視鏡画像に対して、第1血管抽出画像と第2血管抽出画像を合成する(S43)。このように、一定期間、第2血管抽出画像の入力が無い場合は、プロセッサ装置16と外部処理装置112との間で通信が途絶している場合や、外部処理装置112が故障している場合があるため、第2血管抽出画像を合成しないことによって、プロセッサ装置16の処理負担を低減できる。なお、一定期間、第2血管抽出画像の入力が無い場合には、モニタ18に対して、異常が発生していることを示す警告表示をしても良い。
[第5実施形態]
第5実施形態では、上記第1実施形態で示した4色のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図22に示すように、第5実施形態の内視鏡システム200では、光源装置14において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図22では「445LD」と表記)204と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図22では「405LD」と表記)206とが設けられている。これら各光源204、206の半導体発光素子からの発光は、光源制御部208により個別に制御されており、青色レーザ光源204の出射光と、青紫色レーザ光源206の出射光の光量比は変更自在になっている。
光源制御部208は、通常モードの場合には、青色レーザ光源204を駆動させる。これに対して、血管抽出モードの場合には、青色レーザ光源204と青紫色レーザ光源206の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。以上の各光源204、206から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド25に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源204及び青紫色レーザ光源206は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの青色レーザ光又は青紫色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体210を励起させることなく透過する。青紫色レーザ光は、蛍光体210を励起させることなく透過する。蛍光体210を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常モードにおいては、主として青色レーザ光が蛍光体210に入射するため、図23に示すような、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した白色光によって観察対象が照明される。一方、血管抽出モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体210に入射するため、図24に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した特殊光によって観察対象が照明される。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
[第6実施形態]
第6実施形態では、上記第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図25に示すように、第6実施形態の内視鏡システム300では、光源装置14において、4色のLED20a〜20dに代えて、広帯域光源302、回転フィルタ304、フィルタ切替部305が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ306が設けられている。
広帯域光源302はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は、内側に設けられた通常モード用フィルタ308と、外側に設けられた血管抽出モード用フィルタ309とを備えている(図26参照)。フィルタ切替部305は、回転フィルタ304を径方向に移動させるものであり、モード切替SW12fにより通常モードにセットされたときに、回転フィルタ304の通常モード用フィルタ308を白色光の光路に挿入し、血管抽出モードにセットされたときに、回転フィルタ304の血管抽出モード用フィルタ309を白色光の光路に挿入する。
図26に示すように、通常モード用フィルタ308には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ308a、白色光のうち緑色光を透過させるGフィルタ308b、白色光のうち赤色光を透過させるRフィルタ308cが設けられている。したがって、通常モード時には、回転フィルタ304が回転することで、青色光、緑色光、赤色光が交互に観察対象に照射される。
血管抽出モード用フィルタ309には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ309aと、白色光のうち緑色光を透過させるGフィルタ309b、白色光のうち赤色光を透過させるRフィルタ309cが設けられている。したがって、血管抽出モード時には、回転フィルタ304が回転することで、青色狭帯域光、緑色光、赤色光が交互に観察対象に照射される。
内視鏡システム300では、通常モード時には、青色光、緑色光、赤色光で観察対象が照明される毎にモノクロの撮像センサ306で観察対象を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGB色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、血管抽出モード時には、青色狭帯域光、緑色光、赤色光で観察対象が照明される毎にモノクロの撮像センサ306で観察対象を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号が得られる。これらBn画像信号と、G画像信号、R画像信号に基づいて、血管強調画像の生成が行われる。このように、血管強調画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で血管強調画像の生成が行われる。
10、200、300 内視鏡システム
12 内視鏡
12g 静止画像取得指示部
14 光源装置
16 プロセッサ装置(第1処理装置)
60,91,100 血管強調用画像処理部
64 選択部
70 画像生成部
72 第1血管抽出部
74 第2血管抽出部
76,92 合成処理部
93 血管情報指標算出部
102 動き検出部
104 制御部
112 外部処理装置(第2処理装置)
114 タグ付け部
116 第1送信部(第1処理装置側送信部)
118 第1受信部(第1処理装置側受信部)
120 第2受信部(第2処理装置側受信部)
122 第2送信部(第2処理装置側送信部)

Claims (14)

  1. 観察対象を撮像する撮像センサと、
    前記撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、
    前記内視鏡画像または前記内視鏡画像を生成するための前記画像信号に対して第1血管抽出処理を施すことにより、前記画像生成部が連続的に生成する前記内視鏡画像について、前記観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、
    連続的に生成される前記内視鏡画像から間欠的に選択される前記内視鏡画像に対して、または連続的に生成される前記内視鏡画像から間欠的に選択された前記内視鏡画像を生成するための前記画像信号に対して、前記第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、前記内視鏡画像のうち一部の前記内視鏡画像について、前記観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、
    第1タイミングに取得した第1血管抽出画像と、前記第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、前記第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、前記第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成する合成処理部とを備える内視鏡システム。
  2. 前記第1血管抽出処理は、前記観察対象の中深層血管を抽出する低解像度の血管抽出処理であり、
    前記第2血管抽出処理は、前記観察対象の表層血管と前記中深層血管とを抽出する高解像度の血管抽出処理である請求項1に記載の内視鏡システム。
  3. 前記合成処理部は、前記中深層血管を基準にして前記内視鏡画像及び前記第1血管抽出画像に対して前記第2血管抽出画像の位置合わせをする請求項2に記載の内視鏡システム。
  4. 前記第1血管抽出画像または前記第2血管抽出画像を用いて、前記観察対象の血管に関する血管情報指標を算出する血管情報指標算出部を備える請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記合成処理部は、前記第1血管抽出画像及び前記第2血管抽出画像に加えて前記血管情報指標を前記内視鏡画像に合成して前記表示用画像を生成する請求項4に記載の内視鏡システム。
  6. 前記血管情報指標は、前記観察対象の血管の密度である請求項4または5に記載の内視鏡システム。
  7. 前記内視鏡画像、前記内視鏡画像を生成するための前記画像信号、または前記第1血管抽出画像を用いて、前記観察対象の動き量を検出する動き検出部と、
    前記動き量を用いて、前記第2血管抽出部による前記第2血管抽出処理の頻度を変更する制御部とを備える請求項1〜6のいずれか1項に記載の内視鏡システム。
  8. 前記制御部は、前記動き量が第1閾値よりも大きい場合に前記第2血管抽出処理を停止させ、前記動き量が第2閾値以上前記第1閾値以下の場合に前記第2血管抽出処理を第1の頻度で行わせ、前記動き量が前記第2閾値よりも小さい場合に前記第2血管抽出処理を前記第1の頻度よりも低い第2の頻度で行わせる請求項7に記載の内視鏡システム。
  9. 前記第1血管抽出部と前記合成処理部とが設けられた第1処理装置と、
    前記第2血管抽出部が設けられ、前記第1処理装置よりも処理能力が高い第2処理装置とを備える請求項1〜8のいずれか1項に記載の内視鏡システム。
  10. 前記合成処理部は、前記第2処理装置から一定期間、前記第2血管抽出画像が入力されない場合、前記内視鏡画像に前記第2血管抽出画像を合成せずに前記表示用画像を生成する請求項9に記載の内視鏡システム。
  11. 前記第1処理装置に設けられ、前記内視鏡画像にタグを付けるタグ付け部と、
    前記第1処理装置に設けられ、前記タグが付けられたタグ付きの内視鏡画像を、前記第2処理装置に送信する第1処理装置側送信部と
    前記第2処理装置に設けられ、前記第1処理装置側送信部からの前記タグ付きの内視鏡画像を受信する第2処理装置側受信部と、
    前記第2処理装置に設けられ、前記タグ付きの内視鏡画像に対して前記第2血管抽出処理を施して出力されたタグ付きの第2血管抽出画像を、前記第1処理装置に送信する第2処理装置側送信部と、
    前記第1処理装置に設けられ、前記第2処理装置側送信部からの前記タグ付きの第2血管抽出画像を受信する第1処理装置側受信部とを備える請求項10に記載の内視鏡システム。
  12. 観察対象を撮像する撮像センサと、
    前記撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、
    前記内視鏡画像または前記内視鏡画像を生成するための前記画像信号に対して第1血管抽出処理を施すことにより、前記画像生成部が連続的に生成する前記内視鏡画像について、前記観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、
    連続的に生成される前記内視鏡画像から間欠的に選択される前記内視鏡画像に対して、または連続的に生成される前記内視鏡画像から間欠的に選択された前記内視鏡画像を生成するための前記画像信号に対して、前記第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、前記内視鏡画像のうち一部の前記内視鏡画像について、前記観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、
    前記内視鏡画像の静止画像の取得を指示する静止画像取得指示部と、
    前記静止画像取得指示部から静止画像取得指示があった場合に、前記静止画像取得指示の前後の特定期間中に生成される複数の前記内視鏡画像の中から、静止画像に適した一つの前記内視鏡画像を選択する選択部と、
    前記選択部によって選択された前記内視鏡画像を取得したタイミングを第1タイミングとした場合に、前記第1タイミングに取得した第1血管抽出画像と、前記第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、前記第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、前記第1タイミングに取得した前記内視鏡画像に対して合成して表示用画像を生成し、前記静止画像として表示または記録させる合成処理部とを備える内視鏡システム。
  13. 撮像センサによって観察対象を撮像して得られる画像信号を取得する画像信号取得部と、
    前記撮像センサから得られる画像信号を用いて内視鏡画像を連続的に生成する画像生成部と、
    前記内視鏡画像または前記内視鏡画像を生成するための前記画像信号に対して第1血管抽出処理を施すことにより、前記画像生成部が連続的に生成する前記内視鏡画像について前記観察対象の血管を抽出した第1血管抽出画像を出力する第1血管抽出部と、
    連続的に生成される前記内視鏡画像から間欠的に選択される前記内視鏡画像に対して、または連続的に生成される前記内視鏡画像から間欠的に選択された前記内視鏡画像を生成するための前記画像信号に対して、前記第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、前記内視鏡画像のうち一部の前記内視鏡画像について前記観察対象の血管を抽出した第2血管抽出画像を出力する第2血管抽出部と、
    第1タイミングに取得した第1血管抽出画像と、前記第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、前記第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、前記第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成する合成処理部とを備えるプロセッサ装置。
  14. 撮像センサによって観察対象を撮像して得られる画像信号を用いて、画像生成部が、内視鏡画像を連続的に生成するステップと、
    第1血管抽出部が、前記内視鏡画像または前記内視鏡画像を生成するための前記画像信号に対して第1血管抽出処理を施すことにより、前記画像生成部が連続的に生成する前記内視鏡画像について前記観察対象の血管を抽出した第1血管抽出画像を出力するステップと、
    第2血管抽出部が、連続的に生成される前記内視鏡画像から間欠的に選択される前記内視鏡画像に対して、または連続的に生成される前記内視鏡画像から間欠的に選択された前記内視鏡画像を生成するための前記画像信号に対して、前記第1血管抽出処理よりも高精度の第2血管抽出処理を施すことにより、前記内視鏡画像のうち一部の前記内視鏡画像について前記観察対象の血管を抽出した第2血管抽出画像を出力するステップと、
    合成処理部が、第1タイミングに取得した第1血管抽出画像と、前記第1タイミング以前の第2タイミングに取得した第2血管抽出画像のうち、前記第1タイミングに最も近いタイミングで取得した第2血管抽出画像とを、前記第1タイミングに取得した内視鏡画像に対して合成して、表示用画像を生成するステップとを備える内視鏡システムの作動方法。
JP2015021992A 2015-02-06 2015-02-06 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 Active JP6285373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015021992A JP6285373B2 (ja) 2015-02-06 2015-02-06 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015021992A JP6285373B2 (ja) 2015-02-06 2015-02-06 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2016144507A true JP2016144507A (ja) 2016-08-12
JP6285373B2 JP6285373B2 (ja) 2018-02-28

Family

ID=56685753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015021992A Active JP6285373B2 (ja) 2015-02-06 2015-02-06 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Country Status (1)

Country Link
JP (1) JP6285373B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159461A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2021531141A (ja) * 2018-06-13 2021-11-18 コスモ アーティフィシャル インテリジェンス−エーアイ リミティド 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013099509A (ja) * 2011-10-12 2013-05-23 Fujifilm Corp 内視鏡システム及び画像生成方法
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013099509A (ja) * 2011-10-12 2013-05-23 Fujifilm Corp 内視鏡システム及び画像生成方法
JP2014128423A (ja) * 2012-12-28 2014-07-10 Olympus Medical Systems Corp 内視鏡システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159461A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN110381807A (zh) * 2017-03-03 2019-10-25 富士胶片株式会社 内窥镜***、处理器装置及内窥镜***的工作方法
JPWO2018159461A1 (ja) * 2017-03-03 2019-12-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN110381807B (zh) * 2017-03-03 2022-01-18 富士胶片株式会社 内窥镜***、处理器装置及内窥镜***的工作方法
US11759092B2 (en) 2017-03-03 2023-09-19 Fujifilm Corporation Endoscope system, processor device, and method of operating endoscope system
JP2021531141A (ja) * 2018-06-13 2021-11-18 コスモ アーティフィシャル インテリジェンス−エーアイ リミティド 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法
JP7457699B2 (ja) 2018-06-13 2024-03-28 コスモ アーティフィシャル インテリジェンス-エーアイ リミティド 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法

Also Published As

Publication number Publication date
JP6285373B2 (ja) 2018-02-28

Similar Documents

Publication Publication Date Title
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
US10779714B2 (en) Image processing apparatus, method for operating image processing apparatus, and image processing program
JP5997817B2 (ja) 内視鏡システム
US10022074B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP2015139657A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
WO2018079205A1 (ja) プロセッサ装置及び内視鏡システム
US20170231469A1 (en) Processor device for endoscope,operation method thereof, and non-transitory computer readable medium
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP2018051065A (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP6254506B2 (ja) 内視鏡システム及びその作動方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2016120026A (ja) 内視鏡システム及びその作動方法
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP2022160298A (ja) 医用画像処理装置及びその作動方法
JP2018171544A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180201

R150 Certificate of patent or registration of utility model

Ref document number: 6285373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250