JP4500207B2 - 生体観測装置 - Google Patents

生体観測装置 Download PDF

Info

Publication number
JP4500207B2
JP4500207B2 JP2005141534A JP2005141534A JP4500207B2 JP 4500207 B2 JP4500207 B2 JP 4500207B2 JP 2005141534 A JP2005141534 A JP 2005141534A JP 2005141534 A JP2005141534 A JP 2005141534A JP 4500207 B2 JP4500207 B2 JP 4500207B2
Authority
JP
Japan
Prior art keywords
signal
unit
image
spectral
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005141534A
Other languages
English (en)
Other versions
JP2006314629A (ja
Inventor
和弘 後野
睦巳 大島
正一 天野
智也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005141534A priority Critical patent/JP4500207B2/ja
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to BRPI0610260-3A priority patent/BRPI0610260A2/pt
Priority to CN2006800162245A priority patent/CN101175435B/zh
Priority to EP06715358A priority patent/EP1880659A4/en
Priority to RU2007146448/14A priority patent/RU2378977C2/ru
Priority to CA002606895A priority patent/CA2606895A1/en
Priority to KR1020077026147A priority patent/KR100988113B1/ko
Priority to EP11000358.9A priority patent/EP2332460B1/en
Priority to AU2006245248A priority patent/AU2006245248B2/en
Priority to US11/914,347 priority patent/US20090091614A1/en
Priority to PCT/JP2006/304388 priority patent/WO2006120795A1/ja
Publication of JP2006314629A publication Critical patent/JP2006314629A/ja
Application granted granted Critical
Publication of JP4500207B2 publication Critical patent/JP4500207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、生体を撮像して得られるカラー画像信号を利用して、信号処理により擬似的な狭帯域フィルタを生成し、分光画像としてモニタ上に表示する生体観測装置に関する。
従来より、生体観測装置として、照明光を照射し体腔内の内視鏡画像を得る内視鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察するようになっている。
内視鏡装置において通常の生体組織観察を行う場合は、1つの方式としては、光源装置で可視光領域の白色光を発光し、例えばRGB等の回転フィルタを介することで面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同時化し画像処理することでカラー画像を得ている。また、内視鏡装置において通常の生体組織観察を行う場合は、別の方式としては、内視鏡の撮像手段の撮像面の前面にカラーチップを配し、光源装置で可視光領域の白色光を発光し、該白色光による戻り光をカラーチップにて各色成分毎に分離することで撮像し、ビデオプロセッサで画像処理することによってカラー画像を得ている。
生体組織は、照射される光の波長により光の吸収特性及び散乱特性が異なるため、例えば特開2002−95635号公報において、可視光領域の照明光を離散的な分光特性の狭帯域なRGB面順次光を生体組織に照射し、生体組織の所望の深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
また、特開2003−93336号公報において、可視光領域の照明光による画像信号を信号処理し離散的な分光画像を生成し、生体組織の所望の深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
特開2002−95635号公報 特開2003−93336号公報
しかしながら、例えば上記特開2003−93336号公報に記載の装置では、信号処理により分光画像を得ることで、狭帯域なRGB光を生成するためのフィルタを必要としないが、得られた分光画像を単にモニタに出力しているために、モニタに表示される画像が生体組織の所望の深部の組織情報の観察に適した色調の画像とならず、視認性が良好とは言えない虞れがある。
従って、本発明は、上記事情に鑑みてなされたものであり、信号処理により得られた分光画像に基づく生体組織の所望の深部の組織情報を観察に適した色調の画像情報に調整し、かつ表示出力される信号の画質を向上させて視認性を良好にすることのできる生体観測装置を提供することを目的としている。
本発明の第1の生体観測装置は、被検体である生体に光を照射する照明部と、前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、を具備し、前記信号処理制御部は、前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、前記表示装置へ出力される信号の画質を調整する画質調整部と、前記撮像信号及び/または分光信号の信号レベルを増幅させる信号増幅部と、を備え、前記信号増幅部は、前記撮像信号と分光信号とでその増幅制御を変化させるものであって、前記増幅制御は、前記照明部から照射される光量を制御する光量制御部による光量制御ができなくなった場合に増幅機能が増幅動作を開始するときの追従速度であることを特徴とする。
本発明の第2の生体観測装置は、被検体である生体に光を照射する照明部と、前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、を具備し、前記信号処理制御部は、前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、前記表示装置へ出力される信号の明るさ及び/またはS/N比を改善する画質調整部と、を具備し、前記画質調整部は、撮像信号の輝度信号及び/または分光信号の輝度信号の重み付け加算を行うことを特徴とする。
本発明の第3の生体観測装置は、被検体である生体に光を照射する照明部と、前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、を具備し、前記信号処理制御部は、前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、前記表示装置へ出力される信号の明るさ及び/またはS/N比を改善する画質調整部と、を具備し、前記画質調整部は、撮像信号または該撮像信号から所定の変換によって生成された信号に対して空間周波数特性を変更する制御を行うことを特徴とする。
本発明によれば、信号処理により得られた分光画像に基づく生体組織の所望の深部の組織情報を観察に適した色調の画像情報に調整し、かつ表示出力される信号の画質を向上させることができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図26は本発明の実施例1に係わり、図1はカラー画像信号から分光画像信号を作成する際の信号の流れを示す概念図、図2は分光画像信号の積分演算を示す概念図、図3は電子内視鏡装置の外観を示す外観図、図4は図3の電子内視鏡装置の構成を示すブロック図、図5は図4のチョッパーの外観を示す外観図、図6は図3のCCDの撮像面に配置される色フィルタの配列を示す図、図7は図6の色フィルタの分光感度特性を示す図、図8は図4のマトリックス演算部の構成を示す構成図、図9は光源のスペクトルを示すスペクトル図、図10は生体の反射スペクトルを示すスペクトル図である。
11は図4の電子内視鏡装置により観察する生体組織の層方向構造を示す図、図12は図4の電子内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図、図13は白色光の各バンドの分光特性を示す図、図14は図13の白色光による各バンド画像を示す第1の図、図15は図13の白色光による各バンド画像を示す第2の図、図16は図13の白色光による各バンド画像を示す第3の図、図17は図8のマトリックス演算部で生成された分光画像の分光特性を示す図、図18は図17の各分光画像を示す第1の図、図19は図17の各分光画像を示す第2の図、図20は図17の各分光画像を示す第3の図である。
21は図4の色調整部の構成を示すブロック図、図22は図21の色調整部の作用を説明する図、図23は図4の色調整部の変形例の成を示すブロック図、図24は図17の分光画像の第1の変形例の分光特性を示す図、図25は図17の分光画像の第2の変形例の分光特性を示す図、図26は図17の分光画像の第3の変形例の分光特性を示す図である。
本発明の実施例における生体観測装置としての電子内視鏡装置では、照明用光源から被検体である生体に光を照射し、その照射光に基づいて生体から反射される光を撮像部である固体撮像素子にて受光し光電変換することにより、カラー画像信号である撮像信号を生成し、その撮像信号から光学的波長狭帯域の画像に対応する分光信号である分光画像信号を信号処理によって生成するようになっている。
以下、本発明に係る実施例1について説明する前に、本発明の基礎となるマトリックス算出方法について説明する。ここで、マトリックスとは、カラー画像(以下通常画像と呼ぶ)を生成するために取得されるカラー画像信号から、分光画像信号を生成する際に用いられる所定の係数である。
また、このマトリックスの説明に続き、より正確な分光画像信号を求めるための補正方法、生成された分光画像信号のS/N比を向上させるS/N比の改善方法について説明する。なお、この補正方法、S/N比の改善方法に関しては、必要に応じて使用すれば良い。また、以下、ベクトル及び行列(マトリックス)は太文字あるいは「」(例えば、行列Aを“Aの太文字”あるいは“「A」”と表記)で、それ以外は文字修飾なしで表記する。
(マトリックス算出方法)
図1は、カラー画像信号(ここでは、説明を簡単にするために、R・G・Bとするが、後述する実施例のように、補色型固体撮像素子においては、G・Cy・Mg・Yeの組合せでも良い)から、より光学的波長狭帯域の画像に対応する分光画像信号を生成する際の信号の流れを示した概念図である。
まず、電子内視鏡装置は、R・G・Bのそれぞれのカラー感度特性を数値データ化する。ここで、R・G・Bのカラー感度特性とは、白色光の光源を用い、白色の被写体を撮像する時にそれぞれ得られる波長に対する出力の特性である。
なお、R・G・Bのそれぞれのカラー感度特性は、簡略化したグラフとして各画像データの右に示されている。また、この時の、R・G・Bのカラー感度特性をそれぞれn次元の列ベクトル「R」・「G」・「B」とする。
次に、電子内視鏡装置は、抽出したい分光画像用狭帯域パンドパスフィルタF1・F2・F3(電子内視鏡装置は、先見情報として、構造を効率よく抽出できるフィルタの特性を知っている。このフィルタの特性とは、波長帯域が略590nm〜略610nm、略530nm〜略550nm、略400m〜略430nmをそれぞれ通過帯域とするものである。)の特性を数値データ化する。
なお、ここで“略”とは、波長においては±10nm程度を含む概念である。この時のフィルタの特性をそれぞれn次元の列ベクトル「F1」・「F2」・「F3」とする。得られた数値データを基に、以下の関係を近似する最適な係数セットを求める。即ち、
[数1]
Figure 0004500207
となるマトリックスの要素を求めればよい。
上の最適化の命題の解は数学的には、以下のように与えられる。R・G・Bのカラー感度特性を表すマトリックスを「C」、抽出したい狭帯域パンドパスフィルタの分光特性を表すマトリックスを「F」、求める係数マトリックスを「A」とすると、
[数2]
Figure 0004500207
となる。従って、(1)式に示した命題は、以下の関係を満足するマトリックス「A」を求めるに等しい。
[数3]
Figure 0004500207
ここで、分光特性を表すスペクトルデータとしての点列数nとしては、n>3であるので、(3)式は1次元連立方程式ではなく、線形最小二乗法の解として与えられる。即ち、(3)式から擬似逆行列を解けばよい。マトリックス「C」の転置行列を「C」とすれば、(3)式は
[数4]
Figure 0004500207
となる。「CC」はn×nの正方行列であるので、(4)式はマトリックス「A」についての連立方程式と見ることができ、その解は、
[数5]
Figure 0004500207
で与えられる。
(5)式にて求められたマトリックス「A」について、電子内視鏡装置は、(3)式の左辺の変換を行うことで、抽出したい狭帯域パンドパスフィルタF1・F2・F3の特性を近似させることができる。以上が、本発明の基礎となるマトリックス算出方法の説明である。
このようにして算出されたマトリックスを用いて、後述するマトリックス演算部436が通常カラー画像信号から分光画像信号を生成する。
(補正方法)
次に、より正確な分光画像信号を求めるための補正方法について説明する。
上述のマトリックス算出方法の説明においては、CCD等の固体撮像素子が受光する光束が、完全な白色光(可視域において、全ての波長強度が同じ)である場合に正確に適用されるものである。即ち、RGBの出力がいずれも同じである場合に、最適な近似となる。
しかし、実際の内視鏡下では、照明する光束(光源の光束)は完全な白色光ではなく、生体の反射スペクトルも一律ではないので、固体撮像素子が受光する光束も白色光でない(色が着いているので、RGBの値は同じではない)。
従って、実際の処理において、(3)式に示した命題をより正確に解くためには、RGBのカラー感度特性に加え、照明光の分光特性、生体の反射特性を考慮することが望ましい。
ここで、カラー感度特性をそれぞれR(λ)、G(λ)、B(λ)とし、照明光の分光特性の一例をS(λ)、生体の反射特性の一例をH(λ)とする。なお、この照明光の分光特性および生体の反射特性は、必ずしも検査を行う装置、被検体の特性でなくてもよく、例えば予め取得しておいた一般的な特性としても良い。
これらの係数を用いると、補正係数kR・kG・kBは、
[数6]
kR=(∫S(λ)×H(λ)×R(λ)dλ)−1
kG=(∫S(λ)×H(λ)×G(λ)dλ)−1
kB=(∫S(λ)×H(λ)×B(λ)dλ)−1 …(6)
で与えられる。感度補正マトリックスを「K」とすると、以下のように与えられる。
[数7]
Figure 0004500207
従って、係数マトリックス「A」については、(5)式に(7)式の補正を加えて、以下のようになる。
[数8]
Figure 0004500207
また、実際に最適化を行う場合、目標とするフィルタの分光感度特性(図1中のF1・F2・F3)が負のときは画像表示上では0となる(つまりフィルタの分光感度特性のうち正の感度を有する部分のみ使用される)ことを利用し、最適化された感度分布の一部が負になることも許容されることが付加される。電子内視鏡装置は、ブロードな分光感度特性から狭帯域な分光感度特性を生成するためには、図1に示すように目標とするF1・F2・F3の特性に、負の感度特性を付加することで、感度を有する帯域を近似した成分を生成することができる。
(S/N比の改善方法)
次に、生成された分光画像信号のS/N比及び精度を向上させる方法について説明する。このS/N比の改善方法は、前述した処理方法に付加することにより、さらに以下の課題を解決するものである。
)前述のマトリックス算出方法における原信号(R・G・B)のいずれかが仮に飽和状態となると、処理方法におけるフィルタF1乃至F3の特性が、構造を効率よく抽出できるフィルタの特性(理想とする特性)と大きく異なってしまう可能性がある(R・G・Bの中、2つの信号だけ生成される場合は、その2つの原信号がいずれも飽和していないことが必要である)。
ii)カラー画像信号から分光画像信号への変換の際に、広帯域のフィルタから狭帯域フィルタ生成するため、感度の劣化が発生し、生成された分光画像信号の成分も小さくなり、S/N比が良くない。
このS/N比改善の方法とは、図2に示されるように、照明光の照射を通常画像(一般的なカラー画像)の1フィールド(1フレーム)中に数回(例えばn回、nは2以上の整数)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図2においては、I0乃至Inで示されている。なお、これは照明光の制御のみで実現可能である。)。
これにより、電子内視鏡装置は、1回の照射強度を小さくすることができ、RGB信号のいずれもがそれぞれ飽和状態となるのを抑えることができる。また、数回に分割された画像信号は、後段でn枚分の加算を行う。これにより、電子内視鏡装置は、信号成分を大きくしてS/N比を向上させることができる。図2で、積算部438a乃至438cはS/N比を改善する画質調整部として機能する。
以上が、本発明の基礎となるマトリックス演算方法、またこれと共に実施することが可能な正確な分光画像信号を求めるための補正方法、生成された分光画像信号のS/N比を向上させる方法の説明である。
ここで、上述のマトリックス算出方法の変形例について説明する。
(マトリックス算出方法の変形例)
カラー画像信号をR,G,B、推定する分光画像信号をF1,F2,F3とする。なお、厳密には、カラー画像信号R,G,Bは、画像上の位置x,yの関数でもあるので、例えばR(x,y)と表記すべきだが、ここでは省略する。
R,G,BからF1,F2,F3を計算する3×3の行列「A」を推定することが目標となる。「A」が推定されれば、R,G,BからF1,F2,F3の計算は、以下の(9)式で可能となる。
[数9]
Figure 0004500207
ここで、以下のデータの表記を定義する。
被検体の分光特性:H(λ)、「H」=(H(λ1),H(λ2),…,H(λn))
λは波長であり、tは行列演算における転置を表す。同様に、
照明光の分光特性:S(λ)、「S」=(S(λ1),S(λ2),…,S(λn))
CCDの分光感度特性:J(λ)、「J」=(J(λ1),J(λ2),…,J(λn))
色分解を行うフィルタの分光特性:原色の場合
R(λ)、「R」=(R(λ1),R(λ2),…,R(λn))
G(λ)、「G」=(G(λ1),G(λ2),…,G(λn))
B(λ)、「B」=(B(λ1),B(λ2),…,B(λn))
「R」、「G」、「B」は(10)式に示すように、行列「 C」で1つにまとめられる。
[数10]
Figure 0004500207
画像信号R,G,B、分光信号F1,F2,F3を行列で以下のように表記する。
[数11]
Figure 0004500207
画像信号「P」は次式で計算される。
[数12]
Figure 0004500207
いま、「Q」を得るための色分解フィルタを「F」とすると、(12)式同様に
[数13]
Figure 0004500207
ここで、重要な第1の仮定として、いま、被検体の分光反射率が基本的な3つの分光特性の線形和で表現できると仮定すると、「H」は以下のように表記できる。
[数14]
Figure 0004500207
ここで、「D」は3つの基本スペクトルD1(λ)、D2(λ)、D3(λ)を列ベクトルに持つ行列で、「W」は「H」に対するD1(λ)、D2(λ)、D3(λ)の寄与をあらわす重み係数である。被検体の色調がそれほど大きく変動しない場合には、この近似が成立することが知られている。
(14)式を(12)式に代入すると、次式を得る。
[数15]
Figure 0004500207
ここで、3×3の行列「M」は、行列「CSJD」の計算結果を1つにまとめた行列を示す。
同様に、(14)式を(13)式に代入して、次式を得る。
[数16]
Figure 0004500207
同じく、「M’」は、行列「FSJD」の計算結果を1つにまとめた行列を示す。
結局、(15)式と(16)式から「W」を消去して、以下の式を得る。
[数17]
Figure 0004500207
「M−1」は行列「M」の逆行列を示す。結局、「M’M−1」は3×3の行列となり、推定目標の行列「A」となる。
ここで、重要な第2の仮定として、色分解をバンドパスフィルタで行う場合、そのバンド内における被検体の分光特性を1つの数値で近似できると仮定する。すなわち、
[数18]
Figure 0004500207
色分解用のバンドパスが完全なバンドパスでなく、他の帯域にも感度を持つ場合も考慮して、この仮定が成立する場合、(15)式、(16)式における「W」を上記「H」と考えれば、結局(17)式と同様な行列が推定できる。
次に、本発明に係る実施例1における電子内視鏡装置の具体的な構成について、図3を参照して説明する。なお、以下に示す他の実施例でも同様の構成である。
図3に示すように、電子内視鏡装置100は、内視鏡101、内視鏡装置本体105表示装置としての表示モニタ106を有している。また、内視鏡101は、被検体の体内に挿入される挿入部102、挿入部102の先端に設けられた先端部103、挿入部102の先端側とは反対側に設けられ、先端部103の湾曲動作等を指示するためのアングル操作部104から主として構成されている。
内視鏡101で取得された被検体の画像は、内視鏡装置本体105にて所定の信号処理がなされ、表示モニタ106において、処理された画像が表示される。
次に、図4を参照して、内視鏡装置本体105について詳しく説明する。なお、図4は、同時式の電子内視鏡装置100のブロック図である。
図4に示すように、内視鏡装置本体105は、主に照明部としての光源部41、制御部42、本体処理装置43から構成されている。制御部42及び本体処理装置43は、前記光源部41及び/または撮像部としてのCDD21の動作を制御し、表示装置である表示モニタ106へ撮像信号を出力する信号処理制御部を構成している。
なお、本実施例では、1つのユニットである内視鏡装置本体105内に光源部41と画像処理等を行う本体処理装置43を有するものとして説明を行うが、これらの光源部41と本体処理装置43は、内視鏡装置本体105とは別のユニットとして、取り外し可能なように構成されていても良い。
光源部41は、制御部42および内視鏡101に接続されており、制御部42からの信号に基づいて所定の光量で白色光(完全な白色光でない場合も含む)の照射を行う。また、光源部41は、白色光源としてのランプ15、光量を調整するための光量制御部としてのチョッパー16、チョッパー16を駆動するためのチョッパー駆動部17を有している。
チョッパー16は、図5に示すように、点17aを中心とし、所定の半径rの円盤状の構造体に円周方向に所定の長さを有する切り欠き部が設けられた構成を備える。この中心点17aは、チョッパー駆動部17に設けられた回転軸と接続されている。つまり、チョッパー16は、中心点17aを中心に回転運動を行う。また、この切り欠き部は、所定の半径毎に複数設けられている。同図においては、この切り欠き部は、半径r0から半径raの間では、最大の長さ=2πr×θ0度/360度、幅=r0−raである。また、同様に、半径raから半径rbの間では、最大の長さ=2πra×2θ1度/360度、幅=ra−rb、半径rbから半径rcの間では、最大の長さ=2πrb×2θ2度/360度、幅=rb−rcという構成である(それぞれの半径は、r0>ra>rb>rcとする)。
なお、チョッパー16における切り欠き部の長さ、幅は一例であり、本実施例に限定されるわけではない。
また、チョッパー16は、この切り欠き部の略中央に半径方向に延伸する突起部160aを有する。なお、制御部42は、この突起部160aにより光が遮断された時にフレームを切換えることにより、1フレーム前と1フレーム後に照射される光の間隔を最小限にし、被検体の動き等によるブレを最小限にするものである。
また、チョッパー駆動部17は図4における矢印で示されるように、ランプ15に対する方向に移動が可能な構成となっている。
つまり、制御部42は、図5に示されたチョッパー16の回転中心17aとランプからの光束(点線円で示されている)との距離Rを変えることができる。例えば、図5に示された状態では、距離Rがかなり小さいので、照明光量は小さい状態にある。距離Rを大きくする(チョッパー駆動部17をランプ15から遠ざける)ことで、光束が通過できる切り欠き部が長くなるため、照射時間が長くなり、制御部42は、照明光量を大きくすることができる。
上述のように、電子内視鏡装置では、新しく生成した分光画像S/N比としては不十分である可能性があることと、分光画像の生成に必要なRGB信号のいずれかの信号が飽和している場合には正しい演算が行われたことにはならないので、照明光量を制御する必要がある。この光量調節をチョッパー16およびチョッパー駆動部17が担うことになる。 また、光源部41にコネクタ11を介して接続された内視鏡101は、先端部103に対物レンズ19及びCCD等の固体撮像素子21(以下、単にCCDと記載する)を備えている。CCD21は、照明部を構成する光源部41からの照射光に基づいて被検体である生体から反射される光を光電変換し、撮像信号を生成する撮像部を構成するものである。本実施例におけるCCDは単板式(同時式電子内視鏡用に用いられるCCD)であり、原色型である。なお、図6はCDDの撮像面に配置される色フィルタの配列を示している。また、図7は図6の色フィルタにおけるRGBそれぞれの分光感度特性を示している。
また、図4に示すように、挿入部102、光源部41から照射された光を先端部103に導くライトガイド14、CCDで得られた被検体の画像を本体処理装置43に伝送するための信号線、処置を行うための鉗子チャネル28等を備えている。なお、鉗子チャネル28に鉗子を挿入するための鉗子口29は、操作部104近傍に設けられている。 また、本体処理装置43、光源部41と同様、コネクタ11を介して内視鏡101に接続される。本体処理装置43は、CCD21を駆動するためのCCDドライブ回路431を備えている。また、本体処理装置43は、通常画像を得るための信号回路系として輝度信号処理系と色信号処理系を有する。
輝度信号処理系は、CCD21に接続され輪郭補正を行う輪郭補正部432と、輪郭補正部432で補正されたデータから輝度信号を生成する輝度信号処理部434を有する。また、色信号処理系は、CCD21に接続され、CCD21で得られた信号のサンプリング等を行いRGB信号を生成するサンプルホールド回路(S/H回路)433a乃至433cと、S/H回路433a乃至433cの出力に接続され、色信号の生成を行う色信号処理部435を有する。
そして、前記輝度信号処理系の出力と前記色信号処理系の出力から1つの通常画像を生成する通常画像生成部437が設けられ、通常画像生成部437から切換部439を介して、表示モニタ106にY信号、R−Y信号、B−Y信号が送られる。
一方、分光画像を得るための信号回路系として、S/H回路433a乃至433cの出力(RGB信号)が入力され、RGB信号に対して所定のマトリックス演算を行うマトリックス演算部436が設けられている。マトリックス演算とは、カラー画像信号同士に加算処理等を行い、また、上述のマトリックス算出方法(あるいはその変形例)により求められたマトリックスを乗算する処理をいう。
なお、本実施例では、このマトリックス演算の方法として、電子回路処理(電子回路を用いたハードウェアによる処理)を用いた方法について説明するが、後述の実施例のように、数値データ処理(プログラムを用いたソフトウェアによる処理)を用いた方法であっても良い。また、実施するにあたっては、これらの方法の組み合わせとすることも可能である。
図8、マトリックス演算部436の回路図を示している。RGB信号はそれぞれ抵抗群31a乃至31cを介して、増幅器32a乃至32cに入力される。それぞれの抵抗群は、RGB信号がそれぞれ接続される複数の抵抗を有しており、それぞれの抵抗の抵抗値はマトリクス係数に応じた値となっている。即ち、それぞれの抵抗によりRGB信号の増幅率を変化させ、増幅器で加算(減算でも良い)する構成となっている。それぞれの増幅器32a乃至32cの出力は、マトリックス演算部436の出力となる。つまり、このマトリックス演算部436は、いわゆる重み付け加算処理を行っている。なお、ここで用いられるそれぞれの抵抗における抵抗値を可変としても良い。
マトリックス演算部436の出力は、それぞれ積算部438a乃至438cに接続され、積分演算が行われた後、それぞれの分光画像信号ΣF1乃至ΣF3に対して色調整部440にて後述する色調整演算が行われ、分光画像信号ΣF1乃至ΣF3よりカラーチャンネルRch、Gch、Bchが生成される。生成されたカラーチャンネルRch、Gch、Bchは切換部439を介して表示モニタ106に送られる。なお、色調整部440の構成については、後述する。
なお、切換部439は、通常画像と分光画像の切換えを行うものであり、また分光画像同士の切換表示も可能である。つまり操作者は、通常画像、Rchによる分光チャンネル画像、Gchによる分光チャンネル画像、Bchによる分光チャンネル画像から選択的に表示モニタ106に表示させることができる。また、いずれか2つ以上の画像を同時に表示モニタ106に表示可能な構成としても良い。特に、通常画像と分光チャンネル画像を同時に表示可能とした場合には、一般的に観察を行っている通常画像と分光チャンネル画像を簡単に対比することができ、それぞれの特徴(通常画像の特徴は、色度合いが通常の肉眼の観察に近くて観察しやすい。分光チャンネル画像の特徴は、通常画像では観察できない所定の血管等を観察することができる。)を加味した上で、観察することができ診断上非常に有用である。
次に、本実施の形態における電子内視鏡装置100の動作について図4を参照して詳しく説明する。
なお、以下においては、まず通常画像を観察する際の動作について説明し、後に分光画像を観察する際の動作について説明する。
まず、光源部41の動作を説明する。制御部42からの制御信号に基づいて、チョッパー駆動部17は、所定の位置に設定され、チョッパー16を回転させる。ランプ15からの光束は、チョッパー16の切り欠き部を通過し、集光レンズにより、内視鏡101と光源部41の接続部にあるコネクタ11内に設けられた光ファイババンドルであるライトガイド14の入射端に、集光される。
集光された光束は、ライトガイド14を通り、先端部103に設けられた照明光学系から被検体の体内に照射される。照射された光束は、被検体内で反射し、対物レンズ19を介して、CCD21において図6で示した色フィルタ別に信号が収集される。
収集された信号は、上記の輝度信号処理系と色信号処理系に並列に入力される。輝度信号系の輪郭補正部432には、色フィルタ別に収集された信号が画素ごとに加算され入力され、輪郭補正後、輝度信号処理部434に入力される。輝度信号処理部434では、輝度信号が生成され、通常画像生成部437に入力される。
また一方で、CCD21で収集された信号は、各フィルタ毎にS/H回路433a乃至433cに入力され、それぞれR・G・B信号が生成される。さらにR・G・B信号は、色信号処理部435にて色信号が生成され、通常画像生成部437において、前記輝度信号および色信号からY信号、R−Y信号、B−Y信号が生成され、切換部439を介して、表示モニタ106に被検体の通常画像が表示される。
次に、分光画像を観察する際の動作について説明する。なお、通常画像の観察と同様の動作を行うものに関しては、ここでは省略する。
操作者は、内視鏡装置本体105に設けられているキーボードあるいは内視鏡101の操作部104に設けられているスイッチ等を操作することにより、通常画像から分光画像を観察する指示を行う。この時、制御部42は、光源部41および本体処理装置43の制御状態を変更する。
具体的には、必要に応じて、光源部41から照射される光量を変更する。上述のように、CCD21からの出力が飽和することは望ましくないため、分光画像の観察時は通常画像の観察時に比して照明光量を小さくする。また、制御部42は、CCDからの出力信号が飽和しないように光量を制御するとともに、飽和しない範囲にて照明光量を変化させることもできる。
また、制御部42による本体処理装置43への制御変更としては、切換部439から出力される信号を通常画像生成部437の出力から色調整部440の出力に切換える。また、S/H回路433a乃至433cの出力は、マトリックス演算部436で増幅・加算処理が行われ、それぞれの帯域に応じて積算部438a乃至438cに出力され、積算処理後に色調整部440に出力される。チョッパー16で、照明光量を小さくした場合でも、積算部438a乃至438cにて、保存・積算することで、図2に示したように、信号強度を上げることができ、また、S/N比が向上した分光画像を得ることができる。
以下、本実施例における具体的なマトリックス演算部436のマトリックス処理について記載する。本実施例では、図7に実線で示されたRGB色フィルタの分光感度特性から、同図中に示された理想的な狭帯域バンドパスフィルタF1乃至F3(ここではそれぞれの透過波長領域をF1:590nm〜620nm、F2:520nm〜560nm、F3:400nm〜440nmとした)に近いバンドパスフィルタ(以下擬似バンドパスフィルタと呼ぶ)を作成しようとした場合、前述の(1)式から(5)式に示した内容により、以下のマトリックスが最適となる。
[数19]
Figure 0004500207
更に、(6)式及び(7)式に示した内容により補正を行うと、以下の補正係数を得る。
[数20]
Figure 0004500207
なお、(6)式に示す光源のスペクトルS(λ)は図9に示すものであり、(7)式に示す注目する生体の反射スペクトルH(λ)は図10に示すものである、という先見情報を使用している。
従って、マトリックス演算部436にて行われる処理は、数学的には以下のマトリックス演算と同値となる。
[数21]
Figure 0004500207
このマトリックス演算を行うことにより擬似フィルタ特性(図7にはフィルタ擬似F1乃至F3の特性として示されている)が得られる。即ち、上述のマトリックス処理は、カラー画像信号に、上述のようにして予め生成された擬似バンドパスフィルタ(即ちマトリックス)を用いて、分光画像信号を作成するものである。
この擬似フィルタ特性を用いて生成された内視鏡画像の一例を以下に示す。
図11に示すように、体腔内組織45は、例えば深さ方向に異なった血管等の吸収体分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管46が多く分布し、またこの層より深い中層には毛細血管の他に毛細血管より太い血管47が分布し、さらに深層にはさらに太い血管48が分布するようになる。
一方、体腔内組織45に対する光の深さ方向の深達度は、光の波長に依存しており、可視域を含む照明光は、図12に示すように、青(B)色のような波長が短い光の場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。また、青(B)色光より波長が長い、緑(G)色光の場合、青(B)色光が深達する範囲よりさらに深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測される。さらにまた、緑(G)色光より波長が長い、赤(R)色光は、さらに深い範囲まで光が到達する。
体腔内組織51の通常観察時におけるRGB光は、図13に示すように、各波長域がオーバーラップしているために、
(1)B帯域光によりCCD21で撮像される撮像信号には図14に示すような浅層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(2)また、G帯域光によりCCD21で撮像される撮像信号には図15に示すような中層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(3)さらにR帯域光によりCCD21で撮像される撮像信号には図16に示すような深層での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
そして内視鏡装置本体105により、これらRGB撮像信号を信号処理することで、内視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能となる。
上述のマトリックス演算部436におけるマトリックス処理は、カラー画像信号に、上述のようにして予め生成された擬似バンドパスフィルタ(マトリックス)を用いて、分光画像信号を作成するものである。例えば図17に示すような所望の深層組織情報が抽出可能な離散的で狭帯域な分光特性の擬似バンドパスフィルタF1乃至F3を用いて、分光画像信号F1乃至F3が得られる。擬似バンドパスフィルタF1乃至F3は、図17に示すように、各波長域がオーバーラップしていないために、
(4)擬似バンドパスフィルタF3による分光画像信号F3には図18に示すような浅層での組織情報を有するバンド画像が撮像され、また、
(5)擬似バンドパスフィルタF2による分光画像信号F2には図19に示すような中層での組織情報を有するバンド画像が撮像され、さらに
(6)擬似バンドパスフィルタF1による分光画像信号F1には図20に示すような深層での組織情報を有するバンド画像が撮像されれる。
つぎに、このようにして得られた分光画像信号F1乃至F3に対して色調整部440は、最も単純な色変換の例として、分光画像信号F1をカラーチャンネルRchに、分光画像信号F2をカラーチャンネルGchに、分光画像信号F3をカラーチャンネルBchに、それぞれ割り付け、切換部439を介して、表示モニタ106に出力する。
色調整部440は、図21に示すように、3×3マトリックス回路61と、3×3マトリックス回路61前後に設けた3組のLUT62a,62b,62c,63a,63b,63cと、LUT62a,62b,62c,63a,63b,63cのテーブルデータや3×3マトリックス回路61の係数を変更する係数変更回路64と、を備えた色変換処理回路440aで構成されている
色変換処理回路440aに入力する分光画像信号F1乃至F3は、各バンドデータ毎にLUT62a,62b,62cにより逆γ補正や、非線形なコントラスト変換処理等が行われる。
次に、3×3マトリックス回路61にて、色変換が行われた後、後段のLUT63a,63b,63cにてγ補正や、適当な階調変換処理が行われる。
これらLUT62a,62b,62c,63a,63b,63cのテーブルデータや3×3マトリックス回路61の係数を、係数変更回路64で変更することができる。
係数変更回路64による変更は、内視鏡101の操作部等に設けられた処理変換スイッチ(図示せず)からの制御信号に基づいて行われる
これら制御信号を受けた係数変更回路64は、予め色調整部440内に記憶されている係数データから適切なデータを呼び出し、このデータで、現在の回路係数を書き換える。
次に具体的な色変換処理内容について述べる。式(22)に色変換式の一例を示す。
[数22]
Figure 0004500207
この式(22)による処理は、分光チャンネル画像Rch、Gch、Bchに分光画像信号F1乃至F3を波長の短い順に割り当てる色変換である。
これらカラーチャンネルRch、Gch、Bchによるカラー画像で観察した場合、例えぱ図22に示すような画像となる。太い血管が深い位置にあり、分光画像信号F3が反映され、カラーとしては青色系のパターンとして示される。中層付近にある血管網は分光画像信号F2が強く反映されるので、カラー画像としては赤色系のパターンとして示される。血管網の内、粘膜表面付近に存在するものは黄色系のパターンとして表現される。
とくに、この粘膜表面付近のパターンの変化は、早期病変の発見鑑別診断にとって重要である。しかし、黄色系のパターンは、背景粘膜とのコントラストが弱く、視認性が低いという傾向がある。
そこで、この粘膜表面付近のパターンをより明瞭に再現するために、式(23)に示す変換が有効となる。
[数23]
Figure 0004500207
この式(23)による処理は、分光画像信号F1をある一定の比率で分光画像信号F2に混合し生成されたデータを新たに分光Gチャンネル画像Gchとする変換例であり、血管網などの吸収散乱体が深さ位置で異なることをより明確化することが可能となる。
したがって、係数変更回路64を通じてマトリックス係数を調整することで、ユーザは表示効果を調整することが可能となる。動作としては、内視鏡101の操作部に設けられたモード切替スイッチ(図示せず)に連動して色変換処理回路440a内では、スルー動作から、マトリックス係数がデフォルト値に設定される。
ここでいうスルー動作とは、3×3マトリックス回路61には単位行列、LUT62a,62b,62c,63a,63b,63cは非変換テールを搭載した状態をいう。デフォルト値とは、マトリックス係数ωG,ωBに、例えばωG=0.2、ωB=0.8という設定値を与えるということである。
そして、ユーザは内視鏡101の操作部等を操作して、この係数をωG=0.4、ωB=0.6などというように調整を行なう。LUT62a,62b,62c,63a,63b,63cには、必要に応じて逆γ補正テーブル、γ補正テーブルが適用される。
色変換処理回路440aは3×3マトリックス回路61からなるマトリックス演算器により色変換するとしたが、これに限らず、数値演算プロセッサ(CPU)やLUTで色変換処理手段を構成してもよい。
例えば、上記実施例では、3×3マトリックス回路61を中心とした構成により色変換処理回路440aを示したが、図23に示すように、色変換処理回路440aを各バンドに対応した3次元LUT65で置き換えても同様の効果を得ることができる。この場合、係数変更回路64は、内視鏡101の操作部等に設けられた処理変換スイッチ(図示せず)からの制御信号に基づいてテーブルの内容を変更する動作を行なう。
なお、擬似バンドパスフィルタF1乃至F3のフィルタ特性は可視光域に限定されず、擬似バンドパスフィルタF1乃至F3の第1の変形例として、フィルタ特性を例えば図24に示すようなの離散的な分光特性の狭帯域としても良い。この第1の変形例のフィルタ特性は、生体表面の凹凸と極深層付近の吸収体を観察するために、F3を近紫外域に設定し、F1を近赤外域に設定することで、通常観察では得られない画像情報を得るのに好適である。
また、擬似バンドパスフィルタF1乃至F3の第2の変形例として、図25に示すように擬似バンドパスフィルタF2の代わりに、フィルタ特性が短波長域で近接する2つの擬似バンドパスフィルタF3a、F3bとしても良い。これは、この付近の波長帯域が生体の極表層付近までしか深達しないことを利用して、吸収特性より散乱特性の微妙な差を映像化するのに好適である。医学上は、早期ガンなど粘膜表層付近の細胞配列の乱れを伴う疾患の識別診断に利用することが想定される。
さらに、擬似バンドパスフィルタF1乃至F3の第3の変形例として、図26に示すように所望の層組織情報が抽出可能な離散的な分光特性の2バンドの狭帯域のフィルタ特性の2つの擬似バンドパスフィルタF2、F3をマトリックス演算部436生成するようにしてもよい。
図26の擬似バンドパスフィルタF2、F3の場合、色調整部440は、狭帯域の分光画像観察時での画像のカラー化において、分光チャンネル画像Rch←分光画像信号F2、分光チャンネル画像Gch←分光画像信号F3、分光チャンネル画像Bch←分光画像信号F3として、RGB3チャンネルのカラー画像を生成する。
すなわち、分光画像信号F2及び分光画像信号F3に対して、色調整部440は以下の式(24)によりRGB3チャンネルのカラー画像(Rch、Gch、Bch)を生成する。
[数24]
Figure 0004500207
例えば、h11=1、h12=0、h21=0、h22=1.2、h31=0、h32=0.8とする。
例えば分光画像F3は中心波長が主に415nmに相当する画像、分光画像F2は中心波長が主に540nmに相当する画像である。
また、例えば、分光画像F3は中心波長が主に415nmに相当する画像、分光画像F2は中心波長が主に540nmに相当する画像、分光画像F1は中心波長が主に600nmに相当する画像として演算されていても、色調整部440でF1画像を使用せずに、F2、F3画像でカラー画像を構成することもできる。この場合、式(24)の代りに以下の式(24’)のマトリックス演算を適用すればよい。
Rch=h11×F1+h12×F2+h13×F3
Gch=h21×F1+h22×F2+h23×F3
Bch=h31×F1+h32×F2+h33×F3 …(24’)
上記式(24’)のマトリックス演算で、h11、h13、h21、h22、h31、h32の係数を0として、他係数を所定の数値に設定すればよい。
このように本実施例によれば、通常の電子内視鏡画像(通常画像)を生成するためのカラー画像信号を利用して、擬似的な狭帯域フィルタを生成することにより、分光画像用の光学的波長狭帯域バンドパスフィルタを用いずに、血管パターン等の所望の深部の組織情報を有する分光画像を得ることができると共に、色調整部440の色変換処理回路440aのパラメータを分光画像に応じて設定することで、狭帯域の分光画像観察時の深達度情報という特徴を生かした表現方法を実現することが可能となり、生体組織の組織表面近くの所望の深部の組織情報を効果的に分離して視認することできる。
また、特に、色調整部440において、
(1)2バンドの分光画像の場合、例えば415nmに相当する画像をカラーチャンネルGch、Bchに、例えば540nmに相当する画像をカラーチャンネルRchに割り付けた場合、
あるいは、
(2)3バンドの分光画像の場合、例えば415nmに相当する画像をカラーチャンネルBchに、例えば445nmに相当する画像をカラーチャンネルGchに、例えば500nmに相当する画像をカラーチャンネルRchに割り付けた場合、次の画像効果が得られる。
・生体組織の最表層の上皮、あるいは粘膜が低彩度の色で再現され、最表層の毛細血管が低輝度、つまり暗線として再現されることで、最表層の毛細血管の高い視認性が得られる。
・同時に、毛細血管より深い位置の血管が色相方向で青方向へ回転して再現されるため、最表層の毛細血管との識別がより容易になる。
また、前記チャンネルの割り当て方法によれば、大腸内視鏡検査において通常観察下では黄色調で観測される残渣および胆汁が赤色調で観測される。
図27はマトリックス演算部の他の構成例を示すブロック図である。
マトリックス演算部436以外の構成は、図4と同様である。図27に示すマトリックス演算部436の構成が、図8に示したマトリックス演算部436の構成と異なるのみである。異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
図8では、マトリックス演算を電子回路による、いわゆるハードウェア処理により行うこととしたが、図27では、このマトリックス演算を数値データ処理(プログラムを用いたソフトウェアによる処理)により行う。
図27に示すマトリックス演算部436は、RGBそれぞれのカラー画像信号を記憶しておく画像メモリ50を有する。また、式(21)に示されたマトリックス「A’」のそれぞれの値が数値データとして記憶されている係数レジスタ51を有する。
係数レジスタ51と画像メモリ50は、乗算器53a乃至53iに接続され、さらに乗算器53a、53d、53gは、乗算器54aに接続され、乗算器54aの出力が、図4における積算部438aと接続される。また、乗算器53b、53e、53hは、乗算器54bに接続され、その出力は積算部438bと接続される。また、乗算器53c、53f、53iは、乗算器54cに接続され、その出力が積算部438cと接続される。
本実施例の動作としては、入力されたRGB画像データは、一度画像メモリ50に記憶される。次に、所定の記憶装置(図示しない)に保存されている演算プログラムにより、係数レジスタ51からマトリックス「A’」の各係数が画像メモリ50に記憶されたRGB画像データと、乗算器で乗算される。
なお、図27には、R信号と各マトリックス係数が乗算器53a乃至53cで乗算される例が示されている。また、同図のように、G信号と各マトリックス係数が乗算器53d乃至53fで乗算され、B信号と各マトリックス係数が乗算器53g乃至53iで乗算される。マトリックス係数とそれぞれ乗算されたデータは、乗算器53a、53d、53gの出力が、乗算器54aで、乗算器53b、53e、53hの出力が、乗算器54bで、また、乗算器53c、53f、53iの出力は、乗算器54cでそれぞれ乗算される。乗算器54aの出力は、積算部438aに送られる。また、乗算器54b、乗算器54cの出力は、それぞれ積算部438b、438cに送られる。
図27の構成例によると、図8の構成例の場合と同様、血管パターンが鮮明に表示される分光画像を得ることができる。
また、図27の構成例では、図8の構成例のようにハードウェアによってマトリックス処理を行うのではなく、ソフトウェアを用いて行うため、例えば、各マトリックス係数の変更などに迅速に対応することができる。
また、マトリックス係数を結果の値のみ、即ち、マトリックス「A’」としてではなく、S(λ)、H(λ)、R(λ)、G(λ)、B(λ)別に記憶しておき、必要に応じて演算することによりマトリックス「A’」を求めて使用するとした場合には、この中の1つの要素のみを変更することができ、利便性が向上する。例えば、照明光の分光特性S(λ)のみの変更等が可能である。
図28は本発明の実施例2に係る電子内視鏡装置の構成を示すブロック図である。
実施例2は、実施例1とほとんど同様であるので、実施例1と異なる点のみ説明し、同一の構成要素には同一符号を付して説明は省略する。
本実施例は、実施例1とは、照明光量の制御を行う光源部41が異なるものである。本実施例では、光源部41から照射される光量の制御をチョッパーではなく、ランプ15の電流制御により行う。具体的には、図28に示されたランプ15に光量制御部としての電流制御部18が設けられている。
本実施例の動作としては、制御部42により、RGBのいずれのカラー画像信号も飽和状態とならないように、ランプ15に流れる電流の制御を行う。これにより、ランプ15は発光のために使用される電流が制御されるため、その光量は、その電流の大きさに応じて変化する。
なお、その他の動作に関しては、実施例1と同様であるため、ここでは省略する。
本実施例によると、実施例1と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施の形態では、実施例1のようにチョッパーを用いた光量制御方法に比して、制御方法が簡単であるという利点がある。
図4の生体観測装置では、分光画像取得時に、光を所定の時間間隔で遮断し光量制御する図5のチョッパー16を用いて、光量を少なくするように制御している。すなわち、適切なダイナミックレンジでR,G,B全ての色分解信号が撮影されるように光源からの光量を少なくするようにしている。
本発明の実施例3では、図4の生体観測装置におけるチョッパー16の代替として、絞りバネ、シャッターなどの可動遮光部材や、メッシュターレット、NDフィルタなどの遮光フィルタを使用した例を説明する。
図29は絞りバネ66の例を示している。絞りバネ66は、中心軸67を中心に回転し、先端部にはある大きさに集光した光束68を遮断する遮断部69と、出射光量を制御する切り欠き70を有する絞り羽根部71により、光を所定の時間間隔で遮断し光量制御する。
この絞りバネ66は、光源部41の出射光量を制御する調光の絞りバネと兼用としても良いし、別途遮断する機構としてもう一つ設けても良い。
図30はシャッター66Aの例を示している。シャッター66Aは、絞りバネ66の例と同様な形をしているが、遮断部69に絞りバネ66の切り欠き70がない構造となっている。シャッター66Aの動作は、全開か全閉かの2つの動作状態を制御することにより、光を所定の時間間隔で遮断し光量制御する。
図31はメッシュターレット73の例を示している。回転板74に開けた孔に格子間隔の大きいメッシュ75やそれより格子間隔の小さいメッシュ76が溶接などで取り付けられ、回転中心軸77を中心に回転する。この時、メッシュの長さ、メッシュの粗さ、位置等を変え、光を所定の時間間隔で遮断し光量制御する。
図32及び図33は本発明の実施例4に係わり、図32は電子内視鏡装置の構成を示すブロック図、図33は図32のCCDの電荷蓄積時間を示す図である。
実施例4は、実施例1とほとんど同様であるので、実施例1と異なる点のみ説明し、同一の構成要素には同一符号をつけ説明は省略する。
本実施例は、主として実施例1とは光源部41およびCCD21が異なるものである。実施例1では、CCD21に図6で示したカラーフィルタが設けられ、このカラーフィルタによってカラー信号を生成するいわゆる同時式であったのに対し、本実施例4では、照明光を1フレームの期間にRGBの順に照明してカラー信号を生成するいわゆる面順次式を用いる。
図32に示すように、本実施例における光源部41は、ランプ15の前面に調光を行う絞り25が設けられ、絞り25のさらに前面には、R,G,Bの面順次光を出射するために1フレームで例えば1回転するRGB回転フィルタ23が設けられている。また、絞り25は、光量制御部としての絞り制御部24に接続されており、絞り制御部24からの制御信号に応じて、ランプ15から照射された光束のうち透過させる光束を制限し、光量を変化させることで、調光可能としている。また、RGB回転フィルタ23は、RGB回転フィルタ制御部26に接続され、所定の回転速度で回転する。
本実施例における光源部の動作としては、ランプ15から出力された光束が、絞り25で所定の光量に制限され、絞り25を透過した光束は、RGB回転フィルタ23を介することによって、所定の時間毎にR・G・Bそれぞれの照明光として、光源部から出力される。また、それぞれの照明光は、被検体内で反射し、CCD21で受光される。CCD21で得られた信号は、照射される時間に応じて、内視鏡装置本体105に設けられた切換部(図示しない)で振り分けられ、S/H回路433a乃至433cにそれぞれ入力される。つまり、光源部41からRのフィルタを介した照明光が照射された場合には、CCD21で得られた信号は、S/H回路433aに入力されることになる。なお、その他の動作については実施例1と同様であるため、ここでは省略する。
本実施例4によると、実施例1と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施例4では、実施例1と異なり、いわゆる面順次方式によるメリットを享受することができる。なお、このメリットとは、例えば後述する図34の変形例のようなものが挙げられる。
また、上述の実施例1では、RGBカラー信号の飽和を避けるために、照明光量(光源部からの光量)を制御・調節している。これに対し、本実施例4では、CCD21の電子シャッターを調整する方法を採用している。CCD21では、一定時間内に入射した光強度に比例した電荷が蓄積し、その電荷量を信号としている。この蓄積時間に相当するのが、電子シャッターと呼ばれるものである。この電子シャッターをCCDドライブ回路431にて調節することで、電荷の蓄積量即ち信号量を調整することができる。図33に示すように、電荷蓄積時間を1フレーム毎に順次変化させた状態でのRGBカラー画像を得ることで、同様の分光画像を得ることができる。即ち、前述のそれぞれの実施例において、絞り25による照明光量の制御は通常画像を得るために用い、分光画像を得る際には、電子シャッターを変化させることにより、R,G,Bカラー信号の飽和を避けることが可能である。
図34は本発明の実施例4の他の例であるCCDの電荷蓄積時間を示す図である。本例は、図33の例と同様に、面順次方式を利用し、かつ、この面順次方式の利点を生かしたものである。すなわち、図33の例での電子シャッター制御による電荷蓄積時間にR,G,B毎に重み付けを加えることで、分光画像データの生成を簡素化することができるものである。図34の例では、CCD21の電荷蓄積時間を1フレーム期間内にR,G,B毎に変化させることができるCCDドライブ回路431を有していることになる。その他は、図33の例と同様である。
図34の例の動作としては、RGB回転フィルタ23を介してそれぞれの照明光が照射された場合に、CCD21における電子シャッターによる電荷蓄積時間を変化させる。ここで、照明光がR,G,Bのそれぞれの場合におけるCCD21の電荷蓄積時間をtdr、tdg、tdb(なお同図ではBのカラー画像信号は蓄積時間を設けていないためtdbは省略されている)とする。例えば、(21)式にて示されたマトリックス処理を行う場合のF3擬似フィルタ画像は、通常内視鏡にて得られるRGB画像から、
[数25]
F3=−0.050R−1.777G+0.829B …(25)
の演算を行うので、図33でのRGB別の電子シャッター制御による電荷蓄積時間を
[数26]
tdr:tdg:tdb=0.050:1.777:0.829 …(26)
となるように設定すれば良い。また、マトリックス演算部では、単にRとG成分のみ反転させた信号とB成分を加算する。これにより、実施例1乃至実施例3と同様の分光画像を得ることができる。
図33及び図34の実施例4によると、血管パターンが鮮明に表示される分光画像を得ることができる。また、図34の例では、カラー信号の作成に面順次方式を利用しており、さらに電子シャッターを用いてカラー信号毎に電荷蓄積時間を異ならせることができるため、これにより、マトリックス演算部においては、単に加算、差分処理を行うだけでよく、処理を簡略化することが可能である。すなわち、電子シャッター制御でマトリクス演算相当の動作を行え、処理を簡略化することができる。
なお、実施例1乃至3の光量制御と実施例4(図33又は図34の例)の電子シャッター(電荷蓄積時間)の制御とを同時に行うように構成できることは勿論である。また、前述したように、通常観察画像はチョッパー等による照明光量の制御で行い、分光観察画像を得る際には、電子シャッターによる制御を行うようにしてもよいことは勿論である。
次に、実施例5乃至実施例7として、通常画像の生体信号及び/または分光画像の分光信号の信号レベルを増幅させる信号増幅手段及びその増幅制御について説明する。
本発明の実施例5の生体観測装置の構成は、図4,図28又は図32が適用される。そして、それらの構成におけるAGC(オートゲインコントロール)は、通常画像観察時には、図4,図28又は図32における輝度信号処理部434及び色信号処理処理部435それぞれの信号増幅手段であるAGC回路(図示略)にて行われる。分光画像観察時でのAGCは、図4,図28又は図32におけるマトリックス演算部436内の信号増幅手段であるAGC回路(例えば図8の増幅器32a乃至32cを可変増幅器としたもの)にて行われる。
そして、通常画像観察時と分光画像観察時とで、増幅動作の制御、即ちAGCの制御を変化させる。AGCの制御とは、増幅機能の増幅レベル、増幅機能の動作速度(追従速度)、或いは、増幅機能の動作/非動作(オン/オフと言ってもよい)のことである。
増幅機能の動作/非動作(オン/オフ)については、通常画像観察時には、AGCを動作させない場合が多い。これは通常光での観察では光量が十分あるためである。一方、分光画像観察時には、光量が不足するのでAGCを動作させるようにする。
増幅機能の動作速度(追従速度)については、例えば、カメラと被写体となる情景が離れていくと、徐々に光量が少なくなって暗くなっていく。最初は調光機能が働き、暗くなったとこで光量を上げようとするが、調光動作が追従できない。追従できなくなったところで、AGCが動作する。そのAGC動作のスピードが重要で、追従速度が速すぎると、暗くなったときにノイズが出て困る。速すぎず遅すぎない適宜なスピードが重要である。通常画像観察時はAGC動作はかなりゆっくりでもよいが、分光画像観察時は直ぐに暗くなるのでAGC動作は速い目に追従させてやる必要がある。これにより、表示出力される信号の画質を改善することができる。
本発明の実施例6の生体観測装置の構成は、図4,図28又は図32が適用される。そして、それらの構成におけるAGC(オートゲインコントロール)は、通常画像観察時には、図4,図28又は図32における輝度信号処理部434及び色信号処理処理部435それぞれの信号増幅手段であるAGC回路(図示略)にて行われる。分光画像観察時でのAGCは、図4,図28又は図32におけるマトリックス演算部436内の信号増幅手段であるAGC回路(例えば図8の増幅器32a乃至32cを可変増幅器としたもの)にて行われる。
本実施例6では、信号増幅手段であるAGC回路は、チョッパー16、ランプ電流制御部18、或いは、絞り制御部24等の光量制御手段と連動して動作するよう制御される。
前記連動動作の制御は、例えば、光量制御手段おいて出射光量が最大となった後にはじめて、信号増幅手段であるAGC回路が機能するよう動作させる。すなわち、光量制御手段が最大光量の制御とされて(例えば調光羽が開ききって)、光量が最大になっても画面が暗いときにはじめてAGCを機能させる制御を行う。これにより、光量制御の範囲を広くすることができる。
本発明の実施例7の生体観測装置の構成は、図4,図28又は図32が適用される。そして、それらの構成におけるAGC(オートゲインコントロール)は、通常画像観察時には、図4,図28又は図32における輝度信号処理部434及び色信号処理処理部435それぞれの信号増幅手段であるAGC回路(図示略)にて行われる。分光画像観察時でのAGCは、図4,図28又は図32におけるマトリックス演算部436内の信号増幅手段であるAGC回路(例えば図8の増幅器32a乃至32cを可変増幅器としたもの)にて行われる。
通常画像と分光画像を同時に表示する場合(RGBから分光画像は推定されるので同時表示も可能である)、CCD飽和を考えて、光量は減光されている場合がある。例えば、通常画像はCCDの飽和を抑えるために光量を落としていることがある。この場合、通常画像は当然暗くなっている。一方、分光画像については、細部を観察できるように適切なダイナミックレンジ内で調整される。従って、通常画像と分光画像を同時に表示する場合には、そのままだと、通常画像が暗いままになるので、通常画像の明るさを同時表示用に調整して上げて出力する。画像出力の増幅は、信号増幅手段であるAGC回路で電気的にゲインを上げることによって行う。これにより、同時表示の際の画質を改善することができる。
次に、実施例8乃至実施例11を参照して画質改善について説明する。
本発明の実施例8の生体観測装置の構成は、図35が適用される。本実施例8は、広帯域輝度信号を分光画像の輝度成分に重み付け加算し、明るさとS/Nの向上を図るものである。
図35において、電子内視鏡装置100は、スコープ101、内視鏡装置本体105、表示モニタ106を有している。内視鏡装置本体105は、主に光源部41、制御部42、本体処理装置43から構成されている。本体処理装置43には、CCD21を駆動するためのCCDドライブ回路431が設けられ、通常画像を得るための信号回路系と、分光画像を得るための信号回路系を有する。
通常画像を得るための信号回路系は、CCD21で得られた信号のサンプリング等を行いRGB信号を生成するS/H回路433a乃至433c、S/H回路433a乃至433cの出力に接続され、色信号の生成を行う色信号処理部435を有する。
一方、分光画像を得るための信号回路系として、S/H回路433a乃至433cの出力にマトリックス演算部436が設けられ、RGB信号に対して所定のマトリックス演算が行われる。
色信号処理部435の出力とマトリックス演算部436の出力とは、切換部450を介してホワイトバランス処理(以下WB)回路451、γ補正回路452、及び色変換回路(1)453に供給し、Y信号、R−Y信号、B−Y信号を生成し、さらに後述の強調された輝度信号YEH、R−Y信号、B−Y信号を生成して、色変換回路(2)455に供給し、R,G,B出力としてを表示モニタ106に送られる。
ところで、光学フィルタを具備せずに分光画像観察(NBI観察)を実施する際には、本体処理装置(プロセッサ)43内部の処理系にて、通常観察画像とは別に、個別に分光画像を生成するマトリックス演算部436を要する。しかしながら、このような構成にて通常観察画像と分光画像を個別に生成する構成だと、ホワイトバランス処理(WB)やγ補正、強調回路なども個別に2系統に持つ必要があり、回路規模が増大してしまう。
又、明るさを向上させる為に電気的なゲインアップを実施すると、分光画像におけるS/Nが劣化してしまう為、複数枚の画像を撮像して積算して信号成分を大きくしS/N比を向上させる方法(例えば特開2003−93336号公報における積算部438a〜438cがこれに相当している)が提案されているが、複数枚の画像を取得する為には、高い周波数でCCDを駆動する必要が有り、技術的に困難であった。
そこで、上記問題を解決するために、本発明の実施例8では、図35に示すように以下の構成を追加している。
すなわち、
(1) 通常観察画像と分光画像を生成する際に、以下の回路a)〜c)は共通に使用する構成とする。a)WB回路451、b)γ補正回路452、c)強調回路454。
(2) 明るさとS/Nを向上させるために、広帯域輝度信号生成部444を設けて、CCDの出力信号からS/Nの劣化していない広帯域輝度信号(YH)を生成し、分光画像の輝度成分Yとの重み付け加算を実施する。
つまり、上記広帯域輝度信号(YH)と、色変換部(1)453にて生成された分光画像(F1,F2,F3)における輝度信号(Y)について、それぞれ重み付け回路(445, 446)にて重み付けを実施して、加算部447にて加算を実施し、加算後の輝度信号について、強調回路454により輪郭補正を実施する。即ち、広帯域輝度信号生成部444と、重み付け回路445,446と、加算部447とは、画質調整部を構成している。輪郭補正された輝度信号YEHは色変換部(2)455に供給され、その後、色変換部(2)455により、再度RGBに変換されて、表示モニタ106に出力される。
上記重み付け回路(445, 446)における重み付け係数は、観察モードや接続されるCCDの画素数に応じて切り替えることが可能であり、分光画像のコントラスト劣化が問題の無い範囲で任意に設定することが可能、例えば、重み付け回路445の重み係数をα、重み付け回路446の重み係数をβとすると、以下の方法が考えられる。
A)通常観察画像の表示時:α=0、β=1
B)CCDタイプA接続時における分光画像の表示時:α=0.5、β=0.5
C)CCDタイプB接続時における分光画像の表示時:α=1、β=0
本実施例8の構成による効果は、複数枚の画像を取得することなく、明るさとS/Nを向上することが可能となること、又、重み付けの係数は、接続CCDの種類により最適化が可能であるため、各CCDの画素数や分光特性に応じて、コントラスト劣化の影響が無い範囲で最適化が可能であること、である。
本発明の実施例9の生体観測装置の構成は、図36又は図37が適用される。本実施例9は、S/Nの改善を図るものである。
このS/N比改善の方法とは、図2に示されるように、照明光の照射を通常画像(一般的なカラー画像)の1フィールド(1フレーム)中に数回(例えばn回、nは2以上の整数)に分けて照射する(照射強度をそれぞれの回で変化させても良い。図2においては、I0乃至Inで示されている。なお、これは照明光の制御のみで実現可能である。)これにより、1回の照射強度を小さくすることができ、RGB信号のいずれもがそれぞれ飽和状態となるのを抑えることができる。また、数回に分割された画像信号は、後段でn枚分の加算を行う。これにより、信号成分を大きくしてS/N比を向上させることができる。
前述したように、光学フィルタを具備せずにNBI観察を実施する際には、明るさとS/Nを改善する為に、1フィールド期間内に複数回の撮像を行うことにより複数枚(n)の画像を撮像する構成となっており、後段処理系にて前記複数枚の画像を加算することにより、信号成分を大きくしてS/N比を向上させることができる。
しかしながら、上記構成に示す様に1フィールド期間内に複数回の撮像を実施する為には、以下の問題が有る。
(1)CCDの画素数が多くなればなるほど駆動周波数が高くなるため、本体処理装置(プロセッサ)に駆動回路を持っている構成では、CCDまでの接続ケーブルを高いドライブ能力を持つ回路にて駆動する必要があり、技術的な難易度が高い。
(2)駆動周波数が高くなるほど、不要な放射電磁界成分も高周波となり、EMC(電磁波ノイズ)対策も困難となる。
上記問題を解決するために、本発明の実施例9では、以下の構成を追加する。
すなわち、例えば図4の構成に対して、図36に示すように、CCDドライブ回路431を本体処理装置(プロセッサ)43からスコープ101側に移設して、CCDドライブ回路431−CCD21間の接続ケーブルを極力短くする構成とする。
これにより、ケーブル長が短くなるので、駆動波形の歪みが小さくできる。不要なEMC放射が少なくなる。また、CCDドライブ回路431がスコープ101側にあるので、駆動回路に要求されるドライブ能力が低く設定できる。つまり、ドライブ能力が低くてもよく、コスト的にも有利である。
また、例えば図4の構成に対して、図37に示すように、CCDドライブ回路431は本体処理装置(プロセッサ)43に内蔵させるが、プロセッサ43からは正弦波に近い波形にて駆動パルスを出力し、スコープ101先端のCCD近傍に設けた波形整形回路450にて波形の整形を行い、CCD21を駆動する構成とする。
これにより、プロセッサ43からのCCD駆動パルスが正弦波に近い波形で出力可能な為、EMC特性がよい。つまり、不要輻射電磁界を抑えることができる。
本発明の実施例10の生体観測装置の構成は、図4,図28又は図32が適用される。そして、それらの構成において、ノイズ抑制回路は、分光画像観察時に必要なマトリックス演算部436内若しくはマトリックス演算部436の前段の入力部に設けられる。
分光画像観察時では、波長の帯域制限を行うため、通常画像観察時と比べて照明光量が小さい状態になることがある。その場合には、照明光量が小さいことによる明るさの不足分を撮像された画像を増幅することで電気的に補正できるが、単にAGC回路による増幅率アップ等では暗い画像部分でのノイズが目立つ画像になってしまう。そこで、ノイズ抑制回路を通すことにより、暗部領域におけるノイズを抑制しつつ、明部領域のコントラスト低下を低減する。ノイズ抑制回路については、特願2005-82544号の図5に記載されている。
図38に示すノイズ抑制回路36は、面順次のR,G,Bの画像データを扱う図32に示すような生体観測装置に適用される回路であって、ノイズ抑制回路には、面順次のR,G,Bの画像データが入力される。
図38において、ノイズ抑制回路36は、撮像手段であるCCDにより撮像された画像データに対して、複数の空間フィルタによるフィルタ処理を行うフィルタ処理部81と、前記画像データの局所領域における明るさを算出する明るさ算出手段としての平均画素算出部82と、前記フィルタ処理部81の出力に対して、前記フィルタ処理部81の出力及び/又は前記平均画素算出部82の出力に応じた重み付けを行う重み付け部83と、前記重み付け部83の出力に対して、ノイズ抑制処理を施した画像データを生成するための逆フィルタ処理を行う逆フィルタ処理部85と、を備えて構成されている。
フィルタ処理部81におけるp個のフィルタ係数は、R,G,Bの入力画像データ毎に切り替えられるもので、フィルタ係数格納部84から読み出されて各フィルタA1〜Apに設定される。
平均画素値算出部82は、フィルタ処理部81で空間フィルタ処理に用いるのと同じ入力画像データのn×n画素の小領域(局所領域)の画素値に対して平均値Pavを算出する。その平均値Pav及びフィルタ処理部81でのフィルタ処理結果の値に応じてルックアップテーブル(LUT)86から重み付け係数Wを読み出して重み付け部83の重み付け回路W1、W2、…、Wpに設定する。
図38の回路により、画像データの局所領域の明るさに応じて空間フィルタによるノイズ抑制処理の重み付けを変えることにより、画像データのコントラストの低下を回避しながらノイズを抑制する。
本発明の実施例11の生体観測装置は、図4,図28又は図32が適用される。そして、それらの構成においては、マトリックス演算部436内に図示しないが空間周波数のフィルタ(LPF)を配設しているが、この空間周波数特性を、分光画像表示するときに少し変更する制御を行う、例えば帯域を広げるように制御を行う。
制御部42は、本体処理装置(プロセッサ)43内のマトリックス演算部436に設けた空間周波数のフィルタ特性(LPF特性)の設定を変更する、具体的には、制御部42は、分光画像観察時にLPFの帯域特性を広帯域化するように変更する制御を行う。このような制御動作については、特願2004−25978号の図4に記載されている。
ここで、生体観測装置が、現在、通常画像観察モードにあるとする。
この状態において、術者は、内視鏡101の挿入部102を患者の体腔内に挿入することにより、内視鏡検査を行うことができる。体腔内における患部等の検査対象組織の表面の血管の走行状態等をより詳しく観察しようと思う場合には、術者は、図示しないモード切替スイッチを操作する。
モード切替スイッチが操作されると、制御部42は、光源部41及び本体処理装置43の動作モードを分光画像観察モードの設定状態に変更する。
具体的には、制御部42は、光源部41に対しては、光量を増加させるように光量制御を行い、本体処理装置43に対しては、マトリックス演算部436内の空間周波数のLPFの帯域特性を広帯域化するように変更し、また切換部439を制御してマトリックス演算部436を含む分光画像処理系に切り換える等の変更設定を行う。
このような変更設定を行うことにより、分光画像観察モードにおいて、生体組織の表層付近における毛細血管の走行状態を識別し易い状態で表示することができる。
また、LPFの信号通過の帯域特性を広帯域化しているので、毛細血管の走行状態や、特定色Gの照明光のもとで撮像したGの色信号により得られるのと等価な、表層付近に近い血管走行状態などの分解能(解像度)を向上することができ、診断がし易い画質の良い画像が得られる。
このように動作する本実施例によれば、通常画像観察モードにおいて、既存の同時式によるカラー撮像機能を保持し、かつ分光画像観察モードにおいても本体処理装置43内の各部の係数等の設定を変更する等の処理特性を変更することにより、分光画像観察モードによる観察機能を十分に確保することができる。
本発明の実施例12の生体観測装置の構成は、図4,図28又は図32が適用される。そして、それらの構成においては、分光画像観察時であることを示すNBI表示を行う。
(1) 表示モニタ106に表示する場合
表示モニタ106上に、通常画像観察時は表示無し、分光画像観察時はNBIの文字を表示する。或いは、文字表示に代えて、モニタの例えば四隅のいずれかに○等の印を表示してもよい。
(2) 内視鏡装置本体105のフロントパネルに表示する場合…図39、図40、図41参照
操作パネル上に、単にLEDを設け、通常画像観察時は消灯、分光画像観察時は点灯する。具体的には、図39に示すように、NBIの文字の近傍にLED点灯部91を設け、通常画像観察時は消灯、分光画像観察時は点灯する。
図40に示すように、NBI文字自体92が点灯、あるいは、NBI文字以外の文字周辺部93が点灯するようにLEDを設け、通常画像観察時は消灯、分光画像観察時は点灯する。
図41に示すように、NBI文字自体94が点灯、あるいは、NBI文字以外の文字周辺部95が点灯するようにLEDを設け、通常画像観察時は緑色消灯、分光画像観察時は白色点灯等、色分け点灯する。
(3) 集中コントローラの画面上に表示する場合
生体観測装置を複数の装置からなるシステムで組み、それらを集中コントロールするコントローラー画面上に、図39、図40、図41と同様に表示する。或いは、分光画像観察モードの切替スイッチ(即ちNBIスイッチ)自体が、通常画像観察時は黒文字、分光画像観察時は反転文字で表示する。
(4) 上記以外の表示場所としては、キーボード、フットスイッチがある。
図42及び図43は本発明の実施例13の生体観測装置に係り、図42は色フィルタの配列を示す図、図43は図42に色フィルタの分光感度特性を示す図である。
実施例13の生体観測装置は、実施例1とほとんど同様であるので、実施例1と異なる点のみ説明し、同一の構成要素には同一符号をつけ説明は省略する。
本実施例は、主として実施例1とCCD21に設けられたカラーフィルタが異なるものである。実施例1では、図6で示したようにRGB原色型カラーフィルタが用いられるのに対し、本実施例では、補色型のカラーフィルタを用いる。
この補色型フィルタの配列は図42に示されているように、G、Mg、Ye、Cyの各要素から構成される。なお、原色型カラーフィルタの各要素と補色型カラーフィルタの各要素の関係は、Mg=R+B、Cy=G+B、Ye=R+Gとなる。
この場合、CCD21の全画素読み出しを行い、各色フィルタからの画像を信号処理又は画像処理することになる。また、原色型カラーフィルタについての(1)式〜(8)式及び(19)式〜(21)式について、補色型カラーフィルタの場合に変形すると、以下の(27)式より(33)式のようになる。但し、目標とする狭帯域のバンドパスフィルタの特性は同じとする。
[数27]
Figure 0004500207
[数28]
Figure 0004500207
[数29]
kG=(∫S(λ)×H(λ)×G(λ)dλ)−1
kMg=(∫S(λ)×H(λ)×Mg(λ)dλ)−1
kCy=(∫S(λ)×H(λ)×Cy(λ)dλ)−1
kYe=(∫S(λ)×H(λ)×Ye(λ)dλ)−1 …(29)
[数30]
Figure 0004500207
[数31]
Figure 0004500207
[数32]
Figure 0004500207
[数33]
Figure 0004500207
また、図43に、補色型カラーフィルタを用いた場合の分光感度特性、目標とするバンドパスフィルタ及び上記(27)式乃至(33)式により求められ擬似バンドパスフィルタの特性を示す。
なお、補色型フィルタを用いる場合には、図4で示されるS/H回路は、それぞれR・G・Bではなく、G・Mg・Cy・Yeについて行われることは言うまでもない。
本実施例によると、実施例1と同様、血管パターンが鮮明に表示される分光画像を得ることができる。また、本実施例では、補色型カラーフィルタを用いた場合のメリットを享受することができる。
以上、本発明における各実施例について説明を行ったが、本発明は、上記実施例を種々組みあせて用いても良く、また趣旨を一脱しない範囲での変形も考えられる。
例えば、既に述べた全ての実施例に対して、臨床中その他のタイミングにて操作者自ら新規の擬似バンドパスフィルタを作成し、臨床に適用することもできる。即ち、実施例1で示すと図4中の制御部42に、マトリックス係数を演算・算出することのできる設計部(図示しない)を設ける。
これにより、図3に示す内視鏡装置本体105に設けられたキーボードを介して条件を入力することで、操作者が知りたい分光画像を得るのに適した擬似バンドパスフィルタを新規に設計するとともに、算出されたマトリックス係数((19)式及び(31)式のマトリックス「A」の各要素に相当)に補正係数((20)式及び(32)式のマトリックス「K」の各要素に相当)を施した最終マトリックス係数((21)式及び(33)式のマトリックス「A’」の各要素に相当)を図4中のマトリックス演算部436に設定することで、即時臨床に適用することができる。
図44に、適用までの流れを示す。この流れについて詳しく説明すると、まず、操作者は、目標となるバンドパスフィルタの情報(例えば波長帯域等)をキーボード等を介して入力する。これにより、すでに所定の記憶装置等に記憶されている光源・カラーフィルタの特性等と共に、マトリックス「A’」が算出され、図43に示されるように、目標とするバンドパスフィルタの特性と共に、そのマトリックス「A’」による演算結果(擬似バンドパスフィルタ)が、スペクトル図としてモニタ上に表示される。
操作者はこの演算結果を確認した後、新たに作成されたマトリックス「A’」を使用する場合には、その設定を行い、このマトリックス「A’」を用いて実際の内視鏡画像が生成される。また、これと共に新たに作成されたマトリックス「A’」は、所定の記憶装置に記憶され、操作者の所定の操作に応じて、再度使用することができる。
これにより、操作者は既存のマトリックス「A’」にとらわれず、自らの経験等により新たなバンドパスフィルタを生成することができ、特に研究用として使用される場合に、効果が高いものである。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係るカラー画像信号から分光画像信号を作成する際の信号の流れを示した概念図。 本発明の実施例1に係る分光画像信号の積分演算を示す概念図。 本発明の実施例1に係る生体観測装置の外観を示す外観図。 図3の生体観測装置の構成を示すブロック図。 図4のチョッパーの外観を示す外観図。 のCCDの撮像面に配置される色フィルタの配列を示す図。 図6の色フィルタの分光感度特性を示す図。 図4のマトリックス演算部の構成を示す構成図。 本発明の実施例1に係る光源のスペクトルを示すスペクトル図。 本発明の実施例1に係る生体の反射スペクトルを示すスペクトル図。 図11は図4の生体観測装置により観察する生体組織の層方向構造を示す図。 図4の生体観測装置からの照明光の生体組織の層方向への到達状態を説明する図。 白色光の各バンドの分光特性を示す図。 図13の白色光による各バンド画像を示す第1の図。 図13の白色光による各バンド画像を示す第2の図。 図13の白色光による各バンド画像を示す第3の図。 図8のマトリックス演算部で生成された分光画像の分光特性を示す図。 図17の各分光画像を示す第1の図。 図17の各分光画像を示す第2の図。 図17の各分光画像を示す第3の図。 図4の色調整部の構成を示すブロック図。 図21の色調整部の作用を説明する図。 図4の色調整部の変形例の構成を示すブロック図。 図17の分光画像の第1の変形例の分光特性を示す図。 図17の分光画像の第2の変形例の分光特性を示す図。 図17の分光画像の第3の変形例の分光特性を示す図。 本発明の実施例1に係るマトリックス演算部の他の構成例を示すブロック図。 本発明の実施例2に係る生体観測装置の構成を示すブロック図。 本発明の実施例4に係る生体観測装置における光量制御手段の一例を示す図。 光量制御手段の他の例を示す図。 光量制御手段のもう1つの例を示す図。 本発明の実施例4に係る生体観測装置の構成を示すブロック図。 図32のCCDの電荷蓄積時間を示す図。 図32の変形例であってCCDの電荷蓄積時間を示す図。 本発明の実施例8に係る生体観測装置における画質改善の一例を示す図。 本発明の実施例9に係る生体観測装置における画質改善の一例を示す図。 本発明の実施例9に係る生体観測装置における画質改善の他の例を示す図。 本発明の実施例10に係る生体観測装置における画質改善の一例を示す図。 本発明の実施例12に係る生体観測装置における画質改善の一例を示す図。 本発明の実施例12に係る生体観測装置における画質改善の他の例を示す図。 本発明の実施例12に係る生体観測装置における画質改善のもう1つの他の例を示す図。 本発明の実施例13に係る生体観測装置における色フィルタの配列を示す図。 図42の色フィルタの分光感度特性を示す図。 本発明に係る生体観測装置におけるマトリックス演算の際のフローチャート。
符号の説明
15…ランプ
16…チョッパー
18…電流制御部
24…絞り制御部
41…光源部
42…制御部
43…本体処理装置(プロセッサ)
100…電子内視鏡装置(生体観測装置)
101…内視鏡
102…挿入部
103…先端部
104…アングル操作部
105…内視鏡装置本体
106…表示モニタ(表示装置)
436…マトリックス演算部
440…色調整部
440a…色変換処理回路
444…広帯域輝度信号生成部

Claims (3)

  1. 被検体である生体に光を照射する照明部と、
    前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、
    前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、
    を具備し、
    前記信号処理制御部は、
    前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、
    前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、
    前記表示装置へ出力される信号の画質を調整する画質調整部と、
    前記撮像信号及び/または分光信号の信号レベルを増幅させる信号増幅部と、
    を備え
    前記信号増幅部は、前記撮像信号と分光信号とでその増幅制御を変化させるものであって、
    前記増幅制御は、前記照明部から照射される光量を制御する光量制御部による光量制御ができなくなった場合に増幅機能が増幅動作を開始するときの追従速度である
    ことを特徴とする生体観測装置。
  2. 被検体である生体に光を照射する照明部と、
    前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、
    前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、
    を具備し、
    前記信号処理制御部は、
    前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、
    前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、
    前記表示装置へ出力される信号の明るさ及び/またはS/N比を改善する画質調整部と、
    を具備し、
    前記画質調整部は、撮像信号の輝度信号及び/または分光信号の輝度信号の重み付け加算を行うことを特徴とする生体観測装置。
  3. 被検体である生体に光を照射する照明部と、
    前記照射光に基づいて前記生体から反射される光を光電変換し、撮像信号を生成する撮像部と、
    前記照明部及び/または前記撮像部の動作を制御し、表示装置へ前記撮像信号を出力する信号処理制御部と、
    を具備し、
    前記信号処理制御部は、
    前記撮像信号から光学的波長狭帯域の画像に対応する分光信号を信号処理によって生成する分光信号生成部と、
    前記分光信号を前記表示装置へ出力する際に当該分光信号を形成する複数の帯域ごとに異なった色調を割り付ける色調整部と、
    前記表示装置へ出力される信号の明るさ及び/またはS/N比を改善する画質調整部と、
    を具備し、
    前記画質調整部は、撮像信号または該撮像信号から所定の変換によって生成された信号に対して空間周波数特性を変更する制御を行うことを特徴とする生体観測装置。
JP2005141534A 2005-05-13 2005-05-13 生体観測装置 Expired - Fee Related JP4500207B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2005141534A JP4500207B2 (ja) 2005-05-13 2005-05-13 生体観測装置
AU2006245248A AU2006245248B2 (en) 2005-05-13 2006-03-07 Biometric instrument
EP06715358A EP1880659A4 (en) 2005-05-13 2006-03-07 BIOMETRIC INSTRUMENT
RU2007146448/14A RU2378977C2 (ru) 2005-05-13 2006-03-07 Устройство для биологических наблюдений
CA002606895A CA2606895A1 (en) 2005-05-13 2006-03-07 Biological observation apparatus
KR1020077026147A KR100988113B1 (ko) 2005-05-13 2006-03-07 생체 관측 장치
BRPI0610260-3A BRPI0610260A2 (pt) 2005-05-13 2006-03-07 aparelho de observação biológica
CN2006800162245A CN101175435B (zh) 2005-05-13 2006-03-07 生物体观测装置
US11/914,347 US20090091614A1 (en) 2005-05-13 2006-03-07 Biological observation apparatus
PCT/JP2006/304388 WO2006120795A1 (ja) 2005-05-13 2006-03-07 生体観測装置
EP11000358.9A EP2332460B1 (en) 2005-05-13 2006-03-07 Biological observation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005141534A JP4500207B2 (ja) 2005-05-13 2005-05-13 生体観測装置

Publications (2)

Publication Number Publication Date
JP2006314629A JP2006314629A (ja) 2006-11-24
JP4500207B2 true JP4500207B2 (ja) 2010-07-14

Family

ID=37535820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005141534A Expired - Fee Related JP4500207B2 (ja) 2005-05-13 2005-05-13 生体観測装置

Country Status (2)

Country Link
JP (1) JP4500207B2 (ja)
CN (1) CN101175435B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068205B2 (ja) * 2008-03-19 2012-11-07 富士フイルム株式会社 電子内視鏡装置
JP5235473B2 (ja) 2008-04-04 2013-07-10 Hoya株式会社 分光特性推定装置
JP5483522B2 (ja) * 2008-08-12 2014-05-07 富士フイルム株式会社 画像取得装置
EP2386239A4 (en) 2009-05-12 2012-08-15 Olympus Medical Systems Corp IN VIVO IMAGING SYSTEM OF THE SUBJECT AND IN VIVO INTRODUCTION DEVICE IN THE FIELD
EP2347692A4 (en) * 2009-05-14 2012-08-01 Olympus Medical Systems Corp IMAGING DEVICE
JP5393525B2 (ja) * 2010-02-18 2014-01-22 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理装置の作動方法
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
EP2702927A4 (en) * 2012-03-30 2015-08-26 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP5715602B2 (ja) * 2012-09-07 2015-05-07 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2014128394A (ja) * 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置
JP6053653B2 (ja) * 2013-09-27 2016-12-27 富士フイルム株式会社 内視鏡装置
CN104083144B (zh) * 2013-11-28 2016-02-03 北京华科创智健康科技股份有限公司 一种电子内窥镜图像区域亮度控制的方法和装置
JP6272115B2 (ja) * 2014-04-10 2018-01-31 Hoya株式会社 内視鏡プロセッサおよび内視鏡システム
JP6606817B2 (ja) * 2014-09-26 2019-11-20 セイコーエプソン株式会社 測定装置
CN107847117B (zh) * 2015-04-30 2019-12-17 富士胶片株式会社 图像处理装置及图像处理方法
JP6491736B2 (ja) * 2017-12-28 2019-03-27 Hoya株式会社 内視鏡プロセッサおよび内視鏡システム
JPWO2019230306A1 (ja) * 2018-05-30 2021-07-15 パナソニックIpマネジメント株式会社 識別装置および識別方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148987A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
JP2002017667A (ja) * 1991-03-11 2002-01-22 Olympus Optical Co Ltd 画像処理装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004008412A (ja) * 2002-06-05 2004-01-15 Olympus Corp 内視鏡装置用光源装置及び内視鏡装置
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2005013611A (ja) * 2003-06-27 2005-01-20 Olympus Corp 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017667A (ja) * 1991-03-11 2002-01-22 Olympus Optical Co Ltd 画像処理装置
JP2000148987A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像処理装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004008412A (ja) * 2002-06-05 2004-01-15 Olympus Corp 内視鏡装置用光源装置及び内視鏡装置
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
JP2005013611A (ja) * 2003-06-27 2005-01-20 Olympus Corp 画像処理装置

Also Published As

Publication number Publication date
CN101175435A (zh) 2008-05-07
CN101175435B (zh) 2010-12-15
JP2006314629A (ja) 2006-11-24

Similar Documents

Publication Publication Date Title
JP4500207B2 (ja) 生体観測装置
KR100988113B1 (ko) 생체 관측 장치
JP4409523B2 (ja) 生体観測装置
JP4504324B2 (ja) 生体観測装置
EP1880657B1 (en) Biological observation apparatus
KR100953773B1 (ko) 생체 관측 장치용 신호 처리 장치
JP2006314557A (ja) 生体観測装置
JP2003093336A (ja) 電子内視鏡装置
JP6576895B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP2006341075A (ja) 生体観測装置用信号処理装置
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP2006325974A (ja) 生体観測装置
JP2006341076A (ja) 生体観測装置用信号処理装置
JP5068205B2 (ja) 電子内視鏡装置
JP2012035090A (ja) 電子内視鏡装置
JP2016043135A (ja) 内視鏡装置
JP2013226467A (ja) 電子内視鏡装置
JP2013226468A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100416

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4500207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees