JP2011234844A - 制御装置、内視鏡装置及びプログラム - Google Patents

制御装置、内視鏡装置及びプログラム Download PDF

Info

Publication number
JP2011234844A
JP2011234844A JP2010107863A JP2010107863A JP2011234844A JP 2011234844 A JP2011234844 A JP 2011234844A JP 2010107863 A JP2010107863 A JP 2010107863A JP 2010107863 A JP2010107863 A JP 2010107863A JP 2011234844 A JP2011234844 A JP 2011234844A
Authority
JP
Japan
Prior art keywords
light
image
wavelength band
illumination light
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010107863A
Other languages
English (en)
Inventor
Hiroshi Sasaki
佐々木  寛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010107863A priority Critical patent/JP2011234844A/ja
Publication of JP2011234844A publication Critical patent/JP2011234844A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

【課題】 通常光画像と特殊光画像を同時に撮影しつつ、高精度な特殊光画像を取得する事を可能とした制御装置、内視鏡装置及びプログラム等を提供すること。
【解決手段】 制御装置300は、白色光の波長帯域の光を含む第1の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部302と、第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部301と、を含む。
【選択図】 図1

Description

本発明は、制御装置、内視鏡装置及びプログラム等に関する。
従来、体腔内の組織に対して回転フィルタを用いてR1,G1,B1の3色の光を順次照射し、それらの反射光画像から作成した画像(白色光画像)を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の3色の光とは特性が異なる2種類の狭帯域光G2とB2を順次照射し、それらの反射光画像から作成した狭帯域画像を用いて診断を行う内視鏡システムが提案されている(例えば、特許文献1)。
特許文献1のような狭帯域画像を取得する内視鏡システムを用いて診断を行うことで、例えば白色光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
しかしこのような狭帯域画像(以降、照明光が白色光以外で撮影した画像を特殊光画像と呼ぶ)は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しいという欠点を持っている。
このような通常光画像と特殊光画像を取得できる内視鏡システムでは、それらの画像を同時には撮影する事ができず、通常光観察モード、特殊光観察モードといったモード切換により、別々に観察するというのが一般的である。
上記欠点を補うために照明光を切換える事なく白色光画像と特殊光画像を同時に生成する方法が特許文献2に示されている。
この方法は白色光と共に対象物からの蛍光を得るための励起光を合成した照明光を使用し、通常光画像と、前記励起光により得られる蛍光画像(特殊光画像の一種)を同時に取得するというものである。この方法の特徴は合成した照明光で撮影された画像から、被写体の分光特性を推定することにより通常光画像と共に蛍光画像を取得するというものである。
特開2006−68113号公報 特開2009−142415号公報
特許文献2のように通常光画像と蛍光画像を同時に取得可能であれば、蛍光画像で検出された病変部を通常光画像に重ねて表示する事でドクターの診断精度を向上させることが可能となる。しかし特許文献2の方法は分光推定を用いて被写体の分光特性を求めているため、その算出精度は十分には得られない。
特に特許文献1のような特殊光観察(NBI観察)を分光推定で実現する場合には、ヘモグロビンの吸光特性に基づく分光反射率を高精度に再現する必要がある。しかし、R1,G1,B1の3色の光からなる撮影画像からでは高精度な分光推定は困難であり本来の特殊光画像を得る事が出来ないという課題がある。
本実施形態の幾つかの態様によれば、白色光画像と特殊光画像を同時に撮影しつつ、高精度な特殊光画像を取得する事を可能とした制御装置、内視鏡装置及びプログラム等を提供することができる。
また、本実施形態の幾つかの態様によれば、高精度な特殊光画像を用いて白色光画像の表示形態を制御する事でドクターの診断精度を向上させること可能な制御装置、内視鏡装置及びプログラム等を提供することができる。
本発明の一態様は、白色光の波長帯域の光を含む第1の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部と、前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部と、を含む制御装置に関係する。
本発明の一態様では、第1の照明光と第2の照明光を、時系列的に異ならせて照射する。そして、第1照明光による第1照明光画像と、第2照明光による第2照明光画像とに基づいて特殊光画像を生成する。よって、照明光の照射による照明光画像に基づいて特殊光画像を生成するため、分光推定等の手法により生成した特殊光画像に比べて、より高精度な特殊光画像を生成できる。
本発明の他の態様は、白色光を照射する第1の光源と、少なくとも1つの特定の波長帯域の光を照射する第2の光源と、前記第1の光源の照射による白色光の波長帯域の光を含む第1の照明光と、前記第1の光源の照射による白色光の波長帯域の光及び前記第2の光源の照射による特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部と、を含む内視鏡装置に関係する。
本発明の他の態様は、白色光の波長帯域の光を含む第1の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部として、コンピュータを機能させるプログラムに関係する。
第1の実施形態において特殊光画像を取得する手法の説明図。 第1の実施形態において白色光画像を取得する手法の説明図。 第2の実施形態において特殊光画像(G2成分)を取得する手法の説明図。 第2の実施形態において白色光画像を取得する手法の説明図。 第2の実施形態において特殊光画像(B2成分)を取得する手法の説明図。 第2の実施形態において白色光画像を取得する手法の説明図。 本実施形態のシステム構成例。 白色光の波長と照明光量の関係図。 特殊光(NBI)の波長と照明光量の関係図。 合成光の波長と照明光量の関係図。 各タイミングにおける照明光の説明図。 撮像素子の構成例。 画像処理部の構成例。 特殊光画像生成部の構成例。 各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。 通常光画像補正部の構成例。 合成処理部の構成例。 本実施形態の他のシステム構成例。 図19(A)、図19(B)は撮像素子の他の構成例。 画像処理部の他の構成例。 ソフトウェア処理で用いられるコンピュータの構成例。 ソフトウェア処理で用いられるコンピュータの構成例。 本実施形態の処理を説明するためのフローチャート。 図24(A)は合成光(白色光とNBIのG2成分)の波長と照明光量の関係図。図24(B)は合成光(白色光とNBIのB2成分)の波長と照明光量の関係図。 各タイミングにおける照明光の説明図。 画像処理部の他の構成例。 特殊光画像生成部の他の構成例。 各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。 通常光画像補正部の他の構成例。 第3の実施形態において特殊光画像(NBI+R2成分)を取得する手法の説明図。 第3の実施形態において特殊光画像(NBI+R3成分)を取得する手法の説明図。 第3の実施形態において白色光画像を取得する手法の説明図。 本実施形態の他のシステム構成例。 狭帯域光源の分光特性。 回転フィルタの構成例。 NBI及びIRI(R2成分)の波長と照明光量の関係図。 NBI及びIRI(R3成分)の波長と照明光量の関係図。 白色光の波長と照明光量の関係図。 合成光(白色光+NBI+R2成分)の波長と照明光量の関係図。 合成光(白色光+NBI+R3成分)の波長と照明光量の関係図。 各タイミングにおける照明光の説明図。 画像処理部の他の構成例。 第1特殊光画像生成部の構成例。 各タイミングにおいて画像処理部が取得する画像と出力する画像の説明図。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず、本実施形態の手法について説明する。従来、面順次の方式を用いた内視鏡装置では、白色光画像と特殊光画像を同時に取得することは困難であった。これは、面順次とは白色光と特殊光を交互に照射する(さらに細かいケースでは白色光を構成するR,G,B及び特殊光を構成するG2,B2を順番に1つずつ照射する)方式であるためである。
しかし、特殊光画像は白色光画像と同時に取得することが望まれる。なぜなら、特殊光画像は、扁平上皮癌等の一部の病変や血管構造等を強調して表示することができる反面、独特な色味をしており、また非常に暗い画像になってしまうため、単独で用いるのではなく、白色光画像とあわせて利用することが望ましいからである。つまり、白色光画像をサポートする画像として、特殊光画像を取得することが想定されるのであるが、取得タイミングが異なるのでは、観察している領域も異なってしまう可能性があり、ドクターの診断等を補助する上で有用ではない。
上述の問題を解決するために、分光推定を用いて特殊光画像を生成する手法が提案されている。これは、白色光を照射して白色光画像を取得するとともに、分光推定技術を用いて白色光画像から被写体の分光反射率を推定し、特殊光画像を生成するものである。この手法によれば、取得した白色光画像に基づいて特殊光画像を生成するため、白色光画像と特殊光画像を同時に取得することが可能になる。
しかし、分光推定に基づく手法では、高精度の画像を取得することが難しい。特に狭帯域光の照射による画像である特殊光画像(NBI画像等)を、白色光画像のR,G,Bの各信号から再現することは非常に困難である。
そこで、本出願人は図1のような手法を提案する。本実施形態では、図1に示すように複数の照明光(図1の例では白色光と、白色光+特殊光)を時系列的に異なるタイミングで照射し、複数の照明光の照射により得られた画像(図1の例ではWimg(t)とWNimg(t+1)等)に基づいて、特殊光画像を取得する。
このように照明光を制御することで、第1のタイミングにおいて、基準となる信号を有する画像(特殊光に対応する信号を含まない画像、以下適宜基準画像と呼ぶ)を取得できるとともに、第2のタイミングにおいて比較対象となる信号を有する画像(特殊光に対応する信号を含む画像、以下適宜比較画像と呼ぶ)を取得できる。そのため、基準画像と比較画像を比べることで、特殊光画像に対応する信号を取り出すことが可能になる。
後述する図15に白色光画像と特殊光画像の取得タイミングの例を示す。上述の手法を用いることで、本実施形態では、図15に示したように、白色光画像と特殊光画像を同じタイミングで取得することができる。また、特殊光に対応する照明光(図1の例でいえば白色光+特殊光となる照明光)の照射による画像に基づいて、特殊光画像を取得しているため、分光推定等の手法に比べて高精度な特殊光画像を取得することができる。
以下、第1の実施形態及び第2の実施形態の手法について簡単に説明する。第1の実施形態においては、照明光として後述する図11に示すパターンを用いる。具体的な処理の流れを図1及び図2を用いて説明する。
図1に示すように、第1の実施形態では第1のタイミング(t)において図8に示す照明光(白色光)を照射し、第2のタイミング(t+1)において図10に示す照明光(白色光+B2+G2)を照射する。第1のタイミングにおいてはWimg(t)を取得し、第2のタイミングにおいてはWNimg(t+1)を取得する。そして、Wimg(t)とWNimg(t+1)とに基づいて、第2のタイミング(t+1)における特殊光画像Nimg(t+1)を取得する。
比較画像であるWNimg(t+1)が白色光と特殊光を合成した照明光による画像であり、基準画像であるWimg(t)が白色光の照明光による画像であることから、差分を求めることで白色光部分がキャンセルされ、特殊光画像を取得することができると考えられる。
しかし、WNimg(t+1)は第2のタイミングにおける画像であり、Wimg(t)は第1のタイミングにおける画像である。そのため、第1のタイミングと第2のタイミングとで、撮影している領域が大きく異なる場合等は、単純に差分を取ることは好ましくない。
そこで、本出願人の提案する手法では、図1のA1に示すように、動きベクトルVを用いてWimg(t)に対して動き補償処理を行い、cWimg(t+1)を取得してから、WNimg(t+1)との差分を求めている。
また、図1に示すように、動きベクトルVを求めるためにマッチング処理を行っているが、マッチング処理に関しても、Wimg(t)とWNimg(t+1)とをそのまま用いて行うことは好ましくない。なぜなら、WNimg(t+1)はWimg(t)に比べて、特殊光に対応する信号が含まれている分、明るい画像になっているためである。そこで、本出願人の提案する手法では、マッチングを正確に行うために、2つの画像の明るさ情報を同等にするイコライジング補正を行っている。
具体的には、図1のA2に示すように、それぞれの画像の信号値(図1の例ではG成分)の比からゲイン量Ggを求めて、WNimg(t+1)に乗ずる処理を行う。
上述したように、イコライジング補正及び動き補償処理を行った上で、差分を求めることで、第2のタイミングにおける特殊光画像Nimg(t+1)を取得できる。その後、図2に示すように、WNimg(t+1)とNimg(t+1)の差分を求めることで、第2のタイミングにおける白色光画像Wimg(t+1)を取得することができる。これは、取得したNimg(t+1)は第2のタイミングにおける特殊光画像に相当し、第2のタイミングにおける白色光と特殊光の合成光による画像であるWNimg(t+1)との差分を求めることで、特殊光部分がキャンセルされ、白色光に対応する信号が残るからである。
つまり、第1の実施形態においては、図15に示したように、全てのタイミングで白色光画像を取得できるとともに、2タイミングに1回の割合で特殊光画像を取得することができる。
また、第2の実施形態においては、照明光として後述する図25に示すパターンを用いる。具体的な処理の流れを図3〜図6を用いて説明する。第1の実施形態とは、照明光のパターンが異なるほか、第1の実施形態では同時に求めていた特殊光画像のG2成分とB2成分を交互に求める点が異なる。
第1の照明光は白色光とB2を合成した光であり、第2の照明光は白色光とG2を合成した光である。第1の照明光の照射タイミングにおける特殊光画像(B2成分)及び白色光画像を求める場合と、第2の照明光の照射タイミングにおける特殊光画像(G2成分)及び白色光画像を求める場合とに分けられる。
まず、第2の照明光の照射タイミングの場合を図3及び図4を用いて説明する。なお、第2の実施形態においては、特殊光画像及び通常光画像を求めるタイミングにおける取得画像をWCimgと表記し、1タイミング前で取得した画像をWPimgと表記する。ここで、WCimgが第1の実施形態における比較画像に対応し、WPimgが基準画像に対応する。
図3に示すように、第1のタイミング(t)において図24(A)に示す照明光(白色光+B2)を照射し、第2のタイミング(t+1)において図24(B)に示す照明光(白色光+G2)を照射する。ここで求めようとしているのはt+1における特殊光画像及び白色光画像であるため、第1のタイミングにおいてはWPimg(t)を取得し、第2のタイミングにおいてはWCimg(t+1)を取得する。
ここで、求めるものは、第2のタイミングにおける特殊光画像のG成分(G2成分)である。そのため、WCimg(t+1)のG成分と、WPimgのG成分との差分を求めればよい。その際、図3のB1に示したように動きベクトルVで動き補償を行う点及び図3のB2に示したようにゲイン量Ggを求めてイコライジング補正を行う点は、第1の実施形態と同様である。
以上の処理により、t+1における特殊光画像のG2成分であるNimg_G(t+1)を取得することができる。なぜなら、WCimg(t+1)が白色光とG2成分を合成した照明光による画像であるため、G成分に含まれるのは白色光(のG成分)とG2成分である。また、cWPimg(t+1)は白色光+B2成分の照明光による画像に相当する画像であるため、G成分に含まれるのは白色光(のG成分)である。よって、差分を取ることで白色光に相当する信号がキャンセルされ、特殊光のG2成分が残るからである。
その後、図4に示すように、WCimg(t+1)とNimg_G(t+1)の差分を求めることで、第2のタイミングにおける白色光画像Wimg(t+1)を取得することができる。
同様に図5及び図6に示すように、第1の照明光の照射タイミングにおいては、特殊光画像のB2成分と、白色光画像とが取得できる。
つまり、第2の実施形態においては、図28に示したように、全てのタイミングで白色光画像及び特殊光画像を取得することができる。ただし、前述したように各タイミングにおいて取得できるのは特殊光画像のG2成分とB2成分のどちらか一方である。そのためtでB2、t+1でG2、t+2でB2を取得するような場合には、t+1においては、tで取得したB2とt+1で取得したG2とから特殊光画像を構成する。また、t+2においては、t+1で取得したG2とt+2で取得したB2とから特殊光画像を構成することになる。
以上、本実施形態の手法について、第1の実施形態及び第2の実施形態を例に説明した。また、第3の実施形態においては、NBIに加えてIRIによる観察を同時に行う手法について説明する。詳細については第3の実施形態において、後述する。
2.第1の実施形態
図7は本実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。内視鏡装置は、光源部100と撮像部200と制御装置300と表示部400と外部I/F部500からなる。
光源部100は白色光源101とIR・UVカットフィルタ102とハーフミラー103と第1の狭帯域光源105と第2の狭帯域光源106と第1と第2の狭帯域光源の発光を制御する発光制御部104とダイクロイックプリズム107とハーフミラー103で合成された合成光源をライトガイドファイバ201の入射端面に集光させる集光レンズ108からなる。
発光制御部104は照射制御部302と接続されており、照射制御部302からの発光タイミング信号に基づき第1の狭帯域光源105と第2の狭帯域光源106の発光タイミングを制御する。
ここで狭帯域光源105、及び狭帯域光源106はLEDや半導体レーザーを使用して良いし、通常の白色光源に狭帯域のみ透過する干渉フィルタとの組合せにより構成しても良い。
IR・UVカットフィルタ102を透過した白色光源101の光は例えば図8に示すように波長帯域が380〜650nmの範囲で一定となる白色光とする。(一般的な白色光源101の分光放射特性は波長依存無く均一ではないので厳密には前記波長帯域内で一定とは言えないが説明を簡単にするために一定を表現した)
第1の狭帯域光源105は図9のB2に相当する分光特性の狭帯域光を放射し、第2の狭帯域光源106は図9のG2に相当する分光特性の狭帯域光を放射するものとする。
ダイクロイックプリズム107は第1の狭帯域光源105からの光を反射し、第2の狭帯域光源106からの光を透過する特性を有しており、これら2つの狭帯域光源105、106の合成光がダイクロイックプリズム107から出力される。ここで前記合成光は図9の通りの特性となる。
ハーフミラー103はIR・UVカットフィルタ102を透過した白色光源101の白色光とダイクロイックプリズム107から出力された合成光が更に合成され図10に示す通りの特性の合成光を出力する。
また照射制御部302からの発光タイミング信号により発光制御部104が制御する第1の狭帯域光源105と第2の狭帯域光源106の発光ON/OFFによりハーフミラー103から出力される照明光の分光特性が図11のように変化する。前記発光タイミング信号がOFFの場合は、タイプAであり、前記発光タイミング信号がONの場合は、タイプBとなる。また前記発光タイミング信号の期間は撮像素子204の撮像期間と同期している。
撮像部200は例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部200には、光源部100で集光された合成光を導くためのライトガイドファイバ201と、該ライトガイドファイバ201により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ202と、観察対象から戻る反射光を集光する対物レンズ203と、対物レンズ203で集光した反射光を検出するための撮像素子204と撮像素子204からの光電変換されたアナログ信号をデジタル信号に変換するA/D変換部205を備えている。ここで撮像素子204は図12に示すようなモザイク状に色フィルタが各画素に配列された原色単板撮像素子であり、CCDやCMOS等が利用できる。本実施例ではモザイク状の配列として一般的なベイヤ配列のものを使用する。
制御装置300は画像処理部301と照射制御部302とから構成される。
表示部400はCRTや液晶モニタ等の動画表示可能な表示装置である。
外部I/F部500は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部I/F部500は、入力された情報を照射制御部302へ出力するようになっている。
次に画像処理部301の詳細について図13のブロック図に基づいて説明する。
画像処理部301は前処理部311、同時化補間処理部312、選択部313、フレームメモリ314、特殊光画像生成部315、通常光画像補正部316、通常色処理部317、特殊色処理部318、通常後処理部319、特殊後処理部320、合成処理部321から構成されている。
続いて各構成部間のデータの流れを説明する。A/D変換部205から出力された画像データ(各画素あたり1色の色信号からなるベイヤ配列画像)は画像処理部301の前処理部311に入力される。前処理部311は更に照射制御部302と接続されており、照射制御部302に予め保存されているOBクランプ値、ゲイン補正値、WB係数値が前処理部311に入力される。それらの入力値に基づき入力された画像データはOBクランプ処理、ゲイン補正、WB処理が施され同時化補間処理部312へ出力される。
同時化補間処理部312に入力される画像データは各画素あたり1色の色信号からなるベイヤ配列画像であるので、公知の補間により各画素あたりR、G、B3色の信号からなるタイプAとタイプBの補間済画像(以降、カラー画像と記す)を生成する。同時化補間処理部312で生成されたカラー画像は選択部313と通常光画像補正部316へ出力される。
選択部313は同時化補間処理部312、及び照射制御部302と接続されており、照射制御部302からは発光制御部104に対して発光タイミングを制御する発光タイミング信号が入力される。選択部313は入力される発光タイミング信号がOFFの場合は同時化補間処理部312から出力されるカラー画像をフレームメモリ314へ出力する。一方、発光タイミング信号がONの場合は同時化補間処理部312から出力されるカラー画像を特殊光画像生成部315へ出力する。
フレームメモリ314は特殊光画像生成部315と接続されており、特殊光画像生成部315からの読み出しに応答してフレームメモリ314に格納されているカラー画像を特殊光画像生成部315へ出力する。
特殊光画像生成部315にはフレームメモリ314に格納されているカラー画像と選択部313から出力されるカラー画像が入力される。
以下、特殊光画像生成部315の処理の詳細を図14に基づいて説明する。
まず入力される2つのカラー画像を以下のように定義する。
図15に示すようにフレームメモリ314から出力されるカラー画像はWimg(t)とし、選択部313から出力されるカラー画像をWNimg(t+1)とする。ここでtは時間を意味し、取り得る値は整数値で偶数のみである。時間tと時間t+1との間の期間は発光タイミングの切り替え期間である。
特殊光画像生成部315はレベル補正部341と移動量算出部342と動き補償差分画像生成部343とから構成される。
レベル補正部341は選択部313とフレームメモリ314が接続しており、移動量算出部342はレベル補正部341が接続しており、動き補償差分画像生成部343は選択部313と移動量算出部342とフレームメモリ314が接続している。続いて信号の流れと処理の内容を説明する。
レベル補正部341には選択部313から出力されるカラー画像WNimg(t+1)とフレームメモリ314からカラー画像Wimg(t)が入力される。レベル補正部341は2つのカラー画像のG信号画像(以降、WNimg_G(t+1)、Wimg_G(t)と記す)に対してそれぞれ画像内平均値を算出する。そして2つの画像の平均値を一致させるゲイン量Ggを以下のように算出する。
Gg=Wimg_G(t)の画像内平均値/WNimg_G(t+1)の画像内平均値 ・・・・・(1)
算出したゲイン量GgをWNimg_G(t+1)に乗算し、Wimg_G(t)と共に移動量算出部342へ出力する。移動量算出部342は入力されたGg×WNimg_G(t+1)と、Wimg_G(t)の画面全体の移動量を算出する。移動量の算出方法はGg×WNimg_G(t+1)とWimg_G(t)に対して、Gg×WNimg_G(t+1)の中央部分の所定サイズ領域を抽出しWimg_G(t)に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部343へ出力する。ここで動きベクトルの算出にG信号を用いたがB信号を用いても良い。
動き補償差分画像生成部343はフレームメモリ314からのカラー画像Wimg(t)、及び移動量算出部342からの動きベクトルが入力され、カラー画像Wimg(t)を動きベクトルに基づき補正した、動き補正画像cWimg(t+1)を生成する。更に選択部313からのカラー画像WNimg(t+1)と前記動き補正画像cWimg(t+1)とに基づき特殊光画像Nimg(t+1)を以下の通りに算出する。
Nimg(t+1)=WNimg(t+1)-cWimg(t+1) ・・・・・(2)
算出した特殊光画像Nimg(t+1)は単位時間の2倍の間隔で生成され通常光画像補正部316と特殊色処理部318に出力される。
通常光画像補正部316は同時化補間処理部312と照射制御部302と特殊光画像生成部315に接続されており、同時化補間処理部312から出力されたWimg(t)或いはWNimg(t+1)と、特殊光画像生成部315からの特殊光画像Nimg(t+1)が入力される。
以下、通常光画像補正部316の詳細を図16に基づき説明する。
通常光画像補正部316は選択部351と減算部352から構成されており、選択部351には同時化補間処理部312と照射制御部302とが接続され、減算部352には選択部351と特殊光画像生成部315が接続されている。続いて信号の流れを説明する。
選択部351に入力される照射制御部302からの発光タイミング信号がOFFの場合は、選択部351に入力されたカラー画像Wimg(t)がそのまま通常色処理部317へ出力される。
一方、照射制御部302からの発光タイミング信号がONの場合は選択部351に入力されたカラー画像WNimg(t+1)が減算部352に出力される。減算部352には更に特殊光画像生成部315からの特殊光画像Nimg(t+1)が入力され、以下の式によりWimg(t+1)を生成する。
Wimg(t+1)=WNimg(t+1)-Nimg(t+1) ・・・・・(3)
生成されたWimg(t+1)は通常色処理部317へ出力される。図15には時系列的に出力される画像の種類を示した。
通常色処理部317は入力されるWimg(t)、Wimg(t+1)に対して出力モニタの色域(例えば色空間の国際標準規格であるsRGB(standard RGB))に合わせるための色変換処理を行い、通常後処理部319へ出力する。
特殊色処理部318は入力される特殊光画像Nimg(t+1)に対してAGC(オートゲインコントロール)が施され、平均信号レベルを所定レベルまで持ち上げた後、G信号をR信号に置換え、B信号を所定係数倍してGとB信号にコピーする事で擬似カラー画像を生成し、特殊後処理部320へ出力する。
通常後処理部319は通常色処理部317からの色変換後の通常光画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された通常光画像が合成処理部321へ出力される。
一方、特殊後処理部320は特殊色処理部318にて生成された擬似カラー画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された擬似カラー画像が合成処理部321へ出力される。
合成処理部321の詳細は図17に基づいて説明する。
合成処理部321は通常後処理部319から出力された通常光画像Wimg(t)、Wimg(t+1)と特殊後処理部320から出力された特殊光画像Nimg(t+1)が入力される。通常光画像Wimg(t)、Wimg(t+1)は病変領域合成部374、および選択部375に入力され、一方、特殊光画像Nimg(t+1)は領域分割部371と選択部375に入力される。
領域分割部371は入力される特殊光画像Nimg(t+1)を照射制御部302からのブロックサイズ信号に基づき複数ブロックに分割し特定色判定部372へ出力する。
特定色判定部372は入力されるブロック内に所定色相領域となる画素を含むかどうかを判定し、その判定結果フラグとブロック位置を病変部検出部373へ出力する。
病変部検出部373は入力される前記判定結果フラグとブロック位置から所定色相領域を含むブロックの2次元的な連結状態を判定し、連結しているブロックをグルーピングする。グルーピング後の面積が照射制御部302から出力される判定閾値と比較され、面積が所定閾値以上と判定された場合には、グルーピング領域を囲む矩形、或いは円形領域を病変領域として設定して病変領域情報を病変領域合成部374へ出力する。
病変領域合成部374は入力された通常光画像に対して前記病変領域を照射制御部302にて指定された所定形態(例えば輪郭のみ、或いは網掛け等)でスーパーインポーズして病変領域表示された通常光画像を生成し、選択部375へ出力する。
選択部375は照射制御部302からのモード情報に基づき、通常光画像、或いは特殊光画像、或いは病変領域がスーパーインポーズされた通常光画像のどれかが選択されて表示部400へ出力される。
上記第1実施例の特殊光画像生成部315の動き補正画像cWimg(t+1)の生成方法であるが、上記した方法以外にもいくつかの方法が考えられる。一番簡単な例としては、cWimg(t+1)=Wimg(t)とする事であるが、この場合は前記発光タイミング切り替え期間が短く、この期間内では対象物と内視鏡先端部との間の移動距離を無視できる条件で有効となる。またより精度を高める例としては、画素単位に動きベクトルを算出し、この動きベクトルに基づいてWimg(t)の画像から前記動きベクトルが示す画素を抽出、或いは生成(ハーフピクセル精度の動きベクトルの場合)し、動き補正画像cWimg(t+1)を生成することも可能である。
また、以上の説明において、撮像素子は1つ(撮像素子204)であるとしたが、これに限定されるものではない。図18に示すように、撮像素子が2つあってもよい。
図18に示した構成について説明する。撮像部200は、光源部100で集光された光を導くためのライトガイドファイバ201と、該ライトガイドファイバ201により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ202と、観察対象から戻る反射光を集光する対物レンズ203と、対物レンズ203で集光した反射光を緑の波長帯域とそれ以外の赤及び青の波長帯域に分離するダイクロイックプリズム206と、2つに分離された反射光をそれぞれ検出するための撮像素子204、及び撮像素子207と、撮像素子204からの光電変換されたアナログ信号をデジタル信号に変換するA/D変換部205と撮像素子207からの光電変換されたアナログ信号をデジタル信号に変換するA/D変換部208とを含んでもよい。
ここで撮像素子204は図19(A)に示すようなモノクロ単板撮像素子であり、ダイクロイックプリズム206から透過した緑色光を検出するのに使用する。また撮像素子207は図19(B)に示すようなR(赤)とB(青)の色フィルタが市松状に各画素の表面に配列した単板撮像素子であり、ダイクロイックプリズム206で反射した赤色光と青色光を検出するのに使用する。これらの撮像素子204、207はCCDやCMOS等が利用できる。
次に画像処理部301の詳細について図20のブロック図に基づいて説明する。
画像処理部301は前処理部311a及び311b、同時化補間処理部312、選択部313、フレームメモリ314、特殊光画像生成部315、通常光画像補正部316、通常色処理部317、特殊色処理部318、通常後処理部319、特殊後処理部320、合成処理部321から構成されている。
続いて各構成部間のデータの流れを説明する。A/D変換部205とA/D変換部208から出力された2つの画像データは画像処理部301の前処理部311a、前処理部311bにそれぞれ入力される。前処理部311a、及び前処理部311bは更に照射制御部302と接続されており、照射制御部302に予め保存されているOBクランプ値、ゲイン補正値が前処理部311aに、OBクランプ値、ゲイン補正値、WB係数値が前処理部311bにそれぞれ入力される。前処理部311aに入力されたG信号の画像データは照射制御部302からの入力値に基づきOBクランプ処理、ゲイン補正が施され同時化補間処理部312へ出力される。また前処理部311bに入力されたRB信号の画像データは照射制御部302からの入力値に基づきOBクランプ処理、ゲイン補正、WB補正が施され同時化補間処理部312へ出力される。
同時化補間処理部312に入力される画像データは、前処理部311aからG信号の画像データ、そして前処理部311bからRとB信号が各画素あたり1色の色信号からなる市松配列画像であり、同時化補間処理部312にて、市松配列画像に対して公知の補間処理(例えば欠落している信号の画素位置に対する欠落信号の生成はその隣接4画素を用いた補間処理により行なう)を行う事により1画素あたりRGB3色の信号からなるタイプAとタイプBのカラー画像を生成する。同時化補間処理部312で生成されたカラー画像はフレームメモリ314と特殊光画像生成部315と通常光画像補正部316へ出力される。
以降の処理は撮像素子が1つの場合と同様であるので、詳細な説明は省略する。
また、本実施の形態では、制御装置300を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
撮像部とAD変換部を別体とし、AD変換部を除く制御装置300の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、制御装置300の各部が行う処理を実現するためのプログラム(制御プログラム)を予め用意し、この画像処理プログラムをコンピューターシステムのCPUが実行することによって実現できる。
図21は、本変形例におけるコンピューターシステム600の構成を示すシステム構成図であり、図22は、このコンピューターシステム600における本体部610の構成を示すブロック図である。図21に示すように、コンピューターシステム600は、本体部610と、本体部610からの指示によって表示画面621に画像等の情報を表示するためのディスプレイ620と、このコンピューターシステム600に種々の情報を入力するためのキーボード630と、ディスプレイ620の表示画面621上の任意の位置を指定するためのマウス640とを備える。
また、このコンピューターシステム600における本体部610は、図22に示すように、CPU611と、RAM612と、ROM613と、ハードディスクドライブ(HDD)614と、CD−ROM660を受け入れるCD−ROMドライブ615と、USBメモリ670を着脱可能に接続するUSBポート616と、ディスプレイ620、キーボード630およびマウス640を接続するI/Oインターフェース617と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース618を備える。
さらに、このコンピューターシステム600には、インターネット等の公衆回線N3に接続するためのモデム650が接続されるとともに、LANインターフェース618およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピューターシステムであるパソコン(PC)681、サーバ682、プリンタ683等が接続される。
そして、このコンピューターシステム600は、所定の記録媒体に記録された制御プログラム(例えば図23を参照して後述する処理手順を実現するための制御プログラム)を読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、CD−ROM660やUSBメモリ670の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピューターシステム600の内外に備えられるHDD614やRAM612、ROM613等の「固定用の物理媒体」、モデム650を介して接続される公衆回線N3や、他のコンピューターシステム(PC)681またはサーバ682が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム600によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
すなわち、制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム600は、このような記録媒体から制御プログラムを読み出して実行することで制御装置を実現する。なお、制御プログラムは、コンピューターシステム600によって実行されることに限定されるものではなく、他のコンピューターシステム(PC)681またはサーバ682が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図7の画像処理部301の処理をソフトウェアで実現する場合の処理手順を、図23のフローチャートを用いて説明する。
この処理を開始すると、まず画像処理部301は撮像部200から画像データを取得する(S10)。ここで画像データの取得とは前処理や同時化処理も含まれるものとする。そして、照明光の判定を行い、照明光がタイプA(白色光)であるか、タイプB(白色光+NBI)であるかで処理を分岐させる(S11)。
照明光がタイプAであった場合には、タイプAの照明光による画像を時刻tのカラー画像(白色光画像)Wimg(t)として取得する(S12)。
一方、照明光がタイプBであった場合には、タイプBの照明光による画像を時刻t+1のカラー画像WNimg(t+1)として取得する(S13)。そして、S12で取得したWimg(t)とS13で取得したWNimg(t+1)とから動きベクトルを算出する(S14)。
取得した動きベクトルに基づいて、Wimg(t)に対して動き補償処理を行い、t+1における白色光画像に相当するcWimg(t+1)を生成する(S15)。その上で、cWimg(t+1)とWNimg(t+1)の差分を求めることで、t+1における特殊光画像Nimg(t+1)を生成する(S16)。
そして、S16で取得したNimg(t+1)とWNimg(t+1)の差分を求めることで、t+1における白色光画像Wimg(t+1)を生成する(S17)。
S12或いはS17の処理の後は、画像処理の全体の処理を終了させるか否かの判定が行われ(S18)、終了しない場合には再度S10に戻り画像データの取得を行う。
以上のように第1実施の形態によれば、通常光画像と特殊光画像を同時に取得でき、更に特殊光画像を高精度に撮像することができるので、高精度な特殊光画像を用いて通常光画像の表示形態を制御する事でドクターの診断精度を向上させることができる。
以上の本実施形態では、制御装置300は、図7に示したように、照射制御部302と画像処理部301を含む。照射制御部302は、第1の照明光と第2の照明光を時系列的に異ならせて照射する制御を行う。また、画像処理部301は第1照明光の照射による第1照明光画像と、第2の照明光の照射による第2照明光画像とに基づいて特殊光画像を生成する処理を行う。
ここで、第1照明光は少なくとも白色光を含む光であり、第2照明光は白色光と特定の波長帯域の光を合成した光である。また、第1照明光は第1のタイミングで照射され、第2照明光は第2のタイミングで照射される。
これにより、タイミングを異ならせて第1の照明光と第2の照明光を照射することができるとともに、第1照明光画像と第2照明光画像とに基づいて、特殊光画像を取得することが可能になる。よって、照明光画像に基づいて特殊光画像を取得するため、分光推定等の方法で求めた特殊光画像に比べて、非常に高精度な特殊光画像を取得することができる。
また、画像処理部301は、第1のタイミングにおける第1照明光画像と、第2のタイミングにおける第2照明光画像とに基づいて、第2のタイミングにおける特殊光画像を取得する。これは図15の例でいえば、Wimg(t)とWNimg(t+1)とからNimg(t+1)を求めることに相当する。
これにより、白色光と特定の波長帯域の光を合成した光である第2照明光の照射タイミングにおいて、特殊光画像を取得することが可能になる。第2照明光は前述の通り、白色光と特定波長帯域の光の合成光であるため、そのままでは、白色光画像も特殊光画像も取得することができないが、本実施形態の手法によれば、特殊光画像を取得することが可能になる。
また、画像処理部301は、第1のタイミングにおける第1照明光画像に基づいて、第2のタイミングにおける中間画像を取得する。具体的には例えば、画像処理部301は図14に示すように、移動量算出部342を含み、移動量算出部342は、被写体の移動量(動きベクトル)を算出し、算出した動きベクトルに基づいて、中間画像を取得する。
そして、取得した中間画像と第2のタイミングにおける第2照明光画像とに基づいて、第2のタイミングにおける特殊光画像を取得する。具体的には例えば、中間画像と第2のタイミングにおける第2照明光画像との差分を用いる手法が考えられる。
これは、図1の例でいうと、第1のタイミングにおける第1照明光画像であるWimg(t)に対して動きベクトルVで動き補償を行った画像であるcWimg(t+1)が中間画像に相当する。そして、cWimg(t+1)とWNimg(t+1)とから、具体的には例えば図1に示したように差分を用いて、特殊光画像Nimg(t+1)を取得する。
これにより、単純に第1のタイミングにおける第1照明光画像と、第2のタイミングにおける第2照明光画像の差分を取るのではなく、何らかの補正(上述の例でいえば動きベクトルを用いた動き補償)を行った上で、特殊光画像を取得することが可能になる。そのため、補正を行わない場合に比べて、より精度の高い特殊光画像を取得できる。
また、移動量算出部342は、第1のタイミングにおける第1照明光画像の画素値の平均値と、第2のタイミングにおける第2照明光画像の画素値の平均値とに基づいて、平均値同士を同等にするイコライジング補正を行う。そして補正された第1照明光画像と第2照明光画像とから、動きベクトルを算出する。
なお、動きベクトルの算出の際には、第1照明光画像に含まれる所定の色成分と、それに対応する第2照明光画像に含まれる色成分とに基づいて信号を算出してもよい。具体的には、色成分はB成分でもよいし、G成分でもよいし、R成分でもよい。
図1の例においては、色成分としてG成分を用いている。Wimg(t)のG成分であるWimg_G(t)と、WNimg(t+1)のG成分であるWNimg_G(t+1)からゲイン量Ggを求め、求めたGgをWNimg(t+1)に乗ずることでイコライジング補正を行い、マッチング(移動量算出)に用いる画像を求めている。
これにより、動きベクトルを求める際に、第1照明光画像と第2照明光画像の画素値(明るさに関する情報といってもよい)を同等にする補正を行う。よって、移動ベクトル算出のためのマッチング処理が容易になり、移動ベクトルを高精度に求めることが可能になる。また、イコライジング補正に用いる色成分としてR,G,Bを自由に採用することもできる。G成分は最も明るく、正確なイコライジング補正が可能である。R成分は狭帯域光源の影響を受けないため、補正誤差を小さくすることができ、また、高周波成分を多く含まないため、画像を縮小しても影響が少ないため、画素間引き等を行い、計算コストを抑えることができる。また、G,Rに限定することなく、B成分を用いてもよい。
また、画像処理部301は、第2のタイミングにおける第2照明光画像と、第2のタイミングにおける特殊光画像に基づいて、第2のタイミングにおける白色光画像を生成する。
これは、図15の例でいえば、WNimg(t+1)とNimg(t+1)とに基づいてWimg(t+1)を求めることに相当する。
これにより、図15に示したように、第2のタイミング(t+1)において、白色光画像と特殊光画像を同時に取得することが可能になる。よって、例えば特殊光画像において検出した病変部に関する情報等を、白色光画像に重畳するような場合において、位置に関する情報の正確性を、同時取得をしない場合に比べて高くすることができる。病変に関する情報が正確になれば、ドクターの診断を容易にすること等が可能である。
また、第1の照明光は図8に示すような白色光の波長帯域の光であり、第2の照明光は図10に示すような、白色光と、第1の特定波長帯域の光と、第2の特定波長帯域の光を合成した光である。具体的には第1の特定波長帯域及び第2の特定波長帯域は、血液中のヘモグロビンに吸収される波長帯域である。さらに具体的には、第1の特定波長帯域は390ナノメータ〜445ナノメータであり、第2の特定波長帯域は530ナノメータ〜550ナノメータである。第1の特定波長帯域が図9のB2に相当し、第2の特定波長帯域が図9のG2に相当する。
これにより、第1照明光画像と第2照明光画像から、特殊光画像を求めることで、NBI(Narrow Band Imaging)と呼ばれる狭帯域光観察が可能になり、生体の表層部及び、深部に位置する血管の構造を観察することができる。また得られた信号を特定のチャンネル(G2→R、B2→G,B)に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、390nm〜445nmまたは530nm〜550nmとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた波長である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
また、画像処理部301は、第2照明光画像と特殊光画像に基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第2照明光画像と特殊光画像の差分を用いる。図2の例でいえば、第2照明光画像であるWNimg(t+1)と、特殊光画像であるNimg(t+1)とから、具体的には例えば差分を用いて、白色光画像Wimg(t+1)を求めることに相当する。
これにより、第2照明光画像と特殊光画像から、白色光画像を生成することが可能になる。具体例として差分を用いるのは、図2に示したように、第2照明光画像WNimg(t+1)は白色光と特殊光の合成光による画像であり、特殊光画像Nimg(t+1)は特殊光による画像であることから、差分を求めれば特殊光の信号がキャンセルされ、白色光の信号が残るためである。
また、制御装置300は、特殊光画像の画素値に基づいて、注目すべき領域である注目領域を検出する検出部を含んでもよい。また、検出部の検出結果に基づく情報を提示する制御を行う提示制御部を含んでもよく、検出結果に基づく情報を白色光画像に重畳する重畳部を含んでもよい。
ここで、注目領域とは例えば、生体内画像における病変領域等であることが考えられる。この場合の検出部は、図17における病変部検出部373に相当する。
これにより、例えば病変部等の注目領域を検出し、検出結果に基づく情報を提示したり、白色光画像に重畳したりすることが可能になる。よって、例えばドクターによる病変部の見逃し等を抑止することができる。
また、本実施形態は、白色光を照射する第1の光源と、少なくとも1つの特定の波長帯域の光を照射する第2の光源と、照射制御部302と、画像処理部301とを含む内視鏡装置にも適用できる。前述したように照射制御部302は、第1の照明光と第2の照明光とを時系列的に異ならせて照射する制御を行い、画像処理部301は、第1照明光画像と第2照明光画像とに基づいて特殊光画像を生成する。
これにより、制御装置にとどまらず、照明光画像に基づいて特殊光画像を取得するため、分光推定等の方法で求めた特殊光画像に比べて、非常に高精度な特殊光画像を取得することができる内視鏡装置を実現することができる。
また、本実施形態は、照射制御部302と、画像処理部301としてコンピュータを機能させるプログラムにも適用できる。前述したように照射制御部302は、第1の照明光と第2の照明光とを時系列的に異ならせて照射する制御を行い、画像処理部301は、第1照明光画像と第2照明光画像とに基づいて特殊光画像を生成する。
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してPC等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
3.第2の実施形態
図7は第2の実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。本発明を構成する撮像装置は第1の実施形態と同様に光源部100と撮像部200と制御装置300と表示部400と外部I/F部500からなる。
第1の実施形態と異なるのは光源部100の発光制御部104と、制御装置300の画像処理部301であり、これらの部分についてその詳細を説明する。
光源部100の発光制御部104は照射制御部302の発光タイミング信号により第1の狭帯域光源105と第2の狭帯域光源106の発光を制御するが、第1の実施形態と異なるのは時間的に同時に2つの狭帯域光源105、106の発光をON/OFFするのではなく、どちらか一方を必ず発光するように制御する。つまりハーフミラー103から出力される最終的な照明光の分光特性は図24(A)或いは図24(B)に示すようになる。図24(A)に示す分光特性となるのは発光制御部104が第1の狭帯域光源105の発光をONにし、第2の狭帯域光源106の発光をOFFとした場合に対応する。また図24(B)に示す分光特性となるのは発光制御部104が第1の狭帯域光源105の発光をOFFとし、第2の狭帯域光源106の発光をONとした場合に対応する。
上記したように照射制御部302からの発光タイミング信号により発光制御部104が制御する第1の狭帯域光源105と第2の狭帯域光源106の発光を交互に切換えることでハーフミラー103から出力される合成光の分光特性は図25のように変化する。
次に画像処理部301の詳細について図26のブロック図に基づいて説明する。
画像処理部301は前処理部311、同時化補間処理部312、フレームメモリ314、特殊光画像生成部363、通常光画像補正部364、通常色処理部317、特殊色処理部318、通常後処理部319、特殊後処理部320、合成処理部321から構成されている。
続いて各構成部間のデータの流れを説明する。同時化補間処理部312までの処理の流れは第1の実施形態と同様であるため、詳細な説明は省略する。同時化補間処理部312で生成されたカラー画像はフレームメモリ314と特殊光画像生成部363と通常光画像補正部364へ出力される。
フレームメモリ314は、特殊光画像生成部363からの読み出しに応答してフレームメモリ314に格納されている1フレーム期間前のカラー画像を特殊光画像生成部363へ出力すると共に現在撮影されたカラー画像を逐次格納する事ができるように2フレーム分の容量を持ったリングバッファ構成となっている。
特殊光画像生成部363はフレームメモリ314から格納されているカラー画像と同時化補間処理部362から出力されるカラー画像が入力される。
以下、特殊光画像生成部363の処理の詳細を図27に基づいて説明する。
まず入力される2つのカラー画像を以下のように定義する。
フレームメモリ314から出力されるカラー画像はWPimg(t)とし、同時化補間処理部362から出力されるカラー画像をWCimg(t+1)とする。ここでtは時間を意味し、整数値で偶数をとる。時間tと時間t+1との間の期間は発光タイミングの切り替え期間となる。
特殊光画像生成部363はレベル補正部344と移動量算出部345と動き補償差分画像生成部346とから構成される。
レベル補正部344には照射制御部302とフレームメモリ314が接続しており、移動量算出部345にはレベル補正部344が接続しており、動き補償差分画像生成部346には照射制御部302と同時化補間処理部312と移動量算出部345とフレームメモリ314が接続している。続いて信号の流れと処理の内容を説明する。
レベル補正部344には同時化補間処理部312から出力されるカラー画像WCimg(t+1)とフレームメモリ314からのカラー画像WPimg(t)が入力される。レベル補正部344は2つのカラー画像のG信号画像(以降、WCimg_G(t+1)、WPimg_G(t)と記す)に対してそれぞれ画像内平均値を算出する。これらの画像内平均値を使って2つの画像の前記平均値を一致させるゲイン量Ggを照射制御部302からの発光タイミング信号の状態に基づいて以下のように算出し、どちらか一方のG信号画像を補正して移動量算出部345へ出力する。
照射制御部302からの発光タイミング信号が第1の狭帯域光源105がONで第2の狭帯域光源106がOFFの場合、
Gg=WCimg_G(t+1)の画像内平均値/WPimg_G(t)の画像内平均値 ・・・・・(4)
この場合、Ggを乗算したWPimg_G(t)とWCimg_G(t+1)を移動量算出部345へ出力する。
照射制御部302からの発光タイミング信号が第1の狭帯域光源105がOFFで第2の狭帯域光源106がONの場合、
Gg=WPimg_G(t)の画像内平均値/WCimg_G(t+1)の画像内平均値 ・・・・・(5)
この場合、Ggを乗算したWCimg_G(t+1)とWPimg_G(t)を移動量算出部345へ出力する。
移動量算出部345は入力される2つのG信号画像の画面全体の移動量を算出する。移動量の算出方法はWCimg_G(t+1)とWPimg_G(t)(厳密には、どちらか一方はGgにより補正された画像である)に対して、WCimg_G(t+1)の中央部分の所定サイズ領域を抽出しWPimg_G(t)に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部346へ出力する。
上記説明では動きベクトルはG信号で行なっているが、それに限定されず、B信号でもR信号でも可能である。特にR信号は狭帯域光源からの狭帯域光の影響を受けない信号となるので、2つの画像間でのレベル差の補正誤差は少なく、また内視鏡画像の場合、R信号は高周波成分を多く含まないので画素間引き等で画像を縮小する事で動きベクトル算出時のコストを抑えて画像全体の動きベクトルを算出できる。
動き補償差分画像生成部346はフレームメモリ314からのカラー画像WPimg(t)、及び移動量算出部345からの動きベクトルが入力され、カラー画像WPimg(t)を動きベクトルに基づき動きを補正した動き補正画像cWPimg(t+1)を生成する。更に同時化補間処理部312からのカラー画像WCimg(t+1)と動き補正画像cWPimg(t+1)とに基づき特殊光画像のG2成分であるNimg_G(t+1)を以下の通りに算出する。
Nimg_G(t+1)=WCimg_G(t+1)-cWPimg_G(t+1) ・・・・・(6)
算出された特殊光画像Nimg(t+1)は通常光画像補正部364と特殊色処理部318に出力される。
また、タイミングt+2においては、WCimg(t+2)(図24(A)に相当)とcWPimg(t+1)とに基づいて下式(7)から、特殊光画像のB2成分を取得する。
Nimg_B(t+2)=WCimg_B(t+2)-cWPimg_B(t+2) ・・・・・(7)
上述したように、本実施形態の特殊光画像は、G2成分とB2成分とが交互に取得されることになる。
通常光画像補正部364には同時化補間処理部312と照射制御部302と特殊光画像生成部363とが接続されており、同時化補間処理部312から出力されたカラー画像WCimg(t+1)と、特殊光画像生成部363からの特殊光画像Nimg(t+1)が入力される。
以下、通常光画像補正部364の詳細を図29に基づき説明する。
通常光画像補正部364は信号選択部353と信号選択部354と減算部355と信号合成部356とから構成されており、信号選択部353へは同時化補間処理部312と照射制御部302とが接続され、信号選択部354には特殊光画像生成部363と照射制御部302が接続され、減算部355には信号選択部353と信号選択部354が接続され、信号合成部356は信号選択部353と減算部355と照射制御部302が接続されている。続いて信号の流れを説明する。
まず照射制御部302からの発光タイミング信号が第1の狭帯域光源105がOFFで第2の狭帯域光源106がONの場合について説明する。
この場合は照射制御部302からの前記発光タイミング信号に基づき信号選択部353に入力されるカラー画像WCimg(t+1)の内、R信号WCimg_R(t+1)とB信号WCimg_B(t+1)がそのまま信号合成部356へ出力され、G信号WCimg_G(t+1)が減算部355へ出力される。
また照射制御部302からの前記発光タイミング信号に基づき信号選択部354に入力されるカラー画像Nimg(t+1)の内、G信号Nimg_G(t+1)が減算部355へ出力される。
減算部355では以下の式により白色光画像のG信号Wimg_G(t+1)を生成する。
Wimg_G(t+1)=WCimg_G(t+1)-Nimg_G(t+1) ・・・・・(8)
生成されたWimg_G(t+1)は信号合成部356へ出力される。
信号合成部356では入力されたWCimg_R(t+1)、WCimg_B(t+1)とWimg_G(t+1)により、白色光画像Wimg(t+1)を構成して通常色処理部317へ出力する。
続いて照射制御部302からの発光タイミング信号が第1の狭帯域光源105がONで第2の狭帯域光源106がOFFの場合について説明する。
照射制御部302からの前記発光タイミング信号に基づき信号選択部353に入力されるカラー画像WCimg(t+2)の内、R信号WCimg_R(t+2)とG信号WCimg_G(t+2)がそのまま信号合成部356へ出力され、B信号WCimg_B(t+2)が減算部355へ出力される。
また照射制御部302からの前記発光タイミング信号に基づき信号選択部354に入力されるカラー画像Nimg(t+2)の内、B信号Nimg_B(t+2)が減算部355へ出力される。
減算部355では以下の式により白色光画像のB信号Wimg_B(t+2)を生成する。
Wimg_B(t+2)=WCimg_B(t+2)-Nimg_B(t+2) ・・・・・(9)
生成されたWimg_B(t+2)は信号合成部356へ出力される。
信号合成部356では入力されたWCimg_R(t+2)、WCimg_G(t+2)とWimg_B(t+2)により、白色光画像Wimg(t+2)を構成して通常色処理部317へ出力する。
第2の実施形態では、特殊光画像は単位時間の間隔で生成されることとなる。図28には時系列的に出力される第2の実施形態の画像の種類を示した。
第2の実施形態の特殊光画像生成部363の動き補正画像cWPimg(t+1)に関しては第1実施形態と同様にcWPimg(t+1)=WPimg(t)としても良いし、またより精度を高めた、画素単位に動きベクトルを算出し、この動きベクトルに基づいてWPimg(t)の画像から前記動きベクトルが示す画素を抽出、或いは生成し、動き補正画像cWPimg(t+1)を生成するようにしても良い。
また、撮像素子を1つではなく2つ用いてもよい点も、第1の実施形態と同様である。
以上のように第2実施の形態によれば、通常光画像と特殊光画像を同時に取得でき、更に特殊光画像を通常光画像と同一期間で高精度に撮像することができるので、高精度な特殊光画像を用いて通常光画像の表示形態を制御する事でドクターの診断精度を向上させることができる。
以上の本実施形態においては、第1の照明光は白色光の波長帯域の光と第1の特定波長帯域の光を合成した図24(A)に示すような光であり、第2の照明光は白色光と、第1の特定波長帯域の光と、第2の特定波長帯域の光を合成した図24(B)に示すような光である。
これにより、図25に示すようなパターンで照明光を照射することが可能になり、これらの照明光から特殊光画像を求めることで、NBIと呼ばれる狭帯域光観察が可能になる。NBIについては第1の実施形態において上述したとおりなので、詳細な説明は省略する。
また、画像処理部301は、第1照明光画像と特殊光画像とに基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第1照明光画像のB成分と特殊光画像のB成分から白色光画像のB成分を取得する。そして、第1照明光画像のG成分とR成分から白色光画像のG成分とR成分を取得する。
これは図6の例でいえば、第1照明光画像WCimg(t+2)のB成分(含まれるのは白色光のB成分とB2成分)と、特殊光画像Nimg(t+2)のB成分(含まれるのはB2成分)とから、具体的には差分を求めることで、B2成分がキャンセルされ、白色光のB成分を求めることに相当する。また、WCimg(t+2)は、B成分以外には特殊光による成分を含んでいないため、G成分、R成分についてはWCimg(t+2)をそのまま、白色光画像の成分として用いることができる。
これにより、第1照明光の照射タイミングにおいて、白色光画像を取得することが可能になる。
また、画像処理部301は、第2照明光画像と特殊光画像とに基づいて、特殊光画像に対応する白色光画像を生成する。具体的には、第2照明光画像のG成分と特殊光画像のG成分から白色光画像のG成分を取得する。そして、第2照明光画像のB成分とR成分から白色光画像のB成分とR成分を取得する。
これは図4の例でいえば、第2照明光画像WCimg(t+1)のG成分(含まれるのは白色光のG成分とG2成分)と、特殊光画像Nimg(t+1)のG成分(含まれるのはG2成分)とから、具体的には差分を求めることで、G2成分がキャンセルされ、白色光のG成分を求めることに相当する。また、WCimg(t+1)は、G成分以外には特殊光による成分を含んでいないため、B成分、R成分についてはWCimg(t+1)をそのまま、白色光画像の成分として用いることができる。
これにより、第2照明光の照射タイミングにおいても、白色光画像を取得することが可能になる。
4.第3の実施形態
第3の実施形態においては、NBI画像に加えてIRI画像も同時に取得する手法について説明する。本実施形態においては、照明光として後述する図41に示すパターンを用いる。具体的な処理の流れを図30〜図32を用いて説明する。
図30に示すように、本実施形態では第1のタイミング(t、t+2、・・・)において図38に示す照明光(白色光)を照射し、第2のタイミング(t+1、t+3、・・・)において図39に示す照明光(白色光+B2+G2+R2)或いは図40に示す照明光(白色光+B2+G2+R3)を照射する。第1のタイミングにおいてはWimgを取得し、第2のタイミングにおいてはWMimgを取得する。Wimgが基準画像となり、WMimgが比較画像となる。
本実施形態においては、タイプEの照射タイミングでの白色光画像及び特殊光画像を求める場合と、タイプFの照射タイミングでの白色光画像及び特殊光画像を求める場合とで、処理の結果が異なってくる。
まず、タイプEの場合を説明する。図30に示すように、Wimg(t)とWMimg(t+1)とからタイミングt+1における特殊光画像Nimg(t+1)を求める。
考え方は第1の実施形態及び第2の実施形態と同様であり、Wimg(t+1)と、WMimg(t+1)との差分を取ることでt+1における特殊光画像Nimg(t+1)を取得することができる。なぜなら、WNimg(t+1)が白色光と特殊光を合成した照明光による画像であり、Wimg(t)は白色光の照明光による画像であるため、その差分を取ることで白色光に相当する信号がキャンセルされ、特殊光部分が残るからである。
また、図30のD1に示したように、Wimg(t)に対して動きベクトルVを用いて動き補償を行う点と、図30のD2に示したように、マッチング処理を行うために、ゲイン量Ggを求めてイコライジング補正を行う点も第1、第2の実施形態と同様である。
以上の処理で求めることができるのは、特殊光画像のB2成分、G2成分及びR2成分である。図30に示したように、B2成分とG2成分からNBI画像を生成する。また、R2成分とt−1のタイミングで取得しておいたR3成分とあわせることで、IRI画像を生成する。
タイプFの場合も処理の流れは同様であるが、図31に示したように、処理の結果として得られるt+3における特殊光画像の成分はB2成分、G2成分及びR3成分となる。B2成分とG2成分からNBI画像を生成し、R3成分と上述したt+1におけるR2成分とからIRI画像を生成する。
以上の処理により、特殊光画像を取得することができるため、図32に示したように、各タイミングにおける特殊光画像と、タイプAの照明光による画像との差分を求めることで、タイプE及びタイプFを照射するタイミングにおける白色光画像を取得することができる。なお、タイプAの照射による画像は白色光画像であるため、タイプAの照射タイミングでの白色光画像は、照射による画像をそのまま用いればよい。
つまり、本実施形態においては、図44に示したように、全てのタイミングで白色光画像を取得できるとともに、2タイミングに1回特殊光画像(NBI画像及びIRI画像)を取得することができる。
図33は第3の実施形態にかかる制御装置を含む内視鏡装置の全体構成を示すブロック図である。本実施形態の内視鏡装置は第1の実施形態と同様に光源部100と撮像部200と制御装置300と表示部400と外部I/F部500からなる。
第1、2の実施形態と異なるのは光源部100の発光制御部104と、制御装置300の画像処理部301であり、これらの部分についてその詳細を説明する。
光源部100の発光制御部104は照射制御部302の発光タイミング信号により第1の狭帯域光源105と第2の狭帯域光源106の他に新たに第3の狭帯域光源110の発光を第1実施の形態同様に時間的に同時にON/OFFの制御を行なう。ここで第3の狭帯域光源110の分光特性は図34に示す通りで790〜970nmの赤外領域の特性を持つ。更に照射制御部302は図35が示す回転狭帯域フィルタ111のモータ803に、フィルタ選択信号を送り回転を制御してフィルタを所定位置に移動する。
ここで回転狭帯域フィルタ111は図36のR2の分光特性を持つ狭帯域フィルタ801と、図37のR3の分光特性のフィルタを持つ狭帯域フィルタ802で構成されており、第3の狭帯域光源110の狭帯域光の一部の狭帯域光のみを透過させるように第3の狭帯域光源110とクロスプリズム109との間に配置されている。クロスプリズム109は3つの狭帯域光源105、106、110からの狭帯域光を合成し、ハーフミラー103に出力する。
ハーフミラー103から出力される最終的な照明光の分光特性は図38、図39、図40に示すようになる。図38に示す分光特性となるのは発光制御部104が3つの狭帯域光源105、106、110の発光をOFFにした場合に対応する。また図39に示す分光特性となるのは発光制御部104が3つの狭帯域光源105、106、110の発光をONとし、回転狭帯域フィルタ111のフィルタ801が狭帯域光源110の前面に置かれるように回転狭帯域フィルタ111を回転制御した場合に対応する。更に図40に示す分光特性となるのは、発光制御部104が3つの狭帯域光源105、106、110の発光をONとし、回転狭帯域フィルタ111のフィルタ802が狭帯域光源110の前面に置かれるように回転狭帯域フィルタ111を回転制御した場合に対応する。
上述したように照射制御部302からの発光タイミング信号により、発光制御部104が3つの狭帯域光源105、106、110の発光と回転狭帯域フィルタ111の回転を制御することでハーフミラー103から出力される合成光の分光特性は図38、図39、図40の3つのパターンが得られる。図41に示すように時系列的に3つの合成光が切り替わる。
スコープ200は撮像装置を2つ有する構成とする。もちろん撮像素子が1つであってもよい。
次に画像処理部301の詳細について図42のブロック図に基づいて説明する。
画像処理部301は前処理部311a、前処理部311b、同時化補間処理部362、フレームメモリ314、第1特殊光画像生成部381、通常光画像補正部316、通常色処理部317、第2特殊光画像生成部382、フレームメモリ383、特殊色処理部318、通常後処理部319、特殊後処理部320、第2特殊色処理部384、第2特殊後処理部385、合成処理部386から構成されている。
続いて各構成部間のデータの流れを説明する。A/D変換部205とA/D変換部208から出力された2つの画像データは画像処理部301の前処理部311a、前処理部311bにそれぞれ入力される。前処理部311a、及び前処理部311bは更に照射制御部302と接続されており、照射制御部302に予め保存されているOBクランプ値、ゲイン補正値が前処理部311aに入力され、OBクランプ値、ゲイン補正値、WB係数値が前処理部311bに入力される。前処理部311aに入力されたG信号の画像データは照射制御部302からの入力値に基づきOBクランプ処理、ゲイン補正が施され同時化補間処理部362へ出力される。また前処理部311bに入力されたRB信号の画像データは照射制御部302からの入力値に基づきOBクランプ処理、ゲイン補正、WB補正が施され同時化補間処理部362へ出力される。
同時化補間処理部362に入力される画像データは、前処理部311aからG信号の画像データ、そして前処理部311bからRとB信号が各画素あたり1色の色信号からなる市松配列画像である。同時化補間処理部362において、市松配列画像に対して公知の補間処理(例えば欠落している信号の画素位置に対する欠落信号の生成はその隣接4画素を用いた補間処理により行なう)を行う事により1画素あたりRGB3色の信号からなるタイプAとタイプEとタイプFの補間済画像(以降、カラー画像と記す)を生成する。同時化補間処理部362で生成されたカラー画像はフレームメモリ314と第1特殊光画像生成部381と通常光画像補正部316へ出力される。
フレームメモリ314は、第1特殊光画像生成部381からの読み出しに応答してフレームメモリ314に格納されている1フレーム期間前のカラー画像を第1特殊光画像生成部381へ出力すると共に現在撮影されたカラー画像を逐次格納する事ができるように2フレーム分の容量を持ったリングバッファ構成となっている。
第1特殊光画像生成部381はフレームメモリ314から格納されているカラー画像と同時化補間処理部362から出力されるカラー画像が入力される。
以下、第1特殊光画像生成部381の処理の詳細を図43に基づいて説明する。
まず入力される2つのカラー画像を以下のように定義する。
フレームメモリ314から出力されるカラー画像はWimg(t)とし、同時化補間処理部362から出力されるカラー画像をWMimg(t+1)とする。ここでtは時間を意味し、整数値で偶数をとる。時間tと時間t+1との間の期間は発光タイミングの切り替え期間となる。
第1特殊光画像生成部381はレベル補正部341と移動量算出部342と動き補償差分画像生成部343とから構成される。
レベル補正部341にはフレームメモリ314が接続しており、移動量算出部342にはレベル補正部341が接続しており、動き補償差分画像生成部343には選択部313と移動量算出部342とフレームメモリ314が接続している。続いて信号の流れと処理の内容を説明する。
レベル補正部341には選択部313から出力されるカラー画像WMimg(t+1)とフレームメモリ314からのカラー画像Wimg(t)が入力される。レベル補正部341は2つのカラー画像のG信号画像(以降、WMimg_G(t+1)、Wimg_G(t)と記す)に対してそれぞれ画像内平均値を算出する。これらの画像内平均値を使って2つの画像の前記平均値を一致させるゲイン量Ggを照射制御部302からの発光タイミング信号の状態に基づいて以下のように算出し、どちらか一方のG信号画像を補正して移動量算出部342へ出力する。下式(10)は例としてWimg(t)_G信号画像を補整する場合の式である。
Gg=WMimg_G(t+1)の画像内平均値/Wimg_G(t)の画像内平均値 ・・・・・(10)
Ggを乗算したWimg_G(t)とWMimg_G(t+1)を移動量算出部342へ出力する。
移動量算出部342は入力される2つのG信号画像の画面全体の移動量を算出する。移動量の算出方法はWMimg_G(t+1)とGg×Wimg_G(t)に対して、WMimg_G(t+1)の中央部分の所定サイズ領域を抽出し、Gg×Wimg_G(t)に対して一般的なブロックマッチング処理を行う。画像中央位置を原点としてブロックマッチング処理により自乗誤差が最小となる位置の位置ベクトルを画像全体の動きベクトルとして動き補償差分画像生成部343へ出力する。
上記説明では動きベクトルの算出はG信号で行なっているが、それに限定されない。B信号でも或いはR信号で行なっても良い。
動き補償差分画像生成部343はフレームメモリ314からのカラー画像Wimg(t)、及び移動量算出部342からの動きベクトルが入力され、カラー画像Wimg(t)を前記動きベクトルに基づき動きを補正した動き補正画像cWimg(t+1)を生成する。更に選択部313からのカラー画像WMimg(t+1)と前記動き補正画像cWimg(t+1)とに基づき特殊光画像Nimg(t+1)を以下の通りに算出する。
Nimg(t+1)=WMimg(t+1)-cWimg(t+1) ・・・・・(11)
算出された特殊光画像Nimg(t+1)は通常光画像補正部316と特殊色処理部318と第2特殊光画像生成部382へ出力される。
通常光画像補正部316は第1実施の形態と同様であるため、詳細な説明は省略する。
特殊色処理部318には第1特殊光画像生成部381で算出されたNimg(t+1)の内のB信号であるNimg_B(t+1)とG信号であるNimg_G(t+1)が入力されて第1実施の形態と同様の処理がされる。
第2特殊光画像生成部382には第1特殊光画像生成部381で算出されたNimg(t+1)の内のR信号であるNimg_R(t+1)が入力される。更に照射制御部302からのフィルタ選択信号が入力される。
第2特殊光画像生成部382は照射制御部302からのフィルタ選択信号が入力された場合にはフレームメモリ383に入力されるNimg_R(t+1)を一時保存すると共にNimg_R(t+1)はフレームメモリ383に保存されているNimg_R(t−1)とに基づいて2つの色信号からなる画像IRimg2(t+1)を生成し、第2特殊色処理部384へ出力する。第2特殊色処理部384では、入力されたIRimg2(t+1)を擬似カラー化したIRimg(t+1)を生成し、第2特殊後処理部385へ出力する。
第2特殊後処理部385は特殊色処理部384にて生成された擬似カラー画像が入力され、モニタの出力特性に基づいた階調変換、更に輪郭強調処理等の強調処理が後処理として実行された擬似カラー画像が合成処理部386へ出力される。
合成処理部386の処理は入力される白色光画像Wimgと特殊光画像Nimgと第2特殊光画像IRimgに基づき表示部400に表示する出力画像を生成する。
以上のように第3の実施形態によれば、図44に示すように、通常光画像と2つの特殊光画像を同時に取得でき、更に特殊光画像を通常光画像と同一期間で高精度に撮像することができるので、異なる特徴量に基づく多角的な病変検出が行なえて、病変部の検出精度が向上するのでドクターの診断精度を向上させることができる。
以上の本実施形態では、第2の照明光は、白色光と、第3の特定波長帯域の光と、第4の特定波長帯域の光を合成した光であってもよい。具体的には、第3の特定波長帯域の光と第4の特定波長帯域の光は、赤外光の波長帯域である。さらに具体的には、第3の特定波長帯域は790ナノメータ〜820ナノメータであり、第4の特定波長帯域は905ナノメータ〜970ナノメータである。第3の特定波長帯域が図36のR2に相当し、第4の特定波長帯域が図37のR3に相当する。
これにより、第1照明光画像と第2照明光画像から、特殊光画像を求めることで、IRI(Infra Red Imaging)と呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるICG(インドシアニングリーン)を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお、790nm〜820nmという波長は赤外指標薬剤の吸収がもっとも強いという特性から求められ、905nm〜970nmという波長は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
また、第1の照明光は、図38に示すように白色光である。そして、第2の照明光は、図39に示すように白色光と第1の特定波長帯域の光と第2の特定波長帯域の光と第3の特定波長帯域の光を合成した光、或いは、図40に示すように白色光と第1の特定波長帯域の光と第2の特定波長帯域の光と第4の特定波長帯域の光を合成した光である。
さらに変形例としては、第1の照明光は、白色光と第1の特定波長帯域の光を合成した光であってもよい。そして、第2の照明光は、白色光と第2の特定波長帯域の光と第3の特定波長帯域の光を合成した光、或いは、白色光と第2の特定波長帯域の光と第4の特定波長帯域の光を合成した光であってもよい。
ここで、第1の特定波長帯域の光及び第2の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長帯域であり、第3の特定波長帯域の光及び第4の特定波長帯域の光は、赤外光の波長帯域である。
これにより、第1の照明光及び第2の照明光から特殊光画像を求めることで、NBI及びIRIによる観察が可能になる。NBI及びIRIについては上述したとおりなので、詳細な説明は省略する。具体的には図44の例でいえば、特殊光画像であるNimg(t+1)がNBI画像に対応し、特殊光画像2であるIRimg(t+1)がIRI画像に対応する。図44に示したとおり、2タイミングに1回、2種類の特殊光画像を白色光と同時に取得することができる。
また、画像処理部301は、第1照明光画像と第2照明光画像の差分を求めることで、差分画像を取得し、差分画像の色成分のうち、G成分とB成分から第1の特殊光画像を取得し、R成分から第2の特殊光画像を取得する。
これにより、第1照明光画像と第2照明光画像の差分から、2種類の特殊光画像(具体的にはNBI画像及びIRI画像)を取得することが可能になる。具体的には上述したように図44に示すタイミングで2種類の特殊光画像を取得することができる。分光推定等を用いる場合に比べて高精度な特殊光画像を白色光画像と同時に取得できる上に、2種類の性質の異なる(例えば検出しやすい病変の種類が異なる)特殊光画像を取得できるため、ドクターの診断や治療を容易にすることが可能になる。
以上、本発明を適用した3つの実施の形態1〜3およびその変形例について説明したが、本発明は、各実施の形態1〜3やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜3や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜3や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
100 光源部、200 撮像部、300 プロセッサ部、400 表示部、
500 外部I/F部、101 白色光源、102 IR・UVカットフィルタ、
103 ハーフミラー、104 発光制御部、105 第1の狭帯域光源、
106 第2の狭帯域光源、107 ダイクロイックプリズム、108 集光レンズ、
109 クロスプリズム、110 第3の狭帯域光源、111 回転狭帯域フィルタ、
200 撮像部、200 スコープ、201 ライトガイドファイバ、
202 照明レンズ、203 対物レンズ、204,207 撮像素子、
205 A/D変換部、206 ダイクロイックプリズム、208 A/D変換部、
300 制御装置、301 画像処理部、302 照射制御部、311 前処理部、
312 同時化補間処理部、313 選択部、314 フレームメモリ、
315,363 特殊光画像生成部、316,364 通常光画像補正部、
317 通常色処理部、318 特殊色処理部、319 通常後処理部、
320 特殊後処理部、321 合成処理部、341,344 レベル補正部、
342,345 移動量算出部、343,346 動き補償差分画像生成部、
351,375 選択部、352,355 減算部、353,354 信号選択部、
356 信号合成部、360,361 前処理部、362 同時化補間処理部、
371 領域分割部、372 特定色判定部、373 病変部検出部、
374 病変領域合成部、381 第1特殊光画像生成部、
382 第2特殊光画像生成部、383 フレームメモリ、
384 第2特殊色処理部、385 第2特殊後処理部、386 合成処理部、
400 表示部、500 外部I/F部、801,802 狭帯域フィルタ

Claims (34)

  1. 白色光の波長帯域の光を含む第1の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射する制御を行う照射制御部と、
    前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域における情報を有する被写体像を含む特殊光画像を生成する処理を行う画像処理部と、
    を含むことを特徴とする制御装置。
  2. 請求項1において、
    前記画像処理部は、
    前記第1のタイミングにおける前記第1照明光画像と、前記第2のタイミングにおける前記第2照明光画像とに基づいて、前記第2のタイミングにおける前記特殊光画像を取得することを特徴とする制御装置。
  3. 請求項2において、
    前記画像処理部は、
    前記第1のタイミングにおける前記第1照明光画像に基づいて、前記第2のタイミングにおける中間画像を取得し、
    取得した前記第2のタイミングにおける前記中間画像と、前記第2のタイミングにおける前記第2照明光画像とに基づいて、前記第2のタイミングにおける前記特殊光画像を生成することを特徴とする制御装置。
  4. 請求項3において、
    前記画像処理部は、
    前記第2のタイミングにおける前記中間画像と、前記第2のタイミングにおける前記第2照明光画像との差分を用いて、前記第2のタイミングにおける前記特殊光画像を生成することを特徴とする制御装置。
  5. 請求項4において、
    前記画像処理部は、
    前記第1のタイミングにおける前記第1照明光画像と、前記第2のタイミングにおける前記第2照明光画像とに基づいて、被写体の移動量を算出する移動量算出部を含み、
    前記画像処理部は、
    前記移動量算出部により算出された前記被写体の移動量に基づいて、前記第1のタイミングにおける前記第1照明光画像を補正することで、前記第2のタイミングにおける前記中間画像を取得することを特徴とする制御装置。
  6. 請求項5において、
    前記移動量算出部は、
    前記第1のタイミングにおける前記第1照明光画像の画素値の平均値と、前記第2のタイミングにおける前記第2の照明光画像の画素値の平均値とに基づいて、前記第1照明光画像と前記第2照明光画像の画素値の平均値を同等にするイコライジング補正を行い、イコライジング補正された前記第1照明光画像と前記第2照明光画像とに基づいて、前記被写体の移動量を算出することを特徴とする制御装置。
  7. 請求項6において、
    前記移動量算出部は、
    前記第1のタイミングにおける前記第1照明光画像に含まれる所定の色成分信号と、
    前記所定の色成分信号に対応する、前記第2のタイミングにおける前記第2照明光画像に含まれる所定の色成分信号と、に基づいて、前記被写体の移動量を算出することを特徴とする制御装置。
  8. 請求項7において、
    前記所定の色成分信号の波長帯域は、B成分であることを特徴とする制御装置。
  9. 請求項7において、
    前記所定の色成分信号の波長帯域は、G成分であることを特徴とする制御装置。
  10. 請求項7において、
    前記所定の色成分信号の波長帯域は、R成分であることを特徴とする制御装置。
  11. 請求項2において、
    前記画像処理部は、
    前記第2のタイミングにおける前記第2照明光画像と、前記第2のタイミングにおける前記特殊光画像とに基づいて、前記第2のタイミングにおける、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
  12. 請求項1において、
    前記第1の照明光は、
    前記白色光の波長帯域の光であり、
    前記第2の照明光は、
    前記白色光の波長帯域の光と、第1の特定波長帯域の光と、第2の特定波長帯域の光を合成した光であることを特徴とする制御装置。
  13. 請求項1において、
    前記第1の照明光は、
    前記白色光の波長帯域の光と、第1の特定波長帯域の光を合成した光であり、
    前記第2の照明光は、
    前記白色光の波長帯域の光と、第2の特定波長帯域の光を合成した光であることを特徴とする制御装置。
  14. 請求項12又は13において、
    前記第1の特定波長帯域の光及び前記第2の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする制御装置。
  15. 請求項14において、
    前記第1の特定波長帯域は、390ナノメータ〜445ナノメータの波長帯域であり、
    前記第2の特定波長帯域は、530ナノメータ〜550ナノメータの波長帯域であることを特徴とする制御装置。
  16. 請求項1において、
    前記第2の照明光は、
    前記白色光の波長帯域の光と、第3の特定波長帯域の光と、第4の特定波長帯域の光を合成した光であることを特徴とする制御装置。
  17. 請求項16において、
    前記第3の特定波長帯域の光及び前記第4の特定波長帯域の光は、赤外光の波長帯域であることを特徴とする制御装置。
  18. 請求項17において、
    前記第3の特定波長帯域は、790ナノメータ〜820ナノメータの波長帯域であり、
    前記第4の特定波長帯域は、905ナノメータ〜970ナノメータの波長帯域であることを特徴とする制御装置。
  19. 請求項1において、
    前記第1の照明光は、
    前記白色光の波長帯域の光であり、
    前記第2の照明光は、
    前記白色光の波長帯域の光と、第1の特定波長帯域の光と、第2の特定波長帯域の光と、第3の特定波長帯域の光を合成した光、或いは、
    前記白色光の波長帯域の光と、前記第1の特定波長帯域の光と、前記第2の特定波長帯域の光と第4の特定波長帯域の光を合成した光であることを特徴とする制御装置。
  20. 請求項1において、
    前記第1の照明光は、
    前記白色光の波長帯域の光と、第1の特定波長帯域の光を合成した光であり、
    前記第2の照明光は、
    前記白色光の波長帯域の光と、第2の特定波長帯域の光と、第3の特定波長帯域の光を合成した光、或いは、
    前記白色光の波長帯域の光と、前記第2の特定波長帯域の光と第4の特定波長帯域の光を合成した光であることを特徴とする制御装置。
  21. 請求項19又は20において、
    前記第1の特定波長帯域の光及び前記第2の特定波長帯域の光は、血液中のヘモグロビンに吸収される波長の波長帯域であり、
    前記第3の特定波長帯域の光及び前記第4の特定波長帯域の光は、赤外光の波長帯域であることを特徴とする制御装置。
  22. 請求項19又は20において、
    前記画像処理部は、
    前記第1の照明光と前記第2の照明光との差分を求めることで、差分画像を取得し、取得した前記差分画像の色成分のうち、G成分とB成分とに基づいて、第1の特殊光画像を取得するとともに、
    前記差分画像の色成分のうち、R成分に基づいて、第2の特殊光画像を取得することを特徴とする制御装置。
  23. 請求項12において、
    前記画像処理部は、
    前記第2照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
  24. 請求項23において、
    前記画像処理部は、
    前記第2照明光画像と、前記特殊光画像との差分を用いて、前記白色光画像を生成することを特徴とする制御装置。
  25. 請求項13において、
    前記画像処理部は、
    前記第1照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
  26. 請求項25において、
    前記第1照明光画像中のB成分信号と、前記特殊光画像中のB成分信号とに基づいて、前記白色光画像中のB成分信号を生成し、
    生成した前記白色画像中のB成分信号と、前記第1照明光画像中のB成分以外の色成分信号とに基づいて、前記白色光画像を生成することを特徴とする制御装置。
  27. 請求項13において、
    前記画像処理部は、
    前記第2照明光画像と、前記特殊光画像とに基づいて、前記特殊光画像に対応する、白色光の波長帯域の情報を有する被写体像を含む白色光画像を生成することを特徴とする制御装置。
  28. 請求項27において、
    前記第2照明光画像中のG成分信号と、前記特殊光画像中のG成分信号とに基づいて、前記白色光画像中のG成分信号を生成し、
    生成した前記白色画像中のG成分信号と、前記第1照明光画像中のG成分以外の色成分信号とに基づいて、前記白色光画像を生成することを特徴とする制御装置。
  29. 請求項1において、
    前記特殊光画像の画素の画素値に基づいて、注目すべき領域である注目領域を検出する検出部をさらに含むことを特徴とする制御装置。
  30. 請求項29において、
    前記検出部による検出結果に基づく情報を提示する制御を行う提示制御部を含むことを特徴とする制御装置。
  31. 請求項29において、
    前記検出部による検出結果に基づく情報を前記白色光画像に重畳する重畳部を含むことを特徴とする制御装置。
  32. 請求項29において、
    前記注目領域は、病変領域であることを特徴とする制御装置。
  33. 白色光を照射する第1の光源と、
    少なくとも1つの特定の波長帯域の光を照射する第2の光源と、
    前記第1の光源の照射による白色光の波長帯域の光を含む第1の照明光と、前記第1の光源の照射による白色光の波長帯域の光及び前記第2の光源の照射による特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、
    前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部と、
    を含むことを特徴とする内視鏡装置。
  34. 白色光の波長帯域の光を含む第1の照明光と、白色光の波長帯域の光及び特定の波長帯域の光を合成した第2の照明光と、を時系列的に異ならせて照射するよう制御する照射制御部と、
    前記第1の照明光の第1のタイミングでの照射により取得された第1照明光画像と、前記第2の照明光の第2のタイミングでの照射により取得された第2照明光画像とに基づいて、特定の波長帯域の情報を有する被写体像を含む特殊光画像を生成する画像処理部として、
    コンピュータを機能させることを特徴とするプログラム。
JP2010107863A 2010-05-10 2010-05-10 制御装置、内視鏡装置及びプログラム Withdrawn JP2011234844A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010107863A JP2011234844A (ja) 2010-05-10 2010-05-10 制御装置、内視鏡装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010107863A JP2011234844A (ja) 2010-05-10 2010-05-10 制御装置、内視鏡装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2011234844A true JP2011234844A (ja) 2011-11-24

Family

ID=45323497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010107863A Withdrawn JP2011234844A (ja) 2010-05-10 2010-05-10 制御装置、内視鏡装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2011234844A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013144039A (ja) * 2012-01-16 2013-07-25 Fujifilm Corp 電子内視鏡システム、画像処理装置及び画像処理方法
CN103300810A (zh) * 2012-03-12 2013-09-18 富士胶片株式会社 内窥镜***及其处理器装置和用于显示内窥镜检查视频图像的方法
WO2014037979A1 (ja) * 2012-09-07 2014-03-13 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
WO2015093114A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
JP2017029374A (ja) * 2015-07-31 2017-02-09 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2017110180A1 (ja) 2015-12-22 2017-06-29 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2017144248A (ja) * 2017-03-23 2017-08-24 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
WO2018212272A1 (ja) * 2017-05-17 2018-11-22 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法
WO2021176890A1 (ja) 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013144039A (ja) * 2012-01-16 2013-07-25 Fujifilm Corp 電子内視鏡システム、画像処理装置及び画像処理方法
CN103300810A (zh) * 2012-03-12 2013-09-18 富士胶片株式会社 内窥镜***及其处理器装置和用于显示内窥镜检查视频图像的方法
JP2013188244A (ja) * 2012-03-12 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡動画表示方法
JPWO2014037979A1 (ja) * 2012-09-07 2016-08-08 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
WO2014037979A1 (ja) * 2012-09-07 2014-03-13 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
CN105828692A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
US10264948B2 (en) 2013-12-20 2019-04-23 Olympus Corporation Endoscope device
JP2015119765A (ja) * 2013-12-20 2015-07-02 オリンパス株式会社 内視鏡装置
WO2015093114A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
CN105828692B (zh) * 2013-12-20 2018-01-23 奥林巴斯株式会社 内窥镜装置
JP2017029374A (ja) * 2015-07-31 2017-02-09 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2017110180A1 (ja) 2015-12-22 2017-06-29 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11116384B2 (en) 2015-12-22 2021-09-14 Fujifilm Corporation Endoscope system capable of image alignment, processor device, and method for operating endoscope system
JP2017144248A (ja) * 2017-03-23 2017-08-24 パイオニア株式会社 撮像装置、内視鏡装置および撮像装置の制御方法
CN110692235A (zh) * 2017-05-17 2020-01-14 株式会社克利普顿 图像处理装置、图像处理程序及图像处理方法
KR20200010247A (ko) * 2017-05-17 2020-01-30 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
JPWO2018212272A1 (ja) * 2017-05-17 2020-03-19 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法
CN110692235B (zh) * 2017-05-17 2021-06-22 株式会社克利普顿 图像处理装置、图像处理程序及图像处理方法
WO2018212272A1 (ja) * 2017-05-17 2018-11-22 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法
KR102500462B1 (ko) * 2017-05-17 2023-02-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
US11592656B2 (en) 2017-05-17 2023-02-28 Kripton Co., Ltd. Image processing apparatus, image processing program, and image processing method
JP7245773B2 (ja) 2017-05-17 2023-03-24 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法
WO2021176890A1 (ja) 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Similar Documents

Publication Publication Date Title
JP5603676B2 (ja) 画像処理装置及びプログラム
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
US9629525B2 (en) Image processing device, image processing method, and program
US10039439B2 (en) Endoscope system and method for operating the same
JP5220780B2 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
US8452092B2 (en) Image processing device, endoscope system, program, and image processing method
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20160089010A1 (en) Endoscope system, processor device, and method for operating endoscope system
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5389380B2 (ja) 信号処理システム及び信号処理プログラム
JP2011135983A (ja) 画像処理装置、電子機器、プログラム及び画像処理方法
JP5462084B2 (ja) 画像処理装置及びプログラム
JP2014144034A (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2010005095A (ja) 内視鏡装置における距離情報取得方法および内視鏡装置
JP2016192985A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JPWO2016084257A1 (ja) 内視鏡装置
JP5715602B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
WO2018235178A1 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP5940604B2 (ja) 画像処理装置、画像処理装置の作動方法及びプログラム
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
JP2010213746A (ja) 内視鏡画像処理装置および方法ならびにプログラム
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6153912B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130806