JP2008188196A

JP2008188196A - 撮像装置

Info

Publication number: JP2008188196A
Application number: JP2007025191A
Authority: JP
Inventors: Koji Tanimoto; 孝司谷本; Takayuki Sato; 隆幸佐藤
Original assignee: Kyushu University NUC; Kochi University NUC; Sanyo Electric Co Ltd; Sanyo Semiconductor Co Ltd
Current assignee: Kyushu University NUC; Kochi University NUC; Sanyo Electric Co Ltd; System Solutions Co Ltd
Priority date: 2007-02-05
Filing date: 2007-02-05
Publication date: 2008-08-21
Anticipated expiration: 2027-02-05
Also published as: JP4971816B2; CN101238974A; CN101238974B; US20080251694A1; US7538309B2

Abstract

【課題】被写体の可視光像と赤外光像との合成画像を撮影可能な撮像装置に関し、構成の簡素化と利便性の向上を図る。
【解決手段】赤外蛍光物質を含んだ被写体に対する光源６として、可視光源２０と蛍光物質を励起する励起光源２２とを備える。被写体からの光は光学フィルタ１０を通してＣＣＤイメージセンサ１２に入射する。光学フィルタ１０は、励起光をカットし、蛍光を透過する。また、微弱な蛍光による赤外光像を可視光像上にて明瞭に表示するために、光学フィルタ１０の可視光に対する透過率は蛍光に対するより低く設定される。ＣＣＤイメージセンサ１２は、可視光だけでなく赤外光にも感度を有するので、光学フィルタ１０からの入射光により合成画像の画像信号を出力する。
【選択図】図１

Description

本発明は、可視光像と赤外蛍光物質による赤外光像との合成画像を撮影可能な撮像装置に関する。

蛍光体は、対象物における可視光像では明確でない構造や特定の物質の存在を検知する技術に利用されている。例えば、下記特許文献１に示す顕微鏡装置は、インドシアニングリーン（以下、ＩＣＧ）という蛍光体を結合させた抗体をプローブとし、癌組織に集積し易い性質を有する当該プローブから発せられる蛍光を観察することにより、生物組織切片における微小癌の存在を検出するものである。

ＩＣＧは、約８００ｎｍの近赤外光を吸収し励起され、約８５０ｎｍの近赤外光の蛍光を発する色素であり、造影剤として人体に投与することもでき、それにより観察される赤外光像が病気の診断・治療に利用されている。例えば、ＩＣＧを血管注射することで、血管の像を観察することができる。また、血中のタンパク質と結合して肝臓に選択的に取り込まれる性質を利用して、肝機能の検査に用いられている。

手術等においては、医師はその対象部位を視覚的に把握できる必要がある。その際、可視光像として得られる通常画像に加えて、対象部位の表面又はその下に存在する血管の位置を把握可能な画像が得られると好都合である場合がある。この観点から、可視光像に、蛍光造影剤により得られる赤外光像を合成表示した画像（赤外合成画像）が望まれる。

赤外合成画像の生成には、可視光像と赤外光像とを撮影可能な撮像装置が必要となる。ここで、ＣＣＤイメージセンサ等の固体撮像素子は、可視光だけでなく近赤外光にも感度を有している。そのため、固体撮像素子を用いて赤外合成画像を撮影することが考えられる。

ちなみに、下記特許文献１の顕微鏡装置は、ＩＣＧに対する励起光は反射しＩＣＧの蛍光は透過するダイクロイックミラーを用いて、光源から発した励起光を試料へ向けて反射して照射する一方、試料からの光に含まれる蛍光成分及び励起光成分のうち蛍光成分を選択的に透過して固体撮像素子に入射させる。当該顕微鏡装置では、蛍光による赤外光像と同時に可視光像の観察を行うために、ダイクロイックミラーは可視光の一部を反射し、残りを透過する特性に設定される。ここで、可視光の反射率、透過率をそれぞれ５０％ずつに設定することにより、理論上、光源から発した可視光のうち固体撮像素子へ到達する割合を最大とすることができる。ちなみに、当該最大の状態にて試料から固体撮像素子に到達する可視光の強度は、ダイクロイックミラーを介さずに光源からの可視光を試料に直接照射し、その反射光を直接、固体撮像素子へ入射させた場合の強度の２５％となる。
特開平１０−３２５７９８号公報

可視光像と赤外光像との双方の同時観察を可能とする装置として、上述のように特許文献１に示されるものがあるが、当該装置は顕微鏡装置であり、この構成を手術中における対象部位の観察やその他の撮像用途に適用することは常に可能とは限らない。例えば、手術においては、手術対象部位の周りに比較的大きな手術手技空間や、術者が手術時に対象部位の直接目視を可能とする空間の確保が必要となる場合がある。そのような場合に、撮影対象に接近した構成要素を有する撮像装置は、必要な空間を確保することが困難となり得る。また、作業に支障を来さないような任意の位置からの撮影を可能とするために、観察対象に対する照明手段や撮像手段の配置の自由度が高い構成であることが望ましい。

本発明は、上述の課題を解決するためになされたものであり、被写体の可視光像と赤外光像との合成画像を撮影可能な撮像装置に関し、簡単で高い利便性が得られる構成を提供することを目的とする。

本発明に係る撮像装置は、赤外蛍光を発する赤外蛍光物質を含んだ被写体に対して、可視光帯域の第１成分光及び前記赤外蛍光物質の励起波長の第２成分光を照射する光源と、前記被写体からの光のうち、前記第１成分光に対応する帯域の成分及び前記赤外蛍光を透過し、前記第２成分光に対応する帯域の成分の透過を阻止する光学フィルタと、前記光学フィルタの透過光に基づいて、可視光像及び赤外光像を撮影可能な固体撮像素子と、前記固体撮像素子の各受光画素から読み出される信号を処理し、前記可視光像と前記赤外光像とに基づく合成画像を表す画像信号を生成する信号処理回路と、を有するものである。

上記固体撮像素子は、特定色の可視光及び赤外光に感度を有する複数種類の色受光画素を二次元配列したカラー撮像素子とすることができる。

本発明の好適な態様は、前記光学フィルタが、前記被写体からの前記第１成分光の反射光と前記赤外蛍光との強度差を、前記合成画像における前記可視光像と前記赤外光像との所望の合成バランスに応じて調整する透過特性を有する撮像装置である。

本発明の他の好適な態様は、前記光源が、前記第１成分光を発する第１発光部と、前記第２成分光を発する第２発光部と、を有し、前記第１発光部及び前記２発光部それぞれの発光強度を独立に制御可能である撮像装置である。

本発明によれば、光源から発した光はそのまま直接、被写体に照射することができる。また、被写体からの光は、可視光成分及び赤外蛍光の成分を分離せずに、固体撮像素子に入射される。さらに、固体撮像素子は単体で、可視光成分及び赤外光成分を検出する。つまり、本発明によれば、光源から被写体へ、また被写体から固体撮像素子への光路に分岐や反射・屈折のための構成を必要としないこと、また、それにより、光源、固体撮像素子の配置の自由度が高まり、さらに、被写体と光源及び固体撮像素子との間に空間を確保することが容易となること、といった点で、構成の簡素化と利便性の向上が図られる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

本実施形態は、ＩＣＧを蛍光造影剤として血管投与した人体等の被写体から可視光像と赤外光像との合成画像を撮影する撮像装置であり、例えば、手術に用いられる。図１は、本実施形態に係る撮像装置の概略の構成を示すブロック図である。本撮像装置は、例えば、撮像部２と表示部４とに分けられ、撮像部２は、光源６、光学系８、光学フィルタ１０、ＣＣＤイメージセンサ１２、駆動回路１４、信号処理回路１６及び制御回路１８を含んで構成される。

光源６は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色に跨る比較的広帯域の可視光を出射する可視光源２０と、ＩＣＧの励起波長を含む比較的狭帯域の光を出射する励起光源２２とからなる。可視光源２０として、例えば、キセノンランプや白色ＬＥＤ（Light Emitting Diode）などを用いることができる。励起光源２２は、ＩＣＧの励起波長に対応して、例えば、７８０ｎｍにピーク波長を有するＬＥＤ等の半導体発光デバイスを用いることができる。特に、７８０ｎｍ帯の発光デバイスとして、ＧａＡｓ系等のレーザダイオード（ＬＤ）がＣＤ（Compact Disc）の読み取りに用いられており、これを本装置においても採用することができる。なお、ＩＣＧが発する蛍光を鮮明に撮像するためには、蛍光波長近傍での光源６の発光成分が少ないことが望ましい。この点、白色ＬＥＤは、赤外域での発光強度が抑制されるため、単独での使用が可能である。一方、キセノンランプのような赤外域でも比較的大きな発光強度を有する光源を、可視光源２０として用いる場合には、赤外カットフィルタを用いて、蛍光波長を含む赤外帯域成分を除去するように構成する。

被写体からの光は、光学系８を介して本撮像装置に取り込まれる。光学系８は、レンズ等からなり、ＣＣＤイメージセンサ１２の受光面に光学像を結像させる。

光学フィルタ１０は、ＣＣＤイメージセンサ１２までの入射光路上に配置される。図２は、光学フィルタ１０の分光透過特性を示す模式図である。光学フィルタ１０は、励起波長である７８０ｎｍの近傍帯域の光の透過を好適に阻止する一方、蛍光波長である８５０ｎｍの近傍帯域の光を好適に透過させる特性３０を有する。これにより、ＣＣＤイメージセンサ１２にて、被写体で反射した励起光による不要な画像が撮影されることを防止し、蛍光による赤外光像を好適に撮影することが可能となる。

また、光学フィルタ１０は可視光も透過する特性３２を有する。ここで、可視光帯域での透過率と赤外帯域での透過率との間には差が設けられる。この透過率の差は、被写体からの可視光と赤外蛍光との間に存在する強度差をＣＣＤイメージセンサ１２に入射する前に調整し、合成画像における可視光像と赤外光像との所望の合成バランスを実現するために設定されている。具体的には、ＩＣＧが発する蛍光は一般に微弱であることや、後述する図４に示すようにＣＣＤイメージセンサ１２の赤外帯域での分光感度特性が可視光帯域よりも低いことから、光学フィルタ１０の可視光帯域での透過特性３２を赤外帯域での透過特性３０よりも低い透過率に設定することで、合成画像上にて赤外光像の強度を相対的に高め、鮮明に表示させることができる。

ちなみに、ここで述べたような光学フィルタ１０の特性は、例えば、真空蒸着によりシリカ／チタニアなどを繰り返し１０〜６０層程度積層した薄膜を形成することで実現することができる。

ＣＣＤイメージセンサ１２は、駆動回路１４からの各種クロックに基づいて動作し、被写体に応じた画像信号を生成する。図３はＣＣＤイメージセンサ１２の概略の構成を示す模式的な平面図である。図３に示すＣＣＤイメージセンサ１２はフレーム転送型であり、半導体基板上に形成される撮像部１２ｉ、蓄積部１２ｓ、水平転送部１２ｈ、及び出力部１２ｄを含んで構成される。

撮像部１２ｉを構成する垂直シフトレジスタの各ビットは、それぞれ画素を構成する受光画素として機能する。各受光画素はカラーフィルタを配置され、そのカラーフィルタの透過特性に応じて、受光画素が感度を有する光成分が定まる。撮像部１２ｉはベイヤー配列のカラーフィルタアレイを配置される。

カラーフィルタは例えば、着色した有機材料で形成され、それぞれ対応する色の可視光を透過するが、その材質上、赤外光も透過する。例えば、図４は、ＲＧＢ各フィルタの分光透過特性を示す模式的なグラフであり、同図はフォトダイオードの分光感度特性も併せて示している。各色のカラーフィルタの透過率は、可視光領域ではそれぞれの着色に応じて固有の分光特性を示すが、赤外光領域ではほぼ共通の分光特性を示す。

一方、フォトダイオードは、波長が７８０ｎｍ程度までの可視光領域全般に加え、さらに７８０ｎｍ程度より長波長の近赤外領域まで感度を有する。そのため、赤外光成分が受光画素に入射すると、当該赤外光成分はカラーフィルタを透過して、フォトダイオードにて信号電荷を発生する。すなわち、各受光画素には、入射光のうち当該画素に配置されたカラーフィルタの色に対応する可視光成分に応じた信号電荷と、赤外光成分に応じた信号電荷とが合成されて蓄積される。

撮像部１２ｉの各受光画素で発生した信号電荷は、蓄積部１２ｓ、水平転送部１２ｈを介して出力部１２ｄへ転送される。出力部１２ｄは、電気的に独立した容量及びその電位変化を取り出すアンプからなり、水平転送部１２ｈから出力される信号電荷を１ビット単位で容量に受けて電圧値に変換し、時系列の画像信号として出力する。

駆動回路１４は、制御回路１８からのタイミング制御信号等を受けて、ＣＣＤイメージセンサ１２を駆動する各種クロック信号を生成しＣＣＤイメージセンサ１２に供給する。また、駆動回路１４は、制御回路１８の指示を受け、例えば、ＣＣＤイメージセンサ１２での撮像動作に連動して光源６のオン／オフする。

信号処理回路１６は、ＣＣＤイメージセンサ１２が出力する画像信号に基づいて、可視光像と赤外光像とが合成された合成画像を表す画像信号を生成する。信号処理回路１６は、アナログ信号処理回路、Ａ／Ｄ変換回路及びデジタル信号処理回路を含んで構成される。

アナログ信号処理回路は、出力部１２ｄが出力するアナログ信号の画像信号に対して、増幅やサンプルホールド等の処理を施す。Ａ／Ｄ変換回路はアナログ信号処理回路から出力される画像信号を、所定の量子化ビット数のデジタルデータに変換することにより、画像データを生成し、これを出力する。

デジタル信号処理回路はＡ／Ｄ変換回路から画像データを取り込み、各種の処理を行う。例えば、デジタル信号処理回路はＲＧＢ各受光画素にてサンプリングされたＲＧＢ各データに対するフィルタ処理を行う。このフィルタ処理として、互いに異なるサンプリング点にて得られたＲＧＢ各データに対する補間処理が行われ、この補間処理により、画像を構成する各サンプリング点それぞれにて、ＲＧＢ各データが定義される。また、フィルタ処理では、画素欠陥やランダムノイズを除去する処理も行われる。このフィルタ処理後のＲＧＢ各データをそれぞれ〈Ｒ〉，〈Ｇ〉，〈Ｂ〉と表す。

デジタル信号処理回路は、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉を用いて、合成画像を表す画像信号を生成する処理を行い、各サンプリング点における輝度データ（輝度信号）Ｙ及び色差データ（色差信号）Ｃr，Ｃbを生成する。例えば、次式に基づいてＹ，Ｃr，Ｃbが算出される。

Ｙ≡α〈Ｒ〉＋β〈Ｇ〉＋γ〈Ｂ〉 ………（１）
Ｃr≡λ(〈Ｒ〉−Ｙ) ………（２）
Ｃb≡μ(〈Ｂ〉−Ｙ) ………（３）

ここで、α，β，γ，λ，μは係数であり、特にα，β，γの間には、
α＋β＋γ＝１
………（４）
なる関係がある。

〈Ｒ〉，〈Ｇ〉，〈Ｂ〉は、被写体からの可視光成分と赤外蛍光成分とを含んでおり、ＣＣＤイメージセンサ１２への入射光に含まれる本来のＲ，Ｇ，Ｂ成分に応じた信号成分をＲ_０，Ｇ_０，Ｂ_０とし、一方、それらに重畳される赤外光に応じた信号成分をＩr，Ｉg，Ｉbとすると、次式が成り立つ。

〈Ｒ〉＝Ｒ_０＋Ｉr
〈Ｇ〉＝Ｇ_０＋Ｉg ………（５）
〈Ｂ〉＝Ｂ_０＋Ｉb

上述したようにＲＧＢ各受光画素に配置されるカラーフィルタは赤外光領域にて基本的に同様の分光特性を有し、Ｉr，Ｉg，Ｉbは同程度となる。説明を簡単にするために、
Ｉr＝Ｉg＝Ｉb＝〈IR〉 ………（６）
とすると、（５）式は、
〈Ｒ〉＝Ｒ_０＋〈IR〉
〈Ｇ〉＝Ｇ_０＋〈IR〉 ………（７）
〈Ｂ〉＝Ｂ_０＋〈IR〉
となる。（４）（７）式を用いると、（１）〜（３）式のＹ，Ｃr，Ｃbは次のように表される。

Ｙ＝αＲ_０＋βＧ_０＋γＢ_０＋〈IR〉 ………（８）
Ｃr＝λ｛(１−α)Ｒ_０−βＧ_０−γＢ_０−〈IR〉｝ ………（９）
Ｃb＝μ｛−αＲ_０−βＧ_０＋(１−γ)Ｂ_０〈Ｂ〉−〈IR〉｝ ………（１０）

（８）式は、信号処理回路１６により得られる輝度信号Ｙが、赤外光成分が入射しない場合の輝度値に、赤外蛍光による成分〈IR〉を加算したものとなることを示している。すなわち、信号処理回路１６により生成される合成画像の画像信号は、赤外蛍光が強い部分ほど明度が増す。

信号処理回路１６にて生成された合成画像の画像信号は、表示部４に入力され、液晶ディスプレイ等の表示デバイスに画像表示される。例えば、ＩＣＧを血管に注入して手術を行う場合には、Ｒ_０，Ｇ_０，Ｂ_０に応じたカラー画像で表される手術部位の可視光像に、ＩＣＧの濃度が高い血管等が白く浮き出る赤外光像が合成された合成画像が得られる。

なお、合成画像における可視光像と赤外光像とのバランスは、上述したように光学フィルタ１０の透過特性により予め所定状態に設定することができる。ここで、光学フィルタ１０の可視光帯域での透過率及び赤外帯域での透過率は、合成画像における所望の合成バランスを実現するために自由に調整することができる。例えば、その調整は、光学フィルタ１０を交換することにより可能である。さらに、本装置では、可視光源２０と励起光源２２との発光強度をそれぞれ独立に制御可能であり、その発光強度バランスの調節によって、合成画像における可視光像と赤外光像とのバランスを可変制御することができる。具体的には、駆動回路１４が制御回路１８の制御の下、可視光源２０、励起光源２２それぞれに供給する電源の電圧値、電流量を増減して、各光源２０，２２の発光強度調節する。

一方、可視光と励起光とが共通の光源により供給される構成とすることもできる。その場合、それらの発光強度は独立に制御できず、例えば、励起光に対する可視光の相対的な発光強度は固定され得る。しかし、その場合でも、上述のように光学フィルタ１０の特性を調整することにより、合成画像のバランスは調整できる。特に、本発明の構成では、光学フィルタ１０を透過してＣＣＤイメージセンサ１２に到達する可視光の強度を、被写体にて反射される可視光強度の０〜１００％の範囲で自由に調整することができる。

また、撮像部２は例えば、１つの筐体内に一体に構成することができ、当該撮像部２は、被写体を臨むことができる任意の位置に配置することができる。撮像部２は被写体から比較的離して配置することができ、例えば、手術における手技空間等の確保が可能である。なお、撮像部２のうち光源６を撮像部２の他の構成から分離して配置できる構成としたり、光源６と同様の照明手段を別個に備える構成とすることもできる。また、表示部４は撮像部２と一体構成とすることも、別体としてケーブル等で接続する構成とすることもできる。

以上説明したように、本装置は、複数の固体撮像素子を必要とせず、１つのＣＣＤイメージセンサ１２で、可視光像と赤外光像とが所望のバランスで合成された赤外合成画像を撮影することができる。これにより、可視光像と赤外光像とのレジストレーションずれが回避される。単体の固体撮像素子で撮影する当該構成は、被写体からの入射光を空間的に可視光成分と赤外光成分とに分離するためのダイクロイックミラー等の光学手段を要しない。そのため、当該光学手段での蛍光の減衰が防止され、赤外蛍光に対する高感度化が図られる。さらに、単体の固体撮像素子からなる構成は、上述の空間的に可視光成分と赤外光成分とを分離する光学手段が不要となることと相まって、撮像装置の小型化が図られる。そして、装置が小型化されることにより、手術等の作業に使用する際に邪魔になりにくくなり、利便性が向上する。

本発明の実施形態に係る撮像装置の概略の構成を示すブロック図である。光学フィルタの分光透過特性を示す模式図である。ＣＣＤイメージセンサの概略の構成を示す模式的な平面図である。ＲＧＢ各フィルタの分光透過特性、及びフォトダイオードの分光感度特性を示すグラフである。

符号の説明

２撮像部、４表示部、６光源、８光学系、１０光学フィルタ、１２ＣＣＤイメージセンサ、１４駆動回路、１６信号処理回路、１８制御回路、２０可視光源、２２励起光源。

Claims

赤外蛍光を発する赤外蛍光物質を含んだ被写体に対して、可視光帯域の第１成分光及び前記赤外蛍光物質の励起波長の第２成分光を照射する光源と、
前記被写体からの光のうち、前記第１成分光に対応する帯域の成分及び前記赤外蛍光を透過し、前記第２成分光に対応する帯域の成分の透過を阻止する光学フィルタと、
前記光学フィルタの透過光に基づいて、可視光像及び赤外光像を撮影可能な固体撮像素子と、
前記固体撮像素子の各受光画素から読み出される信号を処理し、前記可視光像と前記赤外光像とに基づく合成画像を表す画像信号を生成する信号処理回路と、
を有することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記固体撮像素子は、特定色の可視光及び赤外光に感度を有する複数種類の色受光画素を二次元配列したカラー撮像素子であること、を特徴とする撮像装置。
請求項１又は請求項２に記載の撮像装置において、
前記光学フィルタは、前記被写体からの前記第１成分光の反射光と前記赤外蛍光との強度差を、前記合成画像における前記可視光像と前記赤外光像との所望の合成バランスに応じて調整する透過特性を有すること、を特徴とする撮像装置。
請求項１から請求項３のいずれか１つに記載の撮像装置において、
前記光源は、
前記第１成分光を発する第１発光部と、
前記第２成分光を発する第２発光部と、を有し、
前記第１発光部及び前記２発光部それぞれの発光強度を独立に制御可能であること、
を特徴とする撮像装置。