JP6385465B2 - 内視鏡装置 - Google Patents

Description

本発明は、内視鏡装置に関する。

癌などの病巣に蓄積された蛍光物質からの蛍光を検出し、その蛍光に基づく蛍光画像の明るさから病変の有無を判断する診断法が知られている。例えば、インドシアニングリーン（ＩＣＧ）と呼ばれる蛍光物質が検査対象者の体内に予め投与される。また、蛍光物質を励起する励起光が蛍光物質に照射される。ＩＣＧは病巣に親和性をもち、赤外領域で励起し、蛍光を発する。蛍光観察が可能な内視鏡は、可視光に基づく可視光画像を用いる通常観察に加えて蛍光画像の観察が可能である。蛍光観察が可能な内視鏡は上記の診断に用いられている。

例えば、蛍光観察が可能な内視鏡が特許文献１と特許文献２とに開示されている。特許文献１に開示された第１の従来技術では、光源装置により生成された可視光と励起光とは、被検査体に照射される。被検査体により反射された可視光および励起光と、励起光がＩＣＧに照射されたときに励起した蛍光とが、対物レンズに入射する。対物レンズは、体腔内に挿入する内視鏡挿入部の先端部に配置されている。内視鏡挿入部内にイメージガイドファイバが配置されている。イメージガイドファイバの後端面にカメラヘッドが配置されている。対物レンズからイメージガイドファイバを介してカメラヘッドに入射した光は、ダイクロイックミラーにより可視光と、励起光および蛍光とに分離される。可視光はＣＣＤにより検出される。励起光カットフィルタにより、励起光と蛍光とから励起光が遮断される。蛍光のみが、可視光を検出するＣＣＤと異なるＣＣＤにより検出される。

特許文献１に開示された第２の従来技術では、光源装置により、可視光の撮影時には可視光のみが生成され、蛍光の撮影時には励起光のみが生成される。可視光の撮影時には、被検査体により反射された可視光がＣＣＤにより検出される。蛍光の撮影時には、被検査体により反射された励起光と、励起光がＩＣＧに照射されたときに励起した蛍光とが対物レンズに入射する。励起光カットフィルタにより、励起光が遮断される。蛍光のみが、可視光を検出するＣＣＤと同一のＣＣＤにより検出される。

特許文献２に開示された第３の従来技術では、光源で生成された可視光と励起光とは、被検査体に照射される。被検査体により反射された可視光および励起光と、励起光がＩＣＧに照射されたときに励起した蛍光とが内視鏡先端部に入射する。励起光カットフィルタにより、励起光が遮断される。撮像装置は、積層された第１の基板と第２の基板とを有する。第１の基板で可視光が検出される。可視光は、第１の基板と第２の基板との間に配置された可視光カットフィルタにより遮断される。蛍光のみが第２の基板で検出される。

日本国特許第３９６２１２２号公報 日本国特開２０１４−１３５５３５号公報

第１の従来技術では、ダイクロイックミラーによる光の分離のためにスペースが必要である。このため、イメージセンサであるＣＣＤが搭載されるカメラヘッドの小型化が難しい。

第２の従来技術では、蛍光と可視光とが同一のＣＣＤにより検出される。このため、ダイクロイックミラーは不要である。しかし、蛍光は微弱であるため、蛍光の高感度な検出のためには、より大きな画素サイズが必要である。つまり、画素数が減るため、分解能が低下する。この結果、可視光の検出結果に基づく可視光画像の画質が大幅に劣化する。一方、大きな画素サイズが保持される場合、すなわち画素数が保持される場合、イメージセンサのサイズはより大きい。このため、イメージセンサの搭載された撮像部（内視鏡挿入部の先端部）の小型化が難しい。可視光の検出が優先される場合、画素サイズは保持される。しかし、蛍光の高感度な検出が難しい。

第３の従来技術では、ダイクロイックミラーは不要である。可視光と蛍光とは、異なる基板で検出される。このため、蛍光検出の高感度化すなわち画素サイズの大型化は、可視光画像の画質に影響しない。しかし、蛍光を検出する第２の基板の光学的前方には、少なくとも第１の基板と可視光カットフィルタとが配置される。これらは、非常に微弱な蛍光を減衰させて更に微弱にするため、第２の基板において蛍光の検出が難しい。これを解決するために第２の基板の画素サイズを大きくすると、蛍光の検出結果に基づく蛍光画像の画質が大幅に劣化する。この結果、病変位置の特定が困難になる場合がある。

上記のように、第１から第３の従来技術では、イメージセンサが搭載される領域（撮像部）の小型化と、蛍光および可視光の高精度（高感度、高分解能）な検出との両立は難しい。

本発明は、撮像部の小型化と、蛍光および可視光の高精度な検出とを両立することができる内視鏡装置を提供する。

本発明の第１の態様によれば、内視鏡装置は、光源と、撮像部と、演算部と、切替部と、を有する。前記光源は、可視光と励起光とを発生する。前記演算部は、第１の信号に基づく可視光画像信号と、第２の信号および第３の信号に基づく蛍光画像信号とを生成する。前記切替部は、第１の状態と第２の状態とを切り替える。前記第１の状態では前記可視光が被写体に照射される。前記第２の状態では前記励起光が前記被写体に照射される。前記撮像部は、励起光カットフィルタと、第１のイメージセンサと、第２のイメージセンサと、を有する。前記励起光カットフィルタは、前記可視光が前記被写体に照射されたときに前記被写体によって反射された前記可視光を透過し、前記励起光が前記被写体に照射されたときに発生する蛍光を透過し、前記励起光が被写体に照射されたときに前記被写体によって反射された前記励起光を遮断する。前記第１のイメージセンサは、複数の第１のフォトダイオードを有する。前記複数の第１のフォトダイオードは、前記励起光カットフィルタを透過した前記可視光に応じた前記第１の信号と、前記励起光カットフィルタを透過した前記蛍光に応じた前記第２の信号とを生成する。前記第２のイメージセンサは、複数の第２のフォトダイオードを有する。前記複数の第２のフォトダイオードは、前記複数の第１のフォトダイオードを透過した前記蛍光に応じた前記第３の信号を生成する。

本発明の第２の態様によれば、第１の態様において、前記複数の第２のフォトダイオードのそれぞれのサイズは前記複数の第１のフォトダイオードのそれぞれのサイズよりも大きくてもよい。

本発明の第３の態様によれば、第２の態様において、２つ以上の前記第１のフォトダイオードと１つの前記第２のフォトダイオードとが重なってもよい。前記２つ以上の前記第１のフォトダイオードを透過した前記蛍光が前記１つの前記第２のフォトダイオードに入射してもよい。

本発明の第４の態様によれば、第１の態様において、前記演算部は、前記第２の信号と前記第３の信号とに基づいて、前記複数の第２のフォトダイオードのそれぞれの領域に対応する画素値を演算することにより前記蛍光画像信号を生成してもよい。

本発明の第５の態様によれば、第１の態様において、前記演算部は、前記第２の信号と前記第３の信号とに基づいて、前記複数の第１のフォトダイオードのそれぞれの領域に対応する画素値を演算することにより前記蛍光画像信号を生成してもよい。

本発明の第６の態様によれば、第１の態様において、前記演算部は、前記可視光画像信号における１つの画素に対応する前記蛍光画像信号における画素の数が異なる場合、前記可視光画像信号における１つの画素に対応する前記蛍光画像信号における画素の数が一致するように前記可視光画像信号と前記蛍光画像信号との少なくとも一方に基づく演算を行ってもよい。前記演算部は、前記演算が行われた前記可視光画像信号と前記蛍光画像信号とを重畳してもよい。

本発明の第７の態様によれば、第６の態様において、前記可視光画像信号と前記蛍光画像信号とが重畳されるときの前記可視光画像信号と前記蛍光画像信号との重み付けは変更可能であってもよい。

本発明の第８の態様によれば、第７の態様において、前記演算部は、前記蛍光画像信号の画素値に基づいて前記重み付けを決定してもよい。

本発明の第９の態様によれば、第７の態様において、前記演算部は、ユーザの指示に基づいて前記重み付けを決定してもよい。

本発明の第１０の態様によれば、第６の態様において、前記演算部は、前記可視光画像信号と前記蛍光画像信号とを重畳するとき、相対的に波長が長い光が強調された画像に相当する前記可視光画像信号を用いてもよい。

本発明の第１１の態様によれば、第１の態様において、前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行ってもよい。前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレームの数は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレームの数と同一であってもよい。

本発明の第１２の態様によれば、第１の態様において、前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行ってもよい。前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレームの数は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレームの数よりも多くてもよい。

本発明の第１３の態様によれば、第１の態様において、前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行ってもよい。前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレーム長は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレーム長よりも長くてもよい。

本発明の第１４の態様によれば、第１の態様において、近赤外光に対する前記第２のイメージセンサの感度は、近赤外光に対する前記第１のイメージセンサの感度よりも高くてもよい。

上記の各態様によれば、複数の第１のフォトダイオードと複数の第２のフォトダイオードとが異なるイメージセンサに配置されている。このため、複数の第１のフォトダイオードの各々のサイズを複数の第２のフォトダイオードの各々のサイズよりも小さく設定することで、可視光の高分解能な検出が可能である。また、第１のイメージセンサと第２のイメージセンサとを積層することでダイクロックミラー等による光の分離が不要となり、撮像部の小型化が可能である。更に、蛍光画像信号は、２つのイメージセンサの信号（第１のイメージセンサによって生成された第２の信号および第２のイメージセンサによって生成された第３の信号）に基づいて生成される。このため、蛍光の高感度な検出が可能である。したがって、撮像部の小型化と、蛍光および可視光の高精度な検出とを両立することができる。

本発明の実施形態の内視鏡装置の構成を示すブロック図である。 本発明の実施形態の撮像部の構成を示すブロック図である。 本発明の実施形態において、第１のイメージセンサが有する複数の第１のフォトダイオードと、第２のイメージセンサが有する複数の第２のフォトダイオードとを示す模式図である。 本発明の実施形態において、第１のイメージセンサが有する複数の第１のフォトダイオードと、第２のイメージセンサが有する複数の第２のフォトダイオードとを示す模式図である。 本発明の実施形態において、第１のイメージセンサが有する複数の第１のフォトダイオードと、第２のイメージセンサが有する複数の第２のフォトダイオードとを示す模式図である。 本発明の実施形態において、可視光画像信号と蛍光画像信号との画素値を示す模式図である。 本発明の実施形態において、可視光画像信号と蛍光画像信号との画素値を示す模式図である。 本発明の実施形態において、可視光画像信号と蛍光画像信号との画素値を示す模式図である。 本発明の実施形態において、可視光画像信号と蛍光画像信号との画素値を示す模式図である。 本発明の実施形態の変形例の内視鏡装置の構成を示すブロック図である。 本発明の実施形態において、可視光と励起光とが切り替わる様子を示す参考図である。 本発明の実施形態において、可視光と励起光とが切り替わる様子を示す参考図である。 本発明の実施形態において、可視光と励起光とが切り替わる様子を示す参考図である。

図面を参照し、本発明の実施形態を説明する。図１は、本発明の実施形態の内視鏡装置１の構成を示している。図１に示すように、内視鏡装置１は、内視鏡挿入部１０と、光源１１と、ライトガイド１２と、プロセッサ１３と、ディスプレイ１４とを有する。内視鏡挿入部１０は、撮像部１００を先端部に有する。

内視鏡挿入部１０は、被写体（被検査体）に挿入される。光源１１は、可視光と、可視光の波長よりも波長が長い励起光とを発生する。例えば、光源１１は、可視光を発生する第１の光源と、励起光を発生する第２の光源とを有する。光源１１は撮像部１００に配置されてもよい。ライトガイド１２は、光源１１で発生した可視光と励起光とを内視鏡挿入部１０に導く。

プロセッサ１３は、演算部１３０と、切替部１３１とを有する。演算部１３０は、第１の信号に基づく可視光画像信号と、第２の信号および第３の信号に基づく蛍光画像信号とを生成する。第１の信号は、可視光が被写体に照射されたときに撮像部１００で生成される信号である。第２の信号および第３の信号は、励起光が被写体に照射されたときに撮像部１００で生成される信号である。

切替部１３１は、第１の状態と第２の状態とを切り替える。第１の状態では可視光が被写体に照射される。第２の状態では励起光が被写体に照射される。つまり、切替部１３１は、可視光と励起光とが被写体に時分割で照射されるように可視光と励起光との切替を制御する。

ディスプレイ１４は、演算部１３０によって生成された可視光画像信号に基づく可視光画像と、演算部１３０によって生成された蛍光画像信号に基づく蛍光画像とを表示する。ディスプレイ１４は、可視光画像信号と蛍光画像信号とが重畳された重畳画像信号に基づく画像を表示してもよい。

図２は、内視鏡挿入部１０の先端部に配置された撮像部１００の構成を示している。図２に示すように、撮像部１００は、レンズ１０１と、励起光カットフィルタ１０２と、第１のイメージセンサ１０３と、第２のイメージセンサ１０４とを有する。また、ライトガイド１２が撮像部１００内に配置されている。ライトガイド１２によって撮像部１００に伝送された可視光と励起光とは、撮像部１００の先端面から被写体に照射される。第１のイメージセンサ１０３と、第２のイメージセンサ１０４とは積層されている。

レンズ１０１は、被検査体からの光を集光する。レンズ１０１を通過した光は励起光カットフィルタ１０２に入射する。励起光カットフィルタ１０２は、可視光が被写体に照射されたときに被写体によって反射された可視光を透過する。また、励起光カットフィルタ１０２は、励起光が被写体に照射されたときに発生する蛍光を透過する。また、励起光カットフィルタ１０２は、励起光が被写体に照射されたときに被写体によって反射された励起光を遮断する。

第１のイメージセンサ１０３は、複数の第１のフォトダイオードを有する。複数の第１のフォトダイオードは、励起光カットフィルタ１０２を透過した可視光に応じた第１の信号と、励起光カットフィルタ１０２を透過した蛍光に応じた第２の信号とを生成する。つまり、第１のイメージセンサ１０３は、撮像を行い、第１の信号と第２の信号とを生成する。可視光と励起光とは被写体に時分割で照射されるので、第１のイメージセンサ１０３は、第１の信号と第２の信号とを時分割で生成する。

第２のイメージセンサ１０４は、複数の第２のフォトダイオードを有する。複数の第２のフォトダイオードは、複数の第１のフォトダイオードを透過した蛍光に応じた第３の信号を生成する。つまり、第２のイメージセンサ１０４は、撮像を行い、第３の信号を生成する。

上記のように、可視光および蛍光を検出するための複数の第１のフォトダイオードと、蛍光を検出するための複数の第２のフォトダイオードとが、異なるイメージセンサに配置されている。このため、複数の第２のフォトダイオードのサイズに関わらず、複数の第１のフォトダイオードの数を増加させることが可能である。つまり、可視光の高分解能な検出が可能である。また、第１のイメージセンサ１０３と、第２のイメージセンサ１０４とは積層されているため、ダイクロイックミラー等による光の分離が不要となり、撮像部１００の小型化が可能である。

また、蛍光画像信号は、第１のイメージセンサ１０３によって生成された第２の信号と、第２のイメージセンサ１０４によって生成された第３の信号とに基づいて生成される。このため、蛍光の高感度な検出が可能である。したがって、撮像部１００の小型化と、蛍光および可視光の高精度な検出とを両立することができる。

図３は、第１のイメージセンサ１０３が有する複数の第１のフォトダイオード１０３０と、第２のイメージセンサ１０４が有する複数の第２のフォトダイオード１０４０とを示している。図３に示すように、第１のイメージセンサ１０３と第２のイメージセンサ１０４とは積層されている。複数の第１のフォトダイオード１０３０は行列状に配置されている。複数の第２のフォトダイオード１０４０は行列状に配置されている。複数の第１のフォトダイオード１０３０のそれぞれのサイズ（面積）と複数の第２のフォトダイオード１０４０のそれぞれのサイズ（面積）とは異なる。このため、複数の第１のフォトダイオード１０３０の数と複数の第２のフォトダイオード１０４０の数とは異なる。

複数の第１のフォトダイオード１０３０の表面にはカラーフィルタが配置されている。例えば、赤（Ｒ）の波長の光を透過するＲカラーフィルタと、緑（Ｇ）の波長の光を透過するＧカラーフィルタと、青（Ｂ）の波長の光を透過するＢカラーフィルタとが配置されている。Ｒカラーフィルタと、Ｇカラーフィルタと、Ｂカラーフィルタとの配列はベイヤー配列である。

複数の第２のフォトダイオード１０４０のそれぞれのサイズは複数の第１のフォトダイオード１０３０のそれぞれのサイズよりも大きい。このため、可視光検出の分解能を損なわずに高感度な蛍光検出が可能である。

２つ以上の第１のフォトダイオード１０３０と１つの第２のフォトダイオード１０４０とが重なる。２つ以上の第１のフォトダイオード１０３０を透過した蛍光が１つの第２のフォトダイオード１０４０に入射する。図３では、４つの第１のフォトダイオード１０３０と１つの第２のフォトダイオード１０４０とが重なる。また、４つの第１のフォトダイオード１０３０を透過した蛍光が１つの第２のフォトダイオード１０４０に入射する。このため、第２のイメージセンサ１０４において、第１のイメージセンサ１０３を透過した蛍光を効率的に受光することができる。

蛍光画像信号の生成方法を説明する。蛍光画像信号の第１の生成方法では、演算部１３０は、第２の信号と第３の信号とに基づいて、複数の第２のフォトダイオード１０４０のそれぞれの領域に対応する画素値を演算することにより蛍光画像信号を生成する。

図４は、図３と同様に複数の第１のフォトダイオード１０３０と複数の第２のフォトダイオード１０４０とを示している。被写体に励起光が照射されたとき、被写体で蛍光が発生する。励起光カットフィルタ１０２によって励起光が遮断されるので、蛍光が第１のイメージセンサ１０３に入射する。蛍光の一部は複数の第１のフォトダイオード１０３０で吸収される。残りの蛍光は第１のイメージセンサ１０３を透過し、第２のイメージセンサ１０４に入射する。

図４では、１６個の第１のフォトダイオード１０３０が示されている。１６個の第１のフォトダイオード１０３０によって生成される第２の信号の値（画素値）はそれぞれ、Ｒ１＿ＩＲ〜Ｒ４＿ＩＲ、Ｇｒ１＿ＩＲ〜Ｇｒ４＿ＩＲ、Ｇｂ１＿ＩＲ〜Ｇｂ４＿ＩＲ、Ｂ１＿ＩＲ〜Ｂ４＿ＩＲである。

図４では、４個の第２のフォトダイオード１０４０が示されている。４個の第２のフォトダイオード１０４０によって生成される第３の信号の値（画素値）はそれぞれ、ＩＲ１〜ＩＲ４である。

例えば、演算部１３０は、１つの第２のフォトダイオード１０４０ａに対応する蛍光画像信号の画素値Ｓ＿ＩＲ１を（１）式により算出する。
Ｓ＿ＩＲ１＝ＩＲ１＋Ｒ１＿ＩＲ＋Ｇｒ１＿ＩＲ＋Ｂ１＿ＩＲ＋Ｇｂ１＿ＩＲ （１）

（１）式では、１つの第２のフォトダイオード１０４０ａに対応する第３の信号（ＩＲ１）に、４つの第１のフォトダイオード１０３０のそれぞれに対応する第２の信号の演算結果（Ｒ１＿ＩＲ＋Ｇｒ１＿ＩＲ＋Ｂ１＿ＩＲ＋Ｇｂ１＿ＩＲ）が加算される。（１）式では、第２の信号の演算は加算である。しかし、第２の信号の演算は加算以外でもよい。第２のフォトダイオード１０４０ａ以外の第２のフォトダイオード１０４０に対応する蛍光画像信号の画素値は（１）式と同様の演算により算出される。

蛍光画像信号の第１の生成方法では、蛍光検出の感度が向上する。

蛍光画像信号の第２の生成方法では、演算部１３０は、第２の信号と第３の信号とに基づいて、複数の第１のフォトダイオード１０３０のそれぞれの領域に対応する画素値を演算することにより蛍光画像信号を生成する。

図５は、図３と同様に複数の第１のフォトダイオード１０３０と複数の第２のフォトダイオード１０４０とを示している。図５では、１６個の第１のフォトダイオード１０３０と４個の第２のフォトダイオード１０４０とが示されている。１６個の第１のフォトダイオード１０３０によって生成される第２の信号の値（画素値）と、４個の第２のフォトダイオード１０４０によって生成される第３の信号の値（画素値）とは、図４を用いて説明した値と同様である。

例えば、演算部１３０は、１つの第１のフォトダイオード１０３０ａに対応する蛍光画像信号の画素値Ｓ＿Ｒ１を（２）式により算出する。（２）式において、ｎ１は補正パラメータである。例えば、ｎ１の値は、蛍光に対するカラーフィルタの透過率に応じた値である。
Ｓ＿Ｒ１＝ＩＲ１＋Ｒ１＿ＩＲ×ｎ１ （２）

（２）式では、１つの第２のフォトダイオード１０４０に対応する第３の信号（ＩＲ１）に、第１のフォトダイオード１０３０ａに対応する第２の信号の演算結果（Ｒ１＿ＩＲ×ｎ１）が加算される。（２）式では、第２の信号の演算は乗算である。しかし、第２の信号の演算は乗算以外でもよい。第１のフォトダイオード１０３０ａ以外の第１のフォトダイオード１０３０に対応する蛍光画像信号の画素値は（２）式と同様の演算により算出される。

蛍光画像信号の第２の生成方法では、蛍光検出の感度が向上する。第１のフォトダイオード１０３０のサイズは第２のフォトダイオード１０４０のサイズよりも小さいため、第２のフォトダイオード１０４０よりも多くの第１のフォトダイオード１０３０が配置されうる。このため、蛍光画像信号の第２の生成方法では、蛍光画像信号の第１の生成方法と比較して、蛍光画像信号の分解能が向上する。

可視光画像信号と蛍光画像信号とが重畳されてもよい。以下では、可視光画像信号と蛍光画像信号とを重畳する方法を説明する。

ここで、複数の第１のフォトダイオード１０３０により生成された、可視光に応じた信号に基づく可視光画像信号を構成する複数の画素を複数の第１の画素と定義する。複数の第１のフォトダイオード１０３０と複数の第２のフォトダイオード１０４０とにより生成された、蛍光に応じた信号に基づく蛍光画像信号を構成する複数の画素を複数の第２の画素と定義する。例えば、第２の画素の画素値は、（１）式または（２）式と同様の演算により算出された値である。演算部１３０は、１つの第１の画素に対応する第２の画素の数が異なる（１でない）場合、これが一致する（１になる）ように可視光画像信号と蛍光画像信号との少なくとも一方に基づく演算を行う。演算部１３０は、演算が行われた可視光画像信号と蛍光画像信号とを重畳する。

可視光画像信号と蛍光画像信号とを重畳する第１の例を説明する。図６は、可視光画像信号と蛍光画像信号とを重畳する第１の例における可視光画像信号と蛍光画像信号との画素値を示している。

図６では、可視光画像信号と蛍光画像信号との一部の画素値が代表として示されており、可視光画像信号と蛍光画像信号との全体の画素値は示されていない。図６では、蛍光画像信号の４つの第２の画素の画素値（ＩＲ１〜ＩＲ４）が示されている。また、図６では、可視光画像信号の４つの第１の画素の画素値（Ｒ，Ｇ，Ｇ，Ｂ）が示されている。可視光画像信号は、ベイヤー配列を構成する色毎の第１の画素の画素値を有する。

例えば、蛍光画像信号の第２の画素の画素値は、図５と（２）式とで示される、蛍光画像信号の第２の生成方法により生成される。蛍光画像信号に対してエッジ強調処理が行われてもよい。

例えば、可視光画像信号に対してデモザイキングが行われる。デモザイキングでは、図６に示す４つの第１の画素の画素値と、その周囲の複数の第１の画素の画素値とが使用される。デモザイキングによって、ベイヤー配列を構成する色毎に画素値が補間される。図６では、デモザイキングが行われた後の可視光画像信号は、赤（Ｒ）に対応する４つの第１の画素の画素値（Ｒ１〜Ｒ４）と、緑（Ｇ）に対応する４つの第１の画素の画素値（Ｇ１〜Ｇ４）と、青（Ｂ）に対応する４つの第１の画素の画素値（Ｂ１〜Ｂ４）とを有する。つまり、デモザイキングが行われた後の可視光画像信号において、それぞれの第１の画素に対応する画素値は、色毎の画素値を有する。

デモザイキングによって、可視光画像信号の１つの画素に対応する蛍光画像信号の画素の数が同一になる。デモザイキングが行われた後の可視光画像信号に対して、ホワイトバランス処理またはエッジ強調処理等が行われてもよい。

演算部１３０は、デモザイキングが行われた後の可視光画像信号と、蛍光画像信号とを重畳することにより、重畳画像信号を生成する。例えば、演算部１３０は、１つの第１の画素に対応する重畳画像信号の画素値Ｒ１’，Ｇ１’，Ｂ１’を（３）〜（５）式により算出する。（３）〜（５）式において、αは、可視光画像信号と蛍光画像信号との割合を決定する重み付け係数である。（３）〜（５）式において、βｒと、βｇと、βｂとは、色毎の蛍光画像信号の割合を決定する係数である。例えば、βｒが０、βｇが１、βｂが０である場合、重畳画像信号に基づく画像において、蛍光が緑で表示される。
Ｒ１’＝α×Ｒ１＋（１−α）×ＩＲ１×βｒ （３）
Ｇ１’＝α×Ｇ１＋（１−α）×ＩＲ１×βｇ （４）
Ｂ１’＝α×Ｂ１＋（１−α）×ＩＲ１×βｂ （５）

他の第１の画素に対応する重畳画像信号の画素値は（３）〜（５）式と同様の演算により算出される。

可視光画像信号と蛍光画像信号とを重畳することにより、重畳画像信号に基づく画像において、蛍光の発光位置すなわち病変の位置を表示することができる。このため、画像を見たユーザが病変の位置を特定することが容易である。

可視光画像信号と蛍光画像信号とを重畳する第２の例を説明する。図７は、可視光画像信号と蛍光画像信号とを重畳する第２の例における可視光画像信号と蛍光画像信号との画素値を示している。

図７では、可視光画像信号と蛍光画像信号との一部の画素値が代表として示されており、可視光画像信号と蛍光画像信号との全体の画素値は示されていない。図７では、蛍光画像信号の１つの第２の画素の画素値（ＩＲ）が示されている。また、図７では、可視光画像信号の４つの第１の画素の画素値（Ｒ，Ｇ，Ｇ，Ｂ）が示されている。可視光画像信号は、ベイヤー配列を構成する色毎の第１の画素の画素値を有する。例えば、蛍光画像信号の第２の画素の画素値は、図４と（１）式とで示される、蛍光画像信号の第１の生成方法により生成される。

例えば、可視光画像信号に対してデモザイキングが行われる。図７では、デモザイキングが行われた後の可視光画像信号は、赤（Ｒ）に対応する４つの第１の画素の画素値（Ｒ１〜Ｒ４）と、緑（Ｇ）に対応する４つの第１の画素の画素値（Ｇ１〜Ｇ４）と、青（Ｂ）に対応する４つの第１の画素の画素値（Ｂ１〜Ｂ４）とを有する。つまり、デモザイキングが行われた後の可視光画像信号において、それぞれの第１の画素に対応する第１の画素の画素値は、色毎の画素値を有する。

例えば、デモザイキングが行われた後の可視光画像信号に対して、画素混合が行われる。画素混合では、色毎に画素値が混合される。図７では、画素混合が行われた後の可視光画像信号は、赤（Ｒ）に対応する１つの第１の画素の画素値（Ｒ５）と、緑（Ｇ）に対応する１つの第１の画素の画素値（Ｇ５）と、青（Ｂ）に対応する１つの第１の画素の画素値（Ｂ５）とを有する。

画素混合によって、可視光画像信号の１つの画素に対応する蛍光画像信号の画素の数が同一になる。

演算部１３０は、画素混合が行われた後の可視光画像信号と、蛍光画像信号とを重畳することにより、重畳画像信号を生成する。例えば、演算部１３０は、１つの第１の画素に対応する重畳画像信号の画素値Ｒ５’，Ｇ５’，Ｂ５’を（６）〜（８）式により算出する。（６）〜（８）式において、αは、可視光画像信号と蛍光画像信号との割合を決定する重み付け係数である。（６）〜（８）式において、βｒと、βｇと、βｂとは、色毎の蛍光画像信号の割合を決定する係数である。
Ｒ５’＝α×Ｒ５＋（１−α）×ＩＲ×βｒ （６）
Ｇ５’＝α×Ｇ５＋（１−α）×ＩＲ×βｇ （７）
Ｂ５’＝α×Ｂ５＋（１−α）×ＩＲ×βｂ （８）

他の第１の画素に対応する重畳画像信号の画素値は（６）〜（８）式と同様の演算により算出される。

可視光画像信号と蛍光画像信号とを重畳する第３の例を説明する。図８は、可視光画像信号と蛍光画像信号とを重畳する第３の例における可視光画像信号と蛍光画像信号との画素値を示している。

図８では、可視光画像信号と蛍光画像信号との一部の画素値が代表として示されており、可視光画像信号と蛍光画像信号との全体の画素値は示されていない。図８では、蛍光画像信号の１つの第２の画素の画素値（ＩＲ）が示されている。また、図８では、可視光画像信号の４つの第１の画素の画素値（Ｒ，Ｇ，Ｇ，Ｂ）が示されている。可視光画像信号は、ベイヤー配列を構成する色毎の第１の画素の画素値を有する。例えば、蛍光画像信号の第２の画素の画素値は、図４と（１）式とで示される、蛍光画像信号の第１の生成方法により生成される。

例えば、蛍光画像信号に対して、画素補間が行われる。画素補間では、可視光画像信号の各画素に対応する位置の画素値が補間される。例えば、公知のニアレストネイバーの補間処理が行われる。バイリニアまたはバイキュービックの補間処理が行われてもよい。図８では、画素補間が行われた後の蛍光画像信号は、４つの第２の画素の画素値（ＩＲ１〜ＩＲ４）を有する。画素補間が行われた後の蛍光画像信号に、可視光画像がガイド画像として用いられるフィルタ処理、または輪郭強調フィルタ処理が行われてもよい。例えば、可視光画像がガイド画像として用いられるフィルタ処理は、公知のＧｕｉｄｅｄ ｆｉｌｔｅｒまたはｊｏｉｎｔ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒによる処理である。例えば、輪郭強調フィルタ処理は、公知のラプラシアンフィルタまたはＳｏｂｅｌフィルタによる処理である。

例えば、可視光画像信号に対してデモザイキングが行われる。図８では、デモザイキングが行われた後の可視光画像信号は、赤（Ｒ）に対応する４つの第１の画素の画素値（Ｒ１〜Ｒ４）と、緑（Ｇ）に対応する４つの第１の画素の画素値（Ｇ１〜Ｇ４）と、青（Ｂ）に対応する４つの第１の画素の画素値（Ｂ１〜Ｂ４）とを有する。つまり、デモザイキングが行われた後の可視光画像信号において、それぞれの第１の画素に対応する第１の画素の画素値は、色毎の画素値を有する。

演算部１３０は、デモザイキングが行われた後の可視光画像信号と、画素補間が行われた後の蛍光画像信号とを重畳することにより、重畳画像信号を生成する。例えば、演算部１３０は、（３）〜（５）式と同様の演算により、重畳画像信号を生成する。

可視光画像信号と蛍光画像信号とを重畳する第４の例を説明する。演算部１３０は、可視光画像信号と蛍光画像信号とを重畳するとき、相対的に波長が長い光が強調された画像に相当する可視光画像信号を用いてもよい。図９は、可視光画像信号と蛍光画像信号とを重畳する第４の例における可視光画像信号と蛍光画像信号との画素値を示している。

図９では、可視光画像信号と蛍光画像信号との一部の画素値が代表として示されており、可視光画像信号と蛍光画像信号との全体の画素値は示されていない。図９では、蛍光画像信号の４つの第２の画素の画素値（ＩＲ１〜ＩＲ４）が示されている。また、図９では、可視光画像信号の４つの第１の画素の画素値（Ｒ，Ｇ，Ｇ，Ｂ）が示されている。可視光画像信号は、ベイヤー配列を構成する色毎の第１の画素の画素値を有する。例えば、蛍光画像信号の第２の画素の画素値は、図５と（２）式とで示される、蛍光画像信号の第２の生成方法により生成される。

例えば、可視光画像信号に対して画素補間が行われる。可視光画像信号に対する画素補間では、赤（Ｒ）に対応する第１の画素の画素値のみが使用される。例えば、可視光画像信号に対する画素補間では、バイリニアの補間処理が行われる。図９では、画素補間が行われた後の可視光画像信号は、赤（Ｒ）に対応する４つの第１の画素の画素値（Ｒ１〜Ｒ４）を有する。つまり、画素補間が行われた後の可視光画像信号において、それぞれの第１の画素に対応する第１の画素の画素値は、赤（Ｒ）に対応する画素値を有する。画素補間が行われた後の可視光画像信号は、緑（Ｇ）および青（Ｂ）の光よりも波長が長い赤（Ｒ）の光が強調された画像に相当する。

画素補間によって、可視光画像信号の１つの画素に対応する蛍光画像信号の画素の数が同一になる。

演算部１３０は、画素補間が行われた後の可視光画像信号と、蛍光画像信号とを重畳することにより、重畳画像信号を生成する。例えば、演算部１３０は、１つの第１の画素に対応する重畳画像信号の画素値Ｒ１’，Ｇ１’，Ｂ１’を（９）〜（１１）式により算出する。（９）〜（１１）式において、αは、可視光画像信号と蛍光画像信号との割合を決定する重み付け係数である。（９）〜（１１）式において、βｒと、βｇと、βｂとは、色毎の蛍光画像信号の割合を決定する係数である。
Ｒ１’＝α×Ｒ１＋（１−α）×ＩＲ１×βｒ （９）
Ｇ１’＝ （１−α）×ＩＲ１×βｇ （１０）
Ｂ１’＝ （１−α）×ＩＲ１×βｂ （１１）

他の第１の画素に対応する重畳画像信号の画素値は（９）〜（１１）式と同様の演算により算出される。

相対的に波長が長い光が強調された画像では、深い位置の血管等の病変の位置に比較的近い領域が強調される。相対的に波長が長い光が強調された画像に相当する可視光画像信号を用いて可視光画像信号と蛍光画像信号とを重畳することにより、病変位置の特定がより容易になる。

可視光画像信号と蛍光画像信号とが重畳されるときの可視光画像信号と蛍光画像信号との重み付け（（３）〜（１１）式の重み付け係数α）は変更可能である。可視光画像信号と蛍光画像信号との重み付けに応じて、可視光画像に対する蛍光画像の強調の程度が変化する。例えば、可視光画像信号と蛍光画像信号との重み付けは、被写体に応じて変更される。これによって、重畳画像信号に基づく画像において、被写体に応じて蛍光が見やすくなる。

演算部１３０は、蛍光画像信号の複数の第２の画素の画素値に基づいて、可視光画像信号と蛍光画像信号との重み付けを決定してもよい。例えば、演算部１３０は、可視光画像信号と蛍光画像信号との重み付けを（９）式により決定する。

（９）式において、第２の平均値を第１の平均値で割った値に補正パラメータｎ２が乗算される。第２の平均値は、蛍光画像信号において画素値が所定値を超えている画素の平均画素値である。第１の平均値は、可視光画像信号において上記の画素に対応する画素の平均画素値である。可視光画像信号に対するデモザイキング等により、可視光画像信号の１つの画素の数に対応する蛍光画像信号の画素の数とは同一である。このため、蛍光画像信号の各画素の第２の画素の画素値は可視光画像信号の各画素の第１の画素の画素値と対応する。ある画素に対応する蛍光画像信号の画素値が所定値を超えている場合、同じ画素に対応する可視光画像信号の画素値から第１の平均値が算出される。

上記により、演算部１３０は、蛍光の強度に基づいて可視光画像信号と蛍光画像信号との重み付けを決定することができる。

図１０は、本発明の実施形態の変形例の内視鏡装置１ａの構成を示している。図１０に示すように、内視鏡装置１ａは、内視鏡挿入部１０と、光源１１と、ライトガイド１２と、プロセッサ１３と、ディスプレイ１４と、設定ボタン１５とを有する。内視鏡挿入部１０は、撮像部１００を先端部に有する。

図１０に示す構成について、図１に示す構成と異なる点を説明する。設定ボタン１５は、ユーザによって操作され、ユーザからの指示を受け付ける。演算部１３０は、ユーザの指示に基づいて可視光画像信号と蛍光画像信号との重み付けを決定する。

上記以外の点については、図１０に示す構成は図１に示す構成と同様である。

例えば、演算部１３０は、可視光画像信号と蛍光画像信号との重み付けを所定値に設定する。演算部１３０は、設定された重み付けを用いて、重畳画像信号を生成する。ディスプレイ１４は、重畳画像信号に基づく画像を表示する。ユーザは、ディスプレイ１４に表示された画像を確認しながら、設定ボタン１５を操作する。設定ボタン１５の操作により、可視光画像信号と蛍光画像信号との重み付けの変更が指示される。演算部１３０は、ユーザの指示に基づいて可視光画像信号と蛍光画像信号との重み付けを決定する。演算部１３０は、決定された重み付けを用いて、重畳画像信号を生成する。ディスプレイ１４は、重畳画像信号に基づく画像を表示する。

上記により、演算部１３０は、ユーザの好みに応じて、可視光画像信号と蛍光画像信号との重み付けを決定することができる。

可視光と励起光との切替方法を説明する。可視光と励起光との第１の切替方法では、切替部１３１は、第１の状態から第２の状態への切替を一定の周期で行い、第２の状態から第１の状態への切替を一定の周期で行う。第１の状態から第２の状態への切替の周期と、第２の状態から第１の状態への切替の周期とは同一である。第１の状態が継続する時間と、第２の状態が継続する時間とは同一である。内視鏡装置１が第２の状態であるときに第１のイメージセンサ１０３と第２のイメージセンサ１０４とが行う撮像のフレームの数は、内視鏡装置１が第１の状態であるときに第１のイメージセンサ１０３が行う撮像のフレームの数と同一である第１の状態では可視光が被写体に照射される。第２の状態では励起光が被写体に照射される。

図１１は、可視光と励起光との第１の切替方法により可視光と励起光とが切り替わる様子を示している。第１のイメージセンサ１０３と第２のイメージセンサ１０４とは一定のフレーム周期で撮像を行う。第１のイメージセンサ１０３と第２のイメージセンサ１０４とによる撮像に同期して、可視光の照射と励起光の照射とが交互に行われる。つまり、可視光の照射と励起光の照射とは撮像の１フレーム毎に交互に行われる。可視光の照射が行われるとき、第１のイメージセンサ１０３は撮像を行う。可視光の照射が行われるとき、第２のイメージセンサ１０４は撮像を停止してもよい。励起光の照射が行われるとき、第１のイメージセンサ１０３と第２のイメージセンサ１０４とは撮像を行う。

図１１では、撮像の１フレームが拡大されて示されている。撮像の１フレームにおいて、複数の第１のフォトダイオードまたは複数の第２のフォトダイオードの配列の行毎に撮像の制御が順次行われる。１行の撮像の制御は、以下のように行われる。第１のフォトダイオードまたは第２のフォトダイオードがリセットされる。続いて、第１のフォトダイオードまたは第２のフォトダイオードにおいて露光が行われる。続いて、第１のフォトダイオードまたは第２のフォトダイオードに蓄積された電荷が容量等の蓄積部に転送された後、蓄積部から信号が読み出される。

可視光と励起光との第１の切替方法では、撮像の１フレームに同期して可視光と励起光とが切り替わる。可視光画像の撮像と蛍光画像の撮像とのタイミングのずれは１フレームのみである。このため、ほぼ同一時刻で撮像された可視光画像と蛍光画像との取得が可能である。この結果、可視光画像と蛍光画像との被写体のずれ量が抑制される。さらに、ユーザが可視光画像と蛍光画像との比較を行いやすい。可視光画像信号と蛍光画像信号とが重畳された場合においても、ユーザは、重畳画像信号に基づく画像において、可視光画像信号に基づく部分と蛍光画像信号に基づく部分との比較を行いやすい。

可視光と励起光との第２の切替方法では、切替部１３１は、第１の状態から第２の状態への切替を一定の周期で行い、第２の状態から第１の状態への切替を一定の周期で行う。第１の状態から第２の状態への切替の周期と、第２の状態から第１の状態への切替の周期とは同一である。第１の状態が継続する時間と、第２の状態が継続する時間とは異なる。内視鏡装置１が第２の状態であるときに第１のイメージセンサ１０３と第２のイメージセンサ１０４とが行う撮像のフレームの数は、内視鏡装置１が第１の状態であるときに第１のイメージセンサ１０３が行う撮像のフレームの数よりも多い。第１の状態では可視光が被写体に照射される。第２の状態では励起光が被写体に照射される。

図１２は、可視光と励起光との第２の切替方法により可視光と励起光とが切り替わる様子を示している。第１のイメージセンサ１０３と第２のイメージセンサ１０４とは一定のフレーム周期で撮像を行う。可視光の照射は撮像の１フレームで行われる。励起光の照射は、連続する撮像の２フレームで行われる。可視光の照射と励起光の照射とは交互に行われる。つまり、連続する撮像の３フレームのうち１フレームで可視光の照射が行われ、残りの２フレームで励起光の照射が行われる。可視光の照射が行われるとき、第１のイメージセンサ１０３は撮像を行う。可視光の照射が行われるとき、第２のイメージセンサ１０４は撮像を停止してもよい。励起光の照射が行われるとき、第１のイメージセンサ１０３と第２のイメージセンサ１０４とは撮像を行う。

図１２では、撮像の１フレームが拡大されて示されている。図１２における撮像の１フレームは、図１１における撮像の１フレームと同様である。

可視光と励起光との第２の切替方法では、所定時間に占める励起光の照射時間が可視光の照射時間よりも長くなるように、可視光と励起光との切替が行われればよい。可視光の照射が継続する期間は、連続する撮像の２フレームに限らない。可視光の照射が継続する期間は、連続する撮像の３フレーム以上であってもよい。また、励起光の照射が継続する期間は、撮像の１フレームに限らない。励起光の照射が継続する期間は、連続する撮像の２フレーム以上であってもよい。

可視光と励起光との第２の切替方法では、可視光画像と蛍光画像との取得の同時性が大きく損なわれることなく、蛍光検出の感度が向上する。

可視光と励起光との第３の切替方法では、切替部１３１は、第１の状態から第２の状態への切替を一定の周期で行い、第２の状態から第１の状態への切替を一定の周期で行う。第１の状態から第２の状態への切替の周期と、第２の状態から第１の状態への切替の周期とは同一である。第１の状態が継続する時間と、第２の状態が継続する時間とは異なる。内視鏡装置１が第２の状態であるときに第１のイメージセンサ１０３と第２のイメージセンサ１０４とが行う撮像のフレーム長は、内視鏡装置１が第１の状態であるときに第１のイメージセンサ１０３が行う撮像のフレーム長よりも長い。第１の状態では可視光が被写体に照射される。第２の状態では励起光が被写体に照射される。

図１３は、可視光と励起光との第３の切替方法により可視光と励起光とが切り替わる様子を示している。励起光が照射されているときの撮像の１フレームは、可視光が照射されているときの撮像の１フレームよりも長い。第１のイメージセンサ１０３と第２のイメージセンサ１０４とによる撮像に同期して、可視光の照射と励起光の照射とが交互に行われる。つまり、可視光の照射と励起光の照射とは撮像の１フレーム毎に交互に行われる。

上記のように、可視光が照射される第１の状態と、励起光が照射される第２の状態とでは、撮像の１フレームの長さが異なる。このため、可視光の照射時間と励起光の照射時間とが異なる。励起光が照射されているときの撮像の１フレームは、可視光が照射されているときの撮像の１フレームよりも長いため、励起光の照射時間は可視光の照射時間よりも長い。可視光の照射が行われるとき、第１のイメージセンサ１０３は撮像を行う。可視光の照射が行われるとき、第２のイメージセンサ１０４は撮像を停止してもよい。励起光の照射が行われるとき、第１のイメージセンサ１０３と第２のイメージセンサ１０４とは撮像を行う。

図１３では、励起光が照射されているときの撮像の１フレームと、可視光が照射されているときの撮像の１フレームとがそれぞれ拡大されて示されている。第１のイメージセンサ１０３と第２のイメージセンサ１０４とによる撮像における動作の手順は、図１１を参照して説明した手順と同様である。しかし、励起光が照射されているときの撮像と、可視光が照射されているときの撮像とでは、露光期間が異なる。図１３に示すように、励起光が照射されるときの撮像における露光期間は、可視光が照射されるときの撮像における露光期間よりも長い。

可視光と励起光との第３の切替方法では、可視光画像と蛍光画像との取得の同時性が大きく損なわれることなく、蛍光検出の感度が向上する。

近赤外光に対する第２のイメージセンサ１０４の感度は、近赤外光に対する第１のイメージセンサ１０３の感度よりも高くてもよい。例えば、第１のイメージセンサ１０３には、近赤外光の感度が低い、つまり近赤外光を比較的透過しやすい裏面照射（ＢＳＩ：Ｂａｃｋ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ）型イメージセンサが用いられる。例えば、第２のイメージセンサ１０４には、近赤外光の感度が非常に高い表面照射（ＦＳＩ：Ｆｒｏｎｔ Ｓｉｄｅ Ｉｌｌｕｍｉｎａｔｉｏｎ）型イメージセンサが用いられる。

励起光と蛍光との波長は、近赤外光の波長帯域にある。近赤外光に対する第２のイメージセンサ１０４の感度が高いことにより、蛍光検出の感度が向上する。

本発明の各態様の内視鏡装置は、ライトガイド１２と、ディスプレイ１４と、設定ボタン１５との少なくとも１つに対応する構成を有していなくてもよい。

本発明の実施形態によれば、内視鏡装置１は、光源１１と、撮像部１００を有する内視鏡挿入部１０と、演算部１３０と、切替部１３１とを有する。撮像部１００は、励起光カットフィルタ１０２と、第１のイメージセンサ１０３と、第２のイメージセンサ１０４とを有する。

本発明の実施形態では、撮像部１００の小型化と、蛍光および可視光の高精度な検出とを両立することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の各実施形態によれば、カメラヘッドの小型化と、蛍光および可視光の高精度な検出とを両立することができる。

１，１ａ 内視鏡装置
１０ 内視鏡挿入部
１１ 光源
１２ ライトガイド
１３ プロセッサ
１４ ディスプレイ
１５ 設定ボタン
１００ 撮像部
１０１ レンズ
１０２ 励起光カットフィルタ
１０３ 第１のイメージセンサ
１０４ 第２のイメージセンサ
１３０ 演算部
１３１ 切替部

Claims (14)

1. 可視光と励起光とを発生する光源と、
   撮像部と、
   第１の信号に基づく可視光画像信号と、第２の信号および第３の信号に基づく蛍光画像信号とを生成する演算部と、
   第１の状態と第２の状態とを切り替え、前記第１の状態では前記可視光が被写体に照射され、前記第２の状態では前記励起光が前記被写体に照射される切替部と、
   を有し、
   前記撮像部は、
   前記可視光が前記被写体に照射されたときに前記被写体によって反射された前記可視光を透過し、前記励起光が前記被写体に照射されたときに発生する蛍光を透過し、前記励起光が被写体に照射されたときに前記被写体によって反射された前記励起光を遮断する励起光カットフィルタと、
   複数の第１のフォトダイオードを有し、前記複数の第１のフォトダイオードは、前記励起光カットフィルタを透過した前記可視光に応じた前記第１の信号と、前記励起光カットフィルタを透過した前記蛍光に応じた前記第２の信号とを生成する第１のイメージセンサと、
   複数の第２のフォトダイオードを有し、前記複数の第２のフォトダイオードは、前記複数の第１のフォトダイオードを透過した前記蛍光に応じた前記第３の信号を生成する第２のイメージセンサと、
   を有する内視鏡装置。
2. 前記複数の第２のフォトダイオードのそれぞれのサイズは前記複数の第１のフォトダイオードのそれぞれのサイズよりも大きい請求項１に記載の内視鏡装置。
3. ２つ以上の前記第１のフォトダイオードと１つの前記第２のフォトダイオードとが重なり、
   前記２つ以上の前記第１のフォトダイオードを透過した前記蛍光が前記１つの前記第２のフォトダイオードに入射する
   請求項２に記載の内視鏡装置。
4. 前記演算部は、前記第２の信号と前記第３の信号とに基づいて、前記複数の第２のフォトダイオードのそれぞれの領域に対応する画素値を演算することにより前記蛍光画像信号を生成する請求項１に記載の内視鏡装置。
5. 前記演算部は、前記第２の信号と前記第３の信号とに基づいて、前記複数の第１のフォトダイオードのそれぞれの領域に対応する画素値を演算することにより前記蛍光画像信号を生成する請求項１に記載の内視鏡装置。
6. 前記演算部は、前記可視光画像信号における１つの画素に対応する前記蛍光画像信号における画素の数が異なる場合、前記可視光画像信号における１つの画素に対応する前記蛍光画像信号における画素の数が一致するように前記可視光画像信号と前記蛍光画像信号との少なくとも一方に基づく演算を行い、
   前記演算部は、前記演算が行われた前記可視光画像信号と前記蛍光画像信号とを重畳する
   請求項１に記載の内視鏡装置。
7. 前記可視光画像信号と前記蛍光画像信号とが重畳されるときの前記可視光画像信号と前記蛍光画像信号との重み付けは変更可能である請求項６に記載の内視鏡装置。
8. 前記演算部は、前記蛍光画像信号の画素値に基づいて前記重み付けを決定する請求項７に記載の内視鏡装置。
9. 前記演算部は、ユーザの指示に基づいて前記重み付けを決定する請求項７に記載の内視鏡装置。
10. 前記演算部は、前記可視光画像信号と前記蛍光画像信号とを重畳するとき、相対的に波長が長い光が強調された画像に相当する前記可視光画像信号を用いる請求項６に記載の内視鏡装置。
11. 前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行い、
    前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレームの数は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレームの数と同一である請求項１に記載の内視鏡装置。
12. 前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行い、
    前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレームの数は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレームの数よりも多い請求項１に記載の内視鏡装置。
13. 前記切替部は、前記第１の状態から前記第２の状態への切替を一定の周期で行い、前記第２の状態から前記第１の状態への切替を前記一定の周期で行い、
    前記内視鏡装置が前記第２の状態であるときに前記第１のイメージセンサと前記第２のイメージセンサとが行う撮像のフレーム長は、前記内視鏡装置が前記第１の状態であるときに前記第１のイメージセンサが行う撮像のフレーム長よりも長い請求項１に記載の内視鏡装置。
14. 近赤外光に対する前記第２のイメージセンサの感度は、近赤外光に対する前記第１のイメージセンサの感度よりも高い請求項１に記載の内視鏡装置。

Images