WO2016114231A1

WO2016114231A1 - 内視鏡システムおよび処理装置

Info

Publication number: WO2016114231A1
Application number: PCT/JP2016/050506
Authority: WO
Inventors: 涼平香川
Original assignee: オリンパス株式会社
Priority date: 2015-01-16
Filing date: 2016-01-08
Publication date: 2016-07-21
Also published as: US10575720B2; JP6072372B2; US20170238791A1; CN107072516B; CN107072516A; EP3245935A1; JPWO2016114231A1

Abstract

　本発明にかかる内視鏡システム１は、異なる色の照明光をフレーム周期に対応させて順次発する光源装置４と、照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子２５を有する内視鏡２と、撮像素子２５から出力された画像信号のうち、照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を撮像素子２５における画素配列のラインごとに演算する色成分演算部３１ａを有する処理装置３と、を有する。

Description

内視鏡システムおよび処理装置

　本発明は、内視鏡を備えた内視鏡システムおよび内視鏡から出力された画像信号を処理する処理装置に関する。

　従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から、光源装置から供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を撮像する。このように内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器の観察を行う。

　このような内視鏡システムが有する撮像素子にＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサを適用するとともに、被写体に対する照明光として青色光、緑色光および赤色光を順次照射し、この三色の光に対応する撮像信号を順次生成する技術が提案されている（例えば、特許文献１参照）。

特開２０１３－２０２１８９号公報

　ＣＭＯＳセンサは、水平ラインごとにタイミングをずらして露光または読み出しを行うローリングシャッタ方式によって画像データを生成する。このＣＭＯＳセンサにおいて、全画素に対して十分な露光期間を確保するためには、全ての水平ラインで共通して露光させることが可能な期間（Ｖブランク期間）の比率を上げることが必要となる。しかしながら、Ｖブランク期間の比率を上げた場合には、その分だけ、信号伝送用の期間が減り、ＣＭＯＳセンサからの高速読み出しが必要となるため、撮像ケーブルでの高速伝送が必要となり、伝送負担が大きくなるという問題があった。

　本発明は、上記に鑑みてなされたものであって、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる内視鏡システムおよび処理装置を提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡システムは、被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、を有することを特徴とする。

　また、本発明にかかる内視鏡システムは、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする。

　また、本発明にかかる内視鏡システムは、前記処理装置は、前記光源装置に対し、１ライン露光期間ごとに、１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、前記色成分演算部は、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする。

　また、本発明にかかる内視鏡システムは、前記光源装置は、３色の照明光を照明し、前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの２色の照明光を照明させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記処理装置は、前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、をさらに備え、前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする。

　また、本発明にかかる内視鏡システムは、前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする。

　また、本発明にかかる処理装置は、被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、を備えたことを特徴とする。

　本発明によれば、撮像素子から出力された画像信号のうち、照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて、取得対象のフレームの各色成分の画像信号をラインごとに演算処理によって求めているため、Ｖブランク期間を設けずとも全画素を十分な期間で露光することができ、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。

図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。図３は、図２に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図４は、図２に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。図５は、本実施の形態１で求める画像信号の解の一意性を説明する図である。図６は、実施の形態１の変形例１における撮像素子におけるＮＢＩ観察方式の場合における露光、読み出しタイミングを示すタイミングチャートである。図７は、実施の形態１の変形例１における撮像素子におけるＮＢＩ観察方式の場合における露光、読み出しタイミングの他の例を示すタイミングチャートである。図８は、実施の形態１における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。図９は、実施の形態２にかかる内視鏡システムの構成を模式的に示すブロック図である。図１０は、図９に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図１１は、図９に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。図１２は、本実施の形態２で求める画像信号の解の一意性を説明する図である。図１３は、本実施の形態２で求める画像信号の解の一意性を説明する図である。図１４は、実施の形態２における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。図１５は、実施の形態３にかかる内視鏡システムの構成を模式的に示すブロック図である。図１６は、図１５に示す処理装置において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図１７は、図１５に示す撮像素子における露光、読み出しタイミングを示すタイミングチャートである。図１８は、本実施の形態３で求める画像信号の解の一意性を説明する図である。図１９は、本実施の形態３で求める画像信号の解の一意性を説明する図である。図２０は、実施の形態３における撮像素子がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。

　以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。

（実施の形態１）
　図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態１にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像信号を生成する内視鏡２（スコープ）と、着脱自在に内視鏡２が装着されて内視鏡２から送信される画像信号に対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３（信号処理装置）と、内視鏡２の照明光（観察光）を生成する光源装置４と、処理装置３が画像処理を施した画像信号に対応する画像を表示する表示装置５と、を備える。

　内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。

　挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２１ａと、複数の湾曲駒によって構成された湾曲自在な湾曲部２１ｂと、湾曲部２１ｂの基端部側に設けられた可撓性を有する可撓管部２１ｃと、を有する。先端部２１ａには、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部２１ｄおよび送気・送水用ノズル（図示せず）が設けられている。

　操作部２２は、湾曲部２１ｂを上下方向および左右方向に湾曲させる湾曲ノブ２２ａと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２ｂと、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２ｃと、を有する。処置具挿入部２２ｂから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部２１ｄから表出する。

　ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐した処理装置３および光源装置４に着脱自在なコネクタ２３ａ，２３ｂを有する。ユニバーサルコード２３は、先端部２１ａに設けられた撮像部が撮像した画像信号を、コネクタ２３ａを介して、処理装置３に伝送する。ユニバーサルコード２３は、光源装置４から出射された照明光を、コネクタ２３ｂ、操作部２２および可撓管部２１ｃを介して先端部２１ａに伝播する。

　処理装置３は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２１ａにおける撮像部が撮像した被検体内の撮像信号に対して所定の画像処理を施す。処理装置３は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２ｃから送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。

　光源装置４は、複数の波長帯域（色）の光を出射する光源や集光レンズ等を用いて構成される。光源装置４は、光源から出射された光を、コネクタ２３ｂおよびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。光源は、例えば、赤色（Ｒ）光、緑色（Ｇ）光および青色（Ｂ）光の光を発する。

　表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）を用いた表示ディスプレイ等を用いて構成される。表示装置５は、映像ケーブルを介して処理装置３によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、術者は、表示装置５が表示する画像（体内画像）を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。

　つぎに、図１で説明した内視鏡システム１の構成について説明する。図２は、図１に示す内視鏡システム１の構成を模式的に示すブロック図である。

　内視鏡２は、先端部２１ａに、光学系２４および撮像素子２５を有する。先端部２１ａには、光源装置４から、コネクタ２３ｂを経由して、延伸するライトガイドケーブル２３ｃの先端が位置する。ライトガイドケーブル２３ｃの先端には、照明レンズ２１ｅが設けられる。光源装置４から発せられた光は、ライトガイドケーブル２３ｃを介して、挿入部２１の先端部２１ａの照明窓２１ｆから被写体に照明される。

　光学系２４は、撮像素子２５の前段に設けられた一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

　撮像素子２５は、受光部２６および読み出し部２７を有する。撮像素子２５は、水平ラインごとの露光かつ読み出しが可能であるＣＭＯＳ撮像素子である。

　受光部２６は、受光面に複数の画素が行列状に配置される。各画素は、光が照射された被写体からの光を受光し、受光した光を光電変換して画素信号（画像信号）を生成する。受光部２６の受光面側には、光学系２４が配置される。

　読み出し部２７は、受光部２６の複数の画素が生成した画像信号を読み出す。読み出し部２７は、露光および読み出しを行う撮像動作を先頭の水平ラインから実行し、水平ラインごとにタイミングをずらして、電荷リセット、露光および読み出しを行うローリングシャッタ方式によって画像信号を生成する。したがって、撮像素子２５においては、１つの撮像期間（フレーム）であっても、水平ラインごとに露光タイミングおよび読み出しタイミングがそれぞれ異なる。言い換えると、１水平ラインの画素群を露光している期間（１ライン露光期間）は、いずれの水平ラインにおいても同じ時間幅であるが、水平ラインごとに始点と終点とがずれている。読み出し部２７が読み出した画像信号は、電気信号（アナログ）である。撮像素子２５は、読み出し部２７が読み出した画像信号の電気信号に対してノイズ除去やＡ／Ｄ変換などを行うＡＦＥ部（不図示）や、処理装置３から受信した制御信号にしたがって撮像素子２５の動作を制御する制御部（不図示）を有する。撮像素子２５が生成した画像信号（デジタル）は、信号ケーブル（不図示）やコネクタ２３ａを介して、処理装置３に出力される。

　処理装置３は、画像処理部３１と、表示制御部３２と、調光部３３と、制御部３４と、入力部３５と、記憶部３６とを備える。

　画像処理部３１は、撮像素子２５の読み出し部２７によって読み出された画像信号に対し、所定の画像処理を行う。画像処理部３１は、色成分演算部３１ａと、撮像素子２５から読み出された画像信号をフレーム単位で一時的に保持できる書き換え可能なメモリ３１ｂと、ゲイン調整部３１ｃと、ホワイトバランス（ＷＢ）調整部３１ｄと、同時化部３１ｅとを有する。画像処理部３１は、オプティカルブラック減算処理、エッジ強調処理を行う場合もある。

　色成分演算部３１ａは、内視鏡２の撮像素子２５から出力された画像信号のうち、照明光の波長帯域（色）の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を水平ラインごとに演算する。色成分演算部３１ａは、撮像素子２５から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算する。色成分演算部３１ａは、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象の水平ラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、水平ラインごとに各色成分信号を演算する。Ｒ，Ｇ，Ｂの３色の照明光が照明される場合には、色成分演算部３１ａは、連続する３フレームにおいて、Ｒ光を照射された被写体からのＲ光のみを受光部２６が受光した際のＲ画像信号、Ｇ光を照射された被写体からのＧ光のみを受光部２６が受光した際のＧ画像信号、および、Ｂ光を照射された被写体からのＢ光のみを受光部２６が受光した際のＢ画像信号を、水平ラインごとに生成する。

　ゲイン調整部３１ｃは、後述する調光部３３によって算出されたゲイン調整値、および、後述する照明制御部３４ａによって設定されたＲ，Ｇ，Ｂの３色の照明光の各照明期間をもとに、色成分演算部３１ａから出力された各色の色成分信号であるＲ，Ｇ，Ｂ画像信号のゲイン調整を行う。

　ＷＢ調整部３１ｄは、色成分演算部３１ａから出力された各色成分であるＲ，Ｇ，Ｂ画像信号のホワイトバランスを調整する。

　同時化部３１ｅは、入力された各Ｒ，Ｇ，Ｂ画像信号を画素ごとに設けられたメモリ（図示しない）に入力し、読み出し部２７が読み出した受光部２６の画素のアドレスに対応させて、各メモリの値を入力された各画像信号で順次更新しながら保持するとともに、これら３つのメモリの各画像信号をＲＧＢ画像信号として同時化する。

　表示制御部３２は、画像処理部３１から出力されたＲＧＢ画像信号を、表示装置５に対応させて階調変換するとともに、表示装置５に対応するフォーマットに変更した表示用画像信号を生成して表示装置５に出力する。この結果、表示装置５には、１枚の体内画像が表示される。

　調光部３３は、画像処理部３１に入力された画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルをもとに、この画像信号に対するゲイン調整値を算出する。調光部３３は、検出した明るさレベルをもとに、次に発せられる照明光における光照射量を調光条件として算出する。調光部３３は、算出したゲイン調整値をゲイン調整部３１ｃに出力し、検出した明るさレベルとともに調光条件を制御部３４に出力する。

　制御部３４は、ＣＰＵ等を用いて実現される。制御部３４は、処理装置３の各部の処理動作を制御する。制御部３４は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３４は、各ケーブルを介して撮像素子２５および光源装置４にそれぞれに接続されており、撮像素子２５および光源装置４に対する制御も行う。制御部３４は、照明制御部３４ａを有する。

　照明制御部３４ａは、調光部３３から出力された調光条件をもとに光源装置４の各色の照明期間および照明強度を設定する。実施の形態１では、照明制御部３４ａは、照明光の照明強度を一定とし、照明期間を設定する。照明制御部３４ａは、各光源に供給する電流量や電流供給期間等の駆動条件を設定して、設定条件を含む光源同期信号を光源装置４に出力する。照明制御部３４ａは、光源装置４が発する光の種別、光量、照明タイミングを設定する。照明制御部３４ａは、光源装置４に対し、先頭の水平ライン１における露光期間（１ライン露光期間）ごとに、１ライン露光期間以下の期間で照明光を照明させる制御を行う。なお、照明制御部３４ａは、撮像素子２５の出力値が飽和しない条件で、照射時間、照射強度を設定する。照明制御部３４ａは、撮像素子２５の出力値が飽和する手前の照射時間、照射強度を設定し、ゲイン調整部３１ｃは、マイナスゲインで画像信号をゲイン調整してもよい。

　入力部３５は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部３５は、被検体情報（例えばＩＤ、生年月日、名前等）、内視鏡２の識別情報（例えばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。

　記憶部３６は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置３および光源装置４を動作させるための各種プログラムを記憶する。記憶部３６は、処理装置３の処理中の情報を一時的に記録する。記憶部３６は、読み出し部２７によって読み出された画像信号を記憶する。また、記憶部３６は、画像処理部３１において処理された画像信号を記憶する。

　光源装置４は、光源制御部４１と、光源ドライバ４３および光源４４を備えた照明部４２とを有する。

　光源制御部４１は、照明制御部３４ａの制御のもと、光源４４の照明光の照明処理を制御する。照明部４２の光源ドライバ４３は、光源制御部４１の制御のもと、光源４４に所定の電力を供給する。照明部４２の光源４４は、内視鏡２に供給する照明光として、複数の波長帯域（色）の光を発する。光源４４は、例えば、赤色ＬＥＤ、緑色ＬＥＤ、青色ＬＥＤ等の光源と集光レンズなどの光学系とを用いて構成され、Ｒ、ＧおよびＢの波長帯域（例えば、Ｒ：６００ｎｍ～７００ｎｍ、Ｇ：５００ｎｍ～６００ｎｍ、Ｂ：４００ｎｍ～５００ｎｍ）の光を発する。光源４４から発せられた光は、ライトガイドケーブル２３ｃによって、コネクタ２３ｂおよびユニバーサルコード２３を経由し、挿入部２１の先端部２１ａの照明レンズ２１ｅを介して照明窓２１ｆから被写体に照明される。なお、照明窓２１ｆ近傍には、撮像素子２５が配置される。また、光源４４は、白色光ＬＥＤと、Ｒ光、Ｇ光およびＢ光それぞれの波長帯域を有する光を透過させる赤色フィルタ、緑色フィルタおよび青色フィルタを有する回転フィルタとの組み合わせであってもよい。

　図３は、処理装置３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。図３に示すように、まず、調光部３３から制御部３４の照明制御部３４ａに、次に照射させる照明光の調光条件が入力される調光条件入力処理が行なわれる（ステップＳ１）。照明制御部３４ａは、入力された調光条件にしたがって、次に照射させる照明光の照明条件を設定し、設定した照明条件で光源装置４に照明光を照明させる照明制御処理を行う（ステップＳ２）。照明制御部３４ａは、いずれの色の照明光も照明強度は一定とした上で、次に照射させる照明光の色と照明期間とを設定する。これとともに、制御部３４は、内視鏡２の撮像素子２５に対して、露光および画像信号の読み出しを行う画像信号読み出し処理を先頭の水平ラインから順次実行させる画像信号読み出し処理を行う（ステップＳ３）。

　画像処理部３１の色成分演算部３１ａが、撮像素子２５から出力された画像信号を含む連続する複数のフレームの画像信号の出力値を用いて、各色成分信号を水平ラインごとに演算する色成分演算処理を行う（ステップＳ４）。色成分演算部３１ａは、全水平ラインに対して各色成分信号を演算し、フレーム単位で各色成分信号を出力する。その後、画像処理部３１は、色成分演算部３１ａが出力した各色成分信号に対し、ゲイン調整処理、ホワイトバランス調整処理、同時化処理を行って、１フレームのＲＧＢ画像信号を生成する画像信号処理を行う（ステップＳ５）。なお、画像処理部３１は、ステップＳ５において、オプティカルブラック減算処理、エッジ強調処理等の画像信号処理を行う場合もある。

　次に図４を参照して、図３に示す各処理について説明する。図４は、図２に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図４には、撮像素子２５の露光、読み出しタイミング（図４の（１）に対応して撮像素子２５から読み出される画像信号（図４の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図４の（３）～（５））についても示している。なお、図４の（３）～（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。

　照明制御部３４ａは、ステップＳ１において入力された調光条件を基に、光源装置４に対し、Ｒ光、Ｇ光、Ｂ光のうちの１色の光を１ライン露光期間内の１ライン露光期間以下の期間で照明させる照明処理を順次実行させる照明制御処理を行う（ステップＳ２）。照明制御部３４ａは、いずれの色の光についても、撮像素子２５における各フレームの１ライン露光期間の終了タイミングと同じタイミングで消灯させる。照明制御部３４ａは、照明開始時間については、調光条件に従い各１ライン露光期間内で調整する。図４の例では、照明制御部３４ａは、光源装置４に、１ライン露光期間ごとに、Ｇ光、Ｂ光、Ｒ光の順で順次照明させ、いずれの光も各フレームの１ライン露光期間の終了時間で消灯させる。

　具体的には、フレーム１の１ライン露光期間（時間Ｔ_０～Ｔ_１）では、期間Ｌ_ｇ１がＧ光の照明期間となり、フレーム２の１ライン露光期間（時間Ｔ_１～Ｔ_２）では、期間Ｌ_ｂ２がＢ光の照明期間となり、フレーム３の１ライン露光期間（時間Ｔ_２～Ｔ_３）では、期間Ｌ_ｒ３がＲ光の照明期間となり、フレーム４の１ライン露光期間（時間Ｔ_３～Ｔ_４）では、期間Ｌ_ｇ４がＧ光の照明期間となり、フレーム５の１ライン露光期間（時間Ｔ_４～Ｔ_５）では、期間Ｌ_ｂ５がＢ光の照明期間とされる。光源装置４は、いずれのフレームにおいても、各フレームの１ライン露光期間の終了時間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５で、各光を消灯する。

　次に、図３の画像信号読み出し処理（ステップＳ３）について説明する。本内視鏡システム１では、撮像素子２５として、水平ラインごとに露光および読み出しのタイミングを変えるローリングシャッタ方式を適用するＣＭＯＳ撮像素子を採用しており、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しを行う。

　具体的には、図４の（１）の例では、フレーム１では、先頭の水平ライン１については、時間Ｔ_０～Ｔ_１まで露光されてから時間Ｔ_１で画素信号が読み出される。以降の水平ラインの画素については、水平ラインごとにタイミングを時間方向にシフトさせながら、露光および読み出しが行われる。したがって、フレーム１では、時間Ｔ_１～Ｔ_２の間に先頭から順に各水平ラインの画素信号が読み出されることによって、フレーム１の画像信号Ｆ_１が出力される（図４の（２）参照）。フレーム２では、時間Ｔ_２～Ｔ_３の間に各水平ラインの画素信号が順に読み出されることによって、フレーム２の画像信号Ｆ_２が出力される。同様に、フレーム３では、時間Ｔ_３～Ｔ_４の間の読み出し処理によってフレーム３の画像信号Ｆ_３が出力され、フレーム４では、時間Ｔ_４～Ｔ_５の間の読み出し処理によってフレーム４の画像信号Ｆ_４が出力され、フレーム５では、時間Ｔ_５～Ｔ_６の間の読み出し処理によってフレーム５の画像信号Ｆ_５が出力される。

　このように、撮像素子２５においては、水平ラインごとに露光および読み出しのタイミングが異なるため、各フレームの画像信号Ｆ_１～Ｆ_５の各出力値は、水平ラインによって、照明される光の色、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。また、Ｒ，Ｇ，Ｂ光は、各フレームの１ライン露光期間ごとに１色ずつ順次照明されるように制御されるため、各Ｒ，Ｂ，Ｇ光の露光期間は、連続する３フレームに渡って分散している。そこで、図３の色成分演算処理（ステップＳ４）においては、色成分演算部３１ａは、水平ラインごとに、連続する３フレームの各フレームにおける１ライン露光期間あたりの各色の照明期間と、各フレームにおける演算対象の水平ラインへの各色の露光期間との関係を勘案しながら、撮像素子２５から画像信号が出力された最新のフレームを含む連続する３フレーム分の画像信号から取得対象の色成分の信号を抽出することによって、取得対象の色成分の信号を求めている。なお、被写体は動作していない前提である。また、色成分演算部３１ａが演算で使用する複数のフレームの画像信号は、メモリ３１ｂに一時的に保持されている。

　実施の形態１では、連続するフレーム（ｋ－３）～（ｋ－１）における水平ラインｎの出力画像信号Ｆ_{（ｋ－３）ｎ}，Ｆ_{（ｋ－２）ｎ}，Ｆ_{（ｋ－１）ｎ}の値と、連続するフレーム（ｋ－３）～（ｋ－１）の各１ライン露光期間における各色の照明期間およびフレーム（ｋ－３）～（ｋ－１）における水平ラインｎへの各色の露光期間とに基づく行列Ａ_ｋと、演算上のフレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}との関係を示す３元一次連立方程式（（１）式）が成立する。

　このため、演算上のフレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}を求めるためには、（１）式を変形した（２）式の逆行列Ａ_ｋ ^－１を求めて、（２）式を解けばよい。すなわち、色成分演算部３１ａは、撮像素子２５から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を（２）式に適用して、演算対象のラインにおける各色成分信号を演算する。

　例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ_{４ｎ（Ｒ）}、Ｇ画像信号Ｆ_{４ｎ（Ｇ）}、Ｂ画像信号Ｆ_{４ｎ（Ｂ）}については、以下の（３）式に、フレーム１～３の画像信号Ｆ_１ｎ，Ｆ_２ｎ，Ｆ_３ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ１参照）。（３）式では、連続するフレーム２，３のそれぞれの１ライン露光期間におけるＢ，Ｒ光の照明期間Ｌ_ｂ２，Ｌ_ｒ３と、フレーム１～３における水平ラインｎへのＧ光の露光期間ｇ_１，ｇ_３、Ｂ光の露光期間ｂ_１，ｂ_２およびＲ色の露光期間ｒ_２，ｒ_３と、が行列Ａ_４のパラメータとなる。

　色成分演算部３１ａは、水平ラインｎに対応するＲ色の露光期間ｒ_２，ｒ_３、Ｇ光の露光期間ｇ_１，ｇ_３、Ｂ光の露光期間ｂ_１，ｂ_２を行列Ａ_４のパラメータとして適用し、画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの水平ラインｎの出力値を入力した（３）式を解く演算処理を行う。この結果、色成分演算部３１ａは、４フレーム目の水平ラインｎに対応する照明期間Ｌ_ｒ３にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ_{４ｎ（Ｒ）}、期間（ｇ_１＋ｇ_３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{４ｎ（Ｇ）}、照明期間Ｌ_ｂ２にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ_{４ｎ（Ｂ）}を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ_４のパラメータとして用い、演算対象の水平ラインｎの画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、４フレーム目のＲ画像信号Ｆ_４（Ｒ）、Ｇ画像信号Ｆ_４（Ｇ）、Ｂ画像信号Ｆ_４（Ｂ）をフレーム単位で取得することができる。以下、（３）式における行列Ａ_４の１行目の成分から成る行ベクトル（ｒ_３／Ｌ_ｒ３，ｇ_３／（ｇ_１＋ｇ_３），０）をＲａ、２行目の成分から成る行ベクトル（ｒ_２／Ｌ_ｒ３，０，ｂ_２／Ｌ_ｂ２）をＲｂ、３行目の成分から成る行ベクトル（０，ｇ_１／（ｇ_１＋ｇ_３），ｂ_１／Ｌ_ｂ２）をＲｃという。

　５フレーム目の水平ラインｎのＲ画像信号Ｆ_{５ｎ（Ｒ）}、Ｇ画像信号Ｆ_{５ｎ（Ｇ）}、Ｂ画像信号Ｆ_{５ｎ（Ｂ）}については、以下の（４）式に、フレーム２～４の画像信号Ｆ_２ｎ，Ｆ_３ｎ，Ｆ_４ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ２参照）。（４）式では、連続するフレーム３，４のそれぞれの１ライン露光期間におけるＲ，Ｇ光の照明期間Ｌ_ｒ３，Ｌ_ｇ４、およびフレーム２～４における水平ラインｎへのＲ色の露光期間ｒ_２，ｒ_３、Ｇ光の露光期間ｇ_３，ｇ_４、Ｂ光の露光期間ｂ_２，ｂ_４が行列Ａ_５のパラメータとなる。

　色成分演算部３１ａは、水平ラインｎに対応するＲ色の露光期間ｒ_２，ｒ_３、Ｇ光の露光期間ｇ_３，ｇ_４、Ｂ光の露光期間ｂ_２，ｂ_４を行列Ａ_５のパラメータとして適用し、画像信号Ｆ_４ｎ，Ｆ_３ｎ，Ｆ_２ｎの水平ラインｎの出力値を入力した（４）式を解く演算処理を行う。この結果、色成分演算部３１ａは、５フレーム目の水平ラインｎに対応する照明期間Ｌ_ｒ３にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ_{５ｎ（Ｒ）}、照明期間Ｌ_ｇ４にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{５ｎ（Ｇ）}、期間（ｂ_２＋ｂ_４）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ_{５ｎ（Ｂ）}を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ_５のパラメータとして用い、演算対象の水平ラインの画像信号Ｆ_４ｎ，Ｆ_３ｎ，Ｆ_２ｎの出力値を入力した（４）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、５フレーム目のＲ画像信号Ｆ_５（Ｒ）、Ｇ画像信号Ｆ_５（Ｇ）、Ｂ画像信号Ｆ_５（Ｂ）をフレーム単位で取得することができる。

　６フレーム目の水平ラインｎのＲ画像信号Ｆ_{６ｎ（Ｒ）}、Ｇ画像信号Ｆ_{６ｎ（Ｇ）}、Ｂ画像信号Ｆ_{６ｎ（Ｂ）}については、以下の（５）式に、フレーム３～５の画像信号Ｆ_３ｎ，Ｆ_４ｎ，Ｆ_５ｎにおける水平ラインｎの出力値を入力して求める（矢印Ｙ３参照）。（５）式では、連続するフレーム４，５のそれぞれの１ライン露光期間におけるＧ，Ｂ光の照明期間Ｌ_ｇ４，Ｌ_ｂ５、およびフレーム３～５における水平ラインｎへのＲ色の露光期間ｒ_３，ｒ_５、Ｇ光の露光期間ｇ_３，ｇ_４、Ｂ光の露光期間ｂ_４，ｂ_５が行列Ａ_６のパラメータとなる。

　色成分演算部３１ａは、水平ラインｎに対応するＲ光の露光期間ｒ_３，ｒ_５、Ｇ光の露光期間ｇ_３，ｇ_４、Ｂ光の露光期間ｂ_４，ｂ_５を行列Ａ_６のパラメータとして適用し、画像信号Ｆ_５ｎ，Ｆ_４ｎ，Ｆ_３ｎの水平ラインｎの出力値を入力した（５）式を解く演算処理を行う。この結果、色成分演算部３１ａは、6フレーム目の水平ラインｎに対応する照明期間（ｒ_３＋ｒ_５）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ_{６ｎ（Ｒ）}、照明期間Ｌ_ｇ４にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{６ｎ（Ｇ）}、照明期間Ｌ_ｂ５にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ_{６ｎ（Ｂ）}を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ_６のパラメータとして用い、演算対象の水平ラインの画像信号Ｆ_５ｎ，Ｆ_４ｎ，Ｆ_３ｎの出力値を入力した（５）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、６フレーム目のＲ画像信号Ｆ_６（Ｒ）、Ｇ画像信号Ｆ_６（Ｇ）、Ｂ画像信号Ｆ_６（Ｂ）をフレーム単位で取得することができる。

　７フレーム以降についても、３フレーム単位で（３）式～（５）式を順次用いて各水平ラインｎの各色成分の画像信号を演算すればよい。（３）式～（５）式の行列Ａ_ｋについては、各パラメータのフレーム番号を３ずつ加算し、各水平ラインｎごとに行列Ａ_ｋの逆行列Ａ_ｋ ^－１を演算して、水平ラインｎごとに各色成分の画像信号を取得する。

　なお、本実施の形態１で用いる関係式中の行列Ａ_ｋの階数について説明する。図５は、本実施の形態１で求める画像信号の解の一意性を説明する図であり、（３）式の行ベクトルＲａ，Ｒｂ，ＲｃをＲ，Ｇ，Ｂ空間で見た場合を示す図である。行ベクトルＲａは、Ｒ－Ｇ平面上のベクトルであって、水平ライン１に対応する位置Ｒ_ａ１から、ライン番号が進むにしたがって位置Ｒ_ｃ１に向かって進む軌跡Ｐ_Ｒａを描く。行ベクトルＲｂは、Ｂ－Ｒ平面上のベクトルであって、水平ライン１に対応する位置Ｒ_ｂ１から、ライン番号が進むにしたがって位置Ｒ_ａ１に向かって進む軌跡Ｐ_Ｒｂを描く。行ベクトルＲｃは、Ｇ－Ｂ平面上のベクトルであって、水平ライン１に対応する位置Ｒ_ｃ１から、ライン番号が進むにしたがって位置Ｒ_ｂ１に向かって進む軌跡Ｐ_Ｒｃを描く。これらの行ベクトルＲａ，Ｒｂ，Ｒｃは、図５のように、Ｒ－Ｇ平面、Ｂ－Ｒ平面、Ｇ－Ｂ平面の各平面上でそれぞれ異なる軌跡Ｐ_Ｒａ，Ｐ_Ｒｂ，Ｐ_Ｒｃを描く関係であるため、いずれの行ベクトルＲａ～Ｒｃについても２つの行ベクトルが同時にＲ，Ｇ，Ｂ軸上で重複することもない。

　したがって、行ベクトルＲａ～Ｒｃは常に一次独立であるため、行列Ａ_ｋは、階数（ランク）３となり、（３）式の解は一意に定まる。したがって、Ｒ，Ｇ，Ｂの照明期間が同一である場合、異なる場合のいずれにおいても、（３）式の解は必ず一意に定まるため、各Ｒ画像信号Ｆ_{４ｎ（Ｒ）}、Ｇ画像信号Ｆ_{４ｎ（Ｇ）}、Ｂ画像信号Ｆ_{４ｎ（Ｂ）}の値を演算において求めることができる。（４）式、（５）式も同様であるため、いずれのフレームの色成分信号についても一意に求めることができる。

　上述の色成分演算処理（ステップＳ４）では、１フレームでＲ，Ｇ，Ｂ画像信号のいずれもが色成分信号として演算され、画像信号処理（ステップＳ５）では、これらのＲ，Ｇ，Ｂ画像信号に対して所定の画像信号処理が実行される。このうち同時化処理において、同時化部３１ｅは、このＲ，Ｇ，Ｂ画像信号のうち、演算で使用した連続する３フレームのうちの最後のフレームの読み出し期間に最も近い露光期間で露光される色の画像信号を採用する。そして、３フレーム単位で、各フレームで１色ずつ採用された画像信号をもとに同時化処理を行う。例えば、４フレーム目では、フレーム３における読み出し期間Ｔ_３～Ｔ_４に最も近い露光期間Ｌ_ｒ３に対応するＲ画像信号Ｆ_４（Ｒ）を採用し、５フレーム目では、フレーム４における読み出し期間Ｔ_４～Ｔ_５に最も近い露光期間Ｌ_ｇ４に対応するＧ画像信号Ｆ_５（Ｇ）を採用し、６フレーム目では、フレーム５における読み出し期間Ｔ_５～Ｔ_６に最も近い露光期間Ｌ_ｂ５に対応するＢ画像信号Ｆ_６（Ｂ）を採用し、採用したＲ画像信号Ｆ_４（Ｒ）、Ｇ画像信号Ｆ_５（Ｇ）、Ｂ画像信号Ｆ_６（Ｂ）を用いて、同時化処理を行ってＲＧＢ画像信号を生成する。もちろん、同時化部３１ｅは、同フレームのＲ，Ｇ，Ｂ画像信号を用いて同時化処理を行い、１フレームごとにＲＧＢ画像信号を生成してもよい。

　このように、実施の形態１では、処理装置３における色成分演算部３１ａにおいて、複数の連続したフレームの画像信号の出力値を用いた演算によって、取得対象のフレームの各色成分の画像信号を水平ラインごとに抽出している。したがって、実施の形態１によれば、各照明光の露光期間を１ライン露光期間の中で自由に設定することができるため、全画素に対して十分な露光期間を確保でき、撮像素子２５の感度を維持できる。また、本実施の形態１では、色成分演算部３１ａが演算処理によって取得対象のフレームの各色成分の画像信号を抽出していることから、全ての水平ラインで共通して露光させる期間（Ｖブランク期間）を設けずともよいため、信号伝送用の期間も十分に確保できる。したがって、実施の形態１によれば、ケーブルの伝送負担を抑制しながら全画素に対して十分な露光期間が確保できる。

（実施の形態１の変形例１）
　実施の形態１は、Ｒ，Ｇ，Ｂの３色の照明光を順次切り替える面順次方式に限らず、例えば血液中のヘモグロビンに吸収されやすくなるように狭帯域化された青色光および緑色光の２種の帯域のＮＢＩ（Narrow　Band　Imaging）照明光を用いて観察するＮＢＩ観察方式にも適用可能である。ＮＢＩ観察方式の場合には、光源装置４は、照明制御部３４ａの制御に従い、狭帯域化された青色光（Ｖ光）と狭帯域化されたＧ光を順次切り替えて照射する。Ｖ光の波長帯域は、例えば、波長３９０～４７０ｎｍである。

　図６は、ＮＢＩ観察方式の場合における、撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図６には、撮像素子２５の露光、読み出しタイミング（図６の（１））に対応して撮像素子２５から読み出される画像信号（図６の（２））、該画像信号を基に生成されるＶ、Ｇ画像信号等（図６の（３）～（５））についても示している。なお、図６の（３）～（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。なお、この場合においても、処理装置３は、図３に示す各処理とほぼ同様の処理を行うことによって１フレーム分のＶ画像信号およびＧ画像信号を生成する。

　まず、照明制御部３４ａは、調光条件入力処理（図３のステップＳ１）において入力された調光条件を基に、照明制御処理を行う（ステップＳ２）。ＮＢＩ観察方式では、照射光は、Ｖ光、Ｇ光の２色となるため、演算処理で使用する行列式のランクを３に保持するために光を発光しない無光フレームを設定する。具体的には、照明制御部３４ａは、光源装置４に、フレーム１の１ライン露光期間においてＶ光を照射させ、フレーム２の１ライン露光期間においてＧ光を照射させ、次のフレーム３の１ライン露光期間では発光なしの無光フレームとする。そして、連続する３フレームにおいても、照明制御部３４ａは、Ｖ光照射（フレーム４）、Ｇ光照射（フレーム５）、発光なし（フレーム６）とし、３フレーム単位でこの照明制御を繰り返す。

　続いて、色成分演算部３１ａは、画像信号読み出し処理（ステップＳ３）で読み出された連続する３つのフレームの画像信号と上述の（３）～（５）式のいずれかのうち対応する演算式を用いて、Ｖ画像信号およびＧ画像信号を水平ラインごとに生成する（ステップＳ４）。色成分演算部３１ａは、例えば、４フレーム目のＶ画像信号Ｆ_{４ｖ（Ｖ）}、Ｇ画像信号Ｆ_{４ｖ（Ｇ）}を生成する場合には、水平ラインｎごとに、連続する３つのフレーム画像信号Ｆ_１～Ｆ_３（図６の（２）参照）の水平ラインｎの出力値を（３）式に入力する。この場合、水平ラインｎにおいては、連続するフレーム１～３のそれぞれの１ライン露光期間におけるＶ，Ｂ光の照明期間Ｌ_ｖ１，Ｌ_ｇ２、およびフレーム１～３における水平ラインｎへのＶ光の露光期間ｖ_１，ｖ_３、Ｇ光の露光期間ｇ_１，ｇ_２に加え、発光のないフレーム３における見かけ上の照明期間Ｌ_ｏ３と露光期間Ｏ_２，Ｏ_３とが、（３）式の行列Ａ_ｋのパラメータとなる。

　そして、色成分演算部３１ａは、（３）式を解くことによって、４フレーム目の水平ラインｎに対応する期間（ｖ_１＋ｖ_３）にＶ光で露光された場合の画像信号に対応するＶ画像信号Ｆ_{４ｖｎ（Ｖ）}（図６の（３））、照明期間Ｌ_ｇ２にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{４ｖｎ（Ｇ）}（図６の（４））を生成する。なお、演算上、見かけ上の照明期間Ｌ_Ｏ３に対応する無照明時画像信号Ｆ_{４ｖｎ（Ｏ）}も生成される（図６の（５））。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ_ｋのパラメータとして用い、演算対象の水平ラインの画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、４フレーム目のＶ画像信号Ｆ_{４Ｖ（Ｖ）}、Ｇ画像信号Ｆ_{４Ｖ（Ｇ）}、無照明時画像信号Ｆ_{４ｖ（Ｏ）}をフレーム単位で取得することができる。続いて、画像処理部３１は、色成分演算部３１ａが演算した各Ｖ画像信号Ｆ_{４ｖ（Ｖ）}、Ｇ画像信号Ｆ_{４ｖ（Ｇ）}に対し、ゲイン調整処理等を含む画像信号処理（ステップＳ５）を行い、ＮＢＩ画像信号を生成する。ここで、この無光フレームを設定した場合には、調光を行う必要がなくなるため、調光せずに常時最長の照射時間でＶ光、Ｇ光を照射できることから、計算誤差を低減でき、残像の影響も少なくできるものと考えられる。

　また、図７は、ＮＢＩ観察方式の場合における、撮像素子２５における他の露光、読み出しタイミングを示すタイミングチャートである。照明制御部３４ａは、光源装置４に、図７の（１）に示すように、図６では無光フレームとしたフレーム３，６に、第２のＶ光（ＶＶ光）を照射させてもよい。この場合、４フレーム目の水平ラインｎについては、連続するフレーム１～３のそれぞれの１ライン露光期間におけるＶ，Ｇ，ＶＶ光の照明期間Ｌ_ｖ１，Ｌ_ｇ２，Ｌ_ｖｖ３、およびフレーム１～３における水平ラインｎへのＶ光の露光期間ｖ_１，ｖ_３、Ｇ光の露光期間ｇ_１，ｇ_２、ＶＶ光の露光期間ｖｖ_２，ｖｖ_３が（３）式の行列Ａ_ｋのパラメータとなる。色成分演算部３１ａは、フレーム画像信号Ｆ_１～Ｆ_３（図７の（２）参照）の水平ラインｎの出力値を（３）式に入力し、解くことによって、４フレーム目の水平ラインｎにおける、Ｖ画像信号Ｆ_{４ｖｖｎ（Ｖ）}（図７の（３））、Ｇ画像信号Ｆ_{４ｖｖｎ（Ｇ）}（図７の（４））に加え、照明期間Ｌ_ｖｖ３にＶＶ光で露光された場合の画像信号に対応するＶＶ画像信号Ｆ_{４ｖｖｎ（ＶＶ）}（図７の（５））を生成することができる。色成分演算部３１ａは、各水平ラインｎに対応するパラメータを行列Ａ_ｋのパラメータとし、演算対象の水平ラインｎの画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの出力値を入力した（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまで順次行うことによって、４フレーム目のＶ画像信号Ｆ_{４ｖｖ（Ｖ）}、Ｇ画像信号Ｆ_{４ｖｖ（Ｇ）}、ＶＶ画像信号Ｆ_{４ｖｖ（ＶＶ）}をフレーム単位で取得する。Ｖ光は感度が十分確保できないため、この場合には、Ｖ光照明を２回行って、２枚のＶ光画像信号を用いることによって、Ｖ光画像信号とＧ光画像信号との感度的なバランスを取っている。なお、３フレーム中、Ｖ光を２回照明するほか、Ｇ光を２回照明することももちろん可能である。

（実施の形態１の変形例２）
　また、実施の形態１は、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図８は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。

　図８の（１）に示すように、照明制御部３４ａは、光源装置４に、Ｇ光、Ｂ光、Ｒ光の順に順次照明光を照射させる。撮像素子２５からは、フレーム１の画像信号Ｆ_１が、全水平ラインいずれについても、各Ｂ光照射期間Ｌ_ｂ２内における時間Ｔ_１において読み出される。同様に、撮像素子２５からは、Ｒ光照射期間Ｌ_ｒ３、Ｇ光照射期間Ｌ_ｇ４の期間内の時間Ｔ_２，Ｔ_３において、フレーム２，３の画像信号Ｆ_２，Ｆ_３が読み出される。色成分演算部３１ａが４フレーム目のＲ画像信号Ｆ_{４ｃ（Ｒ）}、Ｇ画像信号Ｆ_{４ｃ（Ｇ）}、Ｂ画像信号Ｆ_{４ｃ（Ｂ）}を生成する場合には、水平ラインごとに、連続する３つのフレームの画像信号Ｆ_１～Ｆ_３（図８の（２）参照）のうち演算対象である水平ラインの出力値を入力して（３）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この場合には、実施の形態１と同様に、水平ラインｎにおいては、連続するフレーム１～３のそれぞれの１ライン露光期間におけるＲ，Ｂ光の照明期間Ｌ_ｒ３，Ｌ_ｂ２、およびフレーム１～３における水平ラインｎへのＲ光の露光期間ｒ_２，ｒ_３、Ｇ光の露光期間ｇ_１，ｇ_３、Ｂ光の露光期間ｂ_１，ｂ_２が（３）式の行列Ａ_ｋのパラメータとなる。

（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２では、１つの１ライン露光期間に３色のうちの２色の照明光を照明させた場合について説明する。

　図９は、実施の形態２にかかる内視鏡システムの構成を模式的に示すブロック図である。図９に示すように、実施の形態２にかかる内視鏡システム２０１は、図２に示す処理装置３に代えて処理装置２０３を有する。処理装置２０３は、照明制御部２３４ａを有する制御部２３４とを備える。照明制御部２３４ａは、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色のうちの２色の照明光を照明させる。照明制御部２３４ａは、連続する３つの１ライン露光期間においていずれの色の照明光も同回数照明されるように光源装置４に照明処理を行わせる。照明制御部２３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。

　また、記憶部３６は、照明期間テーブル２３６ａ（照明期間情報）を記憶する。照明期間テーブル２３６ａは、色成分演算部３１ａが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示されたテーブルである。照明制御部２３４ａは、光源装置４に対する照明期間テーブル２３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。

　図１０は、処理装置２０３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部２３４ａは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う（ステップＳ１１）。ステップＳ１１では、照明制御部２３４ａは、１フレーム過去の２光の各照明期間を取得する。ステップＳ１２は、図３に示すステップＳ１である。照明制御部２３４ａは、記憶部３６の照明期間テーブル２３６ａを参照する照明期間テーブル参照処理を行う（ステップＳ１３）。照明制御部２３４ａは、ステップＳ１１において取得した前フレームの照明期間も勘案して、照明期間テーブル２３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う（ステップＳ１４）。照明制御部２３４ａは、設定した照明期間で光源装置４に各照明光を照明させる照明制御処理を行う（ステップＳ１５）。ステップＳ１６～ステップＳ１８は、図３に示すステップＳ３～ステップＳ５である。

　次に図１１を参照して、図１０に示す一部の処理について説明する。図１１は、図９に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図１１には、撮像素子２５の露光、読み出しタイミング（図１１の（１））に対応して撮像素子２５から読み出される画像信号（図１１の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図１１の（３）～（５））についても示している。なお、図１１の（３）～（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。

　照明制御部２３４ａは、ステップＳ１３において設定した照明期間で、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色のうちの２色の照明光を照明させる照明期間設定処理（ステップＳ１４）を、連続する３つの１ライン露光期間においていずれの色の照明光も同回数照明されるように実行させる。さらに、照明制御部２３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる。そして、照明制御部２３４ａは、光源装置４に対し、実施の形態１と同様に、いずれの光も各フレームの１ライン露光期間の終了時間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５で消灯させる。

　具体的には、フレーム１の１ライン露光期間では、第１光のＢ光が照明期間Ｌ_ｂ１で照射されるとともに第２光のＲ光が照明期間Ｌ_ｒ１で照明され、フレーム２の１ライン露光期間では、第１光のＧ光が照明期間Ｌ_ｇ２で照射されるとともに第２光のＢ光が照明期間Ｌ_ｂ２で照明され、フレーム３の１ライン露光期間では、第１光のＲ光が照明期間Ｌ_ｒ３で照射されるとともに第２光のＧ光が照明期間Ｌ_ｇ３で照明される。以降のフレームについても、連続する３つのフレームにおいていずれの色の照明光も、同回数照明されるとともに、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明される。

　ステップＳ１６における画像信号読み出し処理で読み出されるフレームの画像信号Ｆ_１～Ｆ_５の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態２では、連続するフレーム（ｋ－３）～（ｋ－１）における水平ラインｎの出力画像信号Ｆ_{（ｋ－３）ｎ}，Ｆ_{（ｋ－２）ｎ}，Ｆ_{（ｋ－１）ｎ}の値と、連続するフレーム（ｋ－３）～（ｋ－１）の各１ライン露光期間における第１光、第２光の各照明期間およびフレーム（ｋ－３）～（ｋ－１）における水平ラインｎへの第１光および第２光の各露光期間とに基づく行列Ａ_ｋと、フレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}との関係を示す３元一次連立方程式が成立する（（１）式）。色成分演算部３１ａは、水平ラインｎごとに、実施の形態２に対応する行列Ａ_ｋの逆行列Ａ_ｋ ^－１を求めて（２）式を解き、フレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}を求める。

　実施の形態２では、連続するフレーム（ｋ－３）～（ｋ－１）の各１ライン露光期間における第１光、第２光の照明期間およびフレーム（ｋ－３）～（ｋ－１）における水平ラインｎへの第１光および第２光の各露光期間が行列Ａ_ｋのパラメータとなる。例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ_{４ｎ（Ｒ）}、Ｇ画像信号Ｆ_{４ｎ（Ｇ）}、Ｂ画像信号Ｆ_{４ｎ（Ｂ）}については、以下の（６）式に、フレーム１～３における水平ラインｎの画像信号Ｆ_１ｎ，Ｆ_２ｎ，Ｆ_３ｎの出力値を入力して求める。

　（６）式では、連続するフレーム１，２，３の第１光のＢ，Ｇ，Ｒ光の各照明期間Ｌ_ｂ１，Ｌ_ｇ２，Ｌ_ｒ３、第２光のＲ，Ｂ，Ｇ光の各照明期間Ｌ_ｒ１，Ｌ_ｂ２，Ｌ_ｇ３、フレーム１～３における水平ラインｎへの第１光のＢ光に対する露光期間ｂ_１，ｂ_３、第１光のＧ光に対する露光期間ｇ_１，ｇ_２、第１光のＲ光に対する露光期間ｒ_２，ｒ_３、第２光のＲ光に対する露光期間Ｒ_１，Ｒ_３、第２光のＢ光に対する露光期間Ｂ_１，Ｂ_２、および、第２光のＧ光に対する露光期間Ｇ_２，Ｇ_３が４フレーム目の演算式中の行列Ａ_４のパラメータとなる。以下、（６）式における行列Ａ_４の１行目の分子成分から成る行ベクトル（ｒ_３＋Ｒ_３，Ｇ_３，ｂ_３）をＳａ、２行目の分子成分から成る行ベクトル（ｒ_２，ｇ_２＋Ｇ_２，Ｂ_２）をＳｂ、３行目の分子成分から成る行ベクトル（Ｒ_１，ｇ_１，ｂ_１＋Ｂ_１）をＳｃという。

　色成分演算部３１ａは、水平ラインｎに対応する各第１色および第２色の照明期間および露光時間を行列Ａ_４のパラメータとして適用し、画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの水平ラインｎの出力値を入力した（６）式を解く演算処理を行う。この結果、色成分演算部３１ａは、４フレーム目の水平ラインｎに対応する、期間（Ｒ_１＋Ｌ_ｒ３＋Ｒ_３）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ_{４ｎ（Ｒ）}、期間（Ｌ_ｇ２＋Ｌ_ｇ３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{４ｎ（Ｇ）}、期間（ｂ_１＋Ｌ_ｂ２＋ｂ_３）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ_{４ｎ（Ｂ）}を生成することができる。色成分演算部３１ａは、各水平ラインｎに対応するパラメータを行列Ａ_ｋのパラメータとして用い、演算対象の水平ラインｎの画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの出力値を入力した（６）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、色成分演算部３１ａは、４フレーム目のＲ画像信号Ｆ_４（Ｒ）、Ｇ画像信号Ｆ_４（Ｇ）、Ｂ画像信号Ｆ_４（Ｂ）をフレーム単位で取得することができる。５フレーム目についても、同様に、（６）式の行列Ａ_ｋにそれぞれ対応するパラメータを適用し、水平ラインｎごとに行列Ａ_ｋの逆行列Ａ_ｋ ^－１を演算して、水平ラインｎごとに各色成分の画像信号（Ｒ画像信号Ｆ_{５ｎ（Ｒ）}、Ｇ画像信号Ｆ_{５ｎ（Ｇ）}、Ｂ画像信号Ｆ_５（Ｂ））を生成し、５フレーム目のＲ画像信号Ｆ_５（Ｒ）、Ｇ画像信号Ｆ_５（Ｇ）、Ｂ画像信号Ｆ_５（Ｂ）をフレーム単位で取得する。６フレーム目についても同様である。

　次に、（６）式中の行列Ａ_４の階数について説明する。（６）式の行列Ａ_４は、以下の（７）式のように分解できる。

　（７）式のように、行列Ａ_４は、第１光による各露光時間ｒ_２，ｒ_３，ｇ_１，ｇ_２，ｂ_１，ｂ_３がパラメータとなる行列Ａ_４－１、第２光による各露光時間Ｒ_１，Ｒ_３，Ｇ_２，Ｇ_３，Ｂ_１，Ｂ_２がパラメータとなる行列Ａ_４－２、第１光の照射期間と第２光の照射期間との和の逆数がパラメータとなる行列Ａ_４－３に分解できる。このうち、行列Ａ_４－３は、対角行列であるため、ランク３であり、逆行列が存在する。このため、（６）式の解が一意に決まるためには、行列Ａ_４－１と行列Ａ_４－２の加算後の行列がランク３であればよい。以下、（７）式における行列Ａ_４－１の１行目の成分から成る行ベクトル（ｒ_３，０，ｂ_３）をＳａａ、２行目の成分から成る行ベクトル（ｒ_２，ｇ_２，０）をＳｂａ、３行目の成分から成る行ベクトル（０，ｇ_１，ｂ_１）をＳｃａという。（７）式における行列Ａ_４－２の１行目の成分から成る行ベクトル（Ｒ_３，Ｇ_３，０）をＳａｂ、２行目の成分から成る行ベクトル（０，Ｇ_２，Ｂ_２）をＳｂｂ、３行目の成分から成る行ベクトル（Ｒ_１，０，Ｂ_１）をＳｃｂという。

　図１２は、本実施の形態２で求める画像信号の解の一意性を説明する図であり、行列Ａ_４－１の行ベクトルＳａａ，Ｓｂａ，Ｓｃａと、行列Ａ_４－２の行ベクトルＳａｂ，Ｓｂｂ，ＳｃｂをＲ，Ｇ，Ｂ空間で見た場合を示す図である。図１２では、いずれの色の照明期間も全て同期間であって、調光を行わない場合について示す。この場合、行ベクトルＳａａと行ベクトルＳｃｂは、Ｒ－Ｂ平面上で同一の軌跡Ｐ_Ｓａａ，Ｐ_Ｓｃｂを描く。また、行ベクトルＳｂａと行ベクトルＳａｂは、Ｒ－Ｇ平面上で同一の軌跡Ｐ_Ｓｂａ，Ｐ_Ｓａｂを描き、行ベクトルＳｃａと行ベクトルＳｂｂは、Ｇ－Ｂ平面上で同一の軌跡Ｐ_Ｓｃａ，Ｐ_Ｓｂｂを描く。このため、最終的に、（６）式における行ベクトルＳａは、点Ｐ_１を起点とし点Ｐ_２を終点とする軌跡Ｐ_Ｓａをたどり、行ベクトルＳｂは、点Ｐ_３を起点とし点Ｐ_１を終点とする軌跡Ｐ_Ｓｂをたどり、行ベクトルＳｃは、点Ｐ_２を起点とし点Ｐ_３を終点とする軌跡Ｐ_Ｓｃをたどる。したがって、行ベクトルＳａ～Ｓｃは常に一次独立となり、行列Ａ_４はランク３となるため、（６）式における行列Ａ_４の逆行列Ａ_４ ^－１は存在し、（６）式の解は一意に定まる。

　図１３は、本実施の形態２で求める画像信号の解の一意性を説明する図であり、行列Ａ_４－１の行ベクトルＳａａ，Ｓｂａ，Ｓｃａと、行列Ａ_４－２の行ベクトルＳａｂ，Ｓｂｂ，ＳｃｂをＲ，Ｇ，Ｂ空間で見た場合の他の例を示す図である。図１３では、各色の照明期間のうち、フレーム３の第２光であるＧ光の照明期間Ｌ_ｇ３以外の各色の照明期間は全て同期間であって、他の照明期間よりも照明期間Ｌ_ｇ３のみが長く調光した場合について示す。

　この場合、行ベクトルＳｂａと行ベクトルＳａｂは、Ｒ－Ｂ平面上で異なる軌跡Ｐ_Ｓｂａ，Ｐ_Ｓａｂを描くものの、終点は一致している。また、行ベクトルＳｃａと行ベクトルＳｂｂは、Ｇ－Ｂ平面上で異なる軌跡Ｐ_Ｓｃａ，Ｐ_Ｓｂｂを描くものの、起点は一致している。したがって、最終的に（６）式における行ベクトルＳａの軌跡Ｐ_ｓａにおける起点と行ベクトルＳｂの軌跡Ｐ_ｓｂにおける終点とが、図１２の場合と比して、照明期間Ｌ_ｇ３に対応する点Ｐ_４となるのみで、行ベクトルＳａ～Ｓｃは常に一次独立となり、行列Ａ_４はランク３となるため、調光を行った場合であっても、（６）式における行列Ａ_４の逆行列Ａ_４ ^－１は存在し、（６）式の解は一意に定まる。したがって、Ｒ，Ｇ，Ｂに対する調光の有無によらず、（６）式の解は、必ず一意に定まるため、各Ｒ画像信号Ｆ_{４ｎ（Ｒ）}、Ｇ画像信号Ｆ_{４ｎ（Ｇ）}、Ｂ画像信号Ｆ_{４ｎ（Ｂ）}の値を演算において求めることができる。なお、実施の形態２では、色成分演算部３１ａが用いる関係式（（６）式）の解が一意に定まる各色の照明光の照明期間の組み合わせの中から、調光条件に最も近い照明期間の組み合わせで各光を照明させることによって、色成分演算部３１ａによる演算の簡略化を図っている。

　上述の色成分演算処理（ステップＳ１７）では、１フレームでＲ，Ｇ，Ｂ画像信号のいずれもが演算される。画像信号処理（ステップＳ１８）では、同時化部３１ｅは、このＲ，Ｇ，Ｂ画像信号のうち、演算で使用した連続する３フレームのうちの最後のフレームの読み出し期間に近い２つの期間で露光される色の画像信号が低残像となるため、同時化処理において採用する。例えば、４フレーム目では、フレーム３における読み出し期間Ｔ_３～Ｔ_４に近い露光期間Ｌ_ｇ３および露光期間Ｌ_ｇ２の２つの期間に対応するＧ画像信号Ｆ_４（Ｇ）を採用し、５フレーム目では、フレーム４における読み出し期間Ｔ_４～Ｔ_５に最も近い露光期間Ｌ_ｒ４および露光期間Ｌ_ｒ３の２つの期間に対応するＲ画像信号Ｆ_５（Ｒ）を採用し、６フレーム目では、フレーム５における読み出し期間Ｔ_５～Ｔ_６に最も近い露光期間Ｌ_ｂ５および露光期間Ｌ_ｂ４に対応するＢ画像信号Ｆ_６（Ｂ）を採用し、採用したＲ画像信号Ｆ_４（Ｒ）、Ｇ画像信号Ｆ_５（Ｇ）、Ｂ画像信号Ｆ_６（Ｂ）を用いて、同時化を行い、ＲＧＢ画像信号を生成する。

　この実施の形態２のように、１フレームで２色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態１と同様の効果を奏する。さらに、実施の形態２では、実施の形態１と比して、各色の照明頻度が多くなるため、被写体が動いた場合の残像を低減することができる。

　なお、実施の形態２は、実施の形態１と同様に、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図１４は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部２３４ａが、光源装置４に、図１４の（１）に示す条件でＧ光、Ｂ光、Ｒ光を照射させ、例えば４フレーム目のＲ画像信号Ｆ_{４ｃ（Ｒ）}、Ｇ画像信号Ｆ_{４ｃ（Ｇ）}、Ｂ画像信号Ｆ_{４ｃ（Ｂ）}を生成する場合には、連続する３つのフレーム画像信号Ｆ_１～Ｆ_３（図１４の（２）参照）の出力値を、水平ラインごとに、（６）式に入力して演算する。この場合も、ＣＭＯＳ撮像素子の場合と同様に、水平ラインｎについては、連続するフレーム１～３の第１光のＢ，Ｇ，Ｒ光の各照明期間Ｌ_ｂ１，Ｌ_ｇ２，Ｌ_ｒ３、第２光のＲ，Ｂ，Ｇ光の各照明期間Ｌ_ｒ１，Ｌ_ｂ２，Ｌ_ｇ３、フレーム１～３における水平ラインｎへの第１光のＢ光に対する露光期間ｂ_１，ｂ_３、第１光のＧ光に対する露光期間ｇ_１，ｇ_２、第１光のＲ光に対する露光期間ｒ_２，ｒ_３、第２光のＲ光に対する露光期間Ｒ_１，Ｒ_３、第２光のＢ光に対する露光期間Ｂ_１，Ｂ_２、および、第２光のＧ光に対する露光期間Ｇ_２，Ｇ_３が（６）式の行列Ａ_４のパラメータとなる。

　また、本実施の形態２は、実施の形態１と同様に、ＮＢＩ観察方式にも適用可能である。この場合には、照明制御部２３４ａは、Ｖ光とＧ光と無光との組み合わせ、Ｖ光とＧ光とＶＶ光との組み合わせ、或いは、Ｖ光とＧ光とＧＧ光（２回目のＧ光）の組み合わせのいずれかのパターンを用いて、Ｒ，Ｇ，Ｂ光照射の条件と同様に、１つの１ライン露光期間に３色のうちの２色の照明光を照明させる照明処理を、連続する３つのフレーム期間においていずれの色の照明光も同回数照明されるように実行させればよい。また、実施の形態２では、同一の１ライン露光期間において照明させる２色の照明光の照明期間が少なくとも一部で重複する状態で照明させる場合を例に説明したが、行列Ａ_ｋがランク３となる条件であれば、同一の１ライン露光期間において照明させる２色の照明光の照明期間が重複していなくともよい。

（実施の形態３）
　次に、実施の形態３について説明する。実施の形態３では、１つの１ライン露光期間に３色全ての照明光を照明させた場合について説明する。

　図１５は、実施の形態３にかかる内視鏡システムの構成を模式的に示すブロック図である。図１５に示すように、実施の形態３にかかる内視鏡システム３０１は、図９に示す処理装置２０３に代えて処理装置３０３を有する。処理装置３０３は、照明制御部３３４ａを有する制御部３３４を備える。照明制御部３３４ａは、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色の全ての照明光をそれぞれ異なる照明期間で照明させる。照明制御部３３４ａは、光源装置４に対し、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。

　また、記憶部３６は、実施の形態２と同様に、色成分演算部３１ａが用いる所定の関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間テーブル３３６ａ（照明期間情報）を記憶する。照明制御部３３４ａは、光源装置４に対する照明期間テーブル３３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させる。

　図１６は、処理装置３０３において１フレーム分のＲＧＢ画像信号が生成されるまでの処理の処理手順を示すフローチャートである。照明制御部３３４ａは、前フレームの照明期間を取得する前フレーム照明期間取得処理を行う（ステップＳ２１）。ステップＳ２１では、照明制御部３３４ａは、１フレーム過去の３光の各照明期間および２フレーム過去の３光の各照明期間を取得する。ステップＳ２２は、図３に示すステップＳ１である。照明制御部３３４ａは、記憶部３６の照明期間テーブル３３６ａを参照する照明期間テーブル参照処理を行う（ステップＳ２３）。照明制御部３３４ａは、ステップＳ２１において取得した前フレームの照明期間も勘案して、照明期間テーブル３３６ａで示された各色の照明光の照明期間の組み合わせのうち、調光部３３が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で次に照明する各色の照明期間を設定する照明期間設定処理を行う（ステップＳ２４）。照明制御部３３４ａは、設定した照明期間で光源装置４に各照明光を照明させる照明制御処理を行う（ステップＳ２５）。ステップＳ２６～ステップＳ２８は、図３に示すステップＳ３～ステップＳ５である。

　次に図１７を参照して、図１６に示す一部の処理について説明する。図１７は、図１５に示す撮像素子２５における露光、読み出しタイミングを示すタイミングチャートである。図１７には、撮像素子２５の露光、読み出しタイミング（図１７の（１））に対応して撮像素子２５から読み出される画像信号（図１７の（２））、該画像信号を基に生成されるＲ，Ｇ，Ｂ画像信号（図１７の（３）～（５））についても示している。なお、図１７の（３）～（５）においては、各色成分の画像信号の生成のために使用する画像信号の説明の容易化のために、各色成分の画像信号の生成タイミングを実際のタイミングから移動させた状態で示している。

　照明制御部３３４ａは、ステップＳ２３において設定した照明期間で、光源装置４に対し、１つの１ライン露光期間にＲ，Ｇ，Ｂの３色全ての照明光を照明させる照明処理（ステップＳ２４）を、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように実行させる。さらに、照明制御部３３４ａは、光源装置４に対し、同一の１ライン露光期間において照明させる３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。そして、照明制御部３３４ａは、光源装置４に対し、実施の形態１と同様に、いずれの光も各フレームの１ライン露光期間の終了時間Ｔ_１，Ｔ_２，Ｔ_３，Ｔ_４，Ｔ_５で消灯させる。

　具体的には、フレーム１の１ライン露光期間では、第１光のＧ光が照明期間Ｌ_ｇ１で照射され、第２光のＢ光が照明期間Ｌ_ｂ１（＜Ｌ_ｇ１）で照明され、第３光のＲ光が照明期間Ｌ_ｒ１（＜Ｌ_ｂ１）で照明される。フレーム２の１ライン露光期間では、第１光のＢ光が照明期間Ｌ_ｂ２で照射され、第２光のＲ光が照明期間Ｌ_ｒ２（＜Ｌ_ｂ２）で照明され、第３光のＧ光が照明期間Ｌ_ｇ２（＜Ｌ_ｒ２）で照明される。フレーム３の１ライン露光期間では、第１光のＲ光が照明期間Ｌ_ｒ３で照射され、第２光のＧ光が照明期間Ｌ_ｇ３（＜Ｌ_ｒ３）で照明され、第３光のＢ光が照明期間Ｌ_ｂ３（＜Ｌ_ｇ３）で照明される。以降のフレームについても、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるとともに、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる。

　ステップＳ２６における画像信号読み出し処理で読み出されるフレームの画像信号Ｆ_１～Ｆ_５の各出力値は、水平ラインによって、照明光の色や数、照明回数、および、照明期間が異なり、複数の色の光の露光に対応した値となっている。実施の形態３では、連続するフレーム（ｋ－３）～（ｋ－１）における水平ラインｎの出力画像信号Ｆ_{（ｋ－３）ｎ}，Ｆ_{（ｋ－２）ｎ}，Ｆ_{（ｋ－１）ｎ}の値と、連続するフレーム（ｋ－３）～（ｋ－１）の各１ライン露光期間における第１光、第２光および第３光の各照明期間、並びに、フレーム（ｋ－３）～（ｋ－１）における水平ラインｎへの第１光、第２光および第３光の各露光期間とに基づく行列Ａ_ｋと、フレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}との関係を示す３元一次連立方程式（（１）式）が成立する。色成分演算部３１ａは、水平ラインごとに、実施の形態３に対応する行列Ａ_ｋの逆行列Ａ_ｋ ^－１を求めて（２）式を解き、フレームｋの水平ラインｎのＲ画像信号Ｆ_{ｋｎ（Ｒ）}，Ｇ画像信号Ｆ_{ｋｎ（Ｇ）}，Ｂ画像信号Ｆ_{ｋｎ（Ｂ）}を求める。

　実施の形態３では、連続するフレーム（ｋ－３）～（ｋ－１）の各１ライン露光期間における第１光、第２光および第３光の照明期間、並びに、フレーム（ｋ－３）～（ｋ－１）における水平ラインｎへの第１光、第２光および第３光の各露光期間が行列Ａ_ｋのパラメータとなる。例えば、４フレーム目の水平ラインｎのＲ画像信号Ｆ_{４ｎ（Ｒ）}、Ｇ画像信号Ｆ_{４ｎ（Ｇ）}、Ｂ画像信号Ｆ_{４ｎ（Ｂ）}については、以下の（８）式に、フレーム１～３の画像信号Ｆ_１ｎ，Ｆ_２ｎ，Ｆ_３ｎにおける水平ラインｎの出力値を入力して求める。

　（８）式では、連続するフレーム１，２，３の第１光のＧ，Ｂ，Ｒ光の各照明期間Ｌ_ｇ１，Ｌ_ｂ２，Ｌ_ｒ３、第２光のＢ，Ｒ，Ｇ光の各照明期間Ｌ_ｂ１，Ｌ_ｒ２，Ｌ_ｇ３、第３光のＲ，Ｇ，Ｂ光の各照明期間Ｌ_ｒ１，Ｌ_ｇ２，Ｌ_ｂ３、フレーム１～３における水平ラインｎへの第１光のＧ光に対する露光期間ｇ_１，ｇ_３、第１光のＢ光に対する露光期間ｂ_１，ｂ_２、第１光のＲ光に対する露光期間ｒ_２，ｒ_３、第２光のＢ光に対する露光期間Ｂ_１，Ｂ_３、第２光のＲ光に対する露光期間Ｒ_１，Ｒ_２、第２光のＧ光に対する露光期間Ｇ_２，Ｇ_３、第３光のＲ光に対する露光期間ｒ_１´，ｒ_３´、第３光のＧ光に対する露光期間ｇ_１´，ｇ_２´、第３光のＢ光に対する露光期間ｂ_２´，ｂ_３´が、４フレーム目の演算式中の行列Ａ_４のパラメータとなる。以下、（８）式における行列Ａ_４の１行目の分子成分から成る行ベクトル（ｒ_３＋ｒ_３´，ｇ_２＋Ｇ_３，Ｂ_３＋ｂ_３´）をＱａ、２行目の分子成分から成る行ベクトル（ｒ_２＋Ｒ_２，Ｇ_２＋ｇ_２´，ｂ_２＋ｂ_２´）をＱｂ、３行目の分子成分から成る行ベクトル（Ｒ_１＋ｒ_１´，ｇ_１＋ｇ_１´，ｂ_１＋Ｂ_１）をＱｃという。

　色成分演算部３１ａは、水平ラインｎに対応する各第１色、第２色および第３色の照明期間および露光時間を行列Ａ_４のパラメータとして適用し、画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの水平ラインｎの出力値を入力した（８）式を解く演算処理を行う。この結果、４フレーム目の水平ラインｎに対応する、期間（ｒ_１´＋Ｌ_ｒ２＋Ｌｒ_３＋ｒ_３´）にＲ光で露光された場合の画像信号に対応するＲ画像信号Ｆ_{４ｎ（Ｒ）}、期間（ｇ_１＋Ｌ_ｇ２＋Ｌ_ｇ３＋ｇ_３）にＧ光で露光された場合の画像信号に対応するＧ画像信号Ｆ_{４ｎ（Ｇ）}、期間（Ｂ_１＋Ｌ_ｂ２＋Ｌ_ｂ３＋Ｂ_３）にＢ光で露光された場合の画像信号に対応するＢ画像信号Ｆ_{４ｎ（Ｂ）}を生成することができる。色成分演算部３１ａは、各水平ラインに対応するパラメータを行列Ａ_ｋのパラメータとして用い、演算対象の水平ラインの画像信号Ｆ_３ｎ，Ｆ_２ｎ，Ｆ_１ｎの出力値を入力した（８）式を解く演算処理を、先頭の水平ライン１から最終の水平ラインＮまでそれぞれ順次行う。この結果、色成分演算部３１ａは、４フレーム目のＲ画像信号Ｆ_４（Ｒ）、Ｇ画像信号Ｆ_４（Ｇ）、Ｂ画像信号Ｆ_４（Ｂ）をフレーム単位で取得することができる。５フレーム以降についても、（８）式の行列Ａ_ｋにそれぞれ対応するパラメータを適用し、各水平ラインｎごとに行列Ａ_ｋの逆行列Ａ_ｋ ^－１を演算して、水平ラインｎごとに各色成分の画像信号を取得する。

　次に、（８）式中の行列Ａ_４の階数について説明する。（８）式の行列Ａ_４は、以下の（９）式のように分解できる。

　（９）式のように、行列Ａ_４は、第１光による各露光時間ｒ_２，ｒ_３，ｇ_１，ｇ_３，ｂ_１，ｂ_２がパラメータとなる行列Ａ_４－１１、第２光による各露光時間Ｒ_１，Ｒ_２，Ｇ_２，Ｇ_３，Ｂ_１，Ｂ_３がパラメータとなる行列Ａ_４－１２、第３光による各露光時間ｒ_１´，ｒ_３´，ｇ_１´，ｇ_２´，ｂ_２´，ｂ_３´がパラメータとなる行列Ａ_４－１３、第１光の照射期間と第２光の照射期間と第３光の照射期間との和の逆数がパラメータとなる行列Ａ_４－１４に分解できる。このうち、行列Ａ_４－１４は、対角行列であるため、ランク３であり、逆行列が存在する。このため、（８）式の解が一意に決まるためには、行列Ａ_４－１１～行列Ａ_４－１３の加算後の行列がランク３であればよい。以下、（９）式における行列Ａ_４－１１の１行目の成分から成る行ベクトル（ｒ_３，ｇ_３，０）をＱａａ、２行目の成分から成る行ベクトル（ｒ_２，０，ｂ_２）をＱｂａ、３行目の成分から成る行ベクトル（０，ｇ_１，ｂ_１）をＱｃａという。（９）式における行列Ａ_４－１２の１行目の成分から成る行ベクトル（０，Ｇ_３，Ｂ_３）をＱａｂ、２行目の成分から成る行ベクトル（Ｒ_２，Ｇ_２，０）をＱｂｂ、３行目の成分から成る行ベクトル（Ｒ_１，０，Ｂ_１）をＱｃｂという。（９）式における行列Ａ_４－１３の１行目の成分から成る行ベクトル（ｒ_３´，０，ｂ_３´）をＱａｃ、２行目の成分から成る行ベクトル（０，ｇ_２´，ｂ_２´）をＱｂｃ、３行目の成分から成る行ベクトル（ｒ_１´，ｇ_１´，０）をＱｃｃという。

　図１８は、本実施の形態３で求める画像信号の解の一意性を説明する図であり、行列Ａ_４－１１の行ベクトルＱａａ，Ｑｂａ，Ｑｃａと、行列Ａ_４－１２の行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂと、行列Ａ_４－１３の行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃと、をＲ，Ｇ，Ｂ空間で見た場合を示す図である。図１８は、第１光のＲ，Ｇ，Ｂの照明期間が同期間であり、第２光のＲ，Ｇ，Ｂの各照明期間が同期間であり、第３光のＲ，Ｇ，Ｂの照明期間が同期間であり、第１光は、第３光の照明期間の３倍の期間であり、第２光は第３光の照明期間の２倍の期間である場合について示す。

　第１光の露光期間に対応する行ベクトルＱａａ，Ｑｂａ，Ｑｃａは、Ｒ－Ｇ平面、Ｂ－Ｒ平面、Ｇ－Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第１光の照明時間幅に対応する３点が起点或いは終点となる軌跡Ｐ_Ｑａａ，Ｐ_Ｑｂａ，Ｐ_Ｑｃａを描く。第２光の露光期間に対応する行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂは、Ｒ－Ｇ平面、Ｂ－Ｒ平面、Ｇ－Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第２光の照明時間幅に対応する３点が起点或いは終点となる軌跡Ｐ_Ｑａｂ，Ｐ_Ｑｂｂ，Ｐ_Ｑｃｂを描く。第３光の露光期間に対応する行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃは、Ｒ－Ｇ平面、Ｂ－Ｒ平面、Ｇ－Ｂ平面の各平面上で、Ｒ軸上、Ｇ軸上、Ｂ軸上の第３光の照明時間幅に対応する３点が起点或いは終点となる軌跡Ｐ_Ｑａｃ，Ｐ_Ｑｂｃ，Ｐ_Ｑｃｃを描く。

　この結果、行ベクトルＱａａ，Ｑａｂ，Ｑａｃの合成ベクトルである行列Ａ_４の行ベクトルＱａは、軌跡Ｐ_Ｑａを描き、行ベクトルＱｂａ，Ｑｂｂ，Ｑｂｃの合成ベクトルである行列Ａ_４の行ベクトルＱｂは、軌跡Ｐ_Ｑｂを描き、行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃの合成ベクトルである行列Ａ_４の行ベクトルＱｃは、軌跡Ｐ_Ｑｃを描き、行ベクトルＱａ～Ｑｃに対応する軌跡で形成される三角形が面積を有する状態となる。この場合には、いずれの行ベクトルＱａ～Ｑｃについても対応する軌跡が重複することがない。行ベクトルＱａ～Ｑｃは独立性を保持し、行列Ａ_４はランク３となるため、（８）式における行列Ａ_４の逆行列Ａ_４ ^－１は存在し、（８）式の解は一意に定まる。

　図１９は、本実施の形態３で求める画像信号の解の一意性を説明する図であり、行列Ａ_４－１１の行ベクトルＱａａ，Ｑｂａ，Ｑｃａと、行列Ａ_４－１２の行ベクトルＱａｂ，Ｑｂｂ，Ｑｃｂと、行列Ａ_４－１３の行ベクトルＱａｃ，Ｑｂｃ，Ｑｃｃと、をＲ，Ｇ，Ｂ空間で見た場合の他の例を示す図である。各色の照明期間のうち、フレーム３の第１光のＲ光の照明期間Ｌ_ｒ３を、他のフレーム１，２の第１光の照明期間の（４／３）倍に長くし、第２光のＧ光の照明期間Ｌ_ｇ３を他のフレーム１，２の第２光の照明期間の（４／３）倍に長くし、第３光のＢ光の照明期間Ｌ_ｂ３を他のフレーム１，２の第３光の照明期間の（４／３）倍に長くした場合について示す。

　この場合には、図１８と比して、軌跡Ｐ_Ｑｂａの起点および軌跡Ｐ_Ｑｃａの終点が、他のフレーム１，２の第１光の照明期間の（４／３）倍に長いフレーム３の第１光のＲ光の照明期間Ｌ_ｒ３に対応する点となり、軌跡Ｐ_Ｑａｂの起点および軌跡Ｐ_Ｑｂｂの終点が、他のフレーム１，２の第２光の照明期間の（４／３）倍に長いフレーム３の第２光のＧ光の照明期間Ｌ_ｇ３に対応する点となり、軌跡Ｐ_Ｑａｃの起点および軌跡Ｐ_Ｑｂｃの終点が、他のフレーム１，２の第２光の照明期間の（４／３）倍に長いフレーム３の第３光のＢ光の照明期間Ｌ_ｂ３に対応する点となる。この場合も、行ベクトルＱａ～Ｑｃに対応する軌跡Ｐ_Ｑａ，Ｐ_Ｑｂ，Ｐ_Ｑｃで形成される三角形が面積を有する状態となり、行ベクトルＱａ～Ｑｃは独立性を保持し、行列Ａ_４はランク３となる。したがって、実施の形態３では、第１光、第２光、第３光の照明期間を、他のフレームの第１光、第２光、第３光の照明期間と異なる期間に変更することが可能である。

　ただし、同一フレームにおける第１光、第２光、第３光の照明期間をいずれも同期間にした場合には、行ベクトルＱａａ，Ｑｂｂ，Ｑｃｃが重複し、行ベクトルＱａｃ，Ｑｂａ，Ｑｃｂが重複し、行ベクトルＱａｂ，Ｑｂｃ，Ｑｃａが重複する。この場合には、行ベクトルＱａ～Ｑｃは、行ベクトルＱａａ，Ｑｂｂ，Ｑｃｃ、行ベクトルＱａｃ，Ｑｂａ，Ｑｃｂ、行ベクトルＱａｂ，Ｑｂｃ，Ｑｃａの軌跡で形成される三角形の重心に位置し、動かなくなるため、行ベクトルＱａ～Ｑｃの一次独立は破綻し、ランク３が崩れ、（８）式の解が一意に定まらない。したがって、行ベクトルＱａ～Ｑｃに対応する軌跡Ｐ_Ｑａ，Ｐ_Ｑｂ，Ｐ_Ｑｃで形成される三角形が面積を有することが、行列Ａ_４のランク３を維持する条件となるため、照明制御部３３４ａは、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように制御する必要がある。なお、第１光、第２光および第３光の照明期間の差が大きいと、行ベクトルＱａ～Ｑｃに対応する軌跡Ｐ_Ｑａ，Ｐ_Ｑｂ，Ｐ_Ｑｃで形成される三角形の面積が大きくなり、行ベクトルＱａ～Ｑｃの独立性を維持しやすくなるため、照明制御部３３４ａは、同じ１ライン露光期間における第１光、第２光および第３光の照明期間の差が大きくなる条件を設定することが望ましい。

　この実施の形態３のように、１フレームで３色発光を行った場合も、複数の連続したフレームの画像信号の出力値を用いた演算処理において、取得対象のフレームの各色成分の画像信号を抽出しているため、実施の形態１と同様の効果を奏する。さらに、実施の形態３では、実施の形態２よりもさらに各色の照明頻度が多くなる分、被写体が動いた場合の残像を低減できる。

　なお、実施の形態３は、実施の形態１，２と同様に、撮像素子２５がグローバルシャッタ方式を採用するＣＣＤ撮像素子である場合にも適用可能である。図２０は、撮像素子２５がＣＣＤ撮像素子である場合の露光、読み出しタイミングを示すタイミングチャートである。照明制御部３３４ａが、光源装置４に、図２０の（１）に示す条件でＧ光、Ｂ光、Ｒ光を照射させ、例えば４フレーム目のＲ画像信号Ｆ_{４ｃ（Ｒ）}、Ｇ画像信号Ｆ_{４ｃ（Ｇ）}、Ｂ画像信号Ｆ_{４ｃ（Ｂ）}を生成する場合には、連続する３つのフレーム画像信号Ｆ_１～Ｆ_３（図２０の（２）参照）の演算対象の水平ラインと同ラインの出力値を、（８）式に入力して、水平ラインごとに演算する。この場合も、ＣＭＯＳ撮像素子の場合と同様に、水平ラインｎについては、連続するフレーム１～３の第１光のＧ，Ｂ，Ｒ光の各照明期間Ｌ_ｇ１，Ｌ_ｂ２，Ｌ_ｒ３、第２光のＢ，Ｒ，Ｇ光の各照明期間Ｌ_ｂ１，Ｌ_ｒ２，Ｌ_ｇ３、第３光のＲ，Ｇ，Ｂ光の各照明期間Ｌ_ｒ１，Ｌ_ｇ２，Ｌ_ｂ３、フレーム１～３における水平ラインｎへの第１光のＧ光に対する露光期間ｇ_１，ｇ_３、第１光のＢ光に対する露光期間ｂ_１，ｂ_２、第１光のＲ光に対する露光期間ｒ_２，ｒ_３、第２光のＢ光に対する露光期間Ｂ_１，Ｂ_３、第２光のＲ光に対する露光期間Ｒ_１，Ｒ_２、第２光のＧ光に対する露光期間Ｇ_２，Ｇ_３、第３光のＲ光に対する露光期間ｒ_１´，ｒ_３´、第３光のＧ光に対する露光期間ｇ_１´，ｇ_２´、第３光のＢ光に対する露光期間ｂ_２´，ｂ_３´が（８）式の行列Ａ_４のパラメータとなる。

　また、本実施の形態３は、実施の形態１，２と同様に、ＮＢＩ観察方式にも適用可能である。この場合には、照明制御部３３４ａは、Ｖ光とＧ光と無光との組み合わせ、Ｖ光とＧ光とＶＶ光との組み合わせ、或いは、Ｖ光とＧ光とＧＧ光の組み合わせのいずれかのパターンを用いて、Ｒ，Ｇ，Ｂ光照射の条件と同様に、１つの１ライン露光期間に３色全ての照明光を照明させる照明処理を、同じ１ライン露光期間における３色の照明期間がそれぞれ異なる期間で照明されるように実行させればよい。また、実施の形態３では、同じ１ライン露光期間において照明される３色の照明光のいずれもが重複して照明される期間を含むように３色の照明光を照明させる場合を例に説明したが、（８）式の行列Ａ_４がランク３となる条件であれば、同一の１ライン露光期間において照明させる３色の照明光の照明期間が重複していなくともよい。

また、本実施の形態において、光源装置と別体である処理装置３，２０３，３０３を例に説明したが、もちろん、光源が一体となった光源一体型処理装置にも適用可能である。また、本実施の形態において、照明光の組み合わせは、Ｒ，Ｇ，Ｂ光の組み合わせ、或いは、狭帯域化されたＶ光とＧ光との組み合わせに限らない。Ｇ光と励起光と励起光との組み合わせ、Ｇ光と第１のＲ光と第１のＲ光とは異なる波長帯域の第２のＲ光との組み合わせであってもよい。また、狭帯域化されたＶ光とＧ光との組み合わせ例でも説明したように、３回単位で発する照明光のうちの２回の照明光において、波長帯域が異なれば本実施の形態は適用可能である。

　また、本実施の形態にかかる処理装置３，２０３，３０３、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

　１，２０１，３０１　内視鏡システム
　２　内視鏡
　３，２０３，３０３　処理装置
　４　光源装置
　５　表示装置
　２１　挿入部
　２１ａ　先端部
　２１ｂ　湾曲部
　２１ｃ　可撓管部
　２１ｄ　開口部
　２１ｅ　照明レンズ
　２１ｆ　照明窓
　２２　操作部
　２２ａ　湾曲ノブ
　２２ｂ　処置具挿入部
　２２ｃ　スイッチ部
　２３　ユニバーサルコード
　２３ａ，２３ｂ　コネクタ
　２３ｃ　ライトガイドケーブル
　２４　光学系
　２５　撮像素子
　２６　受光部
　２７　読み出し部
　３１　画像処理部
　３１ａ　色成分演算部
　３１ｂ　メモリ
　３１ｃ　ゲイン調整部
　３１ｄ　ＷＢ調整部
　３１ｅ　同時化部
　３２　表示制御部
　３３　調光部
　３４，２３４，３３４　制御部
　３４ａ，２３４ａ，３３４ａ　照明制御部
　３５　入力部
　３６　記憶部
　４１　光源制御部
　４２　照明部
　４３　光源ドライバ
　４４　光源
　２３６ａ，３３６ａ　照明期間テーブル

Claims

　被写体を照明するための照明光として、異なる色の照明光を所定の周期に対応させて順次発する光源装置と、
　前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された撮像素子を有する内視鏡装置と、
　前記撮像素子から出力された画像信号のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部を有する処理装置と、
　を有することを特徴とする内視鏡システム。
　前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの前のフレームの画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を用いて、演算対象であるラインの色成分信号を演算することを特徴とする請求項１に記載の内視鏡システム。
　前記処理装置は、前記光源装置に対し、１ライン露光期間ごとに、１ライン露光期間以下の期間で前記照明光を照明させる制御を行う照明制御部を備えたことを特徴とする請求項２に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に、各色の照明光が一定の条件を満たすように各色の照明光を照明させ、
　前記色成分演算部は、演算に使用する各フレームにおける各色の１ライン露光期間の１回あたりのそれぞれの照明期間と、演算に使用する各フレームにおける演算対象のラインへの各色のそれぞれの露光期間と、を用いた関係式を用いて、ラインごとに各色成分信号を演算することを特徴とする請求項３に記載の内視鏡システム。
　前記光源装置は、３色の照明光を照明し、
　前記色成分演算部は、前記撮像素子から画像信号が出力された最新のフレームと、該フレームの１つ前のフレームおよび２つ前のフレームとにおける画像信号の出力値のうち、演算対象であるラインと同ラインの出力値を前記関係式に適用して、演算対象のラインにおける各色成分信号を演算することを特徴とする請求項４に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの１色の照明光を照明させる照明処理を順次実行させることを特徴とする請求項５に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色のうちの２色の照明光を照明させることを特徴とする請求項５に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対し、前記２色の照明光の照明期間が少なくとも一部で重複する状態で照明させることを特徴とする請求項７に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対し、１つの前記１ライン露光期間に前記３色の全ての照明光をそれぞれ異なる照明期間で照明させることを特徴とする請求項５に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対し、前記３色の照明光のいずれもが重複して照明される期間を含むように前記３色の照明光を照明させることを特徴とする請求項９に記載の内視鏡システム。
　前記処理装置は、
　前記撮像素子から出力された画像信号から画像の明るさを検出し、該検出した画像の明るさを基に前記光源装置から照射させる各色の照明光の照明期間を求める調光部と、
　前記関係式の解が一意に定まる各色の照明光の照明期間の組み合わせが複数示された照明期間情報を記憶する記憶部と、
　をさらに備え、
　前記照明制御部は、前記光源装置に対し、前記記憶部が記憶する照明期間情報で示された各色の照明光の照明期間の組み合わせのうち、前記調光部が求めた各色の照明光の照明期間に最も近い組み合わせの照明期間で各色の照明光を照明させることを特徴とする請求項７に記載の内視鏡システム。
　前記３色の照明光は、赤色光、緑色光、青色光であることを特徴とする請求項５に記載の内視鏡システム。
　前記撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
　前記照明制御部は、前記光源装置に対して、前記照明光を、前記撮像素子における先頭ラインの画素に対する露光期間の終了タイミングと同じタイミングで消灯させることを特徴とする請求項１３に記載の内視鏡システム。
　前記撮像素子は、ＣＣＤ撮像素子であることを特徴とする請求項１に記載の内視鏡システム。
　被写体を照明するための照明光を発する光源装置を制御するとともに、前記照明光が照射された被写体からの光を光電変換して画像信号を生成して出力する複数の画素が行列状に配置された内視鏡装置の撮像素子から出力された画像信号を処理する処理装置であって、
　前記光源装置に対し、異なる色の照明光を所定の周期に対応させて順次照明させる照明制御部と、
　前記内視鏡装置の撮像素子から出力された画像信号の出力値のうち、前記照明光の色の数に応じた連続する複数のフレームの画像信号の出力値を用いて各色成分信号を前記撮像素子における画素配列のラインごとに演算する色成分演算部と、
　を備えたことを特徴とする処理装置。