JP6264233B2 - 撮像装置、撮像装置の制御方法及び制御プログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法及び制御プログラムに関する。

従来、例えば夜間等の可視光がほとんどない環境下において被写体を撮像するために、赤外線投光器によって被写体に赤外光を照射し、被写体から反射した赤外光を撮像する方法が用いられている。この方法は、可視光を照射するライトを用いることができない場合に有効な撮像方法である。

しかしながら、この撮像方法によって被写体を撮像した映像は、モノクロ映像となる。モノクロ映像では物体の識別が困難となることがある。可視光がない環境下でもカラー映像を撮像することができれば、物体の識別性を向上させることができる。例えば監視カメラでは、物体の識別性を向上させるために、可視光がない環境下でもカラー映像を撮像することが望まれる。

特許文献１には、可視光がない環境下でもカラー映像を撮像することができる撮像装置が記載されている。特許文献１に記載されている撮像装置においても、赤外線投光器が用いられる。監視カメラに特許文献１に記載の技術を搭載すれば、被写体をカラー映像化して物体の識別性を向上させることが可能となる。

特開２０１１−５００４９号公報

赤外線投光器を備える撮像装置によって被写体に赤外光を照射して被写体を撮像するとき、被写体が動いている場合には、色ずれが発生するという問題点がある。

本発明は、動いている被写体に赤外光を照射して被写体を撮像するときに発生する色ずれを軽減させることができる撮像装置、撮像装置の制御方法及び制御プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、赤外線投光器によって、赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光と、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光と、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光とをこの順で選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、前記第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第１の撮像信号に基づく第１のフレームを生成し、前記第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第２の撮像信号に基づく第２のフレームを生成し、前記第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第３の撮像信号に基づく第３のフレームを生成する撮像部と、前記第１〜第３のフレームを合成して、映像信号のフレームを生成する映像処理部とを備え、前記投光制御部は、前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定して、前記第１〜第３の赤外光を投光するよう前記赤外線投光器を制御することを特徴とする撮像装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第１の撮像信号に基づく第１のフレームを生成する第１のステップと、前記第１のステップに続き、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第２の撮像信号に基づく第２のフレームを生成する第２のステップと、前記第２のステップに続き、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第３の撮像信号に基づく第３のフレームを生成する第３のステップと、前記第１〜第３のフレームを合成して、映像信号のフレームを生成する第４のステップとを含み、前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定することを特徴とする撮像装置の制御方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光を投光させるよう、赤外線投光器を制御する第１のステップと、前記第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、撮像部によって被写体を撮像させて、第１の撮像信号に基づく第１のフレームを生成する第２のステップと、前記第１のステップに続き、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光を投光させるよう、前記赤外線投光器を制御する第３のステップと、前記第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、前記撮像部によって前記被写体を撮像させて、第２の撮像信号に基づく第２のフレームを生成する第４のステップと、前記第３のステップに続き、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光を投光させるよう、前記赤外線投光器を制御する第５のステップと、前記第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、前記撮像部によって前記被写体を撮像させて、第３の撮像信号に基づく第３のフレームを生成する第６のステップと、前記第１〜第３のフレームを合成して、映像信号のフレームを生成する第７のステップとを実行させ、前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定することを特徴とする撮像装置の制御プログラムを提供する。

本発明の撮像装置、撮像装置の制御方法及び制御プログラムによれば、動いている被写体に赤外光を照射して被写体を撮像するときに発生する色ずれを軽減させることができる。

一実施形態の撮像装置の全体的な構成を示すブロック図である。 一実施形態の撮像装置に用いられるカラーフィルタにおけるフィルタエレメントの配列の一例を示す図である。 一実施形態の撮像装置を構成する撮像部における３原色光の波長と相対感度との分光感度特性を示す特性図である。 所定の物質からの３原色光の反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示す特性図である。 図１中の前信号処理部５２の具体的な構成を示すブロック図である。 一実施形態の撮像装置が通常モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が通常モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が中間モード及び暗視モードで動作しているときの露光と映像信号のフレームとの関係を示す図である。 一実施形態の撮像装置が第１中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２中間モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が暗視モードで動作しているときの周囲画素の加算処理を説明するための図である。 周囲画素の加算処理が施されたフレームを示す図である。 一実施形態の撮像装置が第１暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第１暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときの前信号処理を説明するための図である。 一実施形態の撮像装置が第２暗視モードで動作しているときのデモザイク処理を説明するための図である。 一実施形態の撮像装置におけるモード切換の例を説明するための図である。 一実施形態の撮像装置がそれぞれのモードに設定されているときの各部の状態を示す図である。 一実施形態の撮像装置の第１の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第２の変形例を示す部分ブロック図である。 一実施形態の撮像装置の第３の変形例を示す部分ブロック図である。 映像信号処理方法を示すフローチャートである。 図２４におけるステップＳ３に示す通常モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ４の中間モードの具体的な処理を示すフローチャートである。 図２４におけるステップＳ５の暗視モードの具体的な処理を示すフローチャートである。 映像信号処理プログラムがコンピュータに実行させる処理を示すフローチャートである。 撮像装置によって映像信号のフレームを生成する場合の、色ずれの軽減を考慮しない撮像装置の制御方法を概略的に示すタイミングチャートである。 撮像装置によって映像信号のフレームを生成する場合の、色ずれを軽減させる撮像装置の制御方法の第１の例を概略的に示すタイミングチャートである。 撮像装置によって映像信号のフレームを生成する場合の、色ずれを軽減させる撮像装置の制御方法の第２の例を概略的に示すタイミングチャートである。 撮像装置によって映像信号のフレームを生成する場合の、色ずれを軽減させる撮像装置の制御方法の第３の例を概略的に示すタイミングチャートである。

以下、一実施形態の撮像装置、撮像装置の制御方法及び制御プログラムについて、添付図面を参照して説明する。

＜撮像装置の構成＞
まず、図１を用いて、一実施形態の撮像装置の全体的な構成について説明する。図１に示す一実施形態の撮像装置は、昼間等の可視光が十分に存在する環境下に適した通常モードと、夜間等の可視光がほとんどない環境下に適した暗視モードと、可視光がわずかに存在する環境下に適した中間モードとの３つのモードで撮像可能な撮像装置である。

中間モードは、可視光が少ない環境下で、赤外線を投光しながら撮像する第１の赤外光投光モードである。暗視モードは、可視光がさらに少ない（ほとんどない）環境下で、赤外線を投光しながら撮像する第２の赤外光投光モードである。

撮像装置は、中間モードと暗視モードとのうちの一方のみを備えていてもよい。撮像装置は、通常モードを備えていなくてもよい。撮像装置は、少なくとも、赤外線を投光しながら撮像する赤外光投光モードを備えていればよい。

図１において、被写体から反射した一点鎖線にて示す光は、光学レンズ１によって集光される。ここで、光学レンズ１には、可視光が十分に存在する環境下では可視光、可視光がほとんどない環境下では後述する赤外線投光器９より発せられた赤外光を被写体が反射した赤外光が入射される。

可視光がわずかに存在する環境下では、光学レンズ１には、可視光と赤外線投光器９より発せられた赤外光を被写体が反射した赤外光とが混在した光が入射される。

図１では簡略化のため、光学レンズ１を１つのみとしているが、実際には、撮像装置は複数の光学レンズを備える。

光学レンズ１と撮像部３との間には、光学フィルタ２が設けられている。光学フィルタ２は、赤外線カットフィルタ２１とダミーガラス２２との２つの部分を有する。光学フィルタ２は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入した状態と、光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態とのいずれかの状態に駆動される。

撮像部３は、水平方向及び垂直方向に複数の受光素子（画素）が配列した撮像素子３１と、それぞれの受光素子に対応して赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの色のフィルタエレメントが配置されたカラーフィルタ３２とを有する。撮像素子３１は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）でよい。

カラーフィルタ３２には、一例として、図２に示すように、Ｒ，Ｇ，Ｂの各色のフィルタエレメントがベイヤ配列と称される配列で並べられている。ベイヤ配列は、Ｒ，Ｇ，Ｂのフィルタエレメントの所定の配列の一例である。図２において、各行のＲのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｒ、Ｂのフィルタエレメントに挟まれたＧのフィルタエレメントをＧｂとしている。

ベイヤ配列では、ＲのフィルタエレメントとＧｒのフィルタエレメントとが交互に配置された水平方向の行と、ＢのフィルタエレメントとＧｂのフィルタエレメントとが交互に配置された水平方向の行とが、垂直方向に交互に配列されている。

図３は、撮像部３におけるＲ光，Ｇ光，Ｂ光の波長と相対感度との分光感度特性を示している。相対感度は、最大値が１に正規化されている。撮像装置を通常モードで動作させるとき、可視光による良好なカラー映像を撮像するには、波長７００ｎｍ以上の赤外光をカットする必要がある。

そこで、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入するように光学フィルタ２を駆動する。

図３より分かるように、撮像部３は、波長７００ｎｍ以上の赤外光の領域においても感度を有する。そこで、撮像装置を中間モードまたは暗視モードで動作させるときには、駆動部８は、制御部７による制御に基づいて、光学レンズ１と撮像部３との間の赤外線カットフィルタ２１を外してダミーガラス２２を挿入するように光学フィルタ２を駆動する。

光学レンズ１と撮像部３との間にダミーガラス２２を挿入した状態では、波長７００ｎｍ以上の赤外光はカットされない。よって、撮像装置は、図３に破線の楕円で囲んだ部分の感度を利用して、Ｒ，Ｇ，Ｂの各色情報を得ることが可能となる。ダミーガラス２２を挿入するのは、光路長を、赤外線カットフィルタ２１を挿入した場合の光路長と同じにするためである。

赤外線投光器９は、それぞれ、波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光を投光する投光部９１，９２，９３を有する。中間モードまたは暗視モードのとき、制御部７内の投光制御部７１は、時分割で投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を選択的に投光させるように制御する。

ところで、撮像素子３１にはシリコンウェハが用いられている。図４は、Ｒ，Ｇ，Ｂそれぞれの色を呈する素材に白色光を照射した場合の各波長における反射率にシリコンの受光感度を乗じたときの、波長と相対検出率との関係を示している。図４においても、相対検出率は、最大値が１に正規化されている。

図４に示すように、赤外光の領域において、例えば、波長７８０ｎｍにおける反射光はＲ色を呈する素材の反射光との相関性が高く、波長８７０ｎｍにおける反射光はＢ色を呈する素材の反射光との相関性が高く、波長９４０ｎｍにおける反射光はＧ色を呈する素材の反射光との相関性が高い。

そこで、本実施形態においては、投光部９１，９２，９３が投光する赤外光の波長ＩＲ１，ＩＲ２，ＩＲ３を、７８０ｎｍ，９４０ｎｍ，８７０ｎｍとする。これらの波長は、波長ＩＲ１〜ＩＲ３の一例であり、７８０ｎｍ，９４０ｎｍ，８７０ｎｍ以外でもよい。

投光部９１が波長ＩＲ１の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＲ信号に割り当てる。投光部９３が波長ＩＲ２の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＧ信号に割り当てる。投光部９２が波長ＩＲ３の赤外光を被写体に照射し、被写体から反射した光を撮像した映像信号をＢ信号に割り当てる。

このようにすれば、原理的に、中間モードまたは暗視モードにおいても、通常モードにおいて可視光が存在する環境下で被写体を撮像した場合と同様の色を再現することができる。

色味が被写体の実際の色味と異なるカラー映像となるものの、７８０ｎｍの波長ＩＲ１をＲ光、８７０ｎｍの波長ＩＲ３をＧ光、９４０ｎｍの波長ＩＲ２をＢ光に割り当ててもよい。波長ＩＲ１，ＩＲ２，ＩＲ３をＲ光，Ｇ光，Ｂ光に任意に割り当てることも可能である。

本実施形態においては、被写体の色味を最もよく再現する、波長ＩＲ１，ＩＲ２，ＩＲ３をそれぞれＲ光，Ｇ光，Ｂ光に割り当てることとする。

制御部７は、撮像部３における撮像と、映像処理部５内の各部を制御する。制御部７内の電子シャッタ制御部７３は、撮像部３における電子シャッタの機能を制御する。撮像部３によって撮像された映像信号はＡ／Ｄ変換器４によってＡ／Ｄ変換され、映像処理部５に入力される。撮像部３とＡ／Ｄ変換器４とが一体化されていてもよい。

制御部７は、通常モードと中間モードと暗視モードとを切り換えるモード切換部７２を備える。モード切換部７２は、通常モードと中間モードと暗視モードとに対応させて、映像処理部５内の動作を後述のように適宜切り換える。映像処理部５と制御部７とが一体化されていてもよい。

映像処理部５は、スイッチ５１，５３と、前信号処理部５２と、デモザイク処理部５４とを有する。スイッチ５１，５３は物理的なスイッチであってもよく、前信号処理部５２の動作と不動作とを切り換えるための概念的なスイッチであってもよい。制御部７には、撮像している映像の明るさを検出するために、映像処理部５から映像信号が入力される。

図５に示すように、前信号処理部５２は、周囲画素加算部５２１と、同一位置画素加算部５２２と、合成部５２３とを有する。

映像処理部５は、Ｒ，Ｇ，Ｂの３原色データを生成して、映像出力部６に供給する。映像出力部６は、３原色データを所定の形式で図示していない表示部等へと出力する。

映像出力部６は、Ｒ，Ｇ，Ｂ信号をそのまま出力してもよいし、Ｒ，Ｇ，Ｂ信号を輝度信号と色信号（または色差信号）に変換して出力してもよい。映像出力部６は、コンポジット映像信号を出力してもよい。映像出力部６は、デジタル信号の映像信号を出力してもよいし、Ｄ／Ａ変換器によってアナログ信号に変換した映像信号を出力してもよい。

以下、通常モードと中間モードと暗視モードとのそれぞれの具体的な動作について説明する。

＜通常モード＞
通常モードでは、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間に赤外線カットフィルタ２１を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオフにする。

撮像部３によって撮像された映像信号は、Ａ／Ｄ変換器４によってデジタル信号である映像データに変換されて、映像処理部５に入力される。通常モードでは、モード切換部７２は、スイッチ５１，５３を端子Ｔｂに接続するように制御する。

図６の（ａ）は、撮像部３の露光Ｅｘ１，Ｅｘ２，Ｅｘ３…を示している。実際には露光時間はシャッタスピード等の条件によって変化するが、ここでは露光Ｅｘ１，Ｅｘ２，Ｅｘ３は最大露光時間を示している。なお、シャッタスピードは電子シャッタ制御部７３におる制御によって決定される。

図６の（ｂ）は、それぞれの映像信号のフレームが得られるタイミングを示している。露光Ｅｘ１の前の図示していない露光に基づいて、所定時間後に映像信号のフレームＦ０が得られる。露光Ｅｘ１に基づいて、所定時間後に映像信号のフレームＦ１が得られる。露光Ｅｘ２に基づいて、所定時間後に映像信号のフレームＦ２が得られる。露光Ｅｘ３以降も同様である。映像信号のフレーム周波数を、例えば３０フレーム／秒とする。

映像信号のフレーム周波数は、ＮＴＳＣ方式であれば３０フレーム／秒または６０フレーム／秒、ＰＡＬ方式であれば２５フレーム／秒または５０フレーム／秒のように適宜設定すればよい。また、映像信号のフレーム周波数は、映画で使われている２４フレーム／秒であってもよい。

Ａ／Ｄ変換器４より出力された各フレームの映像データは、スイッチ５１，５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、入力された各フレームの映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図７を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図７において、（ａ）は映像データの任意のフレームＦｍを示している。フレームＦｍは、有効映像期間の画素によって構成されたフレームである。映像データの画素数は、例えばＶＧＡ規格では水平６４０画素、垂直４８０画素である。ここでは簡略化のため、フレームＦｍの画素数を大幅に少なくして、フレームＦｍを概念的に示している。

ベイヤ配列の撮像部３を用いて生成された映像データは、フレームＦｍ内で、Ｒ，Ｇ，Ｂの画素データが混在したデータである。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて算出したＲの補間画素データＲｉを生成する。デモザイク処理部５４は、図７の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームＦｍＲを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて算出したＧの補間画素データＧｉを生成する。デモザイク処理部５４は、図７の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームＦｍＧを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて算出したＢの補間画素データＢｉを生成する。デモザイク処理部５４は、図７の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームＦｍＢを生成する。

デモザイク処理部５４は、Ｒの画素データを補間する際には少なくともＲの画素データを用いればよく、Ｇの画素データを補間する際には少なくともＧの画素データを用いればよく、Ｂの画素データを補間する際には少なくともＢの画素データを用いればよい。デモザイク処理部５４は、補間精度を向上させるために、Ｒ，Ｇ，Ｂの画素データを補間する際に、生成しようとする補間画素データの色とは異なる他の色の画素データを用いてもよい。

撮像部３には、有効映像期間より外側の画素も存在しているため、フレームＦｍの上下左右端部に位置する画素においても、Ｒ，Ｇ，Ｂの画素データを補間することができる。

デモザイク処理部５４によって生成されたＲフレームＦｍＲ，ＧフレームＦｍＧ，ＢフレームＦｍＢがＲ，Ｇ，Ｂの３原色データとして出力される。図６では、理解を容易にするため、Ｒ，Ｇ，Ｂの画素データをフレーム単位で説明したが、実際には、Ｒ，Ｇ，Ｂの画素データは画素ごとに順次出力される。

＜中間モード：第１中間モード＞
中間モード（第１中間モード及び後述する第２中間モード）では、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

図８の（ａ）は、赤外線投光器９による赤外光の投光の状態を示している。制御部７は、通常モードの１フレーム期間を１／３ずつに分け、例えば投光部９１，９２，９３の順に赤外光を投光させるように制御する。

図８の（ａ）に示す例では、１フレームの最初の１／３の期間では、波長ＩＲ１（７８０ｎｍ）の赤外光が被写体に照射される。１フレームの次の１／３の期間では、波長ＩＲ２（９４０ｎｍ）の赤外光が被写体に照射される。１フレームの最後の１／３の期間では、波長ＩＲ３（８７０ｎｍ）の赤外光が被写体に照射される。波長ＩＲ１〜ＩＲ３の赤外光を投光する順番は任意である。

図８の（ｂ）に示すように、波長ＩＲ１の赤外光を投光しているタイミングでは、撮像部３はＲ光との相関性が高い露光Ex1Rが行われる。波長ＩＲ２の赤外光を投光しているタイミングでは、撮像部３はＧ光との相関性が高い露光Ex1Gが行われる。波長ＩＲ３の赤外光を投光しているタイミングでは、撮像部３はＢ光との相関性が高い露光Ex1Bが行われる。

但し、中間モードでは、可視光がわずかに存在する環境下での撮像であるため、可視光と赤外線投光器９より投光された赤外光とが混在した状態である。よって、中間モードにおいては、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、可視光による露光と赤外光による露光とを合わせた露光となる。

図８の（ｃ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、所定時間後に、露光Ex1Rに対応したフレームF1IR1、露光Ex1Gに対応したフレームF1IR2、露光Ex1Bに対応したフレームF1IR3が得られる。

また、露光Ex2R，Ex2G，Ex2Bに基づいて、所定時間後に、露光Ex2Rに対応したフレームF2IR1、露光Ex2Gに対応したフレームF2IR2、露光Ex2Bに対応したフレームF2IR3が得られる。露光Ex3R，Ex3G，Ex3B以降も同様である。

図８の（ｃ）の撮像信号のフレーム周波数は、９０フレーム／秒である。中間モードでは、通常モードにおける映像信号の１フレームを時分割して波長ＩＲ１〜ＩＲ３の赤外光を投光するため、通常モードと同じ形式の映像信号を出力するためには、図８の（ｃ）の撮像信号のフレーム周波数は、通常モードにおけるフレーム周波数の３倍となる。

後述するように、図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）に示す３０フレーム／秒のフレーム周波数を有する映像信号の１フレームが生成される。例えば、フレームF1IR1，F1IR2，F1IR3に基づいてフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3に基づいてフレームF2IRが生成される。

図８の（ｃ）の３フレームの撮像信号に基づいて、図８の（ｄ）の各フレームの映像信号を生成する中間モードでの動作を具体的に説明する。

Ａ／Ｄ変換器４より出力された図８の（ｃ）に示す撮像信号に対応する各フレームの映像データは、スイッチ５１を介して前信号処理部５２に入力される。

図９を用いて、前信号処理部５２における前信号処理について説明する。図９の（ａ）は、波長ＩＲ１の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR1を示している。フレームFmIR1内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ１の赤外光を投光した状態で生成されたことを示す添え字１を付している。

図９の（ｂ）は、波長ＩＲ２の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR2を示している。フレームFmIR2内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ２の赤外光を投光した状態で生成されたことを示す添え字２を付している。

図９の（ｃ）は、波長ＩＲ３の赤外光を投光しているタイミングで生成された映像データの任意のフレームFmIR3を示している。フレームFmIR3内のＲ，Ｂ，Ｇｒ，Ｇｂの画素データには、波長ＩＲ３の赤外光を投光した状態で生成されたことを示す添え字３を付している。

図９の（ａ）に示すフレームFmIR1は、Ｒ光との相関性が高い波長ＩＲ１の赤外光が投光された状態で生成された映像データであるので、Ｒの画素データは投光された赤外光と対応した画素データであり、Ｂ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｂ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｂ）に示すフレームFmIR2は、Ｇ光との相関性が高い波長ＩＲ２の赤外光が投光された状態で生成された映像データであるので、Ｇの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｂの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

図９の（ｃ）に示すフレームFmIR3は、Ｂ光との相関性が高い波長ＩＲ３の赤外光が投光された状態で生成された映像データであるので、Ｂの画素データは投光された赤外光と対応した画素データであり、Ｒ，Ｇの画素データは投光された赤外光と対応していない画素データである。Ｒ，Ｇｒ，Ｇｂの画素データに付しているハッチングは、投光された赤外光と対応していない画素データであることを意味する。

前信号処理部５２内の同一位置画素加算部５２２は、互いに同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データを以下の式（１）〜（３）に従って個別に加算して、画素データR123，Gr123，Gb123，B123を生成する。中間モードでは、前信号処理部５２内の周囲画素加算部５２１は不動作である。

R123=ka×R1+kb×R2+kc×R3 …（１）
G123=kd×G1+ke×G2+kf×G3 …（２）
B123=kg×B1+kh×B2+ki×B3 …（３）

式（１）〜（３）において、R1，G1，B1はフレームFmIR1におけるＲ，Ｇ，Ｂの画素データ、R2，G2，B2はフレームFmIR2におけるＲ，Ｇ，Ｂの画素データ、R3，G3，B3はフレームFmIR3におけるＲ，Ｇ，Ｂの画素データである。ka〜kiは所定の係数である。式（２）におけるG123はGr123またはGb123である。

このとき、同一位置画素加算部５２２は、ハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂのそれぞれの画素データに、ハッチングを付した同じ画素位置のＲ，Ｇｒ，Ｇｂ，Ｂの画素データそれぞれを加算する。

即ち、同一位置画素加算部５２２は、式（１）に基づいて、フレームFmIR1におけるＲの画素データに、フレームFmIR2，FmIR3における同じ画素位置のＲの画素データを加算して、画素データR123を生成する。つまり、受光素子における赤色のカラーフィルタに対応する領域の画素データだけを用いて赤色用の画素データR123を生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2におけるＧｒ，Ｇｂの画素データに、フレームFmIR1，FmIR3における同じ画素位置のＧｒ，Ｇｂの画素データを加算して、画素データG123を生成する。つまり、受光素子における緑色のカラーフィルタに対応する領域の画素データだけを用いて緑色用の画素データG123を生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3におけるＢの画素データに、フレームFmIR1，FmIR2における同じ画素位置のＢの画素データを加算して、画素データB123を生成する。つまり、受光素子における青色のカラーフィルタに対応する領域の画素データだけを用いて青色用の画素データB123を生成する。

前信号処理部５２内の合成部５２３は、それぞれの画素位置において生成された画素データR123，Gr123，Gb123，B123に基づいて、図９の（ｄ）に示す合成映像信号のフレームFmIR123を生成する。

具体的には、合成部５２３は、フレームFmIR1における画素データR123と、フレームFmIR2における画素データGr123，Gb123と、フレームFmIR3における画素データB123とを選択して合成する。これによって合成部５２３は、合成映像信号のフレームFmIR123を生成する。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123，Gr123，Gb123，B123を配列させたフレームFmIR123を生成する。

第１中間モードにおいては、ハッチングを付していない画素データと、ハッチングを付した画素データとを用いて、フレームFmIR123の映像データを生成する。

同一位置画素加算部５２２によって互いに同じ画素位置の画素データを加算するのは、次の理由による。中間モードではわずかではあるものの可視光が存在する環境下での撮像であるため、ハッチングを付した画素データは可視光による露光に基づくそれぞれの色の成分を含む。よって、同じ画素位置の画素データを加算することによって、それぞれの色の感度を上げることができる。

可視光と赤外光とが混在している状況で可視光が比較的多ければ、可視光による露光が支配的となる。この場合、フレームFmIR123の映像データは、可視光によって露光した映像信号に基づく成分が主となる。可視光と赤外光とが混在している状況で赤外光が比較的多ければ、赤外光による露光が支配的となる。この場合、フレームFmIR123の映像データは、赤外光によって露光した映像信号に基づく成分が主となる。

可視光が比較的少ない場合には、式（１）において、係数ka，kb，kcの大小関係を、ka>kb，kcとし、式（２）において、係数kd，ke，kfの大小関係を、kf>kd，keとし、式（３）において、係数kg，kh，kiの大小関係を、kh>kg，kiとするのがよい。これは、波長ＩＲ１はＲ光との相関性が高く、波長ＩＲ２はＧ光との相関性が高く、波長ＩＲ３はＢ光との相関性が高いからである。

このようにすれば、Ｒの画素データではフレームFmIR1におけるＲの画素データ、Ｇの画素データではフレームFmIR2におけるＧの画素データ、Ｂの画素データではフレームFmIR3におけるＢの画素データを主とすることができる。

前信号処理部５２より出力されたフレームFmIR123の映像データは、スイッチ５３を介してデモザイク処理部５４に入力される。デモザイク処理部５４は、通常モードと同様に、入力されたフレームFmIR123の映像データにデモザイク処理を施す。映像処理部５は、デモザイク処理の他、ホワイトバランス補正やゲイン補正等の各種の映像処理を施して、Ｒ，Ｇ，Ｂの３原色データを出力する。

図１０を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１０の（ａ）は、フレームFmIR123を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123iを生成する。デモザイク処理部５４は、図１０の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123iを生成する。デモザイク処理部５４は、図１０の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123iを生成する。デモザイク処理部５４は、図１０の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123Bを生成する。

通常モードにおける図７に示すデモザイク処理部５４の動作と、中間モードにおける図１０に示すデモザイク処理部５４の動作とを比較すれば分かるように、両者は実質的に同じである。デモザイク処理部５４の動作は、通常モードであっても中間モードであっても変わらない。

通常モードでは前信号処理部５２を不動作とし、中間モードでは、周囲画素加算部５２１を除き、前信号処理部５２を動作させればよい。通常モードと中間モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜中間モード：第２中間モード＞
図１１及び図１２を用いて、第２中間モードにおける動作を説明する。第２中間モードにおける動作において、第１中間モードにおける動作と同一部分は説明を省略する。図１１の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。

合成部５２３は、フレームFmIR1におけるＲの画素データであるR1と、フレームFmIR2におけるＧの画素データであるGr2，Gb2と、フレームFmIR3におけるＢの画素データであるB3とを選択して合成する。これによって合成部５２３は、図１１の（ｄ）に示す合成映像信号のフレームFmIR123’を生成する。

即ち、フレームFmIR123’は、フレームFmIR1，FmIR2，FmIR3におけるハッチングを付していないＲ，Ｇｒ，Ｇｂ，Ｂの画素データを１フレームに集結させた映像データである。

つまり、フレームFmIR123’においては、波長ＩＲ１の赤外光を投光した状態における赤色のカラーフィルタに対応する領域の画素データだけを用いた赤色用の画素データ、波長ＩＲ２の赤外光を投光した状態における緑色のカラーフィルタに対応する領域の画素データだけを用いた緑色用の画素データ、波長ＩＲ３の赤外光を投光した状態における青色のカラーフィルタに対応する領域の画素データだけを用いた青色用の画素データとなっている。

このように、合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1，Gr2，Gb2，B3を配列させたフレームFmIR123’を生成する。

第２中間モードでは、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１中間モードにおける動作と同様に、フレームFmIR1におけるＲの画素データと、フレームFmIR2におけるＧｒ，Ｇｂの画素データと、フレームFmIR3におけるＢの画素データを選択すれば、フレームFmIR123’を生成することができる。

第２中間モードにおいては、前信号処理部５２は、画素データの色と同じ色の画素データを生成するための赤外光が投光された状態で生成された画素データ（ハッチングを付していない画素データ）のみ用いて、フレームFmIR123’の映像データを生成する。

第２中間モードによれば、第１中間モードよりも感度や色の再現性は低下するものの、演算処理を簡略化したり、フレームメモリを削減したりすることができる。

図１２を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１２の（ａ）は、フレームFmIR123’を示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データＲ１ｉを生成する。デモザイク処理部５４は、図１２の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’Rを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データＧ２ｉを生成する。デモザイク処理部５４は、図１２の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’Gを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データＢ３ｉを生成する。デモザイク処理部５４は、図１２の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’Bを生成する。

以上のように、中間モードにおいては、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成し、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成し、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成する。

＜暗視モード：第１暗視モード＞
暗視モード（第１暗視モード及び後述する第２暗視モード）では、中間モードと同様、制御部７は、駆動部８によって、光学レンズ１と撮像部３との間にダミーガラス２２を挿入させる。投光制御部７１は、赤外線投光器９による赤外光の投光をオンにする。モード切換部７２は、スイッチ５１，５３を端子Ｔａに接続するように制御する。

暗視モードにおける概略的な動作は、図８と同じである。但し、暗視モードでは、可視光がほとんど存在しない環境下での撮像であるため、図８の（ｂ）における露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…は、赤外光のみによる露光を想定している。

可視光がほとんど存在せず赤外光のみが存在している環境下では、カラーフィルタ３２におけるそれぞれのフィルタエレメントの特性には差がなくなるため、撮像部３を単色の撮像素子とみなすことができる。

そこで、前信号処理部５２内の周囲画素加算部５２１は、暗視モードでは、赤外光の感度を向上させるために、それぞれの画素データに対して、周囲に位置する画素データを加算する。

具体的には、図１３の（ａ）に示すように、Ｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＲの画素データに対して周囲に位置するＧ（Ｇｒ，Ｇｂ）及びＢの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における赤色のカラーフィルタに対応する領域から得た画素データから赤色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから赤色用の画素データを生成することとなる。図１３に示す例では、各色とも注目画素を含む９画素分の領域から得た画素データを用いている。

図１３の（ｂ）に示すように、Ｇｒの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｒの画素データに対して周囲に位置するＲ，Ｇｂ，Ｂの８画素の画素データを加算する。図１３の（ｃ）に示すように、Ｇｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＧｂの画素データに対して周囲に位置するＲ，Ｇｒ，Ｂの８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における緑色のカラーフィルタに対応する領域から得た画素データから緑色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから緑色用の画素データを生成することとなる。

図１３の（ｄ）に示すように、Ｂの画素が注目画素であるとき、周囲画素加算部５２１は、注目画素のＢの画素データに対して周囲に位置するＲ及びＧ（Ｇｒ，Ｇｂ）の８画素の画素データを加算する。

つまり、中間モードのときは、受光素子における青色のカラーフィルタに対応する領域から得た画素データから青色用の画素データを生成していたが、暗視モードでは、中間モードのときよりも広い領域から得た画素データから青色用の画素データを生成することとなる。

周囲画素加算部５２１は、注目画素の画素データと周囲の８画素の画素データとの９画素を単純に加算してもよいし、周囲の８画素の画素データに対して所定の重み付けをした上で注目画素の画素データに加算してもよい。

ところで、ビニングと称される複数の画素をまとめて１つの画素として読み出し可能な撮像素子が存在する。撮像素子３１として、ビニング機能を有する撮像素子を用いる場合には、周囲画素加算部５２１による加算処理ではなく、ビニング機能を有する撮像素子による加算処理を行ってもよい。撮像素子によるビニングは、周囲画素加算部５２１による加算処理と実質的に等価である。

図１４の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3は、図９の（ａ）〜（ｃ）のフレームFmIR1，FmIR2，FmIR3と同じである。図１４の（ｄ）〜（ｆ）において、R1ad，Gr1ad，Gb1ad，B1ad，R2ad，Gr2ad，Gb2ad，B2ad，R3ad，Gr3ad，Gb3ad，B3adは、それぞれ、Ｒ，Ｇｒ，Ｇｂ，Ｂの画素データに対して周囲の８画素の画素データを加算した加算画素データである。

周囲画素加算部５２１は、フレームFmIR1，FmIR2，FmIR3のそれぞれの画素データに対して図１３に示す加算処理を施すことにより、図１４の（ｄ）〜（ｆ）に示すフレームFmIR1ad，FmIR2ad，FmIR3adを生成する。

図１５の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１４の（ｄ）〜（ｆ）のフレームFmIR1ad，FmIR2ad，FmIR3adと同じである。

同一位置画素加算部５２２は、第１中間モードと同様に、式（１）に基づいて、フレームFmIR1adにおけるR1adの画素データに、フレームFmIR2ad，FmIR3adにおける同じ画素位置のR2ad，R3adの画素データを加算して、画素データR123adを生成する。

同一位置画素加算部５２２は、式（２）に基づいて、フレームFmIR2adにおけるGr2ad，Gb2adの画素データに、フレームFmIR1ad，FmIR3adにおける同じ画素位置のGr1ad，Gb1ad，Gr3ad，Gb3adの画素データを加算して、画素データGr123ad，Gb123adを生成する。

同一位置画素加算部５２２は、式（３）に基づいて、フレームFmIR3adにおけるB3adの画素データに、フレームFmIR1ad，FmIR2adにおける同じ画素位置のB1ad，B2adの画素データを加算して、画素データB123adを生成する。

合成部５２３は、第１中間モードと同様に、フレームFmIR1adにおける画素データR123adと、フレームFmIR2adにおける画素データGr123ad，Gb123adと、フレームFmIR3adにおける画素データB123adとを選択して合成する。これによって合成部５２３は、図１５の（ｄ）に示す合成映像信号のフレームFmIR123adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR123ad，Gr123ad，Gb123ad，B123adを配列させたフレームFmIR123adを生成する。

図１６の（ａ）はフレームFmIR123adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のＲの画素データを用いて演算して、Ｒの補間画素データR123adiを生成する。デモザイク処理部５４は、図１６の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のＧの画素データを用いて演算して、Ｇの補間画素データG123adiを生成する。デモザイク処理部５４は、図１６の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のＢの画素データを用いて演算して、Ｂの補間画素データB123adiを生成する。デモザイク処理部５４は、図１６の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123adBを生成する。

第１中間モードと第１暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。モード切換部７２は、暗視モードのとき、周囲画素加算部５２１を動作させればよい。

暗視モードにおけるデモザイク処理部５４の動作は、通常モード及び中間モードにおけるデモザイク処理部５４の動作と実質的に同じである。通常モードと中間モードと暗視モードとで、映像処理部５におけるデモザイク処理部５４、及び、ホワイトバランス補正やゲイン補正等の信号処理部を共用させることができる。

＜暗視モード：第２暗視モード＞
図１７及び図１８を用いて、第２暗視モードにおける動作を説明する。第２暗視モードにおける動作において、第１暗視モードにおける動作と同一部分は説明を省略する。図１７の（ａ）〜（ｃ）のフレームFmIR1ad，FmIR2ad，FmIR3adは、図１５の（ａ）〜（ｃ）のFmIR1ad，FmIR2ad，FmIR3adと同じである。

合成部５２３は、フレームFmIR1adにおけるＲの画素データであるR1adと、フレームFmIR2におけるＧの画素データであるGr2ad，Gb2adと、フレームFmIR3におけるＢの画素データであるB3adとを選択して合成する。これによって合成部５２３は、図１７の（ｄ）に示す合成映像信号のフレームFmIR123’adを生成する。

合成部５２３は、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように、画素データR1ad，Gr2ad，Gb2ad，B3adを配列させたフレームFmIR123’adを生成する。

なお、図１３を用いて説明したように、フレームFmIR123’adにおける赤色用の画素データR1adは、中間モードのときに赤色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

また、フレームFmIR123’adにおける緑色用の画素データGr2adは、中間モードのときに緑色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

さらに、フレームFmIR123’adにおける青色用の画素データB3adは、中間モードのときに青色用の画素データを生成するために用いた領域よりも広い領域から得た画素データから生成されたものとなっている。

第２暗視モードでは、第２中間モードと同様に、同一位置画素加算部５２２は、式（１）における係数kaを１、係数kb，kcを０とし、式（２）における係数keを１、係数kd，kfを０とし、式（３）における係数kiを１、係数kg，khを０とする。

これによって、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データは、それぞれそのままの値となる。

よって、合成部５２３は、第１暗視モードにおける動作と同様に、フレームFmIR1adにおけるR1adの画素データと、フレームFmIR2adにおけるGr2ad，Gb2adの画素データと、フレームFmIR3adにおけるB3adの画素データを選択すれば、フレームFmIR123’adを生成することができる。

図１８を用いて、デモザイク処理部５４におけるデモザイク処理について説明する。図１８の（ａ）は、フレームFmIR123’adを示している。デモザイク処理部５４は、Ｒの画素データが存在しない画素位置のＲの画素データを周囲のR1adの画素データを用いて演算して、Ｒの補間画素データR1adiを生成する。デモザイク処理部５４は、図１８の（ｂ）に示す１フレームの全画素がＲの画素データよりなるＲフレームFmIR123’adRを生成する。

デモザイク処理部５４は、Ｇの画素データが存在しない画素位置のＧの画素データを周囲のGr2ad，Gb2adの画素データを用いて演算して、Ｇの補間画素データG2adiを生成する。デモザイク処理部５４は、補間して、図１８の（ｃ）に示す１フレームの全画素がＧの画素データよりなるＧフレームFmIR123’adGを生成する。

デモザイク処理部５４は、Ｂの画素データが存在しない画素位置のＢの画素データを周囲のB3adの画素データを用いて算出したＢの補間画素データB3adiを生成する。デモザイク処理部５４は、図１８の（ｄ）に示す１フレームの全画素がＢの画素データよりなるＢフレームFmIR123’adBを生成する。

第２中間モードと第２暗視モードとは、前者が周囲画素加算部５２１を不動作としている一方で、後者が周囲画素加算部５２１を動作させている点で異なる。

また、中間モードにおいては、受光素子における各色に対応する領域から得た画素データそれぞれから各色用の画素データを生成していたが、暗視モードにおいては、周囲画素を加算するため、中間モードにおける各色用の画素データを生成するための領域それぞれよりも広い領域から得た画素データから各色用の画素データを生成するとも言える。

＜モード切換の例＞
図１９を用いて、モード切換部７２によるモード切換の例を説明する。図１９の（ａ）は、一例として、昼間の時間帯から夜の時間帯へと時間が経過していくとき、周囲環境の明るさが変化していく様子を概略的に示している。

図１９の（ａ）に示すように、昼間から夕刻へと時間が経過していくに従って明るさが低下していき、時刻ｔ３以降、ほぼ真っ暗の状態となる。図１９の（ａ）に示す明るさは実質的に可視光の量を示しており、時刻ｔ３以降、可視光がほとんどない状態である。

制御部７は、映像処理部５から入力される映像信号（映像データ）の輝度レベルに基づいて周囲環境の明るさを判断することができる。図１９の（ｂ）に示すように、モード切換部７２は、明るさが所定の閾値Th1（第１の閾値）以上であるとき通常モードとし、明るさが閾値Th1未満で所定の閾値Th2（第２の閾値）以上であるとき中間モード、閾値Th2未満であるとき暗視モードとする。

本実施形態の撮像装置は、明るさが閾値Th1となる時刻ｔ１までは通常モード、時刻ｔ１から明るさが閾値Th2となる時刻ｔ２まで中間モード、時刻ｔ２以降は暗視モードに、モードを自動的に切り換える。図１９の（ｂ）において、中間モードは第１中間モードと第２中間モードとのいずれでもよく、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

図１９の（ａ）では可視光がほとんどなくなる時刻ｔ３の直前の明るさを閾値Th2としているが、時刻ｔ３の明るさを閾値Th2としてもよい。

図１９の（ｃ）に示すように、モード切換部７２は、中間モードの期間で、可視光が比較的多い時刻ｔ１側の期間を第１中間モード、可視光が比較的少ない時刻ｔ２側の期間を第２中間モードとしてもよい。図１９の（ｃ）において、暗視モードは第１暗視モードと第２暗視モードとのいずれでもよい。

本実施形態の撮像装置は、投光制御部７１が赤外線投光器９のオン・オフを制御し、モード切換部７２が映像処理部５内の各部の動作・不動作を切り換えることにより、それぞれのモードを実現することができる。

図２０に示すように、通常モードは、赤外線投光器９がオフ、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３がいずれも不動作、デモザイク処理部５４が動作の状態である。

第１中間モードは、赤外線投光器９がオン、周囲画素加算部５２１が不動作、同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４とが動作の状態である。第２中間モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２とが不動作、合成部５２３とデモザイク処理部５４とが動作の状態である。

同一位置画素加算部５２２における動作と不動作とは、前述のように、式（１）〜（３）の係数ka〜kiの値を適宜に設定することによって容易に切り換えることができる。

第１暗視モードは、赤外線投光器９がオン、周囲画素加算部５２１と同一位置画素加算部５２２と合成部５２３とデモザイク処理部５４との全てが動作の状態である。第２暗視モードは、赤外線投光器９がオン、同一位置画素加算部５２２が不動作、周囲画素加算部５２１と合成部５２３とデモザイク処理部５４とが動作の状態である。

ところで、周囲画素加算部５２１は、注目画素の画素データに対して周囲の画素データを加算するための計算式において、周囲の画素データに乗じる係数を、０を超える係数（例えば１）とすれば、周囲画素の加算処理を動作の状態とすることができる。

また、周囲画素加算部５２１は、その計算式において、周囲の画素データに乗じる係数を０とすれば、周囲画素の加算処理を不動作の状態とすることができる。

周囲画素加算部５２１における動作と不動作も、係数の値を適宜に設定することによって容易に切り換えることができる。

＜撮像装置の第１の変形例＞
制御部７が周囲環境の明るさを検出する方法は、映像信号の輝度レベルに基づく方法に限定されない。

図２１に示すように、明るさセンサ１１によって周囲環境の明るさを検出してもよい。図２１において、映像信号の輝度レベルと明るさセンサ１１によって検出した明るさとの双方に基づいて、周囲環境の明るさを判断してもよい。

＜撮像装置の第２の変形例＞
制御部７は、周囲環境の明るさを直接的に検出せず、１年間における時期（日にち）及び時刻（時間帯）に基づいて周囲環境の明るさを概略的に想定して、モード切換部７２が各モードに切り換えるようにしてもよい。

図２２に示すように、モード設定テーブル１２には、日にちと時間帯との組み合わせに対応して、通常モードと中間モードと暗視モードとのいずれかが設定されている。制御部７内の時計７４は、日にちと時刻を管理している。制御部７は、時計７４が示す日にちと時刻とを参照して、モード設定テーブル１２より設定されているモードを読み出す。

投光制御部７１とモード切換部７２は、モード設定テーブル１２より読み出されたモードとなるように、撮像装置を制御する。

＜撮像装置の第３の変形例＞
図２３に示すように、操作部１３によってユーザがモードを手動で選択して、投光制御部７１とモード切換部７２が選択されたモードとなるように撮像装置を制御してもよい。操作部１３は、撮像装置の筐体に設けられている操作ボタンであってもよく、リモートコントローラであってもよい。

＜映像信号処理方法＞
図２４を用いて、図１に示す撮像装置で実行される映像信号処理方法を改めて説明する。

図２４において、撮像装置が動作を開始すると、制御部７は、ステップＳ１にて、周囲環境の明るさが閾値Th1以上であるか否かを判定する。閾値Th1以上であれば（YES）、制御部７は、ステップＳ３にて、通常モードでの処理を実行させる。閾値Th1以上でなければ（NO）、制御部７は、ステップＳ２にて、周囲環境の明るさが閾値Th2以上であるか否かを判定する。

閾値Th2以上であれば（YES）、制御部７は、ステップＳ４にて、中間モードでの処理を実行させる。閾値Th2以上でなければ（NO）、制御部７は、ステップＳ５にて、暗視モードでの処理を実行させる。

制御部７は、ステップＳ３〜Ｓ５の後、処理をステップＳ１に戻し、ステップＳ１以降を繰り返す。

図２５は、ステップＳ３の通常モードの具体的な処理を示す。図２５において、制御部７（投光制御部７１）は、ステップＳ３１にて、赤外線投光器９をオフにする。制御部７は、ステップＳ３２にて、赤外線カットフィルタ２１を挿入する。制御部７（モード切換部７２）は、ステップＳ３３にて、スイッチ５１，５３を端子Ｔｂに接続させる。ステップＳ３１〜Ｓ３３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ３４にて、撮像部３によって被写体を撮像させる。制御部７は、ステップＳ３５にて、撮像部３が被写体を撮像することよって生成した映像信号を構成するフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

図２６は、ステップＳ４の中間モードの具体的な処理を示す。図２６において、制御部７（投光制御部７１）は、ステップＳ４１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ４２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ４３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ４１〜Ｓ４３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ４４にて、撮像部３によって被写体を撮像させる。撮像部３は、Ｒに対応付けられた波長ＩＲ１の赤外光と、Ｇに対応付けられた波長ＩＲ２の赤外光と、Ｂに対応付けられた波長ＩＲ３の赤外光とがそれぞれ投光されている状態で被写体を撮像する。

制御部７（モード切換部７２）は、ステップＳ４５にて、周囲画素加算部５２１を不動作とし、合成部５２３を動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光がそれぞれ投光されている状態で撮像部３が被写体を撮像することよって生成された映像信号を構成するフレームを第１のフレーム，第２のフレーム，第３のフレームとする。

合成部５２３は、第１のフレーム内のＲの画素データと、第２のフレーム内のＧの画素データと、第３のフレーム内のＢの画素データとに基づく３原色の画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させる。合成部５２３は、このようにして第１〜第３のフレームを１フレームに合成した合成映像信号を生成する。

制御部７は、ステップＳ４６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

デモザイク処理部５４は、合成映像信号のフレームに基づいて、Ｒのフレームと、Ｇのフレームと、Ｂのフレームとを生成するデモザイク処理を施して、デモザイク処理された３原色のフレームを順次生成する。

デモザイク処理部５４は、Ｒの画素データが存在しない画素位置にＲの画素データを補間することによって、Ｒのフレームを生成することができる。デモザイク処理部５４は、Ｇの画素データが存在しない画素位置にＧの画素データを補間することによって、Ｇのフレームを生成することができる。デモザイク処理部５４は、Ｂの画素データが存在しない画素位置にＢの画素データを補間することによって、Ｂのフレームを生成することができる。

第１中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を動作させ、第２中間モードとする場合には、ステップＳ４５にて、同一位置画素加算部５２２を不動作とすればよい。

図２７は、ステップＳ５の暗視モードの具体的な処理を示す。図２７において、制御部７（投光制御部７１）は、ステップＳ５１にて、投光部９１〜９３より波長ＩＲ１〜ＩＲ３の赤外光を時分割で投光させるよう、赤外線投光器９をオンにする。

制御部７は、ステップＳ５２にて、ダミーガラス２２を挿入する。制御部７（モード切換部７２）は、ステップＳ５３にて、スイッチ５１，５３を端子Ｔａに接続させる。ステップＳ５１〜Ｓ５３の順番は任意であり、同時であってもよい。

制御部７は、ステップＳ５４にて、撮像部３によって被写体を撮像させる。制御部７（モード切換部７２）は、ステップＳ５５にて、周囲画素加算部５２１と合成部５２３とを動作させて合成映像信号を生成させるよう、前信号処理部５２を制御する。

制御部７は、ステップＳ５６にて、合成映像信号のフレームをデモザイク処理部５４によってデモザイク処理させるよう、映像処理部５を制御する。

第１暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を動作させ、第２暗視モードとする場合には、ステップＳ５５にて、同一位置画素加算部５２２を不動作とすればよい。

＜映像信号処理プログラム＞
図１において、制御部７、または、映像処理部５と制御部７とが一体化部分をコンピュータ（マイクロコンピュータ）で構成し、映像信号処理プログラム（コンピュータプログラム）をコンピュータで実行させることによって、上述した本実施形態の撮像装置と同様の動作を実現させることも可能である。

図２８を用いて、図２４のステップＳ４である中間モードにおける制御を映像信号処理プログラムで構成した場合にコンピュータに実行させる手順の例を説明する。図２８は、映像信号処理プログラムがコンピュータに実行させる処理を示す。

図２８において、映像信号処理プログラムは、ステップS401にて、コンピュータに、Ｒ，Ｇ，Ｂに対応付けられた波長ＩＲ１，ＩＲ２，ＩＲ３の赤外光をそれぞれ投光するように赤外線投光器９を制御するステップを実行させる。

ステップS401に示すステップを映像信号処理プログラムの外部にて実行させてもよい。図２８では、ダミーガラス２２を挿入させるステップを省略している。ダミーガラス２２を挿入させるステップも映像信号処理プログラムの外部にて実行させてもよい。

映像信号処理プログラムは、ステップS402にて、コンピュータに、波長ＩＲ１の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第１のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS403にて、コンピュータに、波長ＩＲ２の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第２のフレームを構成する画素データを取得するステップを実行させる。

映像信号処理プログラムは、ステップS404にて、コンピュータに、波長ＩＲ３の赤外光が投光されている状態で、撮像部３が被写体を撮像することによって生成された映像信号の第３のフレームを構成する画素データを取得するステップを実行させる。ステップS402〜S404の順番は任意である。

映像信号処理プログラムは、ステップS405にて、コンピュータに、Ｒ，Ｇ，Ｂの画素データを、カラーフィルタ３２におけるフィルタエレメントの配列と同じ配列となるように配列させて、１フレームに合成した合成映像信号を生成するステップを実行させる。

中間モードでは、映像信号処理プログラムは、ステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させない。

映像信号処理プログラムは、ステップS406にて、コンピュータに、合成映像信号のフレームにデモザイク処理を施して、Ｒ，Ｇ，Ｂのフレームを生成するステップを実行させる。

図示は省略するが、図２４のステップＳ５である暗視モードにおける制御を映像信号処理プログラムで構成する場合には、図２８のステップS405にて、コンピュータに、周囲画素の加算処理のステップを実行させればよい。

映像信号処理プログラムは、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムであってよい。映像信号処理プログラムが記録媒体に記録された状態で提供されてもよいし、映像信号処理プログラムをコンピュータにダウンロードさせるよう、インターネット等のネットワークを介して提供されてもよい。コンピュータで読み取り可能な記録媒体は、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の非一時的な任意の記録媒体でよい。

＜移動体撮像時の色ずれの軽減について＞
次に、以上説明した中間モードまたは暗視モードにおいて、本実施形態の撮像装置によって動いている被写体（移動体）を撮像するときに発生する色ずれと、その軽減方法について説明する。

図２９は、色ずれの軽減を特に考慮せず、撮像装置によって映像信号のフレームを生成する場合の撮像装置の制御方法を概略的に示している。

図２９の（ａ）は図８の（ａ）と同等であり、赤外線投光器９による赤外光の投光の状態を示している。ここでは、波長ＩＲ１〜ＩＲ３の赤外光を投光する期間を、撮像部３における最大露光時間の１フレーム期間全体とはせず、１フレーム期間よりも短い期間とした場合を示している。

図２９の（ｂ）に示すように、波長ＩＲ１〜ＩＲ３それぞれの赤外光を投光しているタイミングで、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B…が行われる。

図２９の（ｃ）は、図２９の（ｂ）に示す露光によって撮像される画像のフレームＦを示している。ここでは、露光Ex1R，Ex1G，Ex1Bによって撮像されるフレームＦのみを示している。３つのフレームＦに示すように、矩形状の物体ＯＢが速度ｖで左から右へと水平方向に移動しているとする。

図２９の（ｄ）に示すように、露光Ex1R，Ex1G，Ex1Bに基づいて、フレームF1IR1，F1IR2，F1IR3が得られる。露光Ex2R，Ex2G，Ex2Bに基づいて、フレームF2IR1，F2IR2，F2IR3が得られる。露光Ex3R，Ex3G，Ex3Bに基づいて、フレームF3IR1，F3IR2，F3IR3が得られる。

図２９の（ｂ）に示す撮像信号のフレーム周波数、図２９の（ｄ）に示すフレームのフレーム周波数は、９０フレーム／秒である。露光Ex1R，Ex1G，Ex1Bの全体、露光Ex2R，Ex2G，Ex2Bの全体、露光Ex3R，Ex3G，Ex3Bの全体で、フレーム周波数は、３０フレーム／秒である。

図２９の（ｅ）に示すように、フレームF1IR1，F1IR2，F1IR3を合成することによってフレームF1IRが生成され、フレームF2IR1，F2IR2，F2IR3を合成することによってフレームF2IRが生成される。フレームF1IR，F2IRは、３０フレーム／秒のフレーム周波数を有する。

図２９においては、（ａ），（ｂ）に示すように、波長ＩＲ１〜ＩＲ３それぞれの赤外光を投光する期間の中央のタイミングを、最大露光時間である１フレーム期間の中央のタイミングに一致させている。

露光Ex1Rにおいて、物体ＯＢには、Ｒ信号を生成するための波長ＩＲ１の赤外光が照射されるので、フレームF1IR1の物体ＯＢは、赤または赤に準ずる色で表現される。露光Ex1Gにおいて、物体ＯＢには、Ｇ信号を生成するための波長ＩＲ２の赤外光が照射されるので、フレームF1IR2の物体ＯＢは、緑または緑に準ずる色で表現される。

露光Ex1Bにおいて、物体ＯＢには、Ｂ信号を生成するための波長ＩＲ３の赤外光が照射されるので、フレームF1IR3の物体ＯＢは、青または青に準ずる色で表現される。

実際には、物体ＯＢの素材によってそれぞれの色が表現されない場合がある。ここでは、説明の都合上、フレームF1IR1の物体ＯＢは赤で、フレームF1IR2の物体ＯＢは緑で、フレームF1IR3の物体ＯＢは青で表現されるとする。

図２９の（ｂ）におけるそれぞれの最大露光時間の中央のタイミングの間隔を時間ｔ０とする。フレームF1IR1，F1IR2間で物体ＯＢは、ΔLrg＝ｖ×ｔ０なる距離だけ移動している。よって、図２９の（ｆ）に示すように、フレームF1IRには、距離ΔLrgに相当する長さの赤の色ずれ領域Ｃ１が生じる。

フレームF1IRには、色ずれ領域Ｃ１に隣接して、フレームF1IR1の赤の物体ＯＢとフレームF1IR2の緑の物体ＯＢとが重なることによって、黄の色ずれ領域Ｃ２が生じる。厳密には黄の色ずれとはならないことがあるが、説明の都合上、黄の色ずれが生じるとする。

フレームF1IRには、色ずれ領域Ｃ２に隣接して、フレームF1IR1の物体ＯＢとフレームF1IR2の物体ＯＢとフレームF1IR3の物体ＯＢとが全て重なることによって正しい色が表現された領域Ｃ３が生じる。

フレームF1IRには、領域Ｃ３に隣接して、フレームF1IR2の緑の物体ＯＢとフレームF1IR3の青の物体ＯＢとが重なることによって、シアンの色ずれ領域Ｃ４が生じる。厳密にはシアンの色ずれとはならないことがあるが、説明の都合上、シアンの色ずれが生じるとする。

フレームF1IR2，F1IR3間で物体ＯＢは、ΔLgb＝ｖ×ｔ０なる距離だけ移動している。よって、フレームF1IRには、色ずれ領域Ｃ４に隣接して、距離ΔLgbに相当する長さの青の色ずれ領域Ｃ５が生じる。

このように、物体ＯＢが移動体であるとき、正しい色が表現された領域Ｃ３の周囲に色ずれ領域Ｃ１，Ｃ２，Ｃ４，Ｃ５が生じて、画質を低下させる。

そこで、物体ＯＢが移動体であるときには、色ずれを軽減させるため、図３０〜図３２に示すような撮像装置の制御方法を用いるのがよい。図３０〜図３２の制御方法を順に説明する。

図３０の（ｂ）に示すように、露光Ex1Rの露光開始タイミングをExRs、露光終了タイミングをExRe、露光Ex1Gの露光開始タイミングをExGs、露光終了タイミングをExGe、露光Ex1Bの露光開始タイミングをExBs、露光終了タイミングをExBeとする。

図３０に示す第１の例では、図３０の（ａ）に示すように、露光Ex1Rの期間内で波長ＩＲ１の赤外光を投光する期間の中央のタイミングを、露光Ex1Rの最大露光時間の中央のタイミングよりも後方の露光終了タイミングExRe側にずらしている。

また、露光Ex1Bの期間内で波長ＩＲ３の赤外光を投光する期間の中央のタイミングを、露光Ex1Bの最大露光時間の中央のタイミングよりも前方の露光開始タイミングExBs側にずらしている。

波長ＩＲ２の赤外光を投光する期間の中央のタイミングは、図２９の（ａ）と同様、露光Ex1Gの最大露光時間の中央のタイミングに一致させている。

なお、波長ＩＲ２の赤外光を投光する期間の中央のタイミングを、露光Ex1Gの最大露光時間の中央のタイミングに必ずしも一致させなくてもよい。但し、波長ＩＲ２の赤外光を投光する期間の中央のタイミングを、露光Ex1Gの最大露光時間の中央のタイミングに一致させるのが好ましい。

露光Ex2R，Ex2G，Ex2B，Ex3R，Ex3G，Ex3B，…に対する波長ＩＲ１〜ＩＲ３の赤外光のタイミングは、露光Ex1R，Ex1G，Ex1Bにおける波長ＩＲ１〜ＩＲ３の赤外光のタイミングと同じである。

波長ＩＲ２の赤外光を投光する期間の中央のタイミングと波長ＩＲ１の赤外光を投光する期間の中央のタイミングとの間隔を時間ｔ１とする。波長ＩＲ２の赤外光を投光する期間の中央のタイミングと波長ＩＲ３の赤外光を投光する期間の中央のタイミングとの間隔を時間ｔ１とする。

時間ｔ１は、時間ｔ０よりもΔｔだけ短い。よって、フレームF1IR1，F1IR2間で物体ＯＢが移動する距離は、ΔL＝ｖ×Δｔだけ短くなる。フレームF1IR2，F1IR3間で物体ＯＢが移動する距離も、ΔL＝ｖ×Δｔだけ短くなる。

よって、図３０の（ｆ）において、色ずれ領域Ｃ１，Ｃ２，Ｃ４，Ｃ５の長さはΔLだけ短くなる。逆に、正しい色が表現された領域Ｃ３の長さが長くなる。よって、色ずれが軽減される。

第１の例では、波長ＩＲ１の赤外光を投光する期間の中央のタイミングを露光終了タイミングExRe側にずらし、波長ＩＲ３の赤外光を投光する期間の中央のタイミングを露光開始タイミングExBs側にずらしている。

波長ＩＲ１の赤外光を投光する期間の中央のタイミングのみ露光終了タイミングExRe側にずらした場合には、色ずれ領域Ｃ１，Ｃ２を短くすることができる。波長ＩＲ３の赤外光を投光する期間の中央のタイミングのみ露光開始タイミングExBs側にずらした場合には、色ずれ領域Ｃ４，Ｃ５を短くすることができる。

以上のように、第１の例においては、中央に位置する赤外光投光期間の中央のタイミングと、前または後に位置する赤外光投光期間の中央のタイミングとの間隔は、中央に位置する赤外光投光期間の中央のタイミングと、露光Ex1R，Ex1Bの最大露光時間の中央のタイミングとの間隔よりも短い。よって、第１の例によれば、色ずれを軽減させることができる。

第１の例の制御方法を採用する撮像装置の構成をまとめると次のとおりである。赤外光の投光の順に、第１の赤外光、第２の赤外光、第３の赤外光とする。第１の赤外光は、赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する。第２の赤外光は、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する。第３の赤外光は、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する。

投光制御部７１は、第１の赤外光、第２の赤外光、第３の赤外光の順で赤外光を選択的に投光するよう、赤外線投光器９を制御する。

撮像部３は、第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第１の撮像信号に基づく第１のフレームを生成する。１フレーム期間は、撮像部３の最大露光時間によって決まる。

撮像部３は、第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第２の撮像信号に基づく第２のフレームを生成する。撮像部３は、第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第３の撮像信号に基づく第３のフレームを生成する。

映像処理部５は、第１〜第３のフレームを合成して、映像信号のフレームを生成する。

第２の赤外光を投光する期間の中央のタイミングを第１のタイミングとする。第１または第３の赤外光を投光する期間の中央のタイミングを第２のタイミングとする。第１または第３のフレームの１フレーム期間の中央のタイミングを第３のタイミングとする。

投光制御部７１は、第１のタイミングと第２のタイミングとの間隔を、第１のタイミングと第３のタイミングとの間隔よりも短く設定して、第１〜第３の赤外光を投光するよう赤外線投光器９を制御する。

第２のフレームの１フレーム期間の中央のタイミングを第４のタイミングとする。投光制御部７１は、第１のタイミングを第４のタイミングに一致させて、第２の赤外光を投光するよう赤外線投光器９を制御するとさらによい。

撮像装置の制御プログラム（コンピュータプログラム）をコンピュータで実行させることによって、以上の第１の例の制御方法を採用する撮像装置の動作を実現させてもよい。上述した映像信号処理プログラムと同様、撮像装置の制御プログラムは、コンピュータで読み取り可能な非一時的な記録媒体に記録されたコンピュータプログラムであってよい。

具体的には、撮像装置の制御プログラムは、コンピュータに、第１の赤外光を投光させるよう赤外線投光器９を制御する第１のステップ、第１のフレームを生成する第２のステップを実行させる。撮像装置の制御プログラムは、コンピュータに、第２の赤外光を投光させるよう赤外線投光器９を制御する第３のステップ、第２のフレームを生成する第４のステップを実行させる。

撮像装置の制御プログラムは、コンピュータに、第３の赤外光を投光させるよう赤外線投光器９を制御する第５のステップ、第３のフレームを生成する第６のステップ、第１〜第３のフレームを合成して、映像信号のフレームを生成する第７のステップを実行させる。

撮像装置の制御プログラムは、第１のタイミングと第２のタイミングとの間隔を、第１のタイミングと第３のタイミングとの間隔よりも短く設定する。

次に、図３１に示す第２の例を、図３０の第１の例との相違点を中心に説明する。図３１の（ａ），（ｃ）〜（ｇ）は、図３０の（ａ）〜（ｆ）にそれぞれ対応する。

第２の例においては、図３１の（ａ）に示すように、波長ＩＲ１〜ＩＲ３の赤外光を投光する期間を、露光Ex1R，Ex1G，Ex1B，Ex2R，Ex2G，Ex2B，Ex3R，Ex3G，Ex3B，…の１フレーム期間のほぼ全体としている。

図３１の（ｂ）は、電子シャッタ制御部７３によって制御される撮像部３の電子シャッタを開けている期間とタイミングを示している。露光Ex1Gの１フレーム期間においては、電子シャッタの開期間St12の中央のタイミングを、最大露光時間の中央のタイミングに一致させている。

露光Ex1Rの１フレーム期間においては、電子シャッタの開期間St11の中央のタイミングを、露光Ex1Rの最大露光時間の中央のタイミングよりも後方の露光終了タイミングExRe側にずらしている。露光Ex1Bの１フレーム期間においては、電子シャッタの開期間St13の中央のタイミングを、露光Ex1Bの最大露光時間の中央のタイミングよりも前方の露光開始タイミングExBs側にずらしている。

露光Ex2R，Ex2G，Ex2B，Ex3R，Ex3G，Ex3B，…に対する電子シャッタの開期間St21，St22，St23，St31，St32，St33，…のタイミングは、露光Ex1R，Ex1G，Ex1Bにおける開期間St11，St12，St13のタイミングと同じである。

露光の１フレーム期間のほぼ全体で赤外光を投光しても、電子シャッタの開期間だけ、赤外光を照射した状態の物体ＯＢを撮像した撮像信号がＡ／Ｄ変換器４に取り込まれる。

よって、第２の例において、図３１の（ｇ）に示すフレームF1IRの正しい色が表現された領域Ｃ３及び色ずれ領域Ｃ１，Ｃ２，Ｃ４，Ｃ５の状態は、図３０の（ｆ）に示すフレームF1IRと同様となる。第２の例においても、色ずれを軽減させることができる。

さらに、図３２に示す第３の例を、図３０の第１の例、図３１の第２の例との相違点を中心に説明する。図３２の（ａ）〜（ｇ）は、図３１の（ａ）〜（ｇ）にそれぞれ対応する。

第３の例においては、図３２の（ａ），（ｂ）に示すように、波長ＩＲ１〜ＩＲ３の赤外光を投光する期間と、電子シャッタの開期間とを一致させている。第３の例における波長ＩＲ１〜ＩＲ３の赤外光を投光する期間とタイミングは、図３０の第１の例におけるそれを同じである。

第３の例は、第１の例に対して、赤外光投光期間と同じタイミングで電子シャッタの開期間を設定したものである。第３の例においても、色ずれを軽減させることができる。

第２または第３の例の制御方法を採用する撮像装置の構成を、第１の例の制御方法を採用する撮像装置の構成との相違点を中心としてまとめると次のとおりである。

電子シャッタ制御部７３は、撮像部３における電子シャッタの機能を制御する。第２の赤外光が投光されている状態で撮像部３を露光させる期間の中央のタイミングを第１のタイミングとする。第１または第３の赤外光が投光されている状態で撮像部３を露光させる期間の中央のタイミングを第２のタイミングとする。第１または第３のフレームの１フレーム期間の中央のタイミングを第３のタイミングとする。

電子シャッタ制御部７３は、第１のタイミングと第２のタイミングとの間隔を、第１のタイミングと第３のタイミングとの間隔よりも短く設定するよう、撮像部３を露光させる期間とタイミングとを制御する。

撮像装置の制御プログラム（コンピュータプログラム）をコンピュータで実行させることによって、以上の第２または第３の例の制御方法を採用する撮像装置の動作を実現させてもよい。

撮像装置の制御プログラムは、コンピュータに、撮像部３における電子シャッタの機能によって、第１のタイミングと第２のタイミングとの間隔を、第１のタイミングと第３のタイミングとの間隔よりも短く設定するよう、撮像部３を露光させる期間とタイミングとを制御する処理を実行させればよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

３ 撮像部
５ 映像処理部
９ 赤外線投光器
７１ 投光制御部
７３ 電子シャッタ制御部

Claims (4)

1. 赤外線投光器によって、赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光と、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光と、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光とをこの順で選択的に投光するよう、前記赤外線投光器を制御する投光制御部と、
   前記第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第１の撮像信号に基づく第１のフレームを生成し、前記第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第２の撮像信号に基づく第２のフレームを生成し、前記第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第３の撮像信号に基づく第３のフレームを生成する撮像部と、
   前記第１〜第３のフレームを合成して、映像信号のフレームを生成する映像処理部と、
   を備え、
   前記投光制御部は、前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定して、前記第１〜第３の赤外光を投光するよう前記赤外線投光器を制御する
   ことを特徴とする撮像装置。
2. 前記投光制御部は、前記第１のタイミングを、前記第２のフレームの１フレーム期間の中央である第４のタイミングに一致させて、前記第２の赤外光を投光するよう前記赤外線投光器を制御することを特徴とする請求項１記載の撮像装置。
3. 赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で被写体を撮像して、第１の撮像信号に基づく第１のフレームを生成する第１のステップと、
   前記第１のステップに続き、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第２の撮像信号に基づく第２のフレームを生成する第２のステップと、
   前記第２のステップに続き、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で前記被写体を撮像して、第３の撮像信号に基づく第３のフレームを生成する第３のステップと、
   前記第１〜第３のフレームを合成して、映像信号のフレームを生成する第４のステップと、
   を含み、
   前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定する
   ことを特徴とする撮像装置の制御方法。
4. コンピュータに、
   赤色と緑色と青色のうちの第１の色に対応付けられた第１の波長を有する第１の赤外光を投光させるよう、赤外線投光器を制御する第１のステップと、
   前記第１の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、撮像部によって被写体を撮像させて、第１の撮像信号に基づく第１のフレームを生成する第２のステップと、
   前記第１のステップに続き、赤色と緑色と青色のうちの第２の色に対応付けられた第２の波長を有する第２の赤外光を投光させるよう、前記赤外線投光器を制御する第３のステップと、
   前記第２の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、前記撮像部によって前記被写体を撮像させて、第２の撮像信号に基づく第２のフレームを生成する第４のステップと、
   前記第３のステップに続き、赤色と緑色と青色のうちの第３の色に対応付けられた第３の波長を有する第３の赤外光を投光させるよう、前記赤外線投光器を制御する第５のステップと、
   前記第３の赤外光が１フレーム期間の少なくとも一部で投光されている状態で、前記撮像部によって前記被写体を撮像させて、第３の撮像信号に基づく第３のフレームを生成する第６のステップと、
   前記第１〜第３のフレームを合成して、映像信号のフレームを生成する第７のステップと、
   を実行させ、
   前記第２の赤外光を投光する期間の中央である第１のタイミングと、前記第１または第３の赤外光を投光する期間の中央である第２のタイミングとの間隔を、前記第１のタイミングと、前記第１または第３のフレームの１フレーム期間の中央である第３のタイミングとの間隔よりも短く設定する
   ことを特徴とする撮像装置の制御プログラム。

Images