JP2006115540A - 画像合成装置 - Google Patents

Abstract

【課題】被写体の所望の画像領域に対して、少なくとも高解像度及び高色再現性の一方が維持された高画質化が実現可能な画像合成装置を提供する。
【解決手段】本発明に従った画像合成装置は、光学系３によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系３２よりも結像倍率が大きい光学系４によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と、前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段１０と、を備え、前記第１の画像情報に対して、合成する画像が所望の解像度を有する画像となるように補間処理が施されることを特徴としている。
【選択図】 図１

Description

本発明は、例えば限られた画素数を有する複数の撮像素子を用いて、被写体の重要な画像領域を高画質化する画像合成装置に関する。

例えば放送用カメラ等の高価なものが中心であったデジタルカメラが、近年になって低価格の製品も市販されるようになり、パーソナルコンピュータの画像入力機器等として一般的に広く用いられるようになってきた。そして、デジタル画像に対する高画質化や高精度な色再現性等の要求が高まりつつあり、銀塩写真と同レベルに高解像度であることや、また、ハイビジョン放送等にも適用可能なレベルの高解像度化が要求されている。

このような高解像度化の要求に対して、例えば画素数の増加や高密度化を目的として数百万画素のＣＣＤ等の撮像素子が開発されている。

しかしながら、このような高解像度化の要求には、撮像素子の受光部面積の制約上限界がある。更に、このような高画素数の撮像素子は、コスト的にも用途が限定される。

このため、高解像度の画像を得るための方法として、限られた画素数を有する複数枚の撮像素子を用いて一度の撮影により得られた撮像画像を合成する方法や、複数回の撮影により得られた撮像画像を合成する方法等が提案されている。例えば、画素相互をずらす方法、撮像素子の開口部をシャッターで制限した状態で撮像し、開口位置を変えて撮影された画像を合成することによって高解像度の画像を得る方法（特開平６−２７６４４８号公報参照）、低精細で広画角な全体静止画像と高精細で狭画角な部分静止画像を複数枚撮像した後、夫々の画像を合成することにより高解像度の画像を得る方法（特開平６−２９２０５２号公報参照）、限られた画素数の撮像素子を用いて部分画像を同時に複数枚撮像した後、これらの画像を貼り合わせることによって高解像度の画像を得る方法（特開平７−１２３３１５号公報参照）等が提案されている。

また、カラー画像情報は、３種類の色フィルタを１枚のＣＣＤ画素上に適当に配置することによって疑似的に得ることができるが、高精度な色再現性を確保するためには、通常、３種類のフィルタが全面に配置された３枚の撮像素子を有する撮像装置が用いられる。
特開平６−２７６４４８号公報 特開平６−２９２０５２号公報 特開平６−２９２０５２号公報

ところで、例えば人物像や高空間周波数成分の多い領域を含む画像、焦点が合っている画像領域が狭い画像、被観測物が視野内で局所的に含まれる顕微鏡画像等のように、被写体内で特に高画質化が望まれる画像領域が局所的に存在する場合がある。

このような画像に対して画像全体を高画質化することは、画像全体の高画質化にあたって上記撮像装置の撮像素子を全画像領域に割り当てる必要がある関係上、無駄が多くなる。

また、上記特開平６−２７６４４８号公報、特開平７−１２３３１５号公報、特開平６−２９２０５２号公報等に開示されているように、画像全体を高解像度化する方法、静止画像を部分的に高解像度化する方法は多数提案されているが、動画像を部分的に高解像度化する方法は提案されていない。更に、同様の条件において、高精度な色再現方法も提案されていない。

そこで、本発明の目的は、被写体の所望の画像領域に対して、少なくとも高解像度及び高色再現性の一方が維持された高画質化が実現可能な画像合成装置を提供することにある。

このような目的を達成するために、本発明の画像合成装置は：光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と；前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と；を備え、前記第１の画像情報に対して、合成する画像が所望の解像度を有する画像となるように補間処理が施されることを特徴としている。

前述した目的を達成するために、本発明の別の画像合成装置は：光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と；前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と；を備え、前記第１の画像情報と前記第２の画像情報とが重なる部分における前記各画像情報の相関関係に基づいて、前記第１の画像情報の歪みが補正されることを特徴とする。

前述した目的を達成するために、本発明のさらに別の画像合成装置は：光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と；前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と；を備え、前記第１の画像情報と前記第２の画像情報とが重なる部分における前記各画像情報の相関関係に基づいて、前記第２の画像情報の歪みが補正されることを特徴とする。

上述した如く構成された本願の発明に従った画像合成装置によれば、被写体の所望の画像領域に対して、少なくとも高解像度及び高色再現性の一方が維持された高画質化が実現可能である。

以下、本発明の第１の実施の形態に係る画像合成装置を含む撮像装置について、図１を参照して説明する。

図１に示すように、本実施の形態の画像合成装置を含む撮像装置は、第１の撮像手段即ち第１のＣＣＤ１と、この第１のＣＣＤ１に被写体像を結像する第１の光学系３と、第２の撮像手段即ち第２のＣＣＤ２と、第１の光学系３よりも結像倍率が大きく且つ第２のＣＣＤ２に被写体像を結像する第２の光学系４（図１において正確にいうと、第２の光学系は、第１の光学系３、ハーフミラー５及び光学系４で構成されるが、以下では説明の簡略化のため「第２の光学系４」と表す）と、第１のＣＣＤ１によって撮像された画像情報と第２のＣＣＤ２によって撮像された画像情報とを合成する合成手段即ち合成部１０とを備えている。

第１の光学系３の光軸上には、第１のＣＣＤ１と第１の光学系３との間にハーフミラー５が配置されており、このハーフミラー５によって、第１の光学系３の光軸は、第１及び第２の光軸６，７に分割されている。

第１の光学系３からハーフミラー５を介して延出する第１の光軸６上には、第１の光学系３の第１の予定結像面８が規定されており、この第１の予定結像面８に第１のＣＣＤ１が配置されている。一方、第１の光学系３からハーフミラー５を介して延出する第２の光軸７上には、第２の光学系４及びこの第２の光学系４の第２の予定結像面９が規定されており、この第２の予定結像面９に第２のＣＣＤ２が配置されている。

また、第１及び第２のＣＣＤ１，２は、信号伝送手段（図示しない）によって合成部１０に電気的に接続されている。

なお、第１及び第２の光学系３，４は、夫々、複数のレンズ等（図示しない）から構成されているが、同図では模式的に単一レンズによって表した。

次に、本実施の形態の動作について説明する。

第１の光学系３によって集光された被写体の像光は、ハーフミラー５によって透過光と反射光に分割される。

ハーフミラー５を透過した透過光は、第１の予定結像面８に配置された第１のＣＣＤ１上に結像され、この第１のＣＣＤ１によって被写体の像光全体が撮像される。

一方、ハーフミラー５から反射した反射光は、第１の光学系３よりも大きな結像倍率を有する第２の光学系４によって第２の予定結像面９に配置された第２のＣＣＤ２上に結像され、この第２のＣＣＤ２によって被写体の像光の一部が撮像される。なお、この第２のＣＣＤ２の撮像領域は、第１のＣＣＤ１の撮像領域の略中央に規定されており、第２の光学系４の結像倍率に対応して、撮像領域の大きさや解像度を定めることが可能である。

第１及び第２のＣＣＤ１，２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、後述する第４の実施の形態で説明するような高解像度化や、後述する第７の実施の形態で説明するような高色再現等の目的に応じた信号合成処理が施されることによって、１枚の合成画像が作成されることになる。

本実施の形態において、この１枚の合成画像の全体の画像領域において、第１のＣＣＤ１独自の画像領域には、この第１のＣＣＤ１によって撮像処理された画像データが適用され、且つ、第１及び第２のＣＣＤ１，２の共通の画像領域には、少なくとも第２のＣＣＤ２によって撮像処理された画像データが適用される。従って、上記１枚の合成画像は、部分的に高画質化された合成画像となっている。なお、合成部１０によって作成された合成画像は、図示しない記憶部に記憶されるか、或いは、即時に所定の回路ユニット（図示しない）へ出力される。

このように本実施の形態によれば、被写体の所望の画像領域に対して、高解像度及び高色再現性が維持された高画質化が実現可能な画像合成装置を含む撮像装置を提供することが可能となる。

なお、本発明は、上記第１の実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、ハーフミラー５の代わりに、プリズム等の任意の光波面分割手段を用いてもよい。また、被写体の像光をハーフミラー５によって２分割した後、２つの分割光を夫々相対的に結像倍率の異なる第１及び第２の光学系によって第１及び第２のＣＣＤ１，２に結像させるように構成してもよい。更に、ハーフミラー５によって複数の分割光に分割することも可能であり、この場合には、上記第１の実施の形態と同様の方法を用いることによって、１枚の合成画像中に複数の高画質化領域を任意に設定することが可能となる。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。

次に、本発明の第２の実施の形態に係る画像合成装置を含む撮像装置について、図２を参照して説明する。なお、本実施の形態の説明に際し、第１の実施の形態と同一の構成には、同一符号を付して、その説明を省略する。

図２に示すように、本実施の形態の画像合成装置を含む撮像装置は、第２の光学系４及び第２のＣＣＤ２を第２の光軸７に沿って所定方向へ移動制御することによって、第２の予定結像面９上の結像倍率を所望の値に変更可能な駆動部１１と、この駆動部１１に接続され、第２の光学系４の結像倍率の調整及び第２のＣＣＤ２の位置変更を行うための制御部１２とを備えている。

駆動部１１は、第２の光学系４を第２の光軸７に沿って移動或いは第２の光軸７方向に調整することによって第２の予定結像面９上の結像倍率を変更すると共に、第２のＣＣＤ２を第２の光軸７方向又は第２の予定結像面９に沿って移動制御するように構成されている。

制御部１２は、信号伝送手段（図示しない）によって、駆動部１１及び合成部１０に電気的に接続されている。また、合成部１０には、液晶モニタ１３が電気的に接続されており、この液晶モニタ１３は、合成部１０から伝送された画像信号に基づいて、所定の画像領域を液晶表示するように構成されている。なお、他の構成は、第１の実施の形態と同一であるため、その説明は省略する。

以下、本実施の形態の動作について説明する。

撮像を開始する際、駆動部１１は、制御部１２からの制御信号に基づいて、第２の光学系４及び第２のＣＣＤ２を所定方向へ移動することによって、第２のＣＣＤ２の予定撮像領域を設定する。

制御部１２から駆動部１１へ伝送する制御信号の設定方法は、液晶モニタ１３上に表示された第１及び第２のＣＣＤ１，２の予定撮像領域に基づいて撮影者自身で設定する第１の方法、或いは、合成部１０から出力された第１のＣＣＤ１の予定撮像画像データと目的に応じて予め設定された制御部１２内のアルゴリズムに従った計算データによって自動的に設定する第２の方法等を適用することが可能である。なお、第１の方法が適用される例としては、人物像の顔等を選択する場合が該当する。第２の方法が適用される例としては、第１のＣＣＤ１の予定撮像画像を複数の領域に分割した後、最も高空間周波数成分を多く含む領域に第２のＣＣＤ２を割り当てる場合が該当する。

第２のＣＣＤ２の予定撮像領域が設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像を得ることができる。

なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、液晶モニタ１３を所定の光学系を備えたファインダに組み込んでもよい。また、第２のＣＣＤ２を第２の予定結像面９上で０°〜４５°の範囲で回転させて、ＣＣＤ画素の配置を最適に調整するように構成してもよい。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。

次に、本発明の第３の実施の形態に係る画像合成装置を含む撮像装置について、図３を参照して説明する。なお、本実施の形態の説明に際し、第１の実施の形態と同一の構成には、同一符号を付して、その説明を省略する。

図３に示すように、本実施の形態の画像合成装置を含む撮像装置は、互いに透過率が異なる複数の光量制限手段即ちＮＤフィルタ（１４，１５）を有しており、これら複数のＮＤフィルタから所望のＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に選択的に配置可能に構成されたフィルタ駆動部１６と、第１及び第２のＣＣＤ１，２に結像する被写体の像光量を所望量に制限するように、フィルタ駆動部１６を駆動制御することによって、複数のＮＤフィルタから所望のＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に選択的に配置させる制御部１２とを備えている。なお、他の構成は、第１の実施の形態と同一であるため、その説明は省略する。

以下、本実施の形態の動作について説明する。

第１及び第２のＣＣＤ１，２によって画像処理された予定撮像画像は、信号伝送手段（図示しない）を介して合成部１０に伝送された後、更に制御部１２に伝送される。

制御部１２では、第１及び第２のＣＣＤ１，２の予定撮像画像に対する最適露光量を算出すると共に、最適露光量を与える最適なＮＤフィルタの選択処理が行われる。

フィルタ駆動部１６は、制御部１２から出力された選択指令に基づいて、選択したＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に配置する。

本実施の形態では、その一例として、ハーフミラー５と第１のＣＣＤ１との間の光路中に第１の光軸６を横断するように第１のＮＤフィルタ１４を配置させると共に、ハーフミラー５と第２の光学系４との間の光路中に第２の光軸７を横断するように第２のＮＤフィルタ１５を配置させる。なお、第１のＮＤフィルタ１４と第２のＮＤフィルタ１５は、可視光領域において夫々異なる略一定の透過率を有している。

この後、第１及び第２のＮＤフィルタ１４，１５を配置させた状態において、再び、第１及び第２のＣＣＤ１，２によって予定撮像画像を形成して、配置された第１及び第２のＮＤフィルタ１４，１５が最適なＮＤフィルタか否かの検索が行われる。

この検索処理の結果、第１及び第２のＮＤフィルタ１４，１５が最適な露光量を与えるＮＤフィルタとして設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像が得られる。

本実施の形態によれば、第１及び第２のＣＣＤ１，２のダイナミックレンジ（有効撮像範囲）よりも広範囲な階調画像に対する高画質化を実現することができる。

なお、図面上では、その一例として第１及び第２のＮＤフィルタ１４，１５が第１及び第２の光軸６，７上に配置されている状態を示したが、フィルタ駆動部１６には、複数のＮＤフィルタ（図示しない）がセットされているため、撮像目的や露光量の変更仕様に対応して任意のＮＤフィルタを選択配置させることができる。

また、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第２の光軸７上に選択的に配置させるＮＤフィルタの配置位置としては、図面上の位置に限定されず、第２の光学系４と第２のＣＣＤ２との間の光路中でもよい。また、図面上では、第１及び第２の光軸６，７上にＮＤフィルタを配置させているが、いずれか一方の光軸上にのみＮＤフィルタを配置すると共に他方の光軸上の露光時間を制御することによって、各ＣＣＤ１，２への最適露光を実現することができる。更に、第１及び第２の光軸６，７上にシャッターを配置し、それらを別々に駆動制御することによって、各ＣＣＤ１，２への最適露光を実現することもできる。また、第１及び第２のＣＣＤ１，２の光入射側に後述する第５の実施の形態に適用したような色フィルタを配置することも好ましい。

次に、本発明の第４の実施の形態に係る画像合成装置を含む撮像装置について、図４を参照して説明する。

図４に示すように、本実施の形態は、上記第１〜第３の実施の形態の画像合成装置を含む撮像装置に適用される第１及び第２のＣＣＤ１，２による出力画像データの処理に係り、他の構成は、上記第１〜第３の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。

図４（ａ），（ｂ）には、第１及び第２のＣＣＤ１，２から出力された画像データが示されており、格子状に縦横に規則的に囲まれた個々の正方形領域が、各ＣＣＤ１，２の１画素に対応している。また、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９画素が、第２のＣＣＤ２ （同図（ｂ）参照）の全撮像領域に対応している。

なお、第１のＣＣＤ１の画像データ（同図（ａ）参照）、第２のＣＣＤ２の画像データ（同図（ｂ）参照）において、第１の光学系３（図１〜図３参照）及び第２の光学系４（図１〜図３参照）の光軸は、第１及び第２のＣＣＤ１，２の撮像領域の中心に位置付けられている。

また、図４（ｃ）には、合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像が示されている。この合成画像は、第２のＣＣＤ２の解像度を有するが、便宜上、第２のＣＣＤ２の撮像領域のみが実際の解像度で示されている。

本実施の形態では、合成画像（同図（ｃ）参照）の解像度を第１のＣＣＤ１の解像度よりも大きく設定した状態において、合成画像のうち、第１のＣＣＤ１のみによって撮像された画像領域には、第１のＣＣＤ１の画像データのみを適用し、且つ、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域には、第２のＣＣＤ２の画像データのみを適用する。

この場合、第２のＣＣＤ２の画像データを合成する際には、合成画像領域内に適用された第１のＣＣＤ１に画像データを基準に画像合成処理が行われる。この結果、全画像領域で同倍率の画像が合成されることになる。

このように本実施の形態によれば、合成画像内において、第２のＣＣＤ２により撮像された画像領域を高解像度化させることが可能となる。

なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第２のＣＣＤ２の結像倍率を任意に設定することが可能であり、第２のＣＣＤ２上の結像倍率を第１のＣＣＤ１上の結像倍率より小さくして、第１及び第２のＣＣＤ１，２の役割を交換することも可能である。また、第１及び第２のＣＣＤ１，２上の像の歪みに相違が生じた場合、画像合成の際、画像相互の重なり部分の相関関係を考慮することによって簡単に補正することが可能である。また、合成画像に違和感が生じない領域のみに第２のＣＣＤ２の画像データを用いることもできる。また、第２の光学系４の結像倍率を調整するか、若しくは、第２の光学系４を除去して第１及び第２のＣＣＤ１，２上の結像倍率を相互に等しくした状態において、駆動部１１（図２参照）によって第１及び第２のＣＣＤ１，２の位置を被写体に対して半画素分ずらす。この結果、従来提案されていた画素ずらし法に基づく高解像度化が可能となり、部分的に高解像度化が望まれる領域がない場合でも、第２のＣＣＤ２を効果的に高画質化に用いることができる。

次に、本発明の第５の実施の形態に係る画像合成装置を含む撮像装置について、図５を参照して説明する。なお、本実施の形態は、上記第１〜第４の実施の形態の改良に係り、その主要な構成は、上記第１の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。

図５に示すように、ハーフミラー５（本実施の形態では、仮に、このハーフミラー５を第１のハーフミラー５と称する）を介して延出する第１の光軸６上には、第２のハーフミラー１７が配置されており、この第２のハーフミラー１７によって第３の光軸２２が規定されている。また、この第３の光軸２２上には、第３のハーフミラー１８が配置されており、この第３のハーフミラー１８によって第４の光軸２３が規定されている。

更に、第１の光軸６上に規定される結像面には、第１のＣＣＤ２０ａが設けられており、この第１のＣＣＤ２０ａの光入射側には、その全面に青色成分を有する光を透過可能な第１の色フィルタ１９ａが配置されている。第３の光軸２２上に規定される結像面には、第３のＣＣＤ２０ｃが設けられており、この第３のＣＣＤ２０ｃの光入射側には、その全面に赤色成分を有する光を透過可能な第２の色フィルタ１９ｃが配置されている。そして、第４の光軸２３上に規定される結像面には、第４のＣＣＤ２０ｂが設けられており、この第４のＣＣＤ２０ｂの光入射側には、その全面に緑色成分を有する光を透過可能な第３の色フィルタ１９ｂが配置されている。

これら第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、信号伝送手段（図示しない）によって合成部１０に電気的に接続されている。また、第２のＣＣＤ２の光入射側には、高色再現化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置されている。

以下、本実施の形態の動作について説明する。

なお、第１の光学系３から第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂまでの距離は、夫々同一であって且つ各ＣＣＤ２０ａ，２０ｃ，２０ｂ上の結像倍率も同一に設定されている。

第１の光学系３によって集光された被写体の像光は、第１のハーフミラー５によって透過光と反射光に分割される。

第１のハーフミラー５を透過した透過光は、第２のハーフミラー１７によって更に透過光と反射光に分割された後、その透過光は、第１の色フィルタ１９ａを介して第１のＣＣＤ２０ａ上に結像し、その反射光は、第３のハーフミラー１８によって更に透過光と反射光に分割される。

第３のハーフミラー１８を透過した透過光は、第２の色フィルタ１９ｃを介して第３のＣＣＤ２０ｃ上に結像し、第３のハーフミラー１８から反射した反射光は、第３の色フィルタ１９ｂを介して第４のＣＣＤ２０ｂ上に結像する。

一方、第１のハーフミラー５から反射した反射光は、第２の光学系４によって第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂに対する倍率よりも拡大された倍率で第２の予定結像面９上に結像される。このため、高色再現化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置された第２のＣＣＤ２上には、第２の予定結像面９上に結像された拡大像の一部が結像されることになる。なお、第２のＣＣＤ２の撮像領域は、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの撮像領域の略中央に規定されており、第２の光学系４の結像倍率に対応して、撮像領域の大きさや解像度を定めることが可能である。

第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、第２のＣＣＤ２の解像度を有する画像に合成される。

合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのみによって撮像された画像領域には、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの画像データが適用される。しかしながら、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、第２のＣＣＤ２よりも解像度が低いため、各画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。

一方、合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像された画像領域において、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１の画像データは、第２のＣＣＤ２によって撮像された画像データを適用し、その他２つの色に対応した画像データは、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのいずれか２つの画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。

このような撮像処理を施すことによって、高解像度化を希望する青，赤，緑のいずれかの色成分を有する対応した画像領域のうち、所望の領域が部分的に高解像度化された合成画像を得ることができる。

なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、各色フィルタと各ＣＣＤとを夫々別途設ける代わりに、青，赤，緑のいずれかの色成分を有する光を透過可能な色フィルタを各画素に対して一体的に配置された色フィルタ付きＣＣＤを用いてもよい。この場合には、部分的な高解像度化に加えて青，赤，緑のいずれかの色成分に対する更に高精度な色再現性が実現される。また、第１〜第３のハーフミラー５，１７，１８の代わりに、プリズム等の光路分割手段を用いてもよい。

次に、本発明の第６の実施の形態に係る画像合成装置を含む撮像装置について、図６を参照して説明する。

図６に示すように、本実施の形態は、上記第１〜第４の実施の形態の画像合成装置を含む撮像装置に適用される第１及び第２のＣＣＤ１，２による出力画像データの処理に係り、他の構成は、上記第１〜第４の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。

図６（ａ），（ｂ）には、第１及び第２のＣＣＤ１，２から出力された画像データが示されており、格子状に縦横に規則的に囲まれた個々の正方形領域が、各ＣＣＤ１，２の１画素に対応している。また、第１及び第２のＣＣＤ１，２は、相互に同一画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９画素が、第２のＣＣＤ２（同図（ｂ）参照）の全撮像領域に対応している。

なお、第１のＣＣＤ１の画像データ（同図（ａ）参照）、第２のＣＣＤ２の画像データ（同図（ｂ）参照）において、第１の光学系３（図１〜図３参照）及び第２の光学系４（図１〜図３参照）の光軸は、第１及び第２のＣＣＤ１，２の撮像領域の中心に位置付けられている。

また、図６（ｃ）には、合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像が示されている。この合成画像は、第２のＣＣＤ２によって撮像された中央画像領域（同図（ｃ）中、中央の格子間隔が狭まっている部分）が、第１のＣＣＤ１のみによって撮像された周辺画像領域よりも高倍率な画像となっている。

本実施の形態において、撮影者は、液晶モニタ１３（図２参照）の表示画像に基づいて、第２のＣＣＤ２によって撮像された中央画像領域に現された被写体の重要部を高倍率で観察しながら、第１のＣＣＤ１によって撮像された周辺画像領域を広画角で観察することができる。この結果、撮像目的や撮像対象に対応して被写体の重要部が変わった場合でも、短時間且つ簡単に第２のＣＣＤ２の撮像領域を新たな重要部へ移動させることができる。なお、合成画像は、所定の記憶部（図示しない）に記憶させるか、或いは、即時に出力させることになる。

このように本実施の形態によれば、撮像領域が部分的に拡大された場合でも、その拡大率に対応した高解像度な合成画像を得ることができる。

なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、重要部とその周辺部の合成は、夫々の領域で特定の解像度を用いるのではなく、合成画像内において第１及び第２のＣＣＤ１，２の画像相互の境界が連続化するように、夫々の画像の解像度を連続的に変えることによって、重要部の中心付近では最も拡大率が大きく且つ境界付近では重要部と周辺部の拡大率が等しくなるようにさせることもできる。この場合の合成方法の用途としては、例えば、無人探査ロボットのカメラ撮影やスポーツ観戦時の撮影等に好適である。

次に、本発明の第７の実施の形態に係る画像合成装置を含む撮像装置について、図７及び図８を参照して説明する。

図７に示すように、本実施の形態は、上記第１〜第３の実施の形態の画像合成装置を含む撮像装置の改良に係り、第１及び第２のＣＣＤ１，２の光入射側に第１及び第２の色フィルタ３０，３１（図８（ａ），（ｂ）参照）を配置した点以外の他の構成は、上記第１〜第３の実施の形態と同一であるため、以下の説明では、相違点のみについて説明を加える。

図８（ａ），（ｂ）に示すように、第１及び第２の色フィルタ３０，３１は、第１及び第２のＣＣＤ１，２の画素配列に対応して、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子（同図において、符号Ｒ，Ｇ，Ｂで示す）が、縦横に一定の周期で規則的に配置されている。具体的には、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しているため、第１及び第２の色フィルタ３０，３１のフィルタ構成素子も各ＣＣＤ１，２の画素数及び画素サイズと同一のフィルタ数及びフィルタサイズを有して構成されている。

また、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されているため、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。例えば第１のＣＣＤ１（同図（ａ）参照）の中央の太枠線で囲まれた９個のフィルタ構成素子が、第２のＣＣＤ２（同図（ｂ）参照）の全てのフィルタ構成素子に対応している。具体的には、第１の色フィルタ３０の１個のフィルタ構成素子は、第２の色フィルタ３１において、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子を３個ずつ組み合わせたものに対応している。この場合、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子は、夫々、赤、緑、青の色成分情報を得るための透過特性を有しており、各フィルタ構成素子に対応した各画素から所定の色情報（画像データ）が得られる。

次に、本実施の形態の動作について説明する。

上記第１の実施の形態と同様の画像処理によって、第１及び第２のＣＣＤ１，２から出力された画像データは、合成部１０において、第１のＣＣＤ１の解像度を有する画像に合成される（同図（ｃ）参照）。

このような合成画像において、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域の色情報（仮に、重複色情報と称する）のうち、第１の色フィルタ３０に対応する色情報は、第１のＣＣＤ１の出力色情報を適用し、その他の色情報は、第２の色フィルタ３１に対応した第２のＣＣＤ２の出力色情報（第１のＣＣＤ１の各画素に対応した複数画素の色情報）を適用する。具体的には、上記重複色情報のうち、第１の色フィルタ３０に対応する色情報（例えば、赤（Ｒ））は、この色（Ｒ）の光を透過可能なフィルタ構成素子に対応した第１のＣＣＤ１の各画素からの出力色情報（Ｒ）を適用し、その他の２色の色情報（即ち、青（Ｂ），緑（Ｇ））は、これら２つの色（Ｂ，Ｇ）の光を透過可能なフィルタ構成素子に対応した第２のＣＣＤ２の各画素からの出力色情報（Ｂ，Ｇ）の平均値を適用する。

一方、上記合成画像において、第１のＣＣＤ１のみによって撮像された画像領域の色情報は、第１の色フィルタ３０に対応した第１のＣＣＤ１の出力色情報、及び、隣接した画素相互の色情報に補間処理を施して求めた出力色情報とを適用する。

このように本実施の形態によれば、第１のＣＣＤ１によって撮像された画像領域の色情報はかならずしも正確ではないが、第２のＣＣＤ２の撮像領域では、第１のＣＣＤ１の１画素に対応する領域に、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子が含まれるため、全ての色情報をサンプリングすることができる。この結果、高精度な色再現性を実現することが可能となるため、撮像領域が部分的に高色再現された合成画像を得ることができる。

なお、本発明は、上記各実施の形態の構成に限定されることはなく、新規事項を追加しない範囲で各種の変形や変更が可能である。例えば、第１及び第２の色フィルタ３０，３１のフィルタ構成素子の種類，配置，サイズ，画素数は、同一である必要はなく、例えば補色フィルタを使用したり、或いは、各種色フィルタをランダムに配置させる等、各種の組み合わせが可能で、画像合成の際の処理方法を変えることによって、高色再現の効果を得ることができる。この場合、例えば、図７（ｄ）に示すように、第２の色フィルタ３１の代わりに、Ｆ１からＦ９から成る９種類の色フィルタを縦横に並んだ３画素の領域内に規則的に配置させたフィルタを用いることが好ましい。この結果、部分領域内の各画素について近似的なマルチ色情報を得ることができる。

また、第１のＣＣＤ１に対する第２のＣＣＤ２上の結像倍率は、任意に設定することができる。この場合、例えば制御部１２（図２及び図３参照）からの設定情報や第１及び第２のＣＣＤ１，２の相関情報に基づいて、各色フィルタの対応関係を求めることによって、部分画像の高色再現を実現することができる。

なお、本明細書中には、以下のような発明が含まれる。

１． 第１の撮像手段と、
この第１の撮像手段に被写体像を結像する第１の光学系と、
第２の撮像手段と、
前記第１の光学系よりも結像倍率が大きく且つ前記第２の撮像手段に前記被写体像を結像する第２の光学系と、
前記第１の撮像手段によって撮像された画像情報と前記第２の撮像手段によって撮像された画像情報とを合成する合成手段とを備えていることを特徴とする撮像装置。

（対応する発明の実施の形態）
この発明は、主に第１の実施の形態（図１参照）が対応する。

第１及び第２の撮像手段は、第１及び第２のＣＣＤ１，２が該当し、合成手段は、合成部１０が該当する。

（作用・効果）
第１の光学系によって集光された被写体の像光は、第１の光学系の光軸上に配置されたハーフミラーによって透過光と反射光に分割され、その透過光は、第１の撮像手段に結像し、その反射光は、第１の光学系よりも大きな結像倍率を有する第２の光学系を介して第２の撮像手段に結像する。また、第２の撮像手段の撮像領域は、第１の撮像手段の撮像領域の略中央に規定されている。また、合成手段は、第２の撮像手段によって撮像された高解像度の部分画像と、第１の撮像手段によって撮像された全体画像とを高画質化の目的に応じた方法によって１枚の合成画像とする。

この１枚の合成画像の全体の画像領域において、第１のＣＣＤ１独自の画像領域には、この第１のＣＣＤ１によって撮像処理された画像データが適用され、且つ、第１及び第２のＣＣＤ１，２の共通の画像領域には、少なくとも第２のＣＣＤ２によって撮像処理された画像データが適用される。従って、上記１枚の合成画像は、部分的に高画質化された合成画像となっている。

本発明によれば、被写体の所望の画像領域に対して、高解像度及び高色再現性が維持された高画質化が実現可能な撮像装置を提供することが可能となる。

２． 前記第１の撮像手段が撮像する第１の画像領域内の所望位置に前記第２の撮像手段が撮像する第２の画像領域を位置付けるように、前記第２の光学系及び前記第２の撮像手段を所定方向へ移動制御する移動手段と、
前記第１の画像領域に対する前記第２の画像領域の位置設定を行う位置設定手段とを更に備え、
前記合成手段は、前記位置設定手段から出力される情報に基づいて、前記第１の撮像手段によって撮像された画像情報と前記第２の撮像手段によって撮像された画像情報とを合成することを特徴とする上記１に記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第２の実施の形態（図２）が対応する。

移動手段は、駆動部１１が該当し、位置設定手段は、制御部１２が該当する。（作用・効果）
撮像を開始する際、駆動部１１は、制御部１２からの制御信号に基づいて、第２の光学系４及び第２のＣＣＤ２を所定方向へ移動することによって、第２のＣＣＤ２の予定撮像領域を設定する。

制御部１２から駆動部１１へ伝送する制御信号の設定方法は、液晶モニタ１３上に表示された第１及び第２のＣＣＤ１，２の予定撮像領域に基づいて撮影者自身で設定する第１の方法、或いは、合成部１０から出力された第１のＣＣＤ１の予定撮像画像データと目的に応じて予め設定された制御部１２内のアルゴリズムに従った計算データによって自動的に設定する第２の方法等を適用することが可能である。なお、第１の方法が適用される例としては、人物像の顔等を選択する場合が該当する。第２の方法が適用される例としては、第１のＣＣＤ１の予定撮像画像を複数の領域に分割した後、最も高空間周波数成分を多く含む領域に第２のＣＣＤ２を割り当てる場合が該当する。

第２のＣＣＤ２の予定撮像領域が設定された後、第１の実施例と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像を得ることができる。

３． 互いに透過率が異なる複数の光量制限手段と、
これら複数の光量制限手段から所望の光量制限手段を前記第１の光学系と前記第１の撮像手段との間の第１の光路、及び、前記第１の光学系と前記第２の撮像手段との間の第２の光路の少なくとも一方の光路中に選択的に配置可能に構成された光量制限手段駆動部と、
前記第１及び第２の撮像手段に結像する前記被写体像の光量を所望量に制限するように、前記光量制限手段駆動部を駆動制御することによって、前記複数の光量制限手段のうち、所望の光量制限手段を前記第１の光路及び前記第２の光路の少なくとも一方の光路中に選択的に配置させる制御手段とを更に備えていることを特徴とする上記１又は２に記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第３の実施の形態（図３）が対応する。

光量制限手段は、フィルタ駆動部１６に収容された複数のＮＤフィルタが該当し、制御手段は、制御部１２が該当する。

（作用・効果）
第１及び第２のＣＣＤ１，２によって画像処理された予定撮像画像は、信号伝送手段（図示しない）を介して合成部１０に伝送された後、更に制御部１２に伝送され、第１及び第２のＣＣＤ１，２の予定撮像画像に対する最適露光量を算出すると共に、最適露光量を与える最適なＮＤフィルタの選択処理が行われる。

フィルタ駆動部１６は、制御部１２から出力された選択指令に基づいて、選択したＮＤフィルタを第１の光軸６及び第２の光軸７の少なくとも一方の光軸上に配置する。

この後、第１及び第２のＮＤフィルタ１４，１５を配置させた状態において、再び、第１及び第２のＣＣＤ１，２によって予定撮像画像を形成して、配置された第１及び第２のＮＤフィルタ１４，１５が最適なＮＤフィルタか否かの検索が行われる。

この検索処理の結果、第１及び第２のＮＤフィルタ１４，１５が最適な露光量を与えるＮＤフィルタとして設定された後、第１の実施の形態と同様の撮像処理が施されることによって、所望の領域が部分的に高画質化された１枚の合成画像が得られる。

本発明によれば、第１及び第２のＣＣＤ１，２のダイナミックレンジ （有効撮像範囲）よりも広範囲な階調画像に対する高画質化を実現することができる。 ４． 前記合成手段の画像合成処理に際し、合成画像の解像度を前記第１の撮像手段の解像度よりも大きく設定した状態において、前記第１の撮像手段のみによって撮像された画像領域には、前記第１の撮像手段のみによって撮像された画像データを適用し、且つ、前記第１及び第２の撮像手段によって重複撮像された画像領域には、前記第２の撮像手段によって撮像された画像データを適用して、全画像領域で同倍率の画像を合成することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第４の実施の形態（図４）が対応する。

第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。従って、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。

（作用・効果）
本発明において、合成画像の解像度を第１のＣＣＤ１の解像度よりも大きく設定した状態において、合成画像のうち、第１のＣＣＤ１のみによって撮像された画像領域には、第１のＣＣＤ１の画像データのみを適用し、且つ、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域には、第２のＣＣＤ２の画像データのみを適用する。

この場合、第２のＣＣＤ２の画像データを合成する際には、合成画像領域内に適用された第１のＣＣＤ１の画像データを基準に画像合成処理が行われる。この結果、全画像領域で同倍率の画像が合成されることになる。

本発明によれば、合成画像内において、第２のＣＣＤ２により撮像された画像領域を高解像度化させることが可能となる。

５． 前記第１の撮像手段は、複数の撮像素子から構成されており、これら複数の撮像素子の光入射側には、夫々、所定の色成分を有する光に対応した透過特性を有する色フィルタが配置されており、また、前記第２の撮像手段の光入射側には、前記所定の色成分のうち所望の色成分を有する光に対応した透過特性を有する色フィルタが配置されていることを特徴とする上記４に記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第５の実施の形態（図５）が対応する。

第１の撮像手段は、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂが該当し、この第１の撮像手段の光入射側の色フィルタは、第１〜第３の色フィルタ１９ａ，１９ｃ，１９ｂが該当する。第２の撮像手段は、第２のＣＣＤ２が該当し、この第２の撮像手段の光入射側の色フィルタは、第４の色フィルタ２１が該当する。

（作用・効果）
第１の光学系３によって集光された被写体の像光は、第１のハーフミラー５によって透過光と反射光に分割される。

第１のハーフミラー５を透過した透過光は、第２のハーフミラー１７によって更に透過光と反射光に分割された後、その透過光は、第１の色フィルタ１９ａを介して第１のＣＣＤ２０ａ上に結像し、その反射光は、第３のハーフミラー１８によって更に透過光と反射光に分割される。

第３のハーフミラー１８を透過した透過光は、第２の色フィルタ１９ｃを介して第３のＣＣＤ２０ｃ上に結像し、第３のハーフミラー１８から反射した反射光は、第３の色フィルタ１９ｂを介して第４のＣＣＤ２０ｂ上に結像する。

一方、第１のハーフミラー５から反射した反射光は、第２の光学系４によって第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂに対する倍率よりも拡大された倍率で第２の予定結像面９上に結像される。このため、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１が全面に配置された第２のＣＣＤ２上には、第２の予定結像面９上に結像された拡大像の一部が結像されることになる。

第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像処理された画像データは、夫々、信号伝送手段を介して合成部１０に伝送された後、この合成部１０において、第２のＣＣＤ２の解像度を有する画像に合成される。

合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのみによって撮像された画像領域には、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂの画像データが適用される。しかしながら、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂは、第２のＣＣＤ２よりも解像度が低いため、各画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。

一方、合成画像のうち、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂ並びに第２のＣＣＤ２によって撮像された画像領域において、高解像度化を希望する青，赤，緑のいずれかの色成分を有する光を透過可能な第４の色フィルタ２１の画像データは、第２のＣＣＤ２によって撮像された画像データを適用し、その他２つの色に対応した画像データは、第１，第３及び第４のＣＣＤ２０ａ，２０ｃ，２０ｂのいずれか２つの画像データに対して補間処理を施すことによって所望の解像度を有する合成画像を得ている。

このような撮像処理を施すことによって、高解像度化を希望する青，赤，緑のいずれかの色成分を有する対応した画像領域のうち、所望の領域が部分的に高解像度化された合成画像を得ることができる。

６． 前記合成手段の画像合成処理に際し、前記第１の撮像手段によって撮像された画像領域に対して前記第２の撮像手段によって撮像された画像領域が高倍率画像となるように、画像を合成することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第６の実施の形態（図６）が対応する。

第１及び第２のＣＣＤ１，２は、相互に同一画素数及び画素サイズを有しており、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されている。

（作用・効果）
合成部１０（図１〜図３参照）によって、第１のＣＣＤ１の画像データと第２のＣＣＤ２の画像データに合成処理を施した合成画像は、第２のＣＣＤ２によって撮像された中央画像領域（図６（ｃ）中、中央の格子間隔が狭まっている部分）が、第１のＣＣＤ１のみによって撮像された周辺画像領域よりも高倍率な画像となっている。

本発明において、撮影者は、液晶モニタ１３（図２参照）に表示画像に基づいて、第２のＣＣＤ２によって撮像された中央画像領域に現された被写体の重要部を高倍率で観察しながら、第１のＣＣＤ１によって撮像された周辺画像領域を広画角で観察することができる。この結果、撮像目的や撮像対象に対応して被写体の重要部が変わった場合でも、短時間且つ簡単に第２のＣＣＤ２の撮像領域を新たな重要部へ移動させることができる。なお、合成画像は、所定の記憶部（図示しない）に記憶させるか、或いは、即時に出力させることになる。

本発明によれば、撮像領域が部分的に拡大された場合でも、その拡大率に対応した高解像度な合成画像を得ることができる。

７． 前記第１の撮像手段の光入射側には、前記第１の撮像手段の各画素に対応して配置され且つ複数色の光に対する透過特性を有する複数のフィルタ構成素子から成る第１の色フィルタが設けられており、
また、前記第２の撮像手段の光入射側には、前記第２の撮像手段の各画素に対応して配置され且つ複数色の光に対する透過特性を有する複数のフィルタ構成素子から成る第２の色フィルタが設けられており、
前記合成手段の画像合成処理に際し、前記第１及び第２の撮像手段によって重複撮像された画像領域の色情報のうち、前記第１の色フィルタに対応する色情報は、前記第１の撮像手段の出力色情報を適用し、その他の色情報は、前記第２の色フィルタに対応した前記第２の撮像手段の出力色情報を適用すると共に、前記第１の撮像手段のみによって撮像された画像領域の色情報は、前記第１の色フィルタに対応した前記第１の撮像手段の出力色情報、及び、隣接した画素相互の色情報に補間処理を施した出力色情報とを適用することを特徴とする上記１ないし３のいずれか一つに記載の撮像装置。

（対応する発明の実施の形態）
この発明は、主に第７の実施の形態（図７及び図８）が対応する。

本発明において、第１及び第２の色フィルタ３０，３１は、第１及び第２のＣＣＤ１，２の画素配列に対応して、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能なフィルタ構成素子（同図において、符号Ｒ，Ｇ，Ｂで示す）が、縦横に一定の周期で規則的に配置されている。具体的には、第１及び第２のＣＣＤ１，２は、相互に同一の画素数及び画素サイズを有しているため、第１及び第２の色フィルタ３０，３１のフィルタ構成素子も各ＣＣＤ１，２の画素数及び画素サイズと同一のフィルタ数及びフィルタサイズを有して構成されている。 また、第２のＣＣＤ２上の結像倍率は、第１のＣＣＤ１上の結像倍率の３倍に設定されているため、第１のＣＣＤ１の１画素は、第２のＣＣＤ２の９画素分に対応している。

（作用・効果）
上記第１の実施の形態と同様の画像処理によって、第１及び第２のＣＣＤ１，２から出力された画像データは、合成部１０において、第１のＣＣＤ１の解像度を有する画像に合成される。

このような合成画像において、第１及び第２のＣＣＤ１，２によって重複撮像された画像領域の色情報（仮に、重複色情報と称する）のうち、第１の色フィルタ３０に対応する色情報は、第１のＣＣＤ１の出力色情報を適用し、その他の色情報は、第２の色フィルタ３１に対応した第２のＣＣＤ２の出力色情報（第１のＣＣＤ１の各画素に対応した複数画素の色情報）を適用する。具体的には、上記重複色情報のうち、第１の色フィルタ３０に対応する色情報（例えば、赤（Ｒ））は、この色（Ｒ）の光を透過可能なフィルタ構成素子に対応した第１のＣＣＤ１の各画素からの出力色情報（Ｒ）を適用し、その他の２色の色情報（即ち、青 （Ｂ），緑（Ｇ））は、これら２つの色（Ｂ，Ｇ）の光を透過可能なフィルタ構成素子に対応した第２のＣＣＤ２の各画素からの出力色情報（Ｂ，Ｇ）の平均値を適用する。

一方、上記合成画像において、第１のＣＣＤ１のみによって撮像された画像領域の色情報は、第１の色フィルタ３０に対応した第１のＣＣＤ１の出力色情報、及び、隣接した画素相互の色情報に補間処理を施した出力色情報とを適用する。 このように本実施の形態によれば、第１のＣＣＤ１によって撮像された画像領域の色情報はかならずしも正確ではないが、第２のＣＣＤ２の撮像領域では、第１のＣＣＤ１の１画素に対応する領域に、赤（Ｒ），緑（Ｇ），青（Ｂ）の色成分を有する光を透過可能な３個のフィルタ構成素子が含まれるため、全ての色情報をサンプリングすることができる。この結果、高精度な色再現性を実現することが可能となるため、撮像領域が部分的に高色再現された合成画像を得ることができる。

本発明の第１の実施の形態に係る画像合成装置を含む撮像装置の構成を示す図。 本発明の第２の実施の形態に係る画像合成装置を含む撮像装置の構成を示す図。 本発明の第３の実施の形態に係る画像合成装置を含む撮像装置の構成を示す図。 （ａ）は、本発明の第４の実施の形態に係る画像合成装置を含む撮像装置に適用された第１のＣＣＤから出力された画像データを示す図、（ｂ）は、本発明の第４の実施の形態に係る画像合成装置を含む撮像装置に適用された第２のＣＣＤから出力された画像データを示す図、（ｃ）は、本発明の第４の実施の形態に係る画像合成装置を含む撮像装置に適用された合成部において、合成処理が施された合成画像を示す図。 本発明の第５の実施の形態に係る画像合成装置を含む撮像装置の構成を示す図。 （ａ）は、本発明の第６の実施の形態に係る画像合成装置を含む撮像装置に適用された第１のＣＣＤから出力された画像データを示す図、（ｂ）は、本発明の第６の実施の形態に係る画像合成装置を含む撮像装置に適用された第２のＣＣＤから出力された画像データを示す図、（ｃ）は、本発明の第６の実施の形態に係る画像合成装置を含む撮像装置に適用された合成部において、合成処理が施された合成画像を示す図。 本発明の第７の実施の形態に係る画像合成装置を含む撮像装置の構成を示す図。 （ａ）は、本発明の第７の実施の形態に係る画像合成装置を含む撮像装置に適用された第１の色フィルタの構成を示す図、（ｂ）は、本発明の第７の実施の形態に係る画像合成装置を含む撮像装置に適用された第２の色フィルタの構成を示す図、（ｃ）は、本発明の第７の実施の形態に係る画像合成装置を含む撮像装置に適用された合成部において、合成処理が施された合成画像を示す図、（ｄ）は、本実施の形態の改良に係り、第２の色フィルタの代わりに、Ｆ１からＦ９から成る９種類の色フィルタを縦横に並んだ３画素の領域内に規則的に配置させたフィルタを用いた場合の構成を示す図。

符号の説明

１…第１のＣＣＤ、２…第２のＣＣＤ、３…第１の光学系、４…第２の光学系、５…ハーフミラー、６…第１の光軸、７…第２の光軸、８…第１の予定結像面、９…第２の予定結像面、１０…合成部。

Claims (5)

1. 光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と、
   前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と、
   を備え、
   前記第１の画像情報に対して、合成する画像が所望の解像度を有する画像となるように補間処理が施されることを特徴としている画像合成装置。
2. 前記第１の画像情報による画像が前記第２の画像情報による画像に対応した解像度となるように、前記第１の画像情報に対し補間処理が施されることを特徴とする請求項１に記載の画像合成装置。
3. 前記第１の撮像手段は複数存在するとともに、前記各第１の撮像手段は複数の異なる色成分のうちいずれかの色成分の光を撮像し、
   前記第２の撮像手段は前記各色成分のうちいずれか１つの色成分の光を撮像し、
   前記補間処理では、複数の前記第１の画像情報のうち、当該第２の撮像手段によって得られた画像情報の有する色成分以外の色成分を有する前記各第１の画像情報に、補間処理が施されることを特徴とする請求項２に記載の画像合成装置。
4. 光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と、
   前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と、
   を備え、
   前記第１の画像情報と前記第２の画像情報とが重なる部分における前記各画像情報の相関関係に基づいて、前記第１の画像情報の歪みが補正されることを特徴とする画像合成装置。
5. 光学系によって被写体像を結像させて撮像した当該被写体の第１の画像情報と、前記第１の画像情報を撮像した光学系よりも結像倍率が大きい光学系によって前記被写体像を結像させて撮像した当該被写体の第２の画像情報と、を伝送する伝送手段と、
   前記伝送手段により伝送された前記第１の画像情報と前記第２の画像情報とを合成する合成手段と、
   を備え、
   前記第１の画像情報と前記第２の画像情報とが重なる部分における前記各画像情報の相関関係に基づいて、前記第２の画像情報の歪みが補正されることを特徴とする画像合成装置。

Images