JP2017118197A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Abstract

【課題】複数の画像を用いて色補間処理の精度を向上させる画像処理装置および画像処理方法の提供
【解決手段】第１の画像データおよび第２の画像データは、各画素値が、撮像素子が備えるカラーフィルタを構成する複数の色成分の１つに対応する画像データである。また、第２の画像データは、第１の画像データと撮影範囲が重複し、かつ第１の画像データより解像度の高い画像データである。そして、第１の画像データの色補間を、第２の画総データを参照して行う。色補間処理は、第２の画像データを構成する画素値のうち、第１の画像データにおける補間対象の画素の位置に対応する位置もしくは対応する位置に最も近い位置の画素値を参照して行う。
【選択図】図７

Description

本発明は画像処理装置、画像処理方法、および撮像装置に関する。

現在、デジタルカメラ（スマートフォンやパーソナルコンピュータ等の電子機器に搭載されているものを含む）においては、単板式のカラー撮像素子が一般に用いられている。単板式のカラー撮像素子は、モザイクカラーフィルタ（以下、単にカラーフィルタという）を備え、色補間処理（デモザイキング）との組み合わせによりフルカラー画像の生成を実現する。

カラーフィルタを構成する色成分や配置方法には様々なバリエーションが存在するが、原色ベイヤー配列のカラーフィルタが広く用いられている。原色ベイヤー配列は、赤と緑を交互に配列した行と、緑と青とを交互に配列した行とが列方向に交互に出現する配列である。原色ベイヤー配列のカラーフィルタを備えた撮像素子（以下、ベイヤー型撮像素子という）では、画素の各々は赤（Ｒ），緑（Ｇ），青（Ｂ）のいずれか１つの輝度に応じた信号を出力する。

フルカラー画像は、画像を構成する各画素がＲＧＢ成分の値を有する画像である。従って、ベイヤー型撮像素子で得られる信号からフルカラー画像を生成するには、デモザイキングにより、各画素について２つの色成分の値を生成する必要がある。高画質の画像を得るためにデモザイキングに関して種々のアルゴリズムが提案されているが、他の位置の信号に基づいて補間を行うため、色モアレや偽色が発生しうる。

一方で、複数の撮像素子を用いて、高画質のフルカラー画質を得る方法も提案されている。特許文献１には、同じ構成の２つの撮像素子を、カラー撮像素子（水平６４０ＲＧＢ画素）およびモノクロ撮像素子（水平１９２０モノクロ画素）として用い、高解像度、高フレームレートの動画を得る技術が開示されている。具体的には、２つの撮像素子で交互に撮影を行ったのち、各撮像素子で得られた動画像をフレーム補間して撮影時の２倍のフレームレートの動画像に変換する。そして、同じ時刻に対応する２つのフレーム画像を合成し、輝度解像度が高い、撮影時の２倍のフレームレートを有するカラー動画像を生成している。

また特許文献２では、互いに１/２画素ずらして配置した第１および第２のベイヤ型撮像素子を用いて２つのフルカラー画像を生成し、画素を市松模様状に組み合わせて配置することにより、個々の撮像素子より高解像度の画像データを生成している。

特開２００９−１０５９８４号公報（段落０２１９〜０２３５） 特開２００１−１６９３０１号公報（段落００３７〜００４３）

特許文献１の技術によれば、輝度情報と色情報とを交互に取得しているため、情報の取得タイミングが異なり、特に動画撮影において合成画像の画質が低下する要因になる。
また、特許文献２は、２つの撮像素子で得た画像を色補間処理後に合成しており、色補間処理の精度向上については考慮されていない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、複数の画像を用いて色補間処理の精度を向上させる画像処理装置および画像処理方法の提供を目的とする。

上述の目的は、第１の画像データと、第１の画像データと撮影範囲が重複し、かつ第１の画像データより解像度の高い第２の画像データとを取得する取得手段と、第２の画像データを参照して、第１の画像データの色補間処理を実行する補間手段と、を有し、第１の画像データの各画素値は、第１の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、第２の画像データはの各画素値は、第２の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、補間手段は、第２の画像データを構成する画素値のうち、第１の画像データにおける補間対象の画素の位置に対応する位置もしくは対応する位置に最も近い位置の画素値を参照して補間対象の画素についての色補間処理を実行する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、複数の画像を用いて色補間処理の精度を向上させる画像処理装置および画像処理方法を提供できる。

実施形態に係わるデジタルカメラの機能構成例を示すブロック図 実施形態に係る撮像素子の構成例を示す模式図 第１および第２実施形態における画素の回路図 実施例に係る列ＡＤ部の”ＡＤ詳細”モードおよび”ＡＤ高速”モードの動作に関する図 第１実施形態における像の投影を説明する図 第１の撮像素子と第２の撮像素子の結像面のずれに関する図 第１実施形態における信号処理部の機能構成例を示すブロック図 実施形態における参照補間部のＧ画素の座標関係を説明した図 実施形態における参照補間部のＲ、Ｂ画素の第１の補間パターンでの座標関係を示す図 実施形態における参照補間部のＲ、Ｂ画素の第２の補間パターンでの座標関係を説明した図 実施形態における参照補間部のＲ、Ｂ画素の第３の補間パターンでの座標関係を説明した図 実施形態における参照補間処理のフローチャート 実施形態における補間パラメータ算出処理のフローチャート 第２実施形態における撮像素子の構成例を示す図 第２実施形態における像の投影に関する図 第３実施形態に係わる信号処理部の機能構成例を示すブロック図 第３実施形態における撮像素子の読出制御を説明する図 第３実施形態における信号処理部の動作に関するフローチャート

以下、本発明の例示的な実施形態のいくつかを、添付図面に基づいて詳細に説明する。なお、以下では本発明の実施形態に係る画像処理装置をデジタルカメラに適用した例に関して説明するが、本発明において撮影や撮像画像の記録に関する機能は必須でない。本発明は、並行して撮影された複数の画像を取得可能な任意の電子機器において実施可能である。このような電子機器の例には、デジタルスチルまたはビデオカメラ、パーソナルコンピュータ、ゲーム機、携帯電話機、携帯情報端末、カーナビゲーションシステム、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。また、以下では動画像フレームの色補間処理（デモザイキング）に関して説明するが、静止画についても同様に適用可能である。

●（第１実施形態）
図１は本発明の実施形態に共通するデジタルカメラ１０００の機能構成を模式的に示すブロック図である。
デジタルカメラ１０００は、第１の撮像素子１１００と、第２の撮像素子１２００と、撮影レンズ２０００からの入射光を二つの方向に分割する半透過ミラー１３００と、カメラ制御部１４００と、信号処理部１５００と、操作部１９００とを有する。

また、撮影レンズ２０００は、集光レンズ２１００と、絞り２２００と、フォーカスレンズ２３００と、レンズ制御部２４００とを有する。レンズ制御部２４００とカメラ制御部１４００とは、レンズ通信端子１３１０を介して通信可能である。撮影レンズ２０００はデジタルカメラ１０００に着脱可能であってもよいし、デジタルカメラ１０００に固定されていてもよい。

操作部１９００はユーザがデジタルカメラ１０００に指示を入力するための入力デバイス群をまとめて表している。操作部１９００には、例えばスイッチ、ボタン、レバー、タッチパネル等の物理的な操作を必要とする入力デバイスだけでなく、音声入力や視線入力を受け付ける入力デバイスが含まれてもよい。本実施形態のデジタルカメラ１０００では、操作部１９００に含まれるレリーズボタンのハーフストロークでＯＮになるスイッチ（ＳＷ１）と、フルストロークでＯＮになるスイッチ（ＳＷ２）を有している。なお、レリーズボタンは静止画の撮影に用いられ、動画の撮影については動画記録ボタンが別途用意されているものとする。

ＳＷ１のＯＮは撮影準備動作の開始指示である。撮影準備動作には、ＡＦ（オートフォーカス）処理およびＡＥ（自動露出）処理が含まれる。ＡＥ処理やＡＦ処理は、例えばライブビュー表示用の画像から得られる情報に基づいてカメラ制御部１４００が実施することができる。

また、ＳＷ２のＯＮは記録用画像の撮影動作の開始指示である。記録用画像は表示用画像と解像度が異なる以外は同様に生成される。そして、カメラ制御部１４００は、必要に応じて信号処理部１５００で符号化処理を行ったのち、記録形式に応じたデータファイルに格納し、記録媒体１９１０に記録する。

信号処理部１５００は第１の撮像素子１１００および第２の撮像素子１２００が出力する画像信号に対し、相関２重サンプリングやγ補正などの前処理、ホワイトバランス調整やデモザイキングなどの現像処理を適用し、フルカラー画像を作成する。また、信号処理部１５００は、ライブビュー画像など表示用の画像については画像の縮小処理を適用したり、記録用の画像については記録形式に応じた符号化処理を適用したりする。また、記録媒体１９１０に記録された画像を表示する場合に必要な復号処理についても信号処理部１５００が実行する。表示用の画像は、電子ビューファインダ（ＥＶＦ）１９４０や表示装置１９５０に表示することができる。また、記録媒体１９１０は例えば半導体メモリカードやＳＳＤなどの不揮発性記憶装置である。記録媒体１９１０は着脱可能であっても内蔵されていてもよい。

信号処理部１５００はさらに、ＲＧＢ−ＹＣｂＣｒ変換などの信号形式の変換、画像の合成、色調の調整、ＡＦ評価値の生成、特定被写体の検出および認識処理など、様々な画像処理を実行することができる。代表的な特定被写体は人物の顔であり、特定被写体の認識処理は表情や個人の認識であるが、これらに限定されない。

図２は第１の撮像素子１１００の構成例を示す模式図である。多数の画素１１２０が行列状に２次元配列されている。画素１１２０には撮像に用いられる有効画素と、補正に使用する光学的黒画素（ＯＢ画素）とが含まれている。有効画素部１１１０には有効画素が、水平ＯＢ画素部１１１２と垂直ＯＢ画素部１１１１にはＯＢ画素が、それぞれ配置されている。

有効画素には原色ベイヤー配列のカラーフィルタが設けられている。図２において、Ｒ画素は赤（Ｒ）のカラーフィルタが設けられた画素である。Ｂ画素には青（Ｂ）のカラーフィルタが設けられている。Ｇｒ画素およびＧｂ画素はいずれも緑（Ｇ）のフィルタが設けられた画素であるが、Ｒ画素と水平方向に隣接するＧ画素をＧｒ画素、Ｂ画素と水平方向に隣接するＧ画素をＧｂ画素と呼ぶ。

なお、以降の説明において水平方向とは垂直転送線１１４０に直交する方向、垂直方向とは垂直転送線１１４０と平行な方向を示す。また、有効画素の水平方向の間隔Δｘを水平画素ピッチ、垂直方向の間隔Δｙを垂直画素ピッチと呼ぶ。本実施形態では、水平画素ピッチと垂直画素ピッチが等しい（Δｘ＝Δｙ）。

ＯＢ画素は、画素が有するフォトダイオード（光電変換部）がアルミ配線などにより遮光された構成を有する。垂直ＯＢ画素部１１１１には、フォトダイオードを持たない構成のＯＢ画素が含まれることもある。

画素１１２０の一列ごとに垂直転送線１１４０と列ＡＤ部１１４１とが設けられている。ランプ信号生成部１１４２が生成するランプ信号は列ＡＤ部１１４１のそれぞれに入力される。垂直読出制御部１１６０は、画素を行単位に選択する信号を出力する。水平転送部１１７０は、列ＡＤ部１１４１の出力する画素信号を水平方向に転送して出力する。タイミング制御部１１５０は、垂直読出制御部１１６０、ランプ信号生成部１１４２、および水平転送部１１７０の動作タイミング信号を生成する。

画素１１２０は、光を電荷に変換するフォトダイオードと、フォトダイオードが生成した電荷を蓄積して電圧に変換するフローティングディフュージョン（ＦＤ）を有する。列ＡＤ部１１４１は、ランプ信号生成部１１４２から出力される電圧を入力し、垂直転送線１１４０に接続された画素１１２０が有するＦＤの電圧値と比較することにより、ＦＤの電圧をＡ／Ｄ変換する。

なお、画素１１２０の読み出しは、ノイズの影響を抑制するため、以下のサイクルで実行される。まずＦＤをリセットした状態で読み出しを行ってＮ信号を取得し、水平転送部１１７０に保持する。その後、フォトダイオードで変換した電荷をＦＤに転送し、再度読み出しを行ってＳ信号を取得する。水平転送部１１７０で、Ｎ信号をＳ信号から減算した（Ｓ−Ｎ）信号を求めることで、ノイズの影響を抑制することができる。

垂直読出制御部１１６０が画素行を順次選択し、選択された画素行に含まれる画素を読み出すことにより、全ての画素から信号を読み出すことができる。なお、Ａ／Ｄ変換までの読み出し動作は、タイミング制御部１１５０が生成するタイミング信号によって制御される。電荷蓄積時間（露光時間）はカメラ制御部１４００によるＡＥ制御もしくは操作部１９００を通じたユーザ設定によって決定される。カメラ制御部１４００は、決定された電荷蓄積時間をタイミング制御部１１５０に通信する。タイミング制御部１１５０は、電荷蓄積時間に応じたタイミング信号を生成する。

本実施形態において、第２の撮像素子１２００は、第１の撮像素子１１００と画素ピッチΔｘ、Δｙが異なる以外同じ構成であってよい。ここで、第１の撮像素子１１００の水平画素ピッチをΔｘ_１，垂直画素ピッチをΔｙ_１とし、第２の撮像素子１２００の水平画素ピッチをΔｘ_２，垂直画素ピッチをΔｙ_２とする。本実施形態では、Δｘ_１＞Δｘ_２，Δｙ_１＞Δｙ_２，Δｘ_１＝Δｙ_１，Δｘ_２＝Δｙ_２とする。なお、画素ピッチが大きい第１の撮像素子１１００は、画素のフォトダイオード（光電変換領域）の面積を第２の撮像素子の画素の光電変換領域の面積より大きくすることもできる。光電変換領域の面積が大きくなると、画素のダイナミックレンジが拡大するほか、ＳＮ比が向上する。

なお、上述の画素ピッチの関係を、画素の読みだし方法によって実現してもよい。つまり、第１の撮像素子１１００よりも第２の撮像素子１２００の方が、画素列および画素行を多く間引いて読み出したり、多く加算して読み出したりすることによっても、上述の画素ピッチの関係を実現できる。換言すれば、撮像素子上に投影された被写体像のサンプリング周期を異ならせることによっても上述の画素ピッチの関係を実現できる。

読み出し方法によって実現する画素ピッチを、物理的な画素ピッチと区別するために読出画素ピッチと呼ぶ。そして、第１の撮像素子１１００の読出画素ピッチをΔｘ’_１，Δｙ’_１とし、第２の撮像素子１２００の読出画素ピッチをΔｘ’_２，Δｙ’_２とする。

ただし、本実施形態では、第１の撮像素子１１００と第２の撮像素子１２００とは物理的な画素ピッチが異なり、どちらも全画素読出するものとする。従って、Δｘ’_１＝Δｘ_１、Δｙ’_１＝Δｙ_１、Δｘ’_２＝Δｘ_２、Δｙ’_２＝Δｙ_２である。

図３（ａ）は、画素１１２０の回路図である。画素１１２０は、フォトダイオード１１２１、転送トランジスタ（Ｔｒ）１１２２、フローティングディフュージョン（ＦＤ）１１２３、リセットＴｒ１１２４、画素アンプ１１２５、行選択Ｔｒ１１２６から構成される。垂直読出制御部１１６０が出力する制御信号ｐＴＸ、ＦＤリセット信号ｐＲＥＳおよび行選択信号ｐＳＥＬにより、画素信号の読出制御を行う。

画素１１２０の動作は以下の様に制御される。まず、ｐＴＸ、ｐＲＥＳをアサートし、フォトダイオード１１２１およびＦＤ１１２３をリセットする。リセット完了後にｐＴＸをネゲートすると、蓄積期間が開始し、フォトダイオード１１２１は蓄積期間中に入射した光によって発生した電荷（光信号）を蓄積する。

所定の蓄積期間が経過すると、ｐＲＥＳをネゲート、ｐＳＥＬをアサートすることで、画素アンプ１１２５で増幅したリセット電圧を垂直転送線１１４０を介して列ＡＤ部１１４１に入力し、デジタル信号に変換する。この信号をＮ信号と呼ぶ。Ｎ信号は水平転送部１１７０に保存される。

次にｐＴＸをアサートし、フォトダイオード１１２１に蓄積された電荷をＦＤ１１２３に転送し、電圧に変換する。ＦＤ１１２３の電圧は画素アンプ１１２５で増幅された後に垂直転送線１１４０を介して列ＡＤ部１１４１に入力され、デジタル信号に変換される。この信号をＳ信号と呼ぶ。Ｓ信号は、フォトダイオード１１２１に蓄積された電荷に応じたデジタル信号である。水平転送部１１７０でＳ信号からＮ信号を減じることにより、ノイズの影響を抑制することができる。

次に、図４（ａ）のタイミングチャートを参照して列ＡＤ部１１４１の動作を説明する。
列ＡＤ部１１４１は、垂直転送線１１４０の電圧とランプ信号生成部１１４２が出力するランプ信号とが入力される比較器と、ＡＤクロックが入力されるカウンタとを有する。比較器は、ランプ信号の電圧が垂直転送線１１４０の電圧以下であればＬｏｗレベルを、ランプ信号の電圧が垂直転送線１１４０の電圧より高くなるとＨｉｇhレベルを出力する。

ランプ信号生成部１１４２は、タイミング制御部１１５０からのランプイネーブル信号がＨｉｇｈとなっている期間に、単位時間当たり所定の割合で電圧値が増加するランプ信号を出力する。また、ランプ信号生成部１１４２は、ランプイネーブル信号がＬｏｗの期間では基準電圧（例えばＧＮＤ）を出力する。

リセット電圧のＡ／Ｄ変換前、ランプイネーブル信号はＬｏｗであり、垂直転送線１１４０の電圧がリセット電圧であるため、比較器出力はＬｏｗである。ランプイネーブル信号がＨｉｇｈになるとランプ信号の電圧が増加し、ランプ信号の電圧がリセット電圧を超えると比較器出力がＨｉｇｈになる。

ランプイネーブル信号がＨｉｇｈになってから比較器出力がＨｉｇｈになるまでのＡＤクロック数をカウンタによってカウントする。このカウント値が、垂直転送線１１４０の電圧を表すデジタル値である。垂直転送線１１４０の電圧がリセット電圧の場合、Ｎ信号のデジタル値が得られる。

比較器出力がＨｉｇｈになると、カウント値（Ｎ信号）が読み出される。また、タイミング制御部１１５０はランプイネーブル信号をＬｏｗにする。これにより、ランプ信号の電圧が再びリセット電圧以下になるため、比較器出力がＬｏｗになる。

蓄積時間の経過後、ＦＤで変換された光信号の電圧が垂直転送線１１４０に転送されると、タイミング制御部１１５０がランプイネーブル信号をＨｉｇｈにする。これにより、ランプ信号の電圧が増加し始め、カウンタによるＡＤクロックのカウントが開始される。ランプ信号の電圧が光信号の電圧を超えると、比較器出力がＨｉｇｈになる。ランプイネーブル信号がＨｉｇｈになってから比較器出力がＨｉｇｈになるまでのＡＤクロックのカウント値がＳ信号として読み出される。

図４（ｂ）は、図４（ａ）よりもランプ信号の電圧増加率（単位時間当たり電圧の増加量）が多い場合の列ＡＤ部１１４１の動作例を示すタイミングチャートである。図４（ａ）と図４（ｂ）とで列ＡＤ部１１４１の動作は変わらないが、ランプ信号の電圧増加率が大きくなると、垂直転送線１１４０の電圧のＡ／Ｄ変換に要する時間が短縮される。
その一方で、カウント値あたりの電圧（量子化ステップ）が大きくなるため、Ａ／Ｄ変換の分解能、すなわち画像の階調数が少なくなる。

以下の説明においては便宜上、図４（ａ）に示したＡ／Ｄ変換動作を「ＡＤ詳細」モード、図４（ｂ）に示したＡ／Ｄ変換動作を「ＡＤ高速」モードと呼ぶ。なお、この「詳細」および「高速」とは単に相対的な関係を示すにすぎないことに留意されたい。

本実施形態では、第１の撮像素子１１００は第２の撮像素子１２００より画素ピッチが大きいため、第２の撮像素子１２００より１フレームあたりの読出画素数が少ない。従って、第１の撮像素子１１００の画素から読み出した信号についてはＡＤ詳細モードでＡ／Ｄ変換する。一方、第２の撮像素子１２００の画素から読み出した信号についてはＡＤ高速モードでＡ／Ｄ変換する。

なお、ＡＤ詳細モードとＡＤ高速モードに用いるランプ信号の電圧増加率は、例えば第１および第２の撮像素子１１００および１２００から読み出す画素数の差による処理時間の差を考慮して決定することができる。例えば、第１および第２の撮像素子１１００および１２００から読み出したそれぞれの画像信号に対して実行すべき処理が所定時間内に終了するように決定することができる。例えば、第１の撮像素子１１００と第２の撮像素子１２００とで同じフレームレートで並行して動画撮影を行う場合、個々の撮像素子から読み出した画像信号に対する処理が１フレーム周期内に終わるようにランプ信号の電圧増加率を決定することができる。

図５は、集光レンズ２１００が形成する点像が第１および第２の撮像素子１１００，１２００の撮像面に投影された状態を模式的に表した図である。図５の点線は光束を模式的に表している。集光レンズ２１００を通る光束は半透過ミラー１３００によって、二つの光路に分割される。そして、集光レンズ２１００が形成する点像は、第１の撮像素子１１００では有効画素（１，４）を中心とした点像３１００として、第２の撮像素子１２００では有効画素（９，８）を中心とした点像３２００として、それぞれ投影されている。ここでの画素の座標は（列番号，行番号）である。
なお、図５は集光レンズ２１００の光軸に対する第１の撮像素子と第２の撮像素子の位置ずれは無視しているが、実際には製造上の組み立て誤差による位置ずれが存在する。

図６（ａ）は、第１の撮像素子１１００の結像面（ｘ−ｚ平面）と、第２の撮像素子１２００の結像面（ｘ−ｙ平面）との位置ずれ量を模式的に示した図である。以下では、図２の説明と同様に、撮像素子の垂直転送線と直交する方向を水平方向、垂直転送線と平行な方向を垂直方向とする。

第１の撮像素子１１００の有効画素中心から撮影レンズ２０００の光軸と撮像面の交点（光軸中心）までの水平方向の距離をＤｈ１、垂直方向の距離をＤｖ１とする。また、デジタルカメラ１０００に対向させた物体が撮像面上に投影された場合の正立像方向と、第１の撮像素子１１００の垂直方向との角度ずれをＤａ１とする。
同様に、第２の撮像素子１２００の有効画素中心から、撮影レンズ２０００の光軸中心までの水平方向の距離をＤｈ２、垂直方向の距離をＤｖ２とする。また、デジタルカメラ１０００に対向させた物体が撮像面上に投影された場合の正立像方向と、第２の撮像素子１２００の垂直方向との角度ずれをＤａ２とする。

有効画素中心と光軸の絶対的なずれ量、Ｄｈ１，Ｄｖ１，Ｄａ１および、Ｄｈ２、Ｄｖ２，Ｄａ２は、組立時に、目標誤差の範囲内で合致させる。
組立後のずれ量の差、Ｄｈ２−Ｄｈ１、Ｄｖ２−Ｄｖ１、Ｄａ２−Ｄａ１をパラメータとして、色成分ごとにアフィン変換処理をすることによって、第２の撮像素子１２００と第１の撮像素子１１００とで撮影された画像間の組み立て誤差を補正することができる。
パラメータＤｈ２−Ｄｈ１、Ｄｖ２−Ｄｖ１、Ｄａ２−Ｄａ１は、位置合わせ調整値として製造時に例えばカメラ制御部１４００が有する不揮発性メモリに登録しておき、補正の際に読み出して使用することができる。上述のパラメータ（位置合わせ調整値）は、規準チャートを第１の撮像素子１１００と第２の撮像素子１２００のそれぞれで撮影した画像から算出することができる。

さらに図６（ｂ）は、撮影レンズ２０００の光軸と第１の撮像素子１１００の結像面（ｘ−ｚ平面）と、第２の撮像素子１２００の結像面（ｘ−ｙ平面）それぞれとの角度ずれ量を模式的に示した図である。

第１の撮像素子１１００の垂直軸（図２の垂直転送線１１４０と平行な軸）と光軸との角度をＤθ１、垂直軸に直交する水平軸と光軸との角度をＤφ１とする。同様に、第２の撮像素子１２００の垂直軸と光軸との角度をＤθ２、垂直軸と直交する水平軸と光軸との角度をＤφ２とする。Ｄθ１、Ｄφ１、Ｄθ２、Ｄφ２はいずれも９０°が理想値である。
本実施形態では、図６（ａ）に示した、光軸に対する位置ずれに加え、第１の撮像素子１１００と第２の撮像素子１２００との相対的な角度ずれ、つまりＤθ２−Ｄθ１、Ｄφ２−Ｄφ１の影響についても補正する。

相対的な角度ずれ量は、第１の撮像素子１１００と第２の撮像素子１２００のそれぞれに入射する光線方向にずれを生じさせ、撮像素子間で異なる、２次元の光学的シェーディングを生じさせる。この光学シェーディングの差は、製造時に校正用の光源で両撮像素子で撮影した画像の差分から求めたゲイン補正量を画素ごとに適用することで軽減できる。角度ずれによるゲイン補正量も調整値として、製造時に例えばカメラ制御部１４００が有する不揮発性メモリに登録しておき、補正の際に読み出して使用することができる。

図７は、本実施形態におけるデータ処理の概略を、信号処理部１５００の機能構成例とともに模式的に示した図である。第１の撮像素子１１００からは第１のＲＡＷ画像データ１５１０が、第２の撮像素子１２００からは第２のＲＡＷ画像データ１５２０が、信号処理部１５００に入力される。第１の画像データ１５１０と第２の画像データ１５２０は、並行に撮影された静止画または動画フレームのデータであってよい。

なお、ＲＡＷ画像データとは、カラーフィルタを備える撮像素子を用いて得られた画像データであり、かつ色補間処理されていない画像データを意味する。従って、第１のＲＡＷ画像データ１５１０および第２のＲＡＷ画像データ１５２０の各画素は、カラーフィルタを構成する複数の色成分のうち、１つの色成分のみを有している（欠陥画素もしくは欠陥画素として取り扱う画素を除く）。以下では、簡略化のために、第１のＲＡＷ画像データ１５１０および第２のＲＡＷ画像データ１５２０を、単に第１の画像データ１５１０および第２の画像データ１５２０と呼ぶ。なお、これらの画像データは各画素が色補間処理されていない状態であれば、複数の列ＡＤ部１１４１間の特性のばらつきの影響を低減するための補正や、色ごとの感度の違いを補償するための補正などが行われているものであってもよい。また、欠陥画素の補正や、撮像素子の入出力特性のリニアリティを改善するための補正が行われているものであってもよい。

位置合わせ処理部１５０２は、図６で説明した、光軸中心に対する位置ずれと、光軸に対する角度ずれとを補正する。すなわち、位置合わせ処理部１５０２は、カメラ制御部１４００内の不揮発性メモリに記憶されている位置合わせ調整値およびゲイン補正量を読み出して、第１および第２の画像データ１５１０，１５２０の１つをアフィン変換し、１つにゲイン補正量を適用する。アフィン変換およびゲイン補正量を適用する画像データは、記憶された位置合わせ調整値とゲイン補正量の算出方法によって決まる。図７の例では第２の画像データにアフィン変換およびゲイン補正量の両方を適用している。

次に、解像度変換部１５０３が、第２の画像データ１５２０を、水平および垂直方向のそれぞれにおいて第１の画像データ１５１０の解像度のＣ倍（Ｃは２のべき乗）となるようにリサイズした第３の画像データ１５２５を作成する。水平および垂直方向のそれぞれの解像度をＣ倍にしたとき、水平および垂直方向のそれぞれの読出画素ピッチは１／Ｃ倍となる。

第２の画像データの読出画素ピッチΔｘ’_２が目標の画素ピッチ（第１の画像データ１５１０の解像度のＣ倍に相当する画素ピッチ）より大きいとき、解像度変換部１５０３は第２の画像データ１５２０を縮小して第３の画像データ１５２５を作成する。また、第２の画像データの読出画素ピッチΔｘ’_２が目標の画素ピッチ未満のとき、解像度変換部１５０３は、第２の画像データ１５２０を拡大して第３の画像データ１５２５を作成する。

なお、第２の画像データの読出画素ピッチΔｘ’_２が目標の画素ピッチと等しいとき、第２の画像データ１５２０をリサイズする必要はなく、そのまま第３の画像データ１５２５とすればよい。画像データのリサイズは、バイリニア法、バイキュービック法など種々の公知の方法を用いて行うことができる。

本実施形態では図７に示すように、目標の画素ピッチを、第１の画像データ１５１０の解像度の２倍（Ｃ＝２）に相当する画素ピッチ１／２Δｘ’_１、１／２Δｙ’_１とする。従って、第３の画像データ１５２５の読出画素ピッチをΔｘ’３、Δｙ’３とすると、Δｘ’３＝（Δｘ’_１）／２、Δｙ’３＝（Δｙ’_１）／２である。解像度変換部１５０３は、第２の画像データ１５２０をリサイズした第３の画像データ１５２５と、第１の画像データ１５１０とを参照補間部１５０１に入力する。

参照補間部１５０１は、第１の画像データ１５１０にデモザイキングを適用し、フルカラー画像１５３０を生成する。本実施形態においては、第１の画像データ１５１０のデモザイキングに、読出画素ピッチの異なる他の画像データを用いる。このデモザイキングを本明細書では”参照補間”と呼び、以下で具体的な方法について説明する。

図８を用いて、補間の対象画素と、対象画素の補間に用いられる画素の位置関係を説明する。
撮像素子に２次元状に規則的に配置された画素は、画素ピッチを１単位として、２組の整数を用いて（ｎ，ｍ）で位置を表すことが出来る。本実施形態では、座標を（水平座標，垂直座標）とし、有効画素部に配置された左上端の画素の座標を（０，０）とする。

図８（ａ）に、第１の撮像素子１１００において、Ｇ画素を抜き出したＧプレーンの一部を示している。ここで、４つのＧ画素に隣接する中央の領域は、ＢまたはＲ画素であるため、Ｇ成分が存在しない。以下では、この中央の領域を、補間対象の仮想的なＧ画素Ｇ^補とする。また、Ｇ^補の中心座標を（ｉ_１，ｊ_１）とし、第１の撮像素子１１００の読出画素ピッチを水平方向、垂直方向とも１とする。

これにより、Ｇ^補の上、下、左、右に隣接するＧ画素はそれぞれＧ（ｉ_１，ｊ_１−１）、Ｇ（ｉ_１，ｊ_１＋１）、Ｇ（ｉ_１−１，ｊ_１）、Ｇ（ｉ_１＋１，ｊ_１）と表すことができる。

また、Ｇ^補（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，j_２）とする。本実施形態の場合、第１の撮像素子１１００の読出画素ピッチを１とすると、ｉ_２＝２×ｉ_１、ｊ_２＝２×ｊ_１である。解像度変換部１５０３の解像度がＣ倍である場合は、ｉ_２＝Ｃ×ｉ_１，j_２＝Ｃ×ｊ_１となる。

参照補間部１５０１は、補間対象のＧ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図８（ｂ）に示すように、座標（ｉ_２，ｊ_２）を中心に持つＧ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＧ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。

座標ｉ_２から左方向に１／４ずれた座標をｉ_２−１／４，右方向に１／４ずれた座標をｉ_２＋１／４とする。また、座標ｊ_２から上方向に１／４ずれた座標をｊ_２−１／４，下方向に１／４ずれた座標をｊ_２＋１／４とする。

従って、座標（ｉ_２，ｊ_２）に最も近いＧ画素は、右に１／４、上に１／４だけずれた、Ｇ’（ｉ_２＋１／４，ｊ_２−１／４）と、左に１／４、下に１／４だけずれた、Ｇ’（ｉ_２−１／４，ｊ_２＋１／４）である。

図８（ｂ）において、点線で２画素ずつ囲んだＧ’左上、Ｇ’上、Ｇ’右上、Ｇ’左、Ｇ’中央、Ｇ’右、Ｇ’左下、Ｇ’下、Ｇ’右下は、後述する補間処理に関するグループを示している。

参照補間部１５０１は、Ｒ画素、Ｂ画素についても同様に第１の画像データと第３の画像データの対応関係を示す。
カラーフィルタが原色ベイヤー配列であるため、Ｒプレーンでは、Ｂ画素、Ｇｒ画素、Ｇｂ画素のそれぞれの画素位置を補間する必要がある。Ｂ画素の位置を第１の補間パターンで、Ｇｒ画素の位置を第２の補間パターンで、Ｇｂ画素の位置は第３の補間パターンでそれぞれ補間する。
同様に、Ｂプレーンでは、Ｒ画素、Ｇｂ画素、Ｇｒ画素の画素位置を補間する必要がある。Ｒ画素の位置を第１の補間パターンで、Ｇｂ画素の位置を第２の補間パターンで、Ｇｒ画素の位置を第３の補間パターンでそれぞれ補間する。

図９は、第１の補間パターンについて、補間の対象画素と、対象画素の補間に用いられる画素の位置関係を示している。以下の説明においても、第１の撮像素子１１００の水平方向および垂直方向の読出画素ピッチを１として画素の座標を表記する。

まず、Ｒ画素の位置関係を説明する。
図９（ａ）の左側に示すように、第１の撮像素子１１００においてＢ画素が配置されている場所の仮想Ｒ画素（Ｒ^補１）の中心を座標（ｉ_１，ｊ_１）とする。従って、第１の画像データ１５１０のＲ^補１の左上、左下、右上、右下に隣接するＲ画素はそれぞれＲ（ｉ_１−１，ｊ_１−１）、Ｒ（ｉ_１−１，ｊ_１＋１）、Ｒ（ｉ_１＋１，ｊ_１−１）、Ｒ（ｉ_１＋１，ｊ_１＋１）である。これらは、実際に配置されているＲ画素である。

また、Ｒ^補（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，ｊ_２）とする。本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第１の補間パターンによる補間対象のＲ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図９（ｂ）の左側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＲ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＲ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＲ画素は、左に１／４、上に１／４だけずれた、Ｒ’（ｉ_２−１／４，ｊ_２−１／４）である。

次に、Ｂ画素の位置関係を説明する。
図９（ａ）の右側に示すように、第１の撮像素子１１００においてＲ画素が配置されている場所の仮想Ｂ画素（Ｂ^補１）の中心を座標（ｉ_１，ｊ_１）とする。従って、第１の画像データ１５１０のＢ^補１の左上、左下、右上、右下に隣接するＢ画素はそれぞれＢ（ｉ_１−１，ｊ_１−１）、Ｂ（ｉ_１−１，ｊ_１＋１）、Ｂ（ｉ_１＋１，ｊ_１−１）、Ｂ（ｉ_１＋１，ｊ_１＋１）である。これらは、実際に配置されているＢ画素である。

また、Ｂ^補（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，ｊ_２）とする。 本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第１の補間パターンによる補間対象のＢ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図９（ｂ）の右側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＢ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＢ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＢ画素は、左に１／４、上に１／４だけずれた、Ｂ’（ｉ_２−１／４，ｊ_２−１／４）である。

図９（ｂ）において、点線で囲んだＲ’左上、Ｒ’上、Ｒ’右上、Ｒ’左、Ｒ’中央、Ｒ’右、Ｒ’左下、Ｒ’下、Ｒ’右下、およびＢ’左上、Ｂ’上、Ｂ’右上、Ｂ’左、Ｂ’中央、Ｂ’右、Ｂ’左下、Ｂ’下、Ｂ’右下は、後述する補間処理に関するグループを示している。

図１０は、第２の補間パターンについて、補間の対象画素と、対象画素の補間に用いられる画素の位置関係を示している。以下の説明においても、第１の撮像素子１１００の水平方向および垂直方向の読出画素ピッチを１として画素の座標を表記する。

まず、Ｒ画素の位置関係を説明する。
図１０（ａ）の左側に示すように、第１の撮像素子１１００においてＧｒ画素が配置されている場所の仮想Ｒ画素（Ｒ^補２）の中心を座標（ｉ_１，ｊ_１）とする。従って、Ｒプレーンで第１の画像データ１５１０のＲ^補２の左に隣接する画素はＲ（ｉ_１−１，ｊ_１）、右に隣接する画素はＲ（ｉ_１＋１，ｊ_１）である。Ｒ^補２の上と下に隣接する画素はＢ画素であるため、Ｒ画素は存在しない。しかし、第１の補間パターンによる補間の完了後であれば、補間されたＲ^★上（ｉ_１，ｊ_１−１）とＲ^★下（ｉ_１，ｊ_１＋１）を用いることができる。

また、Ｒ^補２（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，ｊ_２）とする。本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第２の補間パターンによる補間対象のＲ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図１０（ｂ）の左側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＲ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＲ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＲ画素は、左に１／４、上に１／４だけずれた、Ｒ’（ｉ_２−１／４，ｊ_２−１／４）である。

次に、Ｂ画素の位置関係を説明する。
図１０（ａ）の右側に示すように、第１の撮像素子１１００においてＧｂ画素が配置されている場所の仮想Ｂ画素（Ｂ^補２）の中心を座標（ｉ_１，ｊ_１）とする。従って、第１の画像データ１５１０のＢ^補２の左に隣接する画素はＢ（ｉ_１−１，ｊ_１）、右に隣接する画素はＢ（ｉ_１＋１，ｊ_１）である。Ｂ^補２の上と下に隣接する画素は、Ｒ画素であるため、Ｂ画素は存在しない。しかし、第１の補間パターンによる補間の完了後であれば、補間された画素Ｂ^★上（ｉ_１，ｊ_１−１）とＢ^★下（ｉ_１，ｊ_１＋１）を用いることができる。

また、Ｂ^補２（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，ｊ_２）とする。本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第２の補間パターンによる補間対象のＢ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図１０（ｂ）の右側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＢ画素は第３の画像データ１５２５に存在しない。第３の画像データのＢ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＢ画素は、右に１／４、下に１／４だけずれた、Ｂ’（ｉ_２＋１／４，ｊ_２＋１／４）である。

図１０（ｂ）において、点線で囲んだＲ’左上、Ｒ’上、Ｒ’右上、Ｒ’左、Ｒ’中央、Ｒ’右、Ｒ’左下、Ｒ’下、Ｒ’右下、およびＢ’左上、Ｂ’上、Ｂ’右上、Ｂ’左、Ｂ’中央、Ｂ’右、Ｂ’左下、Ｂ’下、Ｂ’右下は、後述する補間処理に関するグループを示している。

図１１は、第３の補間パターンについて、補間の対象画素と、対象画素の補間に用いられる画素の位置関係を示している。以下の説明においても、第１の撮像素子１１００の水平方向および垂直方向の読出画素ピッチを１として画素の座標を表記する。

まず、Ｒ画素の位置関係を説明する。
図１１（ａ）の左側に示すように、第１の撮像素子１１００においてＧｂ画素が配置されている場所の仮想Ｒ画素（Ｒ^補３）の中心を座標（ｉ_１，ｊ_１）とする。従って、Ｒプレーンで第１の画像データ１５１０のＲ^補３の上に隣接する画素はＲ（ｉ_１，ｊ_１−１）、下に隣接する画素はＲ（ｉ_１，ｊ_１＋１）である。Ｒ^補３の左と右に隣接する画素はＢ画素であるため、Ｒ画素は存在しない。しかし、第１の補間パターンによる補間の完了後であれば、補間されたＲ^★左（ｉ_１−１，ｊ_１）とＲ^★右（ｉ_１＋１，ｊ_１）を用いることができる。

また、Ｒ^補３（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５の位置を座標（ｉ_２，ｊ_２）とする。本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第３の補間パターンによる補間対象のＲ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図１１（ｂ）の左側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＲ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＲ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＲ画素は、左に１／４、上に１／４だけずれた、Ｒ’（ｉ_２−１／４，ｊ_２−１／４）である。

次に、Ｂ画素の位置関係を説明する。
図１１（ｂ）の右側に示すように、第１の撮像素子１１００においてＧｒ画素が配置されている場所の仮想Ｂ画素（Ｂ^補３）の中心を座標（ｉ_１，ｊ_１）とする。従って、第１の画像データ１５１０のＢ^補３の上に隣接する画素はＢ（ｉ_１，ｊ_１−１）、下に隣接する画素はＢ（ｉ_１，ｊ_１＋１）である。Ｂ^補３の左と右に隣接する画素は、Ｒ画素であるため、Ｂ画素は存在しない。しかし、第１の補間パターンによる補間の完了後であれば、補間された画素Ｂ^★左（ｉ_１−１，ｊ_１）とＢ^★右（ｉ_１＋１，ｊ_１）を用いることができる。

また、Ｂ^補３（ｉ_１，ｊ_１）に対応する第３の画像データ１５２５上の位置を座標（ｉ_２，ｊ_２）とする。本実施形態の場合、Ｇ画素のときと同様にｉ_２＝２×ｉ_１，ｊ_２＝２×ｊ_１である。

参照補間部１５０１は、第３の補間パターンによる補間対象のＢ画素のそれぞれについて、第１の画像データ１５１０の各画素の中心座標（ｉ_１，ｊ_１）と、第３の画像データ１５２５の座標（ｉ_２，ｊ_２）との対応関係を、信号処理部１５００が有するメモリに記憶する。

本実施形態では、図１１（ｂ）の右側に示すように、座標（ｉ_２，ｊ_２）を中心に持つＢ画素は第３の画像データ１５２５に存在しない。第３の画像データ１５２５のＢ画素は、座標（ｉ_２，ｊ_２）から、第１の画像データの読出画素ピッチの１／４だけ上下方向と左右方向にずれた位置にある。
従って、座標（ｉ_２，ｊ_２）に最も近いＢ画素は、右に１／４、下に１／４だけずれた、Ｂ’（ｉ_２＋１／４，ｊ_２＋１／４）である。

図１１（ｂ）において、点線で囲んだＲ’左上、Ｒ’上、Ｒ’右上、Ｒ’左、Ｒ’中央、Ｒ’右、Ｒ’左下、Ｒ’下、Ｒ’右下、およびＢ’左上、Ｂ’上、Ｂ’右上、Ｂ’左、Ｂ’中央、Ｂ’右、Ｂ’左下、Ｂ’下、Ｂ’右下は、後述する補間処理に関するグループを示す。

図１２に示すフローチャートを用いて、参照補間部１５０１による参照補間処理の動作について説明する。
Ｓ１０で参照補間部１５０１は、Ｇ成分（Ｇプレーン）に関する第３の画像データ１５２５の前処理を行う。本実施形態において参照補間部１５０１は、後述するデモザイキングにおいて補間対象の画素の周囲８方向の画素値を考慮した適応的な補間を行う。

参照補間部１５０１は、第１の画像データ１５１０の補間対象を画素Ｇ^補（ｉ₁，ｊ₁）とし、画素Ｇ^補の座標に対応する第３の画像データ１５２５の画素をＧ’中央とする。そして参照補間部１５０１は、Ｇ’中央と、その周囲８方向の画素（Ｇ’左上，Ｇ’上，Ｇ’右上，Ｇ’左，Ｇ’右，Ｇ’左下，Ｇ’下，Ｇ’右下）の値を、第３の画像データＧ’（ｎ，ｍ）を用いて、以下の式（１）に従って算出する。

Ｓ２０で参照補間部１５０１は、Ｓ１０で求めた９画素の値から、画素Ｇ^補のデモザイキングで使用する補正量に関する補正パラメータを算出する。参照補間部１５０１は、Ｇ’中央と、周囲８画素それぞれとの値の差分から、補正パラメータα_１〜α_８を以下の式（２）に従って算出する。

Ｓ３０で参照補間部１５０１は、Ｓ２０で算出したα_ｋ（ｋ＝１，２，３，４，５，６，７，８）の大小に基づいて、Ｇ’中央と周囲８画素との類似度を判定する。本実施形態では、α_ｋはＧ’中央との値の差分なので、参照補間部１５０１は値が小さい画素ほど類似度が高いと判定し、類似度に応じてα_ｋを重み付けした補正パラメータα’_ｋを算出する。

この処理を図１３を用いて説明する。
Ｓ１０２０で参照補間部１５０１は、補正対象画素の色に応じて処理を分岐する。まず、Ｇの場合について説明する。
Ｓ１１１０で参照補間部１５０１は、α’_ｋの算出に用いる閾値ｔｈを以下の式（３）に従って算出する。

式（３）は、中央の画素（Ｇ’中央）と周辺８画素それぞれとの値の差の絶対値を、中央の画素と周辺８画素それぞれとのユークリッド的距離とみなし、その平均値を求める式である。

そして、参照補間部１５０１は、Ｓ１１２０〜Ｓ１１５０の処理で、全てのα_ｋに対して、閾値ｔｈに応じた以下の式（４）の操作により、α’_ｋを算出する。

|α_ｋ|＞ｔｈを満たす周辺画素の値は、補間対象である中央の画素値と類似度が低い。そのため、補間に用いる係数α’_ｋ＝０にして、補間処理から除外する。
|α_ｋ|＞ｔｈを満たさない周辺画素については、係数α’_ｋ＝ｔｈ−|α_ｋ|とする。これにより、中央の画素と値の類似度が高い周辺画素ほど、係数α’_ｋの値が大きくなる。

Ｓ１１６０で参照補間部１５０１は、係数α’_ｋの総和Σα’を以下の式（５）に従って算出する。

式（５）のΣα’がゼロとなると、後述するＧ画素のデモザイキングでゼロ除算が発生するため、Ｓ１１７０で参照補間部１５０１は、Ｓ１１６０で求めたΣα’がゼロかどうかチェックする。

また、Σα’がゼロの場合は、Ｇ’左上、Ｇ’上、Ｇ’右上、Ｇ’左、Ｇ’右、Ｇ’左下、Ｇ’下、Ｇ’右下の８画素が全て同じ値であり、式（４）のα’_ｋ＝ｔｈ−|α_ｋ|が全てのα’_ｋでゼロとなる。従って、Σα’がゼロであるとき、最適なα’は一意に決まり、参照補間部１５０１はＳ１１８０で以下の式（６）のようにα’を決定する。

これら一連の処理が図１２のＳ３０の処理であり、Ｓ４０で用いるための補間パラメータα’_ｋとΣα’が得られる。

Ｓ４０で参照補間部１５０１は、Ｓ３０で得られたパラメータを用いて、補間対象のＧ画素、Ｇ^補を以下の式（７）に従って算出する。

次に、Ｒ画素の処理について説明する。
Ｓ１１０で参照補間部１５０１は、第３の画像データ１５２５において第１の画像データ１５１０の補間対象の画素の座標に対応した画素を、図８〜図１１で示したようにＲ’中央とする。そして参照補間部１５０１は、Ｒ’中央とその周囲８方向の画素の値を以下の式（８）に従って算出する。

Ｓ１２０で参照補間部１５０１は、Ｓ１１０で求めた９画素の値から、デモザイキングで使用する補正量に係わる補正パラメータを算出する。参照補間部１５０１は、Ｒ’中央と、周囲８画素それぞれの値との差分から、補正パラメータβ_１〜β_８を以下の式（９）に従って算出する。

Ｓ１３０で参照補間部１５０１は、Ｇ画素の処理（Ｓ３０）と同様に、Ｓ１２０で算出したβ_ｋ（ｋ＝１〜８）の大小に基づいて、Ｒ’中央と周囲８画素との類似度を判定し、β’_ｋの大きさを算出する。Ｓ１３０の処理の説明を、再度図１３を用いて行う。

Ｓ１０２０で参照補間部１５０１は、補正対象画素の色に応じて処理を分岐する。ここではＲ画素のため、参照補間部１５０１は処理をＳ１２１０に進める。
Ｓ１２１０で参照補間部１５０１は、β’_ｋの算出に用いる閾値ｔｈを以下の式（１０）に従って算出し、処理をＳ１２２０に進める。

そして、参照補間部１５０１は、Ｓ１２２０〜Ｓ１２５０の処理で、全てのβ_ｋに対して、閾値ｔｈに応じた以下の式（１１）の操作により、β’_ｋを算出する。

|β_ｋ|＞ｔｈを満たす周辺画素の値は、補間対象である中央の画素値と類似度が低い。そのため、補間に用いる係数β’_ｋ＝０にして、補間処理から除外する。
|β_ｋ|＞ｔｈを満たさない周辺画素については、係数β’_ｋ＝ｔｈ−|β_ｋ|とする。これにより、中央の画素と値の類似度が高い周辺画素ほど、係数β’_ｋの値が大きくなる。

Ｓ１２６０で参照補間部１５０１は、係数β’_ｋの総和Σβ’を以下の式（１２）に従って算出する。

式（１２）のΣβ’がゼロとなると、後述するＲ画素のデモザイキングでゼロ除算が発生するため、Ｓ１２７０で参照補間部１５０１は、Ｓ１２６０で求めたΣβ’がゼロかどうかチェックする。

また、Σβ’がゼロの場合は、Ｒ’左上、Ｒ’上、Ｒ’右上、Ｒ’左、Ｒ’右、Ｒ’左下、Ｒ’下、Ｒ’右下の８画素が全て同じ値であり、式（１１）のβ’_ｋ＝ｔｈ−|β_ｋ|が全てのβ’_ｋでゼロとなる。従って、Σβ’がゼロであるとき、最適なβ’は一意に決まり、参照補間部１５０１はＳ１２８０で以下の式（１３）のようにβ’を決定する。

これら一連の処理が図１２のＳ１３０の処理であり、Ｓ１４０で用いるための補間パラメータβ’_ｋとΣβ’が得られる。

Ｓ１４０で参照補間部１５０１は、Ｓ１３０で得られたパラメータを用いて、補間対象のＲ画素、Ｒ^補を以下の式（１４）に従って算出する。

参照補間部１５０１は、補間対象画素Ｒ^補１の全てを算出した後、補間対象画素Ｒ^補２およびＲ^補３を以下の式（１５）および式（１６）に従って算出する。

ここで、Ｒ^★上（ｉ_１，ｊ_１−１）、Ｒ^★下（ｉ_１，ｊ_１＋１）、Ｒ^★左（ｉ_１−１，ｊ_１）、Ｒ^★右（ｉ_１＋１，ｊ_１）は、Ｒ^補１として算出されている。

最後にＢ画素の処理について説明する。
Ｓ２１０で参照補間部１５０１は、第３の画像データ１５２５において第１の画像データ１５１０の補間対象の画素の座標に対応した画素を、図８〜図１１で示したようにＢ’中央とする。そして参照補間部１５０１は、Ｂ’中央とその周囲８方向の画素の値を以下の式（１７）に従って算出する。

Ｓ２２０で参照補間部１５０１は、Ｓ２１０で求めた９画素の値から、デモザイキングで使用する補正量に係わる補正パラメータを算出する。参照補間部１５０１は、Ｂ’中央と、周囲８画素それぞれの値との差分から、補正パラメータγ_１〜γ_８を以下の式（１８）に従って算出する。

Ｓ２３０で参照補間部１５０１は、Ｓ２２０で算出したγ_ｋ（ｋ＝１〜８）の大小に基づいて、Ｂ’中央と周囲８画素との類似度を判定し、γ’_ｋの大きさを算出する。Ｓ２３０の処理の説明を、再度図１３を用いて行う。

Ｓ１０２０で参照補間部１５０１は、補正対象画素の色に応じて処理を分岐する。ここではＢ画素のため、参照補間部１５０１は処理をＳ１３１０に進める。
Ｓ１３１０で参照補間部１５０１は、γ’_ｋの算出に用いる閾値ｔｈを以下の式（１９）に従って算出し、処理をＳ１３２０に進める。

そして、参照補間部１５０１は、Ｓ１３２０〜Ｓ１３５０の処理で、全てのγ_ｋに対して、閾値ｔｈに応じた以下の式（２０）の操作により、γ’_ｋを算出する。

|γ_ｋ|＞ｔｈを満たす周辺画素の値は、補間対象である中央の画素値と類似度が低い。そのため、補間に用いる係数γ’_ｋ＝０にして、補間処理から除外する。
|γ_ｋ|＞ｔｈを満たさない周辺画素については、係数γ’_ｋ＝ｔｈ−|γ_ｋ|とする。これにより、中央の画素と値の類似度が高い周辺画素ほど、係数γ’_ｋの値が大きくなる。

Ｓ１３６０で参照補間部１５０１は、係数γ’_ｋの総和Σγ’を以下の式（２１）に従って算出する。

式（２１）のΣγ’がゼロとなると、後述するＢ画素のデモザイキングでゼロ除算が発生するため、Ｓ１３７０で参照補間部１５０１は、Ｓ１３６０で求めたΣγ’がゼロかどうかチェックする。
また、Σγ’がゼロの場合は、Ｂ’左上、Ｂ’上、Ｂ’右上、Ｂ’左、Ｂ’右、Ｂ’左下、Ｂ’下、Ｂ’右下の８画素が全て同じ値であり、式（１１）のγ’_ｋ＝ｔｈ−|γ_ｋ|が全てのγ’_ｋでゼロとなる。従って、Σγ’がゼロであるとき、最適なγ’は一意に決まり、参照補間部１５０１はＳ１３８０で以下の式（２２）のようにγ’を決定する。

これら一連の処理が図１２のＳ２３０の処理であり、Ｓ２４０で用いるための補間パラメータγ’_ｋとΣγ’が得られる。

Ｓ２４０で参照補間部１５０１は、Ｓ２３０で得られたパラメータを用いて、補間対象のＢ画素、Ｂ^補を以下の式（２３）に従って算出する。

参照補間部１５０１は、補間対象画素Ｂ^補１の全てを算出した後、補間対象画素Ｂ^補２およびＢ^補３を以下の式（２４）および式（２５）に従って算出する。

ここで、Ｂ^★上（ｉ_１，ｊ_１−１）、Ｂ^★下（ｉ_１，ｊ_１＋１）、Ｂ^★左（ｉ_１−１，ｊ_１）、Ｂ^★右（ｉ_１＋１，ｊ_１）は、Ｂ^補１として算出されている。

参照補間部１５０１は、Ｓ１０〜Ｓ２４０の処理を全ての補間対象画素に対して行う。これにより、全ての画素位置がＲＧＢ成分を有するフルカラー画像を得るデモザイキングが完了する。

なお、本実施形態では、解像度変換部１５０３で、水平方向および垂直方向のそれぞれにおいて第１の画像データ１５１０の２倍の解像度を有する第３の画像データ１５２５を生成した場合の参照補間部１５０１の処理について説明した。しかし、第３の画像データ１５２５の水平および垂直方向における解像度は、第１の画像データの２のｎ乗倍（ｎは２以上の整数）としてもよい。

第３の画像データ１５２０の水平および垂直方向における解像度を４倍、８倍、・・・としたときでも、Ｓ１０、Ｓ１１０、Ｓ２１０で、周囲画素の算出に用いる画素と重み付けを変更すればよい。
同様に、デモザイキングおよびデモザイキングパラメータについても、８方向を考慮した適応補間を例示したが、第３の画像データの解像度がより高い場合には、より多くの方向の画素を考慮した補間を行うことで、補間精度を向上させることができる。

なお、第２の画像データの解像度が水平方向および垂直方向のそれぞれにおいて第１の画像データ１５１０の２のｎ乗倍（ｎは２以上の整数）の解像度を有する場合には、第３の画像データに変換せずに、参照補間に用いることができる。

また、上述の説明においては、第１および第２の画像データの撮影範囲が設計上は合致している状態を前提としているが、第１の画像データと第２の画像データは、撮影範囲の少なくとも一部が重複していればよい。そして、撮影範囲が重複している領域については参照補間によるデモザイキングを行い、重複していない領域については従前のデモザイキングを行う様に構成してもよい。また、実質的に経時変化がない被写体を撮影する場合には、第１の画像データと第２の画像データ必ずしも並列に撮影されなくてもよい。

また、撮像素子の数は２に限らず、互いに異なる画素ピッチを有する３以上の撮像素子を用いてもよい。この場合、いずれか２つの撮像素子で得られた画像データのうち、画素ピッチの広い方の撮像素子で得られた画像データのデモザイキングに、画素ピッチの狭い方の撮像素子で得られた画像データを用いることができる。

本実施形態によれば、画素ピッチの異なる複数の撮像素子を用いて得られた画像データのうち、第１の画素ピッチの撮像素子で得られた画像データのデモザイキングに、第１の画素ピッチより狭い第２の画素ピッチの撮像素子で得られた画像データを用いる。そのため、空間周波数の高いエッジ部分の補間精度が向上し、解像感が高く、また色モアレや偽色の発生を抑制された高画質のフルカラー画像を得ることができる。

また、第１の画素ピッチの撮像素子の画素の受光領域（フォトダイオード）の面積を第２の画素ピッチの撮像素子の画素の受光領域の面積より大きくした場合、デモザイキングによる解像感の向上に加え、ＳＮ比やダイナミックレンジの向上が実現できる。例えば、動画撮影のように露出時間がフレームレートによって制限を受ける場合に特に有用である。

さらに、画像データの解像度に応じたＡ／Ｄ変換の動作モードを選択することにより、動画撮影時のように処理時間がフレームレートによって制限を受ける場合でも、実時間処理を実現できる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では物理的な画素ピッチが同じ２つの撮像素子の読出画素ピッチを異ならせて得られる、解像度の異なる画像データに関するデモザイキングについて説明する。

すなわち、第２実施形態における第１の撮像素子１１００’の画素ピッチをΔｘ_１，Δｙ_１とし、第２の撮像素子１２００の画素ピッチをΔｘ_２，Δｙ_２としたとき、本実施形態ではΔｘ_１＝Δｘ_２、Δｙ_１＝Δｙ_２、Δｘ_１＝Δｙ_１、Δｘ_２＝Δｙ_２である。
一方、第１の撮像素子１１００’の読出画素ピッチをΔｘ’_１、Δｙ’_１をΔｘ’_１＞Δｘ_１、Δｙ’_１＞Δｙ_１とし、第２の撮像素子１２００の読出画素ピッチΔｘ’_２、Δｙ’_２をΔｘ’_２＝Δｘ_２、Δｙ’_２＝Δｙ_２として、解像度の異なる第１および第２の画像データを読み出す。

図１４は、第２実施形態における第１の撮像素子１１００’の構成例を示す模式図であり、第１実施形態（図２）と同様の構成については同じ参照数字を付してある。本実施形態では、所定の組み合わせの画素１１２０に対して、加算配線が設けられている。
例えば、画素１１２０（１）、画素１１２０（２）、画素１１２０（３）を接続する加算配線が設けられており、同様に画素１１２０（４）、画素１１２０（５）、画素１１２０（６）を接続する加算配線が設けられている。また、垂直ＯＢ画素部１１１２’においてもＯＢ画素の加算配線が設けられている。加算配線で接続する画素（加算する画素）の組み合わせは、設計時に決められている。

また、図３（ｂ）は、第２実施形態における画素１１２０の回路図であり、第１実施形態（図３（ａ））と同様の構成については同じ参照数字を付してある。本実施形態では、ＦＤ１１２３と画素アンプ１１２５との間と、加算配線とを接続し、加算信号ｐＡＤＤでオンオフ制御される加算Ｔｒ１１２７が追加されている。従って、加算信号ｐＡＤＤにより、加算配線とＦＤ１１２３の接続、切断が制御可能である。加算信号ｐＡＤＤは例えば垂直読出制御部１１６０がタイミング制御部１１５０の制御に従って出力する。

第２実施形態での画素の動作は以下の様に制御される。まず、ｐＡＤＤをアサートし、ＦＤ１１２３を加算配線に接続する。本実施形態の場合、例えば、画素１１２０（１）、画素１１２０（２）、画素１１２０（３）が加算され、画素１１２０（４）、画素１１２０（５）、画素１１２０（６）が加算される。ｐＡＤＤの制御は全ての画素に同じ制御信号を用いることができる。

次にｐＴＸ、ｐＲＥＳをアサートし、フォトダイオード１１２１およびＦＤ１１２３をリセットする。リセット完了後にｐＴＸをネゲートすると蓄積期間が開始し、フォトダイオード１１２１は蓄積期間中に入射した光によって発生した電荷（光信号）を蓄積する。

所定の蓄積期間が経過すると、ｐＲＥＳをネゲート、ｐＳＥＬをアサートすることで、画素アンプ１１２５で増幅したリセット電圧を垂直転送線１１４０を介して列ＡＤ部１１４１に入力し、デジタル信号に変換する。この信号をＮ信号と呼ぶ。Ｎ信号は水平転送部１１７０に保存される。

次にｐＴＸをアサートし、フォトダイオード１１２１に蓄積された電荷をＦＤ１１２３に転送し、電圧に変換する。ＦＤ１１２３の電圧は画素アンプ１１２５で増幅された後に垂直転送線１１４０を介して列ＡＤ部１１４１に入力され、デジタル信号に変換される。この信号をＳ信号と呼ぶ。Ｓ信号は、フォトダイオード１１２１に蓄積された電荷に応じたデジタル信号である。水平転送部１１７０でＳ信号からＮ信号を減じることにより、ノイズの影響を抑制することができる。

このような加算読出を行うことで、垂直方向の画素信号を加算でき、見掛け上のフォトダイオード面積が増えるため、信号のダイナミックレンジやＳＮ特性を改善することができる。

列ＡＤ部１１４１は、第１実施形態と同様の構成を有し、ランプ信号の制御によってＡＤ詳細モードでの動作とＡＤ高速モードでの動作を選択できる。

なお、水平方向についても複数の画素を接続する加算配線を設けてもよいが、配線数が増加すると画素の開口が小さくなり、フォトダイオードの実効面積が低下して信号のダイナミックレンジやＳＮ特性が悪化する。従って、本実施形態では水平方向に画素を加算する加算配線を設ける代わりに水平転送部１１７０で加算平均を行い、加算配線と同様の効果を実現する。

水平方向の加算処理の一例について説明する。
前述の方法でＦＤ１１２３の接続で加算した画素１１２０（１）、画素１１２０（２）、画素１１２０（３）を列ＡＤ部１１４１で変換したデジタル値を水平転送部１１７０で記憶する。このとき、同様に画素１１２０（７）、画素１１２０（８）、画素１１２０（９）を加算したデジタル値、および画素１１２０（１３）、画素１１２０（１４）、画素１１２０（１５）を加算したデジタル値を水平転送部１１７０で記憶する。
その後、これら３つのデジタル値をさらに加算器で加算し、除算器もしくはビットシフト演算器によって１／９に除算することで最終的に９画素の平均値を取得できる。

また、ｐＡＤＤの制御方法および水平方向の加算処理の設定を変えることで、加算する画素の組み合わせを複数の選択肢から選択可能にすることもできる。加算する画素数を増やすほど読み出す画素数が少なくなるため、画像データの読出に要する時間は短くなる。以下の説明では、上述した加算制御による読み出しを”加算読出”と呼ぶ。

また、本実施形態の構成においても、最初に行うｐＡＤＤのアサートを行わないこと、および水平転送部での水平方向の加算処理を行わないことで、第１実施形態と同様の読出が可能である。以下では、第１実施形態と同様の制御による読み出しを、加算読出と区別するために”非加算読出”と呼ぶ。
画素から信号を読み出すための制御動作として非加算読出、加算読出の一例を説明したが、他の制御動作によって読み出しを行ってもよい。

加算読出、非加算読出の設定と、ＡＤ詳細モードとＡＤ高速モードの設定との組み合わせにより、第１および第２の撮像素子１１００’、１２００を用途に応じて駆動することができる。

例えば、第１および第２の撮像素子１１００’、１２００で並行して動画撮影を行い、各フレームに対して第１実施形態と同様に参照補間を用いたデモザイキングを行う場合を考える。この場合、適切なフレームレートで十分な諧調性を有する動画を撮影できるよう、第１の撮像素子１１００’は”加算読出”および”ＡＤ詳細モード”で駆動する。また、第２の撮像素子１２００は、第１の撮像素子よりも多くの画素数を有するフレームを第１の撮像素子１１００’と同様のフレームレートで読み出すために、”非加算読出”および”ＡＤ高速モード”で駆動する。

図１５は、本実施形態において、集光レンズ２１００が形成する点像が第１および第２の撮像素子１１００’，１２００の撮像面に投影された状態を模式的に表した図である。第１実施形態（図５）と同様の構成については同じ参照数字を付してある。図１５の点線は光束を模式的に表している。集光レンズ２１００を通る光束は半透過ミラー１３００によって、二つの光路に分割される。そして、集光レンズ２１００が形成する点像は、第１の撮像素子１１００’では有効画素（２，８）を中心とした点像３１００’として、第２の撮像素子１２００では有効画素（９，８）を中心とした点像３２００として、それぞれ投影されている。ここでの画素の座標は（列番号，行番号）である。

投影されている点像の半径は同じであるが、第１の撮像素子１１００’は加算読出を行うので、第１の画像データ１５１０では、水平方向においてΔｘ_１／Δｘ’_１に縮小された画像となる。垂直方向においても同様である。
第１実施形態では撮像素子の物理的な画素ピッチが異ならせることで、第２の画像データ１５２５よりも低解像度の第１の画像データ１５１０を得た。本実施形態では撮像素子の読出画素ピッチを異ならせることで第１実施形態と同様の第１および第２の画像データ１５１０および１５２５を得ている。

従って、第１実施形態と同様の処理を第１および第２の画像データ１５１０および１５２５に対して信号処理部１５００が実行することで、フルカラー画像１５３０を得ることができる。

本実施形態によれば、物理的な画素ピッチが同じ複数の撮像素子を用いる場合でも、第１実施形態と同様の効果を得ることができる。
なお、第１の画像データの形式は第１および第２実施形態において説明したものに限らず、物理的な画素ピッチと読出画素ピッチの組み合わせによって、解像度、アスペクト比などが異なる様々な画像データを得ることができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、信号処理部の構成以外は第１および第２実施形態と共通であってよいため、信号処理部に関して説明する。図１６は本実施形態におけるデータ処理の概略を、信号処理部１５００’の機能構成例とともに模式的に示した図である。図１６において第１実施形態（図７）と共通の構成には同じ参照数字を付してある。なお、第１実施形態と同じ構成の第１の撮像素子１１００を用いるものとして図示しているが、第２実施形態の構成としてもよい。本実施形態の信号処理部１５００’では、解像度変換部１５０３の後段に参照画像記憶部１５０４が設けられている。

第１、第２実施形態と同様にして、第２の画像データ１５２０を位置合わせ処理部１５０２と解像度変換部１５０３とで処理し、第１の画像データ１５１０に位置合わせされ、解像度が変換された第３の画像データ１５２５を作成する。そして、第３の画像データ１５２５は参照画像記憶部１５０４に記憶される。なお、解像度の変換が必要無い場合には、第２の画像データ１５２０がそのまま第３の画像データ１５２５として記憶される。

本実施形態において参照補間部１５０１は、第１の画像データ１５１０と、参照画像記憶部１５０４に記憶されている第３の画像データ１５２５を用いて、第１または第２実施形態と同様にデモザイキングを行う。

参照画像記憶部１５０４に記憶された第３の画像データ１５２５が参照補間処理に使用できるか否かは、例えば、第１の画像データ１５１０の取得時刻と、第３の画像データ１５２５の基となった第２の画像データ１５２０の取得時刻の差に基づいて決定できる。ただし、許容できる時間差は、例えば被写体の動きの大きさに依存しうる。例えば被写体の動きが小さい場合の方が、動きの大きい場合よりも許容できる時間差は長くなる。また、第３の画像データ１５２５の中でも、参照補間処理に使用できる部分とできない部分が存在しうる。

図１７を参照して、本実施形態における画像データ取得およびデモザイキングの動作制御について説明する。図１７の上側に、第１の撮像素子１１００の読出制御動作とその他ミングを示している。

第１の撮像素子１１００にフレーム同期信号が入力されると、Ｎフレーム目読出信号の直線で記載されているように、有効画素部１１１０の先頭の画素行から順番に信号を読み出す。また、各画素行の蓄積期間は、点線で示したＮフレーム用リセット信号のタイミングで開始されており、リセット信号と読出時間の差が各画素行の蓄積期間である。

図１７の下側に、第２の撮像素子１２００の読出制御動作とそのタイミングを示している。本実施形態では、第１の撮像素子１１００と第２の撮像素子１２００の読み出しは非同期であり、第１の撮像素子１１００に供給するフレーム同期信号とは独立した第２の撮像素子１２００用のフレーム同期信号に同期して読み出しを開始する。

第２の撮像素子１２００の読み出しは、第２の撮像素子１２００の撮影要求信号がアサートされた後に行われる。第２の撮像素子１２００の撮影要求信号をネゲートすることにより、カメラ制御部１４００は参照補間処理ならびに第２の撮像素子１２００での撮影を停止させることができる。例えばカメラ制御部１４００は、例えば所定値以上の撮影感度が設定されているときなど、参照補間に用いる画像の撮影条件として適していない設定がなされている際に撮影要求信号をネゲートすることができるが、他の以外の条件を用いてもよい。図１７の例では、撮影要求信号はアサートを保持しているため、第２の撮像素子１２００での撮影および信号処理部１５００における参照補間処理は継続実施される。

信号処理部１５００は、第１の撮像素子１１００のＮフレーム目の画像データのデモザイキングに、撮影済みの第２の撮像素子１２００のＭフレーム目の画像データに基づいて生成され、参照画像記憶部１５０４に記憶されている第３の画像データを用いる。なお、図１７では第２の画像データと第１の画像データの取得タイミングに着目しているため、便宜上、第２の画像データがそのまま第３の画像データとして用いられる場合を記載している。

信号処理部１５００は、第１の撮像素子１１００のＮ＋１フレーム目の画像データのデモザイキングについても、参照画像記憶部１５０４に記憶されている第２の撮像素子１２００のＭフレーム目の画像データを用いる。

しかしながら、古い画像データを参照すると、補間精度の低下を招きうるため、本実施形態の信号処理部１５００は、図１８に示す制御を行う。
Ｓ３１０で信号処理部１５００は、第１の画像データを第１の撮像素子１１００から取得する。
そして、Ｓ３２０で信号処理部１５００は、第１の画像データと、参照画像記憶部１５０４に記憶されている第３の画像データの元になった第２の画像データとの撮影開始時刻の差ΔＦが所定値（ライフタイム）より大きいか否か判定する。ΔＦが所定値より大きいと判定されなければ、信号処理部１５００は処理をＳ３４０に進め、参照画像記憶部１５０４に記憶されている第３の画像データを用いてデモザイキングを実行する。

一方、ΔＦが所定値より大きいと判定された場合、信号処理部１５００は処理をＳ３５０に進め、参照画像記憶部１５０４に記憶されている第３の画像データを用いずにデモザイキングを実行する。

例えば第２の撮像素子１２００のＭフレーム目と第１の撮像素子のＮフレーム目の撮影開始時刻の差ΔＦ（Ｎ）が所定値よりも大きい場合、信号処理部１５００は、第２の撮像素子１２００のＭフレーム目に基づく第３の画像データをデモザイキングに用いない。

また、Ｓ３４０でデモザイキングを実行する際、参照補間部１５０１は、第１の画像データ１５１０と、参照画像記憶部１５０４に記憶されている第３の画像データの対応する画素値の差が所定値以下の領域を参照に用いるようにする。例えば、参照補間部１５０１は、第１の画像データのうち、補間対象の仮想画素の周辺に位置する実在する複数の画素の各々について、第３の画像データで対応する位置もしくは最も近くに存在する同色画素との値との差を求める。そして、参照補間部１５０１は、差の合計が所定値以下であれば上述した参照補間によるデモザイキングを実行し、差の合計が所定値を超える場合には補間対象の仮想画素について参照補間を用いないデモザイキングを実行する。

以上の動作により、第１の画像データ１５１０と第２の画像データ１５２０の撮影時刻に差がある場合でも、少なくとも部分的には参照補間を用いたデモザイキングが可能となる。

本実施形態によれば、参照補間時に用いる参照用の画像データを記憶するようにしたので、第１および第２の撮像素子の撮影タイミングに対する制限が緩和される。そのため、より多様な撮像装置で得られた画像データについて参照補間を実施することが可能になる。

以上、本発明の例示的な実施形態をいくつか説明したが、上述の説明は単なる例示を目的としたものであり、いかなる意味においても本発明の範囲を限定するものと解釈すべきものではない。本発明の範囲は特許請求の範囲によって規定され、範囲に包含される変形物および等価物は本発明の範囲に含まれる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１００…第１の撮像素子、１２００…第２の撮像素子、１４００…カメラ制御部、１５００…信号処理部、１５０１…参照補間部、１５０２…位置合わせ処理部、１５０３…解像度変換部、１５０４…参照画像記憶部

Claims (15)

1. 第１の画像データと、前記第１の画像データと撮影範囲が重複し、かつ前記第１の画像データより解像度の高い第２の画像データとを取得する取得手段と、
   前記第２の画像データを参照して、前記第１の画像データの色補間処理を実行する補間手段と、を有し、
   前記第１の画像データの各画素値は、前記第１の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、
   前記第２の画像データの各画素値は、前記第２の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、
   前記補間手段は、前記第２の画像データを構成する画素値のうち、前記第１の画像データにおける補間対象の画素の位置に対応する位置もしくは対応する位置に最も近い位置の画素値を参照して前記補間対象の画素についての色補間処理を実行する、
   ことを特徴とする画像処理装置。
2. 前記第２の画像データの解像度が、前記第１の画像データの解像度の２のｎ乗倍（ｎは整数）であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像データの解像度が、前記第１の画像データの解像度の２のｎ乗倍（ｎは整数）でない場合、前記第２の画像データから、前記第１の画像データの解像度の２のｎ乗倍の解像度を有する第３の画像データを生成する変換手段をさらに有し、
   前記補間手段は前記第３の画像データが生成された場合には、前記第３の画像データを参照して前記第１の画像データの色補間処理を実行することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第２の画像データまたは前記第３の画像データを記憶する記憶手段をさらに有し、
   前記補間手段は、前記記憶手段に記憶された画像データを参照して前記第１の画像データの色補間処理を実行することを特徴とする請求項３に記載の画像処理装置。
5. 前記補間手段は、前記第１の画像データの撮影時刻と、前記記憶手段に記憶された画像データの撮影時刻との差が所定値より大きい場合、前記記憶手段に記憶された画像データを参照せずに前記第１の画像データの色補間処理を実行することを特徴とする請求項４に記載の画像処理装置。
6. 前記補間手段は、前記記憶手段に記憶された画像データを参照して前記第１の画像データの色補間処理を実行する場合、前記第１の画像データのうち、前記補間対象の画素の周辺の画素の値と、前記記憶手段に記憶された画像データにおいて前記周辺の画素に対応する位置の画素の値との差の合計が所定値以下であれば、前記記憶手段に記憶された画像データを参照して前記補間対象の画素の色補間処理を実行することを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記第１の画像データと前記第２の画像データが、並行して撮影された画像データであることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 第１の撮像素子と、
   第２の撮像素子と、
   請求項１から請求項７のいずれか１項に記載の画像処理装置と、を有し、
   前記第１の画像データは前記第１の撮像素子を用いて取得され、前記第２の画像データは前記第２の撮像素子を用いて取得されることを特徴とする撮像装置。
9. 前記第２の撮像素子は、前記第１の撮像素子よりも物理的な画素ピッチが小さいことを特徴とする請求項８に記載の撮像装置。
10. 前記第１の撮像素子の画素の光電変換領域の面積が、前記第２の撮像素子の画素の光電変換領域の面積よりも大きいことを特徴とする請求項９に記載の撮像装置。
11. 前記第１の撮像素子にて蓄積された電荷に応じた電圧をＡ／Ｄ変換して前記第１の画像データを生成する第１のＡ／Ｄ変換手段と、
    前記第２の撮像素子にて蓄積された電荷に応じた電圧をＡ／Ｄ変換して前記第２の画像データを生成する第２のＡ／Ｄ変換手段と、を有し、
    前記第２のＡ／Ｄ変換手段の分解能は、前記第１のＡ／Ｄ変換手段の分解能よりも低いことを特徴とする請求項９または１０に記載の撮像装置。
12. 前記第１の撮像素子および前記第２の撮像素子は物理的な画素ピッチが等しく、前記第１の撮像素子の読出画素ピッチが前記第２の撮像素子の読出画素ピッチより大きいことを特徴とする請求項８に記載の撮像装置。
13. 前記第１の撮像素子および前記第２の撮像素子は物理的な画素ピッチが等しく、前記第１の画像データは、前記第１の撮像素子から加算読出を行って生成され、前記第２の画像データは、前記第２の撮像素子から非加算読出を行って生成されることを特徴とする請求項８に記載の撮像装置。
14. 画像処理装置が実行する画像処理方法であって、
    第１の画像データと、前記第１の画像データと撮影範囲が重複し、かつ前記第１の画像データより解像度の高い第２の画像データとを取得する工程と、
    前記第２の画像データを参照して、前記第１の画像データの色補間処理を実行する工程と、を有し、
    前記第１の画像データの各画素値は、前記第１の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、
    前記第２の画像データはの各画素値は、前記第２の画像データを得るために用いた撮像素子が備えるカラーフィルタを構成する複数の色成分のうちの１つの色成分に対応し、
    前記色補間処理を実行する工程では、前記第２の画像データを構成する画素値のうち、前記第１の画像データにおける補間対象の画素の位置に対応する位置もしくは対応する位置に最も近い位置の画素値を参照して前記補間対象の画素についての色補間処理を実行する、
    ことを特徴とする画像処理方法。
15. コンピュータを、請求項１から請求項７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images