JP6016423B2 - 信号処理装置、撮像装置及び信号処理方法 - Google Patents

Description

本発明は、ベイヤー配列を有した撮像素子を有する撮像装置におけるベイヤー画像生成と、画像反転に関するものである。

近年、テレビ放送などでは、１９２０（Ｈ）×１０８０（Ｖ）の画像サイズのフルＨＤに対応した映像が用いられている。さらに、最近では、フルＨＤ画像よりも更なる高精細画像で映像作品を生成するため、特に映画業界などでは、オーバーＨＤ（例えば、水平４Ｋ×垂直２Ｋ ： Ｋ＝１０００）など、フルＨＤを超える画像を記録できる撮像装置が要望されている。

そこで、上記撮像装置を実現するため、撮像装置には、水平４Ｋ×垂直２Ｋに対応した画素数を有するＣＭＯＳセンサーを採用する。該ＣＭＯＳセンサーは、４色の色フィルタ（Ｒ／Ｇｒ／Ｇｂ／Ｂ）が市松模様に配置されたベイヤー構造のＣＭＯＳセンサーを用いる場合がある。そのため、ＣＭＯＳセンサーからの出力信号は、ベイヤー構造の映像信号であり、該映像信号に、ホワイトバランス補正や、キズ補正や、周辺光量落ち補正を施した後、１フレーム（例えば、１／６０秒）の映像信号をメモリ（ＳＤＲＡＭ）に記録する。そして、該記録映像をＳＭＰＴＥに準拠した伝送規格を用いて、３Ｇ−ＳＤＩ伝送路経由で、外部記録機器に記録される。外部記録機器に記録した画像をＰＣ（パーソナルコンピュータ）で、４Ｋ×２Ｋのベイヤー画像から補間処理して、４Ｋ×２ＫサイズのＲＧＢ画像を生成し、色処理、輪郭強調などの映像信号処理を施して、最終的な４Ｋ×２Ｋの映像信号を生成するフローが適用される。

また、３Ｄ画像を生成する場合、２台の撮像装置の片方の画像をミラー反転するミラーと、２台の撮像装置を用いるため、片方の撮像装置から出力される画像をもう一方と、画像の天地もしくは、左右を合わせる。そのため、画像反転するスキャンリバース機能も撮像装置に、要求されている。前記、画像反転の機能であるスキャンリバースを実現するため、従来は以下の構成が提案されている（特許文献１）。

特開２０００−２６１７９３号公報

撮像素子からの出力画像を一時的に格納するフレームメモリから画像データを読み出す際に、画像データを読み出す順番を指示するメモリを制御することで、フレームメモリの画像に対して、上下反転、もしくは、左右反転、また、上下左右反転を自由に行う。これにより、画像反転をフレームメモリから読み出す制御によって自由に変更可能である。しかしながら、撮像素子からの出力画像であるベイヤー画像では、各色フィルタ（Ｒ／Ｇｒ／Ｇｂ／Ｂ）が市松模様に配置されているため、画像反転前のベイヤー画像の先頭画素の色情報と、画像反転後の先頭画素の色情報が異なる問題がある。この場合、撮像装置が出力したベイヤー画像から、外部の編集アプリケーションソフトを用いて、各種信号処理（偽色処理や、輪郭強調や、各色毎の帯域制限）を行う場合、画像の先頭画素の色情報がない。したがって、記録されたベイヤー画像の先頭画素の色情報を、ＣＭＯＳセンサーからの出力ベイヤー画像の先頭画素の色情報と一致していると考え、信号処理を行うと、各色の帯域を制限するＬＰＦや、偽色処理が正常に動作せずに、画質が劣化する問題がある。

上記目的を達成するために、本発明の信号処理装置は、複数の色が所定の順で配列された第１の画像に対して補間処理を行い、補間された画像から前記所定の順を反転させた順で配列された第２の画像を生成する生成手段と、前記第２の画像を格納するメモリと、前記メモリから前記第２の画像を読み出す際に、前記第２の画像を反転する反転手段を有することを特徴とする。
また、上記目的を達成するために、本発明の信号処理装置は、複数の色が所定の順で配列された第１の画像に対して補間処理を行うことで補間画像を生成する補間手段と、前記補間画像を格納するメモリと、前記メモリから前記補間画像を読み出す際に、前記補間画像を反転する反転手段と、前記反転手段で反転された前記補間画像から、前記所定の順で配列された第２の画像を生成する生成手段を有することを特徴とする。

以上説明したように、本発明によれば、フレームメモリから画像データを読み出す際に、画像反転を行った場合でも、該反転前と、該反転後のベイヤー画像の先頭画素の色情報を一致させることができる。また、外部編集アプリケーションソフトを用いた編集後の画像においても、出力ベイヤー画像の先頭画素の色情報に合わせた信号処理を行えるため、画質が劣化する問題を回避できる。

本発明の撮像装置における一構成例を示す。 本発明の撮像装置におけるカメラ信号処理回路の一構成例を示す。 本発明の撮像装置における“スキャンリバースＯＦＦ”時のベイヤー画像生成の一実施例を示す。 本発明の撮像装置における“スキャンリバースＯＮ”時のベイヤー画像生成と、画像反転（上下）の一実施例を示す。 本発明の撮像装置における“スキャンリバースＯＮ”時のベイヤー画像生成と、画像反転（左右）の一実施例を示す。 本発明の撮像装置における“スキャンリバースＯＮ”時のベイヤー画像生成と、画像反転（上下左右）の一実施例を示す。 本発明の撮像装置における“スキャンリバース”後のベイヤー画像生成の一実施例を示す。 本発明の撮像装置における動作フローの一実施例を示す。

以下、図面を参照して、本発明を実施するための形態について詳細に説明する。

図１は、本発明に係る撮像装置を示すブロック図である。撮像装置は、被写体を撮像する撮像部を構成するレンズと、レンズからの入射光を電気信号に変換する撮像素子であるＣＭＯＳセンサーを備える。

ここで、図３に示すように、ＣＭＯＳセンサーのカラーフィルタ構造は、Ｒ画素と、Ｇｒ画素と、Ｇｂ画素と、Ｂ画素がそれぞれ市松模様に配置したベイヤー構造を有している。

また、該ＣＭＯＳセンサーからの出力信号を、ホワイトバランス補正と、補間処理するためのラインメモリと、補間処理回路と、カラー調整を行うためのカラーマトリクス演算回路と、ベイヤー画像の生成を行うカメラ信号処理回路を備える。

これにより、ベイヤー画像から補間処理した補間画像（Ｒ／Ｇｒ／Ｇｂ／Ｂ）に対して、カラーマトリクス演算を施した後、補間画像から、ベイヤー画像を生成するための各画素での画素セレクトを行うことにより、ベイヤー画像を生成する。

また、該生成されたベイヤー画像をメモリＩ／Ｆ部を介して、フレームメモリを構成するＳＤＲＡＭに画像を書き込み、さらに該書き込んだ画像データを、出力フォーマットに適合するように読み出しを行う。その後、出力形式である３Ｇ−ＳＤＩ規格に準拠するように信号変換を行った後、撮像装置が備える出力端子である３Ｇ−ＳＤＩからベイヤー画像データを出力する構成である。

本発明を適用した図面が図１であり、初めに本発明の撮像装置について、図１と、図２を元に説明する。

＜第１の実施形態＞
１図において、レンズ１を通った光信号は、ＣＭＯＳセンサー２に入力される。該ＣＭＯＳセンサー２は、光信号を電気信号に変換した後、画像データとして、カメラ信号処理回路３に出力する。ここで、ＣＭＯＳセンサー内部のマイクロレンズ上面に添付するカラー吸収材は、レッドを吸収する“Ｒ（吸収波長６００ｎｍ〜７００ｎｍ）”と、グリーンを吸収する“Ｇｒもしくは、Ｇｂ（吸収波長５００ｎｍ〜６００ｎｍ）”と、ブルーを吸収する“Ｂ（吸収波長４００ｎｍ〜５００ｎｍ）”とし、それぞれを市松模様に配置した“ベイヤー構造”を有している（図３記載）。例えば、ＣＭＯＳセンサー２が有する画素数は、水平２Ｋ（２０４８）×垂直１Ｋ（１０８０）である（Ｒ画素＝Ｇｒ画素＝Ｇｂ画素＝Ｂ画素＝１０２４×５４０）。

カメラ信号処理回路３は、ホワイトバランス補正回路と、補間処理用のラインメモリと、補間処理回路と、カラーマトリクス補正と、該マトリクス補正後の補間画像から、ベイヤー生成を行い、該処理後のベイヤー画像をメモリＩ／Ｆ部４に、画像データを出力する。メモリＩ／Ｆ部４は、画像をバッファリングするためのＳＤＲＡＭ５に画像データの書き込み制御を行い、さらに、バッファリングされた画像を、出力フォーマットに適合するような読み出し制御を行う。また、ビデオ信号処理回路６は、ＳＤＲＡＭ５に書き込まれた画像データを読み出し、ＳＭＰＴＥ規格に準拠した信号配列に並べ換えた後、３Ｇ−ＳＤＩ変換回路７に出力する。３Ｇ−ＳＤＩ変換回路７は、３Ｇ−ＳＤＩ規格を規格化しているＳＭＰＴＥ規格フォーマットに対応するように、信号を変換した後、各３Ｇ−ＳＤＩ出力端子である３Ｇ−ＳＤＩ端子８〜１１に信号を出力する。

また、ＣＰＵ１２は、撮像装置のメニュー機能に備えた“スキャンリバース”モードが選択された場合の画像反転情報を、カメラ信号処理回路３と、メモリＩ／Ｆ部４に信号を出力する。

次に、図１のカメラ信号処理回路３の処理について、図２を用いて説明する。本実施形態のカメラ信号処理回路３の一構成例は、図２に示す構成であり、ＣＭＯＳセンサー２からの出力信号は、ホワイトバランス補正回路１００に入力される。ホワイトバランス補正回路１００は、例えば、撮像装置が“白”を撮影した時に、Ｒと、Ｇと、Ｂの比率が１：１：１となるように、ゲイン調整を行う。Ｒ／Ｇ／Ｂのゲイン調整が施されたベイヤー画像は、ラインメモリ１０１に入力される。ラインメモリ１０１は、補間処理回路１０２で、同時化補間処理、特に垂直方向に補間処理を行うためのラインメモリを構成しており、例えば、補間処理が垂直１１タップであれば、１０ライン分のラインメモリが各色（Ｒ／Ｇｒ／Ｇｂ／Ｂ）ごとに設けられている。

各ラインメモリからの出力信号は、補間処理回路１０２に出力される。そして、補間処理回路１０２は、各画素に対して、ＣＭＯＳセンサーからの出力画素であるオリジナル画素にない画素データ、Ｒもしくは、Ｇもしくは、Ｂ画素データを生成するため、補間処理を行う（Ｒ画素の位置では、Ｇ画素と、Ｂ画素を補間処理で生成する）。ここで、例えば、補間処理回路１０２は、垂直１１ライン×水平１１画素で構成される。補間処理後の各色ごとの画像サイズは、図３に示す通り、Ｒ＝Ｇｒ＝Ｇｂ＝Ｂ＝水平２０４８×垂直１０８０の画像サイズとなる。

該補間処理後の各画像は、カラーマトリクス演算回路１０３に出力される。そして、該マトリクス演算回路１０３は、ＣＭＯＳセンサー２が有するカラーフィルタのばらつきによる色ばらつきを補正するため、下記の式（１）で示される３行３列で構成されるマトリクス演算を行う。

・・・（１）

ここで、ａ＋ｂ＋ｃ＝ｄ＋ｅ＋ｆ＝ｇ＋ｈ＋ｉ＝１を満たす係数に設定される。

また、各画素の演算式は、以下のように表される。
ｒ ＝ ａ ＊ Ｒ ＋ ｂ ＊ Ｇ ＋ ｃ ＊ Ｂ （２）
ｇ ＝ ｄ ＊ Ｒ ＋ ｅ ＊ Ｇ ＋ ｆ ＊ Ｂ （３）
ｂ ＝ ｇ ＊ Ｒ ＋ ｈ ＊ Ｇ ＋ ｉ ＊ Ｂ （４）
３行３列のマトリクス演算後の画像は、各Ｒ、Ｇｒ、Ｇｂ、Ｂ画像にマトリクス係数を演算されて足し合わされた信号になり（（２）式〜（４）式）、この各Ｒ、Ｇ、Ｂ画素データをベイヤー生成部１０４に出力する。

ベイヤー生成部１０４は、ＣＭＯＳセンサーのベイヤー配列に対応する色画素を選択して出力する。例えば、Ｒ画素の場合は、マトリクス演算が施されたｒ画素を選択する。Ｇｒ画素の場合は、マトリクス演算が施されたｇ画素を選択する。Ｇｂ画素の場合は、マトリクス演算が施されたｇ画素を選択する。また、Ｂ画素の場合は、マトリクス演算が施されたｂ画素を選択する。。ここで、前記ＣＭＯＳセンサーのベイヤー配列に対応する色画素を選択する選択情報は、図１記載のＣＰＵ１２かの出力情報を元に動作する。ベイヤー生成部１０４で生成されたベイヤー画像は、メモリＩ／Ｆ部４に出力される。

次に、ＣＭＯＳセンサー２のベイヤー画像から、補間処理回路１０２を介して、ベイヤー生成部１０４にて、ベイヤー画像を生成する信号の流れを図３を用いて詳しく説明する。

ＣＭＯＳセンサーから読み出されたベイヤー画像は、Ｒと、Ｇｒと、Ｇｂと、Ｂが市松模様に配置されている画像となる。

そのため、ベイヤー画像の画像サイズが水平２０４８×垂直１０８０であった場合、各画素（Ｒ／Ｇｒ／Ｇｂ／Ｂ）それぞれの画像サイズは、水平１０２４×垂直５４０となる。

該ベイヤー画像において、補間処理回路にて、各画素にＲ／Ｇ／Ｂ画素情報がすべて存在するように、補間処理が施される。

そのため、各画素（Ｒ／Ｇｒ／Ｇｂ／Ｂ）それぞれの画像サイズは、水平２０４８×垂直１０８０となる。

補間生成された各色ごとの画像（Ｒ／Ｇｒ／Ｇｂ／Ｂ）において、撮像装置が備えるＣＰＵ１２から選択情報を元に、ベイヤー生成部１０４は、画素内のＲ／Ｇ／Ｂ情報から選択動作を行い、出力する。

例えば、１１アドレスでは、補間処理後に、Ｒ１１と、Ｇｒ１１と、Ｇｂ１１と、Ｂ１１が存在するが、本画素情報から、Ｒ１１を選択する。
また、１２アドレスは、補間処理後に、Ｒ１２と、Ｇｒ１２と、Ｇｂ１２と、Ｂ１２が存在するが、本画素情報から、Ｇｒ１２を選択する。
また、２１アドレスは、補間処理後に、Ｒ２１と、Ｇｒ２１と、Ｇｂ２１と、Ｂ２１が存在するが、本画素情報から、Ｇｂ２１を選択する。
また、２２アドレスは、補間処理後に、Ｒ２２と、Ｇｒ２２と、Ｇｂ２２と、Ｂ２２が存在するが、本画素情報から、Ｂ２２を選択する。

以上の動作を繰り返し行うことで、例えば、Ｒ画素は、水平方向は、１１アドレス、１３アドレス、・・・というように、奇数アドレスのみ存在し、垂直方向も、１１アドレス、３１アドレス、・・・というように、奇数アドレスのみ存在する。

同様にＧｒ画素は、水平方向は、偶数アドレス、垂直方向は、奇数アドレス、に存在する。また、Ｇｂ画素は、水平方向は、奇数アドレス、垂直方向は、偶数アドレス、に存在する。また、Ｂ画素は、水平方向は、偶数アドレス、垂直方向は、偶数アドレスに存在する。

これを組み合わせることで、ベイヤー構造の画像が再生成される。

本動作のベイヤー生成は、上述しているように、ＣＰＵ１２からの制御情報に基いて、動作する。次に、スキャンリバースの機能である“上下反転モード”時のベイヤー生成部１０４の動作と、メモリＩ／Ｆ部４で行う上下反転動作について説明する。

ＣＭＯＳセンサーから読み出したベイヤー画像から、補間処理を施し、補間処理画像を生成する動作は、前記動作と同様のため、省略する。

ＣＭＯＳセンサーからのベイヤー画像の最終ラインは、図４に記載するとおり、Ｇｂ画素と、Ｂ画素を繰り返し配置されている。したがって、補間処理後に生成された補間画像において、列毎の最終ラインの画素の色情報に対応する補間画素を最初のラインで選択するように、ＣＰＵ１２から制御信号がベイヤー生成部１０４に出力される。

ベイヤー生成部１０４は、本情報を元に、ベイヤー生成を行うわけだが、実際の補間画像からのベイヤー生成の動作を図４を元に説明する。

１１アドレスは、補間処理後に、Ｒ１１と、Ｇｒ１１と、Ｇｂ１１と、Ｂ１１が存在するが、本画素情報から、Ｇｂ１１を選択する。
また、１２アドレスは、補間処理後に、Ｒ１２と、Ｇｒ１２と、Ｇｂ１２と、Ｂ１２が存在するが、本画素情報から、Ｂ１２を選択する。
また、２１アドレスは、補間処理後に、Ｒ２１と、Ｇｒ２１と、Ｇｂ２１と、Ｂ２１が存在するが、本画素情報から、Ｒ２１を選択する。
また、２２アドレスは、補間処理後に、Ｒ２２と、Ｇｒ２２と、Ｇｂ２２と、Ｂ２２が存在するが、本画素情報から、Ｇｒ２２を選択する。

以上の動作を繰り返し行うことで、例えば、Ｇｂ画素は、水平方向は、１１アドレス、１３アドレス、・・・というように、奇数アドレスのみ存在し、垂直方向も、１１アドレス、３１アドレス、・・・というように、奇数アドレスのみ存在する。

同様にＢ画素は、水平方向は、偶数アドレス、垂直方向は、奇数アドレス、に存在する。また、Ｒ画素は、水平方向は、奇数アドレス、垂直方向は、偶数アドレス、に存在する。また、Ｇｒ画素は、水平方向は、偶数アドレス、垂直方向は、偶数アドレスに存在する。

これを組み合わせることで、ベイヤー構造の画像が再生成される。

以上の動作により、ベイヤー生成部で生成されたベイヤー画像の先頭画素の色情報は、“Ｇｂ”となる。

ベイヤー生成部１０４で生成されたベイヤー画像は、メモリＩ／Ｆ部に出力され、ベイヤー生成部１０４は、上下反転して、画像をバッファリングするＳＤＲＡＭ５に画像データを書き込む。

つまり、ＳＤＲＡＭに書き込まれたベイヤー画像の先頭画素（左上）は、Ｒ６１となり、最終画素（右下）は、Ｂ１８となる。

これにより、補間処理回路１０２に入力されたベイヤー画像と、比較して上下反転した画像となり、さらに、上下反転されたベイヤー画像の先頭画素（左上）の色情報は、補間処理回路１０２に入力されたベイヤー画像と一致した“Ｒ”となる。

以上が、上下反転時の動作であるが、次に、左右反転時の動作について、図５を用いて説明する。

ＣＭＯＳセンサーから出力されたベイヤー画像の最終列は、図５に記載するとおり、Ｇｒ画素と、Ｂ画素が繰り返し配置されている。したがって、補間処理後に生成された補間画像において、行毎の最終列の画素の色情報と一致する補間画素を、最初の列で選択するように、ＣＰＵ１２から制御信号がベイヤー生成部１０４に出力される。

１１アドレスは、補間処理後に、Ｒ１１と、Ｇｒ１１と、Ｇｂ１１と、Ｂ１１が存在するが、本画素情報から、Ｇｒ１１を選択する。
また、１２アドレスは、補間処理後に、Ｒ１２と、Ｇｒ１２と、Ｇｂ１２と、Ｂ１２が存在するが、本画素情報から、Ｒ１２を選択する。
また、２１アドレスは、補間処理後に、Ｒ２１と、Ｇｒ２１と、Ｇｂ２１と、Ｂ２１が存在するが、本画素情報から、Ｂ２１を選択する。
また、２２アドレスは、補間処理後に、Ｒ２２と、Ｇｒ２２と、Ｇｂ２２と、Ｂ２２が存在するが、本画素情報から、Ｇｂ２２を選択する。

以上の動作を繰り返し行うことで、例えば、Ｇｒ画素は、水平方向は、１１アドレス、１３アドレス、・・・というように、奇数アドレスのみ存在し、垂直方向も、１１アドレス、３１アドレス、・・・というように、奇数アドレスのみ存在する。

同様に、Ｒ画素は、水平方向は、偶数アドレス、垂直方向は、奇数アドレス、に存在する。また、Ｂ画素は、水平方向は、奇数アドレス、垂直方向は、偶数アドレス、に存在する。また、Ｇｂ画素は、水平方向は、偶数アドレス、垂直方向は、偶数アドレスに存在する。

これを組み合わせることで、ベイヤー構造の画像が再生成される。

以上の動作により、ベイヤー生成部で生成されたベイヤー画像の先頭画素の色情報は、“Ｇｒ”となる。

ベイヤー生成部１０４で生成されたベイヤー画像は、メモリＩ／Ｆ部に出力され、ベイヤー生成部１０４は、左右反転して、画像をバッファリングするＳＤＲＡＭ５に画像データを書き込む。

つまり、ＳＤＲＡＭに書き込まれたベイヤー画像の先頭画素（左上）は、Ｒ１８となり、最終画素（右下）は、Ｂ６１となる。

これにより、補間処理回路１０２に入力されたベイヤー画像と、比較して左右反転した画像となり、さらに、左右反転されたベイヤー画像の先頭画素（左上）の色情報は、補間処理回路１０２に入力されたベイヤー画像と一致した“Ｒ”となる。

以上が、“上下反転”と、“左右反転”の動作となる。

次に、“上下左右反転”の動作を図６を用いて説明するが、基本的には、前記の“上下反転”と、“左右反転”の組み合わせ動作である。

したがって、Ｂ画素は、水平方向は、１１アドレス、１３アドレス、・・・というように、奇数アドレスのみ存在し、垂直方向も、１１アドレス、３１アドレス、・・・というように、奇数アドレスのみ存在する。

同様に、Ｇｂ画素は、水平方向は、偶数アドレス、垂直方向は、奇数アドレス、に存在する。また、Ｇｒ画素は、水平方向は、奇数アドレス、垂直方向は、偶数アドレス、に存在する。また、Ｒ画素は、水平方向は、偶数アドレス、垂直方向は、偶数アドレスに存在する。。

これを組み合わせることで、ベイヤー構造の画像が再生成される。

以上の動作により、ベイヤー生成部で生成されたベイヤー画像の先頭画素の色情報は、“Ｂ”となる。

ベイヤー生成部１０４で生成されたベイヤー画像は、メモリＩ／Ｆ部に出力され、ベイヤー生成部１０４は、上下左右反転して、画像をバッファリングするＳＤＲＡＭ５に画像データを書き込む。

つまり、ＳＤＲＡＭに書き込まれたベイヤー画像の先頭画素（上下左上）は、Ｒ６８となり、最終画素（右下）は、Ｂ１１となる。

これにより、補間処理回路１０２に入力されたベイヤー画像と、比較して上下左右反転した画像となり、さらに、左右反転されたベイヤー画像の先頭画素（左上）の色情報は、補間処理回路１０２に入力されたベイヤー画像と一致した“Ｒ”となる。

以上のように、撮像装置が備える“上下反転”と、“左右反転”と、“上下左右反転”それぞれにおいて、補間処理後の補間画像から、ベイヤー画像を生成する際の補間Ｒ，Ｇ，Ｂ画素から選択する画素を、ＣＰＵ１２から切り替える。

さらに、ＳＤＲＡＭ５に画像データを書き込む制御を行うメモリＩ／Ｆ部４で、各反転動作を行うことで、反転動作を行った場合でも、反転後のベイヤー画像の先頭画素の色情報と、補間処理前のベイヤー画像の先頭画素の色情報を一致させることが可能となる。

ここで、各反転後の先頭画素の色情報は、ビデオ信号処理回路６で、画像データにカメラメタデータとして、具備することも可能であるため、上記動作は、選択可能としても良い。

次に、本実施形態の画像生成回路構成の動作を図８に示すフローチャートを用いて説明する。

ＣＭＯＳセンサーからの出力画像であるベイヤー構造の画像が、カメラ信号処理回路３に入力された後（Ｓ１０００）、補間画像を各画素に対して、周辺画素を用いて補間処理した後、補間画像を生成する（Ｓ１００１）。

該生成された補間画像に対して、色調整を施すためのカラーマトリクス演算を行う（Ｓ１００２）。

次に、撮像装置が備えるスキャンリバースモードが選択され、画像反転動作がＯＮか否かを判定（Ｓ１００３）する。そして、該スキャンリバースモードがＯＦＦと判定した場合は、補間画像から、ＣＭＯＳセンサーのベイヤー画像に対応した各画素の色情報と、補間画素の色情報が一致した補間画素を選択して、メモリＩ／Ｆ部に画像データを出力する（Ｓ１００４）。

一方、該スキャンリバースモードがＯＮと判定した場合、補間画像から、ＣＭＯＳセンサーのベイヤー画像に対応した各画素の色情報と、補間画素の色情報が違う補間画素を選択して、メモリＩ／Ｆ部に画像データを出力する（Ｓ１００５）。

メモリＩ／Ｆ部は、前記スキャンリバースモードにおいて、どの方向に反転するかの情報を元に、画像反転を行い、画像バッファリング用のＳＤＲＡＭに画像データを格納する（Ｓ１００６）。

次に、格納されているＳＤＲＡＭから、画像データをＳＭＰＴＥ規格に準拠するように、信号を並べ換えて、読み出す（Ｓ１００７）。

該読み出した画像データに、現在選択されているスキャンリバースモードにおける画像データの先頭画素（左上の画素）の色情報を、カメラメタデータとして、アンシラリ領域に重畳する。そして、出力規格である３Ｇ−ＳＤＩ規格に準拠する信号に変換した後、出力端子から、信号を出力する（Ｓ１００８）。

以上のように、ベイヤー画像生成部で選択した該ベイヤー画像の先頭画素の色情報に対して、スキャンリバースモードＯＮ、例えば、左右反転を選択した場合、スキャンリバースモードＯＦＦ時の横方向の最終画素の色情報と、一致する補間画素を選択する。
また、上下反転が選択された場合には、該ＯＦＦ時の縦方向の最終画素の色情報と、一致する補間画素を選択する。
また、上下左右反転が選択された場合には、該ＯＦＦ時の画像右下の最終画素の色情報と、一致する補間画素を選択する。
また、各スキャンリバースモード（上下また、左右または、上下左右）が選択された場合のベイヤー画像の先頭画素の色情報を画像データに具備するメタデータとして、切り替えて重畳する。

これにより、フレームメモリから画像データを読み出す際に、画像反転を行った場合でも、該反転前と、該反転後のベイヤー画像の先頭画素の色情報が一致することが可能となる。

＜第２の実施形態＞
第１の実施形態では、ベイヤー生成を行う際の補間画素の選択動作において、先頭画素の色情報を、スキャンリバースモードＯＦＦ時に対して、変更した後、スキャンリバースを行う構成について説明した。

第２の実施形態では、第１の実施形態に対して、カメラ信号処理回路にて、ベイヤー画像から、補間処理を施し、補間画像を生成する手法は、同様である。

以降の動作において、補間画像をスキャンリバースにおける反転情報を元に、反転動作を行った後、ベイヤー生成を行う構成について、図７を用いて説明する。

図７は、スキャンリバースモードの１つである画像の上下反転の例である。

カラーマトリクス演算回路１０３後の補間画像は、図７に示すとおり各Ｒ／Ｇｒ／Ｇｂ／Ｂプレーン画像（サイズ：水平２０４８×垂直１０８０）である。

各補間画像を、メモリを使用して、上下反転動作を行う。

例えば、補間画像“Ｒ”で説明すると、上下反転する前の左上の画素は、“Ｒ１１”、右下の画素は、“Ｒ６８”である。

スキャンリバースモードにおける上下反転動作により、上下反転後の左上の画素は、“Ｒ６１”、右下の画素は、“Ｒ１８”となる。

該上下反転動作を行った各補間画像から、補間処理前のベイヤー画像の先頭画素（左上）の色情報と一致するように、補間画像から選択動作を行う。

例えば、補間画像“Ｒ”で説明すると、左上の画素は、“Ｒ６１”、右下の画素は、“選択画素なし”となる。

したがって、補間画像“Ｒ”の選択アドレスは、水平方向は、奇数アドレス、垂直方向は、奇数アドレスとなる。

本動作を、各補間画像に対して行うため、補間画像“Ｇｒ”の選択アドレスは、水平方向は、偶数アドレス、垂直方向は、奇数アドレスとなり、補間画像“Ｇｂ”の選択アドレスは、水平方向は、奇数アドレス、垂直方向は、偶数アドレスとなる。

また、補間画像“Ｂ”の選択アドレスは、水平方向は、偶数アドレス、垂直方向は、偶数アドレスとなる。

本選択動作を行った後、処理画像をメモリＩ／Ｆ部を介して、ＳＤＲＡＭに画像データを書き込む。

これにより、ＳＤＲＡＭに書き込まれた画像は、左上の画素は、“Ｒ６１”であり、右下の画素は、“Ｂ１８”となる。このため、補間処理前のベイヤー画像に対して、上下反転が施されたベイヤー画像であるが、該画像の先頭画素（左上）の色情報は、“Ｒ”となり、補間処理前のベイヤー画像と一致する。

以上のように、ベイヤー画像から補間処理を施した補間画像を上下反転した後、補間処理前のベイヤー画像の各画素の色情報が一致するように、ベイヤー生成を行う。これにより、スキャンリバースを実現しつつ、スキャンリバース前後の画像の先頭画素の色情報を一致させることが可能となる。

１ レンズ
２ ＣＭＯＳセンサー
３ カメラ信号処理回路
４ メモリＩ／Ｆ部
５ ＳＤＲＡＭ
６ ビデオ信号処理回路
７ ３Ｇ−ＳＤＩ変換回路
８〜１１ ３Ｇ−ＳＤＩ端子
１２ ＣＰＵ
１００ ホワイトバランス補正回路
１０１ ラインメモリ
１０２ 補間処理回路
１０３ カラーマトリクス演算回路
１０４ ベイヤー生成部

Claims (8)

1. 複数の色が所定の順で配列された第１の画像に対して補間処理を行い、補間された画像から前記所定の順を反転させた順で配列された第２の画像を生成する生成手段と、
   前記第２の画像を格納するメモリと、
   前記メモリから前記第２の画像を読み出す際に、前記第２の画像を反転する反転手段を有することを特徴とする信号処理装置。
2. 前記生成手段は、前記補間処理によって新たに生成された画素の情報のみを用いて、前記第２の画像を生成することを特徴とする請求項１に記載の信号処理装置。
3. 複数の色が所定の順で配列された第１の画像に対して補間処理を行うことで補間画像を生成する補間手段と、
   前記補間画像を格納するメモリと、
   前記メモリから前記補間画像を読み出す際に、前記補間画像を反転する反転手段と、
   前記反転手段で反転された前記補間画像から、前記所定の順で配列された第２の画像を生成する生成手段を有することを特徴とする信号処理装置。
4. 前記生成手段は、前記反転の方向に応じて、前記第２の画像を生成する際に前記補間された画像から選択する画素を変更することを特徴とする請求項１または２に記載の信号処理装置。
5. 前記第１の画像および前記第２の画像はベイヤー配列の画像であることを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 前記第１の画像を生成する撮像手段と、
   請求項１乃至５のいずれか１項に記載の信号処理装置を有することを特徴とする撮像装置。
7. 複数の色が所定の順で配列された第１の画像に対して補間処理を行い、補間された画像から前記所定の順を反転させた順で配列された第２の画像を生成する工程と、
   前記第２の画像をメモリに格納する工程と、
   前記メモリから前記第２の画像を読み出す際に、前記第２の画像を反転する工程を有することを特徴とする信号処理方法。
8. 複数の色が所定の順で配列された第１の画像に対して補間処理を行うことで補間画像を生成する工程と、
   前記補間画像をメモリに格納する工程と、
   前記メモリから前記補間画像を読み出す際に、前記補間画像を反転する工程と、
   反転された前記補間画像から、前記所定の順で配列された第２の画像を生成する工程を有することを特徴とする信号処理方法。

Images