JP2014233021A - 映像信号処理装置及び方法 - Google Patents

Abstract

【課題】解像度が良好で、擬似カラー、擬似ノイズ、斜めエッジのジャギが少ない高画質の補間画像を得ることができる映像信号処理装置を提供する。
【解決手段】Ｇ補間方法選択部３０とＲ，Ｂ補間方法選択部６０は、補間画素信号を生成するための基準となる画素信号における３画素分の画素信号が単調増加または単調減少ではない第１のケースと、単調増加または単調減少である第２のケースであるかを判定する。Ｇ補間部４０は、第１のケースと第２のケースとで補間方法を異ならせて、Ｇの補間画素信号を生成する。Ｒ，Ｂ補間部７０は、第１のケースと第２のケースとで補間方法を異ならせて、Ｒ，Ｂの補間画素信号を生成する。
【選択図】図１

Description

本発明は、ベイヤ配列のカラーフィルタを備えた撮像素子より出力された３原色の画素信号を補間処理する映像信号処理装置及び方法に関する。

ベイヤ配列のカラーフィルタを備えた撮像素子より出力された３原色の画素信号は、１つの画素においてはＲ（赤），Ｇ（緑），Ｂ（青）のいずれかの画素信号のみである。それぞれの画素において、画素信号として出力されない他の２色の画素信号については、補間処理によって生成することが必要である。補間処理によって画素信号として出力されない色の画素信号を生成する処理をデモザイク処理と称している。

デモザイク処理の最も簡易な方法として、補間によって生成しようとする色と同色の周囲の色の画素信号を用いて線形補間するバイニリア法がある。バイニリア法による補間処理は、画像のエッジ部分に誤補間による擬似カラーが発生しやすく、解像度の劣化が大きい等の欠点があるため、一般的には使用されていない。

バイニリア法の欠点を改善する方法として、ACPI（Adaptive Color Plane Interpolation）法が知られており、広く使用されている。ACPI法は、補間によって生成しようとする色とは異なる色の画素信号を参照して、画素信号を補間する方法である。特許文献１は、ACPI法による補間処理を開示する。特許文献２は、ACPI法を改良した補間処理を開示する。

米国特許第５６２９７３４号明細書 特開２０１２−９９９０３号公報

ACPI法による補間処理は、補間対象の色の画素信号を他の色の画素信号を参照して補間する方法である。従って、ACPI法による補間処理では画像のエッジ情報が正確に得られ、解像度が比較的良好で、擬似カラーが少ない補間画像となる。

ところが、補色関係にある２色が隣接するエッジ部分では、エッジの境界をまたぐ際に例えばＲの画素信号は減少する一方で、Ｇ，Ｂの画素信号は増加するような関係にあると、エッジ情報が正確に得られず、誤差が増大する。その結果、擬似ノイズが大きかったり、斜めエッジにジャギが発生したりする場合がある。

そこで、ACPI法よりもさらに高画質の補間画像を得ることができる映像信号処理装置及び方法が望まれている。

本発明はこのような要望に対応するため、解像度が良好で、擬似カラー、擬似ノイズ、斜めエッジのジャギが少ない高画質の補間画像を得ることができる映像信号処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、ベイヤ配列のカラーフィルタを備えた撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＧの画素信号が存在していないＲまたはＢの画素信号の画素位置に、Ｇの補間画素信号を生成するための基準となるＲまたはＢの画素信号における３画素分の画素信号を時系列の順に第１〜第３のＲ，Ｂ画素信号としたとき、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと増加し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと減少するか、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと減少し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと増加する第１のケースであるか、前記第１〜第３のＲ，Ｂ画素信号が単調増加するか単調減少する第２のケースであるかを判定する第１の判定部と、前記Ｇの補間画素信号と、前記Ｇの補間画素信号を挟む２画素分のＧの画素信号との３画素分の画素信号を時系列の順に第１〜第３のＧ画素信号としたとき、前記第１の判定部によって前記第１のケースであると判定されたときには、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との平均値と前記第２のＲ，Ｂ画素信号との差分に、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との距離に対する前記第１のＧ画素信号と前記第３のＧ画素信号との距離の比を乗じた値を、前記第１のＧ画素信号と前記第３のＧ画素信号との平均値に加算することによって前記Ｇの補間画素信号を生成し、前記第１の判定部によって前記第２のケースであると判定されたときには、前記第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状と、前記第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記Ｇの補間画素信号を生成するＧ補間部と、前記撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＲ及びＢの画素信号が存在していないＧの画素信号の画素位置と、Ｂの画素信号が存在していないＲの画素信号の画素位置と、Ｒの画素信号が存在していないＢの画素信号の画素位置とのそれぞれに、ＲまたはＢの補間画素信号を生成するための基準となるＧの画素信号またはＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号としたとき、前記第４のＧ画素信号から前記第５のＧ画素信号へと増加し、前記第５のＧ画素信号から前記第６のＧ画素信号へと減少するか、前記第４のＧ画素信号から前記第５のＧ画素信号へと減少し、前記第５のＧ画素信号から前記第６のＧ画素信号へと増加する前記第１のケースであるか、前記第４〜第６のＧ画素信号が単調増加するか単調減少する前記第２のケースであるかを判定する第２の判定部と、前記ＲまたはＢの補間画素信号と、前記ＲまたはＢの補間画素信号を挟む２画素分のＲまたはＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ，Ｂ画素信号としたとき、前記第２の判定部によって前記第１のケースであると判定されたときには、前記第４のＧ画素信号と前記第６のＧ画素信号との平均値と前記第５のＧ画素信号との差分を、前記第４のＲ，Ｂ画素信号と前記第６のＲ，Ｂ画素信号との平均値に加算することによって前記ＲまたはＢの補間画素信号を生成し、前記第２の判定部によって前記第２のケースであると判定されたときには、前記第４〜第６のＧ画素信号それぞれの画素位置を結ぶ形状と、前記第４〜第６のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記ＲまたはＢの補間画素信号を生成するＲ，Ｂ補間部とを備えることを特徴とする映像信号処理装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、ベイヤ配列のカラーフィルタを備えた撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＧの画素信号が存在していないＲまたはＢの画素信号の画素位置に、Ｇの補間画素信号を生成するための基準となるＲまたはＢの画素信号における３画素分の画素信号を時系列の順に第１〜第３のＲ，Ｂ画素信号としたとき、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと増加し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと減少するか、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと減少し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと増加する第１のケースであるか、前記第１〜第３のＲ，Ｂ画素信号が単調増加するか単調減少する第２のケースであるかを判定し、前記Ｇの補間画素信号と、前記Ｇの補間画素信号を挟む２画素分のＧの画素信号との３画素分の画素信号を時系列の順に第１〜第３のＧ画素信号としたとき、前記第１のケースであると判定されたときには、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との平均値と前記第２のＲ，Ｂ画素信号との差分に、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との距離に対する前記第１のＧ画素信号と前記第３のＧ画素信号との距離の比を乗じた値を、前記第１のＧ画素信号と前記第３のＧ画素信号との平均値に加算することによって前記Ｇの補間画素信号を生成し、前記第２のケースであると判定されたときには、前記第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状と、前記第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記Ｇの補間画素信号を生成し、前記撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＲ及びＢの画素信号が存在していないＧの画素信号の画素位置と、Ｂの画素信号が存在していないＲの画素信号の画素位置と、Ｒの画素信号が存在していないＢの画素信号の画素位置とのそれぞれに、ＲまたはＢの補間画素信号を生成するための基準となるＧの画素信号またはＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号としたとき、前記第４のＧ画素信号から前記第５のＧ画素信号へと増加し、前記第５のＧ画素信号から前記第６のＧ画素信号へと減少するか、前記第４のＧ画素信号から前記第５のＧ画素信号へと減少し、前記第５のＧ画素信号から前記第６のＧ画素信号へと増加する前記第１のケースであるか、前記第４〜第６のＧ画素信号が単調増加するか単調減少する前記第２のケースであるかを判定し、前記ＲまたはＢの補間画素信号と、前記ＲまたはＢの補間画素信号を挟む２画素分のＲまたはＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ，Ｂ画素信号としたとき、前記第１のケースであると判定されたときには、前記第４のＧ画素信号と前記第６のＧ画素信号との平均値と前記第５のＧ画素信号との差分を、前記第４のＲ，Ｂ画素信号と前記第６のＲ，Ｂ画素信号との平均値に加算することによって前記ＲまたはＢの補間画素信号を生成し、前記第２のケースであると判定されたときには、前記第４〜第６のＧ画素信号それぞれの画素位置を結ぶ形状と、前記第４〜第６のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記ＲまたはＢの補間画素信号を生成することを特徴とする映像信号処理方法を提供する。

本発明の映像信号処理装置及び方法によれば、解像度が良好で、擬似カラー、擬似ノイズ、斜めエッジのジャギが少ない高画質の補間画像を得ることができる。

一実施形態の映像信号処理装置を示すブロック図である。 ベイヤ配列のカラーフィルタを備えた撮像素子の画素配列を示す図である。 Ｒ，Ｂの画素信号の位置にＧの画素信号を補間する場合に用いるＲ，Ｇ，Ｂの画素信号を示す図である。 ACPI法によってＲの画素信号の位置にＧの画素信号を補間する補間処理を概念的に示す図である。 Ｇの画素信号の位置にＲ，Ｂの画素信号を補間する場合に用いるＲ，Ｂの画素信号を示す図である。 Ｇの画素信号の位置にＲ，Ｂの画素信号を補間する場合に用いるＧの画素信号及びＧの補間画素信号を示す図である。 ACPI法によってＧの画素信号の位置にＲの画素信号を補間する補間処理を概念的に示す図である。 Ｒの画素信号の位置にＢの画素信号を補間する場合に用いるＢの画素信号を示す図である。 Ｒの画素信号の位置にＢの画素信号を補間する場合に用いるＧの補間画素信号を示す図である。 ACPI法によってＲの画素信号の位置にＢの画素信号を補間する補間処理を概念的に示す図である。 Ｂの画素信号の位置にＲの画素信号を補間する場合に用いるＲの画素信号を示す図である。 Ｂの画素信号の位置にＲの画素信号を補間する場合に用いるＧの補間画素信号を示す図である。 ACPI法によってＧの画素信号の位置にＲの画素信号を補間する補間処理を概念的に示す図である。 ACPI法による補間処理によって不具合が発生する場合の例を示す図である。 基準とする画素信号における３画素の画素信号の増減の状態に応じたケース分けを示す図である。 一実施形態の映像信号処理装置のより好ましい構成例を示すブロック図である。

以下、一実施形態の映像信号処理装置及び方法について、添付図面を参照して説明する。図１において、画素遅延部１０には、ベイヤ配列のカラーフィルタを備えた単板の撮像素子より出力されて、Ａ／Ｄ変換等の所定の信号処理が施された各色の画素信号が順次入力される。

ベイヤ配列のカラーフィルタを備えた撮像素子は、図２に示すような画素配列となっている。図２に示すように、Ｒの画素とＧの画素とが水平方向に交互に配列した第１のラインと、Ｂの画素とＧの画素とが水平方向に交互に配列した第２のラインとが垂直方向に交互に配列されている。第１のラインにおけるＧの画素をＧｒ、第２のラインにおけるＧの画素をＧｂと記述している。

画素遅延部１０は、Ｇ補間方向選択部２０からＲ，Ｂ補間部７０までのそれぞれの回路ブロックで必要な画素信号を出力するよう、入力された画素信号を水平方向及び垂直方向に遅延させる。画素遅延部１０は、複数のラインメモリと複数の画素遅延器を用いて構成することができる。

図１より分かるように、一実施形態の映像信号処理装置及び方法は、まず、Ｇ補間方向選択部２０からＧ補間部４０までの回路ブロックによって、Ｇの画素が存在していない画素位置のＧの補間画素信号を生成する。Ｇ^は、Ｇの補間画素信号を示す。

次に、一実施形態の映像信号処理装置及び方法は、Ｒ，Ｂ補間方向選択部５０からＲ，Ｂ補間部７０までの回路ブロックによって、Ｒ，Ｂの画素が存在していない画素位置のＲ，Ｂの補間画素信号を生成する。Ｒ^，Ｂ^は、Ｒ，Ｂの補間画素信号を示す。

これによって、Ｒ，Ｇ，Ｂの画素信号のうち撮像素子より出力されて存在している画素信号以外の２つの色の補間画素信号が生成される。Ｒ，Ｂ補間部７０からは、全ての画素位置に３つの色の画素信号が揃った状態の画素信号が出力される。

一実施形態の映像信号処理装置及び方法は、ACPI法による画素信号の補間を基本としている。まず、ACPI法による画素信号の補間処理について説明する。

後述するように、Ｇ補間部４０は、Ｒの画素位置とＢの画素位置におけるＧの補間画素信号を生成する。Ｇ補間方向選択部２０は、Ｇ補間部４０がＧの画素信号を誤補間少なく補間できるよう、相関が大きい方向を検出して補間方向を選択する。

図３の（ａ）に示すように、Ｇ補間部４０がＲ２２で示すＲの画素位置のＧの補間画素信号を生成するために、Ｇ補間方向選択部２０は、水平方向Ｄｈと垂直方向Ｄｖとのどちらが相関が大きいかを検出する。水平方向Ｄｈの変化の大きさをＣｈ、垂直方向Ｄｖの変化の大きさをＣｖとすると、Ｃｈ，Ｃｖは式（１），（２）で表される。

Ｃｈ＝Abs（２×Ｒ22−Ｒ02−Ｒ42）＋Abs（Ｇ12−Ｇ32） …（１）
Ｃｖ＝Abs（２×Ｒ22−Ｒ20−Ｒ24）＋Abs（Ｇ21−Ｇ23） …（２）

式（１），（２）におけるAbsは絶対値を求める関数を示す。後述する式においても同様である。

Ｃｈ＜Ｃｖであれば、水平方向Ｄｈの方が相関が大きいということである。この場合、Ｇ補間方向選択部２０は、Ｇ補間部４０が水平方向に補間処理を実施するよう、水平方向を示す選択データを出力する。

Ｃｈ＞Ｃｖであれば、垂直方向Ｄｖの方が相関が大きいということである。この場合、Ｇ補間方向選択部２０は、Ｇ補間部４０が垂直方向に補間処理を実施するよう、垂直方向を示す選択データを出力する。

Ｇ補間方向選択部２０は、Ｃｈ＝Ｃｖであれば、Ｇ補間部４０が水平方向の補間値と垂直方向の補間値とを平均した値を補間画素信号とするよう、Ｃｈ＝Ｃｖであることを示す選択データを出力する。

また、図３の（ｂ）に示すように、Ｇ補間部４０がＢ２２で示すＢの画素位置のＧの補間画素信号を生成するために、Ｇ補間方向選択部２０は、水平方向Ｄｈと垂直方向Ｄｖのどちらが相関が大きいかを検出する。水平方向Ｄｈの変化の大きさＣｈ、垂直方向Ｄｖの変化の大きさＣｖは式（３），（４）で表される。

Ｃｈ＝Abs（２×Ｂ22−Ｂ02−Ｂ42）＋Abs（Ｇ12−Ｇ32） …（３）
Ｃｖ＝Abs（２×Ｂ22−Ｂ20−Ｂ24）＋Abs（Ｇ21−Ｇ23） …（４）

Ｃｈ＜Ｃｖであれば、水平方向Ｄｈの方が相関が大きいということである。この場合、Ｇ補間方向選択部２０は、Ｇ補間部４０が水平方向に補間処理を実施するよう、水平方向を示す選択データを出力する。

Ｃｈ＞Ｃｖであれば、垂直方向Ｄｖの方が相関が大きいということである。この場合、Ｇ補間方向選択部２０は、Ｇ補間部４０が垂直方向に補間処理を実施するよう、垂直方向を示す選択データを出力する。

Ｇ補間方向選択部２０は、Ｃｈ＝Ｃｖであれば、Ｇ補間部４０が水平方向の補間値と垂直方向の補間値とを平均した値を補間画素信号とするよう、Ｃｈ＝Ｃｖであることを示す選択データを出力する。

図３の（ａ），（ｂ）に示すように、ハッチングを付したＲ２２で示すＲの画素またはＢ２２で示すＢの画素が注目画素であるとき、Ｇ補間方向選択部２０，Ｇ補間方法選択部３０，Ｇ補間部４０には、図３の（ａ），（ｂ）に示すＲ，Ｇ，Ｂの画素信号が入力される。画素遅延部１０は、図３の（ａ），（ｂ）に示すＲ，Ｇ，Ｂの画素信号をＧ補間方向選択部２０，Ｇ補間方法選択部３０，Ｇ補間部４０へと供給する。

Ｇ補間方向選択部２０より出力された選択データは、Ｇ補間方法選択部３０に入力される。本実施形態の映像信号処理装置及び方法は、ACPI法による画素信号の補間を基本とする一方で、所定の条件のときにACPI法とは異なる補間方法で補間画素信号を生成する。Ｇ補間方法選択部３０は、補間方法を選択する。ACPI法とは異なる補間方法及びＧ補間方法選択部３０における補間方法の選択については後に詳述する。

Ｇ補間部４０は、Ｇ補間方向選択部２０より出力された選択データと、Ｇ補間方法選択部３０によって選択された補間方法に基づいて、Ｒの画素位置とＢの画素位置におけるＧの補間画素信号を生成する。

ここではACPI法のみについて示すと、Ｇ補間部４０は、式（５），（６）によってＲの画素位置とＢの画素位置におけるＧの補間画素信号を生成する。

図３の（ａ）におけるＲ02，Ｒ22，Ｒ42またはＲ20，Ｒ22，Ｒ24をＲ0，Ｒ2，Ｒ4とする。図３の（ａ）におけるＧ12，Ｇ32またはＧ21，Ｇ23をＧ1，Ｇ3とする。図３の（ｂ）におけるＢ02，Ｂ22，Ｂ42またはＢ20，Ｂ22，Ｂ24をＢ0，Ｂ2，Ｂ4とする。図３の（ｂ）におけるＧ12，Ｇ32またはＧ21，Ｇ23をＧ1，Ｇ3とする。Ｒ２２で示すＲの画素位置のＧの補間画素信号をＧ^2とする。

Ｇ^2＝（Ｇ1＋Ｇ3）／２＋｛Ｒ2−（Ｒ0＋Ｒ4）／２｝／２ …（５）
Ｇ^2＝（Ｇ1＋Ｇ3）／２＋｛Ｂ2−（Ｂ0＋Ｂ4）／２｝／２ …（６）

式（５）は、図４の（ａ），（ｂ）に示すように、Ｒ0とＲ4との平均値とＲ2との差分ｂの半分であるｂ／２が、Ｇ1とＧ3との平均値と補間画素信号Ｇ^2との差分に等しいことを示している。特に図示しないが、式（６）も同様である。

Ｇ補間部４０がＧの補間画素信号を生成する際に、基準となるＲまたはＢの画素信号における３画素分の画素信号を時系列の順に第１〜第３のＲ，Ｂ画素信号（Ｒ0，Ｒ2，Ｒ4またはＢ0，Ｂ2，Ｂ4）とする。Ｇの補間画素信号と、Ｇの補間画素信号を挟む２画素分のＧの画素信号との３画素分の画素信号を時系列の順に第１〜第３のＧ画素信号（Ｇ1，Ｇ^2，Ｇ3）とする。

Ｇ補間部４０は、ACPI法に基づき、第１のＲ，Ｂ画素信号（Ｒ0，Ｂ0）と第３のＲ，Ｂ画素信号（Ｒ4，Ｂ4）との平均値と第２のＲ，Ｂ画素信号（Ｒ2，Ｂ2）との差分に、第１のＲ，Ｂ画素信号と第３のＲ，Ｂ画素信号との距離に対する第１のＧ画素信号（Ｇ1）と第３のＧ画素信号（Ｇ3）との距離の比（ここでは１／２）を乗じた値を、第１のＧ画素信号と第３のＧ画素信号との平均値に加算することによってＧの補間画素信号（Ｇ^2）を生成する。

図１において、以上のようにして、Ｇ補間部４０によって生成されたＲの画素位置とＢの画素位置におけるＧの補間画素信号は、Ｒ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とに入力される。

後述するように、Ｒ，Ｂ補間部７０は、Ｇの画素位置におけるＲ，Ｂの補間画素信号と、Ｒの画素位置におけるＢの補間画素信号と、Ｂの画素位置におけるＲの補間画素信号とをそれぞれ生成する。Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０におけるそれぞれの補間処理の際の補間方向を選択する。

図５に示すように、Ｒ，Ｂ補間部７０がＧ２２で示すＧの画素位置のＲの補間画素信号を生成するとき、Ｒの画素信号はＧの画素位置に対して上下にしか存在しないため、Ｒ，Ｂ補間方向選択部５０で選択すべき方向は一意に決まる。また、Ｒ，Ｂ補間部７０がＧ２２で示すＧの画素位置のＢの補間画素信号を生成するとき、Ｂの画素信号はＧの画素位置に対して左右にしか存在しないため、Ｒ，Ｂ補間方向選択部５０で選択すべき方向は一意に決まる。

そこで、Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０がＧの画素位置のＲの補間画素信号を生成するときには垂直方向を示す選択データを出力し、Ｇの画素位置のＢの補間画素信号を生成するときには水平方向を示す選択データを出力する。

図５に示すように、ハッチングを付したＧ２２で示すＧの画素が注目画素であるとき、Ｒ，Ｂ補間方向選択部５０，Ｒ，Ｂ補間方法選択部６０，Ｒ，Ｂ補間部７０には、図５に示すＲ，Ｇ，Ｂの画素信号が入力される。画素遅延部１０は、図５に示すＲ，Ｇ，Ｂの画素信号をＲ，Ｂ補間方向選択部５０，Ｒ，Ｂ補間方法選択部６０，Ｒ，Ｂ補間部７０へと供給する。

Ｒ，Ｂ補間方向選択部５０より出力された選択データは、Ｒ，Ｂ補間方法選択部６０に入力される。Ｒ，Ｂ補間方法選択部６０は、補間方法を選択する。Ｒ，Ｂ補間部７０は、Ｒ，Ｂ補間方向選択部５０より出力された選択データと、Ｒ，Ｂ補間方法選択部６０によって選択された補間方法に基づいて、Ｇの画素位置におけるＲ，Ｂの補間画素信号を生成する。

ここではACPI法のみについて示すと、Ｒ，Ｂ補間部７０は、式（７），（８）によってＧの画素位置におけるＲ，Ｂの補間画素信号を生成する。

図５におけるＧ22をＧ2とする。図５におけるＲ21，Ｒ23をＲ1，Ｒ3とする。図５におけるＢ12，Ｂ32をＢ1，Ｂ3とする。図５におけるＲ21，Ｒ23，Ｂ12，Ｂ32の画素位置におけるＧの補間画素信号を、図６に示すように、Ｇ^21，Ｇ^23，Ｇ^12，Ｇ^32とする。図６におけるＧ^12，Ｇ^32またはＧ^21，Ｇ^23をＧ^1，Ｇ^3とする。

Ｒ^2＝（Ｒ1＋Ｒ3）／２＋｛Ｇ2−（Ｇ^1＋Ｇ^3）／２｝ …（７）
Ｂ^2＝（Ｂ1＋Ｂ3）／２＋｛Ｇ2−（Ｇ^1＋Ｇ^3）／２｝ …（８）

式（７）は、図７の（ａ），（ｂ）に示すように、Ｇ^1とＧ^3との平均値とＧ2との差分ｂが、Ｒ1とＲ3との平均値と補間画素信号Ｒ^2との差分に等しいことを示している。特に図示しないが、式（８）も同様である。

ＲまたはＢの補間画素信号を生成するための基準となるＧの画素信号またはＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号（Ｇ^1，Ｇ2，Ｇ^3）とする。ＲまたはＢの補間画素信号と、ＲまたはＢの補間画素信号を挟む２画素分のＲまたはＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ，Ｂ画素信号（Ｒ1，Ｒ^2，Ｒ3またはＢ1，Ｂ^2，Ｂ3）とする。

Ｒ，Ｂ補間部７０は、ACPI法に基づき、第４のＧ画素信号（Ｇ^1）と第６のＧ画素信号（Ｇ^3）との平均値と第５のＧ画素信号（Ｇ2）との差分を、第４のＲ，Ｂ画素信号（Ｒ1，Ｂ1）と第６のＲ，Ｂ画素信号（Ｒ3，Ｂ3）との平均値に加算することによってＲまたはＢの補間画素信号（Ｒ^2，Ｂ^2）を生成する。

図８に示すように、Ｒ，Ｂ補間部７０がＲ２２で示すＲの画素位置のＢの補間画素信号を生成するとき、Ｒ，Ｂ補間方向選択部５０は、左上−右下方向Ｄ１と右上−左下方向Ｄ２とのどちらが相関が大きいかを検出する。左上−右下方向Ｄ１の変化の大きさをＣ１、右上−左下方向Ｄ２の変化の大きさをＣ２とすると、Ｃ１，Ｃ２は式（９），（１０）で表される。

図８におけるＢ11，Ｂ31，Ｂ13，Ｂ33の画素位置におけるＧの補間画素信号を、図９に示すように、Ｇ^11，Ｇ^31，Ｇ^13，Ｇ^33とする。

Ｃ１＝Abs（２×Ｇ^22−Ｇ^11−Ｇ^33）＋Abs（Ｂ11−Ｂ33） …（９）
Ｃ２＝Abs（２×Ｇ^22−Ｇ^13−Ｇ^31）＋Abs（Ｂ13−Ｂ31） …（１０）

Ｃ１＜Ｃ２であれば、左上−右下方向Ｄ１の方が相関が大きいということである。この場合、Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０が左上−右下方向Ｄ１に補間処理を実施するよう、左上−右下方向Ｄ１を示す選択データを出力する。

Ｃ１＞Ｃ２であれば、右上−左下方向Ｄ２の方が相関が大きいということである。この場合、Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０が右上−左下方向Ｄ２に補間処理を実施するよう、右上−左下方向Ｄ２を示す選択データを出力する。

Ｒ，Ｂ補間方向選択部５０は、Ｃ１＝Ｃ２であれば、Ｒ，Ｂ補間部７０が左上−右下方向Ｄ１の補間処理による補間値と右上−左下方向Ｄ２の補間処理による補間値とを平均した値を補間画素信号とするよう、Ｃ１＝Ｃ２を示す選択データを出力する。

図８に示すように、ハッチングを付したＲ２２で示すＲの画素が注目画素であるとき、Ｒ，Ｂ補間方向選択部５０，Ｒ，Ｂ補間方法選択部６０，Ｒ，Ｂ補間部７０には、図８に示すＢの画素信号と図９に示すＧの補間画素信号とが入力される。

画素遅延部１０は、図８に示すＢの画素信号をＲ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とに供給し、Ｇ補間部４０は、図９に示すＧの補間画素信号をＲ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とに供給する。

Ｒ，Ｂ補間方向選択部５０より出力された選択データは、Ｒ，Ｂ補間方法選択部６０に入力される。Ｒ，Ｂ補間方法選択部６０は、補間方法を選択する。Ｒ，Ｂ補間部７０は、Ｒ，Ｂ補間方向選択部５０より出力された選択データと、Ｒ，Ｂ補間方法選択部６０によって選択された補間方法に基づいて、Ｒの画素位置のＢの補間画素信号を生成する。

ここではACPI法のみについて示すと、Ｒ，Ｂ補間部７０は、式（１１）によってＲの画素位置のＢの補間画素信号を生成する。図８におけるＢ11，Ｂ33またはＢ31，Ｂ13をＢ1，Ｂ3とする。図９におけるＧ^22をＧ^2、Ｇ^11，Ｇ^33またはＧ^31，Ｇ^13をＧ^1，Ｇ^3とする。

Ｂ^2＝（Ｂ1＋Ｂ3）／２＋｛Ｇ^2−（Ｇ^1＋Ｇ^3）／２｝ …（１１）

式（１１）は、図１０の（ａ），（ｂ）に示すように、Ｇ^1とＧ^3との平均値とＧ^2との差分ｂが、Ｂ1とＢ3との平均値と補間画素信号Ｂ^2との差分に等しいことを示している。

同様に、Ｂの補間画素信号を生成するための基準となるＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号（Ｇ^1，Ｇ^2，Ｇ^3）とする。Ｂの補間画素信号と、Ｂの補間画素信号を挟む２画素分のＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＢ画素信号（Ｂ1，Ｂ^2，Ｂ3）とする。

Ｒ，Ｂ補間部７０は、ACPI法に基づき、第４のＧ画素信号（Ｇ^1）と第６のＧ画素信号（Ｇ^3）との平均値と第５のＧ画素信号（Ｇ^2）との差分を、第４のＢ画素信号（Ｂ1）と第６のＢ画素信号（Ｂ3）との平均値に加算することによってＢの補間画素信号（Ｂ^2）を生成する。

図１１に示すように、Ｒ，Ｂ補間部７０がＢ２２で示すＢの画素位置のＲの補間画素信号を生成するとき、Ｒ，Ｂ補間方向選択部５０は、左上−右下方向Ｄ１と右上−左下方向Ｄ２とのどちらが相関が大きいかを検出する。左上−右下方向Ｄ１の変化の大きさＣ１、右上−左下方向Ｄ２の変化の大きさＣ２は、式（１２），（１３）で表される。

図１１におけるＲ11，Ｒ31，Ｒ13，Ｒ33の画素位置におけるＧの補間画素信号を、図１２に示すように、Ｇ^11，Ｇ^31，Ｇ^13，Ｇ^33とする。

Ｃ１＝Abs（２×Ｇ^22−Ｇ^11−Ｇ^33）＋Abs（Ｒ11−Ｒ33） …（１２）
Ｃ２＝Abs（２×Ｇ^22−Ｇ^13−Ｇ^31）＋Abs（Ｒ13−Ｒ31） …（１３）

Ｃ１＜Ｃ２であれば、左上−右下方向Ｄ１の方が相関が大きいということである。この場合、Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０が左上−右下方向Ｄ１に補間処理を実施するよう、左上−右下方向Ｄ１を示す選択データを出力する。

Ｃ１＞Ｃ２であれば、右上−左下方向Ｄ２の方が相関が大きいということである。この場合、Ｒ，Ｂ補間方向選択部５０は、Ｒ，Ｂ補間部７０が右上−左下方向Ｄ２に補間処理を実施するよう、右上−左下方向Ｄ２を示す選択データを出力する。

Ｒ，Ｂ補間方向選択部５０は、Ｃ１＝Ｃ２であれば、Ｒ，Ｂ補間部７０が左上−右下方向Ｄ１の補間処理による補間値と右上−左下方向Ｄ２の補間処理による補間値とを平均した値を補間画素信号とするよう、Ｃ１＝Ｃ２を示す選択データを出力する。

図１１に示すように、ハッチングを付したＢ２２で示すＢの画素が注目画素であるとき、Ｒ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とには、図１１に示すＲの画素信号と図１２に示すＧの補間画素信号とが入力される。

画素遅延部１０は、図１１に示すＲの画素信号をＲ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とに供給し、Ｇ補間部４０は、図１２に示すＧの補間画素信号をＲ，Ｂ補間方向選択部５０と、Ｒ，Ｂ補間方法選択部６０と、Ｒ，Ｂ補間部７０とに供給する。

Ｒ，Ｂ補間方向選択部５０より出力された選択データは、Ｒ，Ｂ補間方法選択部６０に入力される。Ｒ，Ｂ補間方法選択部６０は、補間方法を選択する。Ｒ，Ｂ補間部７０は、Ｒ，Ｂ補間方向選択部５０より出力された選択データと、Ｒ，Ｂ補間方法選択部６０によって選択された補間方法に基づいて、Ｂの画素位置のＲの補間画素信号を生成する。

ここではACPI法のみについて示すと、Ｒ，Ｂ補間部７０は、式（１４）によってＢの画素位置のＲの補間画素信号を生成する。図１１におけるＲ11，Ｒ33またはＲ31，Ｒ13をＲ1，Ｒ3とする。図１２におけるＧ^22をＧ^2、Ｇ^11，Ｇ^33またはＧ^31，Ｇ^13をＧ^1，Ｇ^3とする。

Ｒ^2＝（Ｒ1＋Ｒ3）／２＋｛Ｇ^2−（Ｇ^1＋Ｇ^3）／２｝ …（１４）

式（１４）は、図１３の（ａ），（ｂ）に示すように、Ｇ^1とＧ^3との平均値とＧ^2との差分ｂが、Ｒ1とＲ3との平均値と補間画素信号Ｒ^2との差分に等しいことを示している。

同様に、Ｒの補間画素信号を生成するための基準となるＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号（Ｇ^1，Ｇ^2，Ｇ^3）とする。Ｒの補間画素信号と、Ｒの補間画素信号を挟む２画素分のＲの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ画素信号（Ｒ1，Ｒ^2，Ｒ3）とする。

Ｒ，Ｂ補間部７０は、ACPI法に基づき、第４のＧ画素信号（Ｇ^1）と第６のＧ画素信号（Ｇ^3）との平均値と第５のＧ画素信号（Ｇ^2）との差分を、第４のＲ画素信号（Ｒ1）と第６のＲ画素信号（Ｒ3）との平均値に加算することによってＲの補間画素信号（Ｒ^2）を生成する。

次に、ACPI法をどのように改良するかについて説明する。本実施形態の映像信号処理装置及び方法においては、ACPI法による補間画素信号の生成を基本とし、所定の条件のときにACPI法を改良した改良ACPI法で補間画素信号を生成する。改良ACPI法をAACPI（Advanced Adaptive Color Plane Interpolation）法と称することとする。

図１４の（ａ），（ｂ）は、図７の（ａ），（ｂ）と同様、Ｇの画素信号Ｇ2及びＧの補間画素信号Ｇ^1，Ｇ^3を基準として、Ｒの画素信号Ｒ1，Ｒ3間のＲの補間画素信号Ｒ^2を生成する場合を示している。図１４の（ｂ）では、補間画素信号Ｇ^1と画素信号Ｇ2との画素レベルがほぼ同じであり、補間画素信号Ｇ^3の画素レベルが補間画素信号Ｇ^1と画素信号Ｇ2の画素レベルと比較して小さい。

上述したACPI法による補間では、補間画素信号Ｒ^2は図１４の（ａ）に示すように画素信号Ｒ1，Ｒ3の平均値よりも画素レベルが大きくなる。図１４の（ｂ）では、補間画素信号Ｇ^1と画素信号Ｇ2とが平坦で、画素信号Ｇ2から補間画素信号Ｇ^3へと画素レベルが変化しているので、画像のエッジは画素信号Ｇ2と補間画素信号Ｇ^3との間にあると考えられる。

図１４の（ａ）に示すようにACPI法によって補間画素信号Ｒ^2を生成すると、Ｒの画素信号における画像のエッジは画素信号Ｒ1と補間画素信号Ｒ^2との間にあることになってしまう。よって、Ｒの画素信号における画像のエッジがＧの画素信号における画像のエッジと不整合となり、画質劣化を招く。

Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、それぞれの補間画素信号を生成する際の基準とする画素信号（補間画素信号を含む、以下同様）がどのように変化しているかを判定して、ACPI法を採用するか、AACPI法で追加された補間方法を採用するかを決定する。

図１５は、基準とする画素信号がＧの画素信号である場合を示している。図１５の（ａ）は、補間画素信号Ｇ^1から画素信号Ｇ2へと画素レベルが増加し、画素信号Ｇ2から補間画素信号Ｇ^3へと画素レベルが減少するパターンを示している。Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が増加−減少のパターンをケース１とする。

図１５の（ｂ）は、補間画素信号Ｇ^1から画素信号Ｇ2へと画素レベルが減少し、画素信号Ｇ2から補間画素信号Ｇ^3へと画素レベルが増加するパターンを示している。Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が減少−増加のパターンもケース１とする。

図１５の（ｃ）は、補間画素信号Ｇ^1から画素信号Ｇ2へと画素レベルが減少し、画素信号Ｇ2から補間画素信号Ｇ^3へと画素レベルが減少する単調減少のパターンを示している。Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が単調減少のパターンをケース２とする。

図１５の（ｄ）は、補間画素信号Ｇ^1から画素信号Ｇ2へと画素レベルが増加し、画素信号Ｇ2から補間画素信号Ｇ^3へと画素レベルが増加する単調増加のパターンを示している。Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が単調増加のパターンもケース２とする。

基準とする画素信号がＲの画素信号またはＢ画素信号の場合でも、ケース１とケース２とのケース分けの仕方は同じである。

Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が変化するパターンがケース１であると判定したとき、Ｇ補間部４０及びＲ，Ｂ補間部７０が上述したACPI法によってそれぞれの補間画素信号を生成するよう、Ｇ補間部４０及びＲ，Ｂ補間部７０に対してACPI法による補間を指示する第１の指示信号を供給する。

Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする画素信号が変化するパターンがケース２であると判定したとき、Ｇ補間部４０及びＲ，Ｂ補間部７０がAACPI法によってそれぞれの補間画素信号を生成するよう、Ｇ補間部４０及びＲ，Ｂ補間部７０に対してAACPI法で追加された補間方法を指示する第２の指示信号を供給する。

Ｇ補間方法選択部３０は、Ｇの補間画素信号を生成するための基準となる第１〜第３のＲ，Ｂ画素信号における画素レベルの変化のパターンが、第１のケースであるか第２のケースであるかを判定する第１の判定部として動作している。

Ｒ，Ｂ補間方法選択部６０は、ＲまたはＢの補間画素信号を生成するための基準となる第４〜第６のＧ画素信号における画素レベルの変化のパターンが、第１のケースであるか第２のケースであるかを判定する第２の判定部として動作している。

Ｇ補間部４０及びＲ，Ｂ補間部７０におけるAACPI法で追加された補間方法について説明する。

Ｇ補間部４０は、図３の（ａ），（ｂ）におけるＲ２２で示すＲの画素位置のＧの補間画素信号とＢ２２で示すＢの画素位置のＧの補間画素信号を生成する際、Ｇ補間方法選択部３０より第２の指示信号が供給されたときには、式（５），（６）の代わりに、以下の式（１５），（１６）を採用する。

Ｇ補間部４０は、Ｒの画素信号を基準としてＧの補間画素信号を生成する場合には、画素信号Ｒ0から画素信号Ｒ2への変化と、画素信号Ｒ2から画素信号Ｒ4への変化の変化比が、画素信号Ｇ1から補間画素信号Ｇ^2への変化と、補間画素信号Ｇ^2から画素信号Ｇ3への変化の変化比と等しくなるように、式（１５）に基づいて補間画素信号Ｇ^2を生成する。

Ｇ^2＝｛Ｇ1×（Ｒ2−Ｒ0）＋Ｇ3×（Ｒ2−Ｒ4）｝／（Ｒ0−Ｒ4） …（１５）

Ｇ補間部４０は、Ｂの画素信号を基準としてＧの補間画素信号を生成する場合も同様にして、変化比を合わせるために、式（１６）に基づいて補間画素信号Ｇ^2を生成する。

Ｇ^2＝｛Ｇ1×（Ｂ2−Ｂ0）＋Ｇ3×（Ｂ2−Ｂ4）｝／（Ｂ0−Ｂ4） …（１６）

Ｇ補間部４０による式（１５），（１６）に基づく補間画素信号Ｇ^2の生成は、第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状と、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｇの補間画素信号を生成することを意味する。

Ｒ，Ｂ補間部７０は、図５におけるＧ２２で示すＧの画素位置のＲの補間画素信号とＢの補間画素信号を生成する際、Ｒ，Ｂ補間方法選択部６０より第２の指示信号が供給されたときには、式（７），（８）の代わりに、以下の式（１７），（１８）を採用する。

Ｒ，Ｂ補間部７０は、Ｇの画素信号及びＧの補間画素信号を基準としてＲの補間画素信号を生成する場合には、補間画素信号Ｇ^1から画素信号Ｇ2への変化と、画素信号Ｇ2から補間画素信号Ｇ^3への変化の変化比が、画素信号Ｒ1から補間画素信号Ｒ^2への変化と、補間画素信号Ｒ^2から画素信号Ｒ3への変化の変化比と等しくなるように、式（１７）に基づいて補間画素信号Ｒ^2を生成する。

Ｒ^2＝｛Ｒ1×（Ｇ2−Ｇ^1）＋Ｒ3×（Ｇ2−Ｇ^3）｝／（Ｇ^1−Ｇ^3） …（１７）

Ｒ，Ｂ補間部７０は、Ｇの画素信号及びＧの補間画素信号を基準としてＢの補間画素信号を生成する場合も同様にして、変化比を合わせるために、式（１８）に基づいて補間画素信号Ｂ^2を生成する。

Ｂ^2＝｛Ｂ1×（Ｇ2−Ｇ^1）＋Ｂ3×（Ｇ2−Ｇ^3）｝／（Ｇ^1−Ｇ^3） …（１８）

Ｒ，Ｂ補間部７０による式（１７），（１８）に基づく補間画素信号Ｒ^2，Ｂ^2の生成は、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状と、第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｒ，Ｂの補間画素信号を生成することを意味する。

また、Ｒ，Ｂ補間部７０は、図８におけるＲ２２で示すＲの画素位置のＢの補間画素信号を生成する際、Ｒ，Ｂ補間方法選択部６０より第２の指示信号が供給されたときには、変化比を合わせるために、式（１１）の代わりに式（１９）に基づいて補間画素信号Ｂ^2を生成する。

Ｂ^2＝｛Ｂ1×（Ｇ^2−Ｇ^1）＋Ｂ3×（Ｇ^2−Ｇ^3）｝／（Ｇ^1−Ｇ^3） …（１９）

Ｒ，Ｂ補間部７０による式（１９）に基づく補間画素信号Ｂ^2の生成は、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状と、第１〜第３のＢ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｂの補間画素信号を生成することを意味する。

さらに、Ｒ，Ｂ補間部７０は、図１１におけるＢ２２で示すＢの画素位置のＲの補間画素信号を生成する際、Ｒ，Ｂ補間方法選択部６０より第２の指示信号が供給されたときには、変化比を合わせるために、式（１４）の代わりに式（２０）に基づいて補間画素信号Ｒ^2を生成する。

Ｒ^2＝｛Ｒ1×（Ｇ^2−Ｇ^1）＋Ｒ3×（Ｇ^2−Ｇ^3）｝／（Ｇ^1−Ｇ^3） …（２０）

Ｒ，Ｂ補間部７０による式（２０）に基づく補間画素信号Ｒ^2の生成は、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状と、第１〜第３のＲ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｒの補間画素信号を生成することを意味する。

以上のように、Ｇ補間部４０及びＲ，Ｂ補間部７０は、基準とする画素信号の変化のパターンがケース２であるとき、式（１５）〜（２０）に示すAACPI法で追加された補間方法を採用する。

これによって、本実施形態においては、基準とする色の画素信号における画像のエッジと補間画素を生成しようとしている色の画素信号における画像のエッジとが不整合となることを防止することができる。よって、本実施形態によれば、画質劣化を招きにくくすることができる。

次に、Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０におけるより好ましい構成について説明する。

本来であればケース２と考えるべき画素レベルの変化を示す画素信号であっても、ノイズが重畳することによってケース１であると判定される場合が起こり得る。そこで、誤判定を低減させるために、次のように構成することが好ましい。

ここでは、図７の（ｂ）のように、基準とする画素信号がＧ^1，Ｇ2，Ｇ^3と並んでいる場合を例にして説明する。補間画素信号Ｇ^1と補間画素信号Ｇ^3とのうち大なる方を補間画素信号Ｇ^x、小なる方を補間画素信号Ｇ^yとする。所定の閾値をTh1とする。閾値Th1はノイズのレベルよりも十分大きい値とする。

Ｒ，Ｂ補間方法選択部６０は、図１５の（ａ）〜（ｄ）を用いて説明したケース１，２の判定方法による判定結果にかかわらず、式（２１）または式（２２）を満たすときケース１であると判定し、式（２１），（２２）のいずれも満たさないときケース２であると判定する。

Ｇ2＞Ｇ^x＋Th1 …（２１）
Ｇ2＜Ｇ^y−Th1 …（２２）

Ｇ補間方法選択部３０が用いるＲ，Ｂの画素信号を含めて一般化して説明する。Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、基準とする３画素分の画素信号のうち、中央に位置する画素信号が、中央に位置する画素信号を挟む左右，上下，斜めのいずれかの方向の両隣の画素信号のうち、大きい方の画素信号に閾値Th1を加算した値より大きい第１の条件を満たすとき、ケース１であると判定する。

また、Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、中央に位置する画素信号が、左右，上下，斜めのいずれかの方向の両隣の画素信号のうち、小さい方の画素信号より閾値Th1を減算した値より小さい第２の条件を満たすとき、ケース１であると判定する。

Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０は、第１及び第２の条件のいずれも満たさないときケース２であると判定する。

さらに、図１６を用いて、Ｇ補間部４０及びＲ，Ｂ補間部７０におけるより好ましい構成について説明する。

図１６は、Ｇ補間部４０及びＲ，Ｂ補間部７０以外の部分を省略して図示している。より好ましい構成例においては、Ｇ補間部４０とＲ，Ｂ補間部７０は、それぞれ、基準となる画素信号の波形形状を補正する基準画素信号波形形状補正部４１，７１を備える。

両隣の画素信号のうちの一方の画素信号（例えば補間画素信号Ｇ^1）から中央に位置する画素信号（例えば画素信号Ｇ2）への変化と、中央に位置する画素信号から両隣の画素信号のうちのもう一方の画素信号（例えば補間画素信号Ｇ^3）への変化のそれぞれの変化量が小さい場合には、ノイズの影響によって不正確な変化比となる場合がある。

そこで、基準画素信号波形形状補正部４１は、正確な変化比が得られるように、所定のオフセット値Ofsを設定する。基準画素信号波形形状補正部４１は、第１のＲ，Ｂ画素信号と記第２のＲ，Ｂ画素信号との差分と、第２のＲ，Ｂ画素信号と第３のＲ，Ｂ画素信号との差分とのそれぞれにオフセット値Ofsを加算して、第１〜第３のＲ，Ｂの画素信号の波形形状を補正する。

Ｇ補間部４０は、第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ補正した形状と、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｇの補間画素信号を生成する。

また、基準画素信号波形形状補正部７１は、正確な変化比が得られるように、所定のオフセット値Ofsを設定する。基準画素信号波形形状補正部７１は、第４のＧ画素信号と第５のＧ画素信号との差分と、第５のＧ画素信号と第６のＧ画素信号との差分とのそれぞれにオフセット値Ofsを加算して、第１〜第３のＧの画素信号の波形形状を補正する。

Ｒ，Ｂ補間部７０は、第１〜第３のＧ画素信号それぞれの画素位置を結ぶ補正した形状と、第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、Ｒ，Ｂの補間画素信号を生成する。

具体的には、Ｇ補間部４０は式（１５），（１６）の代わりに次の式（２３），（２４）を用いてＧの補間画素信号を生成する。Ｒ，Ｂ補間部７０は、式（１７）〜（２０）の代わりに、次の式（２５）〜（２８）を用いてＲ，Ｂの補間画素信号を生成する。

Ｇ^2＝［Ｇ1×｛Abs（Ｒ2−Ｒ0）＋Ofs｝＋Ｇ3×｛Abs（Ｒ2−Ｒ4）＋Ofs｝］／｛Abs（Ｒ2−Ｒ0）＋Abs（Ｒ2−Ｒ4）＋２×Ofs｝ …（２３）
Ｇ^2＝［Ｇ1×｛Abs（Ｂ2−Ｂ0）＋Ofs｝＋Ｇ3×｛Abs（Ｂ2−Ｂ4）＋Ofs｝］／｛Abs（Ｂ2−Ｂ0）＋Abs（Ｂ2−Ｂ4）＋２×Ofs｝ …（２４）

Ｒ^2＝［Ｒ1×｛Abs（Ｇ2−Ｇ^1）＋Ofs｝＋Ｒ3×｛Abs（Ｇ2−Ｇ^3）＋Ofs｝］／｛Abs（Ｇ2−Ｇ^1）＋Abs（Ｇ2−Ｇ^3）＋２×Ofs｝ …（２５）
Ｂ^2＝［Ｂ1×｛Abs（Ｇ2−Ｇ^1）＋Ofs｝＋Ｂ3×｛Abs（Ｇ2−Ｇ^3）＋Ofs｝］／｛Abs（Ｇ2−Ｇ^1）＋Abs（Ｇ2−Ｇ^3）＋２×Ofs｝ …（２６）

Ｂ^2＝［Ｂ1×｛Abs（Ｇ^2−Ｇ^1）＋Ofs｝＋Ｂ3×｛Abs（Ｇ^2−Ｇ^3）＋Ofs｝］／｛Abs（Ｇ^2−Ｇ^1）＋Abs（Ｇ^2−Ｇ^3）＋２×Ofs｝ …（２７）
Ｒ^2＝［Ｒ1×｛Abs（Ｇ^2−Ｇ^1）＋Ofs｝＋Ｒ3×｛Abs（Ｇ^2−Ｇ^3）＋Ofs｝］／｛Abs（Ｇ^2−Ｇ^1）＋Abs（Ｇ^2−Ｇ^3）＋２×Ofs｝ …（２８）

式（２３）〜（２８）によれば、両隣の画素信号のうちの一方の画素信号から中央に位置する画素信号への変化と、中央に位置する画素信号から両隣の画素信号のうちのもう一方の画素信号への変化のそれぞれの変化量が小さいときには、線形補間に近い補間処理となる。変化量がオフセット値Ofsより十分大きい場合には、ほぼ式（１５）〜（２０）による補間処理と同等となる。

Ｇ補間部４０及びＲ，Ｂ補間部７０が式（２３）〜（２８）を用いて補間画素信号を生成すると、基準とする連続した３つの画素信号の変化量が小さい場合でも、ノイズによる悪影響を回避することが可能となる。

Ｇ補間部４０，Ｒ，Ｂ補間部７０が基準画素信号波形形状補正部４１，７１を備え、式（２３）〜（２８）を用いて補間画素信号を生成する構成は、Ｇ補間方法選択部３０及びＲ，Ｂ補間方法選択部６０におけるケース１，２の判定方法とは関係なく採用することができる。

本発明者は、ベイヤ配列のカラーフィルタを備えた撮像素子を搭載した撮像装置で種々の画像を撮像して、本実施形態によってＲ，Ｇ，Ｂの画素信号に対してデモザイク処理を実施して効果を検証した。ACPI法による補間処理における解像度が良好で、擬似カラーが少ないという特長を維持しながら、補色関係にある２色が隣接するエッジを含むような画像であっても、擬似ノイズ、斜めエッジのジャギが少ない高画質の補間画像を得ることができることが確かめられた。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

３０ Ｇ補間方法選択部（第１の判定部）
４０ Ｇ補間部
４１，７１ 基準画素信号波形形状補正部
６０ Ｒ，Ｂ補間方法選択部（第２の判定部）
７０ Ｒ，Ｂ補間部

Claims (4)

1. ベイヤ配列のカラーフィルタを備えた撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＧの画素信号が存在していないＲまたはＢの画素信号の画素位置に、Ｇの補間画素信号を生成するための基準となるＲまたはＢの画素信号における３画素分の画素信号を時系列の順に第１〜第３のＲ，Ｂ画素信号としたとき、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと増加し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと減少するか、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと減少し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと増加する第１のケースであるか、前記第１〜第３のＲ，Ｂ画素信号が単調増加するか単調減少する第２のケースであるかを判定する第１の判定部と、
   前記Ｇの補間画素信号と、前記Ｇの補間画素信号を挟む２画素分のＧの画素信号との３画素分の画素信号を時系列の順に第１〜第３のＧ画素信号としたとき、前記第１の判定部によって前記第１のケースであると判定されたときには、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との平均値と前記第２のＲ，Ｂ画素信号との差分に、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との距離に対する前記第１のＧ画素信号と前記第３のＧ画素信号との距離の比を乗じた値を、前記第１のＧ画素信号と前記第３のＧ画素信号との平均値に加算することによって前記Ｇの補間画素信号を生成し、前記第１の判定部によって前記第２のケースであると判定されたときには、前記第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状と、前記第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記Ｇの補間画素信号を生成するＧ補間部と、
   前記撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＲ及びＢの画素信号が存在していないＧの画素信号の画素位置と、Ｂの画素信号が存在していないＲの画素信号の画素位置と、Ｒの画素信号が存在していないＢの画素信号の画素位置とのそれぞれに、ＲまたはＢの補間画素信号を生成するための基準となるＧの画素信号またはＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号としたとき、前記第４のＧ画素信号から前記第５のＧ画素信号へと増加し、前記第５のＧ画素信号から前記第６のＧ画素信号へと減少するか、前記第４のＧ画素信号から前記第５のＧ画素信号へと減少し、前記第５のＧ画素信号から前記第６のＧ画素信号へと増加する前記第１のケースであるか、前記第４〜第６のＧ画素信号が単調増加するか単調減少する前記第２のケースであるかを判定する第２の判定部と、
   前記ＲまたはＢの補間画素信号と、前記ＲまたはＢの補間画素信号を挟む２画素分のＲまたはＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ，Ｂ画素信号としたとき、前記第２の判定部によって前記第１のケースであると判定されたときには、前記第４のＧ画素信号と前記第６のＧ画素信号との平均値と前記第５のＧ画素信号との差分を、前記第４のＲ，Ｂ画素信号と前記第６のＲ，Ｂ画素信号との平均値に加算することによって前記ＲまたはＢの補間画素信号を生成し、前記第２の判定部によって前記第２のケースであると判定されたときには、前記第４〜第６のＧ画素信号それぞれの画素位置を結ぶ形状と、前記第４〜第６のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記ＲまたはＢの補間画素信号を生成するＲ，Ｂ補間部と、
   を備えることを特徴とする映像信号処理装置。
2. 前記第１の判定部は、前記第２のＲ，Ｂ画素信号が、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号とのうちの大きい方の画素信号に所定の閾値を加算した値より大きい第１の条件を満たすか、前記第２のＲ，Ｂ画素信号が、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号とのうちの小さい方の画素信号より前記所定の閾値を減算した値より小さい第２の条件を満たすとき、前記第１のケースであると判定し、前記第１の条件と前記第２の条件とのいずれも満たさないとき、前記第２のケースであると判定し、
   前記第２の判定部は、前記第５のＧ画素信号が、前記第４のＧ画素信号と前記第６のＧ画素信号とのうちの大きい方の画素信号に所定の閾値を加算した値より大きい前記第１の条件を満たすか、前記第５のＧ画素信号が、前記第４のＧ画素信号と前記第６のＧ画素信号とのうちの小さい方の画素信号より前記所定の閾値を減算した値より小さい前記第２の条件を満たすとき、前記第１のケースであると判定し、前記第１の条件と前記第２の条件とのいずれも満たさないとき、前記第２のケースであると判定する
   ことを特徴とする請求項１記載の映像信号処理装置。
3. 前記Ｇ補間部は、前記第１のＲ，Ｂ画素信号と前記第２のＲ，Ｂ画素信号との差分と、前記第２のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との差分とのそれぞれに所定のオフセット値を加算して、前記第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状を補正する第１の波形形状補正部を有し、
   前記Ｇ補間部は、前記第１の判定部によって前記第２のケースであると判定されたとき、前記第１の波形形状補正部によって補正された形状と、前記第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記Ｇの補間画素信号を生成し、
   前記Ｒ，Ｂ補間部は、前記第４のＧ画素信号と前記第５のＧ画素信号との差分と、前記第５のＧ画素信号と前記第６のＧ画素信号との差分とのそれぞれに所定のオフセット値を加算して、前記第４〜第６のＧ画素信号それぞれの画素位置を結ぶ形状を補正する第２の波形形状補正部を有し、
   前記Ｒ，Ｂ補間部は、前記第２の判定部によって前記第２のケースであると判定されたとき、前記第２の波形形状補正部によって補正された形状と、前記第４〜第６のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記ＲまたはＢの補間画素信号を生成する
   ことを特徴とする請求項１または２に記載の映像信号処理装置。
4. ベイヤ配列のカラーフィルタを備えた撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＧの画素信号が存在していないＲまたはＢの画素信号の画素位置に、Ｇの補間画素信号を生成するための基準となるＲまたはＢの画素信号における３画素分の画素信号を時系列の順に第１〜第３のＲ，Ｂ画素信号としたとき、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと増加し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと減少するか、前記第１のＲ，Ｂ画素信号から前記第２のＲ，Ｂ画素信号へと減少し、前記第２のＲ，Ｂ画素信号から前記第３のＲ，Ｂ画素信号へと増加する第１のケースであるか、前記第１〜第３のＲ，Ｂ画素信号が単調増加するか単調減少する第２のケースであるかを判定し、
   前記Ｇの補間画素信号と、前記Ｇの補間画素信号を挟む２画素分のＧの画素信号との３画素分の画素信号を時系列の順に第１〜第３のＧ画素信号としたとき、前記第１のケースであると判定されたときには、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との平均値と前記第２のＲ，Ｂ画素信号との差分に、前記第１のＲ，Ｂ画素信号と前記第３のＲ，Ｂ画素信号との距離に対する前記第１のＧ画素信号と前記第３のＧ画素信号との距離の比を乗じた値を、前記第１のＧ画素信号と前記第３のＧ画素信号との平均値に加算することによって前記Ｇの補間画素信号を生成し、
   前記第２のケースであると判定されたときには、前記第１〜第３のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状と、前記第１〜第３のＧ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記Ｇの補間画素信号を生成し、
   前記撮像素子より出力されたＲ，Ｇ，Ｂの画素信号におけるＲ及びＢの画素信号が存在していないＧの画素信号の画素位置と、Ｂの画素信号が存在していないＲの画素信号の画素位置と、Ｒの画素信号が存在していないＢの画素信号の画素位置とのそれぞれに、ＲまたはＢの補間画素信号を生成するための基準となるＧの画素信号またはＧの補間画素信号における３画素分の画素信号を時系列の順に第４〜第６のＧ画素信号としたとき、前記第４のＧ画素信号から前記第５のＧ画素信号へと増加し、前記第５のＧ画素信号から前記第６のＧ画素信号へと減少するか、前記第４のＧ画素信号から前記第５のＧ画素信号へと減少し、前記第５のＧ画素信号から前記第６のＧ画素信号へと増加する前記第１のケースであるか、前記第４〜第６のＧ画素信号が単調増加するか単調減少する前記第２のケースであるかを判定し、
   前記ＲまたはＢの補間画素信号と、前記ＲまたはＢの補間画素信号を挟む２画素分のＲまたはＢの画素信号との３画素分の画素信号を時系列の順に第４〜第６のＲ，Ｂ画素信号としたとき、前記第１のケースであると判定されたときには、前記第４のＧ画素信号と前記第６のＧ画素信号との平均値と前記第５のＧ画素信号との差分を、前記第４のＲ，Ｂ画素信号と前記第６のＲ，Ｂ画素信号との平均値に加算することによって前記ＲまたはＢの補間画素信号を生成し、
   前記第２のケースであると判定されたときには、前記第４〜第６のＧ画素信号それぞれの画素位置を結ぶ形状と、前記第４〜第６のＲ，Ｂ画素信号それぞれの画素位置を結ぶ形状とが相似形となるように、前記ＲまたはＢの補間画素信号を生成する
   ことを特徴とする映像信号処理方法。

Images