JP6403720B2 - 画像処理装置及び画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は画像処理装置及び画像処理方法、コンピュータプログラムに関する。

従来から、映像信号における輝度信号と色差信号の解像度を異なるものとして伝送することが行われている。飛び越し走査（インターレース）であるＳＤ（スタンダードディフィニション）映像やＨＤ（ハイディフィニション）映像においては、４２２形式と呼ばれる信号形式で伝送が行われることが多い。４２２形式とは、４画素分の輝度信号に対して、２画素分の赤色差信号と２画素分の青色差信号を格納する形式であり、色差信号は輝度信号に比べて半分の解像度に縮小したことになる。これは、人間の眼の視覚特性が輝度変化に対して敏感で、色変化に対しては比較的鈍感であることを利用して、伝送及び記録に必要な信号帯域を節約したものである。

最近になって、４Ｋ解像度のＵＨＤ（ウルトラハイディフィニション）映像や８Ｋ解像度のＳＨＶ（スーパーハイビジョン）映像を放送及びメディアで流通させることが行われ始めている。これらの信号形式は順次走査（プログレッシブ）で、４２０形式と呼ばれる形式が主流である。４２０形式では、輝度信号が縦に２画素、横に２画素で計４画素あるうちに、１画素分の赤色差信号と１画素分の青色差信号しかない形式である。この場合、色差信号は輝度信号に比べて縦横それぞれ２分の１の解像度となり、合わせると４分の１の解像度に縮小したことになる。

なお、縮小処理を行うときには空間周波数が半分になるので、モアレが発生し易い。そこで、色差信号を縮小するときには、ＬＰＦ（ロ−パスフィルタ）を通すことによって、モアレの発生を防いでいる。

４２２形式や４２０形式は、伝送や記録においては必要帯域を節約するのに有効であるが、最終的に表示を行うためには、輝度色差が同じ解像度である４４４形式に戻す必要がある。輝度色差４２２形式や４２０形式から直接ＲＧＢ信号に変換するときも、ＲＧＢ信号は４４４形式である。

この４２２形式や４２０形式から４４４形式に戻す際に、色差信号を拡大する処理を行う。輝度値は１画素ごとであるのに、色差成分は横方向あるいは縦横方向に２画素に１つの情報なので、２画素の間で輝度値が大きく変わっている部分において、色差信号がその変化に対応できず、色ずれと呼ばれる妨害が発生する。色ずれとは輝度値と色差信号との間の空間的な位置ずれに伴なう彩度や色相のずれをいう。色ずれは人間の視覚にとって非常に目立つものであるから、画質を劣化させる要因となる。

このような画質上の問題に対応するために、特許文献１及び特許文献２には、色差信号の拡大処理において、輝度信号の変化を参照することにより、色ずれを減少させることが記載されている。特許文献１には、輝度信号の変化を参照して色差信号を線形補間することが記載されている。特許文献２には、輝度信号の変化を参照して色差の変化方向を輝度信号の変化方向に合わせることが記載されている。

特開２０１４−０３３３５７号公報 特開２０１０−０２１８０８号公報

しかしながら、上記従来の構成では以下の課題がある。すなわち、４４４形式の元画像において縦の細線があった場合、このような細線は、４２２形式の色差信号においては、平均化されて中間的な値により表現されることになる。このような場合、特許文献１の構成によっては、細線の色ずれを低減することは難しい。

特許文献２の構成においては、増減の方向が揃えられるだけなので、元々増減の方向が揃っている細線の部分では改善が難しい。また、輝度信号の大きさに色差信号を合わせるわけではないので、色ずれの低減効果は小さいものに限られる。

このように、従来の構成では、色差信号に空間周波数の高周波成分が含まれておらず、輝度信号にだけ高周波成分が含まれている場合には、色ずれを効果的に低減することができなかった。このような課題は、４２０形式だけでなく４２２形式や４１１形式といった、輝度信号と色差信号の解像度が異なる信号に共通している。

そこで、本発明は、複数の画像成分信号を含む画像信号に対して、効果的に色ずれを低減する技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
複数の画像成分信号を含む画像信号から輝度信号を取得する第１の取得手段と、
前記第１の取得手段により取得された輝度信号から当該輝度信号の高周波成分信号を取得する第２の取得手段と、
前記画像信号に含まれる色差信号の解像度が拡大された拡大色差信号を、前記第２の取得手段により取得された高周波成分信号を基にした補正値で補正する補正手段と
を備えることを特徴とする。

本発明によれば、複数の画像成分信号を含む画像信号に対して、効果的に色ずれを低減する技術を提供することができる。

画像処理装置の構成を示すブロック図。 色ずれ低減処理ブロックの構成を示す図。 ＬＰＦ、ＨＰＦ、及び、ＥＤＦの一例を示す図。 色ずれ低減処理を説明するための説明図。 色ずれ低減処理ブロックの構成を示す図。 画像処理装置の動作を説明するための説明図。 色ずれ低減処理ブロックの構成を示す図。 画像処理装置の構成を示すブロック図。 ＲＧＢ信号に対する色ずれ低減処理ブロックの構成を示す図。 画像処理装置の構成を示すブロック図。 マイクロプロセッサを用いた画像処理装置の構成を示すブロック図。 マイクロプロセッサによる色ずれ低減処理を示すフローチャート。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜第１実施形態＞
（画像処理装置の構成）
図１〜図４を用いて、第１実施形態を説明する。図１は、第１実施形態における画像処理装置のハードウェア構成を示すブロック図である。ただし、図１のブロックの少なくとも一部がソフトウェアによって実現されるようにしてもよい。図１中、２１は入力信号である４２２形式の輝度色差信号である。２２は色差信号の拡大処理ブロックであり、入力された４２２形式の輝度色差信号を４４４形式に変換して色ずれ低減処理ブロック２４へ出力する。２３は拡大処理ブロック２２により４４４形式に変換された輝度色差信号、２４は色ずれ低減処理ブロックである。２５は色ずれ低減処理された４４４形式の輝度色差信号、２６は一般的な画像処理及びＲＧＢへの色変換を行うブロック、２７は画像処理ブロック２６でＲＧＢ化された表示用信号、２８は入力信号が４２０形式の場合の輝度色差信号である。

放送波やディスクメディアのコンテンツでは、輝度色差信号がエンコード（圧縮）されている。このように圧縮されている輝度色差信号において、さらに色差信号を間引く方式として、２Ｋ解像度（ＨＤ：High-Definition）では４２２形式と呼ばれる方式が知られている。４２２形式は、左右方向の色差信号が、輝度信号の半分しかない方式である。４Ｋ解像度（ＵＨＤ）や８Ｋ解像度（ＳＨＶ）においては、色差信号を間引く方式は４２０形式と呼ばれる形式で、左右方向だけでなく上下方向においても色差信号が、輝度信号の半分しかない方式が使用されている。なお、ＵＨＤはUltra High-Definitionの略称であり、ＳＨＶはSuper Hi-Visionの略称である。また、ＤＶ（テープ記録のデジタルビデオ）においては、４１１形式と呼ばれる形式で、水平方向の色差信号が、輝度信号の４分の１しかない方式が使用されている。本実施形態の手法は、これら色差信号が輝度信号より少ない方式の全ての方式に適用することができる。以下、色差信号の解像度が輝度信号よりも低い方式の一例として、主として４２２形式を中心に説明する。

これらの圧縮されている輝度色差信号を、まず不図示のデコーダーで、デコード（伸長）して、非圧縮状態の輝度色差信号に戻す。非圧縮に戻した輝度色差信号を、本実施形態の入力信号２１とする。４２２信号の場合である入力信号２１では、２つのＹ信号（輝度信号）に対して、ＰｂＰｒ信号（色差信号）が１つずつしか存在しないので、Ｙ０とＹ１に対して、Ｐｂ０とＰｒ０のみが存することになる。なお、４２２形式におけるＰｂ０とＰｒ０の位置はＹ０と一致する場合と、Ｙ０とＹ１の中間の位置にある場合の２通りあるが、本実施形態の手法は、どちらの場合にも適用可能である。

４２０信号２８の場合は縦方向にも色差信号（ＰｂＰｒ信号）が輝度信号の半分しかないので、輝度信号Ｙ００，Ｙ０１，Ｙ１０，Ｙ１１に対応する色差信号は、Ｐｂ００とＰｒ００しかない。なお、４２０形式におけるＰｂ０とＰｒ０の位置はＹ００とＹ１０の中間の位置にある場合と、Ｙ００とＹ０１とＹ１０とＹ１１のちょうど中央の位置にある場合、またフレームによってＰｂ００とＰｒ００の位置が交互に置き換わる場合がありうる。本実施形態の手法は、いずれの場合についても適用可能である。

色差信号拡大処理ブロック２２において、輝度信号と色差信号の数を合わせるために色差信号を横方向に拡大して拡大色差信号を生成する。この拡大処理には一般的に２つの方式が使用されている。

一つは単純に色差信号を同じ値で２つにする方式である。すなわち、Ｐｂ１＝Ｐｂ０、Ｐｒ１＝Ｐｂ０、とする。

もう一つは、次の画素との補間を行う方式である。この方式においては、次の画素の色差信号をＰｂ２とＰｒ２とすると、
Ｐｂ１＝（Ｐｂ０＋Ｐｂ２）／２、Ｐｒ１＝（Ｐｒ０＋Ｐｒ２）／２
となる。補間による拡大処理の方が良好な結果を得ることが多いので、本実施形態では、後者の方式に従い補間による拡大を行う例を説明する。

４２０信号２８については、縦方向にも同様に拡大処理を行う。本実施形態では、縦方向についても補間による拡大を行う例を説明する。

次に、色ずれ低減処理ブロック２４において、輝度信号Ｙの高周波成分を用いて、色差信号ＰｂＰｒの高周波成分を補う。この処理によって、色ずれを低減した色差信号Ｓｐｒ，Ｓｐｂが得られる。色ずれ低減処理ブロック２４の詳細は、図２等を参照して後述する。色ずれ低減処理された信号２５は、画像処理ブロック２６によって、他の一般的な画像処理が行われたのち、ＲＧＢ信号化された信号２７として、画像表示を行う不図示の表示装置や、パネルドライバやタイミングコントローラなどの表示制御装置へ出力される。

なお、図１に示す本画像処理の前段において、既に４２２形式または４２０形式または４１１形式から４４４形式の信号に変換されている場合がある。その場合は既に色ずれを起こしている信号になっていることが多い。そのような信号を入力した場合は、色差信号拡大処理ブロックをスルーし、直接的に色ずれ低減処理ブロック２４に信号入力することで、既に発生していた色ずれを低減する処理を行うことができる。

（色ずれ低減処理ブロックの構成）
次に、図２を用いて、色ずれ低減処理ブロック２４内部を説明する。図２は、第１実施形態における色ずれ低減処理ブロック２４の構成を示すブロック図である。

図２中、１１はＨＰＦ（ハイパスフィルタ）であり、輝度信号の高周波成分を取り出す。１２は係数Ａであり、輝度の高周波成分の寄与度を決定づける。１３は乗算器であり、輝度信号の高周波成分に係数Ａ１２をかけ合わせる。１４は加算器であり、係数Ａ１２がかけ合わせた高周波成分を色差信号に加算して、両者を合成する。１５は符号付加器であり、色差信号の正負符号に合わせるために、入力値を色差信号の正負に応じて補数に変換する。なお、図２中の色差信号は、色差信号拡大処理ブロック２２において解像度が拡大された拡大色差信号である。

第１実施形態においては、まずＨＰＦ１１を用いて輝度信号Ｙの高周波成分ＨＹを取り出す。次に、輝度信号の高周波成分ＨＹをある程度制限して最適な値とするために、輝度信号の高周波成分に対して係数Ａ１２を乗算器１３で乗算する。ここで係数Ａ１２は、例えば０．１〜２．０程度の間で調整可能な値であり、画質設計者やユーザの指示等に応じて予め定められている。

乗算器１３の出力（Ａ×ＨＹ）を符号付加器１５によって、色差信号Ｐｂ，Ｐｒの正負符号と合わせる。具体的には、色差信号Ｐｂ，Ｐｒが正ならそのままで、色差信号が負の値であったなら補数に変換する。符号付加器１５の出力であるＴＰｂ、ＴＰｒを加算器１４によって、色差信号Ｐｂ、Ｐｒに付加（加算）することによって、Ｓｐｂ、Ｓｐｒであるところの出力色差信号を取得する。すなわち、Ｓｐｂ、Ｓｐｒは以下の式により算出される。
ＳＰｂ＝Ｐｂ±Ａ×ＨＹ （Ｐｂ＜０の場合はマイナス（減算）を用いる）
ＳＰｒ＝Ｐｒ±Ａ×ＨＹ （Ｐｒ＜０の場合はマイナス（減算）を用いる）
なお、演算順序は、乗除算が加減算に優先する。

また、以下のように処理の順序を変更してもよい。
ＳＰｂ＝ＨＹ×（Ｐｂ／ＨＹ±Ａ） （Ｐｂ＜０の場合はマイナス（減算）を用いる）
ＳＰｒ＝ＨＹ×（Ｐｒ／ＨＹ±Ａ） （Ｐｒ＜０の場合はマイナス（減算）を用いる）

（フィルタの構成）
次に、図２の色ずれ低減処理ブロック２４で用いられるＨＰＦ、並びに、ＬＰＦ（ローパスフィルタ）、ＥＤＦ(エッジ検出フィルタ）の構成例について、図３を参照して説明する。ＬＰＦ、ＥＤＦを用いた構成は後述の実施形態において説明する。

図３は、ＬＰＦ、ＨＰＦ、及びＥＤＦの一例を示す図である。図３（Ａ）は元信号が４２２形式の場合に用いるＬＰＦ、図３（Ｂ）は元信号が４２２形式の場合に用いるＨＰＦ、図３（Ｃ）は元信号が４２２形式の場合に用いる横ＥＤＦである。図３（Ｄ）は元信号が４２０形式の場合に用いるＬＰＦ、図３（Ｅ）は元信号が４２０形式の場合に用いるＨＰＦ、図３（Ｆ）は元信号が４２０形式の場合に横ＥＤＦと共に用いる縦ＥＤＦである。

図３は、処理対象の画素を表の中央に対応させた場合の、当該画素の画素値と周囲の画素の画素値に乗算する係数を示している。元の信号が４２２形式の場合は、図３（Ａ）、図３（Ｂ）、又は図３（Ｃ）を用いて横方向のみの画素を参照する。元の信号が４２０形式の場合は、図３（Ｄ）又は図３（Ｅ）を用いて横方向と縦方向とを合わせて９画素を参照するとともに、図３（Ｃ）と図３（Ｆ）を用いて４画素を参照する。中央及び周囲の参照画素に図のセル内の係数を乗算して、その合計を計算し、右に示した値で割ることにより、対象画素に対する各フィルタの出力が得られる。輝度信号のサンプリング周波数をＳＦとすると、ここで示したＬＰＦ及びＨＰＦのカットオフ周波数はＳＦ／４付近にある。

図３に例示した各フィルタのサイズ及び定数は一例であり、ＬＰＦ及びＨＰＦはカットオフ周波数が色差信号の上限、すなわち、ＳＦ／４付近の値を取るフィルタであれば、どのようなフィルタを用いても構わない。また、カットオフ周波数の値は必ずしもＳＦ／４に限定されることはなく、少々カットオフ周波数が大小していても、使用できる。

例えば、ＬＰＦやＨＰＦは、１×５や１×７、あるいは、５×５や７×７のものを使用してもよい。また、ＥＤＦは、１×４や１×５などのサイズで、両側を１ないし−１などとしたフィルタを使用することができる。

（色ずれ低減処理）
次に、図４を用いて、色ずれ低減処理ブロックの動作原理を説明する。図４は色ずれ低減処理を説明するための説明図である。図４（Ａ）は輝度信号の空間周波数分布を示す図、（Ｂ）は色差信号の空間周波数分布を示している。

図４中、５１は輝度信号の空間周波数に対する分布、５２は色差信号の空間周波数に対する分布、５３はＨＰＦのカットオフ特性、５４の点線は輝度信号の高周波成分、５５は色差信号に付加する高周波成分である。図４において、横軸は空間周波数、縦軸は空間周波数成分を表す。

輝度信号の周波数分布５１は、高い周波数まで分布しているのに対し、色差信号の周波数分布５２は、４２２形式や４２０形式から拡大したので、輝度信号と比べて高い周波数まで分布していない。

具体的には、前述のように輝度信号のサンプリング周波数をＳＦとすると、ナイキストの原理から、空間周波数はＳＦ／２まで分布している。輝度信号の解像度は入力画像の解像度と等しいので、空間周波数はＳＦ／２まで分布する。色差信号の解像度は入力画像の解像度の半分なので、空間周波数はＳＦ／４までしか分布しない。

そこで、色差信号の最も高い空間周波数であるＳＦ／４に近いカットオフ周波数特性を持つＨＰＦを用いて、色差信号に含まれなくて輝度信号に含まれる周波数帯の高周波成分５４を抽出する。

次に適切な係数Ａをかけて、色差信号に付加する高周波成分５５を作成し、色差信号の分布５２に加えることによって、高周波領域まで分布した色差信号を取得する。

以上のように、本実施形態では、解像度が異なる複数の画像成分信号を含む画像信号に対して、解像度が低い画像成分信号（色差信号）の解像度の拡大を伴う画像処理を行う。ここで、本実施形態の画像処理装置は、画像信号から輝度信号を取得し、その輝度信号の高周波成分信号を取得する。そして、画像信号に含まれる複数の画像成分信号のうち、輝度信号より解像度が低い画像成分信号の解像度が拡大された拡大画像成分信号を、輝度信号の高周波成分信号を基にした補正値で補正する。具体的には、画像信号に含まれる輝度信号と異なる画像成分信号である色差信号に対し、輝度信号の高周波成分信号を基にした補正値を加算することにより、色差信号を補正する。このように、解像度が低い色差信号を、輝度信号の微細な変動を反映した高周波成分信号を加算して補正することで、簡易な構成により色差信号と輝度信号との間の色ずれを効果的に補正することが可能である。また、色差信号を補正する際に、予め定められた係数を輝度成分の高周波成分信号に乗じた値を加算するため、画像の特性や用途に応じて輝度成分の高周波成分の寄与分を適切に調整することができる。

ここまで、輝度信号の高周波成分の一部を付加するための、色ずれ低減処理ブロック２４を実現する手法の一例を述べたが、輝度信号の高周波成分を付加して色ずれを低減する処理は上記第１実施形態以外にもいろいろな形態で行うことができる。

＜第２実施形態＞
（色ずれ低減処理ブロックの構成）
次に、図５を用いて、色ずれ低減処理ブロック２４内部を実施する第２実施形態を説明する。図５は、第２実施形態における色ずれ低減処理ブロックの構成を示すブロック図である。

図５中、１１はＨＰＦであり、図２と同様に入力された輝度信号Ｙから高周波成分ＨＹを取り出す。３１は輝度信号から低周波成分を取り出すＬＰＦ（ローパスフィルタ）、３２は色差信号から低周波成分を取り出すＬＰＦである。３３は色差信号の低周波成分を輝度信号の低周波成分により除算する割り算器（除算器）、３４は除算した値をＹの高周波成分に乗算する乗算器である。１４は加算器であり、入力された色差信号Ｐｂ，Ｐｒと乗算器３４の出力とを加算して、出力色差信号ＳＰｂ，ＳＰｒを出力する。なお、前述のように、ＬＰＦは、例えば図３（Ａ）、図３（Ｄ）のように構成することができる。

第２実施形態では、まずＬＰＦ３１を用いて輝度信号Ｙの低周波成分ＬＹを取り出し、ＬＰＦ３２を用いて色差信号Ｐｂ，Ｐｒの低周波成分ＬＰｂ及びＬｐｒを取り出す。

輝度信号の低周波成分ＬＹに対する色差信号の低周波成分ＬＰｂ，ＬＰｒの割合を、除算器３３によって計算し、比率ｄＰｂ、ｄＰｒを得る（ｄＰｂ＝ＬＰｂ／ＬＹ，ｄＰｒ＝ＬＰｒ／ＬＹ）。この比率を乗算器３４によって、輝度信号Ｙの高周波成分ＨＹに乗算することにより、ＴＰｂ、ＴＰｒを得る。さらに加算器１４によって、色差信号Ｐｂ、Ｐｒに付加することによって、ＳＰｂ、ＳＰｒであるところの出力色差信号を得る。
ＳＰｂ＝Ｐｂ＋ＨＹ×ＬＰｂ／ＬＹ
ＳＰｒ＝Ｐｒ＋ＨＹ×ＬＰｒ／ＬＹ

なお、第２実施形態においては、ＬＰｂ、Ｌｐｒに色差信号の正負符号が付されているため、第１実施形態における符号付加器は必要としない。

なお回路を簡略化して、ＬＰＦを使わずに、色差信号Ｐｂ，Ｐｒと輝度信号Ｙの比率（Ｐｂ／Ｙ，Ｐｒ，Ｙ）を用いてもよい。
ＳＰｂ＝Ｐｂ＋ＨＹ×Ｐｂ／Ｙ
ＳＰｒ＝Ｐｒ＋ＨＹ×Ｐｒ／Ｙ

また、処理の順序を以下のようにすることもできる。
ＳＰｂ＝（Ｐｂ×ＬＹ＋ＨＹ×ＬＰｂ）／ＬＹ
ＳＰｒ＝（Ｐｒ×ＬＹ＋ＨＹ×ＬＰｒ）／ＬＹ
この場合、演算の最後に除算を行うので、丸め誤差をより小さくすることができ、精度を向上させることができる。

この場合も、ＬＰＦを使わずに輝度信号Ｙと色差信号Ｐｒ，Ｐｂとの比率を信号の比率として用いるようにしてもよい。
ＳＰｂ＝（Ｐｂ×Ｙ＋ＨＹ×Ｐｂ）／Ｙ
ＳＰｒ＝（Ｐｒ×Ｙ＋ＨＹ×Ｐｒ）／Ｙ

さらに、図２を参照して説明した定数Ａ１２と乗算器１３を用いて、ＴＰｂ、ＴＰｒの値を調整してもよい。この場合のＡ１２の値は、例えば、０．３〜４．０程度の間で調整可能な値とすることができる。
ＳＰｂ＝Ｐｂ＋Ａ×ＨＹ×ＬＰｂ／ＬＹ
ＳＰｒ＝Ｐｒ＋Ａ×ＨＹ×ＬＰｒ／ＬＹ

またＬＰＦを用いない場合は以下のような演算となる。
ＳＰｂ＝Ｐｂ＋Ａ×ＨＹ×Ｐｂ／Ｙ
ＳＰｒ＝Ｐｒ＋Ａ×ＨＹ×Ｐｒ／Ｙ

以上のように、本実施形態では、色差信号の低周波成分信号を輝度信号の低周波成分信号により除算して除算値を求め、その除算値を輝度成分の高周波成分信号に乗じた値を色差信号に加算することにより色差信号を補正する。このため、色差信号の大局的な信号強度と輝度信号の大局的な信号強度との比率に応じて、色差信号に反映させる輝度成分の高周波成分信号の寄与分を決定することで、高周波成分信号の寄与分を適切に決定することができる。さらに、第１実施形態１と同様に、予め定められた係数を輝度成分の高周波成分信号に乗じた値を補正値とすることで、画像の特性や用途に応じて個別的に輝度値の寄与分を調整することができる。

＜第３実施形態＞
次に、第３実施形態として、色差信号の処理画素ごとに輝度信号の高周波成分を付加するかどうかを、切り替える構成例を説明する。色差信号がほとんど変化していない画素部分で、輝度信号のみが変化しているような場合がある。このような画素部分は無色または他方の色差信号だけが変化していると考えられるので、変化していない色差信号に輝度信号の高周波成分を加えると、かえって色ずれが発生してしまう可能性がある。そこで、本実施形態では、色差信号の空間周波数が一定の周波数を超えて分布しており、色差信号の変動が一定の大きさを超えている領域に対してのみ輝度信号の高周波成分を反映させる処理を行う。これにより、色差信号の空間周波数の分布が小さく色差信号の変動が小さい領域においては、輝度信号の高周波成分が反映されないことから、加算すべきでない色差信号の部分に輝度信号の高周波成分を付加することにより生じる色ずれを低減することができる。

（色ずれ低減処理）
図６は、第３実施形態における色ずれ低減処理の動作原理を説明するための説明図である。図６（Ａ）は輝度信号の空間周波数分布を示す図である。図６（Ｂ）は色差信号の空間周波数が所定周波数を超えて分布している場合の色差信号の空間周波数を示す図、図６（Ｃ）は色差信号の空間周波数が所定周波数以下までしか分布していない場合の色差信号の空間周波数を示す図である。

図６中、５１から５５は図４と同様であるから、詳細な説明は省略する。７１は色差信号の狭い周波数分布、７２は所定の閾値、７３は所定の空間周波数、７４は色差信号に付加しない高周波成分である。

図６（Ｃ）における色差信号の狭い周波数分布７１は、図６（Ｂ）の色差信号の周波数分布５２よりも低い周波数帯にしか色差信号が分布していない。本実施形態では、このように色差信号が低い周波数帯にしか分布していない場合を判別するために、閾値となる所定の空間周波数７３と、信号強度の所定の閾値７２を予め設定しておく。そして、所定の空間周波数７３における色差信号の空間周波数成分が所定の閾値７２以下である場合には、色差信号は変化させない方が望ましいと判断し、輝度信号の高周波成分５４を付加しないようにする。

空間周波数７３において閾値７２を上回る強度の色差信号の空間周波数成分が分布している場合は、図６（Ｂ）で示すように、輝度信号の高周波成分に係数を乗算してから色差信号に付加する。

（色ずれ低減処理ブロックの構成）
図７は、第３実施形態における色ずれ低減処理ブロック２４の構成を示すブロック図である。図７中、１１はＨＰＦであり、図２と同様に輝度信号Ｙから高周波成分ＨＹを取り出す。３１から３４は図５と同様である。第２実施形態と同様に、乗算器３４は輝度信号Ｙの高周波成分ＨＹに対して、色差信号Ｐｂ，Ｐｒの低周波成分ＬＰｂ，ＬＰｒの、輝度信号Ｙの低周波成分ＬＹに対する割合ｄＰｂ，ｄＰｒを乗じた値Ｔｂ，Ｔｒを出力する。

６１はＥＤＦ（エッジフィルタ）であり、色差信号Ｐｂ，Ｐｒのエッジ成分ＥＰｂ，ＥＰｒを取り出す。６２は比較器であり、色差信号のエッジ成分と閾値ｓｍを比較する。６３はセレクタであり、比較器６２の出力によってＴＰｂ及びＴＰｒ、又は、０を選択する。６４は補数器であり、ＴＰｂ、ＴＰｒの正負を逆にした補数を計算する。６６は比較器であり、色差信号と閾値を比較する。６５はセレクタであり、比較器の比較の結果に応じて、ＴＰｂ及びＴＰｒ、又は、その補数を選択する。１４は加算器であり、色差信号Ｐｒ，Ｐｂにセレクタ６３の出力を加算して出力色差信号ＳＰｂ，ＳＰｒを出力する。

次に、図７を参照して、図５の構成に追加した部分を中心に説明する。ＥＤＦ６１は、色差信号Ｐｂ、Ｐｒからのエッジ成分ＥＰｂ、ＥＰｒを取り出す。ＥＤＦ６１は、図３（Ｃ）、図３（Ｆ）に例示したＥＤＦを用いることができる。入力信号が４２０形式の場合は、図３（Ｃ）、図３（Ｆ）で示した、横ＥＤＦと縦ＥＤＦの出力を絶対値演算してから合成すれば、横方向及び縦方向の両方のエッジを検出することができる。なお、ＥＤＦの代わりにＨＰＦを用いてエッジを検出してもよい。

次に、比較器６２によって、色差信号のエッジ成分の絶対値と閾値ｓｍとの大小を比較し、エッジ成分の絶対値が閾値ｓｍを上回るか否かを判定する。比較器６２は、閾値を上回っていれば１を出力し、閾値以下であれば０を出力する。閾値ｓｍの一例をあげると、色差信号が±１２８階調の場合に、エッジ成分は０から１２８の値を取るので、閾値ｓｍは、例えば、１０程度から８０程度までの値に設定することができる。なお、エッジ成分は正負の値を取るので、本実施形態では絶対値を閾値と比較している。ここで、ＥＤＦ６１においてエッジが検出される周波数の閾値は図６の空間周波数７３に対応し、エッジ成分の強度に関する閾値ｓｍは信号強度の閾値７２に対応する。

次に、セレクタ６３によって、比較器６２の出力が１であれば乗算器３４が出力するＴＰｂ、ＴＰｒを出力し、比較器６２の出力が０であれば０を出力する。

次に、比較器６６によって、色差信号Ｐｂ，Ｐｒの絶対値と閾値ｓｓとの大小を比較し、色差信号の絶対値が閾値ｓｓを上回っているか否かを判定する。比較器６６は、閾値を上回っていれば１を出力し、閾値以下であれば０を出力する。次に、セレクタ６５によって、比較器６６の出力が１であればセレクタ６３の出力をそのまま出力し、閾値の出力が０であればセレクタ６３の出力の補数を出力する。例えば、セレクタ６３がＴＰｂ、ＴＰｒを出力したときは、比較器６６の出力が１であればＴＰｂ、ＴＰｒを出力し、比較器６６の出力が０であればＴＰｂ、ＴＰｒの補数を出力する。

この閾値ｓｓに基づく比較器６６の出力によって、中途半端な値になって色ずれを起こしている色差に対し、補正する方向を決定している。閾値ｓｓの一例をあげると、色差信号が±１２８階調の場合に、閾値ｓｓは、例えば、０から１００程度までの値にすることができる。なお、色差信号は正負の値を取るので、本実施形態では、色差信号の絶対値を閾値ｓｓと比較している。

以上の処理を数式で表すと、以下のようになる。
｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜＞ｓｓの場合 ＳＰｂ＝Ｐｂ＋ＨＹ×ＬＰｂ／ＬＹ
｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜≦ｓｓの場合 ＳＰｂ＝Ｐｂ−ＨＹ×ＬＰｂ／ＬＹ
｜ＥＰｂ｜≦ｓｍの場合 ＳＰｂ＝Ｐｂ

なお、彩度を上げる補正のみを行うときは、
｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜＞ｓｓの場合 ＳＰｂ＝Ｐｂ＋ＨＹ×ＬＰｂ／ＬＹ
それ以外の場合は、
ＳＰｂ＝Ｐｂ
と表される。

同様にＰｒでは、
｜ＥＰｒ｜＞ｓｍ かつ ｜Ｐｒ｜＞ｓｓの場合 ＳＰｒ＝Ｐｒ＋ＨＹ×ＬＰｒ／ＬＹ
｜ＥＰｒ｜＞ｓｍ かつ ｜Ｐｒ｜≦ｓｓの場合 ＳＰｒ＝Ｐｒ−ＨＹ×ＬＰｒ／ＬＹ
｜ＥＰｒ｜≦ｓｍの場合 ＳＰｒ＝Ｐｒ
なお、彩度を上げるのみの補正をするときは、
｜ＥＰｒ｜＞ｓｍ かつ ｜Ｐｒ｜＞ｓｓの場合 ＳＰｒ＝Ｐｒ＋ＨＹ×ＬＰｒ／ＬＹ
それ以外の場合は、ＳＰｒ＝Ｐｒ
と表される。

なお、セレクタ６３は、比較器６２の出力１又は０をＴＰｂ、ＴＰｒに乗算することで、実現してもよい。また、セレクタ６５は、比較器６６の出力１又は０をセレクタ６３の出力（比較器６２の出力が１の場合はＴＰｂ、ＴＰｒ）に乗算することで、実現してもよい。その場合は、彩度を上げる方向のみに、補正される。正しい値よりも彩度が下がってしまっている部分の方が、彩度が余分に上回っている部分よりもより目立つので、彩度を上げる方向のみ実施するのである。

本実施形態においても、第１実施形態のように、色差信号と輝度信号との割合を反映させずに、比率Ａのみを反映させるようにしてもよい。例えば、｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜＞ｓｓの場合は、以下のような演算を行うようにしてもよい。
ＳＰｂ＝Ｐｂ＋Ａ×ＨＹ

｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜≦ｓｓの場合、｜ＥＰｂ｜≦ｓｍの場合、彩度を上げる補正のみを行う場合や、Ｐｒに対する補正も同様であるから、詳細な説明は省略する。

また、色差信号と輝度信号との割合を反映させつつ、さらに比率Ａを乗じてもよい。すなわち、｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜＞ｓｓの場合に、次のような演算を行ってもよい。
ＳＰｂ＝Ｐｂ＋Ａ×ＨＹ×ＬＰｂ／ＬＹ
｜ＥＰｂ｜＞ｓｍ かつ ｜Ｐｂ｜≦ｓｓの場合、｜ＥＰｂ｜≦ｓｍの場合、彩度を上げる補正のみを行う場合や、Ｐｒに対する補正も同様である。

また、本実施形態においても、ＨＰＦ１１の出力は、元の輝度信号からＬＰＦ３１の出力を減算することで取得してもよい。また、ＥＤＦ６１の代わりに、色差信号に対してＨＰＦで高周波成分を取り出し、高周波成分を絶対値演算器とＬＰＦで広げることで、同様のエッジ検出が可能である。

本実施形態における処理の原理を要約する。４４４形式の画像信号に含まれる色差信号成分の解像度を縮小して得られた４２２形式の信号が与えられた場合を考える。前述と同様に、ＳＦを元画像のサンプリング周波数とする。このような場合、４２２形式への変換により色差信号成分の解像度は半分になる。そして、元画像の色差信号にＳＦ／２付近まで空間周波数成分が存在していた画素部分においては、変換によりＳＦ／４を超える周波数成分が失われるとしても、変換後の色差信号の周波数成分はＳＦ／４付近まで残ることになる。換言すると、変換後の色差信号にＳＦ／４付近まで空間周波数成分が存在していたならば、元画像の色差成分にはＳＦ／４を超える周波数成分が存在していたはずである。そこで、本実施形態では、ＳＦ／４付近の画素部分をＥＤＦないしＨＰＦで検出し、その強度が閾値を上回っている画素部分については、輝度信号のＳＦ／４を上回る周波数成分を付加して、補正を行う。

一方で、元画像において、色差信号がＳＦ／４以下（例えばＳＦ／８）の周波数成分しかなかった画素部分については、４２２形式に縮小したとしても、色差信号の空間周波数は同じＳＦ／４以下（例えばＳＦ／８）に分布することになる。そこで、そのような画素部分には、ＳＦ／４以上の周波数成分を付加しないようにする。

このように、本実施形態では、色差信号の周波数が予め定められた値を超えて分布している場合にのみ、輝度信号の高周波成分信号を基に色差信号を補正する。このため、色差信号がほとんど変化していない画素部分に輝度信号の高周波成分を反映させて色ずれが生じることを防止できる。また、本実施形態では、画像のエッジ部分は画像信号の変化が大きく色ずれが目立つことに鑑み、このようなエッジ部分を特に判別して輝度信号の高周波成分を色差信号に反映させる。このため、補正が必要な個所における色ずれを防止するとともに、不要な補正による色ずれの発生を抑止することが可能となる。

なお、本実施形態では、色差信号のエッジ成分の信号強度が予め定められた閾値を超えて分布している場合に、色差信号を補正する例を説明したが、具体的な構成はこれに限られない。例えば、図６（Ｃ）を参照して説明したように、色差信号の予め定められた周波数成分の信号強度が予め定められた閾値を超えて分布しているかを直接判定し、超えて分布している場合に色差信号を補正するようにしてもよい。また、色差信号の信号強度の絶対値が予め定められた値を超えている場合に色差信号を補正するようにしてもよい。

＜第４実施形態＞
次に、輝度信号を色差信号の解像度に合わせて縮小して画像処理を行った後に、輝度信号の高周波成分を用いて輝度信号及び色差信号の解像度を拡大する構成例を、実施形態４として説明する。

（画像処理装置の構成）
図８は、第４実施形態における画像処理装置の構成を示すブロック図である。図８中、８１は輝度信号の縮小処理ブロック、８２は画像処理ブロック、８３は輝度信号の高周波成分を抜き出すＨＰＦである。８４は輝度信号を拡大し高周波成分を付加する輝度信号拡大処理ブロック、８５は色差信号の拡大処理ブロック、８６は色ずれ低減処理ブロックである。８７は４２０形式のＹＰｂＰｒ信号、８８はＹを縮小したＹＰｂＰｒ信号、８９はＹ及びＰｂＰｒを拡大したＹＰｂＰｒ信号、９０は色ずれ低減したＹＰｂＰｒ信号である。

本実施形態では、４２０形式信号８７を入力した場合の例を説明する。４２２形式や４１１形式の場合は、輝度信号縮小処理ブロック８１、及び、輝度信号拡大処理ブロック８４をその信号形式に応じて変わるだけであり、同様の構成を適用することができる。

４２０形式信号８７の輝度信号を入力すると、輝度信号Ｙは輝度信号縮小処理ブロック８１によって縦横とも２分の１に縮小され、色差信号と同じ解像度の輝度色差信号８８になる。画像処理に適する色差信号と同じ解像度に変換された輝度色差信号８８は、画像処理ブロック８２において、ガンマ調整、色調整などの画像処理が行われる。元の輝度信号Ｙの高周波成分はＨＰＦ８３の出力として保存されているので、輝度信号拡大処理ブロック８４において、画像処理後の輝度信号を縦横２倍に拡大し、輝度信号の高周波成分を加算することで、解像度の高い輝度信号が得られる。一方、色差信号については、色差信号拡大処理部８５によって縦横２倍に拡大し、拡大した輝度色差信号８９が得られる。拡大した輝度色差信号８９において、輝度信号は高周波成分を付加したのに対して、色差信号は高周波信号を持たないので、これをそのままＲＧＢ化して表示すると色ずれが見えてしまう。そこで、拡大した色差信号に対して、色ずれ低減処理ブロック８６による色ずれ低減処理を行うことで、色ずれ低減した輝度色差信号９０が得られるので、これを出力する。本実施形態における色ずれ低減処理ブロック８６の内部、処理内容は、第１から第３の実施形態と同様なので、説明を省略する。

本実施形態においては、解像度を縮小した輝度信号及び色差信号を用いて画像処理を行う。このため、画像処理回路が小さくて済み、かつ、画像処理を高速に行うことが可能である。さらに、輝度信号の高周波成分を色差信号に反映させるとともに、輝度信号の高周波成分を用いて解像度を縮小した輝度信号を拡大して復元するため、色ずれの少ない高精細な画像を出力することができる。

＜第５実施形態＞
図１の構成では、画像処理を行った後にＲＧＢに変換したが、画像処理を行う前、あるいは画像処理をしないでＲＧＢに変換する実施形態も考えられる。その場合には、ＲＧＢ信号に変換しながら色ずれ低減処理を行ってもよい。

図９は、第５実施形態におけるＲＧＢ信号に対して行う色ずれ低減処理ブロック２４の構成を示すブロック図である。図９中、１１はＨＰＦであり、図２と同様に輝度信号Ｙから高周波成分を取り出す。３１から３４は図５と同様である。もっとも、本実施形態では、画像をＲＧＢ信号形式で処理する。そのため、ＬＰＦ３２は、ＲＧＢ形式の色差信号Ｒ，Ｇ，Ｂから低周波成分ＬＲ，ＬＧ，ＬＢを取り出して出力する。割り算器３３は、色差信号の低周波成分ＬＲ，ＬＧ，ＬＢを、輝度信号Ｙの低周波成分ＬＹにより除算して、色差信号の低周波成分の、輝度信号の低周波成分に対する割合ｄＲ，ｄＧ，ｄＢを算出する。乗算器３４は、輝度信号Ｙの高周波成分ＨＹに対して、割合ｄＲ，ｄＧ，ｄＢを乗じた値ＴＲ，ＴＧ，ＴＢを出力する。

９１は輝度信号Ｙの縮小処理ブロックである。９２は色空間変換処理ブロックであり、縮小した輝度信号及び色差信号Ｐｂ，ＰｒからＲＧＢ信号への色空間変換を行う。９３は拡大処理器である。９４は４２０形式の輝度色差信号、９５は解像度の高い輝度と解像度の低いＲＧＢ信号、９６は解像度の高い輝度及び拡大したＲＧＢ信号、９７は解像度の高いＲＧＢ信号である。１４は加算器であり、図２と同様に、拡大処理器９３が出力する拡大したＲＧＢ信号と、乗算器３４が出力するＴＲ，ＴＧ，ＴＢとを加算して、出力ＲＧＢ信号ＳＲ，ＳＧ，ＳＢを出力する。

まず、入力された輝度信号Ｙの解像度を縮小処理器９１によって、色差信号と同じ解像度に低減させる。解像度が揃っている輝度信号Ｙ及び色差信号Ｐｒ，Ｐｂを、色空間変換処理ブロック９２でＲＧＢ信号に変換する。

この場合の変換式は、輝度色差信号の種類によって予め定められている。例えば、ＩＴＵ−Ｒ ＢＴ．７０９規格の映像信号の場合、変換式は以下のようになる。
Ｒ＝Ｙ＋１．１５７４８×Ｐｒ
Ｇ＝Ｙ−０．１８７３２４×Ｐｂ−０．４６８１２４×Ｐｒ
Ｂ＝Ｙ＋１．８５５６×Ｐｂ
なお、階調０と１００％をオフセットしている輝度信号の場合はオフセットをなくしてフルスケール階調信号に直してから色空間の変換処理を行う。

次に、色空間変換処理ブロック９２の出力に対して拡大処理器９３で２倍の拡大処理を行い、ＲＧＢ信号を得る。ここでの拡大処理は、新たに作成する画素を周囲画素からの補間で作成する。補間方式にはさまざまな方式が知られているが、線形補間を採用することで回路を簡単にすることができ、また、特性がスムーズである。もちろん、他の補間方式を使用しても構わない。

次に、ＨＰＦ１１を用いて、輝度信号の高周波成分を取り出す、次に、ＬＰＦ３１を用いて輝度信号の低周波成分ＬＹを取り出し、ＬＰＦ３２を用いてＲＧＢ信号の低周波成分ＬＲ、ＬＧ、ＬＢを取り出す。この２つの低周波成分の比率を除算器３３によって計算し、比率ｄＲ，ｄＧ、ｄＢを得る。この比率を乗算器３４によって、輝度信号の高周波成分ＨＹに乗算することにより、ＴＲ、ＴＧ、ＴＢを得る。さらに加算器１４によって、ＲＧＢ信号に付加することによって、ＳＲ，ＳＧ，ＳＢであるところの出力ＲＧＢ信号を取得する。
ＳＲ＝Ｒ＋ＨＹ×ＬＲ／ＬＹ
ＳＧ＝Ｒ＋ＨＹ×ＬＧ／ＬＹ
ＳＢ＝Ｒ＋ＨＹ×ＬＢ／ＬＹ
なお、本実施形態においては、ＲＧＢ信号は正しかとらない信号なので、第１実施形態における符号負荷器は必要としない。

また、輝度の高周波成分を固定比率Ａで処理したり、固定比率Ａをさらに乗算する構成もある。例えば、図２にあげた定数Ａ１２と乗算器１３を用いて、ＴＰｂ、ＴＰｒの値を調整してもよい。この場合のＡの値は、例えば、０．３〜１．３程度の値とすることができる。
ＳＲ＝Ｒ＋Ａ×ＨＹ×ＬＲ／ＬＹ
ＳＧ＝Ｒ＋Ａ×ＨＹ×ＬＧ／ＬＹ
ＳＢ＝Ｒ＋Ａ×ＨＹ×ＬＢ／ＬＹ

また、本実施形態においても、第３実施形態に示したように各ＲＧＢ信号に高周波成分がある色信号にのみ、輝度信号の高周波信号を付加するようにしてもよい。すなわち、図７におけるＨＰＦ、比較器、セレクタを追加することにより、以下の式に従って処理を行うように構成してもよい。

｜ＨＲ｜＞ｓｍの場合 ＳＲ＝Ｒ＋ＨＹ×ＬＲ／ＬＹ
｜ＨＲ｜≦ｓｍの場合 ＳＲ＝Ｒ
｜ＨＧ｜＞ｓｍの場合 ＳＧ＝Ｇ＋ＨＹ×ＬＲ／ＬＹ
｜ＨＧ｜≦ｓｍの場合 ＳＧ＝Ｇ
｜ＨＢ｜＞ｓｍの場合 ＳＢ＝Ｂ＋ＨＹ×ＬＲ／ＬＹ
｜ＨＢ｜≦ｓｍの場合 ＳＢ＝Ｂ

以上のように、本実施形態では、解像度が縮小された輝度信号と色差信号からＲＧＢ信号形式へ変換された画像信号の解像度が拡大された拡大画像信号の、Ｒ信号成分、Ｇ信号成分、及び、Ｂ信号成分の各々を、輝度信号の高周波成分信号を基にした補正値により補正する。このため、解像度は低いが色ずれの少ない輝度色差信号からＲＧＢ信号形式に変換することにより、解像度は低いが色ずれの少ないＲＧＢ信号を得ることができる。さらに、ＲＧＢ信号形式に変換した画像を拡大した後に輝度信号の高周波成分を用いて補正するため、色ずれの少ない高精細な画像を出力することができる。

なお、一般的には、色差信号を拡大して色ずれが発生した後に色空間変換処理が行われているが、本実施形態のように、輝度信号を縮小して色ずれが少ない状態で色空間変換処理を行ってから拡大処理を行った方が、色ずれの発生を防ぐことができる。

ただし、本実施形態の処理の順番では、高周波成分が不足するので、輝度信号の高周波成分を、ＲＧＢ信号の大きさに応じた比率で付加することにより、色ずれが少なく高周波成分が保存されたＲＧＢ信号が得られる。

＜第６実施形態＞
次に、既に色ずれしているＲＧＢ信号から色ずれを低減する構成を、第６実施形態として説明する。図１０は、第６実施形態における色ずれ低減処理ブロックの構成を示すブロック図である。

図１０中、１１はＨＰＦであり、図２と同様に輝度信号Ｙから高周波成分ＨＹを取り出す。３１から３４は図５、図９と同様である。第５実施形態と同様に、乗算器３４は輝度信号Ｙの高周波成分ＨＹに対して、ＲＧＢ形式の信号Ｒ，Ｇ，Ｂの低周波成分ＬＲ，ＬＧ，ＬＢの、輝度信号Ｙの低周波成分ＬＹに対する割合ｄＲ，ｄＧ，ｄＢを乗じた値Ｔｒ，Ｔｇ，Ｔｂを出力する。加算器１４は、入力信号Ｒ，Ｇ，Ｂと乗算器３４の出力Ｔｒ，Ｔｇ，Ｔｂとを加算して、出力ＲＧＢ信号ＳＲ，ＳＧ，ＳＢを出力する。１０１は輝度信号抽出処理器であり、入力されたＲＧＢ信号から輝度信号Ｙを抽出する。１０２は入力の色ずれしているＲＧＢ信号、１０３は解像度の高い輝度及びＲＧＢ信号である。９７は図９と同様に、解像度の高いＲＧＢ信号である。

まず、ＲＧＢ信号から、輝度信号抽出処理器１０１で輝度信号を抽出する。この場合の抽出式は、輝度信号の種類によって予め定められている。例えば、ＩＴＵ−Ｒ ＢＴ．７０９規格の映像信号の場合、抽出式は以下のようになる。

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ
次に、ＲＧＢ信号から抽出したＹ信号から、ＨＰＦ１１を用いて、輝度信号Ｙの高周波成分ＨＹを取り出す。次に、ＬＰＦ３１を用いて輝度信号の低周波成分ＬＹを取り出し、ＬＰＦ３２を用いてＲＧＢ信号の低周波成分ＬＲ、ＬＧ、及びＬＢを取り出す。輝度信号の低周波成分ＬＹに対するＲＧＢ信号の低周波成分ＬＲ，ＲＧ，ＬＢの割合を除算器３３によって計算し、比率ｄＲ、ｄＧ、及びｄＢを得る。この比率を乗算器３４によって、輝度信号の高周波成分ＨＹに乗算することにより、ＴＲ、ＴＧ、及びＴＢを得る。さらに加算器１４によって、ＲＧＢ信号に付加することによって、ＳＲ、ＳＧ、及びＳＢであるところの出力ＲＧＢ信号を得る。
ＳＲ＝Ｒ＋ＨＹ×ＬＲ／ＬＹ
ＳＧ＝Ｒ＋ＨＹ×ＬＧ／ＬＹ
ＳＢ＝Ｒ＋ＨＹ×ＬＢ／ＬＹ

第６実施形態においても、第１実施形態のように、固定比率Ａを乗算したり、第３実施形態のように閾値以下のＲＧＢ信号には付加しないようにしたりすることができる。

また、出力したＳＲ、ＳＧ、ＳＢ信号を元に色空間の変換処理を行うことで、高周波数成分までもった色差信号ＳＰｂ、ＳＰｒを得られることは、言うまでもない。

以上のように、本実施形態では、画像信号はＲＧＢ信号形式により与えられ、その画像信号の、Ｒ信号成分、Ｇ信号成分、及び、Ｂ信号成分の各々を、輝度信号の高周波成分信号を基にした補正値により補正する。このため、色ずれの少ない高精細な画像を出力することができる。

なお、第６実施形態では、ＲＧＢの解像度が同じなので、ＲＧＢから輝度信号の高周波成分を抽出した。ＲＧＢ信号の解像度について、ＤｕａｌＧｒｅｅｎ信号のように、Ｇ信号のみがＲＢ信号より解像度の高い場合は、Ｇ信号の高周波成分を抽出して、輝度信号の代わりに使うことができる。

＜第７実施形態＞
上述の実施形態では、画像処理装置を専用の回路により実現した場合の例を説明した。本実施形態では、マイクロプロセッサなどを用いた汎用的なハードウェア構成によって色ずれ低減処理を行う構成例を、図１１、図１２を用いて説明する。

図１１は、第７実施形態における、マイクロプロセッサを用いた画像処理装置の構成を模式的に示すブロック図である。本実施形態の画像処理装置は、パーソナルコンピュータ（ＰＣ）、タブレット端末等の汎用の情報処理装置により構成されるが、専用の組込み機器等により実現しても構わない。

図１１中、１１１は演算及び制御を行うマイクロプロセッサ（ＭＰＵ）である。１１２は入力インターフェースであり、処理対象の画像を入力する。１１３は出力インターフェースであり、画像処理が施された画像を出力する。１１４はコンピュータプログラムを格納するＲＯＭ（読出し専用メモリ）、１１５はワーキングメモリとして使用するＲＡＭ（書込み可能メモリ）、１１６は画像の一時記憶を行うストレージである。なお、ＲＡＭ１１５が複数枚の画像を記憶できるほど大きな容量を有する場合は、ストレージ１１６は設けなくてもよい。

図１２は、第７実施形態における、マイクロプロセッサによって行う処理を示したフローチャートである。ここでは、第２実施形態の処理をマイクロプロセッサによって実現した場合のフローチャートを一例として説明するが、他の実施形態の処理もその内容に即したフローチャートに従い処理を実行することで、実現可能である。そのため、他の実施形態に即した処理の説明は省略する。

図１１の構成において、ＲＯＭ１１４に書かれている図１２のフローチャートに示した処理を行う。処理の各ステップはＭＰＵ１１１の制御に基づき実行される。以下、処理のステップごとに説明する。

まず、Ｓ１２０１において、入力画像を入力インターフェース１１２からＲＡＭ１１５に読み込む。読み込んだ入力画像はＳ１２０２において、輝度画像と色差画像に分離して、ストレージ１１６に一時記憶する。

色差画像に対してはＳ１２０３において、拡大処理を行い、拡大画像としてＲＡＭ１１５上に置くとともに、ストレージ１１６に記憶する。この拡大処理は、第１実施形態で説明したものと同様の処理を行う。

Ｓ１２０２で一時記憶していた輝度画像を用いて、Ｓ１２０４においてＨＰＦ処理を行い、輝度画像の高周波画像を得て、ストレージ１１６に一時記憶する。このＨＰＦ処理は、図３で示したフィルタ係数で乗算と加算と除算を行えばよい。なお輝度の高周波画像は、元の輝度画像からＳ１２０５における輝度のＬＰＦ画像を減算することでも取得することができる。

Ｓ１２０５において、ストレージ１１６から輝度画像を読み出し、ＬＰＦ処理を行い、輝度画像の低周波画像を得て、ストレージ１１６に一時記憶する。

Ｓ１２０６において、ストレージ１１６から拡大処理した色差画像を読み出し、ＬＰＦ処理を行い、色差画像の低周波画像を得て、ストレージ１１６に一時記憶する。

次に、Ｓ１２０７において、ストレージ１１６から、色差の低周波画像と輝度の低周波画像を読み出し、色差の低周波画像を輝度の低周波画像で除算処理を行う。

除算処理した結果に対し、Ｓ１２０８において、輝度の高周波画像をストレージ１１６から読み出して、乗算する。

乗算した結果を、次にＳ１２０９で、ストレージ１１６から拡大した色差画像を読み出して、加算する。

こうして得られた、色ずれ低減済みの色差画像を、Ｓ１２１０でストレージ１１６に一時記憶する。

Ｓ１２１１では、ストレージ１１６から、輝度画像と色ずれ低減済みの色差画像を用いて、色補正やガンマ補正などの所望の画像処理を行う。画像処理した結果の輝度色差画像は、Ｓ１２１２でＲＧＢ画像に変換する。

そして、Ｓ１２１３でＲＧＢ画像を出力インターフェース１１３を通じて出力して、処理を終了する。

上記、フローチャートでは、ＲＧＢ画像に変換して出力したが、輝度色差画像として出力してもよい。

以上、第２実施形態と同様の処理をマイクロプロセッサによって行う構成を説明した。同様に汎用的なマイクロプロセッサを用いて、第１、及び、第３〜第６実施形態の処理を行うことができることは自明であるため、詳細な説明を省略する。

本実施形態によれば、解像度が異なる複数の画像成分信号を含む画像信号に対して、解像度が低い画像成分信号の解像度の拡大を伴う画像処理を行う場合に、汎用的な情報処理装置を用いて色ずれを低減することが可能となる。

以上、複数の構成例により本発明の実施形態を説明したが、本発明の趣旨を逸脱しない限り、本発明の実施の形態はここに挙げた具体的構成例に限られるわけではない。例えば、上記の各実施形態では、輝度信号の解像度が他の画像成分信号よりも高い場合に、輝度信号の高周波成分信号を基にした補正値を他の画像成分信号に加算する例を説明した。もっとも、輝度信号以外の画像成分信号の解像度が高い場合は、その画像成分信号の高周波成分信号に基づき補正を行うようにしてもよい。これにより、画像成分信号の解像度に応じて色ずれを効果的に低減させることが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１：ＨＰＦ、１２：係数Ａ、１３：乗算器、１４：加算器、１５：符号付加器

Claims (15)

1. 複数の画像成分信号を含む画像信号から輝度信号を取得する第１の取得手段と、
   前記第１の取得手段により取得された輝度信号から当該輝度信号の高周波成分信号を取得する第２の取得手段と、
   前記画像信号に含まれる色差信号の解像度が拡大された拡大色差信号を、前記第２の取得手段により取得された高周波成分信号を基にした補正値で補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 当該輝度信号の解像度は当該色差信号の解像度よりも高く、
   前記補正手段は、前記輝度信号の高周波成分信号を基にした補正値を前記色差信号の解像度が拡大された前記拡大色差信号に加算することにより、当該拡大色差信号を補正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、予め定められた係数を前記高周波成分信号に乗じた値を前記拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記輝度信号から当該輝度信号の低周波成分信号を取得する第３の取得手段と、
   前記色差信号から当該色差信号の低周波成分信号を取得する第４の取得手段と、
   をさらに備え、
   前記補正手段は、前記第２の取得手段により取得された高周波成分信号と、前記第３の取得手段により取得された前記輝度信号の低周波成分信号と、前記第４の取得手段により取得された前記色差信号の低周波成分信号とを基にした補正値を前記拡大色差信号に加算することにより、当該拡大色差信号を補正する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記第３の取得手段により取得された前記輝度信号の低周波成分信号を前記第４の取得手段により取得された前記色差信号の低周波成分信号により除算して除算値を求める除算器をさらに備え、
   前記補正手段は、前記除算値と前記高周波成分信号の乗算に応じた値を前記拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記補正手段は、予め定められた係数及び前記除算値を前記高周波成分信号に乗じた値を前記拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段は、前記拡大色差信号の周波数成分が予め定められた値を超えて分布している場合に、前記輝度信号の高周波成分信号を基にした補正値を該拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記補正手段は、前記拡大色差信号の予め定められた周波数成分が予め定められた信号強度を超えている場合に、前記輝度信号の高周波成分信号を基にした補正値を該拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記補正手段は、前記拡大色差信号のエッジ成分が予め定められた閾値を超えて分布している場合に、前記輝度信号の高周波成分信号を基にした補正値を該拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記補正手段は、前記拡大色差信号のエッジ成分の予め定められた周波数成分があらかじめ定められた信号強度を超えている場合に、前記輝度信号の高周波成分信号を基にした補正値を該拡大色差信号に加算することにより、当該拡大色差信号を補正することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記輝度信号と、前記補正手段により補正された前記拡大色差信号とに対して画像処理を行う画像処理手段をさらに備えることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記輝度信号の解像度を前記輝度信号より解像度が低い画像成分信号としての色差信号の解像度まで縮小する縮小手段と、
    前記縮小手段により解像度が縮小された前記輝度信号と、前記色差信号とに対して画像処理を行う画像処理手段と
    をさらに備え、
    前記補正手段は、前記画像処理手段により画像処理が行われた前記色差信号の解像度が拡大された拡大色差信号に対し、画像処理が行われる前の前記輝度信号の高周波成分信号を基にした補正値を加算することにより、該拡大色差信号を補正する
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
13. 前記画像信号は前記輝度信号と前記輝度信号より解像度が低い画像成分信号としての色差信号とを有し、
    前記輝度信号の解像度を前記色差信号の解像度まで縮小する縮小手段と、
    前記縮小手段により解像度が縮小された前記輝度信号と、前記色差信号とを、ＲＧＢ信号形式に変換する変換手段と
    をさらに備え、
    前記補正手段は、前記変換手段によりＲＧＢ信号形式に変換された前記画像信号の解像度が拡大された拡大色差信号の、Ｒ信号成分、Ｇ信号成分、及び、Ｂ信号成分の各々を、前記高周波成分信号を基にした補正値により補正する
    ことを特徴とする請求項１に記載の画像処理装置。
14. 画像処理方法であって、
    複数の画像成分信号を含む画像信号から輝度信号を取得する第１の取得工程と、
    前記取得された輝度信号から当該輝度信号の高周波成分信号を取得する第２の取得工程と、
    前記画像信号に含まれる色差信号の解像度が拡大された拡大色差信号を、前記高周波成分信号を基にした補正値で補正する補正工程と
    を備えることを特徴とする画像処理方法。
15. コンピュータを請求項１から１３のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム。

Images