JP6744723B2 - 画像処理装置および画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、コンピュータプログラムに関するものである。

従来から、映像信号における輝度信号と色度信号の解像度を異なるものとして伝送することが行われている。飛び越し走査（インターレース）であるＳＤ（スタンダードディフィニション）映像やＨＤ（ハイディフィニション）映像においては、４２２形式と呼ばれる信号形式で行われることが多い。４２２形式とは、４画素分の輝度信号に対して、２画素分の赤色差信号と２画素分の青色差信号を格納する形式であり、この形式では色差信号は輝度信号に比べて半分の解像度しかないことになる。これは、人間の眼の視覚特性が輝度変化に対してより敏感で、色変化に対しては比較的鈍感であることを利用して、伝送および記録に必要な信号帯域を節約したものである。

最近になって、４ｋ解像度のＵＨＤ（ウルトラハイディフィニション）映像や８ｋ解像度のＳＨＶ（スーパーハイビジョン）映像を放送およびメディアで流通させることが行われ始めている。これらの信号形式は順次走査（プログレッシブ）で、４２０形式と呼ばれる形式が主流である。４２０形式は、輝度信号が縦に２画素、横に２画素で計４画素あるうちに、１画素分の赤色差信号と１画素分の青色差信号しかない形式である。この場合、色差信号は輝度信号に比べて縦横それぞれ２分の１の解像度となり、合わせると４分の１の解像度しかないことになる。

このような４２０形式は、伝送や記録においては必要帯域を節約するのに有効である。しかしながら、画像処理には、輝度信号と色差信号を同時に扱う必要のあるものが多い。例えば、３Ｄルックアップテーブルを用いた色補正や階調補正などがこのような画像処理にあたる。

そういった画像処理を行うためには、輝度信号と色差信号の解像度を合わせる必要がある。そのためには、色差信号の解像度を画素補間により増大させて、輝度信号に合わせることが一般的である。あるいは輝度信号を縮小して、色差信号の解像度に合わせて画像処理を行い、後に超解像処理する場合もある。このように輝度信号を縮小して画像処理を行うと、超解像を行っても、解像度の情報が正確には元には戻らないので、画像が劣化してしまう。

そして、このように解像度を合わせた輝度信号と色差信号に対して、輝度信号と色差信号で個別の処理を行うことが特許文献１に記載されている。特許文献１の構成では、ＲＧＢ信号に対するゲイン処理とは別に、輝度信号に対するシャープネス処理を行っている。

特開２０１０−２６３５９８号公報

しかしながら従来の構成には以下の課題がある。

３Ｄルックアップテーブルを用いた色補正や階調補正などの画像処理を行うためには輝度信号と色差信号の解像度を合わせる必要がある。そして、色差信号を画素補間により解像度を増大させて処理を行うと、画像処理に必要な回路の動作周波数帯域（処理負荷）が増大してしまう。

特許文献１の構成についても、輝度信号とＲＧＢ信号の処理を別に行ってはいるが、ＲＧＢ信号の解像度は輝度信号と同じであるので、同様に必要な動作帯域が上昇してしまっている。

この画像処理の動作帯域を入力信号の周波数帯域よりも高くする必要があるという課題は、画像処理のハード回路を用いた場合であり、コンピュータを用いた画像処理においては、処理時間が長くなるという課題として顕在化する。

また、この課題は、４２０形式だけでなく、４２２形式や４１１形式といった、輝度信号と色差信号の解像度が異なる信号に共通した課題となっている。

そこで、本発明は、解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うための技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
解像度が異なる複数の画像成分信号からなる画像信号を入力する入力手段と、
前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第１の画像成分信号から低周波成分信号を取得する第１の取得手段と、
前記第１の画像成分信号から高周波成分信号を取得する第２の取得手段と、
前記第１の取得手段により取得された前記低周波成分信号と、前記入力手段により入力された画像信号に含まれる前記他の画像成分信号である第２の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理手段と、
前記低周波成分信号に対する前記所定の画像処理により得られる第１の処理済み信号を拡大した信号と前記第２の取得手段により取得された前記高周波成分信号とに基づく信号と、前記第２の画像成分信号に対する前記所定の画像処理により得られる第２の処理済み信号と、を表示用信号として生成する生成手段と
を有することを特徴とする。

本発明によれば、解像度が異なる複数の画像成分信号からなる入力信号に対して、解像度の情報が損われない画像処理を、より少ない帯域で行うことができる。

画像処理装置の概要構成を示すブロック図 画像処理ブロック内部の構成を示すブロック図 画像処理ブロックにおける信号の周波数帯域を説明する図 画像処理ブロックの詳細な構成を示すブロック図 色ずれと画像処理の関係を説明する図 ４２０形式における輝度信号と色差信号の重心位置に関する説明図 ローパスフィルター（ＬＰＦ）の例を示す図 画像処理ブロックの詳細な構成を示すブロック図 画像処理ブロックの詳細な構成を示すブロック図 画像処理ブロックの詳細な構成を示すブロック図 画像処理ブロックの構成を示すブロック図 画像処理ブロックにおける信号の帯域を説明する図 マイクロプロセッサを用いた構成例を示すブロック図 マイクロプロセッサによって行う処理を示したフローチャート

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜第１実施形態＞
図１〜図７を用いて、本発明の第１実施形態に係る画像処理装置を説明する。

（画像処理装置）
図１は、第１実施形態における画像処理装置のハードウェア構成を示すブロック図である。ただし、図１のブロックの少なくとも一部をソフトウェアによって実現してもよい。

図１中、２１はデコーダーブロック、２２は画像処理ブロック、２３はパネル特性の補正ブロック、２４はパネルドライバブロック、２５はパネルブロック、である。

放送波やディスクメディアのコンテンツでは、輝度色差信号がエンコード（圧縮）されている。ここでの輝度色差信号は、２ｋ解像度（ＨＤ）では４２２形式と呼ばれる形式の、左右方向の色差信号が、輝度信号の半分しかない方式により表される。４ｋ解像度（ＵＨＤ）や８ｋ解像度（ＳＨＶ）においては、４２０形式と呼ばれる形式で、左右方向だけでなく上下方向においても色差信号が、輝度信号の半分しかない方式により表される。また、ＤＶ（テープ記録のデジタルビデオ）においては、４１１形式と呼ばれる形式の、水平方向の色差信号が、輝度信号の４分の１しかない方式により表される。本実施形態では、これら色差信号が輝度信号より少ない方式全てに適応するが、以下の説明では、代表して４２０形式を採用した例を中心として説明する。

これらの圧縮されている輝度色差信号を、まずデコーダーブロック２１で、デコード（伸長）して、非圧縮状態の輝度色差信号に戻す。非圧縮に戻した輝度色差信号に対して、画像処理ブロック２２において、色補正、階調補正、シャープネス、拡大縮小変形などの画像処理を行う。画像処理ブロックからの出力である輝度色差信号あるいはＲＧＢ信号は、パネル特性の補正ブロック２３において、パネルブロック２５の電圧輝度特性に応じて、補正される。この補正された出力を使用して、パネルドライバブロック２４は表示部としてのパネルブロック２５を駆動して、表示制御する。このパネルブロックは液晶素子を用いれば、バックライトによって直視式になるし、光源を用いて投影してもよい。また有機ＥＬパネルを用いた表示装置でもよい。あるいは、パネル特性の補正ブロック２３以降を別体の表示装置として、本実施形態の画像処理ブロック２２を独立した画像処理装置としてもよい。

（画像処理ブロック）
次に、図２と図３を用いて、画像処理ブロック２２内部の概要を説明する。図２は、本発明の第１実施形態の画像処理ブロック２２内部の構成を示すブロック図、である。

図２中、６１は輝度信号の空間周波数の異なる成分に分離するブロック、６２は画像処理を行う画像処理ブロック、６３は異なる空間周波数の成分を合成するブロック、である。図２のように、本実施形態では輝度信号については、高周波成分と低周波成分とに分離し、低周波成分と色差信号についてのみ画像処理を行って、その結果を高周波成分と合成する。

図３は、第１実施形態の画像処理ブロック２２における信号の周波数帯域を説明する図、である。図３（Ａ）は輝度信号の周波数帯域の説明図、図３（Ｂ）は色差信号の周波数帯域の説明図、である。

図３中、７１は入力輝度信号の周波数成分、７２は入力色差信号の周波数成分、７３はローパスフィルターの周波数特性、７４は輝度信号の低周波成分、７５は輝度信号の高周波成分、７６は輝度信号の低周波成分と高周波成分を合わせた周波数成分、である。

４２０形式の輝度信号と色差信号を入力した場合で説明する。４２０信号は、色差信号が輝度信号に対して縦横２分の１の解像度しか持たない。このため、信号が存在するのはナイキスト周波数であるサンプリング周波数の２分の１であるところ、図３（Ａ）、図３（Ｂ）のように、輝度信号と色差信号のサンプリング周波数（ＳＦ）の分布が異なることになる。すなわち、輝度信号の周波数成分７１が高周波領域まで伸びているのに対し、色差信号の周波数成分７２は半分しかない。

解像度の異なるままでは、画像処理ブロック６２において、３Ｄルックアップテーブルなどの処理が困難なため、空間周波数分離ブロック６１によって、輝度信号を空間周波数に基づいて分離する。分離ブロック６１は例えば、サンプリング周波数の４分の１のカットオフ周波数特性７３を持つローパスフィルター（ＬＰＦ）を用いることができる。入力輝度信号の周波数成分７１がＬＰＦを通過した成分を低周波成分７４とする。入力輝度信号の周波数成分７１から低周波成分７４を差し引いた成分を、高周波成分７５とすることができる。なお高周波成分７５は、ハイパスフィルターを用いて抽出することも可能である。

輝度の低周波成分７４と色差の周波数成分７２を用いて、画像処理ブロック６２による画像処理を行うことができる。なお図示していないが、シャープネスなどの高周波領域の画像処理を行うときは、高周波成分７５に対して行うことができる。

画像処理した結果である輝度信号の低周波成分は、高周波成分７５を合成ブロック６３を用いて加えることによって、低周波から高周波まで広い成分を持つ輝度信号の周波数成分７６に戻すことができる。

このように、第１実施形態においては、輝度信号の低周波成分と色差信号による画像処理を行い、輝度信号の高周波成分と合成することによって、所望の画像処理を低い解像度で行いながら、高い解像度の情報を失わないことが可能である。

次に、画像処理ブロック２２の内部構成を図４を用いて、より詳細に説明する。図４は、第１実施形態の詳細な構成を示すブロック図、である。図４中、１１は輝度信号の解像度の縮小部、１２はシャープネス以外の画像処理を行う画像処理部、１３はシャープネス処理を行う処理部、１４は第１の解像度拡大部、１５は減算器、１６は第２の解像度拡大部、１７は加算器、である。

図２と同じく、４２０形式の輝度信号と色差信号を入力した場合で説明する。輝度信号Ｙはシャープネス処理部１３に入力されて、シャープネス処理がなされ輝度信号ＨＹが得られる。シャープネス処理部１３においては、シャープネス処理に限ることなく、高周波成分に関する処理を行う。同時に、輝度信号Ｙは縮小部１１に入力されて、縮小に最適化されたローパスフィルター（ＬＰＦ）等により、縦横の両方向に２分の１縮小がなされ、縮小した輝度信号ＬＹが得られる。このように、縮小部１１は、入力された画像信号に含まれる解像度が異なる複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い画像成分信号から低周波成分信号を取得する。また、シャープネス処理部１３は、解像度が高い画像成分信号に対するシャープネス処理を行なう。

輝度信号とは別に入力された色差信号ＰｂおよびＰrは、輝度信号Ｙに比べて縦横２分の１の解像度なので、縮小した輝度信号ＬＹと同じ解像度である。両方の信号をシャープネス以外の画像処理部１２に入力し、色補正、階調補正、などの画像処理を行い、画像処理後の縮小した輝度信号ＳＬＹと、画像処理後の色差信号である出力色差信号ＳＰｂとＳｐｒを得る。ここでシャープネス以外の画像処理部１２における演算処理やテーブル演算処理は、ＹＰｂＰｒ形式で処理してもよいし、ＲＧＢ形式に変換して処理を行った後にＹＰｂＰｒ形式に戻してもよい。このように、シャープネス以外の画像処理部１２は、輝度信号の低周波成分信号と、入力された画像信号に含まれる前記他の画像成分信号である画像成分信号（色差信号）と、のそれぞれに対して所定の画像処理を実行する処理を行う。

次に、縮小した輝度信号ＬＹを第１の拡大部１４によって縦横２倍に拡大し、縮小および拡大後の輝度信号ＥＬＹを得る。拡大処理としては一般的に、単純拡大法、線形補間法、キュービック補間法、データベース型超解像法、などがある。本実施形態では高周波成分は別経路で保持されているので、余計な高周波成分を生まない線形補間を用いる場合を説明する。

また、画像処理後の縮小した輝度信号ＳＬＹについても、第２の拡大部１６によって縦横２倍に拡大し、縮小および処理および拡大後の輝度信号ＥＳＬＹを得る。第２の拡大部の拡大処理は、第１の拡大部と同じ処理とすることで、画質の高い画像を出力することができる。

次に、シャープネス処理後の輝度信号ＨＹから、減算器１５によって縮小および拡大後の輝度信号ＥＬＹを減算することによって、輝度信号の高周波成分が得られる。次に加算器１７によって、縮小処理および拡大後の低周波成分の輝度信号ＥＳＬＹを加算し、全周波数領域を持つ出力輝度信号ＳＹを得る。このようにして、輝度信号の低周波成分信号に対する画像処理により得られる処理済み信号と、輝度信号の高周波成分信号と、色差信号に対する画像処理により得られる処理済み信号と、に基づいて表示用信号を生成する。

このように、本実施形態では、入力輝度信号に対し、高周波成分に関する処理をしたものから、単純に縮小拡大した結果を減算し、低周波成分に関する処理を色差信号とともに行った結果を加算する処理を行った。このようにすることで、シャープネス処理以外の画像処理を行った結果のみを正確に、輝度信号に付加することができる。

なお、演算の順序は、結果が変わらない範囲内で、適宜変更してよい。例えば加算器１７と減算器１５の順序を逆にしても同じであること、演算の交換法則により自明である。また、縮小部１１と拡大部１４と減算器１５を通した後で、シャープネス処理部１３を通すなどの順序変更も可能である。

（画像処理と色ずれの関係）
次に、図５を用いて、輝度信号と色差信号の解像度が異なる場合に発生する色ずれに対する画像処理の影響について説明する。図５は、色ずれと画像処理の関係を説明する図、である。

図５（Ａ）は元画像における輝度色差信号を示し、図５（Ｂ）は伝送時における４２０形式の輝度色差信号を示す。図５（Ｃ）は色差信号を拡大した場合の輝度色差信号を示し、図５（Ｄ）は本実施形態において輝度信号を縮小した輝度色差信号を示す。

図５中、３１は左画素の輝度信号値、３２は右画素の輝度信号値、３３は左画素の色差信号値、３４は右画素の色差信号値、３５は４２０信号における色差信号値、３６は拡大した色差信号値、３７は縮小した輝度信号値、である。ここで色差信号はＰｂ値とＰｒ値の２つからなっており、両色差とも同じ説明になるので、片方だけに数字を割り振っている。

元画像における輝度と色差の関係は、４４４形式と言われる輝度信号と色差信号の解像度が同じものである。図５（Ａ）においては、左画素と右画素のそれぞれが、輝度信号値と色差信号値の両方を持っている。

この図５（Ａ）から、伝送帯域を節約するために、４２２信号あるいは４２０信号形式としたものが図５（Ｂ）である。後述する手法で、左画素の色差信号値３３と右画素の色差信号値から平均的値を計算し、４２０信号における色差信号値３５を得ている。

この図５（Ｂ）から、画像処理を行うために解像度を合わせる必要がある。図５（Ｃ）は、色差信号を拡大して、拡大した色差信号値３６を得た例を示している。図５（Ｃ）では、単純拡大法による拡大の例を示す。この状態では、拡大した色差信号値３６は、元画像における左画素の色差信号値３３よりは大きいので、左画素はマゼンタ色に色ずれする。逆に元画像における右画素の色差信号値３３よりは小さいので、右画素は緑色に色ずれすることになる。このように色ずれした各画素に対し色補正などの画像処理を行うと、色ずれによって、右画素と左画素に対する画像処理の内容が異なってしまう。そうすると、本来意図している画像処理が正しく行えないので、色ずれがひどくなったり疑似輪郭が現れたりなどの妨害が発生してしまう。

本実施形態では図５（Ｂ）から、解像度を合わせるために、図５（Ｄ）のように、輝度信号を縮小して、縮小した輝度信号値３７を得る。この縮小処理は後述するように４２０形式の色差信号を作る処理と同様の処理とすることで、右側の輝度画素３１と左側の輝度画素３２の平均的な値をとる。

本実施形態では、縮小した輝度信号値３７および４２０形式の色差信号値３５とも、平均化した画素値であり色ずれは無い。色ずれの無い状態で画像処理することができるので、色差信号を拡大した場合のような妨害は発生しない。

（縮小処理）
次に、元の４２０形式における色差の縮小処理や、本実施形態における縮小処理部について、図６ならびに図７を用いて説明する。図６は、４２０形式における輝度信号と色差信号の重心位置に関する説明図である。図６（Ａ）は左上側重心の場合、図６（Ｂ）は中央重心の場合、図６（Ｃ）は左側重心の場合、を示す。図６（Ａ）中、１４１は四角形で表した縦横２画素からなる４つの輝度画素、１４２は色差系の画素の重心位置、を示す。

元の画像から、４２０系の伝送信号を作成する際に、どのようなＬＰＦを用いてサンプリングしたかによって、大きく分けて３通りの重心位置を持つ伝送信号が存在する。

図６（Ａ）は色差信号の重心位置１４２が、４つの輝度画素１４１の左上画素の位置と一致しているものである。ここでのＬＰＦは奇数×奇数のサイズを持つＬＰＦが使われて、代表値となる色差の値が決められている。

図６（Ｂ）は色差信号の重心位置１４２が、４つの輝度画素１４１のちょうど中央の位置にあるものである。ここでのＬＰＦは偶数×偶数のサイズを持つＬＰＦが使われて、代表値となる色差の値が決められている。

図６（Ｃ）は色差信号の重心位置１４２が、４つの輝度画素１４１のうち左側２画素の中間の位置にあるものである。ここでのＬＰＦは横奇数×縦偶数のサイズを持つＬＰＦが使われて、代表値となる色差の値が決められている。

次に、信号作成時に色差信号の縮小処理に使われたり、本実施形態において輝度信号の縮小処理に用いられるＬＰＦを、説明する。図７は、４２０形式における色差信号の縮小や本実施形態における２分の１縮小手段に用いられるローパスフィルター（ＬＰＦ）の例、である。

４２０変換をするために必要な色差信号の縮小処理や本実施形態における輝度信号の縮小処理において、単純に縦横２画素ずつの２×２＝４画素から平均化を行ってもよいが、モアレと言われるサンプリング妨害が発生することがある。そこで、カットオフ周波数を元の周波数の半分にするために、少し大きい領域である３×３画素から６×６画素程度の領域のＬＰＦを用いて縮小処理を行うことで、モアレの発生を抑止することができる。本実施形態では、色差信号の４２０変換と同様の特性を持つＬＰＦを用いて、輝度信号の２分の１縮小を行う。

図７（Ａ）は、３×３の領域の平均値フィルター、図７（Ｂ）は４×４の領域の平均値フィルター、図７（Ｃ）は４×４の領域のガウスフィルター、図７（Ｄ）は、５×５の領域のガウスフィルターを示す。図７（Ｅ）は、３×２の領域の平均値フィルター、図７（Ｆ）は３×２の領域のガウスフィルター、図７（Ｇ）は５×４の領域のガウスフィルター、を示す。

格子内の中心を対象画素として、各格子内の数字が、対象および周辺に位置する画素に対する倍率である。倍率をかけた合計値を倍率の合計値で割り算することによって、出力を得る。あるいは割り算の代わりに、近似的に乗算とシフト演算によって演算する。

図７（Ａ）の３×３の領域の平均値フィルターは、縮小する２×２画素の左上の画素を中心画素として、周囲８画素の値との平均値をとったものである。各画素用の倍率を掛けた合計値を９で割るか、７を掛けて６４で割る（６ビット切り捨てる）演算である。

図７（Ｂ）の４×４の領域の平均値フィルターは、縮小する２×２画素の中心位置（画素は無い）を中心として、周囲１６画素の平均値をとったものである。演算は、各画素用の倍率を掛けた合計値を１６で割る演算である。

図７（Ｃ）の４×４の領域のガウスフィルターは、縮小する２×２画素の中心位置（画素は無い）を中心として、中心に近い画素ほど高い比重をかけて１６画素の演算を行ったものである。各画素用の倍率を掛けた合計値を３２で割る演算である。

図７（Ｄ）の５×５の領域のガウスフィルターは、縮小する２×２画素の左上の画素を中心画素として、中心に近い画素ほど高い比重をかけて２５画素の演算を行ったものである。各画素用の倍率を掛けた合計値を３２で割る演算である。

図７（Ｅ）の３×２の領域の平均値フィルターは、縮小する２×２画素の左側２画素の中間位置を中心として、周囲６画素の平均値をとったものである。演算は、各画素用の倍率を掛けた合計値を６で割る演算である。

図７（Ｆ）の３×２の領域のガウスフィルターは、縮小する２×２画素の左側２画素の中間位置を中心として、中心に近い画素ほど高い比重をかけて６画素の演算を行ったものである。各画素用の倍率を掛けた合計値を８で割る演算である。

図７（Ｇ）の５×４の領域のガウスフィルターは、縮小する２×２画素の左側２画素の中間位置を中心として、中心に近い画素ほど高い比重をかけて２０画素の演算を行ったものである。各画素用の倍率を掛けた合計値を３２で割る演算である。

奇数、偶数ともサイズが大きいＬＰＦの方、同サイズではガウスよりも平均値フィルターの方が、ＬＰＦの強度が強い（カットオフ周波数が低い）ものになっている。なお６×６以上のフィルターサイズの例は省略する。

ここで、ＬＰＦの領域として偶数の領域を用いる場合と奇数の領域を用いる場合で、画素の重心位置が変わってくることになる。そこで、元の伝送信号における色差信号に使用されたＬＰＦが、縦横それぞれについて偶数か奇数かを、信号における重心位置のずれから判定する。偶数であった場合は、本実施形態における輝度信号の縮小処理のＬＰＦも偶数を用い、奇数であった場合は奇数を用いる。これにより、画素の重心位置ずれを小さくすることができる。縦方向と横方向は、独立でそれぞれ判定し、それぞれの奇数および偶数を合わせることとする。

ここまで、入力された信号の信号形式が４２０形式のものの例を説明したが、４２２形式であれば横方向のみの一次元のＬＰＦでよい。また４１１形式であれば、横方向のサイズが６〜１０画素程度のＬＰＦを用いればよい。

以上、本実施形態の構成及び動作を第１実施形態を用いて説明したが、本発明は上記実施形態に限ることは無く、発明の趣旨を同じとする別の実施形態においても構成することができる。このような実施形態をとることにより、高い解像度の４２０映像に対して、ほとんどの画像処理は４分の１の帯域しかない回路にて処理することができる。したがって、並列回路を必要としないので、回路規模の増大を防ぐことができる。また回路の動作周波数を落とすことができ、消費電力を削減することができる。また、水平方向の解像度を半分に落とした状態で画像処理を行うので、フィルター処理などで用いるためのラインメモリーを削減することができる。また、色ずれの無い状態で画像処理を行うので、色ずれを拡大することなく、劣化を最小限に抑えられる。また、解像度に関する処理のみ別に行うことで、高い解像度の情報を失わない優れた画像出力を得ることができる。

また、放送およびメディアで使用する方式がＨＤからＵＨＤやＳＨＶへと上がるにつれて、解像度および画素数がおよそ４倍ずつ増加し、画像処理に必要な動作帯域が上がっている現状がある。本実施形態の画像処理装置によれば、高い解像度の４２０映像に対して、画像処理の多くの部分を４分の１の帯域しか持たない回路にて行いながら、画質劣化少なく画像処理することができる。よって、画像処理回路に必要な動作帯域を大幅に小さくすることができる。同様に、マイクロプロセッサを用いた画像処理においても、多くの画像処理部分で処理量が４分の１に少なくなるので、高速に画像処理を行うことができる。

以上の効果は４２０信号だけでなく、４２２信号や４１１信号など、輝度信号と色差信号の解像度の異なる入力信号についても同様の効果を奏する。また４４４信号においてはいったん４２０信号に変換して、劣化の少ない同様の画像処理を行うことにより、同様の効果を奏することができる。また、拡大部１４の拡大特性を縮小部１１の縮小特性の逆数とすることで、輝度信号の高周波成分と低周波成分とを整合させて合成することができる。

＜第２実施形態＞
次に、上述の実施形態に対して、ＨＰＦおよびシャープネス回路を簡略化した第２実施形態を図８を用いて示す。図８は、本発明の第２実施形態における画像処理ブロック２２の詳細な構成を示すブロック図、である。

図８中、１１，１２，１３，１６，１７は図４と同じ構成要素である。１２１は２分の１縮小部１１の構成要素であるところのＬＰＦ処理部、１２２は２分の１縮小部１１の構成要素であるところの２分の１サンプリング部、１２３はＨＰＦ処理部、１２４は乗算器、である。

本図では、説明をわかりやすくするために、２分の１縮小部１１をＬＰＦ部１２１と２分の１サンプリング部１２２に分解して示し、２分の１拡大処理部１６を２倍サンプリング部１６と称している。本実施形態では、図４の２分の１縮小部１１と２倍拡大部１４と減算器１５の代わりを、ＨＰＦ処理部１２３によってまとめている。ＨＰＦ処理部１２３の特性は以下の式によって得られるので、まとめることが可能である。

ＨＰＦの特性＝１−（２倍サンプリングの特性×（２分の１サンプリングの特性×ＬＰＦの特性））
そうして、ＨＰＦ処理部１２３で高周波成分のみとなった輝度信号Ｙに対して、乗算器１２４によって適度な定数を乗算することによって、シャープネス処理およびソフトネス処理を行うことができる。すなわち、乗算器１２４で、１．０より大きい値を乗算すれば、加算器１７で加算する高周波成分の比率が高くなるので、シャープネスを行った出力輝度信号ＳＹが得られる。逆に、乗算器１２４で１．０未満の値を乗算すれば、加算器１７で加算する高周波成分の比率が低くなるので、ソフトネスを行った出力輝度信号ＳＹが得られる。

このように、本実施形態においては、簡略化した回路にて、上述した第１実施形態と同様の効果を奏することが可能である。

＜第３実施形態＞
第１実施形態、第２実施形態では、４ｋ信号や８ｋ信号における放送やメディア配布に使われる４２０形式に適用した場合の例について述べた。ここで、８ｋ信号のカメラ撮影や編集あるいは試写に使われているＤＧ（デュアルグリーン）方式に適用する場合として、第３実施形態を示す。なお、８ｋのＤＧ方式とは、４ｋ分のＲおよびＢ画像と、８ｋの１画素分だけ右上にある４ｋ分のＧ１画像と１画素だけ左下にある４ｋ分のＧ２画像の４毎の色画像で、８ｋ分の画像を疑似的に現わす方式である。

図９は、本発明の第３実施形態における画像処理ブロック２２の詳細な構成を示すブロック図、である。図９中、１２、１５，１７は図４と同じである。１３１は平均化処理部、１３２は緑色シャープネス処理部、１３３は赤色シャープネス処理部、１３４は青色シャープネス処理部、である。

本実施形態では、８ｋ対応のＤＧ方式のＲＧ１Ｇ２Ｂ画像を処理する。Ｒ画像、Ｇ１画像、Ｇ２画像、Ｂ画像とも４ｋサイズで均等であるので、上述した実施形態における縮小および拡大処理は不要である。その代わりに、平均化処理１３１によって、Ｇ１信号とＧ２信号を合わせた信号に対する低周波信号であるところの平均値Ｇａ信号を抽出する。そのＧａ信号と元のＲ信号Ｂ信号を用いて、シャープネス以外の画像処理を画像処理部１２にて行う。ここではＲＧＢ画像の解像度が一致しているので、３ＤＬＵＴなどＲＧＢ信号が関係し合う処理をかけることが可能である。

次に、上述した実施形態では輝度信号Ｙに対してシャープネス処理を行ったが、本実施形態では、ＲＧＢ信号ともにシャープネス処理を行う。緑色シャープネス処理部１３２では、Ｇ１信号とＧ２信号をその位置関係に配慮しながら、シャープネス処理フィルターにかける。この緑色シャープネス処理部１３２のみ、疑似的な８ｋ処理が必要になる。シャープネス処理が終わったＧ１Ｇ２信号はそれぞれ、減算器１５でＧａを減算し、シャープネス処理以外の処理を行ったＳＧａ信号を加算することで、出力ＳＧ１およびＳＧ２が得られる。処理を終えた赤色および青色については、それぞれ単独で、シャープネス処理部１３３と１３４で、通常のシャープネス処理を行えば、出力が出られる。

以上、８ｋのＤＧ方式についても、８ｋの処理速度を持つ画像処理回路を用いることなく、４ｋの処理速度を持つ画像処理回路と特別な緑色のシャープネス処理回路のみで、画像処理を行うことができることを説明した。なお、カメラの信号処理などで、シャープネスが必要のない場合は、さらに簡略化できる。

次に、入力画像に対し拡大縮小変形などの幾何変形処理を行う場合を説明する。幾何変形処理は、シャープネス処理部およびシャープネス処理以外の画像処理部の双方で行う。あるいは、出力輝度色差信号に対し幾何変形を行ってもよい。また出力輝度色差信号をＲＧＢ形式に変換後に幾何変形を行ってもよい。

＜第４実施形態＞
なお、上述の実施形態においては幾何変形については言及していないが、幾何変形を行いながら、縮小した輝度信号で減算処理を行うようにしてもよい。この場合の第４実施形態を図１０を用いて示す。図１０は、本発明の第４実施形態における画像処理ブロック２２の詳細な構成を示すブロック図、である。図１０中、５１は第１の解像度縮小部、５２はシャープネス以外の画像処理と幾何変形処理を行う画像処理部、５３はシャープネス処理と幾何変形処理を行う処理部、５４は第２の解像度縮小部、５５は減算器、５６は解像度の拡大部、５７は加算器、である。

４２０形式の輝度信号と色差信号を入力した場合で説明する。まず、輝度信号Ｙはシャープネスおよび幾何変形処理部５３に入力されて、シャープネス処理および幾何変形処理がなされ輝度信号ＨＹが得られる。

それとともに、輝度信号Ｙは第１の解像度縮小部５１に入力されて、縦横の両方向に２分の１縮小がなされ、縮小した輝度信号ＬＹが得られる。４２０形式の場合色差信号ＰｂおよびＰrは、２分の１縮小した輝度信号ＬＹと同じ解像度である。両方の信号をシャープネス以外の画像処理および幾何変形処理部５２に入力し、色補正、階調補正、などのシャープネス処理以外の画像処理および幾何変形を行う。画像処理の結果として、画像処理後の縮小した輝度信号ＳＬＹと、画像処理後の出力色差信号ＳＰｂとＳｐｒを得る。ここでシャープネス以外の画像処理および幾何変形処理部５２における演算処理やテーブル演算処理や幾何変形処理は、ＹＰｂＰｒ形式で処理してもよいし、ＲＧＢ形式に変換して処理を行った後にＹＰｂＰｒ形式に戻してもよい。

次に、シャープネスおよび幾何変形処理後の輝度信号ＨＹから、第２の解像度縮小部５４によって、シャープネスおよび幾何変形後に縮小された輝度信号ＬＨＹが得られる。画像処理後の縮小した輝度信号ＳＬＹから、シャープネスおよび幾何変形後に縮小された輝度信号ＬＨＹを減算器５５によって減算すると、輝度信号の低周波成分の差分ＳＬＹ-ＬＨＹが得られる。この輝度信号の低周波成分の差分ＳＬＹ-ＬＨＹを解像度の拡大部５６によって２×２倍に拡大し、加算器５７によってシャープネス処理および幾何変形処理がなされた輝度信号ＨＹに加えることによって、出力輝度信号ＳＹが得られる。

本実施形態においては、縮小部と拡大部の数を第１実施形態から変更しても、本実施形態の構成により必要な処理が行える例を示した。また幾何変形にも対応できることを示した。

＜第５実施形態＞
ここまで、放送波や配布メディアを再生する民生機器への適用を想定し、輝度色差信号の色差信号が輝度信号より少ない場合について、本発明の実施形態を説明してきた。一方、コンテンツを作成するための撮影機材や編集機材等の業務用途では、４４４形式と呼ばれる輝度色差信号が同数含まれるものや、ＲＧＢ色空間を用いるものがある。そこで、撮影機材や編集機材において画像処理を実施する形態例として、４４４形式の信号に対して画像処理を行う構成を、図１１と図１２を用いて第５実施形態として示す。

図１１は、本発明第５実施形態の画像処理ブロックの構成を示すブロック図、である。図１１中、６１から６３は図２と同じ、１０１は輝度色差色空間への変換と４２０形式へ変換するブロック、１０２は４４４形式への変換とＲＧＢ色空間へ変換するブロック、である。

図１２は、第５実施形態の画像処理ブロックにおける信号の帯域を説明する図、である。図１２（Ａ）は、入力ＲＧＢ信号の周波数帯域の説明図、図１２（Ｂ）は輝度信号の周波数帯域の説明図、である。図１２（Ｃ）は色差信号の周波数帯域の説明図、図１２（Ｄ）は出力ＲＧＢ信号の周波数帯域の説明図、である。図１２中、７１から７５は図３と同じ、１１１は入力ＲＧＢ信号の周波数成分、１１２は出力ＲＧＢ信号の周波数成分、である。

入力信号が、４４４形式のＲＧＢ信号を入力した場合で説明する。４４４形式の輝度色差信号を入力した場合は、以下の処理前半中の色空間の変換処理を省略すればよい。４４４形式のＲＧＢ信号は、図１２（Ａ）に示すように、ナイキスト周波数であるサンプリング周波数の２分の１までの周波数成分を持ち、入力ＲＧＢ信号の周波数成分１１１になる。このＲＧＢ信号を、色空間と４２０変換ブロック１０１によって、輝度色差色空間に色空間変換し、同時に色差信号をＬＰＦによって縦横２分の１に縮小する。そうすると４２０形式の輝度色差信号が得られる。この輝度信号の周波数成分は７１であり、色差信号の周波数成分は７２である。４２０形式の輝度色差信号に対する画像処理の説明は、図２と同様なので省略するが、画像処理後に得られた、輝度信号の周波数成分は７４と７５を加えた７６であり、色差信号の周波数成分は７２のままである。

この４２０形式の輝度色差信号を、４４４化と色空間変換ブロック１０２において、色差信号を縦横２倍に拡大するとともに、ＲＧＢ色空間に変換する処理を行う。色差信号を縦横２倍に拡大しても空間周波数はそのまま高くならず７２のままである。空間周波数の高い輝度信号と空間周波数の低い色差信号を使って、色空間変換を行うと、ＲＧＢ信号の周波数成の中に輝度信号の高い周波数成分７６が含まれることにより、ＲＧＢ信号の周波数成分１１２は輝度信号の周波数成分７６とほとんど同じになる。特にＧ信号は輝度信号の比率が高いので、周波数の劣化が少ない。表示装置で見たときには、モノクロ部分の解像度は、Ｇ画素の比率が高いので、解像感が高く感じられ好都合である。

よって、本実施形態においても、画像処理では狭い帯域で画像処理を行うが、４４４形式のＲＧＢで持っていた高い周波数成分が保たれるので、画質劣化が抑えられる。なお、撮影機材の出力や編集後のコンテンツとして、４２０形式の輝度色差信号が必要な場合には、後半の４４４化と色空間変換ブロック１０２は必要としない。

本実施形態を用いることで、ＲＧＢ信号または輝度色差信号における４４４形式の画像においても、ほとんどの画像処理に対して、４分の１の帯域しかない回路で処理することができるので、動作周波数を落として少ない消費電力とすることができる。また回路の並列化を不要とすることで、回路規模の増大を防ぐことができる。また、ラインメモリーを削減することができる。また、解像度に関する処理のみ別に行うことで、高い解像度の情報を失わない優れた画像出力を得ることができる。

＜第６実施形態＞
次に、マイクロプロセッサなどを用いた構成によって、本発明の変形処理を行う第６実施形態を図１３、図１４を用いて説明する。

図１３は、第６実施形態における、マイクロプロセッサを用いた構成によるブロック図である。図１３中、８１は演算および制御を行うマイクロプロセッサ（ＭＰＵ）、８２は入力インターフェース、８３は出力インターフェースである。８４はコンピュータプログラムを格納するＲＯＭ、８５はワーキングメモリとして使用するＲＡＭ、８６は画像の一時記憶を行うストレージ、である。なお、ＲＡＭ８５が複数枚の画像を記憶できるほど大きなものである場合は、ストレージ８６は無くてもかまわない。

図１４は、第６実施形態における、マイクロプロセッサによって行う処理を示したフローチャートである。図１３の構成において、ＲＯＭ８４に書かれている図１４のフローチャートに示した処理を行う。各ステップは、ＭＰＵ８１がコンピュータプログラムに基づき、装置全体を制御して実行される。以下、処理のステップごとに説明する。

まず、Ｓ９０１において入力画像を入力画像インターフェース８１よりＲＡＭ８５に読み込む。読み込んだ入力画像はＳ９０２において、輝度画像と色差画像に分けて、ストレージ８６に一時記憶する。輝度画像に対してはＳ９０３において、ＬＰＦを用いた縮小処理を行い、縮小画像としてＲＡＭ８５上に置くとともに、ストレージ８６に記憶する。このＬＰＦによる縮小処理は、第１実施形態で説明したものと同様の処理を行う。

ＲＡＭ８５に置いていた縮小した輝度画像と、Ｓ９０２で一時記憶していた色差画像を用いて、Ｓ９０４において色補正、階調補正、などの画像処理を行い、Ｓ９０５において、ストレージ８６に一時記憶する。Ｓ９０６において、ストレージ８６から画像処理した輝度画像を読み出し、拡大処理を行い、ストレージ８６に一時記憶する。

ここでＳ９０７において、元の輝度画像をストレージ８６から読み出し、シャープネスなどの高周波に関係する処理を行う。次に、Ｓ９０８において、シャープネスした輝度画像から、Ｓ９０６で一時記憶していた拡大処理後の輝度画像を減算する処理を行い、Ｓ９０９でストレージ８６に一時記憶する。

Ｓ９１０において、Ｓ９０５で記憶していた画像処理後の輝度画像を拡大処理する。Ｓ９１１において、拡大処理した輝度画像にＳ９０９で一時記憶していた減算処理後の輝度画像を加算処理する。Ｓ９１２で加算処理した輝度画像を一時記憶する。Ｓ９１３において、Ｓ９１２で一時記憶した輝度画像とＳ９０５で一時記憶した色差画像を、出力インターフェース８３を通じて出力画像として出力する。出力画像は、モニタ等の表示部（不図示）に表示させる表示制御を行うことで、視認可能である。

以上、第１実施形態と同様の処理をマイクロプロセッサによって行う工程を説明した。同様にマイクロプロセッサを用いて、第４実施形態から第５実施形態の処理を行えることは自明であるため、説明を省略する。

本実施形態によれば、ほとんどの画像処理工程を、４分の１の解像度の画像に対して行うことになるので、処理時間において４倍に近い高速化が図れるものである。

以上のように、本発明の各実施形態においては、解像度が異なる複数の画像成分信号からなる画像信号に対し、高周波成分を含む信号については、高周波成分と低周波成分を分離し、その低周波成分についてのみ画像処理を行う。このため、輝度信号と色差信号の解像度が異なる画像信号に対して画像処理を行う場合の処理負荷を低減することができる。なお、複数の実施形態をあげて、本発明を実現する構成例を説明したが、本発明の趣旨を実現する構成が、上記実施形態に限るものではないことは言うまでもない。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１：縮小部、１２：シャープネス以外の画像処理を行う画像処理部、１３：シャープネス処理を行う処理部、１４：拡大部、１５：減算器、１６：拡大部、１７：加算器

Claims (14)

1. 解像度が異なる複数の画像成分信号からなる画像信号を入力する入力手段と、
   前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第１の画像成分信号から低周波成分信号を取得する第１の取得手段と、
   前記第１の画像成分信号から高周波成分信号を取得する第２の取得手段と、
   前記第１の取得手段により取得された前記低周波成分信号と、前記入力手段により入力された画像信号に含まれる前記他の画像成分信号である第２の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理手段と、
   前記低周波成分信号に対する前記所定の画像処理により得られる第１の処理済み信号を拡大した信号と前記第２の取得手段により取得された前記高周波成分信号とに基づく信号と、前記第２の画像成分信号に対する前記所定の画像処理により得られる第２の処理済み信号と、を表示用信号として生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の画像成分信号は輝度信号であり、前記第２の画像成分信号は色差信号であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像成分信号は２つのＧ信号であり、前記第２の画像成分信号はＲ信号およびＢ信号であることを特徴とする請求項１に記載の画像処理装置。
4. 前記低周波成分信号の解像度と、前記第２の画像成分信号の解像度とは一致していることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 解像度が等しい複数の画像成分信号からなる画像信号に含まれる一部の画像成分信号の解像度を低減させる処理を実行する実行手段をさらに有し、
   前記入力手段は、前記実行手段が実行した処理により得られた画像信号を入力する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の取得手段は、ローパスフィルターによる縮小手段であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第２の取得手段は、
   前記第１の取得手段が取得した低周波成分信号を拡大する拡大手段と、
   前記第１の画像成分信号から前記拡大された低周波成分信号を減算する減算手段と
   を有することを特徴とする請求項６に記載の画像処理装置。
8. 前記拡大手段の拡大特性は、前記縮小手段の縮小特性の逆数であることを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、前記第１の処理済み信号と前記高周波成分信号とを加算する加算手段を有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記所定の画像処理は、シャープネスを除く画像処理であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記所定の画像処理は、色補正、階調補正、及び、変形の少なくともいずれかであることを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段が生成した表示用信号に基づく画像を表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 入力手段が、解像度が異なる複数の画像成分信号からなる画像信号を入力する入力工程と、
    第１の取得手段が、前記複数の画像成分信号のうち、他の画像成分信号よりも解像度が高い第１の画像成分信号から低周波成分信号を取得する第１の取得工程と、
    第２の取得手段が、前記第１の画像成分信号から高周波成分信号を取得する第２の取得工程と、
    処理手段が、前記第１の取得工程により取得された前記低周波成分信号と、前記入力工程により入力された画像信号に含まれる前記他の画像成分信号である第２の画像成分信号と、のそれぞれに対して所定の画像処理を実行する処理工程と、
    生成手段が、前記低周波成分信号に対する前記所定の画像処理により得られる第１の処理済み信号を拡大した信号と前記第２の取得工程により取得された前記高周波成分信号とに基づく信号と、前記第２の画像成分信号に対する前記所定の画像処理により得られる第２の処理済み信号と、を表示用信号として生成する生成工程と
    を有することを特徴とする画像処理装置の画像処理方法。
14. コンピュータを請求項１から１２のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム。

Images