JP4665061B1

JP4665061B1 - 色差信号フォーマット変換装置及び方法

Info

Publication number: JP4665061B1
Application number: JP2010201390A
Authority: JP
Inventors: 利幸浪岡
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-09-08
Filing date: 2010-09-08
Publication date: 2011-04-06
Anticipated expiration: 2029-09-30
Also published as: JP2011078092A

Abstract

【課題】色差信号のフォーマット変換を行うに際して色差信号の画素に対して位相オフセットを補正する。
【解決手段】ＩＰ変換モジュールは色差信号の垂直方向画素数が輝度信号の垂直方向画素数の１／２であるインターレスの色差信号をプログレッシブ色差信号に変換する。斜め方向相関検出モジュールは、前記プログレッシブ色差信号の斜め方向の相関を検出し相関方向検出信号を得る。制御部は、前記プログレッシブ色差信号のフィールドを識別したフィールド選択信号を出力する。相関方向出力画素生成モジュールは、前記相関方向検出信号に基づいて前記プログレッシブ色差信号の第ｎラインと第ｎ＋１ラインの対応する画素を加算して新画素を生成する場合、前記フィールド選択信号に応じて前記第ｎラインと第ｎ＋１ラインの画素の比重を切り換える。
【選択図】図１

Description

本発明は色差信号フォーマット変換装置及び方法に関する。

画像処理装置において、１画面当たりの色差信号の画素数を増加して、輝度信号の垂直方向、あるいは水平方向の画素数と同じにする色差信号フォーマット変換技術がある（例えば特許文献１）。

この文献は、ＭＰＥＧ(Moving Picture Experts Group)規格の４：２：０フォーマット（輝度信号の画素の縦横画素数が４８０：７２０、色差信号の画素の縦横画素数が２４０：３６０）を、４：２：２フォーマット（輝度信号の画素の縦横画素数４８０：７２０、色差信号の画素の縦横画素数４８０：３６０）に変換する技術を示している。

特開２００８−２３６６２２号公報

ところでデジタルテレビジョン放送ではデジタルテレビジョン信号がインターレス信号の形で送られてくる場合が多い。４：２：０フォーマットは、輝度信号の画素位置に対して色差信号の画素の位置が垂直方向へ基本的に位相オフセットを持つ。このために、フォーマット変換のために、画素の縦横画素数２４０：３６０を単純に縦横画素数４８０：３６０に変換したとしても、位相オフセットに狂いが生じる。この結果、画面上ではカラー絵柄に対して色のずれが生じることがある。また４：２：２フォーマットのインターレス信号を入力する表示装置では色差信号の位相オフセットの狂いがカラー絵柄に大きく影響する。

そこでこの発明は色差信号のフォーマット変換を行うに際して色差信号の画素に対して位相オフセットの補正を得られるようにした色差信号フォーマット変換装置及び方法を提供することを目的とする。

上記の課題を解決するためにこの発明では、ＩＰ変換モジュールは色差信号の垂直方向画素数が輝度信号の垂直方向画素数の１／２であるインターレスの色差信号をプログレッシブ色差信号に変換する。斜め方向相関検出モジュールは、前記プログレッシブ色差信号の斜め方向の相関を検出し相関方向検出信号を得る。制御部は、前記プログレッシブ色差信号のフィールドを識別したフィールド選択信号を出力する。相関方向出力画素生成モジュールは、前記相関方向検出信号に基づいて前記プログレッシブ色差信号の第ｎラインと第ｎ＋１ラインの対応する画素を加算して新画素を生成する場合、前記フィールド選択信号に応じて前記第ｎラインと第ｎ＋１ラインの画素の比重を切り換える。

この発明は色差信号のフォーマットを変換する際、輝度信号に対する位相オフセットを補正し、変換後の適切な画素を得られるようにしたので、カラー画像の品質一層向上できる。

この発明の一実施例に係る色差信号フォーマット変換装置の構成例でありデジタルテレビジョン信号処理回路内に構成されている示す図である。画像信号の斜め方向相関の検出動作を説明するために示した画素配列図である。色差信号フォーマット変換が行われる前と後の画素配列状態を示す説明図である。プログレッシブ信号と色差信号フォーマット変換後のトップフィールドの画素配列の状態を示す説明図である。プログレッシブ信号と色差信号フォーマット変換後のボトムフィールドの画素配列の状態を示す説明図である。色差信号フォーマット変換されたトップフィールドの画素の生成列を説明する説明図である。色差信号フォーマット変換されたボトムフィールドの画素の生成列を説明する説明図である。図１の相関方向出力画素生成モジュールの構成例を示す図である。図１の色斜め方向相関検出モジュールの構成例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。図１において、例えばＭＰＥＧ規格の信号をデコードして得られた４：２：０のインターレス信号がＩＰ（Interlace-Progressive）変換モジュール１０３に入力される。この４：２：０のインターレス信号は、輝度信号Ｙと色差信号Ｃｂ,Ｃｒである。また色差信号の垂直方向画素数は、輝度信号の垂直画素数の1/2である。

ＩＰ変換モジュール１０３は、入力したインターレス信号を順次走査のプログレッシブ信号に変換し、４：２：０のプログレッシブ色差信号１０４を出力する。色差信号としてはＣｒ，Ｃｂが存在するがここでは、いずれか片方を説明する。

プログレッシブ色差信号１０４は、色斜め方向相関検出モジュール１０５に入力されるとともに、相関方向出力画素生成モジュール１０７に入力される。色斜め方向相関検出モジュール１０５は、斜め方向の画素間の相関を検出し、相関方向信号１０６を出力する。

相関方向信号１０６は、相関方向出力画素生成モジュール１０７に入力される。相関方向出力画素生成モジュール１０７では、トップ／ボトム出力フィールド選択信号１０９に従い適切な出力画素位置に、相関方向信号１０６で示される相関方向に応じて新画素を生成し、４：２：２でインターレスの色信号出力１０８を発生する。

輝度入力信号１０１は、遅延モジュール１１０により色差信号出力と同じ位相になるように遅延調整され、インタレース輝度信号１１１を発生する。

なお上記のトップ／ボトム出力フィールド選択信号１０９は、ＭＰＥＧ規格のパケットストリームに含まれる復号のための制御情報から判断して生成された信号である。

図２は、色斜め方向相関検出モジュール１０５の動作の一例を説明するための波形図である。ここでは、垂直方向の第ｎラインと第ｎ＋１ラインの間で、補間生成する水平方向の第ｍ画素目の画素位置の斜め方向相関を検出する例を示している。

図２において丸印が画素を表す。相関検索の方向数は、補間生成する第ｍ画素を中心にして、時間方向に前後する例えば±５画素までの１１方向（図に矢印で示した方向）とする。図２の例では例えば傾き−２の場合が一番相関が高いものとなる。この場合は、相関方向信号出力１０６には−２が出力される。

図３は、色差信号フォーマット変換を行った場合、色差信号の理想的な画素位置を輝度信号との関係で示す図である。白丸が輝度信号の画素であり、斜線を付した丸が色差信号の画素である。図３の上の画素配列状態３Ａは、インターレストップフィールドとインターレスボトムフィールドの４：２：０フォーマットの画素配列状態ある。図３の下左に示す配列画素状態３Ｂは、プログレッシブ信号であり、その右側に示す配列画素状態３Ｃは、４：２：２フォーマットの配列画素状態である。

輝度信号及び色差信号とも静止画信号の場合はトップ／ボトムの２つのフィールドを合成することで、動画信号の場合はインターレス信号の上下のラインから選択された例えば２つの画素が補間処理され、水平ラインが増加し、プログレッシブ信号に変換されている。

なお、補間処理に使用される画素数は２つに限らずさらに多くの画素が用いられることもあるし、また動画の動き検出信号に応じて使用する画素に対して係数が乗算される。この実施例では、基本的な原理を説明している。

図３のプログレッシブ信号の状態３Ｂは、輝度信号８×８画素に対して、４：２：０フォーマット時の色差信号の画素位置を示し、状態３Ｃは、４：２：２フォーマット時の色差信号の画素位置を示している。状態３Ｃでは、色差信号と輝度信号の画素が重なった位置が存在する。

上記のように、ＭＰＥＧ２の４：２：０の色差信号は、一般的に画素の数が水平垂直ともに１／２（１／４）になっているだけでなく、垂直方向には輝度信号の中間の画素位置にきている。４：２：２の色差信号は水平方向のみ画素が１／２であるが、画素位置は輝度信号と重なる位置にある。従って、４：２：０フォーマットを４：２：２フォーマトに正しく変換するためには、この画素位置の補正を行う必要がある。

図４は、４：２：０フォーマットのプログレッシブ信号の入力に対し、４：２：２フォーマットのインターレス信号におけるトップフィールドの画素位置を示し、図５は、４：２：２フォーマットのインターレス信号におけるボトムフィールドの画素位置を示す図である。

図４の画素位置から判断できるように、４：２：０プログレッシブ信号の入力色差信号に対し、トップフィールドを出力する場合は下側の水平ラインに３：１の比で近い画素位置に色差信号の画素位置が存在する。また、図５の画素位置から判断できるように、ボトムフィールドを出力する場合は上側の水平ラインに３：１の比で近い画素位置に出力の色差信号の画素位置が存在する。

従って、トップフィールドとボトムフィールドで相関方向出力画素生成１０７での色出力画素の生成方法を変える必要がある。

図６は、相関方向出力画素生成モジュール１０７のトップフィールド処理時の動作例を示す波形図、図７は相関方向出力画素生成モジュール１０７のボトムフィールド処理時の動作例を示す波形図を示す。画像データ及び相関方向は、先の図２の場合と同様であるものとして説明する。

トップフィールドの場合は、補間位置が下側ラインに３：１の比で近いため、水平ｍ画素目の画素の生成演算は、ｎ＋１ラインのｍ＋１画素の３／４とｎラインのｍ−３画素の１／４を加えて生成する。このように最も相関の高い画素の水平位置よりも平行に時間軸で先行した画素により生成された画素が、ｎ＋１ラインの画素位置の比、及び比重とも３：１の比で重み付け演算される。これにより、正しい画素位置のトップフィールドの出力画素（新画素）として生成することができる。

相関方向の検出時は、図２では、ｍ＋２画素とｍ−２画素が相関が高いものとして検出された。したがって、基本的には、このｍ＋２画素とｍ−２画素を用いて新画素を生成してもよい。

しかし、実際には、ｍ＋１画素の３／４とｍ−３画素の１／４を用いている。これは、トップフィールドの画素として生成する場合には、傾き−２であって、例えば１画素分早い時間のｍ＋１画素の３／４とｍ−３画素の１／４を用いる方が、時間的により正確で好ましい新画素を得るからである。

同様にボトムフィールドの場合は、図７に示すように、ｎラインのｍ−１画素の３／４とｎ＋１ラインのｍ＋３画素の１／４を加えて生成する。このように最も相関の高い画素の水平位置よりも平行に時間軸で遅れた画素により生成された画素が、ｎラインの画素位置の比、及び比重とも３：１の比で重み付け演算される。これにより、正しい画素位置のボトムフィールドの新画素として生成することができる。

図８には、図１に示した相関方向出力画素生成モジュール１０７の構成例を示している。色差信号は、ライン遅延器８０２、画素遅延器８０３に入力される。ライン遅延器８０２の出力は、画素遅延器８１３に入力される。画素遅延器８０３と、画素遅延器８１３には、上下の水平ラインの対向する１１画素分が揃う。画素遅延器８０３と画素遅延器８１３の画素は、それぞれセレクタ８０４、８０５にて相関の高い画素が相関信号にて選択される。先の例であると、ｎラインのｍ＋１画素とｎ＋１ラインのｍ−３画素の組（トップフィールド処理時）、ｎラインのｍ−１画素とｎ＋１ラインのｍ＋３画素（ボトムフィールド処理時）である。

セレクタ８０４、８０５にて選択された画素は、それぞれ乗算器８０６、８１６に入力される。乗算器８０６、８１６では、それぞれセレクタ８０７、８１７により選択された係数（1/4)又は(3/4)を画素に乗算する。トップフィールドが処理されているときは、セレクタ８０７は、係数（1/4)を選択し、セレクタ８１７は係数(3/4)を選択し、ボトムフィールドが処理されているときは、セレクタ８０７は、係数(3/4)を選択し、セレクタ８１７は係数（1/4)を選択する。乗算器８０６、８１６の出力は、加算器８２０で加算され、位相オフセットが補正された画素として出力される。

図９には、図１で示した色斜め方向相関検出モジュール１０５の構成例を示している。色差信号は、ライン遅延器９１２と画素遅延器９１３に入力される。ライン遅延器９１２の出力は、画素遅延器９１５に入力される。画素遅延器９１３と、画素遅延器９１５には、上下の水平ラインの対向する１１画素分が揃う。画素遅延器９１３と画素遅延器９１５の画素は、それぞれゲート回路９１４、９１６に入力され、このゲート回路９１４、９１６の出力は、演算回路９１８に入力される。演算回路９１８では、図２で示した１１方向の画素間相関を得るために、例えば上下ラインの画素間の引き算が行われる。この１１個の演算結果は、相関判定回路９１９に入力され、最も小さい値が検索される。最も小さい値を得ることができた２つの画素を結ぶ線の傾きが相関信号として出力される。

上記した装置によると、色差信号フォーマット変換を行うに際して色差信号の画素に対して位相オフセットの補正を得られる。これにより、変換後の色差信号は適切な位相オフセットを持ち、カラー画像の品質が向上される。

この発明は、上記の実施形態に限定されるものではなく、図１で示した色差信号のフォーマット変換処理は、ソフトウエアでも実現できることは勿論である。またこの発明は、デジタルテレビジョン信号受信装置のみならず、記録媒体再生装置、セットトップボックス、サーバーの色信号変換処理部に適用可能であることは勿論である。

１０３・・・ＩＰ変換モジュール、１０５・・・色斜め方向相関検出モジュール、１０７・・・相関方向出力画素生成モジュール、１１０・・・遅延モジュール、１２０・・・制御部。

Claims

色差信号の垂直方向画素数が輝度信号の垂直方向画素数の１／２であるインターレスの色差信号をプログレッシブ色差信号に変換するＩＰ変換モジュールと、
前記ＩＰ変換モジュールからの前記プログレッシブ色差信号の斜め方向の相関を検出し相関方向検出信号を得る斜め方向相関検出モジュールと、
前記プログレッシブ色差信号が前記インターレスのトップフィールドの信号であるかボトムフィールドの信号であるかを識別したフィールド選択信号を出力する制御部と、
前記相関方向検出信号に基づいて、前記プログレッシブ色差信号の第ｎラインと第ｎ＋１ラインの対応する画素を加算して新画素を生成する場合、前記フィールド選択信号に応じて前記第ｎラインと第ｎ＋１ラインの画素の比重を切り換える相関方向出力画素生成モジュールと、
を具備したことを特徴とする色差信号フォーマット変換装置。
前記相関方向出力画素生成モジュールは、
トップフィールド処理時は、前記第ｎラインと第ｎ＋１ラインの画素間で最も相関が高い上下ライン画素の水平位置よりもそれぞれ時間軸で先行した位置の上下ライン画素を用いて前記新画素を生成し、
ボトムフィールド処理時は、前記第ｎラインと第ｎ＋１ラインの上下ライン画素間で最も相関が高い上下ライン画素の水平位置よりもそれぞれ時間軸で遅れた位置の上下ライン画素を用いて前記新画素を生成していることを特徴とする請求項１記載の色差信号フォーマット変換装置。
前記相関方向出力画素生成モジュールは
トップフィールド処理時は、前記第ｎラインの画素に係数(1/4)を乗算し、第ｎ＋１ラインの画素に係数(3/4)を乗算し、ボトムフィールド処理時は、前記第ｎラインの画素に係数(3/4)を乗算し、第ｎ＋１ラインの画素に係数(1/4)を乗算する
ことを特徴する請求項１又は２記載の色差信号フォーマット変換装置。
前記色差信号は、テレビジョン信号から得たものであることを特徴とする請求項１乃至３のいずれか１項記載の色差信号フォーマット変換装置。
テレビジョン信号処理装置内において、
色差信号の垂直方向画素数が輝度信号の垂直方向画素数の１／２であるインターレスの色差信号をプログレッシブ色差信号に変換し、
前記プログレッシブ色差信号の斜め方向の相関を検出し相関方向検出信号を得、
前記プログレッシブ色差信号が前記インターレスのトップフィールドの信号であるかボトムフィールドの信号であるかを識別したフィールド選択信号を得、
前記プログレッシブ色差信号の第ｎラインと第ｎ＋１ラインから前記相関方向検出信号に基づいて対応する画素を選択して加算して新画素を生成する場合、前記フィールド選択信号に応じて前記第ｎラインと第ｎ＋１ラインの画素の比重を切り換える
ことを特徴とする色差信号フォーマット変換方法。