JP2009147938A - ビデオ映像形式の変換方法および対応する装置 - Google Patents

Abstract

【課題】ビデオ映像形式を変換する方法および装置を提供すること。
【解決手段】本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。本発明によれば、入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点について、入力映像におけるエッジの方向を表す距離を、出力映像の画素のグリッドとは独立して計算する。このゾーンに位置する出力映像の少なくとも１つの画素について、距離から、およびこのゾーンの出力映像の上記画素の位置から、入力映像において画素の第２の組を決定する。次に画素の上記第２の組の画素の値から、この出力画素の値が決定される。この方法により、この形式変換のための計算の数を削減することができる。
【選択図】図３

Description

本発明は、ビデオ映像形式を変換する方法および装置に関する。本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。

現在、標準的なＨＤＴＶ（高精細ＴＶ）と関連する２つの形式がある。こうした２つの形式は、７２０ｐ形式と１０８０ｉ形式である。７２０ｐ形式は、７２０ラインと１２８０カラムで構成されるプログレッシブ映像を作り出し、１０８０ｉ形式は、１０８０ラインと１９２０カラムで構成されるインタレース映像を作り出す。これらの形式のそれぞれには、それぞれに特有の利点がある。７２０ｐ形式は、より優れた時間分解能を示して、速い動きの物体がぼやけることなく再生され、１０８０ｉ形式は、より優れた空間分解能を示す。番組放送会社は、これらの形式を両方共ではなく、一方または他方を使用する選択をした。したがって実際には、表示する前に放送番組の形式を処理して、上記番組を表示するために使用する表示装置でサポートされている形式に変換する必要がある。

まず入力映像の中の局所的なエッジの方向の検出を行い、次に検出された方向に基づいて補間を行うことによってビデオ映像の形式を変更する技術が知られている。エッジの方向を表す距離は、補間される出力映像の画素と同じ空間的位置（すなわち同じ空間的座標）を有する入力映像の点で計算され、次にこの距離を使用して、出力映像のこの画素の値を計算する。この方法は、比較的複雑であって、演算リソースを消費するものである。

本発明の目的は、この方法を改善することである。

本発明は、入力映像の形式を出力映像の形式に変換する方法に関し、この方法は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算するステップと、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの点に関して計算された距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定するステップと、
画素の第２の組の画素の値から出力映像の画素の値を決定するステップと
を含む。

特定の実施形態によれば、第１の組の隣接する画素は、入力映像の画素の少なくとも２つの連続したラインまたはカラムに属する。

エッジの方向を表す距離の計算を、入力映像のゾーンのただ１つの点で行って、計算の数を削減する。したがってこの点は、有利には上記ゾーンの中心に位置する。

本発明によれば、入力映像のある点におけるエッジの方向を表す距離は、上記点における入力映像のビデオ成分の局所勾配（ｌｏｃａｌ ｇｒａｄｉｅｎｔ）によって決まる。

特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離は最大値に制限される。

別の特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離はヌル値に調整される。

本発明によれば、出力映像の画素の値は、有利には第２の組の画素の双線形補間によって決定される。

本発明はまた、入力映像の形式を出力映像の形式に変換する装置であって、入力映像および出力映像は画素を含む、装置に関し、この装置は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算する計算回路と、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの１つまたは複数の点について計算された１つまたは複数の距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定し、入力映像の画素の第２の組の画素の値から出力映像の画素の値を決定する補間回路と
を含む。

本発明は、非限定的な実施例として提供する次の説明を読んで、また添付の図面を参照してよりよく理解されるであろう。

本発明の方法は、入力映像の形式変換を行うために使用される。この方法は、入力映像より多いまたは少ない数のラインおよび／またはカラムを含む、入力映像の形式とは異なる形式を有する出力映像を作り出す。出力映像のラインおよび／またはカラムは、入力映像のラインおよび／またはカラムの補間によって生成される。

本発明によれば、この補間は、「エッジの方向による補間」である。この補間は、詳細には入力映像において局所的なエッジの方向を検出することに基づくときに実現される。この検出は、こうしたエッジの方向を表す距離を計算することによって実行される。この距離の計算の一例については、後に説明する。

図１は、本発明による方法の第１の実施形態におけるステップを示す。この方法は、入力映像の全部または一部に適用されて、異なる形式の出力映像を生成する。図１を参照すると、この方法は、エッジの方向を表す距離および入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点を計算する第１のステップ１１０を含む。このゾーンは、例えば入力映像の２つの連続するラインと２つの連続するカラムに属する４つの隣接したピクセルによって定められる。本発明によれば、入力映像のこのゾーンのある点について計算した距離を使用して、映像のこのゾーンにある出力映像の画素の値を計算する。

入力映像のある点におけるエッジの方向を表す距離ｄの計算例を、以下に記載する。この距離ｄは、図２に示すように入力映像の点Ｐにおいて計算する。図２は、入力映像の２つの連続するラインｙ_ｎおよびｙ_ｎ＋１上に広がった入力映像の８つの画素を示す。これらの画素は、入力映像のｘ_ｍ−１、ｘ_ｍ、ｘ_ｍ＋１、およびｘ_ｍ＋２という番号を付けられた画素のカラムにある。入力映像の画素は、図上では黒い点で表している。座標（ｘ_ｍ，ｙ_ｎ）、（ｘ_ｍ＋１、ｙ_ｎ）、（ｘ_ｍ＋１、ｙ_ｎ＋１）、および（ｘ_ｍ，ｙ_ｎ＋１）で定められるゾーンの内側に位置する点Ｐにおいて、この距離を計算する。画素Ｐは、入力映像の座標（ｘ’，ｙ’）で識別される。この例では、点Ｐは、座標（ｘ_ｍ，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ＋１）、および（ｘ_ｍ，ｙ_ｎ＋１）にある画素で定められるゾーンの中心に位置している。この点Ｐにおける輝度のビデオ成分（色空間［Ｙ，Ｃｂ，Ｃｒ］または［Ｙ，Ｕ，Ｖ］の中のＹ）を求めるために、ｌ_ｘ（ｘ’，ｙ’）と示す水平勾配およびｌ_ｙ（ｘ’，ｙ’）と示す垂直勾配を計算する。

ただし、ｌ（ｘ，ｙ）は、座標（ｘ，ｙ）における画素の輝度成分を示す。

そこで点Ｐまでの距離ｄは、次のようになる。

画素Ｐについて計算した距離ｄを図２に示す。線分Ｓは、座標（ｘ’＋ｄ，ｙ_ｎ）の点と座標（ｘ’−ｄ，ｙ_ｎ＋１）の点とを結ぶ。

本発明によれば、点Ｐにおいて計算した距離ｄを使用して、入力映像の座標（ｘ_ｍ，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ＋１）、および（ｘ_ｍ，ｙ_ｎ＋１）の点によって定められるゾーンに対応する出力映像のゾーンに属する出力映像のすべての画素の値を決定する。座標（ｘ_ｍ，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ＋１）、（ｘ_ｍ，ｙ_ｎ＋１）は、入力映像における座標であるということに注意されたい。出力映像は、入力映像のものとは異なるいくつかのカラムおよびいくつかのラインを有するため、このゾーンを定める画素は、出力映像では異なる座標を有する。当然ながら、このゾーンを異なる大きさおよび／または形を有する、点Ｐを囲むいかなるゾーンに拡大することも可能である。

形式変換は、映像の画素のラインおよび／またはカラムの数および位置を変更する。例えば出力映像では、画素のラインｙ”は入力映像のラインｙ_ｎとラインｙ_ｎ＋１との間にあり、画素ｘ”のカラムは入力映像の画素ｘ_ｍのカラムとｘ_ｍ＋１のカラムとの間にある。出力映像の画素Ｐ_ｏｕｔは、図３に示すように、ラインｙ”とカラムｘ”の交点にある。座標（ｘ”，ｙ”）は、入力映像における画素Ｐ_ｏｕｔの座標である。出力映像は、入力映像のものとは異なるカラムおよび／またはラインの数を有するため、画素Ｐ_ｏｕｔは出力映像においては（ｘ_ｏｕｔ，ｙ_ｏｕｔ）と示す異なる座標を有する。点Ｐについて計算した距離ｄを使用して、座標（ｘ_ｍ，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ）、（ｘ_ｍ＋１，ｙ_ｎ＋１）、および（ｘ_ｍ，ｙ_ｎ＋１）の点によって定められるゾーンにあるすべての画素Ｐ_ｏｕｔの値を決定する。

再び図１を参照すると、この方法はまた、このゾーンに位置する出力映像の少なくとも１つの画素について、前もって計算された距離ｄから、またこのゾーンにある出力映像のこの画素の位置から、入力映像における画素の第２の組を決定するステップ１２０を含む。例えば画素Ｐ_ｏｕｔに対する入力映像の画素の第２の組が、このように計算される。図３を参照して、このステップについて説明する。このステップの理解を高めるために、次の表記を使用する。

νは、入力映像のライン数と出力映像のライン数の比である。

γは、入力映像のカラム数と出力映像のカラム数の比である。

出力映像中の座標（ｘ_ｏｕｔ，ｙ_ｏｕｔ）の画素Ｐ_ｏｕｔについて、ラインｙ_ｏｕｔに最も近い入力映像の画素のラインｙ_ｎおよびｙ_ｎ＋１を決定する。
ｙ”＝ν．ｙ_ｏｕｔ
ｙ_ｎ＝Ｅ（ｙ”）
ただし、Ｅ（ｘ）は、変数ｘの整数部分を示す。

画素Ｐ_ｏｕｔのラインｙ”と入力映像のラインｙ_ｎとの間の距離を表す垂直位相ψ＝｜ｙ”−ｙ_ｎ｜が定義される。ψは、０と１の間に含まれる。

カラムｘ_ｏｕｔに最も近い入力映像の画素のカラムｘ_ｍおよびｘ_ｍ＋１もまた、定義される。
ｘ”＝γ．ｘ_ｏｕｔ
ｘ_ｍ＝Ｅ（ｘ”）

画素Ｐ_ｏｕｔのラインｘ”と入力映像の画素Ｐとの間の距離を表す水平位相θ＝ｘ”−ｘ_ｍ−０．５が定義される。θは、−０．５と０．５の間に含まれる。

線分Ｓが、画素Ｐ_ｏｕｔを通るように水平に移動されると、この線分は座標（ｘ_ｙｎ，ｙ_ｎ）の点と座標（ｘ_ｙｎ＋１，ｙ_ｎ＋１）の点を結ぶ。

このとき、ｘ_ｙｎ＝ｘ”＋２・ψ・ｄ＋θ＝ｘ”＋ｄ_ｓｕｐおよびｘ_ｙｎ＋１＝ｘ”＋２・（１−ψ）・ｄ＋θ＝ｘ”−ｄ_ｉｎｆが得られる。
｜ｄ_ｉｎｆ＋ｄ_ｓｕｐ｜＝２ｄであることに注意されたい。

ステップ１２０において決定される画素の第２の組は、例えば次のようになる。
座標（Ｅ（ｘ_ｙｎ），ｙ_ｎ）の画素、
座標（Ｅ（ｘ_ｙｎ）＋ｓｉｇｎ（ｄ），ｙ_ｎ）の画素、
座標（Ｅ（ｘ_ｙｎ＋１），ｙ_ｎ＋１）の画素、
座標（Ｅ（ｘ_ｙｎ＋１）−ｓｉｇｎ（ｄ），ｙ_ｎ＋１）の画素、
ただし、ｓｉｇｎ（ｘ）はｘの符号関数である。

図３の例では、座標（Ｅ（ｘ_ｙｎ），ｙ_ｎ）の画素は座標（ｘ_ｍ＋１，ｙ_ｎ）の画素であり、座標（Ｅ（ｘ_ｙｎ）＋ｓｉｇｎ（ｄ），ｙ_ｎ）の画素は座標（ｘ_ｍ＋２，ｙ_ｎ）の画素であり、座標（Ｅ（ｘ_ｙｎ＋１），ｙ_ｎ＋１）の画素は座標（ｘ_ｍ−１，ｙ_ｎ＋１）の画素であり、座標（Ｅ（ｘ_ｙｎ＋１）−ｓｉｇｎ（ｄ），ｙ_ｎ＋１）の画素は座標（ｘ_ｍ−１，ｙ_ｎ＋１）の画素である。

再び図１を参照すると、次のステップはステップ１３０であり、これはステップ１２０で決定された組の画素値から、出力映像中の座標ｘ_ｏｕｔおよびｙ_ｏｕｔの出力画素Ｐ_ｏｕｔの値を計算することにある。この計算ステップについては、パラメータαおよびβは次のように定義される。
α＝｜Ｅ（ｘ_ｙｎ）−ｘ_ｙｎ｜
β＝｜Ｅ（ｘ_ｙｎ＋１）−ｘ_ｙｎ＋１｜

そこで出力映像の座標（ｘ_ｏｕｔ，ｙ_ｏｕｔ）の画素Ｐの値は、双線形補間に対応する次の式を使用して計算される。

ただし、ｌ_ｉｎ（ｘ，ｙ）は、入力映像における座標（ｘ，ｙ）の画素の値を示し、ｌ_ｏｕｔ（ｘ，ｙ）は、出力映像における座標（ｘ，ｙ）の画素の値を示す。

この計算は、画素の各ビデオ成分で実行される。輝度のビデオ成分について計算された距離ｄは、出力映像からの画素のすべてのビデオ成分の計算に使用される。

出力映像の画素のビデオ成分を計算する他の式を考えることができる。上記の例では、補間は双線形である。線形補間、または最も近いものの選択による補間、または線形もしくは双線形補間の組合せを使用することを、想定することができる。こうした補間は、当業者にはよく知られている。もっと多くの数のラインまたはカラムを使用することも、想定することができる。最終的には、距離モジュールｄにより補間の式を変更することを行うことができる。

図４は、本発明の方法を実施することができる装置４００を示している。Ｙ_ｉｎ、Ｃｂ_ｉｎ、およびＣｒ_ｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙ_ｏｕｔ、Ｃｂ_ｏｕｔ、およびＣｒ_ｏｕｔは装置の出力映像のビデオ成分を示す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表す成分については、距離の計算に必要である局所の勾配を決定するために輝度成分Ｙを計算し直す。装４００置は、
本発明の方法のステップ１１０を実施し、距離図を配信する、入力映像の点におけるエッジの方向を表す距離の計算回路４１０と、
入力映像および回路４１０によって配信される距離図から、本発明の方法のステップ１２０および１３０を実施し、このフィルタが出力映像を配信する補間回路４２０と
を含む。

図５は、本発明の第２の実施形態を示す。この第２の実施形態は、ステップ５０１、５１０、５２０、および５３０を含む。ステップ５１０乃至５３０は、図１で示す第１の実施形態のステップ１１０乃至１３０と同一である。この第２の実施形態は、参照５０１と関連する、入力映像をフィルタリングする追加ステップを含む。このフィルタリングの目的は、入力映像のエッジの方向の距離の計算を向上させることである。使用されるフィルタは、ガウシアンカーネルに基づく。このフィルタは、入力映像信号の輝度成分Ｙに適用される。以下、ｌ_ｊｆは、フィルタをかけられた成分ｌ_ｊを示す。そこで、フィルタをかけられた成分は、次のようになる。

ただし、

σ^２は、ガウシアンカーネルの平方偏差である。

使用されるフィルタは、例えば次のような５×５の係数のフィルタである。

図６は、本発明の方法の第２の実施形態を実施することができる装置６００を示している。Ｙ_ｉｎ、Ｃｂ_ｉｎ、およびＣｒ_ｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙ_ｏｕｔ、Ｃｂ_ｏｕｔ、およびＣｒ_ｏｕｔは装置の出力映像のビデオ成分を示す。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表される成分については、距離の計算に必要とされる局所の勾配を決定するために、輝度成分Ｙを計算し直す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。装置６００は、
入力映像の信号の１つまたは全部のビデオ成分に適用される第１のフィルタリングステップ５０１を実行する第１のフィルタ６０１と、
本発明の方法の第２の実施形態のステップ５１０を実行し、距離図を配信する、入力映像のエッジの方向を表す距離の計算回路６１０と、
入力映像およびフィルタ６１０により配信される距離図から本発明の方法のステップ５２０および５３０を実行し、出力映像を配信する補間回路６２０と
を含む。

これまでに定義した本発明の方法では、ステップ１１０または５１０で計算された距離は、第２の組の画素を決定するために使用される。変形例としては、計算された距離が所定の最大値を超える場合、この距離はこの最大値に制限される。この最大値は、例えばＳＤ（標準画質）映像では４ピクセルに等しい。実際には、この最大値を超えると、距離ｄの値を低くすることができず、したがって補間に誤りをもたらす。別の変形例によれば、計算された距離がこの最大値を超える場合、距離はヌル値に調整される。この第２の変形例により、誤りの危険性をさらに削減することができるが、一部のエッジの補間では精度が低下する。

当然ながら、本発明は、上記の実施形態に限定されない。出力映像のグリッドとは独立した入力映像の点であって、それぞれ映像のあるゾーンと関連付けられる点において、エッジの方向を表す距離が計算され、また出力映像のあるゾーンの中の画素の値が、このゾーンについて計算された距離から、および入力映像の点に対するこれらの出力画素の位置から計算されるいかなる形式変換方法または装置も、本発明の範囲に入る。

本発明による方法の第１の実施形態におけるステップを示す図である。 エッジの方向を表す距離で計算される入力映像の点Ｐの位置を示す図である。 図２に示す入力映像の画素Ｐと同じ映像のゾーンに位置する出力映像の画素Ｐ_ｏｕｔの値を計算するために使用するパラメータを示す図である。 図１の方法を実行することができる装置を示す図である。 本発明による方法の第２の実施形態におけるステップを示す図である。 図５の方法を実行することができる装置を示す図である。

Claims (9)

1. 入力映像の形式を出力映像の形式に変換する方法であって、
   前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算するステップと、
   前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記点について計算された距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定するステップと、
   画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定するステップと
   を含むことを特徴とする方法。
2. 前記第１の組の前記隣接する画素は、前記入力映像の画素の少なくとも２つの連続したラインまたはカラムに属することを特徴とする請求項１に記載の方法。
3. 前記エッジの方向を表す前記距離の計算は、前記入力映像の前記ゾーンのただ１つの点で実行されることを特徴とする請求項１または２に記載の方法。
4. 前記点は、前記ゾーンの中心に位置していることを特徴とする請求項３に記載の方法。
5. 前記入力映像のある点における前記エッジの方向を表す前記距離は、前記点における前記入力映像の輝度のビデオ成分の局所勾配によって決まることを特徴とする請求項２から４のいずれか一項に記載の方法。
6. 前記計算した距離が所定の最大値を超える場合、前記距離は前記最大値で制限されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
7. 前記計算した距離が所定の最大値を超える場合、前記距離はヌル値に調整されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
8. 前記出力映像の前記少なくとも１つの画素の値は、前記第２の組の画素の双線形補間によって決定されることを特徴とする請求項２乃至７のいずれか一項に記載の方法。
9. 入力映像の形式を出力映像の形式に変換する装置であって、前記入力映像および前記出力映像は画素を含む、装置において、
   前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算する計算回路と、
   前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記少なくとも１つの点について計算した距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定し、画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定する補間回路と
   を含むことを特徴とする装置。

Images