JP2012151562A - 映像処理方法 - Google Patents
映像処理方法 Download PDFInfo
- Publication number
- JP2012151562A JP2012151562A JP2011007105A JP2011007105A JP2012151562A JP 2012151562 A JP2012151562 A JP 2012151562A JP 2011007105 A JP2011007105 A JP 2011007105A JP 2011007105 A JP2011007105 A JP 2011007105A JP 2012151562 A JP2012151562 A JP 2012151562A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- video
- filter
- aliasing noise
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】映像符号化を行う際に、映像符号化に先立って映像の画面サイズを縮小し、映像復号化の後で映像の画面サイズを拡大するなどの処理を行う場合がある。折返し雑音を許容しないアプリケーションでは、折返しの雑音部分を除去するフィルタ特性を持つローパスフィルタを用いる必要がある。しかし、入力される映像符号化情報には、折返し雑音に関する情報がなく、どのようなフィルタ処理を行う必要があるかの判断をすることができない。
【解決手段】映像情報に折返し雑音の有無並びに、含まれる帯域の最大値と最小値を含めて伝送する。本発明によれば、例えば、映像復号化後に伝送された折返し雑音の情報を使用することで、折返し雑音の影響を推定し、必要に応じてローパスフィルタにて折返し雑音を除去することが可能となる。
【選択図】図7
【解決手段】映像情報に折返し雑音の有無並びに、含まれる帯域の最大値と最小値を含めて伝送する。本発明によれば、例えば、映像復号化後に伝送された折返し雑音の情報を使用することで、折返し雑音の影響を推定し、必要に応じてローパスフィルタにて折返し雑音を除去することが可能となる。
【選択図】図7
Description
本発明は、映像処理方法に関するものである。
近年、映像データは、デジタル化された後に取り扱われることが主となっている。映像データは、画素単位でサンプリング処理および量子化が行われ、デジタルデータ化がなされる。
映像データは、サンプリング処理する際に、その連続性が失われ、離散値に変換が行われる。その場合、サンプリング周波数の1/2以上の周波数成分が残る時には、折返し雑音として、映像再生の際の雑音となる。これは、いわゆるサンプリング定理である。図1と図2によって、映像再生の際に発生する折返し雑音の一例を説明する。図1は、折返し雑音の一例を説明するための模式図である。また図2は、折返し雑音を防止するフィルタの一例を説明するための模式図である。図1および図2において、横軸は空間周波数(例えば縦または横方向)、縦軸は信号振幅の強度(リニア)を示す。
映像データは、サンプリング処理する際に、その連続性が失われ、離散値に変換が行われる。その場合、サンプリング周波数の1/2以上の周波数成分が残る時には、折返し雑音として、映像再生の際の雑音となる。これは、いわゆるサンプリング定理である。図1と図2によって、映像再生の際に発生する折返し雑音の一例を説明する。図1は、折返し雑音の一例を説明するための模式図である。また図2は、折返し雑音を防止するフィルタの一例を説明するための模式図である。図1および図2において、横軸は空間周波数(例えば縦または横方向)、縦軸は信号振幅の強度(リニア)を示す。
図1のように、サンプリング周波数(fs)の1/2の周波数(1/2fs)をナイキスト周波数(fn)としたときに、画像信号の最大周波数(fmax)とナイキスト周波数(fn)との関係がfmax>fnである場合には、ナイキスト周波数(fn)以上の周波数成分が、ナイキスト周波数(fn)で折返した形でモアレ等の雑音(折返し雑音)として表示される。
折返し雑音を防止するためには、図2に示すように、映像データ(原信号)をサンプリング処理する前に、図中の太い実線で示すフィルタ特性を持つローパスフィルタにて、元映像(破線で示す振幅の信号(原信号:図1の元信号)の周波数帯域を制限する(フィルタリング処理する)必要がある。フィルタリング処理後の映像信号(細い実線)状態となれば、折返し雑音は発生しない(特許文献1参照。)。
折返し雑音を防止するためには、図2に示すように、映像データ(原信号)をサンプリング処理する前に、図中の太い実線で示すフィルタ特性を持つローパスフィルタにて、元映像(破線で示す振幅の信号(原信号:図1の元信号)の周波数帯域を制限する(フィルタリング処理する)必要がある。フィルタリング処理後の映像信号(細い実線)状態となれば、折返し雑音は発生しない(特許文献1参照。)。
また、映像データの処理の1つに、画面サイズの縮小処理と拡大処理がある。デジタル映像データの場合には、画素単位で標本化されており、画面サイズの縮小処理または拡大処理に応じて、リサンプリング処理が行われる。図3は、画像サイズの縮小処理時におけるフィルタリング処理の適用の一例を説明するための模式図である。また、図4は、画像サイズの縮小処理時における折返し雑音を残したフィルタリング処理の適用例を説明するための図である。
図3において、縮小処理または拡大処理に応じて、サンプリング周波数をfsからfs’に変える場合には、新たなサンプリング周波数(fs’)によるナイキスト周波数(fn’)で折返しが発生する。従って、縮小処理時または拡大処理時においても、ローパスフィルタによって予め周波数帯域を制限する必要がある。
例えば、図3に示すように、破線で示した原信号を太い実線で示したフィルタ特性を持つフィルタを使って、細い実線で示す信号に変換(フィルタリング処理)する。
なお、図3では、折返し雑音を除去しているが、一方では、原信号の高周波数帯域がフィルタによりカットされている。しかし、映像信号の用途によっては、図4に示すように、多少の折返し雑音が発生しても、原信号の高い周波数帯域の情報が残存している場合が好ましい場合がある。このように、必要に応じてローパスフィルタのフィルタ特性を変更して映像処理する場合がある。
例えば、図3に示すように、破線で示した原信号を太い実線で示したフィルタ特性を持つフィルタを使って、細い実線で示す信号に変換(フィルタリング処理)する。
なお、図3では、折返し雑音を除去しているが、一方では、原信号の高周波数帯域がフィルタによりカットされている。しかし、映像信号の用途によっては、図4に示すように、多少の折返し雑音が発生しても、原信号の高い周波数帯域の情報が残存している場合が好ましい場合がある。このように、必要に応じてローパスフィルタのフィルタ特性を変更して映像処理する場合がある。
図3で示したフィルタ特性を持つローパスフィルタを使用する場合と、図4で示したフィルタ特性を持つローパスフィルタを使用した場合では、映像を復元する際に実行する処理を変更する必要がある。
例えば、映像符号化を行う際に、映像符号化に先立って映像の画面サイズを縮小し、映像復号化の後で映像の画面サイズを拡大するなどの処理を行う場合がある。
復号化の際に、多少の折返し雑音を許容するアプリケーションにおいては、図3と図4の場合のどちらでも問題はない。しかし、折返し雑音を許容しないアプリケーションにおいては、図3の場合には特に問題とならないが、図4の場合には、図5に示す折返しの雑音部分を除去するフィルタ特性を持つローパスフィルタを用いる必要がある。
しかしながら、入力される映像符号化情報には、折返し雑音に関する情報がなく、どのようなフィルタ処理を行う必要があるかの判断をすることができないという問題があった。
本発明の目的は、上記のような問題に鑑み、折返し雑音を必要に応じて除去する映像処理方法を提供することにある。
例えば、映像符号化を行う際に、映像符号化に先立って映像の画面サイズを縮小し、映像復号化の後で映像の画面サイズを拡大するなどの処理を行う場合がある。
復号化の際に、多少の折返し雑音を許容するアプリケーションにおいては、図3と図4の場合のどちらでも問題はない。しかし、折返し雑音を許容しないアプリケーションにおいては、図3の場合には特に問題とならないが、図4の場合には、図5に示す折返しの雑音部分を除去するフィルタ特性を持つローパスフィルタを用いる必要がある。
しかしながら、入力される映像符号化情報には、折返し雑音に関する情報がなく、どのようなフィルタ処理を行う必要があるかの判断をすることができないという問題があった。
本発明の目的は、上記のような問題に鑑み、折返し雑音を必要に応じて除去する映像処理方法を提供することにある。
上記の目的を達成するため、本発明の映像処理方法は、映像情報に、折返し情報として、折返し雑音の有無と、折返し雑音の帯域の最大値や最小値とを含めて後段に出力するものである。
即ち、本発明の映像処理方法は、入力した映像データの縮小処理または拡大処理を行い、前記縮小処理または拡大処理時に所定のフィルタ特性のフィルタによりフィルタリング処理を行う映像処理方法において、前記フィルタリング処理後に、前記フィルタリング処理した映像データの基準信号と前記フィルタのフィルタ特性を用いて、前記縮小処理または拡大処理とフィルタリング処理時に生じる折返し雑音の折返し情報を算出し、該算出された折返し情報を前記フィルタリング処理した映像データと共に出力するものである。
また上記発明の映像処理方法において、前記基準信号は、前記フィルタリング処理した映像データの画素周波数の全ての帯域で最大の強度値で構成することを特徴とする。
また上記発明の映像処理方法において、前記折返し情報は、折返し情報の有無、並びに、前記フィルタリング処理した映像データの最大周波数および折返し雑音の最小周波数であることを特徴とする。
また上記発明の映像処理方法において、前記基準信号は、前記フィルタリング処理した映像データの画素周波数の全ての帯域で最大の強度値で構成することを特徴とする。
また上記発明の映像処理方法において、前記折返し情報は、折返し情報の有無、並びに、前記フィルタリング処理した映像データの最大周波数および折返し雑音の最小周波数であることを特徴とする。
上記本発明の映像処理方法において、前記映像データの画素値を量子化し、デジタル化する映像処理方法であって、前記基準信号にローパスフィルタを適用し、画素サンプリング周波数の1/2をナイキスト周波数とし、前記最大周波数を、量子化した場合の映像データの信号の強度値が所定の値以下の周波数を算出し、前記ナイキスト周波数を対称点として、前記最大周波数と点対称の周波数値を前記折返し雑音の最小周波数として算出するものである。
本発明によれば、映像情報と共に折返し情報を後段に出力することによって、後段の映像処理において、例えば映像復号化後に、例えば映像符号化装置から出力され折返し雑音の情報を使用し、折返し雑音の影響を推定して、必要に応じて、ローパスフィルタによって折返し雑音を除去することが可能となる。
図6と図7によって、本発明の映像処理方法における基準信号とフィルタ特性の一例を説明する。図6は、基準信号として映像の画像データの各周波数成分の振幅が最大値を示す信号と、画像のリサイズ(縮小・拡大)処理時に適用するローパスフィルタのフィルタ特性の一実施例を模式的に示す図である。また図7は、フィルタリング処理後の基準信号と画像縮小(拡大)後の折返し成分を示す模式図である。図6および図7において、横軸は周波数、縦軸は信号振幅の強度を示し、fsは縮小(拡大)処理後のサンプリング周波数を示す。
なお、ナイキスト周波数fn=fs/2である。
なお、ナイキスト周波数fn=fs/2である。
図6において、基準信号は、DCから、縮小処理後のサンプリング周波数(fs)に亘り、最大値asで一定の振幅を有し、fs以上では0となる(仮想的な)信号として図示してある。この場合、基準信号は映像信号の採り得る周波数範囲を全て等しく含むため、フィルタリング処理後には、フィルタ特性として示される曲線と同じ形に抑圧され、フィルタ特性曲線より右側に超えるような高周波成分を含むことがない。従って、実際の映像信号もフィルタ後には、図6中のフィルタ特性を示す曲線の中(左側)となる。図6のフィルタ特性は、縮小処理後のナイキスト周波数fnにおいて十分に減衰せず、fn以上の周波数成分が残留するようなローパスフィルタ特性となっている。また、ナイキスト周波数(fn)より高い周波数成分は、縮小処理のダウンサンプルにより、折り返されることになる。
図7には、上述のように図6のフィルタ特性と同形に現れる、フィルタリング処理後の基準信号と、fnより低周波側に折り返された折返し成分とが示されている。図7に示すように、最大周波数(fmax)がフィルタリング処理後の最大周波数となり、ナイキスト周波数(fn)で最大周波数(fmax)を折返した位置が、折返し雑音の最小周波数(fa)となる。
図7には、上述のように図6のフィルタ特性と同形に現れる、フィルタリング処理後の基準信号と、fnより低周波側に折り返された折返し成分とが示されている。図7に示すように、最大周波数(fmax)がフィルタリング処理後の最大周波数となり、ナイキスト周波数(fn)で最大周波数(fmax)を折返した位置が、折返し雑音の最小周波数(fa)となる。
具体的には、以下のように、最大周波数(fmax)と折返し雑音の最小周波数(fa)を定める。
即ち、入力される映像信号やフィルタの特性によっては、サンプリング周波数に達するまで、各周波数での強度が“0”にはならない場合がある。しかし、映像信号は、サンプリング処理と共に量子化が行われており、量子化によって信号値が“0”に丸められる値が存在する。例えば、映像データの画素階調が8ビットで量子化される場合には、画素値の最大値が“255”であるため、フィルタを施した結果、1/255より小さな値にて乗算を行う場合では、演算結果が“1”を下回ることとなる。このように、実数空間では、“0”でない場合においても、量子化の結果により“0”の値となる。
即ち、入力される映像信号やフィルタの特性によっては、サンプリング周波数に達するまで、各周波数での強度が“0”にはならない場合がある。しかし、映像信号は、サンプリング処理と共に量子化が行われており、量子化によって信号値が“0”に丸められる値が存在する。例えば、映像データの画素階調が8ビットで量子化される場合には、画素値の最大値が“255”であるため、フィルタを施した結果、1/255より小さな値にて乗算を行う場合では、演算結果が“1”を下回ることとなる。このように、実数空間では、“0”でない場合においても、量子化の結果により“0”の値となる。
本例では上記の性質を利用し、最大周波数(fmax)は、fmax以上の周波数にて基準信号をフィルタリング処理した後、基準信号の量子化の結果が“1”未満となる周波数と定義する。
また、最小周波数(fa)は、ナイキスト周波数(fn)を基準にして最大周波数(fmax)と対称の位置にある周波数として算出する。また、ナイキスト周波数(fn)を対称線として、ナイキスト周波数(fn)から最大周波数(fmax)までの信号と線対称の信号を、折返し成分と定義する。
なお上記実施例では、フィルタリング処理後の基準信号の強度が“0”となる値を、量子化後“0”未満を使用するとして説明したが、量子化後に四捨五入を行う場合には、“0.5”未満を使用しても良い。
折返し雑音の周波数は、サンプリング周波数(fs)を超えることはなく、最大周波数(fmax)と最小周波数(fa)は通常、“0”以上“fs”以下である。このため、fs×A/Bによって各周波数を表現できる。例えば、本表現方法(fs×A/B)では、サンプリング周波数fsの1/2であるナイキスト周波数(fn)は、サンプリング周波数(fs)に対応して、A=1、B=2で表現される。
また、最小周波数(fa)は、ナイキスト周波数(fn)を基準にして最大周波数(fmax)と対称の位置にある周波数として算出する。また、ナイキスト周波数(fn)を対称線として、ナイキスト周波数(fn)から最大周波数(fmax)までの信号と線対称の信号を、折返し成分と定義する。
なお上記実施例では、フィルタリング処理後の基準信号の強度が“0”となる値を、量子化後“0”未満を使用するとして説明したが、量子化後に四捨五入を行う場合には、“0.5”未満を使用しても良い。
折返し雑音の周波数は、サンプリング周波数(fs)を超えることはなく、最大周波数(fmax)と最小周波数(fa)は通常、“0”以上“fs”以下である。このため、fs×A/Bによって各周波数を表現できる。例えば、本表現方法(fs×A/B)では、サンプリング周波数fsの1/2であるナイキスト周波数(fn)は、サンプリング周波数(fs)に対応して、A=1、B=2で表現される。
図10は、本発明の映像処理方法を用いた映像符号化伝送装置のブロック図である。この映像符号化伝送装置は、例えばベースバンド(非圧縮)の映像信号(デジタルデータ)を入力され、それを縮小(ダウンサンプル)してから映像符号化して伝送し、復号側では、復号後に元の大きさに拡大して出力するものである。
符号化側は、空間フィルタ1、空間周波数・動き検出器2、ダウンサンプラ3、H.264エンコーダ4を備え、復号化側は、H.264デコーダ5、アップサンプラ6、フィルタ特性設定器7、空間フィルタ8を備える。
空間フィルタ1は、入力された映像信号に対して、空間領域で、空間周波数・動き検出器2から与えられた特性の濾波を施すものであり、複数の固定フィルタを内部的に切り替えたり、フィルタ係数を可変設定できるようになっている。フィルタとしては、縦方向と横方向を分離してFIRフィルタで行うものや、2次元カーネルとの畳み込みで行うものなどが利用でき。特性としては等方性と異方性のものが利用できる。
空間周波数・動き検出器2は、図6等で示したような既定の基準信号、或いは実際に入力された映像データの空間周波数に関する基準信号を求め、この基準信号に基づき、入力された映像データに対して好ましいフィルタ特性を決定して、空間フィルタ1に設定する。更にこの基準信号が空間フィルタ1で濾波されダウンサンプラ3で縮小処理されると生じるであろう折返し成分の周波数帯域を算出し、周波数情報(fmax等)として出力する。基準信号は、取扱う映像データの画素周波数の全ての帯域で最大の強度(振幅)値で構成される信号(スペクトル解析信号)であり、例えば、映像の全て或いは一部を32×32画素のブロックに分けて各ブロック毎に離散コサイン変換等を行い、係数を絶対値化して得る。
周波数情報とその元となる基準信号は、例えば水平と垂直の2方向それぞれについて求めることが望ましく、基準信号は、事前取得した代表フレームから1回だけ求めても良く、後述するAUデリミタやピクチャ、スライス等の符号化の単位と同期させて随時求めても良い。この周波数情報は、図5に示したように復号側で折返し成分を除去可能にするためにも使われる情報であり、fmaxを大きく見積もりすぎると、復号側で必要以上に帯域制限してしまう恐れがあるので、実際に入力された映像データから逐次求めた基準信号の周波数特性と、空間フィルタ1に与えているフィルタ特性との合成特性を計算して、できるだけ定義に忠実なfmaxを求めることが望ましい。
ダウンサンプラ3は、空間領域で、サンプルの間引き(ダウンサンプル)を行い、サンプリング周波数を低減する。これにより映像の1フレームを構成する画素数が減少し、映像のサイズが縮小される。間引きとしては、水平垂直夫々1/2とすることで4画素を1画素にするものや、市松模様状に間引いて4画素を2画素にするもの(プログレッシブ―インタリーブ変換のような時間領域の操作を伴うものも含む)や、分数比の間引き率のために一旦アップサンプル後にリサンプルするものなどがある。本例では、間引き率は外部から与えられるものとする。
H.264エンコーダ4は、ダウンサンプラ3からの縮小映像を、H.264ベースで符号化し、映像ストリームとして出力する。H.264は、ISO/MPEGとITU-T/VCEGとの共同プロジェクトによって策定された動画像符号化方式である。映像ストリームには、空間周波数・動き検出器2から入力された折返し成分の周波数情報(fmax,fa)を符号化した符号も含める。また、符号化の際に得られる空間周波数に関する情報であるcoeff_token(Total coefficientとTrailing_onesからなる)を、空間周波数・動き検出器2のために出力しても良い。この情報は、過去の(1フレーム前の)情報であり、また実際の入力映像が縮小処理された後における空間周波数の情報であるためfn以上の周波数を区別できないが、fn付近における高周波成分の減衰の仕方から、空間周波数・動き検出器2が現在の(今のフレームにおける)fmaxを推定するのには役立つ。
ここで、図8と図9によって、本例のH.264エンコーダ4が折返し情報(最大周波数(fmax)および最小周波数(fa)を映像ストリームに格納する例を説明する。
符号化側は、空間フィルタ1、空間周波数・動き検出器2、ダウンサンプラ3、H.264エンコーダ4を備え、復号化側は、H.264デコーダ5、アップサンプラ6、フィルタ特性設定器7、空間フィルタ8を備える。
空間フィルタ1は、入力された映像信号に対して、空間領域で、空間周波数・動き検出器2から与えられた特性の濾波を施すものであり、複数の固定フィルタを内部的に切り替えたり、フィルタ係数を可変設定できるようになっている。フィルタとしては、縦方向と横方向を分離してFIRフィルタで行うものや、2次元カーネルとの畳み込みで行うものなどが利用でき。特性としては等方性と異方性のものが利用できる。
空間周波数・動き検出器2は、図6等で示したような既定の基準信号、或いは実際に入力された映像データの空間周波数に関する基準信号を求め、この基準信号に基づき、入力された映像データに対して好ましいフィルタ特性を決定して、空間フィルタ1に設定する。更にこの基準信号が空間フィルタ1で濾波されダウンサンプラ3で縮小処理されると生じるであろう折返し成分の周波数帯域を算出し、周波数情報(fmax等)として出力する。基準信号は、取扱う映像データの画素周波数の全ての帯域で最大の強度(振幅)値で構成される信号(スペクトル解析信号)であり、例えば、映像の全て或いは一部を32×32画素のブロックに分けて各ブロック毎に離散コサイン変換等を行い、係数を絶対値化して得る。
周波数情報とその元となる基準信号は、例えば水平と垂直の2方向それぞれについて求めることが望ましく、基準信号は、事前取得した代表フレームから1回だけ求めても良く、後述するAUデリミタやピクチャ、スライス等の符号化の単位と同期させて随時求めても良い。この周波数情報は、図5に示したように復号側で折返し成分を除去可能にするためにも使われる情報であり、fmaxを大きく見積もりすぎると、復号側で必要以上に帯域制限してしまう恐れがあるので、実際に入力された映像データから逐次求めた基準信号の周波数特性と、空間フィルタ1に与えているフィルタ特性との合成特性を計算して、できるだけ定義に忠実なfmaxを求めることが望ましい。
ダウンサンプラ3は、空間領域で、サンプルの間引き(ダウンサンプル)を行い、サンプリング周波数を低減する。これにより映像の1フレームを構成する画素数が減少し、映像のサイズが縮小される。間引きとしては、水平垂直夫々1/2とすることで4画素を1画素にするものや、市松模様状に間引いて4画素を2画素にするもの(プログレッシブ―インタリーブ変換のような時間領域の操作を伴うものも含む)や、分数比の間引き率のために一旦アップサンプル後にリサンプルするものなどがある。本例では、間引き率は外部から与えられるものとする。
H.264エンコーダ4は、ダウンサンプラ3からの縮小映像を、H.264ベースで符号化し、映像ストリームとして出力する。H.264は、ISO/MPEGとITU-T/VCEGとの共同プロジェクトによって策定された動画像符号化方式である。映像ストリームには、空間周波数・動き検出器2から入力された折返し成分の周波数情報(fmax,fa)を符号化した符号も含める。また、符号化の際に得られる空間周波数に関する情報であるcoeff_token(Total coefficientとTrailing_onesからなる)を、空間周波数・動き検出器2のために出力しても良い。この情報は、過去の(1フレーム前の)情報であり、また実際の入力映像が縮小処理された後における空間周波数の情報であるためfn以上の周波数を区別できないが、fn付近における高周波成分の減衰の仕方から、空間周波数・動き検出器2が現在の(今のフレームにおける)fmaxを推定するのには役立つ。
ここで、図8と図9によって、本例のH.264エンコーダ4が折返し情報(最大周波数(fmax)および最小周波数(fa)を映像ストリームに格納する例を説明する。
図8は、折返し雑音パラメータを格納したネットワーク抽象化層の映像ストリームのデータ構造を示す図である。また、図9は、折返し雑音パラメータの可変長符号化のための符号化テーブルを説明するための図である。800は映像送信装置から出力される映像ストリーム、801はアクセス単位の切れ目を示すAccess Unit Delimiter、802はSEI(Supplementary Enhanced Information)、803はシーケンス全体の符号化に関わる情報が書かれたヘッダSPS(Sequence Parameter Set)、804はPPS、805はSLC,806はMacroblockである。また、SEI802において、821は最大周波数(fmax)のデータ領域、822は最小周波数(fa)のデータ領域である。さらに、データ領域821および822において、831はNALヘッダ領域、832はuuid_iso_iec_11578領域、833は最大周波数(fmax)のデータ本体領域、834はstuffing領域である。
H.264では、映像ストリーム800のSEI802にユーザデータを記載する領域があり、本発明による折返し雑音のパラメータを記載することが可能である。
図8の実施例では、Access Unit Delimiter801の次に、SEI802を配置し、SEI802のペイロード中にfmaxメッセージ821とfaメッセージ822のSEI802を格納する。それぞれのメッセージ(fmaxメッセージ821とfaメッセージ822)は、NALヘッダ821、uuid_iso_iec_11578領域832、最大周波数(fmax)のデータ本体領域833、およびstuffing領域834で構成される。
図8の実施例では、Access Unit Delimiter801の次に、SEI802を配置し、SEI802のペイロード中にfmaxメッセージ821とfaメッセージ822のSEI802を格納する。それぞれのメッセージ(fmaxメッセージ821とfaメッセージ822)は、NALヘッダ821、uuid_iso_iec_11578領域832、最大周波数(fmax)のデータ本体領域833、およびstuffing領域834で構成される。
NALヘッダ以降の構造は、ペイロードタイプ5のUser data unregisteredのSEIメッセージに類似しており、uuid_iso_iec_11578領域832に格納されるuuidは、そのメッセージがfmaxのものか、faのものかを識別するためのものであり、それらに水平と垂直とがある場合は、それぞれ別のコードを使用する。stuffing領域834は、SEI802が8ビット単位になるように調整するデータ領域で、例えば、“0”を使用する。
図8の実施例では、最大周波数(fmax)と最小周波数(fa)のデータ領域を別々のSEI802に格納した。しかし、2つの可変長符号を使用して、1つのSEIメッセージに格納しても良い。また、fmaxメッセージ821やfaメッセージ822は、それぞれNALヘッダをつけてSEI-NALユニットにせず、既存のSEI-NALユニットに含めても良い。またSEI802は、Macroblock806より前であればどこに配置されても良い。
各データは、例えば、固定符号化テーブルとしてexp-Golomb(指数ゴロム)コードを用いて可変長符号化し格納する。図9にexp-Golombコードの一例を示す。
図8の実施例では、最大周波数(fmax)と最小周波数(fa)のデータ領域を別々のSEI802に格納した。しかし、2つの可変長符号を使用して、1つのSEIメッセージに格納しても良い。また、fmaxメッセージ821やfaメッセージ822は、それぞれNALヘッダをつけてSEI-NALユニットにせず、既存のSEI-NALユニットに含めても良い。またSEI802は、Macroblock806より前であればどこに配置されても良い。
各データは、例えば、固定符号化テーブルとしてexp-Golomb(指数ゴロム)コードを用いて可変長符号化し格納する。図9にexp-Golombコードの一例を示す。
なお、折返し雑音が存在しない場合、あるいは、折返し雑音の状態が判別不能な場合が考えられる。
折返し雑音が存在しない場合には、fmax=faとしてSEI802に格納する。その際、最大周波数(fmax)と最小周波数(fa)の値は、“0”より大きくfs以下の値とする。
また、折返し雑音の状態が判別不能な場合には、fmax=fa=0としてSEI802に格納する。
折返し雑音が存在しない場合には、fmax=faとしてSEI802に格納する。その際、最大周波数(fmax)と最小周波数(fa)の値は、“0”より大きくfs以下の値とする。
また、折返し雑音の状態が判別不能な場合には、fmax=fa=0としてSEI802に格納する。
再び図10に戻り、本例の映像符号化伝送装置は、符号化側において行ったリサイズ処理で発生した折返し情報(折返し雑音の有無、並びに、折返し雑音の最大周波数および折返し雑音の最小周波数)を図8に示すような映像ストリームに格納し、格納された折返し情報を映像データと共に後段の復号側装置に出力する。
復号化側は、H.264デコーダ5が、
伝送された映像ストリームを受け取って復号化された映像信号を出力するとともに、映像ストリームからSEIを抽出してfmaxメッセージ821等を復号化し、得られた折返し情報を出力する。
アップサンプラ6は、復号化された映像信号に対し、空間領域でアップサンプルを行い、サンプリング周波数を高くする。これにより映像の1フレームを構成する画素数が増大し、映像のサイズが拡大される。ダウンサンプル前の映像サイズと同じサイズに復元する場合、アップサンプルは、符号化側で行われた間引きの逆の処理でよい。例えば、符号化側で整数分の1に間引かれた場合、間引かれずに伝送された画素の値はそのまま用い、間引かれたサンプルに対しては線形又は非線形のフィルタにより周辺画素から補間して再生する。なお、後段の空間フィルタで低域濾波される場合、アップサンプラ6は、符号化側で間引かれたサンプルを単に0として出力するものでも良い。またアップサンプラ6は、インタリーブ―プログレッシブ変換(IP変換)等の時間領域操作や、超解像処理を伴ってもよい。
フィルタ特性設定器7は、H.264デコーダ5からの折返し情報に基づいて折返し雑音の影響を推定し、必要に応じて、後段のアプリケーションに対して、適切なローパスフィルタを行うための指示を出力する。具体的には、折返し雑音が有ることを示す折返し情報が入力され、且つ空間フィルタ8の出力に、折返しがない映像信号を前提とした映像機器が接続されており、且つアップサンプラ6で折り返しを元の周波数に復元する処理(超解像等)が施されていない場合、空間フィルタ8に対して最小周波数(fa)以上の成分を抑圧するフィルタ特性を設定する。それ以外の場合のフィルタ特性はユーザの嗜好によるが、例えば空間フィルタ1と同等の特性を設定することができる。空間フィルタ8でIP変換する場合、Bob変換やWeave変換等、水平、垂直、及び時間方向のうちどの分解能を優先するかを選択できるため、水平、垂直の最大周波数(fmax)や動きベクトル(MV)等の動き情報に基づき、その選択信号を空間フィルタ8に出力しても良い。MVは、H.264デコーダから取得し、そのMVに対応する映像信号のIP変換にリアルタイムに適用できる。
空間フィルタ8は、アップサンプラ6からの映像信号に、フィルタ特性設定器7から設定された特性のフィルタ処理を施し、外部へ出力する。
復号化側は、H.264デコーダ5が、
伝送された映像ストリームを受け取って復号化された映像信号を出力するとともに、映像ストリームからSEIを抽出してfmaxメッセージ821等を復号化し、得られた折返し情報を出力する。
アップサンプラ6は、復号化された映像信号に対し、空間領域でアップサンプルを行い、サンプリング周波数を高くする。これにより映像の1フレームを構成する画素数が増大し、映像のサイズが拡大される。ダウンサンプル前の映像サイズと同じサイズに復元する場合、アップサンプルは、符号化側で行われた間引きの逆の処理でよい。例えば、符号化側で整数分の1に間引かれた場合、間引かれずに伝送された画素の値はそのまま用い、間引かれたサンプルに対しては線形又は非線形のフィルタにより周辺画素から補間して再生する。なお、後段の空間フィルタで低域濾波される場合、アップサンプラ6は、符号化側で間引かれたサンプルを単に0として出力するものでも良い。またアップサンプラ6は、インタリーブ―プログレッシブ変換(IP変換)等の時間領域操作や、超解像処理を伴ってもよい。
フィルタ特性設定器7は、H.264デコーダ5からの折返し情報に基づいて折返し雑音の影響を推定し、必要に応じて、後段のアプリケーションに対して、適切なローパスフィルタを行うための指示を出力する。具体的には、折返し雑音が有ることを示す折返し情報が入力され、且つ空間フィルタ8の出力に、折返しがない映像信号を前提とした映像機器が接続されており、且つアップサンプラ6で折り返しを元の周波数に復元する処理(超解像等)が施されていない場合、空間フィルタ8に対して最小周波数(fa)以上の成分を抑圧するフィルタ特性を設定する。それ以外の場合のフィルタ特性はユーザの嗜好によるが、例えば空間フィルタ1と同等の特性を設定することができる。空間フィルタ8でIP変換する場合、Bob変換やWeave変換等、水平、垂直、及び時間方向のうちどの分解能を優先するかを選択できるため、水平、垂直の最大周波数(fmax)や動きベクトル(MV)等の動き情報に基づき、その選択信号を空間フィルタ8に出力しても良い。MVは、H.264デコーダから取得し、そのMVに対応する映像信号のIP変換にリアルタイムに適用できる。
空間フィルタ8は、アップサンプラ6からの映像信号に、フィルタ特性設定器7から設定された特性のフィルタ処理を施し、外部へ出力する。
1:空間フィルタ、2:空間周波数・動き検出器、3:ダウンサンプラ、4:H.264エンコーダ、5:H.264デコーダ、6:アップサンプラ、7:フィルタ特性設定器、8:空間フィルタ、800:映像ストリーム、 801:Access Unit Delimiter、 802はSEI、 803:SPS、 804:PPS、 805:SLC、 806:Macroblock、 821:fmaxメッセージ、 822:faメッセージ、 831:NALヘッダ、 832:uuid_iso_iec_11578領域、 833:最大周波数fmaxのデータ本体領域、 834:stuffing領域。
Claims (2)
- 入力された映像データの縮小処理または拡大処理を行い、前記縮小処理または拡大処理時に所定のフィルタ特性の空間フィルタによりフィルタリング処理を行う映像処理方法において、
前記入力された映像データの空間周波数に関する基準信号を求めるステップと、
前記フィルタリング処理後に、前記基準信号と前記空間フィルタのフィルタ特性を用いて、前記縮小処理または拡大処理とフィルタリング処理に生じる折返し成分の周波数を算出し、該算出された周波数に基づく折返し情報を前記フィルタリング処理した映像データと共に出力することを特徴とする映像処理方法。 - 請求項1記載の映像処理方法において、前記基準信号は、前記入力された映像データをスペクトル解析して得た、周波数毎の強度を示す信号であり、
前記出力される映像データは量子化された映像データであり、前記縮小処理または拡大処理後の画素サンプリング周波数の1/2をナイキスト周波数とし、
前記折返し成分の周波数は、前記出力される映像データの信号の強度が前記量子化により0になる周波数として算出される最大周波数と、前記最大周波数が前記ナイキスト周波数で折り返された周波数として算出される最小周波数とを有することを特徴とする映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011007105A JP2012151562A (ja) | 2011-01-17 | 2011-01-17 | 映像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011007105A JP2012151562A (ja) | 2011-01-17 | 2011-01-17 | 映像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012151562A true JP2012151562A (ja) | 2012-08-09 |
Family
ID=46793424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011007105A Pending JP2012151562A (ja) | 2011-01-17 | 2011-01-17 | 映像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012151562A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014091984A1 (ja) * | 2012-12-13 | 2014-06-19 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
WO2015104963A1 (ja) * | 2014-01-09 | 2015-07-16 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
-
2011
- 2011-01-17 JP JP2011007105A patent/JP2012151562A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014091984A1 (ja) * | 2012-12-13 | 2014-06-19 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JPWO2014091984A1 (ja) * | 2012-12-13 | 2017-01-12 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US9979985B2 (en) | 2012-12-13 | 2018-05-22 | Saturn Licensing Llc | Transmission device, transmitting method, reception device, and receiving method |
WO2015104963A1 (ja) * | 2014-01-09 | 2015-07-16 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
JPWO2015104963A1 (ja) * | 2014-01-09 | 2017-03-23 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
US10531094B2 (en) | 2014-01-09 | 2020-01-07 | Hitachi Kokusai Electric Inc. | Image processing device and moving image transmission method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4688926B2 (ja) | 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路 | |
JP5907941B2 (ja) | ビデオ画像の刈り取り方法及び装置 | |
WO2010092740A1 (ja) | 画像処理装置、画像処理方法、プログラムおよび集積回路 | |
JPH09214972A (ja) | デコーダ回路、mpegビデオストリーム復号化方法およびコンピュータ | |
KR20150010903A (ko) | 모바일 단말 화면을 위한 3k해상도를 갖는 디스플레이 영상 생성 방법 및 장치 | |
EP1743298B1 (en) | Method of down-sampling data values | |
JP4870120B2 (ja) | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム | |
JP3759932B2 (ja) | 画像圧縮方法及び伸張方法 | |
JP4844455B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
KR20080067922A (ko) | 영상 축소 기능을 갖는 영상 복호화 방법 및 장치 | |
JP2012151562A (ja) | 映像処理方法 | |
JP4844456B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
JP2008182347A (ja) | 映像処理システム | |
JP5011138B2 (ja) | 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法 | |
JP4328727B2 (ja) | 画像圧縮伸張法、画像圧縮装置及び画像伸張装置 | |
JPH07143483A (ja) | 適応後処理フィルタ | |
JP4125090B2 (ja) | 符号化方法及び装置 | |
JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
CN114667734A (zh) | 通过重采样执行运动补偿插值的滤波器 | |
JP2008135906A (ja) | 画像処理装置及び方法 | |
JP3619534B2 (ja) | サブバンド分離及び結合方式 | |
JP2008228327A (ja) | 復号方法及び装置 | |
Garg | MPEG Video Transcoding in Compress Domain: By Ankit Garg | |
JP3774933B2 (ja) | 画像符号化装置、及び画像符号化方法 | |
JP4231386B2 (ja) | 解像度スケーラブル復号化方法及び装置 |