JP2012010388A - ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法 - Google Patents
ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法 Download PDFInfo
- Publication number
- JP2012010388A JP2012010388A JP2011179107A JP2011179107A JP2012010388A JP 2012010388 A JP2012010388 A JP 2012010388A JP 2011179107 A JP2011179107 A JP 2011179107A JP 2011179107 A JP2011179107 A JP 2011179107A JP 2012010388 A JP2012010388 A JP 2012010388A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- interpolation
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
【課題】効率的なデータ送信処理方法およびデータ受信処理方法を提供する。
【解決手段】送信機により、1つの画像から第1の解像度の画像データと該第1の解像度より高い第2の解像度の画像データとを形成し、補間によって第1の解像度の画像データから第2の解像度の画像データを求めるための補間パラメータを、第2の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、第1の解像度の画像データと補間により求めることのできるものを除く第2の解像度の画像データと定められた補間パラメータの記述データとを送信し、ここで、補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【選択図】図1
【解決手段】送信機により、1つの画像から第1の解像度の画像データと該第1の解像度より高い第2の解像度の画像データとを形成し、補間によって第1の解像度の画像データから第2の解像度の画像データを求めるための補間パラメータを、第2の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、第1の解像度の画像データと補間により求めることのできるものを除く第2の解像度の画像データと定められた補間パラメータの記述データとを送信し、ここで、補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
【選択図】図1
Description
本発明はデータ送信処理方法およびデータ受信処理方法に関する。
通信システムでは送信局と受信局とのあいだでメッセージが伝送される。通信システムの特別なものとして無線通信システムがある。無線通信システムでは、例えば音声情報、画像情報、ビデオ情報、ショートメッセージサービスSMS、マルチメディアメッセージングサービスMMSまたは他のデータが電磁波により無線インタフェースを介して送信局と受信局とのあいだで伝送される。これらの送信局および受信局は無線通信システムの具体的な形態に応じて多様に構成でき、例えば加入者無線局、中継局、または、基地局または無線アクセスポイントなどのネットワーク無線装置でありうる。移動無線通信システムの場合、加入者無線局の少なくとも一部は移動無線局である。電磁波の送信は個々の装置に対して設定されている周波数帯域内の搬送波周波数によって行われる。
移動無線通信システムは、例えばGSM(Global System for Mobile Communication)規格またはUMTS(Universal Mobile Telecommunications System)規格に準拠するセルラシステムとして、複数の基地局、これらの基地局を監視および制御する装置およびその他のネットワーク装置などから成るネットワークインフラストラクチャによって構築されていることが多い。このように局所的なシステムを階層的に包括して広域編成されているネットワークのほか、一般に空間的に明確に限定された無線カバーエリアを有する無線ローカルネットワークWLAN(Wireless Local Area Network)も存在している。
通信システムにおいて伝送される情報の1つに画像またはビデオがあり、これは画像シーケンスとして扱われる。画像データまたはビデオデータの伝送に必要なデータレートに基づいて、特に無線通信システムでは、画像データまたはビデオデータに適した符号化プロセスが用いられている。このときスケーラブル情報が用いられ、スケーラブル情報の伝送の際には、基本情報およびこの基本情報を補足する情報が伝送される。スケーラブル情報は、受信局が基本情報のみを復号化するか、基本情報および補足情報の一部を復号化するか、または、基本情報および補足情報の全てを復号化しないかに応じて、低減された品質で受信局に存在できる特性を有する。画像データまたはビデオデータのスケーラビリティは複数のスケーリング次元、例えば個々の画像の空間的解像度に関連して定まる。
したがって本発明の基礎とする課題は、効率的なデータ送信処理方法およびデータ受信処理方法を提供することである。また本発明はこうした方法を実行するのに適した装置を提供することも課題とする。
本発明の第1のデータ送信処理方法によれば、送信機により、1つの画像から第1の解像度の画像データと該第1の解像度より高い第2の解像度の画像データとが形成され、補間により第1の解像度の画像データから第2の解像度の画像データを求めるための少なくとも1つの補間パラメータが、第2の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定められ、第1の解像度の画像データと補間により求めることのできるものを除く第2の解像度の画像データと定められた少なくとも1つの補間パラメータの記述データとが送信され、ここで、少なくとも1つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む。
本発明の第1のデータ受信処理方法によれば、受信機により、画像のうち少なくとも第1の解像度の画像データおよび少なくとも1つの補間パラメータの記述データが受信され、補間により第1の解像度の画像データから該第1の解像度よりも高い第2の解像度の画像データを求めるために、受信された少なくとも1つの補間パラメータの記述データが評価されて、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも1つの補間パラメータが求められ、求められた少なくとも1つの補間パラメータを用いて第1の解像度の画像データから第2の解像度の画像データが求められる。
有利な実施形態および発展形態は従属請求項に記載されている。
データ処理は有利にはビデオデータすなわち画像シーケンスに対して行われる。画像は複数の画像データ、特に個々のピクセルの有する数値から成る。送信機、有利にはビデオエンコーダまたは画像エンコーダには、少なくとも2つの解像度の画像データが存在する。解像度とはピクセル数を表し、解像度が高いということはより多くのピクセルを有することを意味する。
送信機側では少なくとも1つの補間パラメータが定められる。少なくとも1つの補間パラメータを用いて第1の解像度の画像データから補間により第2の解像度の画像が求められる。少なくとも1つの補間パラメータは、第1の解像度の画像データから第2の解像度の画像データを求めるためのプロトコルまたはプロトコルの具体的な構成を表している。この場合、少なくとも1つの補間パラメータおよび第1の解像度の画像データのほか、第2の解像度の画像データを求めるための他のパラメータも送信することができる。つまり、補間により求められる第2の解像度の画像データは第1の解像度の画像データのみから求められるとは限らない。有利には少なくとも1つの補間パラメータは第2の解像度の画像全体に関連しているが、第2の解像度の画像の所定の領域のみに関連するのであってもよい。さらに、他の領域の画像データは例えば他の補間パラメータによって求められるように送信することもできるし、また補間パラメータを用いずに求められるように送信することもできる。
少なくとも1つの補間パラメータが定められた後、第2の解像度の画像データの少なくとも一部が送信される。ここで送信機は定められた少なくとも1つの補間パラメータを考慮して送信を行う。有利には、少なくとも1つの補間パラメータを用いて補間により求めることのできる画像データは送信されない。送信すべき第2の解像度の画像データの範囲および構造は少なくとも1つの補間パラメータに依存して定められる。
画像データおよび定められた少なくとも1つの補間パラメータの記述データの送信は有利には無線によって行われるが、他の伝送技術によって行われてもよい。有利には、画像データおよび定められた少なくとも1つの補間パラメータの記述データは共通の1つのメッセージとして送信される。これに代えて、画像データと定められた少なくとも1つの補間パラメータの記述データとを個別のメッセージとして送信することもできる。
本発明の有利な実施形態によれば、少なくとも1つの補間パラメータを定めるために複数の補間パラメータからの選択が行われ、選択の際には少なくとも1つの補間パラメータを用いて求められる第2の解像度の画像データの品質が考慮される。少なくとも1つの補間パラメータの選択は所定のアルゴリズム、例えばレートディストーション最適化アルゴリズムにしたがって行われる。
上述した本発明の第1のデータ送信処理方法の実施形態を本発明の第1のデータ受信処理方法の実施形態へ移行させて用いることができる。
本発明の有利な実施形態によれば、少なくとも1つの補間パラメータの記述データは専ら少なくとも1つの補間パラメータに関する情報を含む。
本発明の第2のデータ送信処理方法によれば、送信機側で1つの画像から第1の解像度の画像データと第1の解像度より高い第2の解像度の画像データとが形成され、補間により第1の解像度の画像データから第2の解像度の画像データを求めるための少なくとも1つの補間パラメータが第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報が評価されて定められ、少なくとも複数の第1の解像度の画像データおよび第2の解像度の画像データおよび第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報が送信され、ここで第2の解像度の画像データの送信は定められた少なくとも1つの補間パラメータに依存して行われる。
上述した本発明の第1のデータ送信処理方法の実施形態を本発明の第2のデータ送信処理方法の実施形態へ移行させて用いることができる。
本発明の第2のデータ送信処理方法では、少なくとも1つの補間パラメータを定めるために、現在観察されている第2の解像度の画像の第1の領域に関連しない情報が評価される。当該の情報は第2の解像度の画像の1つまたは複数の他の領域に関連する。これに加えてまたはこれに代えて、第1の解像度の画像の1つまたは複数の領域に関する情報、すなわち、第1の解像度の画像の第1の領域に関する情報および/または第1の解像度の画像の1つまたは複数の他の領域に関する情報を用いてもよい。
本発明の第2のデータ受信処理方法によれば、受信機側で画像のうち少なくとも第1の解像度の画像データおよび第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報が受信され、補間により第1の解像度の画像データから第1の解像度よりも高い第2の解像度の画像データを求めるために、第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報が評価されて少なくとも1つの補間パラメータが求められ、求められた少なくとも1つの補間パラメータを用いて第2の解像度の画像の第1の領域の画像データが求められる。
上述した本発明の第2のデータ送信処理方法の実施形態を本発明の第2のデータ受信処理方法の実施形態へ移行させて用いることができる。
本発明の方法の有利な実施形態によれば、第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報は、第2の解像度の画像の少なくとも1つの第2の領域に対する補間パラメータ、第1の解像度の画像の少なくとも1つの領域に対する補間パラメータ、第2の解像度の画像の少なくとも1つの第2の領域の復号化結果に依存する第2の解像度の画像の第1の領域の符号化・復号化情報(例えばイントラ符号化モード)、第2の解像度の画像の少なくとも1つの第2の領域のブロックサイズ、第1の解像度の画像の少なくとも1つの領域のブロックサイズ(例えば、動き推定・動き補償のためのブロックサイズまたは周波数領域での画像変換のためのブロックサイズ)、第2の解像度の画像の少なくとも1つの第2の領域の符号化・復号化に関する情報、および/または、第1の解像度の画像の少なくとも1つの領域の符号化・復号化に関する情報(例えばブロックモード)を含む。
本発明の有利な実施形態によれば、少なくとも1つの補間パラメータを求めるために、第2の解像度の画像の少なくとも1つの第2の領域に関する情報および/または第1の解像度の画像の少なくとも1つの領域に関する情報のほか、ビデオデータの要素である各画像間の時間的相関に関する情報も用いられる。
少なくとも1つの補間パラメータはフィルタリングパラメータ、特にフィルタリングの次数および重み、画像領域サイズ、および/または画像境界での補間法則を含む。画像境界での補間法則とは、有利には、補間のために画像境界でどのように画像データを連続させるかを表すものである。
有利には、時機に応じて本発明の第1のデータ送信処理方法と第2のデータ送信処理方法とが適用され、または、1つまたは複数の所定の補間パラメータに応じて本発明の第1のデータ送信処理方法と第2のデータ送信処理方法とが適用される。同様のことが本発明の第1のデータ受信処理方法と第2のデータ受信処理方法とにも当てはまる。
本発明による送信機および受信機は特に本発明による方法を実行するのに適しており、このことは上述した実施形態および発展形態にも当てはまる。このために送信機および受信機は適切な手段を有する。本発明の送信機および受信機は相互に接続された複数の装置により実現することもできる。
以下に本発明を実施例に基づいて詳細に説明する。
図1には、エンコーダENCODERおよびデコーダDECODERを含む無線通信システムの概略図が示されている。エンコーダENCODERはビデオデータVIDEOを符号化し、無線によりスケーラブルビデオデータSCALABLE VIDEO STREAMとしてデコーダDECODERへ送信する。以下ではエンコーダENCODERとデコーダDECODERとのあいだの伝送は無線により行われるものとするが、本発明は他の伝送技術にも適用可能である。ビデオシーケンスVIDEOのスケーラブル符号化の際には、スケーラブルビデオデータSCALABLE VIDEO DATAにより、解像度ごとに画像を複数回伝送するのではなく、それぞれ異なる解像度の複数の画像を同時に伝送するために、以下に説明するステップが実行される。
まず、ビデオシーケンスVIDEOのオリジナル画像がサブサンプリングおよび/またはローパスフィルタリングされ、低解像度の画像すなわち小さいサイズの画像が形成される。図1では、オリジナル画像は4CIF(4×Common Intermediate Format)すなわち704×576ピクセルに相応し、1段低い解像度の画像はCIF(Common Intermediate Format)すなわち352×288ピクセルに相応し、さらに1段低い解像度の画像はQCIF(Quarter Common Intermediate Format)すなわち176×144ピクセルに相応する。
4CIF,CIF,QCIFのビデオシーケンスはコーディングステップCODINGで個別に符号化される。同じ情報または類似の情報が複数回伝送されるのを回避して符号化効率を高めるために、符号化要素、例えば画像の動きベクトル、ピクセル値、ブロックモードなどのモード情報が1段低い解像度の画像から予測される。つまり、解像度QCIFの符号化要素から解像度CIFの画像の符号化要素が計算され、解像度CIFの画像の符号化要素から解像度4CIFの画像の符号化要素が計算される。所定の画像のピクセル値の予測には補間が用いられ、1段低い解像度の画像のピクセル値から観察している解像度の同じ画像のピクセル値が求められる。
予測値は送信機側でどのデータをデコーダDECODERへ伝送すべきかを定めるために用いられる。すなわちスケーラブルビデオデータSCALABLE VIDEO STREAMは、符号化によって形成された4CIFビデオシーケンスおよびCIFビデオシーケンスの全体ではなく、規模の低減されたその一部である。なぜならデコーダDECODERは伝送されなかったデータを予測によって求めることができるからである。エンコーダENCODERでは画像ごとにまた画像の解像度ごとに異なる補間プロセスが定められており、当該の画像および解像度に関してデコーダDECODERへ送信すべきデータが使用されている補間プロセスに依存して選択される。受信機側の品質要求および端末機の能力に応じて、デコーダDECODERはスケーラブルビデオデータSCALABLE VIDEO STREAMの解像度を抽出でき、場合によっては高い解像度の画像の不要な情報を復号化せずに済む。
補間の際には、新たなピクセル値すなわちより高い解像度の画像のピクセル値が、既存のピクセル値すなわち1段低い解像度の画像のピクセル値から求められる。これは一般にフィルタリングを介して行われる。ここでは、計算コストを低減するために、1つの画像に対して水平フィルタリングと垂直フィルタリングとに分解された2次元フィルタリングが行われる。2つのフィルタリングを順次に行ってもよい。
図2には画像サイズを倍化する実施例における1次元フィルタリングが示されている。図2の上方ラインの白丸は低い解像度の画像のピクセルに相応する。低い解像度のピクセルにはまず1つ置きのピクセル位置に値0が補充される。このことは中央ラインの白丸および0を含む丸により表されている。フィルタリングの際に、ピクセル値にはフィルタリング重みが乗算され、重みづけされた各ピクセル値が加算される。図2では重みは−1/16,0,9/16,16/16,9/16,0,−1/16である。低い解像度の画像のピクセル値を重みづけして加算することにより、1段高い解像度の画像の各ピクセル値が図2の下方ラインの×印で表されているように形成される。このプロセスは解像度が高くなるごとに反復され、フィルタ重みはそのつど位置1つぶんずつシフトされる。図2のフィルタ重みの実施例では、低い解像度の画像のピクセル位置にあるピクセル値に対して、低い解像度の画像のピクセル値が高い解像度の画像のピクセル値へ引き渡される。
図2には4タブフィルタリングの様子が示されている。4タブとは4つのフィルタ重み、すなわち具体的には−1/16,9/16,9/16,−1/16が存在することを表している。別の実施例として、フィルタ重み1/2,1/2を用いる2タブフィルタリングや、フィルタ重み1/32,−5/32,20/32,20/32,−5/32,1/32を用いる6タブフィルタリングを行ってもよい。
前述した補間は画像領域全体にわたって行うことができる。ただし画像を複数の領域へ分割し、領域ごとにフィルタリングを行うこともできる。図3には例として16×16ピクセルの画像を分割する様子が示されている。この画像は、図示されているように、横長2分割の16×8ピクセルのブロック、縦長2分割の8×16ピクセルのブロック、4分割の8×8ピクセルのブロック、横長8分割の8×4ピクセルのブロック、縦長8分割の4×8ピクセルのブロック、または、16分割の4×4ピクセルのブロックなど、さまざまに分割可能である。
1つの画像または1つのブロックの境界ではフィルタリングの計算に必要なピクセルが画像またはブロックの外に位置している。コンスタントボーダーエクステンション法として知られる手段により、画像の境界部では観察領域の外に位置するピクセルの値を用いて問題を解決することができる。ミラー法として知られる別の手段によれば、画像またはブロックの境界のピクセル値が鏡像化され、鏡像化により形成されたピクセルがフィルタリングの計算に用いられる。
例えば、従来技術の文献H. Schwarz, T. Hinz, D. Marpe, T. Wiegand, "Further improvements of the HHI proposal for SVC CE 1" M11398, Palma, Spanien, Oct. 2004には、エンコーダが種々の画像の時間的相関により定められる画像タイプに依存して受信機に既知の補間プロセスを用いることが説明されている。
本発明によれば、エンコーダENCODERは、画像ごとにかつ解像度ごとに適切な補間パラメータを選択する。補間パラメータはフィルタリングパラメータ、ブロックサイズ、および画像境界またはブロック境界でピクセル値を形成するための法則である。これらのパラメータは具体的には上述した通りであるが、別のパラメータを用いることもできる。エンコーダENCODERは上述した補間パラメータのほか、補間の際に利用可能な別のパラメータを選択することもできる。補間パラメータの選択は適応的に行われる。つまり補間パラメータは処理すべき画像または処理すべき画像領域に依存して選択される。基本的には同じタイプの画像に同じ補間パラメータは用いられない。使用される補間パラメータは、同じタイプの画像であっても、実際に送信される画像に応じてフレキシブルに変更される。
適切な補間パラメータを選択するために、有利には、レートディストーション最適化法が行われる。つまり、エンコーダENCODERは種々の補間パラメータを用いて形成される画像の品質を比較し、当該の補間パラメータを用いた画像の無線伝送に必要なデータレートに関連してこれを設定する。所定のデータレートで最も高品質の画像の得られる補間パラメータ、または、或る程度の画像品質でデータレートが最も低くて済む補間パラメータが使用される。補間パラメータが固定されていた従来技術とは異なり、本発明によれば、同じデータレートできわめて高い品質、または品質に比してきわめて低いデータレートが達成される。
所定の解像度で受信された画像データから1段高い解像度の画像データを補間により求めるためには、エンコーダENCODERにおいて使用された補間パラメータがデコーダDECODERに既知となっていなければならない。このために、エンコーダENCODERは使用した補間パラメータをデコーダDECODERへ明示的にシグナリングすることができる。明示的なシグナリングにおいては、補間パラメータはページ情報としてデコーダDECODERへ伝送される。これは従来技術で用いられているシンタクスエレメントから独立に行うことができる。ただし有利には、新たなブロックモードを導入して従来技術で用いられているシンタクスエレメントを拡張し、明示的なシグナリングを行ってもよい。明示的なシグナリングにおいて、エンコーダENCODERから、使用すべき補間パラメータの記述データとして専ら用いられる情報エレメントが送信される。デコーダDECODERはこの情報エレメントから明示的かつ直接に使用すべき補間パラメータを取り出すことができる。
明示的なシグナリングに代えてまたはこれに加えて、デコーダDECODERは使用すべき補間パラメータを他の情報から求めることができる。すなわち、或る画像領域に対する補間パラメータを求めるために、他の画像領域を利用することができる。他のブロックの補間パラメータの利用とは、画像の或るブロックに対する補間パラメータを同じ画像の1つまたは複数の他のブロックの補間パラメータから計算することである。例えばエンコーダENCODERが画像の少なくとも1つのブロックの補間パラメータをデコーダDECODERへ報知すれば、デコーダDECODERはそのブロックの補間パラメータから求めるべきブロックの補間パラメータを計算することができる。
またシグナリングにイントラ符号化モードを利用してもよい。これによりエンコーダENCODERは、画像の1つまたは複数のブロックの復号化結果が同じ画像の他のブロックの復号化に用いられていることをデコーダDECODERへ報知できる。これは種々のブロックの補間パラメータに適用可能である。例えば、イントラ符号化モードがデコーダDECODERに示された場合、画像の第1のブロックの復号化結果が同じ画像の第2のブロックの復号化計算に用いられており、デコーダDECODERは第1のブロックの補間パラメータを第2のブロックの補間パラメータとして用いることができる。上述のパラメータに加えて、補間パラメータを求めるために、種々の画像の時間的相関の情報が利用される。すなわち、
・符号化すべき領域の動き推定および動き補償のためのブロックサイズ、
・既に符号化された隣接する領域または他の領域の動き推定および動き補償のためのブロックサイズ、
・周波数領域での画像変換に用いられたブロックサイズ、すなわち、高い解像度の画像の符号化すべき領域のピクセルから低い解像度の画像の符号化すべき領域のピクセルへの移行に用いられたブロックサイズ、
・隣接する領域および符号化すべき領域の低い解像度でのブロックモード、
・予測モード
などである。
・符号化すべき領域の動き推定および動き補償のためのブロックサイズ、
・既に符号化された隣接する領域または他の領域の動き推定および動き補償のためのブロックサイズ、
・周波数領域での画像変換に用いられたブロックサイズ、すなわち、高い解像度の画像の符号化すべき領域のピクセルから低い解像度の画像の符号化すべき領域のピクセルへの移行に用いられたブロックサイズ、
・隣接する領域および符号化すべき領域の低い解像度でのブロックモード、
・予測モード
などである。
補間パラメータを求めるために、上述したパラメータの組み合わせを用いることもできる。暗示的なシグナリングにおいては、デコーダDECODERはその時点で観察されている画像領域の補間パラメータに関連しない情報を受信する。デコーダDECODERは補間パラメータを求めるために当該の情報を用いる。補間パラメータがデコーダDECODERに明示的にシグナリングされない場合、エンコーダENCODERとデコーダDECODERとは所定の情報から補間パラメータを求めるプロトコルについて同じものを用いなければならない。例えばイントラ符号化モードが補間パラメータの暗示的シグナリングに用いられる場合、エンコーダENCODERはデコーダDECODERへ伝送されるイントラ符号化モードから補間パラメータを定め、デコーダDECODERへ送信すべき画像データを選択する際にこの補間パラメータを用いる。デコーダDECODERではイントラ符号化モードから補間パラメータを求めるプロトコルが既知であり、デコーダDECODERはエンコーダENCODERと同じ補間パラメータを用いることができる。
各補間パラメータを相互に依存させることもできる。例えば領域またはブロックのサイズが小さいとき、次数の小さいフィルタリングを行うと有利である。種々の補間パラメータのあいだに依存関係が存在するのであれば、明示的なシグナリングにおいて全ての補間パラメータを報告しなくて済む。また、1つまたは複数の補間パラメータを固定に維持し、残りの補間パラメータの構成のみをデコーダDECODERへシグナリングするか、デコーダDECODERで求めるようにしてもよい。
有利には、補間パラメータの明示的シグナリング方法と補間パラメータの暗示的シグナリング方法との組み合わせがデコーダDECODERで他の情報から補間パラメータを求めることにより行われる。デコーダDECODERで補間パラメータを求めることにより必要なページ情報の量が低減され、有効情報の伝送に用いることのできる無線リソースが増大する。暗示的シグナリング方法において他の情報から補間パラメータを求めたことに起因して誤った補間パラメータが得られ、これにより品質が劣化する場合、明示的シグナリング方法によってレートディストーション最適化法を用いて品質を高めることができる。
Claims (2)
- 送信機が、
1つの画像から、第1の解像度の画像データと、該第1の解像度より高い第2の解像度の画像データとを形成し、
補間によって第1の解像度の画像データから第2の解像度の画像データを求めるための少なくとも1つの補間パラメータを、第2の解像度の画像データの品質を考慮して、複数の補間パラメータから選択して定め、
第1の解像度の画像データと、補間により求めることのできるものを除く第2の解像度の画像データと、定められた少なくとも1つの補間パラメータの記述データとを送信し、
ここで、少なくとも1つの補間パラメータは補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む
ことを特徴とするデータ送信処理方法。 - 受信機が、
画像のうち少なくとも第1の解像度の画像データおよび少なくとも1つの補間パラメータの記述データを受信し、
補間によって第1の解像度の画像データから該第1の解像度よりも高い第2の解像度の画像データを求めるために、受信された少なくとも1つの補間パラメータの記述データを評価して、補間のために画像境界でどのように画像データを連続させるかを表す画像境界での補間法則を含む少なくとも1つの補間パラメータを求め、
求められた少なくとも1つの補間パラメータを用いて第1の解像度の画像データから第2の解像度の画像データを求める
ことを特徴とするデータ受信処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005016827A DE102005016827A1 (de) | 2005-04-12 | 2005-04-12 | Adaptive Interpolation bei der Bild- oder Videokodierung |
DE102005016827.2 | 2005-04-12 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008505859A Division JP5069218B2 (ja) | 2005-04-12 | 2006-03-30 | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010388A true JP2012010388A (ja) | 2012-01-12 |
JP5404715B2 JP5404715B2 (ja) | 2014-02-05 |
Family
ID=36763188
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008505859A Expired - Fee Related JP5069218B2 (ja) | 2005-04-12 | 2006-03-30 | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
JP2011179107A Expired - Fee Related JP5404715B2 (ja) | 2005-04-12 | 2011-08-18 | ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008505859A Expired - Fee Related JP5069218B2 (ja) | 2005-04-12 | 2006-03-30 | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8270489B2 (ja) |
EP (1) | EP1869889A1 (ja) |
JP (2) | JP5069218B2 (ja) |
KR (1) | KR101303222B1 (ja) |
CN (1) | CN101194514B (ja) |
DE (1) | DE102005016827A1 (ja) |
WO (1) | WO2006108765A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005016827A1 (de) * | 2005-04-12 | 2006-10-19 | Siemens Ag | Adaptive Interpolation bei der Bild- oder Videokodierung |
US20110002391A1 (en) * | 2009-06-11 | 2011-01-06 | Motorola, Inc. | Digital image compression by resolution-adaptive macroblock coding |
JP5639436B2 (ja) * | 2010-10-18 | 2014-12-10 | 株式会社メガチップス | 画像処理装置、および画像処理装置の動作方法 |
US8761543B2 (en) * | 2011-08-30 | 2014-06-24 | Microsoft Corporation | Image processing using bounds adjustment |
US9313495B2 (en) * | 2012-05-14 | 2016-04-12 | Luca Rossato | Encoding and decoding based on blending of sequences of samples along time |
SG10201710075SA (en) | 2012-05-14 | 2018-01-30 | Luca Rossato | Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy |
US20160241882A1 (en) * | 2013-10-11 | 2016-08-18 | Sony Corporation | Image processing apparatus and image processing method |
FR3109685A1 (fr) * | 2020-04-22 | 2021-10-29 | Orange | Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0211079A (ja) * | 1988-06-29 | 1990-01-16 | Nec Corp | 画像信号帯域圧縮方式 |
JPH0211078A (ja) * | 1988-06-29 | 1990-01-16 | Nec Corp | 画像信号帯域圧縮方式 |
JPH0410768A (ja) * | 1990-02-19 | 1992-01-14 | Canon Inc | サブサンプリング復号装置 |
JPH07162812A (ja) * | 1993-10-11 | 1995-06-23 | Thomson Consumer Electron Sa | 動き予測と、異なる内挿をする信号経路とを用いてビデオ信号を形成する方法および装置 |
JPH0888856A (ja) * | 1994-07-19 | 1996-04-02 | Sony Corp | ディジタル画像信号の階層符号化および復号装置 |
JPH0937243A (ja) * | 1995-07-20 | 1997-02-07 | Sanyo Electric Co Ltd | 動画像符号化装置及び復号装置 |
JP2003169337A (ja) * | 2001-09-18 | 2003-06-13 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
JP2008536417A (ja) * | 2005-04-12 | 2008-09-04 | シーメンス アクチエンゲゼルシヤフト | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5663764A (en) * | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
US5828788A (en) * | 1995-06-29 | 1998-10-27 | Thomson Multimedia, S.A. | System for processing data in variable segments and with variable data resolution |
JP3748088B2 (ja) | 1996-07-17 | 2006-02-22 | ソニー株式会社 | 画像処理装置および方法、並びに学習装置および方法 |
TW358296B (en) * | 1996-11-12 | 1999-05-11 | Matsushita Electric Ind Co Ltd | Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium |
KR100252194B1 (ko) | 1997-10-10 | 2000-04-15 | 박호군 | 참당귀에서분리한신규한펙틴질다당류와그분리정제방법및그의면역증강제로서의용도 |
US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
US6782143B1 (en) * | 1999-12-30 | 2004-08-24 | Stmicroelectronics, Inc. | Method and apparatus for processing an image |
KR100360893B1 (ko) * | 2001-02-01 | 2002-11-13 | 엘지전자 주식회사 | 영상 움직임 보상 장치 및 방법 |
KR100783396B1 (ko) * | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
EP1442601A1 (en) * | 2001-10-26 | 2004-08-04 | Koninklijke Philips Electronics N.V. | Method and appartus for spatial scalable compression |
JP4120301B2 (ja) * | 2002-04-25 | 2008-07-16 | ソニー株式会社 | 画像処理装置およびその方法 |
DE102004041664A1 (de) * | 2004-08-27 | 2006-03-09 | Siemens Ag | Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung |
KR100888963B1 (ko) * | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
-
2005
- 2005-04-12 DE DE102005016827A patent/DE102005016827A1/de not_active Withdrawn
-
2006
- 2006-03-30 CN CN2006800209364A patent/CN101194514B/zh active Active
- 2006-03-30 WO PCT/EP2006/061168 patent/WO2006108765A1/de active Application Filing
- 2006-03-30 KR KR1020077026262A patent/KR101303222B1/ko active IP Right Grant
- 2006-03-30 JP JP2008505859A patent/JP5069218B2/ja not_active Expired - Fee Related
- 2006-03-30 EP EP06725424A patent/EP1869889A1/de not_active Withdrawn
- 2006-03-30 US US11/918,400 patent/US8270489B2/en active Active
-
2011
- 2011-08-18 JP JP2011179107A patent/JP5404715B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0211079A (ja) * | 1988-06-29 | 1990-01-16 | Nec Corp | 画像信号帯域圧縮方式 |
JPH0211078A (ja) * | 1988-06-29 | 1990-01-16 | Nec Corp | 画像信号帯域圧縮方式 |
JPH0410768A (ja) * | 1990-02-19 | 1992-01-14 | Canon Inc | サブサンプリング復号装置 |
JPH07162812A (ja) * | 1993-10-11 | 1995-06-23 | Thomson Consumer Electron Sa | 動き予測と、異なる内挿をする信号経路とを用いてビデオ信号を形成する方法および装置 |
JPH0888856A (ja) * | 1994-07-19 | 1996-04-02 | Sony Corp | ディジタル画像信号の階層符号化および復号装置 |
JPH0937243A (ja) * | 1995-07-20 | 1997-02-07 | Sanyo Electric Co Ltd | 動画像符号化装置及び復号装置 |
JP2003169337A (ja) * | 2001-09-18 | 2003-06-13 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
JP2008536417A (ja) * | 2005-04-12 | 2008-09-04 | シーメンス アクチエンゲゼルシヤフト | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
Also Published As
Publication number | Publication date |
---|---|
KR101303222B1 (ko) | 2013-09-04 |
KR20080006606A (ko) | 2008-01-16 |
JP5404715B2 (ja) | 2014-02-05 |
DE102005016827A1 (de) | 2006-10-19 |
CN101194514A (zh) | 2008-06-04 |
JP2008536417A (ja) | 2008-09-04 |
WO2006108765A1 (de) | 2006-10-19 |
JP5069218B2 (ja) | 2012-11-07 |
EP1869889A1 (de) | 2007-12-26 |
US20090232212A1 (en) | 2009-09-17 |
US8270489B2 (en) | 2012-09-18 |
CN101194514B (zh) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5404715B2 (ja) | ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法 | |
US11206397B2 (en) | Reconstructed block creating method | |
US10375409B2 (en) | Method and apparatus for image encoding with intra prediction mode | |
US9615105B2 (en) | Image decoding apparatus | |
US20140247883A1 (en) | Scalable video encoding and decoding method and apparatus using same | |
JP2009522971A (ja) | 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構 | |
US8699570B2 (en) | Apparatus for coding or decoding intra image based on line information of reference image block | |
US20140286434A1 (en) | Image-encoding method and image-decoding method | |
WO2013051897A1 (ko) | 영상 부호화 방법과 영상 복호화 방법 | |
WO2009084886A2 (en) | Apparatus for coding or decoding intra image based on line information of reference image block |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |