JPWO2003043347A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システム - Google Patents
画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システム Download PDFInfo
- Publication number
- JPWO2003043347A1 JPWO2003043347A1 JP2003545047A JP2003545047A JPWO2003043347A1 JP WO2003043347 A1 JPWO2003043347 A1 JP WO2003043347A1 JP 2003545047 A JP2003545047 A JP 2003545047A JP 2003545047 A JP2003545047 A JP 2003545047A JP WO2003043347 A1 JPWO2003043347 A1 JP WO2003043347A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- coding
- block
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、モバイル映像伝送システムなどの画像伝送システムに好適に適用することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システムに関するものである。
背景技術
従来、動画像の符号化方式として、ITU−T H.26xやMPEGシリーズなどの標準動画像符号化方式が知られている。これらの画像符号化方式においては、符号化対象として入力されたフレーム画像に対して、他のフレーム画像との間で動き補償(MC:Motion Compensation)フレーム間予測を行って、画像データを動きベクトルと差分(予測残差)フレーム画像へと変換することが行われている。このような動き補償により、符号化対象となるフレーム画像から時間的変化についての冗長度を除くことが可能となり、画像符号化によるデータ圧縮の効率などが向上される。
また、動き補償によって生成された画像データである差分フレーム画像は、さらに直交変換及び可変長符号化されて、画像伝送に用いられる圧縮データである符号化データとなる。このような可変長符号化方法の1つとして、算術符号化(AC:Arithmetic Coding)が用いられている。
一般に、複数種類のシンボルを組み合わせた情報源系列(シンボル系列)に対して算術符号化を行う場合、まず、[0.0,1.0)の数直線(確率数直線)上において、それぞれのシンボルに対して、シンボルの出現確率に応じて一定の区間を割り当てる。このとき、シンボルと数直線上の区間との対応関係を表したものは、確率テーブルと呼ばれる。算術符号化によって情報源系列を可変長符号化する際には、この確率テーブルを参照することによって、情報源系列を数直線上で表現した符号語が生成される。
ここで、図1〜図3を参照して、算術符号化について説明する。具体的には、文字列「ARITHMETIC」を符号化対象の情報源系列とし、その算術符号化を例として説明する。
上記した情報源系列内には、A、C、E、H、I、M、R、Tの8種類の文字(シンボル)が現れる。これらの文字に対し、図1の表に示すように、[0.0,1.0)の数直線(確率数直線)上で、文字列における各文字の出現確率に比例した区間長となるようにそれぞれ区間を割り当てる。この文字と数直線上の区間との対応関係を表す図1に示した表が、算術符号化に用いられる確率テーブルとなる。
図2は、図1に示した確率テーブルを用いた文字列「ARITHMETIC」の符号化について示す図である。算術符号化においては、確率テーブルに基づいた区間縮小操作を、情報源系列に含まれる各シンボルに対して順次行うことによって、情報源系列を符号化した符号語を生成する。
図2に示した例では、まず、符号化対象である文字列「ARITHMETIC」の第1の文字「A」に対して、図1に示した確率テーブルを参照して、数直線上の区間[0,1)を各文字に対応する8個の区間に区分する。そして、それらの区間のうちで、文字「A」に対応する区間[0.0,0.1)へと区間を縮小する。次に、第2の文字「R」に対して、確率テーブルを参照して、区間[0.0,0.1)を8個の区間に区分する。そして、それらの区間のうちで、文字「R」に対応する区間[0.07,0.08)へと区間を縮小する。
以下、この区間縮小による符号化操作を各文字に対して順次行っていく。そして、最終的に得られた数直線上の区間[0.0757451536,0.0757451552)において、その区間内にある数値「0.0757451536」が、文字列「ARITHMETIC」を算術符号化した符号語として生成される。
図3は、図1に示した確率テーブルを用いた符号語「0.0757451536」の文字列「ARITHMETIC」への復号について示す図である。
図3に示した例では、まず、復号対象である符号語「0.0757451536」に対して、図1に示した確率テーブルを参照して、符号語が含まれている区間長0.1の区間[0.0,0.1)を特定する。そして、特定された区間に対応する文字「A」を第1の文字として出力するとともに、(符号語−下限)/(区間長)によって、新たな符号語「0.757451536」を生成する。次に、符号語「0.757451536」に対して、確率テーブルを参照して、符号語が含まれている区間長0.1の区間[0.7,0.8)を特定する。そして、特定された区間に対応する文字「R」を第2の文字として出力するとともに、新たな符号語「0.57451536」を生成する。
以下、この復号操作を符号語に対して順次行っていく。そして、算術符号化された符号語「0.0757451536」から、文字列「ARITHMETIC」が復元される。
このように、算術符号化を用いた情報源系列の可変長符号化では、情報源系列に含まれるシンボルと数直線上の区間とを対応付けることにより、任意の情報源系列を[0.0,1.0)の数直線上の符号語によって表現することができる。また、シンボルと区間とを対応付ける確率テーブルを各シンボルの出現確率に応じて設定することにより、情報源系列の可変長符号化を効率良く行って、符号化によるデータ圧縮の効率を向上することができる。
発明の開示
図4は、上述した算術符号化による可変長符号化を用いた画像符号化方法の一例を示すフローチャートである。図4に示した画像符号化方法では、ITU−T H.26L映像符号化方式(VCEG−M10 H.26L Test Model Long Term Number 8(TML−8)draft0を参照)で用いられているコンテキストモデリングを用いたCABAC(Context−based Adaptive Binary Arithmetic Coding)と呼ばれる方法によって、画像データの算術符号化を行っている。
画像データの符号化においては、まず、符号化対象の画像を所定サイズのブロックに分割し、ブロック毎にイントラフレーム符号化(Intra−Frame Coding、フレーム内符号化)やインターフレーム符号化(Inter−Frame Coding、フレーム間符号化)、DCT等の直交変換などの必要なデータ変換処理を行って、ブロック内にある画像を表す画像データを生成する。そして、その画像データに対して、算術符号化などを用いて可変長符号化を行って、データ圧縮された符号化データが生成される。
図4に示した画像符号化方法においては、特に、あらかじめ固定に設定された条件によって符号化を行うのではなく、ブロック毎の画像データを符号化する際に、コンテキストモデリングを行っている(ステップS901、Context Modeling)。コンテキストモデリングを用いた算術符号化では、画像データの符号化に用いる確率テーブルについて、符号化対象のブロックでの画像データに対して適用する確率テーブルが、隣接ブロックでの画像符号化の処理結果などの符号化条件を参照して切り換えて設定される。
コンテキストモデリングによる確率テーブルの設定を終了したら、符号化対象の画像データ(例えば複数のDCT係数)を2値化して、伝送すべきデータ系列を生成する(S902、Binarization)。そして、2値化されたデータ系列に対して算術符号化を行って(S903、Adaptive Binary Arithmetic Coding)、符号化データを得る。
具体的には、2値化されたデータ系列の各ビットに対し、コンテキストモデリングによって設定された確率テーブルを割り当てて確率評価を行う(S904、Probability Estimation)。そして、割り当てられた確率テーブルを用いてデータ系列を算術符号化し、符号化データである数直線上の符号語を生成する(S905、Arithmetic Coding)。また、算術符号化の処理結果に基づいて、符号化したビットの発生頻度などの情報を確率テーブルへとフィードバックすることによって確率評価を更新し、符号化の傾向を確率テーブルに反映させる(S906、Probability Estimation Update)。
コンテキストモデリングを用いた算術符号化による上記の画像符号化方法によれば、符号化条件や処理結果に応じて使用する確率テーブルを切り換えることによって、符号化データでの冗長度を低減することが可能である。
一方、画像符号化において上述した動き補償を行う場合、動き補償での補償条件や方法が異なる複数の符号化モードを用意しておき、その中から各画像データに適用する符号化モードを選択して動き補償を行う場合がある。このような場合には、選択された符号化モードを示す符号化モード情報も画像データとともに可変長符号化されて、符号化データに多重化される。したがって、符号化データでの冗長度の低減については、この符号化モード情報についても冗長度の除去を行って、符号化データでのデータ圧縮の効率を向上することが必要となる。
本発明は、以上の問題点を解決するためになされたものであり、符号化データに多重化される符号化モード情報に対するデータ圧縮の効率を向上することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システムを提供することを目的とする。
このような目的を達成するために、本発明による画像符号化方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、(1)ブロック内にある画像の画像データをフレーム画像または他のフレーム画像にある他のブロックと比較して動きを検出し、動き補償について用意された複数の符号化モードから画像データに適用する符号化モードを選択して、画像データに対する動き補償を行う動き補償ステップと、(2)所定の2値化テーブルを用いて選択された符号化モードを示す符号化モード情報及び画像データを2値化して2値化パターンを生成するとともに、所定の確率テーブルを用いた算術符号化によって2値化パターンを可変長符号化して、符号化データを生成する符号化ステップとを備え、(3)符号化ステップにおいて、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、ブロックの隣接ブロックで選択された符号化モードを参照して、適用する確率テーブルを切り換えることを特徴とする。
同様に、本発明による画像符号化装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、(1)ブロック内にある画像の画像データをフレーム画像または他のフレーム画像にある他のブロックと比較して動きを検出し、動き補償について用意された複数の符号化モードから画像データに適用する符号化モードを選択して、画像データに対する動き補償を行う動き補償手段と、(2)所定の2値化テーブルを用いて選択された符号化モードを示す符号化モード情報及び画像データを2値化して2値化パターンを生成するとともに、所定の確率テーブルを用いた算術符号化によって2値化パターンを可変長符号化して、符号化データを生成する符号化手段とを備え、(3)符号化手段は、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、ブロックの隣接ブロックで選択された符号化モードを参照して、適用する確率テーブルを切り換えることを特徴とする。
また、本発明による画像符号化プログラムは、上記した画像符号化方法をコンピュータに実行させることを特徴とする。また、本発明によるコンピュータデータ信号は、搬送波に包含され、上記した画像符号化方法をコンピュータに実行させるための画像符号化プログラムを搬送することを特徴とする。
上記した画像符号化方法、装置、プログラム、及びコンピュータデータ信号においては、動き補償での補償条件や方法が異なる複数の符号化モードから適用する符号化モードを選択して動き補償を行った後、動き補償がされた画像データと、動き補償に適用された符号化モードを示す符号化モード情報とを算術符号化し多重化して、データ圧縮された符号化データを生成する。そして、符号化モード情報の算術符号化において、符号化モード情報が2値化された2値化パターンに含まれる2値化符号のそれぞれについて、隣接ブロックでの処理結果を参照しつつ確率テーブルを切り換えて、算術符号化を行うこととしている。
これにより、2値化パターンでの2値化符号のそれぞれの符号位置や、隣接ブロックで選択された符号化モードなどが、算術符号化での符号化条件に対して反映される。したがって、符号化モード情報の冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
また、本発明による画像復号方法は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、(1)所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して2値化パターンを生成するとともに、所定の2値化テーブルを用いて2値化パターンを逆2値化して、符号化モード情報及びブロック内にある画像の画像データを生成する復号ステップと、(2)動き補償について用意された複数の符号化モードから符号化モード情報が示す選択された符号化モードを適用して、画像データに対する動き補償を行う動き補償ステップとを備え、(3)復号ステップにおいて、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、ブロックの隣接ブロックで選択された符号化モードを参照して、適用する確率テーブルを切り換えることを特徴とする。
同様に、本発明による画像復号装置は、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、(1)所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して2値化パターンを生成するとともに、所定の2値化テーブルを用いて2値化パターンを逆2値化して、符号化モード情報及びブロック内にある画像の画像データを生成する復号手段と、(2)動き補償について用意された複数の符号化モードから符号化モード情報が示す選択された符号化モードを適用して、画像データに対する動き補償を行う動き補償手段とを備え、(3)復号手段は、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、ブロックの隣接ブロックで選択された符号化モードを参照して、適用する確率テーブルを切り換えることを特徴とする。
また、本発明による画像復号プログラムは、上記した画像復号方法をコンピュータに実行させることを特徴とする。また、本発明によるコンピュータデータ信号は、搬送波に包含され、上記した画像復号方法をコンピュータに実行させるための画像復号プログラムを搬送することを特徴とする。
上記した画像復号方法、装置、プログラム、及びコンピュータデータ信号においては、データ圧縮された符号化データを逆算術符号化及び逆2値化することによって符号化モード情報及び画像データを復号した後、符号化モード情報が示す符号化モードを適用して動き補償を行う。そして、符号化データの逆算術符号化において、上述した算術符号化の場合と同様に、符号化モード情報が2値化された2値化パターンに含まれる2値化符号のそれぞれについて、隣接ブロックでの処理結果を参照しつつ確率テーブルを切り換えて、逆算術符号化を行うこととしている。
これにより、2値化パターンでの2値化符号のそれぞれの符号位置や、隣接ブロックで選択された符号化モードなどが、逆算術符号化での復号条件に対して反映される。したがって、符号化モード情報の冗長度を効果的に除去して、符号化データでのデータ圧縮の効率が向上された符号化データから、データを好適に復元することが可能となる。
また、符号化方法、復号方法、及び符号化装置、復号装置は、複数の符号化モードが、動き補償を行うとともにブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことが好ましい。
動き補償用ブロックは、符号化対象となっているブロック内を1または複数のブロックに区分して、その区分された動き補償用ブロック毎に動きベクトルの付与を行うためのものである。このような動き補償用ブロックに対し、ブロック区分が異なる2以上の符号化モードを含む上記の複数の符号化モードについて、隣接ブロックで選択された符号化モードを参照して確率テーブルの切り換えを行うことにより、動き補償用ブロックの区分方法を含む動き補償の条件に応じて符号化データでの冗長度を低減させて、そのデータ圧縮の効率をさらに向上することができる。
また、複数の符号化モードは、動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことが好ましい。ただし、このスキップモードについては、複数の符号化モードにスキップモードが含まれない構成としても良い。
また、本発明による画像伝送システムは、フレーム画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データによってフレーム画像を伝送する画像伝送システムであって、(1)フレーム画像から符号化データを生成して出力する上記した画像符号化装置と、(2)画像符号化装置からの符号化データを入力してフレーム画像を復元する上記した画像復号装置とを備えることを特徴とする。
このような画像伝送システムによれば、符号化データに多重化される符号化モード情報に対するデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
発明を実施するための最良の形態
以下、図面とともに本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及びそれを用いた画像伝送システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
まず、画像符号化方法及び画像符号化装置について説明する。
図5は、本発明による画像符号化方法の一実施形態を概略的に示すフローチャートである。本符号化方法は、動画像などでのフレーム画像である入力フレーム画像D1に対して所定の変換処理操作及び符号化処理操作を行って、モバイル映像伝送システムなどの画像伝送システムにおいて伝送可能なデータ圧縮された符号化データD7を生成する画像符号化方法である。
図5に示した画像符号化方法においては、まず、入力フレーム画像D1に対して所定のデータ処理操作を行って画像データを変換し、空間座標によって表された画像データ(空間画像データ)D5とする(ステップS101、動き補償ステップ)。ここでのデータ処理操作としては、具体的には、動画像でのフレーム画像に対してインターフレーム符号化(フレーム間符号化)を行う場合の動き補償(MC:Motion Compensation)フレーム間予測が行われる。この動き補償は、フレーム画像を所定サイズ(所定の画素数)で分割したブロック毎に、ブロック内にある画像の画像データに対して行われる。
ここで、本実施形態の画像符号化方法においては、このフレーム画像の動き補償について、動き補償での補償条件や方法が異なる複数の符号化モードが用意されている。動き補償フレーム間予測では、ブロック内にある画像の画像データをフレーム画像または他のフレーム画像にある他のブロックと比較して、画像の動きを検出し、その検出結果に基づいて、用意された複数の符号化モードから画像データに適用する符号化モードを選択する。
そして、選択された符号化モードを適用して画像データの動き補償を行って、動きベクトルと、差分フレーム画像である空間画像データD5とを生成する。また、選択された符号化モードを示す情報は、符号化モード情報D3となる。
次に、空間画像データD5に対して直交変換操作を行って、空間周波数によって表された画像データ(周波数画像データ)である複数の直交変換係数D6を生成する(S102、直交変換ステップ)。この直交変換は、フレーム画像を分割したブロック毎に行われ、入力フレーム画像D1に含まれる各ブロックに対して、それぞれ直交変換係数D6が得られる。また、この直交変換係数に対して、必要に応じて量子化操作がさらに行われ、符号化対象となる直交変換係数(量子化係数)が生成される。
続いて、複数の直交変換係数D6に対して算術符号化を用いて可変長符号化を行い、圧縮データである符号化データD7を生成する(S103、符号化ステップ)。また、動き補償に対して選択された符号化モードを示す符号化モード情報D3も、直交変換係数D6とともに算術符号化を用いて可変長符号化され、符号化データD7に多重化される。
具体的には、まず、符号化モード情報D3と、画像データである直交変換係数D6とがそれぞれ所定の2値化テーブルを用いて2値化されて、2値化パターンが生成される(S104、2値化ステップ)。そして、符号化モード情報D3と直交変換係数D6とに対応する2値化パターンそれぞれに対して、適用する確率テーブルが所定の確率テーブルに設定され、その確率テーブルを用いて2値化パターンが算術符号化されて(S105、算術符号化ステップ)、符号化データD7が生成される。
ここで、本実施形態の画像符号化方法においては、2値化パターンに対して算術符号化を行う際に、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、符号化対象のブロックの隣接ブロックで選択された符号化モードを参照して、各2値化符号に適用する確率テーブルを切り換えている。
本実施形態による画像符号化方法の効果について説明する。
図5に示した画像符号化方法においては、動き補償での補償条件や方法が異なる複数の符号化モードから適用する符号化モードを選択して動き補償を行った後、動き補償がされた画像データD6と、動き補償に用いられた符号化モードを示す符号化モード情報D3とを算術符号化し多重化して、データ圧縮された符号化データD7を生成する。そして、符号化モード情報D3の算術符号化において、符号化モード情報D3が2値化された2値化パターンに含まれる2値化符号のそれぞれについて、隣接ブロックでの処理結果を参照しつつ確率テーブルを切り換えて、算術符号化を行うこととしている。
このように、符号化モード情報に対応する2値化パターンでの2値化符号のそれぞれに対して確率テーブルを適宜切り換えるコンテキストモデリングを行うことにより、2値化パターンでの2値化符号のそれぞれの符号位置や、隣接ブロックで選択された符号化モードなどが、算術符号化での符号化条件に対して好適に反映される。したがって、符号化モード情報D3の冗長度を効果的に除去して、符号化データD7でのデータ圧縮の効率を向上することが可能となる。
また、適用する符号化モードを選択するために用意される複数の符号化モードについては、動き補償を行うとともにブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことが好ましい。
動き補償用ブロックは、符号化対象となっているブロック内を1または複数のブロックに区分して、その区分された動き補償用ブロック毎に動きベクトルの付与を行うためのものである。このような動き補償用ブロックに対し、ブロック区分が異なる2以上の符号化モードを含む上記の複数の符号化モードについて、隣接ブロックで選択された符号化モードを参照して確率テーブルの切り換えを行うことにより、動き補償用ブロックの区分方法を含む動き補償の条件に応じて符号化データでの冗長度を低減させて、そのデータ圧縮の効率をさらに向上することができる。
また、複数の符号化モードは、動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことが好ましい。ただし、このスキップモードについては、複数の符号化モードにスキップモードが含まれない構成としても良い。なお、具体的な符号化モードや、確率テーブルの切り換え方法等については、詳しく後述する。
図6は、本発明による画像符号化装置の一実施形態の構成を示すブロック図である。以下、図6に示した画像符号化装置を参照しつつ、図5に示した画像符号化方法についてさらに説明する。なお、以下においては、符号化対象として画像符号化装置に入力される入力フレーム画像D1について、時系列のフレーム画像からなる動画像を想定している。
符号化対象として入力された入力フレーム画像D1は、まず、16画素×16ラインのサイズで正方形の画像ブロックへと分割される。この画像ブロックは、動き補償などのデータ処理の単位となる画像ブロックであり、マクロブロックと呼ばれる。なお、後述するDCT(直交変換)では、例えばH.26L符号化方式では、4画素×4ラインのサイズのDCTブロックが用いられる。この場合、1個のマクロブロックは、DCTにおいて、16個の輝度(Luma)ブロックと、8個の色差(Chroma)ブロックとを有する。画像符号化はこれらのブロック毎に行われる。
フレーム画像D1は、動き検出部11及び動き補償部12からなる動き補償手段へと入力される。まず、フレーム画像D1は動き検出部11に入力され、マクロブロック毎に画像の動きが検出される。動き検出部11は、動きを検出しようとするマクロブロックでの画像データと、入力フレーム画像または他のフレーム画像にある他のマクロブロックでの画像データとを比較して、画像の動きを示す動きベクトルD2を検出する。
具体的には、動き検出部11では、符号化済のフレーム画像としてフレームメモリ20に格納されている局所復号画像D8内の所定の画像領域を参照して、現在の符号化対象となっている入力フレーム画像D1のマクロブロックと類似するパターンを見つけ出す。そして、その類似パターンとマクロブロックとの間の空間的な移動量によって、動きベクトルD2を決定する。
また、このとき、動き補償について用意された複数の符号化モードから、マクロブロックでの動き補償に用いられる符号化モードが選択される。図7A〜図7Jは、動き補償について用意される符号化モードの一例を示す模式図である。この図7A〜図7Jに例示した複数の符号化モードでは、1個のスキップ(Skip)モード0と、7個のインターモード1〜7と、2個のイントラモード8、9との10個の符号化モードが、動き補償に対して用意されている。
このうち、スキップモード0は、画像の動きが検出されず、動き補償に使用する参照フレームと同位置の画像をコピーするモードである。
また、インターモード1〜7は、それぞれ異なる動き補償用ブロックへのブロック区分を用いてインターフレーム符号化(フレーム間符号化)を行う場合のモードである。それぞれでの動き補償用ブロックについては、図7B〜図7Hに示すように、モード1では、16×16のサイズで1個のブロックが用いられる。モード2では、16×8のサイズで2個のブロックが用いられる。モード3では、8×16のサイズで2個のブロックが用いられる。モード4では、8×8のサイズで4個のブロックが用いられる。モード5では、8×4のサイズで8個のブロックが用いられる。モード6では、4×8のサイズで8個のブロックが用いられる。モード7では、4×4のサイズで16個のブロックが用いられる。
上記した動きベクトルD2は、選択されたインターモードにおける区分された動き補償用ブロック毎に付与され、したがって、各マクロブロックに対して、区分されたブロックの個数分の動きベクトルD2が付与される。なお、各動き補償用ブロックへの動きベクトルD2の付与の順序については、例えば、図7A〜図7J中の各符号化モードにおいて、ブロック内の数字によって示した順序で行われる。
また、イントラモード8、9は、それぞれ異なるブロック区分を用いてイントラフレーム符号化(フレーム内符号化)を行う場合のモードである。それぞれでのブロックについては、図7I、図7Jに示すように、モード8では、4×4のサイズで16個のブロックが用いられる。モード9では、16×16のサイズで1個のブロックが用いられる。
符号化モードが選択され、各動き補償用ブロックに対して動きベクトルD2が求められたら、動き補償部12において、動き検出部11からの動きベクトルD2と、フレームメモリ20からの局所復号画像D8とを用いて、動き予測画像を生成する。フレーム画像D1に含まれる全てのマクロブロックについて動きベクトルD2を決定して動き予測画像を生成することにより、入力フレーム画像D1に対する予測フレーム画像D4が得られる。
続いて、減算器13において、入力フレーム画像D1と予測フレーム画像D4との間の差分(予測残差)フレーム画像D5が生成される。また、予測フレーム画像D4が作成されていない場合には、入力フレーム画像D1がそのままフレーム画像D5とされる。この空間画像データであるフレーム画像D5が、以後の直交変換及び算術符号化の対象となる。
差分フレーム画像D5の画像データは、直交変換部(直交変換手段)14へと入力される。直交変換部14では、差分フレーム画像D5に対して、マクロブロックに含まれる直交変換ブロック(例えば16個の輝度ブロックと8個の色差ブロック)毎に直交変換が行われて、周波数画像データである直交変換係数が生成される。また、この直交変換係数は、量子化部15において所定の量子化パラメータによって量子化されて、算術符号化の対象の画像データとなる最終的な直交変換係数(量子化係数)D6が得られる。
図8A及び図8Bは、画像データの直交変換について示す図である。フレーム画像D5内にある直交変換用に分割された各ブロックの画像データは空間画像データであり、図8Aに4×4の画像成分によって例示するように、水平座標と垂直座標とで規定される4×4の空間画像成分a11〜a44によって表される。直交変換部14は、この空間画像データを所定の変換方法で直交変換することによって、図8Bに示す画像データへと変換する。この画像データは周波数画像データであり、水平周波数と垂直周波数とで規定される4×4の周波数画像成分である直交変換係数f11〜f44によって表される。
具体的な直交変換としては、例えば、離散コサイン変換(DCT:Discrete Cosine Transform)を適用することができる。DCTは、フーリエ変換のコサインの項を用いる直交変換であり、画像符号化において多く用いられている。空間画像データに対してDCTを行うことにより、周波数画像データであるDCT係数f11〜f44が生成される。なお、DCTにおいては、例えばH.26L符号化方式では、直交変換用のブロックとして、図8A及び図8Bに示したように4×4のDCTブロックが用いられる。
直交変換部14及び量子化部15によって生成された直交変換係数D6は、可変長符号化部(符号化手段)16において、所定の確率テーブルを用いた算術符号化によって可変長符号化される。これにより、入力フレーム画像D1の圧縮データである符号化データD7が生成される。
また、可変長符号化部16には、直交変換係数D6に加えて、動き検出部11によって検出された動きベクトルD2と、動き検出部11において選択された符号化モードを示す符号化モード情報D3とが入力されている。これらの動きベクトルD2及び符号化モード情報D3は、可変長符号化部16において、直交変換係数D6と同様に、所定の確率テーブルを用いた算術符号化によって可変長符号化されて、符号化データD7に多重化される。
ここで、可変長符号化部16において算術符号化に用いられる確率テーブルの設定については、図5に示した画像符号化方法に関して上述した通りである。動きベクトルD2及び符号化モード情報D3の算術符号化においては、通常は、直交変換係数D6の算術符号化とは異なる確率テーブルが用いられ、符号化モード情報D3に適用する確率テーブルについては、上述のように隣接ブロックでの処理結果を参照しての切り換えが行われる。また、直交変換係数D6の算術符号化においても、輝度ブロックの算術符号化と色差ブロックの算術符号化とで、異なる確率テーブルを用いても良い。
また、直交変換部14及び量子化部15によって生成された直交変換係数D6は、本画像符号化装置内において、逆量子化部17及び逆直交変換部18によって復号される。そして、復号された画像データと予測フレーム画像D4とが加算器19において加算されて、局所復号画像D8が生成される。この局所復号画像D8はフレームメモリ20に格納されて、他のフレーム画像の動き補償に利用される。
次に、画像復号方法及び画像復号装置について説明する。
図9は、本発明による画像復号方法の一実施形態を概略的に示すフローチャートである。本復号方法は、図5に示した画像符号化方法によって生成された符号化データD7に対して所定の復号処理操作及び変換処理操作を行って、入力フレーム画像D1に対応する画像として出力フレーム画像D10を復元する画像復号方法である。
図9に示した画像復号方法においては、まず、符号化データD7に対して逆算術符号化を用いて可変長復号を行い、複数の直交変換係数(量子化係数)D6を生成する(S201、復号ステップ)。また、動き補償に対して選択された符号化モードを示す符号化モード情報D3も、直交変換係数D6とともに逆算術符号化を用いて符号化データD7から復号される。
具体的には、まず、符号化データD7に対して適用する確率テーブルが所定の確率テーブルに設定され、その確率テーブルを用いて符号化データD7が逆算術符号化されて(S202、逆算術符号化ステップ)、符号化モード情報D3と直交変換係数D6とに対応する2値化パターンがそれぞれ生成される。そして、符号化モード情報D3と直交変換係数D6とに対応する2値化パターンが、それぞれ所定の2値化テーブルを用いて逆2値化されて、符号化データ情報D3及び直交変換係数D6が生成される(S203、逆2値化ステップ)。
ここで、本実施形態の画像復号方法においては、符号化データD7に対して逆算術符号化を行う際に、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、符号化対象のブロックの隣接ブロックで選択された符号化モードを参照して、各2値化符号に適用する確率テーブルを切り換えている。
次に、複数の直交変換係数D6に対して逆量子化操作及び逆直交変換操作を順次行って、空間画像データD9を生成する(S204、逆直交変換ステップ)。そして、空間画像データD9に対して符号化モード情報D3が示す符号化モードを適用して動き補償を行い、出力フレーム画像D10を復元する(S205、動き補償ステップ)。
本実施形態による画像復号方法の効果について説明する。
図9に示した画像復号方法においては、データ圧縮された符号化データD7を逆算術符号化及び逆2値化することによって符号化モード情報D3及び画像データD6を復号した後、符号化モード情報D3が示す符号化モードを適用して動き補償を行う。そして、符号化データD7の逆算術符号化において、上述した算術符号化の場合と同様に、符号化モード情報D3が2値化された2値化パターンに含まれる2値化符号のそれぞれについて、隣接ブロックでの処理結果を参照しつつ確率テーブルを切り換えて、逆算術符号化を行うこととしている。
このように、符号化モード情報に対応する2値化パターンでの2値化符号のそれぞれに対して確率テーブルを適宜切り換えるコンテキストモデリングを行うことにより、2値化パターンでの2値化符号のそれぞれの符号位置や、隣接ブロックで選択された符号化モードなどが、逆算術符号化での復号条件に対して好適に反映される。したがって、符号化モード情報D3の冗長度を効果的に除去して、データ圧縮の効率が向上された符号化データD7から、データを好適に復元することが可能となる。
図10は、本発明による画像復号装置の一実施形態の構成を示すブロック図である。
復号対象として入力された符号化データD7は可変長復号部(復号手段)21に入力されて所定の確率テーブルを用いた逆算術符号化によって可変長復号され、複数の直交変換係数D6等が生成される。可変長復号部21は、データ圧縮された符号化データD7について、フレーム画像の先頭を示す同期ワードを検出し、以後、マクロブロック毎に符号化データD7に含まれている各データを復号して、周波数画像データである直交変換係数D6、動きベクトルD2、及び符号化モード情報D3等を生成する。なお、算術符号化に用いる確率テーブルは、上述のように適宜切り換えられる。
可変長復号部21において復号された直交変換係数D6は、逆量子化部22及び逆直交変換部(逆直交変換手段)23によって逆量子化、逆直交変換される。これにより、空間画像データである復元差分フレーム画像D9が生成される。この復元差分フレーム画像D9は、符号化前の差分フレーム画像D5に対応したフレーム画像である。
一方、動きベクトルD2及び符号化モード情報D3は、動き補償部24へと入力される。動き補償部24では、符号化モード情報D3が示す符号化モードによって画像の動き補償が行われ、可変長復号部21からの動きベクトルD2と、フレームメモリ25に格納されている他のフレーム画像とを用いて、予測フレーム画像D4が生成される。そして、加算器26において、復元差分フレーム画像D9と予測フレーム画像D4とが加算されて、復元されたフレーム画像が出力フレーム画像D10として出力される。
ここで、上記した画像符号化装置において実行される画像符号化方法に対応する処理は、画像符号化をコンピュータに実行させるための画像符号化プログラムによって実現可能である。また、画像復号装置において実行させる画像復号方法に対応する処理は、画像復号をコンピュータに実行させるための画像復号プログラムによって実現可能である。
例えば、画像符号化装置は、画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶させるROMと、プログラム実行中に一時的にデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の画像符号化プログラムを実行することにより、画像符号化装置を実現することができる。
同様に、画像復号装置は、画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるROMと、プログラム実行中に一時的にデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の画像復号プログラムを実行することにより、画像復号装置を実現することができる。
また、画像符号化または画像復号のための各処理をCPUに実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、CD−ROM及びDVD−ROMなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばRAM、ROM、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
また、画像符号化または画像復号をコンピュータに実行させるための上記したプログラムは、搬送波に包含されるコンピュータデータ信号とすることが可能である。これにより、画像符号化プログラムまたは画像復号プログラムを、有線または無線の搬送路等を介して搬送することができる。
以下、図5、図6に示した画像符号化方法及び画像符号化装置における画像データ及び符号化モード情報の算術符号化(可変長符号化)の手順、及びその好適な符号化条件について、ITU−T H.26L符号化方式を例として、具体例を示しつつ説明する。なお、以下に説明する符号化方法及び符号化条件については、図9、図10に示した画像復号方法及び画像復号装置に対しても同様に適用することが可能である。また、具体的な符号化方式については、上記したH.26L符号化方式には限定されない。
まず、図11A〜図11Dを参照して、画像データである直交変換係数の算術符号化の手順について説明しておく。ここでは、空間画像データを周波数画像データへと変換する直交変換としては、DCTを想定する。図11Aは、図8Bに示した4×4のDCT係数(量子化係数)f11〜f44の具体的な一数値例を示している。画像符号化装置の可変長符号化部では、このようなDCT係数に対して所定の処理手順で算術符号化を行って、符号化データを生成する。
係数fijの添字の値i、jが対応する垂直周波数、水平周波数をそれぞれ表しているDCT係数f11〜f44においては、空間画像データでの画像成分a11〜a44(図8A参照)とは異なり、各DCT係数が、その係数値の大きさなどについて、対応する空間周波数の値に依存したデータ特性を有している。一般に、自然画像においては、低周波数域で大きい直交変換の係数値が得られ、高周波数になるにしたがって係数値が小さくなる。
DCT係数の算術符号化の処理手順においては、まず、2次元データであるDCT係数f11〜f44が、図11Bに示すジグザグ・スキャンによって、1次元データへと変換される。このジグザグ・スキャンでは、スキャン後の1次元データが低周波数域から高周波数域へと移行していくデータ列となるように、DCT係数がスキャンされる。これにより、低周波数域から高周波数域へとDCT係数が並ぶ、図11Cに示す1次元データが得られる。
このDCT係数の1次元データは、そのデータ量を低減するため、さらに、図11Dに示すLevel(レベル)及びRun(ラン)からなるデータへと変換される。ここで、Levelは、複数のDCT係数のうちで0でない係数値を持つDCT係数での係数レベルを示す。また、Runは、0でないDCT係数の直前にある係数値が0のデータの数であるランレングスを示す。
例えば、図11Aに示したDCT係数のデータ例では、図11Cに示すように、16個のDCT係数f11〜f44が、0でない係数値を持つDCT係数の出現位置に基づいて、係数f11からなる係数群s1、係数f12、f21からなる係数群s2、係数f31〜f13からなる係数群s3、係数f14〜f32からなる係数群s4、及び係数f41〜f44からなる係数群s5へと区分される。
そして、これらの係数群s1〜s5に対して、図11Dに示すように、それぞれLevel値及びRun値が求められる。具体的には、係数群s1では、Level値がf11=10、Run値が0である。また、係数群s2では、Level値がf21=2、Run値が1である。また、係数群s3では、Level値がf13=−1、Run値が2である。また、係数群s4では、Level値がf32=1、Run値が2である。
また、最後の係数群s5は、全ての係数f41〜f44の係数値が0となっている係数群であり、図11Aに示したDCT係数における有効なデータの終端(EOB:End of Block)となっている。したがって、この係数群s5では、EOB符号を意味する0をLevel値とする。
図11Dに示したLevel及びRunからなるデータは、所定の2値化テーブルを用いて2値化され、算術符号化の対象となる2値化パターンが作成される。各Level及びRunのデータがそれぞれ2値化されたら、それらのデータをs1のLevel、s1のRun、s2のLevel、s2のRun、…、s5のLevelの順で、所定の確率テーブルを用いて算術符号化して、図11Aの直交変換係数に対応する符号化データである符号語を生成する。
次に、図12〜図15を参照して、動き補償について選択された符号化データを示す符号化データ情報の算術符号化の手順について説明する。ここでは、動き補償について用意される複数の符号化モードとしては、図7A〜図7Jに示した10個の符号化モード0〜9、すなわち1個のスキップモード0、7個のインターモード1〜7、及び2個のイントラモード8、9を想定する。
ここで、図7A〜図7Jに示した複数の符号化モードは、動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードと、動き補償を行うとともにブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードとを含んで設定されている。動き補償用ブロックは、上記したように、符号化対象となっているブロック内を1または複数のブロックに区分して、その区分された動き補償用ブロック毎に動きベクトルの付与を行うためのものである。
このような動き補償用ブロックに対し、ブロック区分が異なる2以上の符号化モードを含む図7A〜図7Jに示した複数の符号化モードについて、隣接ブロックで選択された符号化モードを参照して確率テーブルの切り換えを行うことにより、動き補償用ブロックの区分方法を含む動き補償の条件に応じて符号化データでの冗長度を低減させて、そのデータ圧縮の効率をさらに向上することができる。なお、スキップモードについては不要であれば設けない構成としても良い。
図7A〜図7Jに示した10個の符号化モード0〜9で、どの符号化モードが選択されたかを特定するための符号化モード情報の可変長符号化では、まず、所定の2値化テーブルを用いて符号化モード情報が2値化され、算術符号化の直接の対象となる2値化パターンが作成される。図12は、図7A〜図7Jに示した符号化モードを示す符号化モード情報の2値化に用いられる2値化テーブルの一例を示す表である。
符号化モード情報が2値化されたら、得られた2値化パターンを所定の確率テーブルを用いて算術符号化して、符号化モード情報に対応する符号化データである符号語を生成する。ここで、符号化モード情報の算術符号化に適用される確率テーブルについては、2値化パターンに含まれる2値化符号それぞれの2値化パターン内での符号位置(図12に示すBin_no.)毎に、異なる確率テーブルを用いても良い。あるいは、各符号位置で共通の確率テーブルを用いても良い。
さらに、図5、図6に示した画像符号化方法及び画像符号化装置においては、上述したように、この符号化モード情報の算術符号化において、符号化モード情報の2値化パターンに含まれる2値化符号のそれぞれについて、符号化対象のブロックの隣接ブロックで、複数の符号化モードのどの符号化モードが選択されたかを参照して確率テーブルを切り換えて、算術符号化を行っている。
ここで、図7A〜図7Jに示した10個の符号化モードのうちで、動き補償用ブロックの区分方法が異なる7個のインターモード1〜7について考えると、これらのインターモードからどの符号化モードが選択されるかは、検出される画像の動きの度合に依存する。
例えば、フレーム画像中で背景部分などの動きが単純な画像領域では、全体として動きベクトルを付与すれば充分に動き補償が可能である。したがってこの場合には、16×16のモード1などのブロック区分数が少ないインターモードが選択される。一方、動きが複雑で激しい画像領域では、動きベクトルを細かく付与して動き補償を行う必要がある。したがってこの場合には、4×4のモード7などのブロック区分数が多いインターモード、あるいはイントラモードが選択される。
そして、このような画像中での動きが単純または複雑な画像領域は、複数のマクロブロックにわたって広がる画像領域となっていることが多い。このため、あるブロックで動き補償用ブロックの区分数が少ないインターモードが選択されていれば、隣接するブロックでも同様に区分数が少ないインターモードが選択される可能性が高い。これは、区分数が多い符号化モードについても同様である。すなわち、隣接するブロック同士では、選択される符号化モードに一定の相関が存在する。
この符号化モード選択の特性を利用し、隣接ブロックでの符号化モードの選択結果を参照して符号化モード情報に適用する確率テーブルを切り換えて算術符号化を行えば、符号化モード情報の冗長度を効果的に除去することができ、符号化データでのデータ圧縮の効率を向上することができる。
この確率テーブルの切り換えについては、具体的には、例えば図13に示すように、符号化対象のブロックCに対して、左側に位置する隣接ブロックA及び上側に位置する隣接ブロックBを考え、これらの隣接ブロックA、Bでの処理結果を参照する方法がある。
すなわち、隣接ブロックA、Bにおいて選択された符号化モードを参照して、ブロックCでの符号化モード情報の2値化パターンに含まれる2値化符号のそれぞれに対して適用する確率テーブルを切り換える。このようなコンテキストモデリングによる確率テーブルの切り換えは、例えば、図4に示したコンテキストモデリングを用いた符号化方法(CABAC)などによって行うことができる。
また、隣接ブロックでの処理結果の参照方法としては、隣接ブロックで選択された符号化モードを直接に参照しても良い。
あるいは、動き補償について用意されている複数の符号化モードのそれぞれに対してあらかじめ複雑度を設定しておき、隣接ブロックで選択された符号化モードに対応する複雑度を参照して、確率テーブルを切り換える方法を用いることができる。このように、複数の符号化モードのそれぞれに対して複雑度を設定しておくことにより、隣接ブロックで選択された符号化モードなどの条件を、算術符号化での符号化条件に対して好適に反映させることができる。
図14は、図7A〜図7Jに示した複数の符号化モードのそれぞれに対して設定される複雑度の例を示す表である。図14に示した設定例では、スキップモード/インターモード/イントラモードの違い、及び動き補償用ブロックへの区分数の違いに基づいて、数字が大きいほど複雑度が高くなるように各符号化モードに対する複雑度0〜7を設定している。
具体的には、スキップモード0の複雑度が0、区分数1のイントラモード9での複雑度が1、区分数1のインターモード1での複雑度が2、区分数2のインターモード2及び3での複雑度が3、区分数4のインターモード4での複雑度が4、区分数8のインターモード5及び6での複雑度が5、区分数16のインターモード7での複雑度が6、区分数16のイントラモード8での複雑度が7に設定されている。
ただし、各符号化モードに対する複雑度の設定については、図14に示した以外の設定を用いることも可能である。例えば、図14に示した例では、横方向にブロック区分を行っているモード2(図7C)と、縦方向にブロック区分を行っているモード3(図7D)とに対して、同一の複雑度を設定している。これに対して、区分方向の違いによって異なる複雑度を設定しても良い。これは、モード2、3以外の各モードについても同様である。また、区分方向以外の条件を参照して複雑度を設定しても良い。
図15は、隣接ブロックで選択された符号化モードに対応する複雑度と、符号化対象のブロックで選択される符号化モードとの相関を示すグラフである。このグラフにおいて、横軸は、符号化対象のブロックで選択される符号化モードを示している。ただし、ここでは、インターモードの符号化モード1〜7について示している。また、縦軸は、各符号化モードが選択される確率を示している。
具体的には、図15中に示されている各グラフでは、図13に示した隣接ブロックの参照方法において、隣接ブロックA、Bでそれぞれ選択された符号化モードの複雑度の平均値について着目している。そして、隣接ブロックA、Bでの複雑度の平均値が図14に示した複雑度の設定において0、1、2、3、4、5であった場合について、それぞれブロックCで選択される符号化モードの選択確率のグラフを示している。
図15のグラフに示すように、隣接ブロックで選択された符号化モードの複雑度が0〜2で低い場合には、符号化対象のブロックにおいて区分数が少ないインターモード1が選択される確率が大きくなっている。これに対して、隣接ブロックで選択された符号化モードの複雑度が3〜5で高い場合には、符号化対象のブロックにおいて区分数が少ないインターモード1が選択される確率は小さい。隣接するブロック同士での、選択される符号化モードのこのような相関を利用すれば、符号化モード情報の2値化パターンに含まれる各2値化符号に対する確率テーブルを切り換えることにより、符号化モード情報の冗長度を除去することが可能である。
図16は、上記した符号化モード情報の2値化符号に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。この表では、従来のH.26L符号化方式のCABACを用いて画像を符号化した場合の符号量、符号化モード情報の2値化パターンでの各2値化符号に対する確率テーブルを切り換える本発明の方法を用いて画像を符号化した場合の符号量、及び確率テーブルを切り換える方法を用いたことによる符号量の低減率を示している。
ここで、符号量の低減率をみるための符号化対象の画像データ、及び画像符号化に用いる量子化パラメータQPについては、(a)テスト画像「Foreman」でQP=24、(b)テスト画像「Stefan」でQP=24、及び(c)テスト画像「Stefan」でQP=16、の3つの条件で画像符号化を行った。
図16の表に示すように、3つの条件での画像符号化のすべてにおいて、確率テーブルの切り換えによる符号量の低減効果が得られている。
なお、符号化モード情報の2値化パターンに含まれる各2値化符号に対する確率テーブルの切り換えについては、上述した画像符号化方法及び装置では、例えばBin_no.1(符号位置1、図12参照)の2値化符号のみについて確率テーブルの切り換えを行うのではなく、2値化パターンに含まれる2値化符号のそれぞれについて確率テーブルを切り換えている。
例えば、図12に示した2値化テーブルでは、選択された符号化モードによって2値化パターンのパターン長が異なっている。これに対して、2値化符号のそれぞれについて確率テーブルを切り換えることにより、複数の符号化モードのいずれが選択された場合であっても、その符号化モードでのデータ圧縮の効率を向上することができる。ただし、この確率テーブルの切り換えについては、複数の2値化符号の全体として切り換えても良く、あるいは、2値化符号のそれぞれで別個に切り換えても良い。
ここで、2値化符号に適用する確率テーブルの切り換えについては、2値化符号の2値化パターンでの符号位置(Bin_no.)と、その2値化符号によって区別される符号化モードとの相関を考慮して、確率テーブルを切り換えることが好ましい。このように、2値化パターンに含まれる2値化符号の、それぞれの符号位置に応じた符号化モードとの対応関係を考慮して確率テーブルを切り換えることにより、隣接ブロックで選択された符号化モードなどの条件を、算術符号化での符号化条件に対して好適に反映させることができる。
このような確率テーブルの切り換え方法の具体例について、図17を参照して説明する。図17は、図7A〜図7Jに示した符号化モードを示す符号化モード情報の2値化に用いられる2値化テーブルの他の例を示す表である。
図17に示した2値化テーブルにおける2値化パターンでは、その1ビット目であるBin_no.1の2値化符号は、符号化モードがスキップモード0か、それ以外のモード1〜9かを示すビットとなっている。したがって、このビットに対しては、例えば、隣接ブロックA、Bがスキップモード0であるかどうかなどによって3つの確率テーブルを切り換える。
また、2ビット目であるBin_no.2の2値化符号は、1ビット目が「1」であった場合に、符号化モードが16×16のインターモード1か、それ以外のモード2〜9かを示すビットとなっている。したがって、このビットに対しては、隣接ブロックがスキップモード0または16×16のインターモード1か、それ以外かによって確率テーブルを切り換える。なお、16×16のインターモード1は、背景などの比較的動きの単純な画像部分や、動きの少ない画像部分に多く発生するため、スキップモード0との相関性が高い。
具体的には、例えば、隣接マクロブロックA、Bでのモードについて、スキップモード0、16×16のインターモード1、画面外であれば0、それ以外であれば1としたときのA+Bの大きさによって3つの確率テーブルを切り換える。A+B=0のときには0となる確率が大きい確率テーブルとし、A+B=2のときには1となる確率が大きい確率テーブルとする。なお、このような方法は、3ビット目以降についても同様に適用可能である。
3ビット目であるBin_no.3の2値化符号は、2ビット目が「1」であった場合に、符号化モードが16×8のインターモード2または8×16のインターモード3か、それ以外のモード4〜9かを示すビットとなっている。したがって、このビットに対しては、1ビット目、2ビット目とは異なる確率テーブルを用いる。
また、4ビット目であるBin_no.4の2値化符号は、3ビット目が「1」であった場合に、インターモード4〜7か、イントラモード8、9かを示すビットとなっている。したがって、このビットに対しては、1ビット目、2ビット目、及び3ビット目とは異なる確率テーブルを用いる。
また、上記以外のビットは、1〜4ビット目までで大まかに分けた符号化モード情報を、細かく識別するために使用されるビットであり、インターモード4〜7では2ビット、イントラモード8、9では1ビット使用される。これらのビットについては、例えば、すべて同じ確率テーブルを用いる。
図18は、本発明による画像伝送システム(例えばモバイル映像伝送システム)の一実施形態の構成を示す模式図である。本画像伝送システムは、図5に示した画像符号化方法が実現される画像符号化装置(例えば図6に示す画像符号化装置)1と、図9に示した画像復号方法が実現される画像復号装置(例えば図10に示す画像復号装置)2とを備えて構成される。
本システムにおいて、入力フレーム画像D1は、画像符号化装置1において符号化されて符号化データD7が生成され、有線または無線の所定の伝送路へと出力される。そして、画像符号化装置1から伝送路を伝送された符号化データD7は、画像復号装置2に入力され、出力フレーム画像D10として復元される。
このような画像伝送システムによれば、符号化データに多重化される符号化モード情報に対するデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
産業上の利用可能性
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システムは、符号化データに多重化される符号化モード情報に対するデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
すなわち、符号化モード情報と符号化データとの間での可変長符号化または復号において、符号化対象となっているブロックの隣接ブロックで選択された符号化モードを参照し、符号化モード情報に対応する2値化パターンに含まれる2値化符号のそれぞれについて、算術符号化に用いる確率テーブルを切り換える構成によれば、2値化パターンでの2値化符号のそれぞれの符号位置や、隣接ブロックで選択された符号化モードなどが、算術符号化での符号化条件に対して好適に反映される。したがって、符号化モード情報の冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
【図面の簡単な説明】
図1は、算術符号化に用いられる確率テーブルの一例を示す表である。
図2は、図1に示した確率テーブルを用いた文字列の符号化について示す図である。
図3は、図1に示した確率テーブルを用いた文字列の復号について示す図である。
図4は、算術符号化を用いた画像符号化方法の一例を示すフローチャートである。
図5は、画像符号化方法の一実施形態を概略的に示すフローチャートである。
図6は、画像符号化装置の一実施形態の構成を示すブロック図である。
図7A〜図7Jは、動き補償に用いられる符号化モードの一例を示す模式図である。
図8A及び図8Bは、画像データの直交変換について示す図である。
図9は、画像復号方法の一実施形態を概略的に示すフローチャートである。
図10は、画像復号装置の一実施形態の構成を示すブロック図である。
図11A〜図11Dは、DCT係数の算術符号化について示す図である。
図12は、符号化モード情報の2値化に用いられる2値化テーブルの例を示す表である。
図13は、符号化対象のブロックCに対して、隣接ブロックA、Bを参照するコンテキストモデリングについて示す図である。
図14は、図7A〜図7Jに示した複数の符号化モードのそれぞれに対して設定される複雑度の例を示す表である。
図15は、隣接ブロックで選択された符号化モードに対応する複雑度と、符号化対象のブロックで選択される符号化モードとの相関を示すグラフである。
図16は、符号化モード情報に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。
図17は、符号化モード情報の2値化に用いられる2値化テーブルの他の例を示す表である。
図18は、画像伝送システムの一実施形態の構成を示す模式図である。
Claims (25)
- フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化方法であって、
前記ブロック内にある画像の画像データを前記フレーム画像または他のフレーム画像にある他のブロックと比較して動きを検出し、動き補償について用意された複数の符号化モードから前記画像データに適用する符号化モードを選択して、前記画像データに対する動き補償を行う動き補償ステップと、
所定の2値化テーブルを用いて選択された前記符号化モードを示す符号化モード情報及び前記画像データを2値化して2値化パターンを生成するとともに、所定の確率テーブルを用いた算術符号化によって前記2値化パターンを可変長符号化して、符号化データを生成する符号化ステップとを備え、
前記符号化ステップにおいて、前記符号化モード情報に対応する前記2値化パターンに含まれる2値化符号のそれぞれについて、前記ブロックの隣接ブロックで選択された符号化モードを参照して、適用する前記確率テーブルを切り換えることを特徴とする画像符号化方法。 - 前記複数の符号化モードは、前記動き補償を行うとともに前記ブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことを特徴とする請求項1記載の画像符号化方法。
- 前記複数の符号化モードは、前記動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことを特徴とする請求項1または2記載の画像符号化方法。
- 前記符号化ステップにおいて、前記複数の符号化モードのそれぞれに対して複雑度を設定しておき、前記隣接ブロックで選択された符号化モードに対応する前記複雑度を参照して、前記確率テーブルを切り換えることを特徴とする請求項1〜3のいずれか一項記載の画像符号化方法。
- 前記符号化ステップにおいて、前記2値化符号の前記2値化パターンでの符号位置と、その2値化符号によって区別される前記符号化モードとの相関を考慮して、前記確率テーブルを切り換えることを特徴とする請求項1〜4のいずれか一項記載の画像符号化方法。
- フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して2値化パターンを生成するとともに、所定の2値化テーブルを用いて前記2値化パターンを逆2値化して、符号化モード情報及び前記ブロック内にある画像の画像データを生成する復号ステップと、
動き補償について用意された複数の符号化モードから前記符号化モード情報が示す選択された符号化モードを適用して、前記画像データに対する動き補償を行う動き補償ステップとを備え、
前記復号ステップにおいて、前記符号化モード情報に対応する前記2値化パターンに含まれる2値化符号のそれぞれについて、前記ブロックの隣接ブロックで選択された符号化モードを参照して、適用する前記確率テーブルを切り換えることを特徴とする画像復号方法。 - 前記複数の符号化モードは、前記動き補償を行うとともに前記ブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことを特徴とする請求項6記載の画像復号方法。
- 前記複数の符号化モードは、前記動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことを特徴とする請求項6または7記載の画像復号方法。
- 前記復号ステップにおいて、前記複数の符号化モードのそれぞれに対して複雑度を設定しておき、前記隣接ブロックで選択された符号化モードに対応する前記複雑度を参照して、前記確率テーブルを切り換えることを特徴とする請求項6〜8のいずれか一項記載の画像復号方法。
- 前記復号ステップにおいて、前記2値化符号の前記2値化パターンでの符号位置と、その2値化符号によって区別される前記符号化モードとの相関を考慮して、前記確率テーブルを切り換えることを特徴とする請求項6〜9のいずれか一項記載の画像復号方法。
- フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化装置であって、
前記ブロック内にある画像の画像データを前記フレーム画像または他のフレーム画像にある他のブロックと比較して動きを検出し、動き補償について用意された複数の符号化モードから前記画像データに適用する符号化モードを選択して、前記画像データに対する動き補償を行う動き補償手段と、
所定の2値化テーブルを用いて選択された前記符号化モードを示す符号化モード情報及び前記画像データを2値化して2値化パターンを生成するとともに、所定の確率テーブルを用いた算術符号化によって前記2値化パターンを可変長符号化して、符号化データを生成する符号化手段とを備え、
前記符号化手段は、前記符号化モード情報に対応する前記2値化パターンに含まれる2値化符号のそれぞれについて、前記ブロックの隣接ブロックで選択された符号化モードを参照して、適用する前記確率テーブルを切り換えることを特徴とする画像符号化装置。 - 前記複数の符号化モードは、前記動き補償を行うとともに前記ブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことを特徴とする請求項11記載の画像符号化装置。
- 前記複数の符号化モードは、前記動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことを特徴とする請求項11または12記載の画像符号化装置。
- 前記符号化手段は、前記複数の符号化モードのそれぞれに対して複雑度を設定しておき、前記隣接ブロックで選択された符号化モードに対応する前記複雑度を参照して、前記確率テーブルを切り換えることを特徴とする請求項11〜13のいずれか一項記載の画像符号化装置。
- 前記符号化手段は、前記2値化符号の前記2値化パターンでの符号位置と、その2値化符号によって区別される前記符号化モードとの相関を考慮して、前記確率テーブルを切り換えることを特徴とする請求項11〜14のいずれか一項記載の画像符号化装置。
- フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して2値化パターンを生成するとともに、所定の2値化テーブルを用いて前記2値化パターンを逆2値化して、符号化モード情報及び前記ブロック内にある画像の画像データを生成する復号手段と、
動き補償について用意された複数の符号化モードから前記符号化モード情報が示す選択された符号化モードを適用して、前記画像データに対する動き補償を行う動き補償手段とを備え、
前記復号手段は、前記符号化モード情報に対応する前記2値化パターンに含まれる2値化符号のそれぞれについて、前記ブロックの隣接ブロックで選択された符号化モードを参照して、適用する前記確率テーブルを切り換えることを特徴とする画像復号装置。 - 前記複数の符号化モードは、前記動き補償を行うとともに前記ブロック内にある画像の動き補償用ブロックへの区分方法が互いに異なる2以上の符号化モードを含むことを特徴とする請求項16記載の画像復号装置。
- 前記複数の符号化モードは、前記動き補償に使用する参照フレームと同位置の画像をコピーするスキップモードを含むことを特徴とする請求項16または17記載の画像復号装置。
- 前記復号手段は、前記複数の符号化モードのそれぞれに対して複雑度を設定しておき、前記隣接ブロックで選択された符号化モードに対応する前記複雑度を参照して、前記確率テーブルを切り換えることを特徴とする請求項16〜18のいずれか一項記載の画像復号装置。
- 前記復号手段は、前記2値化符号の前記2値化パターンでの符号位置と、その2値化符号によって区別される前記符号化モードとの相関を考慮して、前記確率テーブルを切り換えることを特徴とする請求項16〜19のいずれか一項記載の画像復号装置。
- 請求項1〜5のいずれか一項記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
- 搬送波に包含され、請求項1〜5のいずれか一項記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを搬送するコンピュータデータ信号。
- 請求項6〜10のいずれか一項記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
- 搬送波に包含され、請求項6〜10のいずれか一項記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを搬送するコンピュータデータ信号。
- フレーム画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データによって前記フレーム画像を伝送する画像伝送システムであって、
前記フレーム画像から前記符号化データを生成して出力する請求項11〜15のいずれか一項記載の画像符号化装置と、
前記画像符号化装置からの前記符号化データを入力して前記フレーム画像を復元する請求項16〜20のいずれか一項記載の画像復号装置と
を備えることを特徴とする画像伝送システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001352379 | 2001-11-16 | ||
JP2001352379 | 2001-11-16 | ||
PCT/JP2002/012013 WO2003043347A1 (en) | 2001-11-16 | 2002-11-18 | Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2003043347A1 true JPWO2003043347A1 (ja) | 2005-03-10 |
JP3764458B2 JP3764458B2 (ja) | 2006-04-05 |
Family
ID=19164565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003545047A Expired - Fee Related JP3764458B2 (ja) | 2001-11-16 | 2002-11-18 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7336711B2 (ja) |
EP (1) | EP1445956A4 (ja) |
JP (1) | JP3764458B2 (ja) |
CN (1) | CN1285216C (ja) |
WO (1) | WO2003043347A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
EP2262269B1 (en) | 2001-12-17 | 2018-01-24 | Microsoft Technology Licensing, LLC | Skip macroblock coding |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
US7590059B2 (en) * | 2004-05-21 | 2009-09-15 | Broadcom Corp. | Multistandard video decoder |
FR2872975A1 (fr) * | 2004-07-06 | 2006-01-13 | Thomson Licensing Sa | Procede et dispositif pour choisir un mode de codage |
KR100648258B1 (ko) * | 2004-08-02 | 2006-11-23 | 삼성전자주식회사 | 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더 |
CN100370834C (zh) * | 2005-08-08 | 2008-02-20 | 北京中星微电子有限公司 | 多模图像编解码芯片中的系数缩放计算模块 |
US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
JP4622804B2 (ja) * | 2005-10-26 | 2011-02-02 | ソニー株式会社 | 符号化装置、符号化方法およびプログラム |
KR100644713B1 (ko) * | 2005-10-31 | 2006-11-10 | 삼성전자주식회사 | 컨텍스트 기반 적응적 이진 산술 코딩 복호기에서 원소구문을 복호화하는 방법 및 이를 위한 복호화 장치 |
JP4902854B2 (ja) * | 2006-09-12 | 2012-03-21 | パナソニック株式会社 | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 |
JP2008118533A (ja) * | 2006-11-07 | 2008-05-22 | Toshiba Corp | 復号化器、方法およびプログラム |
JP4825644B2 (ja) * | 2006-11-14 | 2011-11-30 | ルネサスエレクトロニクス株式会社 | 画像復号装置、画像符号化装置、およびシステムlsi |
GB2457262A (en) * | 2008-02-08 | 2009-08-12 | Linear Algebra Technologies | Compression / decompression of data blocks, applicable to video reference frames |
US20090245371A1 (en) * | 2008-03-28 | 2009-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding information about intra-prediction mode of video |
US8400683B2 (en) * | 2008-05-28 | 2013-03-19 | Xerox Corporation | Streak compensation using model based projections for run time updates |
JP2010016453A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 画像符号化装置および方法、画像復号装置および方法、並びにプログラム |
GB2466666B (en) * | 2009-01-06 | 2013-01-23 | Skype | Speech coding |
KR101952726B1 (ko) | 2009-03-23 | 2019-02-27 | 가부시키가이샤 엔.티.티.도코모 | 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 복호 장치, 및 화상 예측 복호 방법 |
EP3998776B1 (en) * | 2009-05-29 | 2023-08-30 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method |
US9467705B2 (en) | 2009-12-30 | 2016-10-11 | Ariscale Inc. | Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block |
CN107046644B (zh) | 2010-04-09 | 2020-03-24 | 三菱电机株式会社 | 运动图像编码装置以及运动图像解码装置 |
CA3011241C (en) | 2010-07-20 | 2019-09-10 | Ntt Docomo, Inc. | Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions |
JP5706771B2 (ja) * | 2010-07-30 | 2015-04-22 | キヤノン株式会社 | 動画像の予測符号化装置及びその制御方法、コンピュータプログラム |
KR20120014676A (ko) * | 2010-08-10 | 2012-02-20 | 에스케이 텔레콤주식회사 | 적응적 부호화/복호화 모드 인덱싱 기법을 이용한 영상 부호화/복호화 장치 및 방법 |
FR2972588A1 (fr) | 2011-03-07 | 2012-09-14 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
FR2977111A1 (fr) | 2011-06-24 | 2012-12-28 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
MX346677B (es) * | 2011-11-04 | 2017-03-29 | Sharp Kk * | Dispositivo de decodificacion aritmetica, dispositivo de decodificacion de imagenes, dispositivo de codificacion aritmetica, dispositivo de codificacion de imagenes y metodo de decodificacion aritmetica. |
JP6662363B2 (ja) * | 2017-07-31 | 2020-03-11 | 東洋製罐株式会社 | 缶製造方法、缶の肩部に立体成形部を形成する装置、缶、缶製造工具セット |
WO2019235366A1 (ja) * | 2018-06-06 | 2019-12-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
CN113812155B (zh) | 2019-05-11 | 2023-10-27 | 北京字节跳动网络技术有限公司 | 多种帧间编解码方法之间的交互 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5400075A (en) * | 1993-01-13 | 1995-03-21 | Thomson Consumer Electronics, Inc. | Adaptive variable length encoder/decoder |
JP3222876B2 (ja) * | 1996-11-07 | 2001-10-29 | 松下電器産業株式会社 | 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体 |
EP1689189A3 (en) | 1996-11-07 | 2008-12-10 | Panasonic Corporation | Image encoder and image decoder |
JP3975629B2 (ja) * | 1999-12-16 | 2007-09-12 | ソニー株式会社 | 画像復号装置及び画像復号方法 |
US6765964B1 (en) * | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
EP1404133A4 (en) * | 2001-06-29 | 2010-04-21 | Ntt Docomo Inc | IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD |
WO2003026315A1 (en) * | 2001-09-14 | 2003-03-27 | Ntt Docomo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
US20040081238A1 (en) * | 2002-10-25 | 2004-04-29 | Manindra Parhy | Asymmetric block shape modes for motion estimation |
-
2002
- 2002-11-18 WO PCT/JP2002/012013 patent/WO2003043347A1/ja active Application Filing
- 2002-11-18 JP JP2003545047A patent/JP3764458B2/ja not_active Expired - Fee Related
- 2002-11-18 EP EP02780118A patent/EP1445956A4/en not_active Withdrawn
- 2002-11-18 US US10/476,145 patent/US7336711B2/en not_active Expired - Fee Related
- 2002-11-18 CN CNB028082478A patent/CN1285216C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7336711B2 (en) | 2008-02-26 |
EP1445956A4 (en) | 2009-09-02 |
EP1445956A1 (en) | 2004-08-11 |
WO2003043347A8 (en) | 2005-03-24 |
JP3764458B2 (ja) | 2006-04-05 |
US20040179601A1 (en) | 2004-09-16 |
WO2003043347A1 (en) | 2003-05-22 |
CN1285216C (zh) | 2006-11-15 |
CN1547854A (zh) | 2004-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3764458B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
JP3764457B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
RU2751082C1 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
JP3842803B2 (ja) | 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び信号復号プログラム | |
US7822119B2 (en) | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
EP1478190B1 (en) | Image encoding device, image encoding method, and image encoding program | |
JP5686499B2 (ja) | 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 | |
KR20040106392A (ko) | 부호화 장치 및 방법, 복호 장치 및 방법, 기록 매체, 및프로그램 | |
JP2014526853A (ja) | 映像復号化装置 | |
JP3778913B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
JP2023156438A (ja) | データ符号化方法及び装置、データ復号化方法及び装置、画像処理装置 | |
EP2489194A1 (en) | Methods for video coding and decoding | |
JP2008252346A (ja) | 画像符号化装置及び画像符号化方法 | |
KR20180096194A (ko) | 변환 계수 부호화 및 복호화 장치와 이를 구비하는 부호화 장치 및 복호화 장치 | |
JP2012023613A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP3491001B1 (ja) | 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム | |
JP5469931B2 (ja) | 動画像復号化方法、動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060119 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3764458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090127 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140127 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |