JP2006135807A - スケーラブル動画像符号化・復号化方法及びシステム - Google Patents
スケーラブル動画像符号化・復号化方法及びシステム Download PDFInfo
- Publication number
- JP2006135807A JP2006135807A JP2004324242A JP2004324242A JP2006135807A JP 2006135807 A JP2006135807 A JP 2006135807A JP 2004324242 A JP2004324242 A JP 2004324242A JP 2004324242 A JP2004324242 A JP 2004324242A JP 2006135807 A JP2006135807 A JP 2006135807A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- encoding
- band
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】 本発明は、動画像の符号化・復号化において、動画像のフレーム間相関を利用して、ウェーブレットフィルタにより原画像を2D個の帯域に等分割した後、最低周波数帯域間で時間方向のウェーブレット変換を行う。
【選択図】 図1
Description
(1)動画像を対象としたMPEG(映像メディア学会編、「MPEG」、オーム社、1996
年4月)、H.264(H.264/AVC教科書、大久保榮監修、インプレス社、2004);
(2)静止画像を対象としたJPEG2000(ISO/IEC 15444-1 JPEG2000 Part I:Core coding system 2000-12-15)
はよく知られている。MPEG/H.264は、動き補償と直交変換を用いた手法で、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。一方、JPEG2000は、ウェーブレット変換とEBCOTと呼ばれる埋込型のエントロピー符号化を用いた手法であり、フレーム間相関を利用していないためMPEG/H.264と比較すると符号化効率は劣るものの、MPEG/H.264にはない空間・SNRスケーラビリティなど様々な有効な機能を持つ。動画像への適用も可能としたMotion JPEG2000も提案されており、JPEG2000と同様な機能を持つ。
符号化装置において、
入力された原画像を、ウェーブレットフィルタにより2D個の帯域に等分割し(ステップ1)、
2D個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行い(ステップ2)、
復号化装置において、
符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する(ステップ3)。
符号化されたデータの復号時においてN/2D倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して低域から2U帯域(Uは、N<2Uを満たす最小の整数)を合成し、
各種解像度変換方法を用いてN/2U倍の解像度変換を行い、N/2D倍の解像度画像を生成する。
符号化装置において、
入力された原画像を、フィルタバンクによりM個の帯域に等分割し、
最低周波数帯域間で時間方向のウェーブレット変換を行い、
復号化装置において、
符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する。
符号化されたデータの復号時においてN/M倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して符号化時とは異なる分割数を持つN帯域等分割フィルタバンクにより復号する。
符号化装置100は、
入力された原画像を、ウェーブレットフィルタにより2D個の帯域に等分割する等帯域分割手段10と、
2D個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段11と、を有し、
復号化装置200は、
符号化装置100から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する復号化手段210を有する。
符号化されたデータの復号時においてN/2D倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して低域から2U帯域(Uは、N<2Uを満たす最小の整数)を合成する帯域合成手段28と、
各種解像度変換方法を用いてN/2U倍の解像度変換を行い、N/2D倍の解像度画像を生成するデシメーション処理手段29と、を含む、
本発明(請求項7)は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
符号化装置は、
入力された原画像を、フィルタバンクによりM個の帯域に等分割する帯域等分割手段と、
最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
復号化装置は、
符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する復号化手段を有する。
符号化されたデータの復号時においてN/M倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して符号化時とは異なる分割数を持つN帯域等分割フィルタバンクにより復号する帯域合成手段を含む。
図4は、本発明の第1の実施の形態における動画像スケーラブル符号器の基本構成を示しており、動画像スケーラブル符号器は、任意の有理数倍の空間解像度で復号可能な機能を有する。
・時間方向にほぼ無相関;
以上の特性から、計算量の増加に対する符号化効率の向上率が小さいことを考慮し、最低高周波数帯域以外の帯域に対しては、フレーム間符号化を行わない。
階層的可変サイズブロックマッチングHVSBM(Hierachical Variable Size Block Matching)(例えば、文献[S.T.Hsiang. J.W. Woods and J.R. Ohm,”Invertible temporal subband/wavelet filter banks with half-pixel-accurate motion compensation,” IEEE trans. Image Processing, No.8, pp.1018-1028, Aug.2004])を用いて動き推定を行う。HVSBMにおいては、まず、16×16画素の小ブロック単位で動きベクトルを推定する。推定には、SAD(Sum of Absolute Difference)値を計算し、最小のSAD値を与えるベクトルが動きベクトルとして選ばれる。さらに、そのブロックを4つの小ブロック8×8に分割し、各小ブロックで動きベクトルの偏差を求める。このプロセスを4×4の小ブロックまで求める。
図7は、本発明の第1の実施の形態における時間方向フィルタリングの画素対応を示す。同図より、動きベクトルの推定に全く関与しない画素や、逆に複数の画素と関連する画素が存在することがわかる。ここで、一つの画素と対応関係がある画素を単一結合画素、2つ以上の画素と対応関係がある画素を複数結合画素、対応関係がない画素を非結合画素と呼ぶ。完全再構成を実現するためには、これらを特定する必要があり、MCTFにおいて利用する。
・高域通過フィルタ:H=(B−A)/√2
複数結合画素では、動きベクトルの推定時の差分絶対値和SADが小さい方の画素との間で、上記の演算を行う。また、非結合画素の変換値は、L=A/√2とし、低域通過フィルタの出力とする。連続する2フレーム間で上記のフィルタリング処理を行い、さらに得られた低域通過フィルタの出力信号間に対して、同様な処理を繰り返す。図8は、分解レベルを4としたときのフィルタリングの様子を示している。このとき連続する16枚のフレームに対してウェーブレット変換を施したことになり、ここでは、その処理単位をGOP(Group Of Pictures)と呼ぶ。
・L:SNRを基準としたレイヤ
・Rs:空間解像度レベル
・Rt:時間解像度レベル
・C:色
の4つを定義する。これらをどのような優先順で並べるかによって何種類のスケーラビリティを実現できる。ここでは空間解像度に関して優先的にスケーラビリティを持たせるため、図10に示すRsRtLC構造とする。GOP=16(図9)のとき、時間解像度レベルは図11に示すように定義される。デコーダ側では、例えば、フレームレートを1/8に落としたい場合、Rt0、Rt1のみを抽出すればよい。これらは時間方向のLLLLとLLLH成分に対応し、MCTFの逆変換により低周波信号が復号される。また、空間解像度レベルは、分割レベルがD=2のとき、図12のように定義される。
図13は、本発明の第2の実施の形態における復号器の基本構成図であり、任意の有理数倍の空間解像度で復号可能な動画像スケーラブル復号器を示している。
例えば、
N=1,2のとき、U=1
N=3,4のとき、U=2
N=5〜8のとき、U=3
N帯域合成部28のステージ数は、符号化器の分割数(すなわち2D)には依存せず、Nによってのみ決まることがわかる。
本実施の形態では、フィルタバンクを用いた例を説明する。符号器の基本構成は、前述の第1の実施の形態と同様に図4に示す方法となる。第1の実施の形態と比較すると、等帯域分割部10に用いるフィルタが異なる。ここでは、図15(a)に示すM分割フィルタバンクを用いる。引き続く処理は、第1の実施の形態と同様である。
本実施の形態では、フィルタバンクを用いた復号器について説明する。図16に、フィルタバンクを用いた復号器の基本構成を示す。同図に示す構成と第2の実施の形態の図13に示す構成と比較すると、デシメーション処理を必要としない点と、N帯域合成部38で用いるフィルタに違いがある。フィルタバンクを用いて、原画像に対してN/M倍の解像度の画像を得るためには、合成フィルタバンクを図15(b)に示す構成になる。すなわち、N/M倍の解像度変換は、M分割分析フィルタバンクとN分割合成フィルタバンクを用いることによって実現できる。N倍にアップサンプリングされた信号は、それぞれ2π/Nの帯域幅を持つ各合成フィルタを通り、加算され、出力を得る。このとき、原画像のN/M倍の解像度の空間解像度を持つ画像となる。
11 時間方向ウェーブレット変換手段、時間方向のウェーブレット変換部(MCTF)
12 空間内ウェーブレット変換部
13 量子化部
14 埋込型エントロピー符号化部
15 動き推定部
16 動きベクトル符号化部
17 量子化部
18 埋込型エントロピー符号化部
19 インタリーブ
20 ビットストリーム抽出部
21 埋込型エントロピー復号化部
22 逆量子化部
23 逆ウェーブレット変換部
24 MCTF合成部
25 動きベクトル復号化部
26 埋込エントロピー復号化部
27 逆量子化部
28 帯域合成手段、N帯域合成部
29 デシメーション処理手段、デシメーション処理部
30 フレーム間符号化部
31 埋込型エントロピー復号化部
32 逆量子化部
33 逆ウェーブレット変換部
34 MCTF合成部
35 動きベクトル復号化部
36 埋込型エントロピー復号化部
37 逆量子化部
38 N帯域合成部
39 ビットストリーム抽出部
40 フレーム間復号部
50 フレーム内符号化部
60 フレーム内復号部
70 レート制御部
80 フレーム間復号部
90 フレーム内復号部
95 レート制御
100 符号化器、符号化装置
200 復号化器、復号化装置
210 復号化手段
Claims (8)
- 入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、ウェーブレットフィルタにより2D個の帯域に等分割し、
2D個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。 - 前記復号化装置において、
前記符号化されたデータの復号時においてN/2D倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して低域から2U帯域(Uは、N<2Uを満たす最小の整数)を合成し、
各種解像度変換方法を用いてN/2U倍の解像度変換を行い、N/2D倍の解像度画像を生成する請求項1記載のスケーラブル動画像符号化・復号化方法。 - 入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、フィルタバンクによりM個の帯域に等分割し、
最低周波数帯域間で時間方向のウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。 - 前記復号化装置において、
前記符号化されたデータの復号時においてN/M倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して符号化時とは異なる分割数を持つN帯域等分割フィルタバンクにより復号する請求項3記載のスケーラブル動画像符号化・復号化方法。 - 入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、ウェーブレットフィルタにより2D個の帯域に等分割する等帯域分割手段と、
2D個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、を有し、
前記復号化装置は、
前記符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。 - 前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてN/2D倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して低域から2U帯域(Uは、N<2Uを満たす最小の整数)を合成する帯域合成手段と、
各種解像度変換方法を用いてN/2U倍の解像度変換を行い、N/2D倍の解像度画像を生成するデシメーション処理手段と、を含む請求項5記載のスケーラブル動画像符号化・復号化システム。 - 入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、フィルタバンクによりM個の帯域に等分割する帯域等分割手段と、
最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
前記復号化装置は、
前記符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。 - 前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてN/M倍の解像度画像の帯域合成する際に、N+1帯域以上の信号を破棄して符号化時とは異なる分割数を持つN帯域等分割フィルタバンクにより復号する帯域合成手段を含む請求項7記載のスケーラブル動画像符号化・復号化システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004324242A JP4385928B2 (ja) | 2004-11-08 | 2004-11-08 | スケーラブル動画像符号化・復号化方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004324242A JP4385928B2 (ja) | 2004-11-08 | 2004-11-08 | スケーラブル動画像符号化・復号化方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006135807A true JP2006135807A (ja) | 2006-05-25 |
JP4385928B2 JP4385928B2 (ja) | 2009-12-16 |
Family
ID=36728907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004324242A Expired - Fee Related JP4385928B2 (ja) | 2004-11-08 | 2004-11-08 | スケーラブル動画像符号化・復号化方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4385928B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225431A (ja) * | 2008-02-19 | 2009-10-01 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN113711592A (zh) * | 2019-04-01 | 2021-11-26 | 北京字节跳动网络技术有限公司 | 帧内块复制编码模式中的二分之一像素插值滤波器 |
-
2004
- 2004-11-08 JP JP2004324242A patent/JP4385928B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009225431A (ja) * | 2008-02-19 | 2009-10-01 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN113711592A (zh) * | 2019-04-01 | 2021-11-26 | 北京字节跳动网络技术有限公司 | 帧内块复制编码模式中的二分之一像素插值滤波器 |
Also Published As
Publication number | Publication date |
---|---|
JP4385928B2 (ja) | 2009-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100664928B1 (ko) | 비디오 코딩 방법 및 장치 | |
JP4124792B2 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
US20060159359A1 (en) | Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking | |
MXPA06006107A (es) | Metodo y aparato de codificacion y decodificacion escalables de video. | |
JP2007520149A (ja) | エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法 | |
US20060013312A1 (en) | Method and apparatus for scalable video coding and decoding | |
JP2011193531A (ja) | 動画像符号化装置及び動画像復号装置と、その方法及びプログラム | |
US20060013311A1 (en) | Video decoding method using smoothing filter and video decoder therefor | |
Xing et al. | Arbitrarily shaped video-object coding by wavelet | |
JP2006521039A (ja) | オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した3次元ウェーブレットビデオ符号化 | |
US20060159173A1 (en) | Video coding in an overcomplete wavelet domain | |
CN1878304B (zh) | 编码和解码图像序列的方法和设备 | |
KR100834749B1 (ko) | 스케일러블 비디오 스트림 재생장치 및 그 방법 | |
US7848429B2 (en) | Hierarchical coding and decoding method | |
MXPA06006117A (es) | Metodo y aparato de codificacion y decodificacion escalables de video. | |
KR20060063619A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
JP4385928B2 (ja) | スケーラブル動画像符号化・復号化方法及びシステム | |
KR100361804B1 (ko) | 웨이브렛 이론을 이용한 동영상 압축/복원 장치 및 그 방법 | |
JP4522951B2 (ja) | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
KR100664930B1 (ko) | 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치 | |
KR100897640B1 (ko) | 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 | |
JP4231386B2 (ja) | 解像度スケーラブル復号化方法及び装置 | |
JP4153774B2 (ja) | 動画像符号化方法とその復号化方法、およびそれらの装置 | |
JP4462071B2 (ja) | スケーラブルトランスコード方法及び装置及びプログラム | |
Nakachi et al. | A study on non-octave scalable coding using motion compensated inter-frame wavelet transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4385928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121009 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121009 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131009 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |