JP4906864B2 - スケーラブルビデオコーディング方法 - Google Patents
スケーラブルビデオコーディング方法 Download PDFInfo
- Publication number
- JP4906864B2 JP4906864B2 JP2008532887A JP2008532887A JP4906864B2 JP 4906864 B2 JP4906864 B2 JP 4906864B2 JP 2008532887 A JP2008532887 A JP 2008532887A JP 2008532887 A JP2008532887 A JP 2008532887A JP 4906864 B2 JP4906864 B2 JP 4906864B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial resolution
- motion field
- level
- resolution level
- photogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000033001 locomotion Effects 0.000 claims description 120
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1.解像度レベルを1だけ上げ、そのレベルのフォトグラムを考える。
2.補間により拡張すると共に前に計算されたフィールドをスケーリングすることでモーションフィールドを生成する。
3.その結果生成されたフィールドを用いて基準フォトグラムを変形する。
4.変形したフォトグラムと現在のフォトグラムとの間に存在するモーションフィールドを計算する。このフィールドはこの総和の項となり、既に計算されたものに加えられる。
5.最大解像度レベルに到達しなかったならば、本プロセスはステップ1から繰り返される。
出願人は、特にスケーラブルビデオコーディングのためのマルチ解像度での空間スケーラビリティの場合にモーション推定装置の性能を改善するためにオプティカルフローのアルゴリズムプロセスを修正するスケーラブルコーディングのシナリオにオプティカルフロー技術を適応させる問題を扱ってきた。
- u0及びv0は初期モーションフィールドの水平成分及び垂直成分であり、
- AK−mはフォトグラムgt+1の空間微分を含んだ2つの対角サブマトリックスから成るマトリックスであり、
- Mは、
- 行に沿ったローパスフィルタリング;
- 列に沿ったサブサンプリング;
- 列に沿ったローパスフィルタリング;及び
- 行のサブサンプリング;
を含む。
- 行に沿ったローパスフィルタリング(ステップ10);
- 列のサブサンプリング(ステップ20);
・ 列に沿ったローパスフィルタリング(ステップ30);及び
- 行のサブサンプリング(ステップ40)。
この一連の操作を文字Bにより表す。
ィールドv0(x,y)により初期化され、ベクトル
上記の項F1(q)は近似誤差を示す項である。
。qは次の(オプティカルフロー)方程式:
第1のステップ(ブロック100)では、解像度レベルK−mを最低のレベルK−Mに初期化するために変数mがMに初期化される。レベルK−Mで時間t及び時間t+1での2つのフォトグラムft及びft+1を考え、それぞれのフォトグラムgt=ft K−M及びgt+1=ft+1 K−Mを抽出する。
次に1レベル上げてレベルm−1にし、新しい解像度レベルについてフォトグラムを抽出する(ブロック300)。
手順の終わりに、最終的なモーションフィールドpKが得られる。
2 画像コーダー
3 画像デコーダー
Claims (16)
- 最小空間解像度レベル(K−M)と最大空間解像度レベル(K)との間に含まれる複数の空間解像度レベル(K,…,K−m,…,K−M)で表すことができる一連のフォトグラム(f1,f2,…,fT)のモーションフィールド(p)を推定するステップを有する、スケーラブルビデオのコーディング方法であって、
前記モーションフィールドを推定するステップが、関数の最小化により前記空間解像度レベルの各々についてモーションフィールドを計算するステップを含み、
最小空間解像度レベルとは異なる各レベルについて、前記関数が、当該レベルについての前記最小化の解と当該レベルの直ぐ下の空間解像度レベルについての前記最小化の解との差を表す、レベル間の調整項を含むことを特徴とするスケーラブルビデオのコーディング方法。 - 最小空間解像度レベルとは異なるすべてのレベルについてモーションフィールドを計算する前記ステップが、最小空間解像度レベルから最大空間解像度レベルに順次変えて実行される請求項1に記載の方法。
- 各空間解像度レベルについて、モーションフィールドが初期モーションフィールド(p0)と増分モーションフィールド(q)とを含み、モーションフィールド(p)を計算する前記ステップが増分モーションフィールド(q)を計算し、増分モーションフィールド(q)を初期モーションフィールド(p0)と合計することを含む請求項1又は2に記載の方法。
- 最小空間解像度レベルとは異なる一般的な空間解像度レベルK−mについて、レベル間の前記調整項を
- 前記フィルタリング及びサブサンプリングの演算子Eがウェーブレット変換のローパス成分である請求項4に記載の方法。
- 前記最小空間解像度レベルについて、前記最小化を
- 時刻t及び時刻t+1での一般的な空間解像度レベルK−mの2つのフォトグラムgt及びgt+1を考慮して、近似誤差を表す前記項を、
- u0及びv0は初期モーションフィールドの水平成分及び垂直成分であり、
- AK−mはフォトグラムgt+1の空間微分を含んだ2つの対角サブマトリックスから成るマトリックスであり、
- Mは、
- モーションフィールド規則性を示す前記項は
- モーションフィールドを計算する前記ステップの前に、最大空間解像度レベルのフォトグラムから開始して異なる空間解像度レベルのフォトグラムを構成する別のステップを含む請求項1〜8のいずれか一項に記載の方法。
- 各空間解像度レベルについて、フォトグラムを構成する前記ステップが最大空間解像度レベルのフォトグラムをフィルタリングしサブサンプリングするステップ(10〜40)を含み、フィルタリングしサブサンプリングする前記ステップが、当該空間解像度レベルを最大空間解像度レベルから分離するレベル数に等しい回数実行される請求項9に記載の方法。
- フィルタリングしサブサンプリングする前記ステップが、以下のステップ、すなわち
- 行に沿ったローパスフィルタリング(10);
- 列のサブサンプリング(20);
- 列に沿ったローパスフィルタリング(30);及び
- 行のサブサンプリング(40);
を含む請求項10に記載の方法。 - 前記関数はオプティカルフロー方程式により表すことができる請求項1〜11のいずれか一項に記載の方法。
- 請求項1〜12のいずれか一項に記載の方法によりスケーラブルビデオのコーディングを行うステップ、コード化ビデオ画像を送信するステップ、コード化ビデオ画像を受信するステップ、及び受信したコード化ビデオ画像をデコードするステップを含むコード化ビデオ画像の送信方法。
- 前記デコードするステップが、所望の空間解像度レベルの一連のフォトグラムを得るために前記コード化ビデオ画像に少なくとも1つのウェーブレット型の変換を適用することを含む請求項13に記載の方法。
- データ処理システムに請求項1〜14のいずれか一項に記載の方法を実行させるコンピュータプログラム。
- 請求項1〜14のいずれか一項に記載の方法を実行するための手段を備えたシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2005/002920 WO2007036759A1 (en) | 2005-09-29 | 2005-09-29 | Method for scalable video coding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009510869A JP2009510869A (ja) | 2009-03-12 |
JP2009510869A5 JP2009510869A5 (ja) | 2011-12-15 |
JP4906864B2 true JP4906864B2 (ja) | 2012-03-28 |
Family
ID=36572221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008532887A Active JP4906864B2 (ja) | 2005-09-29 | 2005-09-29 | スケーラブルビデオコーディング方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8625678B2 (ja) |
EP (1) | EP1938611B8 (ja) |
JP (1) | JP4906864B2 (ja) |
CN (1) | CN101313579B (ja) |
WO (1) | WO2007036759A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101347000B (zh) | 2005-12-21 | 2010-09-01 | 意大利电信股份公司 | 用于确定立体视觉中密集差异区的方法 |
US8005140B2 (en) | 2006-03-17 | 2011-08-23 | Research In Motion Limited | Soft decision and iterative video coding for MPEG and H.264 |
US8675726B2 (en) * | 2010-02-18 | 2014-03-18 | Blackberry Limited | Method and encoder for constrained soft-decision quantization in data compression |
CN102939750B (zh) | 2010-04-13 | 2016-07-06 | Ge视频压缩有限责任公司 | 跨平面预测 |
ES2907203T3 (es) | 2010-04-13 | 2022-04-22 | Ge Video Compression Llc | Codificación de vídeo que usa subdivisiones multiárbol de imágenes |
CN106454370B (zh) | 2010-04-13 | 2019-11-01 | Ge视频压缩有限责任公司 | 解码器、重建数组的方法、编码器、编码方法及数据流 |
JP5718453B2 (ja) | 2010-04-13 | 2015-05-13 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 復号化方法 |
US20110299605A1 (en) * | 2010-06-04 | 2011-12-08 | Apple Inc. | Method and apparatus for video resolution adaptation |
EP2842106B1 (en) * | 2012-04-23 | 2019-11-13 | Telecom Italia S.p.A. | Method and system for image analysis |
EP2904807A4 (en) | 2012-10-07 | 2016-06-01 | Numeri Ltd | VIDEO COMPRESSION METHOD |
US10349069B2 (en) * | 2012-12-11 | 2019-07-09 | Sony Interactive Entertainment Inc. | Software hardware hybrid video encoder |
CN104519239A (zh) * | 2013-09-29 | 2015-04-15 | 诺基亚公司 | 用于视频防抖的方法和装置 |
WO2015113608A1 (en) * | 2014-01-30 | 2015-08-06 | Huawei Technologies Co., Ltd. | Method for recognizing objects |
EP3016390A1 (en) * | 2014-10-28 | 2016-05-04 | Alcatel Lucent | Method and device for transmission of a video |
US10462490B2 (en) * | 2015-11-06 | 2019-10-29 | Raytheon Company | Efficient video data representation and content based video retrieval framework |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121357A (ja) * | 1995-10-25 | 1997-05-06 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
JP2000270335A (ja) * | 1999-03-16 | 2000-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法、動画像復号方法、および動画像符号化装置、動画像復号装置、ならびに前記方法を記録した記録媒体 |
WO2003001814A1 (en) * | 2001-06-26 | 2003-01-03 | Koninklijke Philips Electronics N.V. | Video coding method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0285902A3 (de) * | 1987-04-07 | 1990-10-10 | Siemens Aktiengesellschaft | Verfahren zur Datenreduktion digitaler Bildsequenzen |
US5241608A (en) * | 1988-11-25 | 1993-08-31 | Eastman Kodak Company | Method for estimating velocity vector fields from a time-varying image sequence |
US5680487A (en) | 1991-12-23 | 1997-10-21 | Texas Instruments Incorporated | System and method for determining optical flow |
CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
KR20020030101A (ko) * | 2000-06-30 | 2002-04-22 | 요트.게.아. 롤페즈 | 비디오 시퀀스의 압축을 위한 인코딩 방법 |
US6717622B2 (en) * | 2001-03-30 | 2004-04-06 | Koninklijke Philips Electronics N.V. | System and method for scalable resolution enhancement of a video image |
US7627037B2 (en) * | 2004-02-27 | 2009-12-01 | Microsoft Corporation | Barbell lifting for multi-layer wavelet coding |
-
2005
- 2005-09-29 US US11/992,741 patent/US8625678B2/en active Active
- 2005-09-29 EP EP05805077.4A patent/EP1938611B8/en active Active
- 2005-09-29 WO PCT/IB2005/002920 patent/WO2007036759A1/en active Application Filing
- 2005-09-29 JP JP2008532887A patent/JP4906864B2/ja active Active
- 2005-09-29 CN CN2005800521120A patent/CN101313579B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121357A (ja) * | 1995-10-25 | 1997-05-06 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
JP2000270335A (ja) * | 1999-03-16 | 2000-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法、動画像復号方法、および動画像符号化装置、動画像復号装置、ならびに前記方法を記録した記録媒体 |
WO2003001814A1 (en) * | 2001-06-26 | 2003-01-03 | Koninklijke Philips Electronics N.V. | Video coding method |
Also Published As
Publication number | Publication date |
---|---|
EP1938611B1 (en) | 2014-04-30 |
EP1938611B8 (en) | 2014-07-16 |
CN101313579A (zh) | 2008-11-26 |
EP1938611A1 (en) | 2008-07-02 |
JP2009510869A (ja) | 2009-03-12 |
US8625678B2 (en) | 2014-01-07 |
WO2007036759A1 (en) | 2007-04-05 |
CN101313579B (zh) | 2010-11-03 |
US20090304090A1 (en) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4906864B2 (ja) | スケーラブルビデオコーディング方法 | |
JP2009510869A5 (ja) | ||
US5943445A (en) | Dynamic sprites for encoding video data | |
US7643690B2 (en) | Image decoding and encoding apparatus, method and computer readable storage medium | |
Shen et al. | Down-sampling based video coding using super-resolution technique | |
EP0705035B1 (en) | Encoding data represented as a multi-dimensional array | |
US7215831B2 (en) | Video enhancement using multiple frame techniques | |
US6625216B1 (en) | Motion estimation using orthogonal transform-domain block matching | |
JP3868017B2 (ja) | 映像処理システム | |
CN100364338C (zh) | 估计图像噪声的方法和设备和消除噪声的方法 | |
US7627040B2 (en) | Method for processing I-blocks used with motion compensated temporal filtering | |
JP2008507190A (ja) | 動き補償方法 | |
JP4494471B2 (ja) | 環状映像の参照画素補間方法、その装置、環状映像符号化方法、その装置及び環状映像復号化方法ならびにその装置 | |
EP1169867B1 (en) | Method and apparatus for motion vector field encoding | |
EP0721284B1 (en) | An image processing system using pixel-by-pixel motion estimation and frame decimation | |
JP4494803B2 (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
Segall et al. | Bayesian high-resolution reconstruction of low-resolution compressed video | |
EP0825778A2 (en) | Method for motion estimation | |
EP0792488A1 (en) | Method and apparatus for regenerating a dense motion vector field | |
Dolly et al. | A hybrid tactic model intended for video compression using global affine motion and local free-form transformation parameters | |
Yang et al. | A low-complexity region-based video coder using backward morphological motion field segmentation | |
Segall et al. | Super-resolution from compressed video | |
Shen et al. | Down-sampling based video coding with super-resolution technique | |
US20080117983A1 (en) | Method And Device For Densifying A Motion Field | |
Wang | Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090728 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100727 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100825 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110725 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110801 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110824 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110831 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110922 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110930 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20111025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111212 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4906864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |