JP2007325206A - 動画像復号装置及び動画像復号方法 - Google Patents
動画像復号装置及び動画像復号方法 Download PDFInfo
- Publication number
- JP2007325206A JP2007325206A JP2006156267A JP2006156267A JP2007325206A JP 2007325206 A JP2007325206 A JP 2007325206A JP 2006156267 A JP2006156267 A JP 2006156267A JP 2006156267 A JP2006156267 A JP 2006156267A JP 2007325206 A JP2007325206 A JP 2007325206A
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- motion vector
- context information
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】マクロブロック復号処理部3は可変長復号部1からのマクロブロックの符号化データから予測残差画像を復号すると共にマクロブロックの復号画像を生成し、画像修復用コンテキスト情報生成部4はマクロブロックの符号化データと予測残差画像を入力して画像修復用コンテキスト情報を生成し、画像修復処理部5は修復対象のマクロブロックの周辺のマクロブロックの有効性を判定し、有効と判定された周辺のマクロブロックから画像修復用コンテキスト情報を取得して、修復対象のマクロブロックの修復に用いる推定動きベクトルを求め、求めた推定動きベクトルに基づき既に復号済みのフレームから復号画像を取得して修復画像を生成する。
【選択図】図1
Description
この実施の形態1における動画像復号装置は、入力としてMPEG−4 AVC(Advanced Video Coding)/ITU−T H.264(以下、AVC)規格に準拠した動画像符号化ビットストリームを受信して動画像信号を再生する装置とする。この実施の形態1では、動画像の各フレーム画像をスライスの単位に分割し、さらに、スライスが可変長符号化された複数のマクロブロックデータから構成される動画像圧縮データを入力し、動画像圧縮データ中に発生する誤りによる画質劣化を修復しながら再生画像を得る動画像復号装置について説明する。
動画像復号装置は、スライス単位でAVC規格に準拠した動画像符号化ビットストリームであるビットストリーム101を受け取り、ステップST11において、可変長復号部1はビットストリーム101からスライスヘッダ情報の復号を行う。このスライスヘッダ情報には、当該スライスの先頭マクロブロックの画面内位置情報や、当該スライスに含まれるマクロブロックの量子化パラメータ基準値等が含まれる。このとき、可変長復号部1は切替器6への復号破綻検出フラグ103を無効にして「0」にリセットする。
(a)AVC規格において、ビットストリームシンタックス上、発生し得ない未定義の符号語又は未定義の復号値が検出される場合
(b)AVC規格において、ビットストリームシンタックス上、復号値が固定的に定まっているデータが他の値をとる場合
(c)AVC規格において、ビットストリームシンタックス上、復号値の値域がそのデータ固有で、ないしは別のデータの復号値の制約の下で定められているデータが正常な値域を逸脱する場合
(d)復号されたデータが、それまでの復号過程に照らして明らかに矛盾を生じている場合で、例えば、あるスライスの先頭のマクロブロックの画面内位置を復号した結果、その値がその前までに復号されたスライスの画面内位置と不連続になっている場合等
(e)AVC規格において、復号される同種データの個数に限界が定められている場合に、その個数を超過して復号される場合で、例えば、AVCで採用される整数変換は4×4又は8×8画素ブロックに対して施されるため、整数変換係数は最大でも1ブロックあたり16個又は64個しか発生しないが、復号時にこの個数を超過する場合等
可変長復号部1は、上記のような復号破綻が検出されない場合は、復号破綻検出フラグ103を「0」にしたままとする。復号破綻検出フラグ103の具体的な値は、復号破綻の有無を識別できるならばどのように定めても良い。
○動きベクトルコンテキスト情報 ctx_mv
符号化モード情報201がフレーム間動き予測モード(インターモード)を示している場合は、動きベクトル203に基づいて予測画像208を生成する。AVCでは動きベクトル203は16×16ブロック単位の情報であることもあれば、4×4ブロック単位の情報であることもある。8×8よりも大きいブロックに対する動きベクトル203であれば、その領域内に包含される全ての8×8ブロックに同じ値を動きベクトルコンテキスト情報ctx_mvとしてアサインする。8×8ブロックよりも小さいブロックに対する動きベクトル203の場合は8×8ブロック領域をカバーする分を平均したり、メディアン値をとる等して8×8ブロック単位の動きベクトルコンテキスト情報ctx_mvを得る。符号化モード情報201がスキップマクロブロックを示している場合は、AVC規格のスキップマクロブロックの定義に従ってスキップマクロブロック用の動きベクトル203が生成されるので、それを動きベクトルコンテキスト情報ctx_mvとして用いる。また、符号化モード情報201がイントラモードを示している場合には、ゼロ、ないしは、スキップマクロブロックと等価な方法によって得られる動きベクトルコンテキスト情報ctx_mvを用いる。
AVC規格では、フレームメモリ8内に複数の参照画像113を格納して、動きベクトル203を適用するブロック(ただし8×8ブロックサイズよりも大きいブロック)毎に予測画像生成に用いる参照画像113を変更できる。どの参照画像113を予測画像生成に使用するかは動画像復号装置に伝達する必要があるため、ビットストリーム101には、動きベクトル203毎に参照ピクチャインデックス204を付与する。この実施の形態1では、参照ピクチャインデックス204を8×8ブロック単位に読み替えて参照画像インデックスコンテキスト情報ctx_refidxとして格納する。符号化モード情報201がイントラモードを示している場合は、ゼロ、すなわち、直前のフレームを指すインデックス値とする。
逆整数変換部32の出力である予測残差画像107について、8×8ブロックの単位で各画素値の絶対値を加算したスカラ値を予測誤差量コンテキスト情報ctx_errとして生成・保持する。符号化モード情報201がイントラモードを示している場合は、動きベクトル203による予測誤差ではないため、予測誤差量コンテキスト情報ctx_errを固定値Cにする。
可変長復号部1は、復号破綻を検出した場合には、ステップST17において、復号破綻検出フラグ103を1として復号破綻が発生したことを外部に通知し、次いで、復号同期を回復して正常な復号を再開するために再同期点をサーチする。再同期点は、例えば、次のスライスの先頭や次のフレームの先頭を示すユニークワード等が該当する。
再同期点を検出して修復対象領域を記憶した後、上記ステップST11に戻り再同期点からの復号を再開する。
上記(B),(C)の処理を1フレーム分実行した後、ステップST19において、画像修復処理部5は、可変長復号部1からの画像修復実行指示情報105に基づき、誤り修復状況マップ106を参照して、修復対象となるエリアを包含する領域を画像修復エリアとして決定し、決定した画像修復エリア内で修復処理を実行する修復マクロブロック位置を決定し、決定した修復マクロブロックの周辺マクロブロックの有効無効を判定し、有効と判定されたマクロブロック位置について、画像修復用コンテキスト情報109を取得してマクロブロックの修復に用いる推定動きベクトル214を求め、求めた推定動きベクトル214に基づいてフレームメモリ8中の直前のフレームから復号画像114を取得して修復画像110として出力する。
Akio Yoneyama,Hiromasa Yanagihara,Yasuyuki Nakajima、”VIDEO ERROR CONCEALMENT BY THE COMBINATION OF SPATIO-TEMPORAL RECOVERY AND POST FILTER FOR H.264”,IEEE International Conference on Consumer Electronics 2005,PAPER NO.9.3-2,Jan.10-12,2005.
ステップST21において、図3に示す画像修復エリア決定部51はカレントフレームに関する誤り修復状況マップ106を参照して、修復対象となるエリアを包含する外接四角形領域を画像修復エリア211として決定する。
1つの方法として、修復対象マクロブロック決定部52は、画像修復エリア211内をラスタスキャン順に検証し、「修復対象」のマーキングがなされたマクロブロックを順に修復処理する。処理順序に関する特別な判断は必要ないが、「修復対象」のマクロブロックが局所的に集中している場合は、利用可能な画像修復用コンテキスト情報109が十分に得られない可能性がある。
切替器6は、復号破綻検出フラグ103が破綻無し(=0)を示している場合は、第1の復号画像108を第2の復号画像111として出力する(すでに上述のように、切替器6は常に第1の復号画像108と修復画像110とを入力としているわけではない)。
図4のステップST20において、第2の復号画像111はデブロッキングフィルタ7に入力され、デブロッキングフィルタ7はAVC規格に定める処理に基づいてデブロッキングフィルタ処理を実行して最終復号画像112を得る。最終復号画像112は、以降のフレームの予測画像生成に用いるため、マクロブロックの画面内位置に基づいてフレームメモリ8へ書き込まれる。
図4のステップST20において、第2の復号画像111はデブロッキングフィルタ7に入力され、デブロッキングフィルタ7はAVC規格に定める処理に基づいてデブロッキングフィルタ処理を実行して最終復号画像112を得る。ただし、この際、第2の復号画像111は本来の復号画像データとは異なる可能性が高いため、デブロッキングフィルタ7を最もフィルタ強度が強いモードで実行する。これにより、修復画像110と正常画像が隣り合うようなブロック境界において、境界の不連続性を緩和することができる。最終復号画像112は、以降のフレームの予測画像生成に用いるため、マクロブロックの画面内位置に基づいてフレームメモリ8へ書き込まれる。
Claims (4)
- 動画像の各フレームが所定領域に分割されて符号化されたビットストリームから所定領域の符号化データを抽出すると共に、符号化データを抽出する過程で復号破綻を検出して修復対象の所定領域を特定する可変長復号部と、
該可変長復号部により抽出された所定領域の符号化データから予測残差画像を復号すると共に所定領域の復号画像を生成する所定領域復号処理部と、
上記可変長復号部からの所定領域の符号化データと、上記所定領域復号処理部からの予測残差画像を入力し、画像修復用コンテキスト情報を生成する画像修復用コンテキスト情報生成部と、
上記可変長復号部により特定された修復対象の所定領域の周辺の所定領域の有効性を判定し、有効と判定された周辺の所定領域から上記画像修復用コンテキスト情報生成部により生成された画像修復用コンテキスト情報を取得して、修復対象の所定領域の修復に用いる推定動きベクトルを求め、求めた推定動きベクトルに基づき既に復号済みのフレームから復号画像を取得して修復画像を生成する画像修復処理部と、
上記可変長復号部による所定領域の復号破綻の検出有無に基づき、上記所定領域復号処理部により生成された復号画像又は上記画像修復処理部により生成された修復画像を選択して出力する選択部とを備えた動画像復号装置。 - 上記画像修復用コンテキスト情報生成部は、所定領域の符号化データから動きベクトル、参照画像インデックス、予測誤差量に関する画像修復用コンテキスト情報を生成し、
上記画像修復処理部は、上記参照画像インデックスに基づき上記動きベクトルをスケーリングすると共に、上記予測誤差量に基づいて定める重み係数を用いて、スケーリングされた動きベクトルを重み付平均することによって修復対象の所定領域の修復に用いる推定動きベクトルを求めることを特徴とする請求項1記載の動画像復号装置。 - 上記画像修復処理部は、修復対象の所定領域の周辺の所定領域の有効性を、修復対象となっていない場合又は画面外になっていない場合に有効と判定することを特徴とする請求項1記載の動画像復号装置。
- 動画像の各フレームが所定領域に分割されて符号化されたビットストリームから所定領域の符号化データを抽出すると共に、符号化データを抽出する過程で復号破綻を検出して修復対象の所定領域を特定する第1のステップと、
該第1のステップで抽出された所定領域の符号化データから予測残差画像を復号すると共に所定領域の復号画像を生成する第2のステップと、
上記第1のステップで抽出された所定領域の符号化データと、上記第2のステップで復号された予測残差画像を入力し、画像修復用コンテキスト情報を生成する第3のステップと、
上記第1のステップで特定された修復対象の所定領域の周辺の所定領域の有効性を判定し、有効と判定された周辺の所定領域から上記第3のステップで生成された画像修復用コンテキスト情報を取得して、修復対象の所定領域の修復に用いる推定動きベクトルを求め、求めた推定動きベクトルに基づき、既に復号済みのフレームから復号画像を取得して修復画像を生成する第4のステップと、
上記第1のステップにおける所定領域の復号破綻の検出有無に基づき、上記第2のステップで生成された復号画像又は上記第4のステップで生成された修復画像を選択して出力する第5のステップとを備えた動画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156267A JP4624308B2 (ja) | 2006-06-05 | 2006-06-05 | 動画像復号装置及び動画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006156267A JP4624308B2 (ja) | 2006-06-05 | 2006-06-05 | 動画像復号装置及び動画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007325206A true JP2007325206A (ja) | 2007-12-13 |
JP4624308B2 JP4624308B2 (ja) | 2011-02-02 |
Family
ID=38857574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006156267A Expired - Fee Related JP4624308B2 (ja) | 2006-06-05 | 2006-06-05 | 動画像復号装置及び動画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4624308B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8364019B2 (en) | 2009-05-26 | 2013-01-29 | Fujitsu Limited | Video decoding device and video decoding method |
JP2014023138A (ja) * | 2012-07-24 | 2014-02-03 | Mitsubishi Electric Corp | 復号装置、エラーコンシールメント処理装置および復号方法 |
US9210448B2 (en) | 2010-09-22 | 2015-12-08 | Fujitsu Limited | Moving picture decoding device, moving picture decoding method and integrated circuit |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
JP2004096752A (ja) * | 2002-08-27 | 2004-03-25 | Mitsubishi Electric Information Technology Centre Europa Bv | 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 |
-
2006
- 2006-06-05 JP JP2006156267A patent/JP4624308B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
JP2004096752A (ja) * | 2002-08-27 | 2004-03-25 | Mitsubishi Electric Information Technology Centre Europa Bv | 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8364019B2 (en) | 2009-05-26 | 2013-01-29 | Fujitsu Limited | Video decoding device and video decoding method |
US9210448B2 (en) | 2010-09-22 | 2015-12-08 | Fujitsu Limited | Moving picture decoding device, moving picture decoding method and integrated circuit |
JP2014023138A (ja) * | 2012-07-24 | 2014-02-03 | Mitsubishi Electric Corp | 復号装置、エラーコンシールメント処理装置および復号方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4624308B2 (ja) | 2011-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9894378B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
EP1993292B1 (en) | Dynamic image encoding method and device and program using the same | |
US8634469B2 (en) | Method and apparatus for reusing available motion information as a motion estimation predictor for video encoding | |
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
KR20110008653A (ko) | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 | |
JP3519441B2 (ja) | 動画像伝送装置 | |
JP5835208B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム | |
JP2010278533A (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
JP4624308B2 (ja) | 動画像復号装置及び動画像復号方法 | |
JP5725006B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
US10911774B2 (en) | Moving picture decoding device, moving picture decoding method, and moving picture decoding program | |
JP2009290889A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
JP5725009B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
KR100587274B1 (ko) | 엠펙2 압축복원시스템에서의 오류 은폐방법 | |
JP4432582B2 (ja) | 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム | |
JP2009302786A (ja) | 映像復号化装置及び方法 | |
WO2011099242A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP4485409B2 (ja) | 動画像復号装置 | |
JP5842803B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム | |
US20220385938A1 (en) | Moving picture decoding device, moving picture decoding method, and moving picture decoding program | |
KR100388802B1 (ko) | 오류은폐장치및방법 | |
JP5705948B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
KR19980015341A (ko) | 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기(image decoder having functions for reconstructing error of motion vectors) | |
JP2012138947A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
JP2013121166A (ja) | 画像復号装置、画像復号方法及び画像復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070920 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4624308 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |