JP3576402B2 - 画像復号化装置 - Google Patents
画像復号化装置 Download PDFInfo
- Publication number
- JP3576402B2 JP3576402B2 JP30304098A JP30304098A JP3576402B2 JP 3576402 B2 JP3576402 B2 JP 3576402B2 JP 30304098 A JP30304098 A JP 30304098A JP 30304098 A JP30304098 A JP 30304098A JP 3576402 B2 JP3576402 B2 JP 3576402B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- block
- partial image
- macroblock
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 84
- 238000013139 quantization Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
【発明の属する技術分野】
この発明は、各種の画像圧縮・伸長方式において、符号化ビットストリーム中に発生するビット誤りの影響を受けたエラー部分画像領域を検出する画像復号化装置に関するものである。
【0002】
【従来の技術】
画像信号を効率的に符号化する方法として、例えば、ISO/IEC JTC11/SC29/WG11にて標準化作業が進められているMPEG−4(Moving Picture Experts Group Phase−4)で採用されているように、ブロック毎に、離散コサイン変換(DCT:Discrete Cosine Transform)を行い、量子化後に、得られた量子化変換係数を可変長符号化する方法が用いられている。
【0003】
このように符号化されたビットストリームは、復号化側で、各ブロックデータ毎に、可変長復号化された後、逆量子化、逆DCTが施され、画像信号として復元される。このとき、例えば、このブロックデータ領域の可変長符号語でビット誤りが発生した場合、誤りが発生した可変長符号語が予め決められた可変長復号テーブルに定義されている値のときは、誤りが検出されることなく復号化されるため、誤った画像信号が復元される。
【0004】
また、各ブロックデータは、可変長であるため、ブロックデータの区切りは、復号化するまで判別することができない。可変長符号語を誤って復号化した場合には、ブロックデータの区切りも誤って判別されることが多く、次ブロック以降のデータの復号化も誤ったものになる。この場合、誤りによる画質劣化は次ブロック以降に伝播する。
【0005】
【発明が解決しようとする課題】
従来の画像復号化装置は以上のように構成されているので、例えば、ブロックデータ領域でビット誤りが発生した場合に、可変長復号テーブルに定義されていない値が現われるまで復号化を続行するため、誤りが発生した位置から、誤りが検出されるまでに誤って復号化された画像が著しく劣化すると共に、以降のフレームにおける画像の復号化の際に、その画像が予測画像として用いられるため、以降のフレームの復号画像も劣化してしまうという課題があった。
【0006】
上記課題に関連する先行技術として、特開平7−154783号公報に示されたものがある。これは、符号化された所定サイズのブロックを復号化する際に、ブロックの周辺画素と隣接ブロックの周辺画素との変化量を求めて、所定の臨界値と比較することによりエラーを検出している。しかし、ブロックの周辺画素と隣接ブロックの周辺画素との変化量だけでは、エラーを確実に検出することが困難な場合があった。
【0007】
この発明は上記のような課題を解決するためになされたもので、画像信号の持つ統計的性質により、誤りの発生したブロックを確実に検出し、誤りの発生による、画質の劣化や、誤りの伝播を最小限に抑える画像復号化装置を得ることを目的とする。
【0008】
【課題を解決するための手段】
この発明に係る画像復号化装置は、入力画像信号を部分画像領域単位で圧縮符号化して生成された符号化ビットストリームを復号化するものにおいて、上記符号化ビットストリームを上記部分画像領域単位で復号化する部分画像領域データ復号化手段と、上記部分画像領域データ復号化手段によって復号化された復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第1の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第2の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第3の差分値とを求め、上記第2の差分値と上記第1の差分値との差分値である第4の差分値と、上記第3の差分値と上記第2の差分値との差分値である第5の差分値とを求め、上記第4の差分値と上記第5の差分値との差分値が所定のしきい値より大きい場合に、上記復号部分画像領域が上記符号化ビットストリームに発生したビット誤りの影響を受けたエラー部分画像領域であることを検出するエラー部分画像領域検出手段とを備えたものである。
【0013】
この発明に係る画像復号化装置は、符号化ビットストリームより復号化された量子化ステップサイズに基づき、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を制御するしきい値制御手段を備えたものである。
【0018】
この発明に係る画像復号化装置は、符号化ビットストリームを含むメディアパケット列に付加されている誤り検出符号に基づき、上記メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、上記監視手段により出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させるものである。
【0019】
この発明に係る画像復号化装置は、監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を小さく設定し、上記ビット誤りカウント値が小さい場合に上記所定のしきい値を大きく設定するものである。
【0020】
この発明に係る画像復号化装置は、監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の評価範囲である部分画像領域単位を小さく設定し、上記ビット誤りカウント値が小さい場合に上記部分画像領域単位を大きく設定するものである。
【0021】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
この発明の実施の形態1は、符号化ビットストリームのブロックデータ領域に誤りが発生したときに、誤りが検出されずに復号化されたブロックを、ブロック境界付近の画像信号の連続性に基づいて検出するものである。
【0022】
図1はMPEG−4シンプルプロファイルの符号化ビットストリームにおけるテクスチャデータ領域の構造を示す図である。MPEG−4では、符号化対象となるオブジェクトのテクスチャデータを「マクロブロック」と呼ばれる16×16画素サイズの輝度成分と、8×8画素サイズの色差成分からなるブロック単位で符号化する。16×16画素サイズの輝度成分は、さらに8×8画素サイズのブロックに分割され、8×8画素サイズのブロック単位でDCT,量子化が行われる。ここでは、「マクロブロック」内における8×8画素サイズのブロックのことを、以下、特に「ブロック」と呼ぶ。
【0023】
図1に示すように、テクスチャデータ領域は、複数のマクロブロックデータ領域からなり、各マクロブロックデータ領域は、マクロブロックの符号化タイプや動きベクトルの情報が含まれているマクロブロックデータヘッダ情報、4つの輝度ブロックデータ(Y),及び2つの色差ブロックデータ(Cb/Cr)から構成されている。この実施の形態では、このマクロブロックデータ領域に誤りが発生したときに、エラーの発生したマクロブロックを早期に検出するものである。
【0024】
図2は実施の形態1による画像復号化装置の構成を示すブロック図である。図2において、1は可変長復号化部であり、符号化ビットストリーム101を入力し、復号ブロックデータ102,動きベクトル103,付加情報104を出力する。2は動き補償部であり、動きベクトル103を入力し、メモリ3に記憶されている参照画像106を用いて予測画像107を出力する。4は切替部であり、付加情報104に基づき、予測画像107又は0信号を出力する。
【0025】
また、図2において、5は逆量子化部であり、復号ブロックデータ102を入力し逆量子化を行う。6は逆DCT部であり、逆量子化後のデータ108を入力して逆DCT処理を行い、予測誤差信号109を出力する。7は加算部であり、予測誤差信号109に、切替部4からの予測画像107又は0信号を加算し、復号画像信号110を出力する。
【0026】
さらに、図2において、8はエラーマクロブロック検出部(エラー部分画像領域検出手段)であり、復号画像信号110を入力し、誤りが発生しているかを判定して、エラーマクロブロック判定結果111を出力する。9は切替部であり、エラーマクロブロック判定結果111に基づき、復号画像信号110の出力先を切り替える。10はエラーマクロブロック修正部であり、エラーの発生した復号画像信号110を修正し、修正画像信号112を出力する。11は部分画像領域データ復号化手段であり、可変長復号化部1,動き補償部2,メモリ3,切替部4,逆量子化部5,逆DCT部6,加算部7より構成されている。
【0027】
次に動作について説明する。
可変長復号化部1は、符号化ビットストリーム101よりマクロブロックデータを取り出し可変長復号化を行う。動き補償部2は、復号化された動きベクトル103に基づいて、メモリ3内の参照画像106を参照して予測画像107を取り出す。逆量子化部5は復号化された復号ブロックデータ102を逆量子化し、逆DCT部6は逆量子化後のデータ108を入力して逆DCT処理を行い、予測誤差信号109を出力する。
【0028】
切替部4は、可変長復号化部1により復号化された付加情報104に含まれるマクロブロックタイプが、イントラ符号化を示している場合には、0信号を選択して加算部7に出力し、イントラ符号化以外の符号化を示している場合には、動き補償部2にて取り出された予測画像107を選択して加算部7に出力する。加算部7は、逆DCT部6からの予測誤差信号109に、切替部4からの0信号又は予測画像107を加算して、復号画像信号110を出力する。ここで、復号画像信号110は復号マクロブロックを意味し、4つの輝度ブロックと2つの色差ブロックから構成されている。
【0029】
エラーマクロブロック検出部(エラー部分画像領域検出手段)8は、復号画像信号110を入力し、誤りが発生したマクロブロックの画像信号か否かの判定を行い、エラーマクロブロック判定結果111を出力する。
【0030】
切替部9はエラーマクロブロック検出部8から出力されるエラーマクロブロック判定結果111に基づき、復号画像信号110の出力を切り替える。エラーマクロブロック判定結果111により、復号画像信号110がエラーマクロブロックであることを示している場合は、復号画像信号110をエラーマクロブロック修正部10に出力する。一方、エラーマクロブロック判定結果111により、復号画像信号110がエラーマクロブロックではないことを示している場合は、復号画像信号110はそのまま出力されると共に、以降の復号化処理において、参照画像106として用いるため、メモリ3に格納される。
【0031】
エラーマクロブロック修正部10は、エラーマクロブロックに対して誤りを目立たなくする処理を行い、修正画像信号112を出力する。最も簡単な方法としては、メモリ3内の参照画像106から、誤りの発生したと判定されたマクロブロックと同位置にあるマクロブロックを取り出し、誤りが発生したマクロブロックと入れ替える等の方法がある。エラーマクロブロック修正部10にて、修正された修正画像信号112は、復号画像として出力されると共に、以降の復号化処理において、参照画像106として用いるためにメモリ3に格納される。
【0032】
図3は、この実施の形態1の特徴であるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図3において、21は水平方向差分算出部であり、復号画像信号110と水平方向のブロック信号121を入力して、水平方向に隣接するブロックの境界にまたがった隣接画素間における画素レベルの変化量と、水平方向に隣接するブロック内の画素間における画素レベルの変化量を求めて、水平方向画素間差分123として出力する。
【0033】
また、図3において、22は垂直方向差分算出部であり、復号画像信号110と垂直方向のブロック信号122を入力して、垂直方向に隣接するブロックの境界にまたがった隣接画素間における画素レベルの変化量と、垂直方向に隣接するブロック内の画素間における画素レベルの変化量を求めて、垂直方向画素間差分124として出力する。
【0034】
さらに、図3において、23は水平方向連続性判定部であり、水平方向画素間差分123を入力して、水平方向のブロックとの連続性を判定し水平方向連続性125を出力する。24は垂直方向連続性判定部であり、垂直方向画素間差分124を入力して垂直方向のブロックとの連続性を判定し垂直方向連続性126を出力する。
【0035】
さらに、図3において、25はブロック連続性判定部であり、水平方向連続性125と垂直方向連続性126を入力して、隣接ブロックとの連続性を判定し、隣接ブロック連続性127を出力する。26はエラーマクロブロック判定部であり、隣接ブロック連続性127を入力して、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果111を出力する。
【0036】
次にエラーマクロブロック検出部8の動作について説明する。
図4はエラーマクロブロック検出部8の動作を示すフローチャートである。エラーマクロブロック検出部8は、画像信号の連続性に基づき、復号画像信号110が誤りの発生したマクロブロックの画像信号か否かの判定を行う。通常、画像信号は、近隣画素間と大きな相関を持っており、同一物体内では、画素値は連続的に変化する。しかし、誤りが発生したブロックの画像信号は、隣接するブロックの画像信号との連続性が保たれないことが多い。この実施の形態では、隣接ブロックとの連続性を利用し、誤りの発生したマクロブロックを検出する。
【0037】
図5は水平方向差分算出部21及び垂直方向差分算出部22の処理を説明する図である。図4のステップST1において、水平方向差分算出部21は、図5の判定対象ブロック(m,n)からの復号画像信号110と、図5の水平方向のブロック(m,n−1)からの水平方向のブロック信号121を入力して、復号画像信号110の色差ブロック、輝度ブロック各々に対して、図5のブロック(m,n−1)におけるブロック境界付近の画素3列(P m,n−1 (i,5)乃至P m,n−1 (i,7))と、判定対象ブロック(m,n)のブロック境界付近の画素1列(Pm,n (i,0))について、それぞれ隣接画素間の変化量(差分値)を算出し、水平方向画素間差分123として出力する。
【0038】
隣接画素間の変化量(差分値)は次の(1)式によって求められる。
DP m,n−1 (i,j+1)=P m,n−1 (i,j)−P m,n−1 (i,j+1)
(i=0,1,…,7,j=5,6)
DPm,n (i,0)=P m,n−1 (i,7)−Pm,n (i,0)
(i=0,1,…,7) (1)
【0039】
ステップST2において、垂直方向差分算出部22は、判定対象ブロック(m,n)からの復号画像信号110と、図5の垂直方向のブロック(m−1,n)からの垂直方向のブロック信号122を入力して、復号画像信号110の色差ブロック、輝度ブロック各々に対して、図5のブロック(m−1,n)におけるブロック境界付近の画素3行(Pm−1,n (5,j)乃至Pm−1,n (7,j))と、判定対象ブロック(m,n)のブロック境界付近の画素1行(Pm,n (0,j))について、それぞれ隣接画素間の差分値を算出し、垂直方向画素間差分124として出力する。
【0040】
図4のステップST3において、水平方向連続性判定部23は、水平方向差分算出部21で算出されたブロック境界付近の画素の変化量(差分値)、すなわち上記(1)式で示される水平方向画素間差分123に基づき、復号化されたブロック(m,n)が、左隣のブロック(m,n−1)と相関があるか否かを判定して、水平方向連続性125を出力する。左隣のブロックと相関がない場合には、左隣のブロックとの境界付近の画素は不連続になる。
【0041】
ブロック境界の画素が不連続になる場合には、P m,n−1 (i,5)乃至P m,n−1 (i,7)の隣接する画素レベルの変化量(差分値)に比べて、P m,n−1 (i,7)からPm,n (i,0)への画素レベルの変化量(差分値)が大きくなる。そこで、この2種類の画素レベルの変化量(差分値)に基づいて不連続性を判定する。まず、次の(2)式によって、P m,n−1 (i,5)とP m,n−1 (i,6)の隣接画素間の変化量(差分値)DP m,n−1 (i,6)と、P m,n−1 (i,6)とP m,n−1 (i,7)の隣接画素間の変化量(差分値)DP m,n−1 (i,7)との変化量(差分値)ΔP m,n−1 (i,7)を求める。
ΔP m,n−1 (i,7)=DP m,n−1 (i,6)−DP m,n−1 (i,7)
(i=0,1,…,7) (2)
【0042】
同様に、次の(3)式によって、P m,n−1 (i,6)とP m,n−1 (i,7)の隣接画素間の変化量(差分値)DP m,n−1 (i,7)と、P m,n−1 (i,7)とPm,n (i,0)の隣接画素間の変化量(差分値)DPm,n (i,0)との変化量(差分値)ΔPm,n (i,0)を求める。
ΔPm,n (i,0)=DP m,n−1 (i,7)−DPm,n (i,0)
(i=0,1,…,7) (3)
【0043】
次に、(2)式によって求められた変化量(差分値)ΔP m,n−1 (i,7)と(3)式によって求められた変化量(差分値)ΔPm,n (i,0)との変化量(差分値)を、所定のしきい値TH1に基づき判定することにより不連続性を判定する。すなわち、予め決められた所定のしきい値TH1に対して、次の(4)式が成り立つとき、i行目の画素は不連続であると判定する。
│ΔPm,n (i,0)│−│ΔP m,n−1 (i,7)│>TH1 (4)
ブロック境界のすべての画素について、不連続と判定された場合には、そのブロックは水平方向のブロックと不連続であるとする。
【0044】
図4のステップST4において、垂直方向連続性判定部24は、水平方向連続性判定部23と同様に、垂直方向差分算出部22で算出されたブロック境界付近の画素の変化量(差分値)、すなわち垂直方向画素間差分124をもとに、復号化されたブロックが上のブロックと相関があるか否かを判定して、垂直方向連続性126を出力する。
【0045】
ステップST5において、ブロック連続性判定部25は、水平方向連続性判定部23の判定結果である水平方向連続性125に基づき、復号ブロックが左隣のブロックと連続であるか否かを判定する。判定した結果、復号ブロックが左隣のブロックと連続である場合には、ステップST8において、ブロック連続性判定部25は、隣接するブロックと連続であると判定する。
【0046】
上記ステップST5において、判定した結果、復号ブロックが左隣のブロックと連続でない場合には、ステップST6において、ブロック連続性判定部25は、垂直方向連続性判定部24の判定結果である垂直方向連続性126に基づき、復号ブロックが上のブロックと連続であるか否かを判定する。判定した結果、復号ブロックが上のブロックと連続である場合には、ステップST8において、ブロック連続性判定部25は、隣接するブロックと連続であると判定する。
【0047】
上記ステップST6において、判定した結果、復号ブロックが上のブロックと連続でない場合には、ステップST7において、ブロック連続性判定部25は、隣接するブロックと不連続であると判定する。以上のように、水平方向、垂直方向ともに不連続である場合に、隣接するブロックと不連続であると判定する。
【0048】
ステップST9において、全ての輝度ブロック、色差ブロックについて、隣接するブロックとの連続性の判定を終了したら、ブロック連続性判定部25は判定結果である隣接ブロック連続性127を出力する。ステップST10において、エラーマクロブロック判定部26は、隣接ブロック連続性127に基づき、エラーマクロブロックか否かの判定を行う。
【0049】
エラーマクロブロック判定部26は、輝度ブロック、色差ブロックの各々の近傍ブロックとの連続性に基づいて、復号マクロブロックがエラーマクロブロックか否かを判定する。例えば、2つの色差ブロック又は4つの輝度ブロックのいずれか1つで、不連続性が検出された場合には、そのブロックを含むマクロブロックを誤りが発生したマクロブロックと判定する。また、2つの色差ブロック、4つの輝度ブロックの不連続判定の組合せにより判定することもできる。
【0050】
なお、この実施の形態1では、隣接する水平方向のブロック(m,n−1)のブロック境界付近の画素3列(P m,n−1 (i,5)乃至P m,n−1 (i,7))と、判定対象ブロックのブロック境界付近の画素1列(Pm,n (i,0))の隣接画素間の差分値を用いて、エラーブロック判定を行ったが、用いる画素列や画素列数については、特に限定するものではなく、より広範囲に画素間の変化量(差分値)を調べて、エラーブロックの判定に用いることも可能である。また、この実施の形態では、図5において、隣接する画素間の変化量(差分値)を用いたが、1画素おきの変化量(差分値)をとることも可能である。これらのことは、隣接する垂直方向のブロック(m−1,n)に対しても適用できる。
【0051】
さらに、この実施の形態では、上記ステップST3において、水平方向連続性判定部23が、上記(2)式で求めた変化量ΔP m,n−1 (i,7)と上記(3)式で求めた量ΔPm,n (i,0)を使用して、上記(4)式により所定のしきい値TH1と比較して、水平方向の連続性を判定しているが、上記(2)式を使用せず、上記(3)式で求めた変化量ΔPm,n (i,0)と別の所定のしきい値TH1aと比較して水平方向の連続性を判定しても良い。このことは、垂直方向連続性判定部24についても適用できる。
【0052】
以上のように、この実施の形態1によれば、隣接するブロックとの画像信号の連続性を利用して、誤りの発生したマクロブロックを検出することにより、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができると共に、復号化対象のブロックと隣接するブロックの周辺画素との変化量だけでなく、隣接するブロック内の画素の変化量も考慮することにより、確実に誤りの発生したマクロブロックを検出することができるという効果が得られる。
【0053】
実施の形態2.
この発明の実施の形態2における画像復号化装置の構成を示すブロック図は、実施の形態1における図2と同一である。この実施の形態は、実施の形態1で述べたエラーマクロブロック検出部8の水平方向連続性判定部23,垂直方向連続性判定部24におけるしきい値を、各マクロブロックの量子化ステップサイズに基づいて適応的に切り替えるものである。
【0054】
実施の形態1で述べたようにブロック単位でDCT等の直交変換後、量子化を行う場合、ブロック歪みと呼ばれる直交変換符号化特有の雑音が生じる。このブロック歪みによっても、ブロック境界の画素間変化量(差分値)が大きくなることがある。そこで、この実施の形態2におけるエラーマクロブロック検出部8では、ブロック歪みの影響を考慮して、しきい値を適応的に制御するしきい値制御部を設ける。
【0055】
図6は実施の形態2によるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図において、27はしきい値制御部であり、図2の可変長復号化部1により復号化された付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値128を制御する。水平方向差分算出部21,水平方向連続性判定部23,垂直方向差分算出部22,垂直方向連続性判定部24,ブロック連続性判定部25,エラーマクロブロック判定部26の動作は実施の形態1と同様である。
【0056】
次に動作について説明する。
図7はこの実施の形態2によるしきい値制御部27の動作を示すフローチャートである。しきい値制御部27は、付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値128を制御する。ステップST11において、しきい値制御部27は付加情報104に含まれるマクロブロックの量子化ステップサイズが所定の値Q1より大きいかを確認し、Q1より大きい場合には、ブロック歪みによりブロック境界付近の画素間変化量(差分値)が大きくなることがあるので、ステップST12において、しきい値制御部27は、不連続判定性のしきい値もそれに応じて大きな値THaに設定する。
【0057】
上記ステップST11において、量子化ステップサイズが所定の値Q1より小さい場合には、ステップST13において、しきい値制御部27は量子化ステップサイズが所定の値Q2(Q2<Q1)より大きいかを確認し、Q2より大きい場合には、ステップST14において、しきい値制御部27は、不連続判定性のしきい値もそれに応じてTHaより小さな値THbに設定する。
【0058】
以下、同様にして、ステップST15,ST16,ST17の処理を行い、量子化ステップサイズが所定の値Q3(Q3<Q2<Q1)より大きい場合には、しきい値をTHcに設定し、小さい場合には、ブロック歪みの影響が少ないので、しきい値もそれに応じて小さい値THd(THd<THc<THb<THa)に設定する。
【0059】
図7の処理では、量子化ステップサイズの範囲を4段階に区切って、それぞれの値に応じてしきい値を設定したが、4段階に限るものではなく、量子化特性に応じて適応的に設定することができる。
【0060】
図6において、しきい値制御部27により設定されたしきい値128は、水平方向連続性判定部23,垂直方向連続性判定部24に出力され、実施の形態1と同様に水平方向のブロック信号121,垂直方向のブロック信号122との連続性を判定する際のしきい値として用いられる。
【0061】
以上のように、この実施の形態2によれば、隣接するブロックとの連続性を判定する際に用いるしきい値を、量子化ステップサイズにより制御することにより、ブロック歪みによるブロック境界における不連続性と誤りによるブロック境界における不連続性を区別することができ、ブロック歪みが生じたマクロブロックを、誤りの発生したマクロブロックとして誤判別することを避けることができるという効果が得られる。
【0062】
実施の形態3.
この発明の実施の形態3における画像復号化装置の構成を示すブロック図は、実施の形態1における図2と同一である。実施の形態1では、ブロック境界付近の画素間差分信号によりブロック間の不連続性を判定し、エラーマクロブロックの検出を行ったが、この実施の形態では、ブロック毎に算出した画素レベルの代表値に基づいて、エラーマクロブロックを検出するものである。
【0063】
図8は、この実施の形態の特徴であるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図8において、31はブロック内画素平均値算出部であり、復号画像信号110を入力し、ブロックごとの画素レベルの代表値としてブロック内画素平均値を求めて画素レベル平均値131として出力する。32は画素平均差分算出部であり、画素レベル平均値131と図示されていない所定のメモリに記憶されている近傍ブロックの画素レベルの代表値である近傍ブロック画素レベル平均値132を入力して、差分をとり画素平均差分133を出力する。33はエラーマクロブロック判定部であり、画素平均差分133を入力して、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果111を出力する。
【0064】
次に動作について説明する。
図9は実施の形態3によるエラーマクロブロック検出部8の動作を示すフローチャートである。エラーマクロブロック検出部8は、復号画像信号110の色差ブロック、輝度ブロック各々について以下の処理を行う。ステップST21において、ブロック内画素平均値算出部31は、復号画像信号110を入力して、次の(5)式によりブロック内の画素レベルの平均値を算出する。
【0065】
【数1】
【0066】
ステップST22において、画素平均差分算出部32は、次の(6)式によって、ブロック内画素平均値算出部31により算出された復号ブロックの画素レベルの平均値131(AvePm,n )と、近傍のブロックにおける画素レベルの平均値132(AvePs,t )との画素平均差分133(ΔAvePm,n,s,t )を算出する。
ΔAvePm,n,s,t =AvePs,t −AvePm,n (6)
図10は差分算出の対象となる近傍のブロックを示す図であり、例えば、図に示すように4つのブロックが考えられる。上記(6)式におけるs,tは、図10における近傍のブロック(m,n−1),(m−1,n−1),(m−1,n),(m−1,n+1)を示している。
【0067】
エラーマクロブロック判定部33は、ステップST23以降の処理により、画素平均差分算出部32にて算出された近傍ブロックとの画素平均差分133を用いて、エラーマクロブロックを判定し、エラーマクロブロック判定結果111を出力する。
【0068】
エラーマクロブロックの判定方法としては、ステップST23において、エラーマクロブロック判定部33が、例えば次の(7)式によって、色差ブロック、輝度ブロック各々について、近傍のブロックとの画素平均の絶対差分を計算し、近傍ブロックとの画素平均の絶対差分をすべて加えた値Cm,n を求める。
【0069】
次にステップST24において、エラーマクロブロック判定部33が、次の(8)式に基づいて、(7)式によって求められた値Cm,n を、所定のしきい値TH2と比較することによりエラーマクロブロックを判定する。すなわち、予め決められたしきい値TH2に対して、次の(8)式が成り立つとき、そのブロックをエラーブロックとする。
Cm,n >TH2 (8)
【0070】
ステップST25において、エラーマクロブロック判定部33は、エラーブロックを含むマクロブロックをエラーマクロブロックと判定する。
【0071】
上記ステップST24において、上記(8)式を満足しない場合、ステップST26において、全てのブロックのエラー判定を行ったか否かを調べ、全てのブロックについて、エラーブロックではないと判定された場合には、ステップST27において、エラーマクロブロック判定部33は、復号画像信号110を正常マクロブロックと判定する。
【0072】
また、近傍のブロックとの画素平均の絶対差分の総和を求める際に、次の(9)式によって各絶対差分値に重みづけをして加えることもできる。
これにより、近傍のブロックとの相関が一様ではないときに、相関が強いと思われるブロックとの差分を優先的に扱うことができる。
【0073】
この実施の形態では、ブロックの画素レベルの代表値として、画素レベルの平均値を使用しているが、画素レベルの分散を使用しても良い。
【0074】
以上のようにこの実施の形態3によれば、復号画像ブロック毎に代表値を算出し、近傍ブロックの代表値と比較することにより、誤りの発生したマクロブロックを検出することができるため、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果が得られる。
【0075】
実施の形態4.
この発明の実施の形態4における画像復号化装置の構成を示すブロック図は、実施の形態1における図2と同一である。この実施の形態は、実施の形態3で述べたエラーマクロブロック検出部8のエラーマクロブロック判定部33におけるしきい値を、各マクロブロックの量子化ステップサイズに基づいて適応的に制御するものである。
【0076】
実施の形態1で述べたように、ブロック単位でDCTなどの直交変換後、量子化を行う場合、量子化ステップサイズが大きいときには、画像信号の振幅が平滑化されて振幅が小さくなる。従って、ブロック毎の平均値は、量子化ステップサイズが大きいときには、小さくなる場合がある。そこで、この実施の形態におけるエラーマクロブロック検出部8では、量子化ステップサイズの影響を考慮し、しきい値を制御するしきい値制御部を設ける。
【0077】
図11は、この実施の形態4におけるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図11において、34はしきい値制御部であり、図2の可変長復号化部1により復号化された付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいて、しきい値134を設定する。ブロック内画素平均値算出部31,画素平均差分算出部32,エラーマクロブロック判定部33の動作は実施の形態3と同様である。
【0078】
次に動作について説明する。
しきい値制御部34は、付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいてしきい値134を制御する。例えば、量子化ステップサイズが大きい場合には、画像信号の振幅が小さくなるので、平均値が小さくなることがあるので、しきい値を小さい値に設定する。また、量子化ステップサイズが小さい場合には、画像信号の振幅が保たれ、平均値は小さくならないので、しきい値を大きい値に設定する。
【0079】
しきい値制御部34により設定されたしきい値134は、エラーマクロブロック判定部33に出力され、実施の形態3と同様に、エラーマクロブロックを判定する際のしきい値として用いられる。
【0080】
以上のように、この実施の形態4によれば、エラーマクロブロックを判定する際に用いるしきい値を、量子化ステップサイズにより制御することにより、誤りの発生したマクロブロックに対する誤判別を避けることができるという効果が得られる。
【0081】
実施の形態5.
この発明の実施の形態5における画像復号化装置の構成を示すブロック図は、実施の形態1における図2と同一である。この実施の形態では、実施の形態1から実施の形態4で述べたエラーマクロブロック判定方法を組合せてエラーマクロブロックを判定するものである。
【0082】
図12は、この実施の形態5によるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図12において、41はしきい値制御部であり、図2の可変長復号化部1により復号化された付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいて、所定のしきい値141と所定のしきい値142を設定する。42はエラーマクロブロック判定部であり、隣接ブロック連続性127と画素平均差分133に基づいて、エラーマクロブロックを判定する。
【0083】
図12において、水平方向差分算出部21,水平方向連続性判定部23,垂直方向差分算出部22,垂直方向連続性判定部24,ブロック連続性判定部25,ブロック内画素平均値算出部31,画素平均差分算出部32は、実施の形態1及び実施の形態3と同様である。
【0084】
次に動作について説明する。
しきい値制御部41の動作は、実施の形態2及び実施の形態4と同様である。図13は実施の形態5によるエラーマクロブロック判定部42の動作を示すフローチャートである。エラーマクロブロック判定部42は、色差ブロック、輝度ブロック毎の隣接ブロック連続性127と、画素平均差分133に基づいて、エラーマクロブロックを判定する。ステップST31において、エラーマクロブロック判定部42は、色差ブロックから輝度ブロックへ順番に隣接ブロック連続性127に基づき、隣接するブロックとの連続性を判定する。
【0085】
ステップST31における判定の結果、隣接するブロックと連続である場合には、ステップST35において、エラーマクロブロック判定部42は、全てのブロックについてエラー判定を行ったか否かを調べ、全てのブロックについて判定を行っていない場合には、ステップST31に戻り、次のブロックについて隣接するブロックとの連続性を調べる。
【0086】
一方、ステップST31における判定の結果、隣接するブロックと不連続である場合には、ステップST32において、エラーマクロブロック判定部42は、実施の形態3で述べたように、画素平均差分133に基づいて、エラーブロックか否かの判定を行う。
【0087】
ここで、ステップST33において、エラーブロックと判定された場合には、ステップST34において、エラーマクロブロック判定部42は、そのブロックを含むマクロブロックをエラーマクロブロックと判定し、エラーマクロブロック判定結果111を図2に示す切替器9へ出力する。
【0088】
上記ステップST33において、エラーブロックと判定されない場合には、ステップST35において、全てのブロックについて、上記の判定を行い、いずれのブロックに対してもエラーブロックと判定されなかった場合には、ステップST36において、エラーマクロブロック判定部42は、正常なマクロブロックと判定し、エラーマクロブロック判定結果111を切替器9へ出力する。
【0089】
上記ステップST36で、正常マクロブロックと判定されるのは、ステップST31で隣接するブロックとの連続性がありと判定するか、又はステップST33で、画素平均差分によりエラーブロックとして判定されない場合であるが、ステップST31で隣接するブロックとの連続性がありと判定し、かつ上記ステップST33で、画素平均差分によりエラーブロックとして判定されない場合に、上記ステップST36で、正常マクロブロックと判定しても良い。
【0090】
この実施の形態では、マクロブロックの量子化ステップサイズに基づいて、しきい値制御部41が所定のしきい値141と所定のしきい値142を制御しているが、実施の形態1及び実施の形態3と同様に、量子化ステップサイズに基づいて、制御しなくても良い。
【0091】
以上のように、この実施の形態5によれば、複数の判定方法に基づきエラーマクロブロックを判定するため、より確実に誤りの発生したマクロブロックを判定することができ、誤判別を避けることができるという効果が得られる。
【0092】
また、判定処理を色差ブロックから輝度ブロックへ階層的に行い、あるブロックでエラーブロックと判定された場合に、そのブロックを含むマクロブロックをエラーマクロブロックと判定し、以降のブロックの判定処理を行わないため、判定処理にかかる計算量を削減することができるという効果が得られる。
【0093】
実施の形態6.
実施の形態1から実施の形態5では、動画像におけるMPEG−4の符号化方式による画像復号化装置について説明したが、静止画像に対しても適用できる。また、ブロック単位にDCT,量子化を行う符号化方式について説明したが、これに限ったものではなく、DCT以外の直交変換を用いる場合等、ブロック単位で符号化を行う全ての方式に適用することが可能である。
【0094】
さらに、8×8画素のブロック単位で近傍のブロックの連続性を調べたが、これに限ったものではなく、例えば、16×16画素のマクロブロック単位で、近傍のマクロブロックとの連続性を調べることもできる。
【0095】
さらに、ブロック単位のみならず、任意形状の領域単位で符号化する場合にも、近傍の領域との連続性を同様に調べればよく、任意形状の領域単位で符号化を行う全ての方式に適用することが可能である。
【0096】
実施の形態7.
この発明の実施の形態7における画像復号化装置の構成を示すブロック図は、実施の形態1における図2と同一である。実施の形態1から実施の形態6では、空間方向の画像信号の連続性を用いて、ビット誤りが発生したマクロブロックを検出したが、この実施の形態は、時間方向の画像信号の相関を用いて、ビット誤りが発生したマクロブロックを検出するものである。
【0097】
画像を符号化する際に、動きが少ない場合には、フレーム間に相関があることを利用したフレーム間予測符号化が行われる。代表的な方式が動き補償予測で、ある決められた画像サイズのブロック単位で、予め決められた範囲に、差分信号が最も小さくなるブロックを過去のフレームから探索し、探索した結果のブロックと符号化対象ブロックとの位置のずれを動きベクトルとし、この動きベクトルと差分信号(予測誤差信号)を符号化して、符号化ビットストリームに多重化する。
【0098】
過去のフレーム内に似通ったブロックが存在すれば、予測誤差信号の分散は小さくなるため、効率的に符号化することができる。これに対し、過去のフレーム内に似通ったブロックが存在しない場合には、予測誤差信号の分散が大きくなるため、フレーム内の情報のみで符号化(イントラ符号化)を行う。復号化装置側では、実施の形態1で述べたように、符号化ビットストリーム101より動きベクトル103と予測誤差信号109を復号化し、復号化した動きベクトル103に基づいて予測画像107を取り出し、復号化した予測誤差信号109と加算することにより、復号画像信号110を復元する。
【0099】
この実施の形態では、符号化装置側で、予測誤差信号109の分散が大きくなる場合に、イントラ符号化が選択されていることを利用し、復号化装置側で復号化された予測誤差信号109の分散をしきい値処理することにより、ビット誤りが発生したマクロブロックを検出する。
【0100】
図14は実施の形態7によるエラーマクロブロック検出部(エラー部分画像領域検出手段)8の内部構成を示すブロック図である。図において、51は予測誤差信号分散算出部であり、予測誤差信号109の分散を求めて予測誤差信号分散151を出力する。52は復号画像信号分散算出部であり、復号画像信号110の分散を求めて復号画像信号分散152を出力する。53はエラーマクロブロック判定部であり、予測誤差信号分散151及び復号画像信号分散152に基づき、エラーマクロブロックかの判定を行い、エラーマクロブロック判定結果111を出力する。
【0101】
次に動作について説明する。
図15はエラーマクロブロック検出部8の動作を示すフローチャートである。この実施の形態におけるエラーマクロブロック検出部8は、インターマクロブロックについてのみ適用され、イントラマクロブロックの場合は適用されない。
【0102】
ステップST41において、図2の可変長復号化部1により復号化された付加情報104により、インターマクロブロックかイントラマクロブロックかの判定が行われる。イントラマクロブロックの場合には、実施の形態1から実施の形態5のいずれかの手法を用いることができる。インターマクロブロックの場合には、以降の処理によりエラーマクロブロックを判定する。
【0103】
ステップST42において、予測誤差信号分散算出部51は、次の(10)式により、復号化された予測誤差信号109の分散を求めて予測誤差信号分散151を出力する。ここで、σ2 (P)は予測誤差信号分散、pi,j はN×N画素サイズの予測誤差ブロックのi行、j列の画素値で、mp はN×N画素サイズの画素値の平均を示す。
【0104】
【数2】
【0105】
ステップST43において、復号画像信号分散算出部52は、次の(11)式により、復号画像信号110の分散を求めて復号画像信号分散152を出力する。ここで、σ2 (D)は復号画像信号分散、di,j はN×N画素サイズの復号ブロックのi行、j列の画素値で、md はN×N画素サイズの画素値の平均を示す。
【0106】
【数3】
【0107】
ステップST44において、エラーマクロブロック判定部53は、予測誤差信号分散算出部51が求めた予測誤差信号分散151と、復号画像信号分散算出部52が求めた復号画像信号分散152と、所定のしきい値TH3を用いて、次の(12)式により比較を行う。
σ2 (P)>σ2 (D)+TH3 (12)
【0108】
上記ステップST44において、予測誤差信号分散σ2 (P)が復号画像信号分散σ2 (D)に所定のしきい値TH3を加えた値より大きい場合には、ステップS45において、エラーマクロブロック判定部53は、そのマクロブロックをエラーマクロブロックと判定する。
【0109】
上記ステップST44において、予測誤差信号分散σ2 (P)が復号画像信号分散σ2 (D)に所定のしきい値TH3を加えた値より大きくない場合には、ステップST46において、エラーマクロブロック判定部53は、そのマクロブロックを正常マクロブロックと判定する。
【0110】
この実施の形態において、予測誤差信号分散σ2 (P)と復号画像信号分散σ2 (D)を、それぞれ予測誤差信号109及び復号画像信号110の代表値としているが、平均や二乗和を代表値としても良い。なお、この実施の形態で述べた手法と実施の形態1から実施の形態5で述べた手法を組み合わせてエラーマクロブロックの判定を行うこともできる。
【0111】
以上のように、この実施の形態7によれば、予測誤差信号分散151と復号画像信号分散152を比較することにより、時間方向の画像信号の相関性を利用してエラーマクロブロックの検出を行うことができ、誤りを早期に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果が得られる。
【0112】
実施の形態8.
この発明の実施の形態8は、伝送路又は記録媒体から符号化ビットストリームを受信して、画像の復号化及び表示を行う画像復号化装置で、ビット誤りの発生頻度を検知して、発生頻度が高いと判定された場合に、上記のエラーマクロブロック検出部を起動させることにより、エラーマクロブロック検出部の誤動作を少なくして、復号誤りによる画質劣化を安定して抑制するものである。
【0113】
上記のエラーマクロブロック検出部は、シンタックス解析の過程で復号化が不可能になった、又は不正なデータを復号化したような画像データにとって致命的な誤りを検出するより以前に、画像信号の定常的性質に基づいて誤りを推定して検出するため、誤検出の可能性がある。そこで、この実施の形態は、ビット誤りが頻繁に発生する受信状況の場合のみ、エラーマクロブロック検出部を起動させて、誤りに対する耐性を高めて、トータルで安定した復号化動作を行うものである。
【0114】
図16は実施の形態8による画像復号化装置の構成を示すブロック図である。図において、61は誤り監視部であり、メディアパケット列201を入力して、ビット誤りカウント値202を出力する。62は誤り検出起動制御部であり、ビット誤りカウント値202を入力し、誤り検出起動指示フラグ203を出力することにより、エラーマクロブロック検出部8の起動を制御する。63は切替部であり、誤り検出起動指示フラグ203により、加算部7からの復号画像信号110をエラーマクロブロック検出部8に入力させる。71は監視部であり、誤り監視部61と誤り検出起動制御部62により構成されている。その他の構成は、実施の形態1における図2の構成と同等のものである。
【0115】
図17はメディアパケット列201の構成を示す図である。メディアパケットとは、ビデオデータのほか、それと同期して復号化・提示されるオーディオデータや、テキスト・グラフィックス・静止画といった種々のメディアを所定のルールに従って統一されたフォーマットでパッキングするデジタルデータ単位と定義する。例えば、MPEG−2(ISO/IEC 13818−1)Packetized Elementary Stream(PES),ITU−T H.223 AL−PDU等が挙げられる。
【0116】
図17において、パケットヘッダは、パケットの属性やメディアの種別等を記述する各種のヘッダ情報であり、メディアデータは、ビデオ、オーディオ、データ等の固有の符号化データであり、誤り検出符号は、CRC(Cyclic Redundancy Check)等の誤り検出のための付加ビットである。図17のような統一されたメディアパケットの形式で伝送され、そのうちの画像符号化データ(符号化ビットストリーム101)だけが、図16における可変長復号化部1に供給される。
【0117】
次に動作について説明する。
部分画像領域データ復号化手段11及びエラーマクロブロック検出部8以降の動作は、実施の形態1と同等である。誤り監視部61は、メディアパケット列201を入力して、そこに含まれている誤り検出符号によって、ビット誤り発生頻度を監視し、検出されたビット数をカウントして、ビット誤りカウント値202を出力する。
【0118】
誤り検出起動制御部62は、誤り監視部61からの誤り検出結果であるビット誤りカウント値202を、所定の単位時間間隔でチェックし、所定の単位時間間隔におけるビット誤りカウント値202が、所定のしきい値を超える場合に、受信状況が劣悪(伝送路のビットエラーレートが大きい、記憶媒体からの読み出しが不安定等)であると判断して、誤り検出起動指示フラグ203を出力する。一方、所定の単位時間間隔におけるビット誤りカウント値202が、所定のしきい値を超えない場合には、受信状況が良好であると判断して、誤り検出起動指示フラグ203を出力しない。
【0119】
切替部63は、誤り検出起動制御部62からの誤り検出起動指示フラグ203を入力したときには、加算部7からの復号画像信号110をエラーマクロブロック検出部8に入力させ、エラーマクロブロック検出部8を起動させる。一方、切替部63は、誤り検出起動制御部62からの誤り検出起動指示フラグ203を入力しないときには、エラーマクロブロック検出部8を起動させず、加算部7からの復号画像信号110をそのまま出力する。
【0120】
エラーマクロブロック検出部8は、実施の形態1から実施の形態7までの種々の構成で誤りの発生したマクロブロックを検出し、エラーマクロブロック修正部10は、損失した画像領域を修正処理する。
【0121】
図18は誤り監視部61の内部構成を示すブロック図である。ビット誤り検出部81は、メディアパケット列201を入力して、パケット単位に付加されている誤り検出符号によって、パケット中のビット誤りを検出し、パケット単位のビット誤りカウント値211を出力する。ビット誤りカウンタ82は、ビット誤り検出部81からのパケット単位のビット誤りカウント値211をメディアパケット毎に累算し、累算したビット誤りカウント値202を誤り検出起動制御部62に出力する。以上のようにして、誤り監視部61は、ビット誤りカウント値202の推移を監視することにより、伝送路における伝送最中のビット誤り発生頻度や、記憶媒体からの読み出し最中のビット誤り発生頻度を監視する。
【0122】
誤り監視部61の監視方法として、上記の誤り検出符号に基づく方法のほか、メディアパケット列を搬送する電波の受信電界強度や、電波の遅延検波後の位相情報を監視しても良い。また、オーディオ等他のメディアパケットにおけるビット誤りの状況を監視し、その監視結果も含めて考慮しても良い。
【0123】
誤り検出起動制御部62における制御についても上記に示したオン、オフ制御だけでなく、種々の制御方法が考えられる。例えば、実施の形態2及び実施の形態4では、付加情報104に含まれるマクロブロックの量子化ステップサイズに基づいてしきい値を制御していたが、誤り監視部61からのビット誤りカウント値202に基づいて、しきい値を制御しても良い。
【0124】
すなわち、ビット誤りカウント値202が大きい場合には、受信状況が劣悪で誤りが発生する確率が高いので、しきい値を小さく設定する。一方、ビット誤りカウント値202が小さい場合には、受信状況が安定し誤りが発生する確率が低いので、しきい値を大きく設定する。このように、誤り監視部61の出力結果に応じてしきい値を設定することにより、エラーマクロブロック検出部8の処理を制御し、受信状況が良好なときに、エラーマクロブロック検出部8の誤検出を回避することができる。
【0125】
誤り検出起動制御部62の別の制御方法として、連続性の評価範囲を変化させることもできる。実施の形態1では、輝度ブロック、色差ブロック毎に8×8画素サイズのブロック単位で連続性の判定を行い、少なくとも1つのブロックで不連続性の判定がなされた場合に、そのブロックを含むマクロブロックをエラーマクロブロックと判定していたが、誤り監視部61の出力結果により、安定した受信状況であると判断された場合には、誤りが発生する確率が低いので、エラーマクロブロックの検出条件を厳しくするために、輝度ブロックの場合には、16×16画素のマクロブロック単位で不連続性を判定しても良い。また、判定の際に用いる画素間差分の評価対象画素を増やしても良い。
【0126】
以上のように、この実施の形態8によれば、伝送路の回線品質や記憶媒体からの読み出しの信頼性等に応じて、適応的にエラーマクロブロック検出部8を作動させることにより、受信状況が良好な場合には、エラーマクロブロック検出部8による誤検出を回避でき、トータルで安定した復号化動作を行わせることができるという効果が得られる。
【0127】
【発明の効果】
以上のように、この発明によれば、復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第1の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第2の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第3の差分値とを求め、上記第2の差分値と上記第1の差分値との差分値である第4の差分値と、上記第3の差分値と上記第2の差分値との差分値である第5の差分値とを求め、上記第4の差分値と上記第5の差分値との差分値が所定のしきい値より大きい場合に、エラー部分画像領域であることを検出することにより、誤りの発生を早期にしかも確実に検出し、誤りの伝播や誤りによる画質の劣化を最小限に抑えることができるという効果がある。
【0130】
この発明によれば、量子化ステップサイズに基づき、エラー部分画像領域を検出する際のしきい値を制御することにより、誤りの発生したマクロブロックの誤判別を避けることができるという効果がある。
【0133】
この発明によれば、メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させることにより、受信状況が良好な場合には、エラー部分画像領域検出手段による誤検出を回避でき、トータルで安定した復号化動作を行わせることができるという効果が得られる。
【図面の簡単な説明】
【図1】MPEG−4シンプルプロファイルの符号化ビットストリームのテクスチャデータ領域の構造を示す図である。
【図2】この発明の実施の形態1による画像復号化装置の構成を示すブロック図である。
【図3】この発明の実施の形態1によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図4】この発明の実施の形態1によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図5】この発明の実施の形態1による水平方向差分算出部及び垂直方向差分算出部の処理を説明する図である。
【図6】この発明の実施の形態2によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図7】この発明の実施の形態2によるしきい値制御部の動作を示すフローチャートである。
【図8】この発明の実施の形態3によるエラーマクロブロック検出部の内部構成を示すブロック図である。
【図9】この発明の実施の形態3によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図10】この発明の実施の形態3による差分算出の対象となる近傍のブロックを示す図である。
【図11】この発明の実施の形態4におけるエラーマクロブロック検出部の内部構成を示す図である。
【図12】この発明の実施の形態5によるエラーマクロブロック検出部の内部構成を示す図である。
【図13】この発明の実施の形態5によるエラーマクロブロック判定部の動作を示すフローチャートである。
【図14】この発明の実施の形態7によるエラーマクロブロック検出部の内部構成を示す図である。
【図15】この発明の実施の形態7によるエラーマクロブロック検出部の動作を示すフローチャートである。
【図16】この発明の実施の形態8による画像復号化装置の構成を示すブロック図である。
【図17】メディアパケット列の構成を示す図である。
【図18】この発明の実施の形態8による誤り監視部の構成を示すブロック図である。
【符号の説明】
8 エラーマクロブロック検出部(エラー部分画像領域検出手段)、11 部分画像領域データ復号化手段、27,34,41 しきい値制御部(しきい値制御手段)、71 監視手段。
Claims (5)
- 入力画像信号を部分画像領域単位で圧縮符号化して生成された符号化ビットストリームを復号化する画像復号化装置において、
上記符号化ビットストリームを上記部分画像領域単位で復号化する部分画像領域データ復号化手段と、
上記部分画像領域データ復号化手段によって復号化された復号部分画像領域とそれに隣接する部分画像領域の境界にまたがった隣接画素間における画素レベルの第1の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界に近い画素間における画素レベルの第2の差分値と、上記復号部分画像領域に隣接する部分画像領域内の上記境界より離れた画素間における画素レベルの第3の差分値とを求め、上記第2の差分値と上記第1の差分値との差分値である第4の差分値と、上記第3の差分値と上記第2の差分値との差分値である第5の差分値とを求め、上記第4の差分値と上記第5の差分値との差分値が所定のしきい値より大きい場合に、上記復号部分画像領域が上記符号化ビットストリームに発生したビット誤りの影響を受けたエラー部分画像領域であることを検出するエラー部分画像領域検出手段と
を備えたことを特徴とする画像復号化装置。 - 符号化ビットストリームより復号化された量子化ステップサイズに基づき、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を制御するしきい値制御手段
を備えたことを特徴とする請求項1記載の画像復号化装置。 - 符号化ビットストリームを含むメディアパケット列に付加されている誤り検出符号に基づき、上記メディアパケット列を受信する際のビット誤り発生頻度を監視し、検出されたビット数をカウントしてビット誤りカウント値を求め、所定の単位時間間隔におけるビット誤りカウント値が所定のしきい値を超える場合に誤り検出起動指示フラグを出力する監視手段を備え、
上記監視手段により出力された誤り検出起動指示フラグに基づきエラー部分画像領域検出手段を起動させる
ことを特徴とする請求項1記載の画像復号化装置。 - 監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の所定のしきい値を小さく設定し、上記ビット誤りカウント値が小さい場合に上記所定のしきい値を大きく設定する
ことを特徴とする請求項3記載の画像復号化装置。 - 監視手段により求められたビット誤りカウント値が大きい場合に、エラー部分画像領域検出手段がエラー部分画像領域を検出する際の評価範囲である部分画像領域単位を小さく設定し、上記ビット誤りカウント値が小さい場合に上記部分画像領域単位を大きく設定する
ことを特徴とする請求項3記載の画像復号化装置。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30304098A JP3576402B2 (ja) | 1998-10-23 | 1998-10-23 | 画像復号化装置 |
TW88117952A TW450008B (en) | 1998-10-23 | 1999-10-18 | Image decoding device |
AU62279/99A AU6227999A (en) | 1998-10-23 | 1999-10-21 | Image decoding device |
KR1020017005073A KR20010080299A (ko) | 1998-10-23 | 1999-10-21 | 화상 복호화 장치 |
EP99949350A EP1126725A4 (en) | 1998-10-23 | 1999-10-21 | IMAGE DECODING DEVICE |
PCT/JP1999/005820 WO2000025523A1 (en) | 1998-10-23 | 1999-10-21 | Image decoding device |
US09/601,404 US6697433B1 (en) | 1998-10-23 | 1999-10-21 | Image decoding apparatus |
NO20011957A NO20011957L (no) | 1998-10-23 | 2001-04-20 | Bildedekoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30304098A JP3576402B2 (ja) | 1998-10-23 | 1998-10-23 | 画像復号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003373284A Division JP3884003B2 (ja) | 2003-10-31 | 2003-10-31 | 画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002027475A JP2002027475A (ja) | 2002-01-25 |
JP3576402B2 true JP3576402B2 (ja) | 2004-10-13 |
Family
ID=17916208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30304098A Expired - Fee Related JP3576402B2 (ja) | 1998-10-23 | 1998-10-23 | 画像復号化装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6697433B1 (ja) |
EP (1) | EP1126725A4 (ja) |
JP (1) | JP3576402B2 (ja) |
KR (1) | KR20010080299A (ja) |
AU (1) | AU6227999A (ja) |
NO (1) | NO20011957L (ja) |
TW (1) | TW450008B (ja) |
WO (1) | WO2000025523A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7031393B2 (en) * | 2000-10-20 | 2006-04-18 | Matsushita Electric Industrial Co., Ltd. | Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus |
JP2002191048A (ja) * | 2000-12-22 | 2002-07-05 | Ando Electric Co Ltd | 動画符号通信評価方法及び動画符号通信評価装置 |
US20030012286A1 (en) * | 2001-07-10 | 2003-01-16 | Motorola, Inc. | Method and device for suspecting errors and recovering macroblock data in video coding |
US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
KR100548316B1 (ko) * | 2002-11-08 | 2006-02-02 | 엘지전자 주식회사 | 동영상 에러 보정 방법 및 장치 |
KR100504824B1 (ko) * | 2003-04-08 | 2005-07-29 | 엘지전자 주식회사 | 이미지 신호 블록오류 보정 장치 및 방법 |
US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
KR100987765B1 (ko) * | 2003-09-30 | 2010-10-13 | 삼성전자주식회사 | 동영상 부호화기에서의 예측 수행 방법 및 장치 |
US20050137911A1 (en) * | 2003-12-18 | 2005-06-23 | Conn John P. | Systems and methods for data insurance |
KR101044935B1 (ko) | 2004-01-14 | 2011-06-28 | 삼성전자주식회사 | 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치 |
JP2006065834A (ja) * | 2004-07-26 | 2006-03-09 | Murata Mach Ltd | 画像処理装置および画像処理方法 |
KR101354151B1 (ko) * | 2006-08-24 | 2014-01-28 | 삼성전자주식회사 | 영상 변환 방법 및 장치, 역변환 방법 및 장치 |
JPWO2008139721A1 (ja) * | 2007-05-07 | 2010-07-29 | パナソニック株式会社 | 復号化装置及び復号化方法 |
US9564988B2 (en) * | 2007-07-26 | 2017-02-07 | The Directv Group, Inc. | Method and system for forming a formatted content stream and using a cyclic redundancy check |
KR100935608B1 (ko) * | 2008-05-14 | 2010-01-07 | 이디텍 주식회사 | 움직임 보상 보간 프레임의 보간 오류 은닉 방법 |
CN102113326A (zh) | 2008-08-04 | 2011-06-29 | 杜比实验室特许公司 | 重叠块差异估计和补偿体系结构 |
US8934545B2 (en) * | 2009-02-13 | 2015-01-13 | Yahoo! Inc. | Extraction of video fingerprints and identification of multimedia using video fingerprinting |
US8379715B2 (en) * | 2009-08-27 | 2013-02-19 | Nxp B. V. | System and method for video compression using non-linear quantization and modular arithmetic computation |
JP2017103744A (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1987002210A1 (en) * | 1985-10-02 | 1987-04-09 | Deutsche Thomson-Brandt Gmbh | Process for correcting transmission errors |
JPH0714211B2 (ja) * | 1989-07-14 | 1995-02-15 | 国際電信電話株式会社 | 動画像符号化のブロック歪除去方法および装置 |
JPH04180381A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像信号の復号化装置 |
KR0166716B1 (ko) | 1992-06-18 | 1999-03-20 | 강진구 | 블럭 dpcm을 이용한 부호화/복호화방법 및 장치 |
KR960014184B1 (ko) | 1993-08-31 | 1996-10-14 | 대우전자 주식회사 | 분류 벡터 양자화된 영상의 클라스(Class) 오류 검출 방법 |
KR960012931B1 (ko) * | 1993-08-31 | 1996-09-25 | 대우전자 주식회사 | 분류 벡터 양자화된 영상의 채널 오류 은폐 방법 |
US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
JP3432904B2 (ja) * | 1994-08-31 | 2003-08-04 | 三洋電機株式会社 | ブロック歪み検出装置 |
JP3540855B2 (ja) * | 1995-03-08 | 2004-07-07 | シャープ株式会社 | ブロック歪み補正器 |
JPH0927955A (ja) * | 1995-07-11 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP3176270B2 (ja) * | 1995-10-24 | 2001-06-11 | 京セラ株式会社 | 画像復号化処理方法 |
KR100197368B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
KR100197366B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
JP3065251B2 (ja) * | 1996-07-08 | 2000-07-17 | 日本電気株式会社 | 動画像復号装置 |
JP3466032B2 (ja) * | 1996-10-24 | 2003-11-10 | 富士通株式会社 | 動画像符号化装置および復号化装置 |
US20030012286A1 (en) * | 2001-07-10 | 2003-01-16 | Motorola, Inc. | Method and device for suspecting errors and recovering macroblock data in video coding |
-
1998
- 1998-10-23 JP JP30304098A patent/JP3576402B2/ja not_active Expired - Fee Related
-
1999
- 1999-10-18 TW TW88117952A patent/TW450008B/zh active
- 1999-10-21 KR KR1020017005073A patent/KR20010080299A/ko not_active Application Discontinuation
- 1999-10-21 AU AU62279/99A patent/AU6227999A/en not_active Abandoned
- 1999-10-21 EP EP99949350A patent/EP1126725A4/en not_active Withdrawn
- 1999-10-21 US US09/601,404 patent/US6697433B1/en not_active Expired - Fee Related
- 1999-10-21 WO PCT/JP1999/005820 patent/WO2000025523A1/ja not_active Application Discontinuation
-
2001
- 2001-04-20 NO NO20011957A patent/NO20011957L/no not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
KR20010080299A (ko) | 2001-08-22 |
JP2002027475A (ja) | 2002-01-25 |
NO20011957D0 (no) | 2001-04-20 |
AU6227999A (en) | 2000-05-15 |
US6697433B1 (en) | 2004-02-24 |
WO2000025523A1 (en) | 2000-05-04 |
EP1126725A4 (en) | 2006-09-20 |
EP1126725A1 (en) | 2001-08-22 |
NO20011957L (no) | 2001-06-12 |
TW450008B (en) | 2001-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3576402B2 (ja) | 画像復号化装置 | |
US5737022A (en) | Motion picture error concealment using simplified motion compensation | |
EP0933948B1 (en) | Video encoder and video encoding method | |
JP5007012B2 (ja) | ビデオ符号化方法 | |
JP3157101B2 (ja) | 画像符号化方法及び画像符号化装置 | |
JP3840020B2 (ja) | 動画像符号化装置 | |
JP3933718B2 (ja) | 画像を表す信号を処理するシステム | |
US20070274385A1 (en) | Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame | |
KR20000050599A (ko) | 오류 은폐방법 | |
JP2002540741A (ja) | ビデオ符号化方法及び対応するビデオ符号器 | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
KR100556450B1 (ko) | 움직임 벡터 추정에 의한 오류 복원 방법 | |
JP3519441B2 (ja) | 動画像伝送装置 | |
JP4328000B2 (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
US20050013496A1 (en) | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder | |
JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
JP4432582B2 (ja) | 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム | |
JP3884003B2 (ja) | 画像復号化装置 | |
JP4485409B2 (ja) | 動画像復号装置 | |
KR100774453B1 (ko) | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 | |
CN1964497A (zh) | 动影像解码时的错误隐蔽方法 | |
KR100632106B1 (ko) | 디지털 비월주사 인터픽쳐 부호화/복호화 방법 | |
KR100620695B1 (ko) | 동영상 데이터의 비디오 패킷 단위 전송 방법 | |
Lin et al. | A hybrid error concealment technique for H. 264/AVC based on boundary distortion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040707 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |