JP2001078198A - エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム - Google Patents
エラー隠蔽制御方法及び符号化装置及び画像信号伝送システムInfo
- Publication number
- JP2001078198A JP2001078198A JP25296399A JP25296399A JP2001078198A JP 2001078198 A JP2001078198 A JP 2001078198A JP 25296399 A JP25296399 A JP 25296399A JP 25296399 A JP25296399 A JP 25296399A JP 2001078198 A JP2001078198 A JP 2001078198A
- Authority
- JP
- Japan
- Prior art keywords
- error
- unit
- information
- transmission
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
信号伝送システムに関し、受信側の復号再生画像の画質
劣化を回避する。 【解決手段】 受信側の復号化装置は、エラー発生部分
を隠蔽するエラー隠蔽制御を行うエラー制御部24と、
エラー情報を送信するエラー情報送信部26とを含み、
送信側の符号化装置は、符号化部1による符号化情報と
第1の送信側予測部4による予測情報とを記憶するメモ
リ7と、エラー情報受信部6で受信したエラー情報を基
にエラー発生部分が現時点の予測符号化に大きな影響を
及ぼすか否かを判定し、影響を及ぼす時に、第2の送信
側予測部9を制御してエラー発生時点のエラー隠蔽制御
を行った再生画像を再構成し、メモリ7に記憶された予
測情報を用いて現時点の再生画像を再構成するエラー修
正部8を含む構成を有する。
Description
等の入力画像信号を予測符号化して伝送し、受信側に於
いて予測復号化し、且つエラー発生時にエラー発生部分
を隠蔽制御すると共に、再生画像の画質劣化を防止する
エラー隠蔽制御方法及び符号化装置及び画像信号伝送シ
ステムに関する。
符号化部、52は送信部、53は送信側復号部、54は
送信側予測部、55,56は加算器、57は伝送路、6
1は受信側復号部、62は受信部、63は受信側予測
部、64はエラー制御部、65は加算器を示す。
と、受信側の復号化装置の要部とを含む画像信号伝送シ
ステムを示し、静止画像や動画像等の入力画像信号と、
送信側予測部54からの予測値との差分を加算器55に
より求めて符号化部51に入力する。この符号化部51
は、離散コサイン変換(DCT),フレーム間符号化,
フレーム内符号化,量子化,可変長符号化等の機能を含
み、符号化情報を送信部52と送信側復号部53とに入
力する。送信側復号部53による復号情報と送信側予測
部54からの予測値とを加算器56により加算して、送
信側の再生画像とし、次の予測値として送信側予測部5
4に保持する。
いた動き補償や、フレーム内符号化を行ったか否か等の
予測情報を送信部52に入力す。この送信部52は、符
号化部51からの符号化情報と送信側予測部54からの
予測情報とを多重化して伝送路57に送出する。更には
図示を省略している音声情報やデータ等を多重化する構
成とすることもできる。又伝送路57が有線回線か無線
回線等に対応した送信機能,誤り訂正符号化機能,バッ
ファ機能等を含む構成とすることができる。
符号化情報と予測情報とを多重分離し、符号化情報を受
信側復号部61に入力し、予測情報を受信側予測部63
に入力する。又受信側復号部61は、符号化情報を復号
し、加算器65と受信側予測部63とに入力し、受信側
予測部63は、前回の復号再生画像信号を保持して予測
値とし、復号情報と予測情報に従って形成した予測値を
加算器65に入力し、加算出力を復号画像信号として出
力する。
信部52に対応した構成を有し、伝送エラーの検出機能
を含むものである。又受信側復号部61は、可変長符号
等に規定外の符号パターン等が含まれている場合に復号
エラーを検出するものであり、受信部52に於けるエラ
ー検出時、又は受信側復号部61に於けるエラー検出時
の復号画像は画質が劣化したものとなるから、これを隠
蔽(コンシールメント;concealment)する
為に、図10は、エラー制御部64を設けた場合を示
す。このエラー制御部64は、受信部62からの伝送エ
ラー検出信号や受信側復号部61からの復号エラー検出
信号等によって、そのエラーを含むブロック単位等の復
号画像信号を、エラーを含まない画像信号によって隠蔽
する制御を行うものである。
図であり、エラー有りか否かを判定し(H1)、エラー
有りの場合、即ち、受信部62に於ける伝送エラー等の
エラー検出又は受信側復号部61に於ける復号エラー等
のエラー検出により、1フレーム内のエラー位置Eと、
復号済みの予測値Vとを求める(H2)。エラー制御部
64は、受信側予測部63にエラー位置Eの1ブロック
ライン前の予測情報Vを用いて予測値を出力するように
指示する(H3)。
61に0を出力するように指示する(H4)。そして、
受信側復号部61と受信側予測部63との出力を加算器
65に於いて加算し(H5)、復号画像を出力する(H
6)。又ステップ(H1)に於いて、エラー無しの判定
の場合は、ステップ(H5),(H6)により復号画像
が得られる。この場合、1画面を複数のブロックに分割
して、ブロック対応の符号化や伝送を行うものであり、
エラー位置Eを含むブロックの1ブロックライン前の予
測情報Vを用いて予測値を求め、受信側復号部61から
は0を出力するから、エラー位置Eを含むブロックは、
1ブロックライン前の予測情報Vを用いて予測値とした
復号画像が出力されることになり、エラーを含むブロッ
クを隠蔽(コンシールメント)することができる。この
ような制御をエラー制御部64に於いて行うものであ
る。
ば、ITU−T H.263や、ISO/MPEG4等
の方式として知られている。又図11に示すエラー隠蔽
は、例えば、ITU−T SG16 Video Co
dec Test Model,Near−Term,
Version 9(TMN9)に示されている。
ー隠蔽手段として、データの再送方式と同様にエラー発
生のフレーム等を再送する各種の方式が提案されてい
る。例えば、エラーが多い場合或いは重要ブロックとそ
の隣接ブロックのエラーの場合等に於いて、送信側に再
送要求を行い、フレーム単位或いはブロック単位で再送
を行う方式が知られている。
ーが発生した時に、例えば、図10及び図11について
説明した従来例では、エラー発生部分を復号画像としな
いことにより、エラーの隠蔽(コンシールメント)を行
うものであるが、その後の受信側予測部63による予測
値と、送信側予測部54による予測値とは異なったもの
となる。従って、エラーの隠蔽を行った後の受信側の復
号画像は、送信側と異なる予測値を用いていることによ
り画質劣化が生じる問題がある。
信側に於けるエラー隠蔽と同様な処理を送信側に於いて
も行うようにすることが考えられる。しかし、送信側と
受信側との間の伝送路57等を含む伝送遅延時間の為、
送信側に於ける符号化と、受信側に於ける復号化とは異
なる画像について処理していることになり、送信側で
は、エラー情報を受信しても、エラー発生時点の符号化
情報は、送信側では過去のものであるから、受信側と同
様なエラー隠蔽処理を行うことができないものである。
即ち、受信側予測部63による予測値と送信側予測部5
4による予測値とを一致させることができないものであ
る。
提案されているが、データの再送処理と同様に静止画像
についてはエラー発生により再送処理し、受信側で復号
することができる。しかし、動画像の場合は、過去の画
像から符号化して送信することになり、実際には適用す
ることができない。又静止画像の場合であっても、送信
側と受信側との間の伝送路57が比較的低速の無線回線
の場合、再送処理により伝送効率が著しく低下する問題
がある。又動画像を低速で伝送する場合、再送処理によ
り駒落とし等が生じることにより、再生画像の画質が一
層劣化する問題がある。本発明は、エラーが発生した場
合でも、送信側と受信側との予測値を一致若しくは近似
させて復号画像の画質劣化を防止することを目的とす
る。
方法は、(1)送信側は入力画像信号を予測符号化して
送信し、受信側は予測復号化して再生画像信号を得ると
共に、エラー検出時にこのエラー発生部分を隠蔽する制
御を行うエラー隠蔽制御方法であって、受信側は、エラ
ー発生部分を示すエラー情報を送信し、送信側は、エラ
ー情報を受信して、エラー発生部分が現時点の予測符号
化の予測値に及ぼす影響について判定し、影響が小さい
場合は、エラー修正処理を中止し、影響が大きい場合
は、エラー発生部分を隠蔽するエラー隠蔽制御による再
生画像を再構成して、現時点の予測値を求め、以後の予
測符号化を行う過程を含むものである。
信側は、エラー情報を基に、エラー発生部分の現時点に
於ける符号化フレームに対する移動先を求め、この移動
先が分散又は消滅しているか否かを判定し、分散又は消
滅している場合は、エラー修正処理を中止し、分散又は
消滅していない場合は、エラー発生部分を隠蔽するエラ
ー隠蔽制御による再生画像を再構成して、現時点の予測
値を求め、以後の予測符号化を行う過程を含むものであ
る。
信側は、エラー情報を基に、エラー発生部分を隠蔽する
エラー隠蔽制御による再生画像と、エラー隠蔽制御を行
わない再生画像とを求めて比較し、差が所定値より小さ
い場合は、エラー修正処理を中止し、差が所定値より大
きい場合は、エラー隠蔽制御による再生画像を基に現時
点の予測符号化の予測値を求め、この予測値により以後
の予測符号化を行う過程を含むものである。
信側は、エラー情報を基に、エラー発生部分を隠蔽する
エラー隠蔽制御による再生画像と、エラー隠蔽制御を行
わない再生画像との画素値の絶対値差分を求め、この絶
対値差分が閾値を超えない場合は、エラー修正処理を中
止し、閾値を超えた場合は、エラー隠蔽制御による再生
画像を基に現時点の予測符号化の予測値を求め、この予
測値により以後の予測符号化を行う過程を含むものであ
る。
と、第1の送信側復号部と、送信側予測部とを含み、入
力画像信号を予測符号化する符号化装置であって、受信
側からのエラー情報を受信するエラー情報受信部と、こ
のエラー情報受信部で受信したエラー情報を入力するエ
ラー修正部と、送信側と受信側との間の一巡伝送遅延時
間分の前記第1の送信側復号部からの予測情報を記憶す
ると共に、符号化部からの少なくとも1符号化フレーム
分の符号化情報を記憶するメモリと、エラー情報に従っ
て受信側の復号再生画像と一致した再生画像を得る為の
第2の送信側予測部とを備え、エラー修正部は、エラー
情報を基にエラー発生部分が現時点の予測符号化の予測
値に影響を及ぼすか否かを、メモリに記憶されている符
号化情報及び予測情報を基に判定処理し、影響が大きい
場合にエラー発生部分を隠蔽するエラー隠蔽制御による
再生画像を、第2の送信側予測部により再構成する制御
を行う構成を有するものである。
ラー情報とメモリに記憶された符号化情報と予測情報と
を基に、第2の送信側予測部を用いてエラー発生時点の
復号画像及びエラー発生時点の1フレーム前の復号画像
とを遡って再生し、エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像と、エラー隠蔽制御を行わない再
生画像とを比較し、差が大きい場合は、エラー隠蔽制御
による再生画像を基に現時点の再生画像を再構成し、差
が小さい場合は再構成を行わない制御を行う構成を有す
るものである。
ラー情報とメモリに記憶された符号化情報と予測情報と
を基に、エラー発生時点から現時点までのエラー発生部
分の移動先を求め、このエラー発生部分の位置の分散を
求め、この分散が小さい場合、エラー発生時点の復号画
像及びエラー発生時点の1フレーム前の復号画像を遡っ
て再生し、エラー発生部分を隠蔽するエラー隠蔽制御に
よる再生画像の再構成を行い、分散が大きい場合又は消
滅した場合は、前記再構成を行わない制御を行う構成を
有するものである。
は、入力画像信号を予測符号化する符号化装置を有する
送信側と、この送信部からの符号化情報を受信して予測
復号化する復号化装置を有する受信側とを伝送路を介し
て接続した画像信号伝送システムであって、受信側の復
号化装置は、伝送路に接続された受信部と、予測復号化
を行う受信側復号部と、受信側予測部と、受信部及び受
信側復号部に於けるエラー検出によりエラー発生部分を
隠蔽して復号再生画像の出力制御を行うエラー制御部
と、エラー発生部分を示すエラー情報を送信側に送信す
るエラー情報送信部とを有し、送信側の符号化装置は、
伝送路に接続された送信部と、予測符号化を行う符号化
部と、送信側復号部と、第1,第2の送信側予測部と、
受信部からのエラー情報を受信するエラー情報受信部
と、このエラー情報受信部で受信したエラー情報を入力
するエラー修正部と、送信側と受信側との間の一巡伝送
遅延時間分の第1の送信側復号部からの予測情報を記憶
すると共に、符号化部からの少なくとも1符号化フレー
ム分の符号化情報を記憶するメモリとを有し、エラー修
正部は、エラー情報を基にエラー発生部分が現時点の予
測符号化の予測値に影響を及ぼすか否かを、メモリに記
憶されている符号化情報及び予測情報を基に判定処理
し、影響が大きい場合にエラー発生部分を隠蔽するエラ
ー隠蔽制御による再生画像を前記第2の送信側予測部に
より再構成する制御を行う構成を有するものである。
図であり、1は符号化部、2は送信部、3は送信側復号
部、4は第1の送信側予測部、5,13は加算部、6は
エラー情報受信部、7はメモリ、8はエラー修正部、9
は第2の送信側予測部、10,11,12はセレクタ、
15は下り伝送路、16は上り伝送路、21は受信側復
号部、22は受信部、23は受信側予測部、24はエラ
ー制御部、25は加算部、26はエラー情報送信部であ
り、画像信号伝送システムの送信側の符号化装置と、伝
送路と、受信側の復号化装置との要部を示す。
側復号部21と受信側予測部23とエラー制御部24と
加算部25とエラー情報送信部26とを含む構成で、加
算部25からの復号画像信号を図示を省略した液晶パネ
ルやブラウン管等による表示部に入力して、再生画像を
表示することができる。又復号再生画像として受信側予
測部23に入力する。又受信部22は、送信部2の構成
に対応した構成を有し、下り伝送路15を介して受信し
た符号化情報と予測情報とを分離して、符号化情報を受
信側復号部21に入力し、予測情報を受信側予測部23
に入力する。なお、下り伝送路15と上り伝送路16と
は、既に知られている各種の構成を適用することができ
る。
号化情報を復号し、加算部25と受信側予測部23とに
入力する。加算部25は、受信側復号部21からの復号
情報と受信側予測部23からの予測値とを加算して、復
号再生画像信号として出力する。そして、例えば、前述
の表示部に入力する。又この復号再生画像信号を受信側
予測部23に入力して、次の予測値とする。
てエラーを検出した時、エラー制御部24に通知し、エ
ラー制御部24は、従来例と同様にエラー発生部分を隠
蔽する処理を行うものであり、又エラー発生部分を示す
エラー情報をエラー情報送信部26から上り伝送路16
を介して送信側に送信する。このエラー情報に、例え
ば、現時点の復号処理しているフレーム番号とエラー発
生ブロック番号等のエラー発生の位置を示す情報を含ま
せることができる。又エラー情報送信部26は上り伝送
路16が有線回線又は無線回線等に対応した送信部の構
成を有するものである。
部2と送信側予測部3と第1,第2の送信側予測部4,
9と加算部5,13とエラー情報受信部6とメモリ7と
エラー修正部8とセレクタ10,11,12とを含み、
図示を省略したCCDカメラ等の撮像部からのディジタ
ル信号に変換された入力画像信号を加算部5と第1の送
信側予測部4とに入力する。
線矢印で示す経路の接続を行い、エラー修正処理等の場
合に点線矢印で示す経路の接続を行うものであり、エラ
ー修正部8又は図示を省略した制御部から制御される。
又加算部5は、入力画像信号とセレクタ10を介した第
1の送信側予測部4又は第2の送信側予測部9からの予
測値との差分を求めて符号化部1に入力する。この符号
化部1は、離散コサイン変換,フレーム間符号化,フレ
ーム内符号化,量子化,可変長符号化等による符号化情
報を、送信部2とメモリ7とセレクタ12の実線矢印の
経路を介して送信側復号部3とに入力する。
た符号化情報又はエラー修正部8からの符号化情報を復
号し、加算部13に復号結果を入力する。加算部13
は、送信側復号部3からの復号情報と、セレクタ10を
介した第1の送信側予測部4又は第2の送信側予測部9
からの予測値とを加算して、セレクタ11とエラー修正
部8とに入力する。
合、加算部13からの予測値は第1の送信側予測部4
に、又点線矢印の経路の接続の場合、加算部13からの
予測値は第2の送信側予測部9に入力することになる。
又第1の送信側予測部4からの予測情報を、メモリ7と
送信部2とに入力する。
予測部4からの予測情報とを含む信号を多重化する多重
化機能と、下り伝送路15が有線回線か無線回線かに対
応した送信符号化機能,誤り訂正符号化機能,変調送信
機能等を含むものである。又符号化情報について、フレ
ーム番号等の時間情報を付加して伝送する機能を符号化
部1又は送信部2に設けることができる。このような時
間情報は、送信側と受信側との間の一巡の伝送遅延時間
が固定であれば、省略することもできる。
報及び第1の送信側予測部4からの予測情報とを、送信
側と受信側との下り伝送路15と上り伝送路16とを含
む一巡の伝送遅延時間分と、少なくとも1符号フレーム
分とについて保持する。このような伝送遅延時間は、予
め推定することが可能であり、又受信側の構成等に従っ
て変動する場合は、最大遅延時間或いは許容遅延時間と
することができる。なお、メモリ7の記憶容量に余裕が
あれば、現時点からエラー発生時点まで以上の期間の符
号化情報及び予測情報を記憶しておくことも可能であ
る。又エラー修正部8は、エラー修正処理時、このメモ
リ7をアクセスして、符号化情報及び予測情報を読取る
ものである。
部26の構成に対応した構成を有し、又エラー修正部8
は、エラー情報受信部6により受信側からのエラー情報
を受信した時、送信側と受信側との間の一巡の伝送遅延
時間が固定の場合、現時点の符号化フレームとエラー発
生時点の符号化フレームとの時間差が、一巡の伝送遅延
時間に相当するから、エラー発生部分を識別することが
できる。又エラー情報にエラー発生位置を、フレーム番
号とブロック番号とにより通知する場合は、このエラー
情報によってエラー発生部分を認識できる。或いは、符
号化情報の伝送形式として、復号タイミング情報等を付
加して伝送する場合、エラー制御部24によりエラー発
生時点のタイミング情報を抽出して、エラー情報に付加
することができるから、このエラー情報に含まれるタイ
ミング情報によってエラー発生部分を識別することがで
きる。
の予測値に影響を及ぼすか否かを判定する。影響を及ぼ
さない程度のエラーであれば、エラー修正処理を中止
し、影響を及ぼす場合は、エラー発生部分を隠蔽するエ
ラー掩蔽制御による再生画像を再構成し、現時点の予測
値を求めて、それ以後の予測符号化を継続する。
エラー発生時点に対応した符号化情報及び予測情報を読
出して、エラー発生時点から符号化の現時点までに、エ
ラー発生部分の移動先を算出し、移動先の分散が大きい
場合又は消滅した場合は、エラー発生部分が現時点の予
測符号化に影響を及ぼさないことになるから、エラー修
正処理は中止する。
合は、再生画像にエラーが含まれるて画質が劣化する場
合であるから、受信側のエラー隠蔽制御による再生画像
と同様な再生画像を再構成し、且つエラー発生時点から
現時点までの予測情報を基にし、現時点の再生画像を再
構成する。それにより、エラー発生部分の現時点以降の
予測値について、送信側と受信側との相違を吸収し、受
信側の復号再生画像の画質劣化を防止することができ
る。又符号化装置と復号化装置との各部の機能は、プロ
セッサの演算処理機能等によって実現することも可能で
ある。
を示し、受信側からのエラー情報をエラー情報受信部6
が受信することにより、エラー情報に付加されたフレー
ム番号或いは固定遅延時間の場合の時間差による現時点
のフレーム番号とエラー発生時点のフレーム番号とを求
めることができるもので、エラー発生時点でのフレーム
番号を1、符号化部1に於ける現時点でのフレーム番号
をw、エラー発生ブロックBの各々の画素の位置をB1
pij(Xpij,Ypij)とし、予測情報(動き補
償ベクトル)をVk(Xk,Yk)とし(A1)、フレ
ーム番号1〜wについて、メモリ7に保持されている予
測情報(動き補償ベクトル)を読出して、エラー発生ブ
ロックBの各々の画素の位置Bpijがどの位置に移動
したかを、時間経過の逆方向に順次計算して求める(A
2)。
(Xpij,Ypij)を求める(A3)。この場合の
画素の位置BPは複数ブロックに跨がる可能性があり、
跨がった場合は、対応するブロックの位置での動き補償
ベクトルを用いる。そして、現時点での画素の位置BP
pijがそれぞれ他のブロックに分散している割合が多
いか否か、又は消滅している割合が多いか否かを判定す
る(A4)。
が順次分散して、現時点ではエラーが目立たない場合、
又はエラー発生時点直後にフレーム内符号化を行った場
合、又は次フレームで前景等の為にエラー発生ブロック
が隠されて消滅している場合等の画素の分散又は消滅の
割合が多い場合は、そのエラー発生部分が現時点の符号
化フレームを復号化した時に、復号再生画像に影響して
いなと見做すことができる。そこで、エラー修正部8は
再構成を行わない(A5)として、エラー修正処理を終
了する。
合、現時点の符号化したフレームを受信側で復号再生し
た時に、エラー部分が目立つことを示す。即ち、受信側
に於けるエラー隠蔽制御による修正された予測値と、送
信側の予測値との差が大きい場合に相当し、受信側の復
号再生画像の画質が劣化することを示すから、エラー修
正部8は、再構成を行うものである。
る。前述のステップ(A1)と同様に、エラー発生時点
でのフレーム番号を1とし、現時点でのフレーム番号を
wとし、更に、復号再生した画像をRk(現時点で保持
している再生画像Rw−1)とし、符号化情報をCkと
し、これを復号した復号情報をCk-1とし、予測値生成
の操作をVkとし、この予測値生成の操作の逆の操作を
Vk-1とし、予測値をUkとする。なお、k=1〜wを
示す(B1)。
予測値生成の逆操作Vk-1を用いて、予測値Ukを求
め、時間軸方向の逆方向に復号処理を行う。即ち、現時
点からエラー発生時点に遡る復号処理を行う。そして、
エラー発生フレームの1符号化フレーム前の再生画像R
0を求め、コンシールメントを行った画像R1’を再構
成して出力する(B2)。即ち、第1の送信側予測部4
に保持している予測処理用の再生画像Rw−1(予測
値)から、メモリ7に保持されている1符号化フレーム
前の符号化情報Cを送信側復号部3により復号して減算
する。この減算結果は、1符号化フレーム前の第1の送
信側予測部4に於ける予測値Uである。
入力するように、エラー修正部8からの制御によりセレ
クタ10,11を点線矢印の経路の接続に切替える。又
エラー修正部8は、第2の送信側予測部9に対して、メ
モリ7に保持されている1符号化フレーム前の予測情報
を用いて、動き補償ベクトルについては予測値Uに対し
て逆方向に予測する。即ち、過去から現時点に向かう時
間経過に従った動き補償ベクトルの方向を逆にして、現
時点から受信側のエラー発生時点の過去に遡って予測値
生成の処理を行う。それにより、エラー発生時点のフレ
ームの1フレーム前の画像R0を求めて、これとエラー
発生の位置とを基に、コンシールメントを行った画像R
1’を、送信側に於いて再構成する。即ち、エラー発生
時点に於ける受信側の予測値と同一若しくは近似した予
測値を送信側に生成することができる。
得る処理を、図4を参照して説明する。先ず、エラー発
生時点でのフレーム番号を1、現時点でのフレーム番号
をw、受信側と同じくなるように再構成した画像をR
k’、符号化情報をCk、復号情報をCk-1、予測値生
成の操作をVkとし(但し、k=1〜w−1)(C
1)、1フレーム目からw−1フレーム目まで、1フレ
ーム目の再生画像R1’を初期値として、復号情報Ck
-1,予測値生成の操作Vkを用いることにより、順次再
生画像Rk’を得て(C2)、受信側と同様な内容の再
構成したw−1フレーム目の再生画像Rw−1’を得る
(C3)。
でのコンシールメントを行った画像R1’(1フレーム
目の再構成した画像)を、第2の送信側予測部9に保持
させて、セレクタ12を点線矢印の経路に切替え、メモ
リ7に記憶されている予測情報を基に現時点までの再生
画像を構成し、この現時点の再生画像を第1の送信側予
測部4に転送し、セレクタ10,11,12を実線矢印
の経路に切替えることにより、以後の予測符号化を行う
もので、前述の処理を高速で行うことにより、受信側の
再生画像と同様となる再生画像を再構成することができ
る。
として符号化処理を行うことにより、予測値について受
信側に於ける条件と同一となるから、受信側では、符号
化情報を受信して復号再生した画像は、その後にエラー
がなければ、画質劣化は生じないものとなる。
エラー修正部8に於いて行うものであり、図5に示すよ
うに、エラー発生時点でコンシールメントを行った再生
画像をR1’とし、エラー発生時点でコンシールメント
を行わない再生画像をR1として(D1)、再生画像R
1’,R1を比較し、差が大きいか否かを判定する(D
2)。差が小さい場合は、コンシールメントを行っても
行わなくても同じようなものであるから、再構成は行わ
ない(D4)。又差が大きい場合は、コンシールメント
を行うことによる受信側の予測値との差が大きくなるか
ら、再構成を行う(D3)。
ーチャートを示し、前述のように、エラー発生時点での
フレーム番号を1、現時点でのフレーム番号をw、エラ
ー発生ブロックBの各々の画素の位置をB1pij(X
pij,Ypij)、予測情報(動き補償ベクトル)を
Dk(Xk,Yk)、再生画像をRk(但し、現時点で
保持している再生画像をRw−1)、符号化情報をC
k、復号情報をCk-1、予測値の生成の操作をVk、予
測値の生成の操作の逆操作をVk-1、予測値をUkとす
る(但し、k=1〜w−1)(E1)。
位置BPnij(Xpij,Ypij)を、 BPnij(Xpij,Ypij)=BPn−1ij
(Xpij,Ypij)+Dn−1(Xn−1,Yn−
1) としてを求める(E2)。これにより、フレーム番号w
−1に於いて、エラー発生ブロックの現在参照されてい
る位置BPw−1ijが何処かを算出する。
j,Ypij)、即ち、エラー発生ブロックの画素が現
在どの位置に存在するようになるかを求める(E3)。
このようにして求めた画素の現在位置BPwij(Xp
ij,Ypij)が消失しているか否かを判定し(E
4)、消失している場合は、エラー発生時点のエラー部
分は、現時点では消滅して影響を及ぼさないことになる
から、エラー修正の処理は終了する(E6)。
於いて、予測値Un−1と再生画像Rn−2とを、 Un−1=(Rn−1)−(Cn−1-1) Rn−2=Vn-1(Un−1) により求め(E5)、エラー発生時点で参照している1
符号化フレーム前の再生画像R0を求め、エラー情報を
基に、エラー発生部分を隠蔽するコンシールメント処理
を行った再生画像R1’を再構成する(E7)。
nと再生画像Rn+1’とを、 Un=Vn(Rn’) Rn+1=Un+Cn-1 により求め(E8)、順次計算して受信側と同様な再生
画像Rw−1’を求める(E9)。この再生画像Rw−
1’を基に、現時点のフレーム番号wの入力画像信号の
符号化を行うことにより、エラーが発生しても、現時点
の送信側の予測値と、送信側と受信側との間の遅延時間
後の受信側の予測値とを同一とすることが可能となり、
画質劣化を回避することができる。
か否かの適応処理のフローチャートを示し、前述の図6
の例えばステップ(E2)により求めた画素の位置をB
Pnij、分散度をρ、閾値をthとし(F1)、画素
の位置BPnijの分散度ρを求める(F2)。この分
散度ρは、標準偏差、自己相関、相互相関等の計算式等
を適用して求めるか、又はエラー発生位置が隣接してい
る画素数、エラー発生位置が消滅していない画素数等を
用いることができる。
いか否かを判定し(F3)、分散度ρが閾値thより大
きい場合は、エラー発生部分が現時点では分散して、視
覚的には目立たないことになるから、受信側の再生画像
と同様な再生画像に再構成することは行わない(F5)
で、エラー修正の処理を終了する。又分散度ρが閾値t
hより小さい場合は、エラー発生部分が分散されていな
いことになり、受信側の再生画像と同様な再生画像とな
るように、前述のステップ(E5)〜(E9)に示すよ
うに再構成を行う(F4)。
ールメントを行った画像R1’と、コンシールメントを
行わない画像R1と、差分評価値μと、閾値thとを定
義し(G1)、R1’とR1との画素値の絶対値差分の
評価値μを求める(G2)。この評価値μと閾値thと
を比較し(G3)、評価値μが閾値thより小さい場合
は、コンシールメントを行って生成した画像R1’と、
コンシールメントを行わないで再生した画像R1との差
が小さいことであるから、再構成は行わず(G5)、エ
ラー修正処理は終了する。
ラー発生により、コンシールメントを行って再生した画
像R1’と、コンシールメントを行わないで再生した画
像R1との差が大きいから、そのまま符号化を継続する
と、送信側と受信側との予測値の差が大きいことによ
り、受信側の復号再生画像の画質が劣化するから、再構
成を行う(G4)。
行うこともできるが、例えば、エラー発生ブロックにつ
いて及びエラー発生時点のフレームまで遡る必要がある
ブロックについてのみ処理することもできる。この場合
のエラーが発生している部分は、例えば、ステップ(A
3)による現時点での位置BPwij(Xpij,Yp
ij)により、エラー発生ブロックの画素の位置が現時
点では、どの位置に移動したかにより、識別することが
できる。
画像を得る過程の途中で、フレーム内符号化や、エラー
発生ブロックの画素の位置がどこからも参照されない状
態を識別した時に、エラー発生部分が現時点の再生画像
に影響を及ぼさないと判定して、再構成の処理を中止す
ることができる。
に於いて、エラー発生時にエラー隠蔽制御を行い、その
時のエラー情報を送信側に送信し、送信側は、このエラ
ー情報を基に、エラー発生時点から現時点の再生画像に
エラー発生部分が影響を及ぼすか否かを判定し、影響を
及ぼす場合には、受信側と同様なエラー隠蔽制御を行っ
たエラー発生時点の再生画像を求めて、現時点までの予
測情報を基に現時点の再生画像を求める再構成を行うこ
とにより、受信側の予測値と送信側の予測値とを同一の
フレームについては同一又は近似した値として、受信側
の復号再生画像野画質劣化を回避することができる。
像と行わない再生画像と差が大きい場合のみ、又はエラ
ー発生時点のエラー発生部分が現時点のフレームの移動
先を求めて、分散が小さい場合のみ、再構成の処理を行
うことにより、受信側の予測値と送信側の予測値とを同
一のフレームについて同一又は近似した値とし、再構成
が必要でない場合の不必要な処理を省略することができ
る。
る。
Claims (8)
- 【請求項1】 送信側は入力画像信号を予測符号化して
送信し、受信側は予測復号化して再生画像信号を得ると
共に、エラー検出時に該エラー発生部分を隠蔽する制御
を行うエラー隠蔽制御方法に於いて、 前記受信側は、前記エラー発生部分を示すエラー情報を
送信し、 前記送信側は、前記エラー情報を受信して、前記エラー
発生部分が現時点の予測符号化の予測値に及ぼす影響に
ついて判定し、 影響が小さい場合は、エラー修正処理を中止し、影響が
大きい場合は、前記エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像を再構成して、現時点の予測値を
求め、以後の予測符号化を行う過程を含むことを特徴と
するエラー隠蔽制御方法。 - 【請求項2】 前記送信側は、前記エラー情報を基に、
エラー発生部分の現時点に於ける符号化フレームに対す
る移動先を求め、該移動先が分散又は消滅しているか否
かを判定し、分散又は消滅している場合は、エラー修正
処理を中止し、分散又は消滅していない場合は、前記エ
ラー発生部分を隠蔽するエラー隠蔽制御による再生画像
を再構成して、現時点の予測値を求め、以後の予測符号
化を行う過程を含むことを特徴とする請求項1記載のエ
ラー隠蔽制御方法。 - 【請求項3】 前記送信側は、前記エラー情報を基に、
エラー発生部分を隠蔽するエラー隠蔽制御による再生画
像と、エラー隠蔽制御を行わない再生画像とを求めて比
較し、差が所定値より小さい場合は、エラー修正処理を
中止し、差が所定値より大きい場合は、前記エラー隠蔽
制御による再生画像を基に現時点の予測符号化の予測値
を求め、該予測値により以後の予測符号化を行う過程を
含むことを特徴とする請求項1記載のエラー隠蔽制御方
法。 - 【請求項4】 前記送信側は、前記エラー情報を基に、
エラー発生部分を隠蔽するエラー隠蔽制御による再生画
像と、エラー隠蔽制御を行わない再生画像との画素値の
絶対値差分を求め、該絶対値差分が閾値を超えない場合
は、エラー修正処理を中止し、閾値を超えた場合は、前
記エラー隠蔽制御による再生画像を基に現時点の予測符
号化の予測値を求め、該予測値により以後の予測符号化
を行う過程を含むことを特徴とする請求項1記載のエラ
ー隠蔽制御方法。 - 【請求項5】 符号化部と、第1の送信側復号部と、送
信側予測部とを含み、入力画像信号を予測符号化する符
号化装置に於いて、 受信側からのエラー情報を受信するエラー情報受信部
と、 該エラー情報受信部で受信したエラー情報を入力するエ
ラー修正部と、 送信側と受信側との間の一巡伝送遅延時間分の前記第1
の送信側復号部からの予測情報を記憶すると共に、前記
符号化部からの少なくとも1符号化フレーム分の符号化
情報を記憶するメモリと、 前記エラー情報に従って受信側の復号再生画像と一致し
た再生画像を得る為の第2の送信側予測部とを備え、 前記エラー修正部は、前記エラー情報を基にエラー発生
部分が現時点の予測符号化の予測値に影響を及ぼすか否
かを前記メモリに記憶されている符号化情報及び予測情
報を基に判定処理し、影響が大きい場合にエラー発生部
分を隠蔽するエラー隠蔽制御による再生画像を前記第2
の送信側予測部により再構成する制御を行う構成を有す
ることを特徴とする符号化装置。 - 【請求項6】 前記エラー修正部は、前記エラー情報と
前記メモリに記憶された符号化情報と予測情報とを基
に、前記第2の送信側予測部を用いてエラー発生時点の
復号画像及びエラー発生時点の1フレーム前の復号画像
とを遡って再生し、エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像と、エラー隠蔽制御を行わない再
生画像とを比較し、差が大きい場合は、エラー隠蔽制御
による再生画像を基に現時点の再生画像を再構成し、差
が小さい場合は再構成を行わない制御を行う構成を有す
ることを特徴とする請求項5記載の符号化装置。 - 【請求項7】 前記エラー修正部は、前記エラー情報と
前記メモリに記憶された符号化情報と予測情報とを基
に、エラー発生時点から現時点までのエラー発生部分の
移動先を求め、該エラー発生部分の位置の分散を求め、
該分散が小さい場合、エラー発生時点の復号画像及びエ
ラー発生時点の1フレーム前の復号画像を遡って再生
し、エラー発生部分を隠蔽するエラー隠蔽制御による再
生画像の再構成を行い、分散が大きい場合又は消滅した
場合は、前記再構成を行わない制御を行う構成を有する
ことを特徴とする請求項5記載の符号化装置。 - 【請求項8】 入力画像信号を予測符号化する符号化装
置を有する送信側と、該送信部からの符号化情報を受信
して予測復号化する復号化装置を有する受信側とを伝送
路を介して接続した画像信号伝送システムに於いて、 前記受信側の復号化装置は、前記伝送路に接続された受
信部と、予測復号化を行う受信側復号部と、受信側予測
部と、前記受信部及び前記受信側復号部に於けるエラー
検出によりエラー発生部分を隠蔽して復号再生画像の出
力制御を行うエラー制御部と、前記エラー発生部分を示
すエラー情報を前記送信側に送信するエラー情報送信部
とを有し、 前記送信側の符号化装置は、前記伝送路に接続された送
信部と、予測符号化を行う符号化部と、送信側復号部
と、第1,第2の送信側予測部と、前記受信部からの前
記エラー情報を受信するエラー情報受信部と、該エラー
情報受信部で受信した前記エラー情報を入力するエラー
修正部と、前記送信側と前記受信側との間の一巡伝送遅
延時間分の前記第1の送信側復号部からの予測情報を記
憶すると共に、前記符号化部からの少なくとも1符号化
フレーム分の符号化情報を記憶するメモリとを有し、 前記エラー修正部は、前記エラー情報を基にエラー発生
部分が現時点の予測符号化の予測値に影響を及ぼすか否
かを前記メモリに記憶されている符号化情報及び予測情
報を基に判定処理し、影響が大きい場合にエラー発生部
分を隠蔽するエラー隠蔽制御による再生画像を前記第2
の送信側予測部により再構成する制御を行う構成を有す
ることを特徴とする画像信号伝送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25296399A JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25296399A JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078198A true JP2001078198A (ja) | 2001-03-23 |
JP4794711B2 JP4794711B2 (ja) | 2011-10-19 |
Family
ID=17244602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25296399A Expired - Fee Related JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4794711B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005069627A1 (en) * | 2004-01-19 | 2005-07-28 | Samsung Electronics Co., Ltd. | Error concealing device and method thereof for video frame |
KR100640037B1 (ko) | 2005-02-18 | 2006-10-31 | 후지쯔 가부시끼가이샤 | 파일 제어 시스템 및 파일 제어 장치 |
US7221710B2 (en) | 2003-04-08 | 2007-05-22 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07322248A (ja) * | 1994-05-30 | 1995-12-08 | Matsushita Electric Ind Co Ltd | 動画像データの伝送方法および伝送装置 |
JPH0937245A (ja) * | 1995-07-14 | 1997-02-07 | Oki Electric Ind Co Ltd | 動画像伝送システム及び動画像伝送装置 |
JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
-
1999
- 1999-09-07 JP JP25296399A patent/JP4794711B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07322248A (ja) * | 1994-05-30 | 1995-12-08 | Matsushita Electric Ind Co Ltd | 動画像データの伝送方法および伝送装置 |
JPH0937245A (ja) * | 1995-07-14 | 1997-02-07 | Oki Electric Ind Co Ltd | 動画像伝送システム及び動画像伝送装置 |
JPH09247681A (ja) * | 1996-03-07 | 1997-09-19 | Mitsubishi Electric Corp | 動画像復号方法および動画像復号装置 |
Non-Patent Citations (1)
Title |
---|
福永茂、中井敏久: "MB単位の参照画像切替による誤り耐性動画像符号化方式", 画像符号化シンポジウム 第13回シンポジウム資料(PCSJ98), JPN6008028857, 26 October 1998 (1998-10-26), pages 89 - 90, ISSN: 0001064670 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8571109B2 (en) | 2003-04-08 | 2013-10-29 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US7221710B2 (en) | 2003-04-08 | 2007-05-22 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8428141B2 (en) | 2003-04-08 | 2013-04-23 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8532193B1 (en) | 2003-04-08 | 2013-09-10 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8565316B2 (en) | 2003-04-08 | 2013-10-22 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8571110B2 (en) | 2003-04-08 | 2013-10-29 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8625675B2 (en) | 2003-04-08 | 2014-01-07 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8731063B2 (en) | 2003-04-08 | 2014-05-20 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8743966B2 (en) | 2003-04-08 | 2014-06-03 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8902990B2 (en) | 2003-04-08 | 2014-12-02 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
US8953691B2 (en) | 2003-04-08 | 2015-02-10 | Lg Electronics Inc. | Block error compensating apparatus of image frame and method thereof |
WO2005069627A1 (en) * | 2004-01-19 | 2005-07-28 | Samsung Electronics Co., Ltd. | Error concealing device and method thereof for video frame |
KR100640037B1 (ko) | 2005-02-18 | 2006-10-31 | 후지쯔 가부시끼가이샤 | 파일 제어 시스템 및 파일 제어 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP4794711B2 (ja) | 2011-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8902990B2 (en) | Block error compensating apparatus of image frame and method thereof | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
US20050105625A1 (en) | Systems and methods for enhanced error concealment in a video decoder | |
US20020067769A1 (en) | Moving-picture signal coding and/or decoding system resistant to transmission error | |
JP2003533950A (ja) | ビデオ符号化方法 | |
JP2008219862A (ja) | 損傷ビデオストリームを再同期化する方法及びデバイス | |
EP1599047B1 (en) | Video (de)coding device with frequency band retransmission | |
US6983016B2 (en) | Method for detecting errors in video information | |
JP4794711B2 (ja) | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム | |
US20040258163A1 (en) | Video communication system and video coding method | |
KR101073813B1 (ko) | 비트스트림 오류 보완방법, 비트스트림 오류 보완전처리기, 및 그 전처리기를 포함하는 디코딩 장치 | |
JPH07274176A (ja) | 動画像伝送装置 | |
JP2674241B2 (ja) | 動画像符号化装置 | |
KR100363550B1 (ko) | 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치 | |
US20040228404A1 (en) | Moving picture coding method | |
JPH0472985A (ja) | フレーム内挿方式 | |
JPH0275247A (ja) | 可変レート画像階層符号化装置 | |
JPH03209998A (ja) | 動画像復号化装置 | |
JPH0453379A (ja) | 動画像復号化装置 | |
JPH10136369A (ja) | ディジタル動画像の復号化装置 | |
JPH0818958A (ja) | 映像信号符号化装置及び復号化装置 | |
JP2000244928A (ja) | 画像復号装置および画像復元方法 | |
JPH11122616A (ja) | 画像復号装置 | |
JPH0282886A (ja) | 動画像の伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090122 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |