JP4794711B2 - エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム - Google Patents
エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム Download PDFInfo
- Publication number
- JP4794711B2 JP4794711B2 JP25296399A JP25296399A JP4794711B2 JP 4794711 B2 JP4794711 B2 JP 4794711B2 JP 25296399 A JP25296399 A JP 25296399A JP 25296399 A JP25296399 A JP 25296399A JP 4794711 B2 JP4794711 B2 JP 4794711B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- information
- unit
- transmission
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画像や動画像等の入力画像信号を予測符号化して伝送し、受信側に於いて予測復号化し、且つエラー発生時にエラー発生部分を隠蔽制御すると共に、再生画像の画質劣化を防止するエラー隠蔽制御方法及び符号化装置及び画像信号伝送システムに関する。
【０００２】
【従来の技術】
図１０は従来例の説明図であり、５１は符号化部、５２は送信部、５３は送信側復号部、５４は送信側予測部、５５，５６は加算器、５７は伝送路、６１は受信側復号部、６２は受信部、６３は受信側予測部、６４はエラー制御部、６５は加算器を示す。
【０００３】
送信側の符号化装置の要部と、伝送路５７と、受信側の復号化装置の要部とを含む画像信号伝送システムを示し、静止画像や動画像等の入力画像信号と、送信側予測部５４からの予測値との差分を加算器５５により求めて符号化部５１に入力する。この符号化部５１は、離散コサイン変換（ＤＣＴ），フレーム間符号化，フレーム内符号化，量子化，可変長符号化等の機能を含み、符号化情報を送信部５２と送信側復号部５３とに入力する。送信側復号部５３による復号情報と送信側予測部５４からの予測値とを加算器５６により加算して、送信側の再生画像とし、次の予測値として送信側予測部５４に保持する。
【０００４】
又送信側予測部５４は、入力画像信号を用いた動き補償や、フレーム内符号化を行ったか否か等の予測情報を送信部５２に入力す。この送信部５２は、符号化部５１からの符号化情報と送信側予測部５４からの予測情報とを多重化して伝送路５７に送出する。更には図示を省略している音声情報やデータ等を多重化する構成とすることもできる。又伝送路５７が有線回線か無線回線等に対応した送信機能，誤り訂正符号化機能，バッファ機能等を含む構成とすることができる。
【０００５】
受信側の復号化装置は、受信部６２により符号化情報と予測情報とを多重分離し、符号化情報を受信側復号部６１に入力し、予測情報を受信側予測部６３に入力する。又受信側復号部６１は、符号化情報を復号し、加算器６５と受信側予測部６３とに入力し、受信側予測部６３は、前回の復号再生画像信号を保持して予測値とし、復号情報と予測情報に従って形成した予測値を加算器６５に入力し、加算出力を復号画像信号として出力する。
【０００６】
伝送路５７に接続された受信部６２は、送信部５２に対応した構成を有し、伝送エラーの検出機能を含むものである。又受信側復号部６１は、可変長符号等に規定外の符号パターン等が含まれている場合に復号エラーを検出するものであり、受信部５２に於けるエラー検出時、又は受信側復号部６１に於けるエラー検出時の復号画像は画質が劣化したものとなるから、これを隠蔽（コンシールメント；ｃｏｎｃｅａｌｍｅｎｔ）する為に、図１０は、エラー制御部６４を設けた場合を示す。このエラー制御部６４は、受信部６２からの伝送エラー検出信号や受信側復号部６１からの復号エラー検出信号等によって、そのエラーを含むブロック単位等の復号画像信号を、エラーを含まない画像信号によって隠蔽する制御を行うものである。
【０００７】
図１１は従来例のエラー発生時の動作説明図であり、エラー有りか否かを判定し（Ｈ１）、エラー有りの場合、即ち、受信部６２に於ける伝送エラー等のエラー検出又は受信側復号部６１に於ける復号エラー等のエラー検出により、１フレーム内のエラー位置Ｅと、復号済みの予測値Ｖとを求める（Ｈ２）。エラー制御部６４は、受信側予測部６３にエラー位置Ｅの１ブロックライン前の予測情報Ｖを用いて予測値を出力するように指示する（Ｈ３）。
【０００８】
次に、エラー制御部６４は、受信側復号部６１に０を出力するように指示する（Ｈ４）。そして、受信側復号部６１と受信側予測部６３との出力を加算器６５に於いて加算し（Ｈ５）、復号画像を出力する（Ｈ６）。又ステップ（Ｈ１）に於いて、エラー無しの判定の場合は、ステップ（Ｈ５），（Ｈ６）により復号画像が得られる。この場合、１画面を複数のブロックに分割して、ブロック対応の符号化や伝送を行うものであり、エラー位置Ｅを含むブロックの１ブロックライン前の予測情報Ｖを用いて予測値を求め、受信側復号部６１からは０を出力するから、エラー位置Ｅを含むブロックは、１ブロックライン前の予測情報Ｖを用いて予測値とした復号画像が出力されることになり、エラーを含むブロックを隠蔽（コンシールメント）することができる。このような制御をエラー制御部６４に於いて行うものである。
【０００９】
前述の図１０に示す従来例の構成は、例えば、ＩＴＵ−Ｔ Ｈ．２６３や、ＩＳＯ／ＭＰＥＧ４等の方式として知られている。又図１１に示すエラー隠蔽は、例えば、ＩＴＵ−Ｔ ＳＧ１６ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔ Ｍｏｄｅｌ，Ｎｅａｒ−Ｔｅｒｍ，Ｖｅｒｓｉｏｎ ９（ＴＭＮ９）に示されている。
【００１０】
又画像信号を受信して復号する場合のエラー隠蔽手段として、データの再送方式と同様にエラー発生のフレーム等を再送する各種の方式が提案されている。例えば、エラーが多い場合或いは重要ブロックとその隣接ブロックのエラーの場合等に於いて、送信側に再送要求を行い、フレーム単位或いはブロック単位で再送を行う方式が知られている。
【００１１】
【発明が解決しようとする課題】
伝送エラーや復号エラーが発生した時に、例えば、図１０及び図１１について説明した従来例では、エラー発生部分を復号画像としないことにより、エラーの隠蔽（コンシールメント）を行うものであるが、その後の受信側予測部６３による予測値と、送信側予測部５４による予測値とは異なったものとなる。従って、エラーの隠蔽を行った後の受信側の復号画像は、送信側と異なる予測値を用いていることにより画質劣化が生じる問題がある。
【００１２】
そこで、エラー情報を送信側に送信し、受信側に於けるエラー隠蔽と同様な処理を送信側に於いても行うようにすることが考えられる。しかし、送信側と受信側との間の伝送路５７等を含む伝送遅延時間の為、送信側に於ける符号化と、受信側に於ける復号化とは異なる画像について処理していることになり、送信側では、エラー情報を受信しても、エラー発生時点の符号化情報は、送信側では過去のものであるから、受信側と同様なエラー隠蔽処理を行うことができないものである。即ち、受信側予測部６３による予測値と送信側予測部５４による予測値とを一致させることができないものである。
【００１３】
又エラーを含む画像部分を再送することが提案されているが、データの再送処理と同様に静止画像についてはエラー発生により再送処理し、受信側で復号することができる。しかし、動画像の場合は、過去の画像から符号化して送信することになり、実際には適用することができない。又静止画像の場合であっても、送信側と受信側との間の伝送路５７が比較的低速の無線回線の場合、再送処理により伝送効率が著しく低下する問題がある。又動画像を低速で伝送する場合、再送処理により駒落とし等が生じることにより、再生画像の画質が一層劣化する問題がある。
本発明は、エラーが発生した場合でも、送信側と受信側との予測値を一致若しくは近似させて復号画像の画質劣化を防止することを目的とする。
【００１４】
【課題を解決するための手段】
本発明のエラー隠蔽制御方法は、（１）送信側は入力画像信号を予測符号化して送信し、受信側は予測復号化して再生画像信号を得ると共に、エラーの有無を判定し、エラー発生検出時にこのエラー発生部分を隠蔽する制御を行うエラー隠蔽制御方法であって、受信側は、エラー発生の検出時に、このエラー発生部分を示すエラー情報を送信側へ送信し、送信側は、受信側との間の一巡伝送遅延時間分の予測符号化に於ける予測情報と符号化部による少なくとも１符号化フレーム分の符号化情報とを記憶し、エラー情報を受信した時に、記憶していた前記１符号化フレーム分の符号化情報と前記予測情報とを基に、前記エラー情報によるエラー発生部分が現時点の予測符号化の予測値に及ぼす影響について判定し、影響が小さい場合は、エラー修正処理を中止し、影響が大きい場合は、記憶していた予測情報と符号化フレームの符号化情報とを用いて、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１５】
又（２）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分の現時点に於ける符号化フレームに対する移動先を求め、この移動先が分散又は消滅しているか否かを判定し、分散又は消滅している場合は、エラー修正処理を中止し、分散又は消滅していない場合は、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１６】
又（３）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを求めて比較し、差が所定値より小さい場合は、エラー修正処理を中止し、差が所定値より大きい場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１７】
又（４）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像との画素値の絶対値差分を求め、この絶対値差分が閾値を超えない場合は、エラー修正処理を中止し、閾値を超えた場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１８】
又（５）本発明の符号化装置は、符号化部と、第１の送信側復号部と、送信側予測部とを含み、入力画像信号を予測符号化する符号化装置であって、受信側からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の前記第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリと、エラー情報に従って受信側の復号再生画像と一致した再生画像を得る為の第２の送信側予測部とを備え、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を、第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００１９】
又（６）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、第２の送信側予測部を用いてエラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像とを遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを比較し、差が大きい場合は、エラー隠蔽制御による再生画像を基に現時点の再生画像を再構成し、差が小さい場合は再構成を行わない制御を行う構成を有するものである。
【００２０】
又（７）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、エラー発生時点から現時点までのエラー発生部分の移動先を求め、このエラー発生部分の位置の分散を求め、この分散が小さい場合、エラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像を遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像の再構成を行い、分散が大きい場合又は消滅した場合は、前記再構成を行わない制御を行う構成を有するものである。
【００２１】
又（８）本発明の画像信号伝送システムは、入力画像信号を予測符号化する符号化装置を有する送信側と、この送信部からの符号化情報を受信して予測復号化する復号化装置を有する受信側とを伝送路を介して接続した画像信号伝送システムであって、受信側の復号化装置は、伝送路に接続された受信部と、予測復号化を行う受信側復号部と、受信側予測部と、受信部及び受信側復号部に於けるエラー検出によりエラー発生部分を隠蔽して復号再生画像の出力制御を行うエラー制御部と、エラー発生部分を示すエラー情報を送信側に送信するエラー情報送信部とを有し、送信側の符号化装置は、伝送路に接続された送信部と、予測符号化を行う符号化部と、送信側復号部と、第１，第２の送信側予測部と、受信部からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリとを有し、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を前記第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００２２】
【発明の実施の形態】
図１は本発明の実施の形態の説明図であり、１は符号化部、２は送信部、３は送信側復号部、４は第１の送信側予測部、５，１３は加算部、６はエラー情報受信部、７はメモリ、８はエラー修正部、９は第２の送信側予測部、１０，１１，１２はセレクタ、１５は下り伝送路、１６は上り伝送路、２１は受信側復号部、２２は受信部、２３は受信側予測部、２４はエラー制御部、２５は加算部、２６はエラー情報送信部であり、画像信号伝送システムの送信側の符号化装置と、伝送路と、受信側の復号化装置との要部を示す。
【００２３】
受信側の復号化装置は、受信部２２と受信側復号部２１と受信側予測部２３とエラー制御部２４と加算部２５とエラー情報送信部２６とを含む構成で、加算部２５からの復号画像信号を図示を省略した液晶パネルやブラウン管等による表示部に入力して、再生画像を表示することができる。又復号再生画像として受信側予測部２３に入力する。又受信部２２は、送信部２の構成に対応した構成を有し、下り伝送路１５を介して受信した符号化情報と予測情報とを分離して、符号化情報を受信側復号部２１に入力し、予測情報を受信側予測部２３に入力する。なお、下り伝送路１５と上り伝送路１６とは、既に知られている各種の構成を適用することができる。
【００２４】
受信側復号部２１は、予測符号化された符号化情報を復号し、加算部２５と受信側予測部２３とに入力する。加算部２５は、受信側復号部２１からの復号情報と受信側予測部２３からの予測値とを加算して、復号再生画像信号として出力する。そして、例えば、前述の表示部に入力する。又この復号再生画像信号を受信側予測部２３に入力して、次の予測値とする。
【００２５】
又受信部２２と受信側復号部２１とに於いてエラーを検出した時、エラー制御部２４に通知し、エラー制御部２４は、従来例と同様にエラー発生部分を隠蔽する処理を行うものであり、又エラー発生部分を示すエラー情報をエラー情報送信部２６から上り伝送路１６を介して送信側に送信する。このエラー情報に、例えば、現時点の復号処理しているフレーム番号とエラー発生ブロック番号等のエラー発生の位置を示す情報を含ませることができる。又エラー情報送信部２６は上り伝送路１６が有線回線又は無線回線等に対応した送信部の構成を有するものである。
【００２６】
送信側の符号化装置は、符号化部１と送信部２と送信側復号部３と第１、第２の送信側予測部４，９と加算部５，１３とエラー情報受信部６とメモリ７とエラー修正部８とセレクタ１０，１１，１２とを含み、図示を省略したＣＣＤカメラ等の撮像部からのディジタル信号に変換された入力画像信号を加算部５と第１の送信側予測部４とに入力する。
【００２７】
又セレクタ１０，１１，１２は、通常は実線矢印で示す経路の接続を行い、エラー修正処理等の場合に点線矢印で示す経路の接続を行うものであり、エラー修正部８又は図示を省略した制御部から制御される。又加算部５は、入力画像信号とセレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値との差分を求めて符号化部１に入力する。この符号化部１は、離散コサイン変換，フレーム間符号化，フレーム内符号化，量子化，可変長符号化等による符号化情報を、送信部２とメモリ７とセレクタ１２の実線矢印の経路を介して送信側復号部３とに入力する。
【００２８】
又送信側復号部３は、セレクタ１２を介した符号化情報又はエラー修正部８からの符号化情報を復号し、加算部１３に復号結果を入力する。加算部１３は、送信側復号部３からの復号情報と、セレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値とを加算して、セレクタ１１とエラー修正部８とに入力する。
【００２９】
セレクタ１１が実線矢印の経路の接続の場合、加算部１３からの予測値は第１の送信側予測部４に、又点線矢印の経路の接続の場合、加算部１３からの予測値は第２の送信側予測部９に入力することになる。又第１の送信側予測部４からの予測情報を、メモリ７と送信部２とに入力する。
【００３０】
又送信部２は、符号化情報と第１の送信側予測部４からの予測情報とを含む信号を多重化する多重化機能と、下り伝送路１５が有線回線か無線回線かに対応した送信符号化機能，誤り訂正符号化機能，変調送信機能等を含むものである。又符号化情報について、フレーム番号等の時間情報を付加して伝送する機能を符号化部１又は送信部２に設けることができる。このような時間情報は、送信側と受信側との間の一巡の伝送遅延時間が固定であれば、省略することもできる。
【００３１】
又メモリ７は、符号化部１からの符号化情報及び第１の送信側予測部４からの予測情報とを、送信側と受信側との下り伝送路１５と上り伝送路１６とを含む一巡の伝送遅延時間分と、少なくとも１符号フレーム分とについて保持する。このような伝送遅延時間は、予め推定することが可能であり、又受信側の構成等に従って変動する場合は、最大遅延時間或いは許容遅延時間とすることができる。なお、メモリ７の記憶容量に余裕があれば、現時点からエラー発生時点まで以上の期間の符号化情報及び予測情報を記憶しておくことも可能である。又エラー修正部８は、エラー修正処理時、このメモリ７をアクセスして、符号化情報及び予測情報を読取るものである。
【００３２】
又エラー情報受信部６は、エラー情報送信部２６の構成に対応した構成を有し、又エラー修正部８は、エラー情報受信部６により受信側からのエラー情報を受信した時、送信側と受信側との間の一巡の伝送遅延時間が固定の場合、現時点の符号化フレームとエラー発生時点の符号化フレームとの時間差が、一巡の伝送遅延時間に相当するから、エラー発生部分を識別することができる。又エラー情報にエラー発生位置を、フレーム番号とブロック番号とにより通知する場合は、このエラー情報によってエラー発生部分を認識できる。或いは、符号化情報の伝送形式として、復号タイミング情報等を付加して伝送する場合、エラー制御部２４によりエラー発生時点のタイミング情報を抽出して、エラー情報に付加することができるから、このエラー情報に含まれるタイミング情報によってエラー発生部分を識別することができる。
【００３３】
このエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを判定する。影響を及ぼさない程度のエラーであれば、エラー修正処理を中止し、影響を及ぼす場合は、エラー発生部分を隠蔽するエラー掩蔽制御による再生画像を再構成し、現時点の予測値を求めて、それ以後の予測符号化を継続する。
【００３４】
例えば、エラー修正部８は、メモリ７からエラー発生時点に対応した符号化情報及び予測情報を読出して、エラー発生時点から符号化の現時点までに、エラー発生部分の移動先を算出し、移動先の分散が大きい場合又は消滅した場合は、エラー発生部分が現時点の予測符号化に影響を及ぼさないことになるから、エラー修正処理は中止する。
【００３５】
又エラー発生部分の移動先が分散しない場合は、再生画像にエラーが含まれるて画質が劣化する場合であるから、受信側のエラー隠蔽制御による再生画像と同様な再生画像を再構成し、且つエラー発生時点から現時点までの予測情報を基にし、現時点の再生画像を再構成する。それにより、エラー発生部分の現時点以降の予測値について、送信側と受信側との相違を吸収し、受信側の復号再生画像の画質劣化を防止することができる。又符号化装置と復号化装置との各部の機能は、プロセッサの演算処理機能等によって実現することも可能である。
【００３６】
図２はエラー修正部の動作フローチャートを示し、受信側からのエラー情報をエラー情報受信部６が受信することにより、エラー情報に付加されたフレーム番号或いは固定遅延時間の場合の時間差による現時点のフレーム番号とエラー発生時点のフレーム番号とを求めることができるもので、エラー発生時点でのフレーム番号を１、符号化部１に於ける現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）とし、予測情報（動き補償ベクトル）をＶｋ（Ｘｋ，Ｙｋ）とし（Ａ１）、フレーム番号１〜ｗについて、メモリ７に保持されている予測情報（動き補償ベクトル）を読出して、エラー発生ブロックＢの各々の画素の位置Ｂｐｉｊがどの位置に移動したかを、時間経過の逆方向に順次計算して求める（Ａ２）。
【００３７】
そして、現時点での画素の位置ＢＰｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を求める（Ａ３）。この場合の画素の位置ＢＰは複数ブロックに跨がる可能性があり、跨がった場合は、対応するブロックの位置での動き補償ベクトルを用いる。そして、現時点での画素の位置ＢＰｐｉｊがそれぞれ他のブロックに分散している割合が多いか否か、又は消滅している割合が多いか否かを判定する（Ａ４）。
【００３８】
例えば、エラー発生ブロックの各々の画素が順次分散して、現時点ではエラーが目立たない場合、又はエラー発生時点直後にフレーム内符号化を行った場合、又は次フレームで前景等の為にエラー発生ブロックが隠されて消滅している場合等の画素の分散又は消滅の割合が多い場合は、そのエラー発生部分が現時点の符号化フレームを復号化した時に、復号再生画像に影響していなと見做すことができる。そこで、エラー修正部８は再構成を行わない（Ａ５）として、エラー修正処理を終了する。
【００３９】
又前述の分散又は消滅の割合が少ない場合、現時点の符号化したフレームを受信側で復号再生した時に、エラー部分が目立つことを示す。即ち、受信側に於けるエラー隠蔽制御による修正された予測値と、送信側の予測値との差が大きい場合に相当し、受信側の復号再生画像の画質が劣化することを示すから、エラー修正部８は、再構成を行うものである。
【００４０】
この再構成の処理を図３を参照して説明する。前述のステップ（Ａ１）と同様に、エラー発生時点でのフレーム番号を１とし、現時点でのフレーム番号をｗとし、更に、復号再生した画像をＲｋ（現時点で保持している再生画像Ｒｗ−１）とし、符号化情報をＣｋとし、これを復号した復号情報をＣｋ-1とし、予測値生成の操作をＶｋとし、この予測値生成の操作の逆の操作をＶｋ-1とし、予測値をＵｋとする。なお、ｋ＝１〜ｗを示す（Ｂ１）。
【００４１】
そして、符号化情報Ｃｋ，再生画像Ｒｋ，予測値生成の逆操作Ｖｋ-1を用いて、予測値Ｕｋを求め、時間軸方向の逆方向に復号処理を行う。即ち、現時点からエラー発生時点に遡る復号処理を行う。そして、エラー発生フレームの１符号化フレーム前の再生画像Ｒ０を求め、コンシールメントを行った画像Ｒ１’を再構成して出力する（Ｂ２）。即ち、第１の送信側予測部４に保持している予測処理用の再生画像Ｒｗ−１（予測値）から、メモリ７に保持されている１符号化フレーム前の符号化情報Ｃを送信側復号部３により復号して減算する。この減算結果は、１符号化フレーム前の第１の送信側予測部４に於ける予測値Ｕである。
【００４２】
この時、第２の送信側予測部９に予測値を入力するように、エラー修正部８からの制御によりセレクタ１０，１１を点線矢印の経路の接続に切替える。又エラー修正部８は、第２の送信側予測部９に対して、メモリ７に保持されている１符号化フレーム前の予測情報を用いて、動き補償ベクトルについては予測値Ｕに対して逆方向に予測する。即ち、過去から現時点に向かう時間経過に従った動き補償ベクトルの方向を逆にして、現時点から受信側のエラー発生時点の過去に遡って予測値生成の処理を行う。それにより、エラー発生時点のフレームの１フレーム前の画像Ｒ０を求めて、これとエラー発生の位置とを基に、コンシールメントを行った画像Ｒ１’を、送信側に於いて再構成する。即ち、エラー発生時点に於ける受信側の予測値と同一若しくは近似した予測値を送信側に生成することができる。
【００４３】
次に、受信側と同様な再生画像Ｒｗ−１を得る処理を、図４を参照して説明する。先ず、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、受信側と同じくなるように再構成した画像をＲｋ’、符号化情報をＣｋ、復号情報をＣｋ-1、予測値生成の操作をＶｋとし（但し、ｋ＝１〜ｗ−１）（Ｃ１）、１フレーム目からｗ−１フレーム目まで、１フレーム目の再生画像Ｒ１’を初期値として、復号情報Ｃｋ-1，予測値生成の操作Ｖｋを用いることにより、順次再生画像Ｒｋ’を得て（Ｃ２）、受信側と同様な内容の再構成したｗ−１フレーム目の再生画像Ｒｗ−１’を得る（Ｃ３）。
【００４４】
即ち、エラー修正部８は、エラー発生時点でのコンシールメントを行った画像Ｒ１’（１フレーム目の再構成した画像）を、第２の送信側予測部９に保持させて、セレクタ１２を点線矢印の経路に切替え、メモリ７に記憶されている予測情報を基に現時点までの再生画像を構成し、この現時点の再生画像を第１の送信側予測部４に転送し、セレクタ１０，１１，１２を実線矢印の経路に切替えることにより、以後の予測符号化を行うもので、前述の処理を高速で行うことにより、受信側の再生画像と同様となる再生画像を再構成することができる。
【００４５】
従って、送信側は、この再生画像を予測値として符号化処理を行うことにより、予測値について受信側に於ける条件と同一となるから、受信側では、符号化情報を受信して復号再生した画像は、その後にエラーがなければ、画質劣化は生じないものとなる。
【００４６】
前述のような再構成を行うか否かの判定をエラー修正部８に於いて行うものであり、図５に示すように、エラー発生時点でコンシールメントを行った再生画像をＲ１’とし、エラー発生時点でコンシールメントを行わない再生画像をＲ１として（Ｄ１）、再生画像Ｒ１’，Ｒ１を比較し、差が大きいか否かを判定する（Ｄ２）。差が小さい場合は、コンシールメントを行っても行わなくても同じようなものであるから、再構成は行わない（Ｄ４）。又差が大きい場合は、コンシールメントを行うことによる受信側の予測値との差が大きくなるから、再構成を行う（Ｄ３）。
【００４７】
図６及び図７は本発明の実施の形態のフローチャートを示し、前述のように、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、予測情報（動き補償ベクトル）をＤｋ（Ｘｋ，Ｙｋ）、再生画像をＲｋ（但し、現時点で保持している再生画像をＲｗ−１）、符号化情報をＣｋ、復号情報をＣｋ-1、予測値の生成の操作をＶｋ、予測値の生成の操作の逆操作をＶｋ-1、予測値をＵｋとする（但し、ｋ＝１〜ｗ−１）（Ｅ１）。
【００４８】
そして、ｎ＝２〜ｗ−１について、画素の位置ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を、
ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＝ＢＰｎ−１ｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＋Ｄｎ−１（Ｘｎ−１，Ｙｎ−１）
としてを求める（Ｅ２）。これにより、フレーム番号ｗ−１に於いて、エラー発生ブロックの現在参照されている位置ＢＰｗ−１ｉｊが何処かを算出する。
【００４９】
そして、現時点の位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、即ち、エラー発生ブロックの画素が現在どの位置に存在するようになるかを求める（Ｅ３）。このようにして求めた画素の現在位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）が消失しているか否かを判定し（Ｅ４）、消失している場合は、エラー発生時点のエラー部分は、現時点では消滅して影響を及ぼさないことになるから、エラー修正の処理は終了する（Ｅ６）。
【００５０】
又消失してない場合は、ｎ＝ｗ−１〜０に於いて、予測値Ｕｎ−１と再生画像Ｒｎ−２とを、
Ｕｎ−１＝（Ｒｎ−１）−（Ｃｎ−１-1）
Ｒｎ−２＝Ｖｎ-1（Ｕｎ−１）
により求め（Ｅ５）、エラー発生時点で参照している１符号化フレーム前の再生画像Ｒ０を求め、エラー情報を基に、エラー発生部分を隠蔽するコンシールメント処理を行った再生画像Ｒ１’を再構成する（Ｅ７）。
【００５１】
次に、ｎ＝１〜ｗ−１に於いて、予測値Ｕｎと再生画像Ｒｎ＋１’とを、
Ｕｎ＝Ｖｎ（Ｒｎ’）
Ｒｎ＋１＝Ｕｎ＋Ｃｎ-1
により求め（Ｅ８）、順次計算して受信側と同様な再生画像Ｒｗ−１’を求める（Ｅ９）。この再生画像Ｒｗ−１’を基に、現時点のフレーム番号ｗの入力画像信号の符号化を行うことにより、エラーが発生しても、現時点の送信側の予測値と、送信側と受信側との間の遅延時間後の受信側の予測値とを同一とすることが可能となり、画質劣化を回避することができる。
【００５２】
図８はエラー修正部８による再構成を行うか否かの適応処理のフローチャートを示し、前述の図６の例えばステップ（Ｅ２）により求めた画素の位置をＢＰｎｉｊ、分散度をρ、閾値をｔｈとし（Ｆ１）、画素の位置ＢＰｎｉｊの分散度ρを求める（Ｆ２）。この分散度ρは、標準偏差、自己相関、相互相関等の計算式等を適用して求めるか、又はエラー発生位置が隣接している画素数、エラー発生位置が消滅していない画素数等を用いることができる。
【００５３】
そして、この分散度ρが閾値ｔｈより大きいか否かを判定し（Ｆ３）、分散度ρが閾値ｔｈより大きい場合は、エラー発生部分が現時点では分散して、視覚的には目立たないことになるから、受信側の再生画像と同様な再生画像に再構成することは行わない（Ｆ５）で、エラー修正の処理を終了する。又分散度ρが閾値ｔｈより小さい場合は、エラー発生部分が分散されていないことになり、受信側の再生画像と同様な再生画像となるように、前述のステップ（Ｅ５）〜（Ｅ９）に示すように再構成を行う（Ｆ４）。
【００５４】
他の適応処理を図９に示す。即ち、コンシールメントを行った画像Ｒ１’と、コンシールメントを行わない画像Ｒ１と、差分評価値μと、閾値ｔｈとを定義し（Ｇ１）、Ｒ１’とＲ１との画素値の絶対値差分の評価値μを求める（Ｇ２）。この評価値μと閾値ｔｈとを比較し（Ｇ３）、評価値μが閾値ｔｈより小さい場合は、コンシールメントを行って生成した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が小さいことであるから、再構成は行わず（Ｇ５）、エラー修正処理は終了する。
【００５５】
又評価値μが閾値ｔｈより大きい場合、エラー発生により、コンシールメントを行って再生した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が大きいから、そのまま符号化を継続すると、送信側と受信側との予測値の差が大きいことにより、受信側の復号再生画像の画質が劣化するから、再構成を行う（Ｇ４）。
【００５６】
前述の処理は、１フレームの総てに対して行うこともできるが、例えば、エラー発生ブロックについて及びエラー発生時点のフレームまで遡る必要があるブロックについてのみ処理することもできる。この場合のエラーが発生している部分は、例えば、ステップ（Ａ３）による現時点での位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）により、エラー発生ブロックの画素の位置が現時点では、どの位置に移動したかにより、識別することができる。
【００５７】
又現時点から遡ってエラー発生時点の再生画像を得る過程の途中で、フレーム内符号化や、エラー発生ブロックの画素の位置がどこからも参照されない状態を識別した時に、エラー発生部分が現時点の再生画像に影響を及ぼさないと判定して、再構成の処理を中止することができる。
【００５８】
【発明の効果】
以上説明したように、本発明は、受信側に於いて、エラー発生時にエラー隠蔽制御を行い、その時のエラー情報を送信側に送信し、送信側は、このエラー情報を基に、エラー発生時点から現時点の再生画像にエラー発生部分が影響を及ぼすか否かを判定し、影響を及ぼす場合には、受信側と同様なエラー隠蔽制御を行ったエラー発生時点の再生画像を求めて、現時点までの予測情報を基に現時点の再生画像を求める再構成を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについては同一又は近似した値として、受信側の復号再生画像野画質劣化を回避することができる。
【００５９】
その場合、エラー隠蔽制御を行った再生画像と行わない再生画像と差が大きい場合のみ、又はエラー発生時点のエラー発生部分が現時点のフレームの移動先を求めて、分散が小さい場合のみ、再構成の処理を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについて同一又は近似した値とし、再構成が必要でない場合の不必要な処理を省略することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】エラー修正部の動作フローチャートである。
【図３】エラー修正部の動作フローチャートである。
【図４】再生画像の再構成の動作フローチャートである。
【図５】再構成の判定フローチャートである。
【図６】本発明の実施の形態のフローチャートである。
【図７】本発明の実施の形態のフローチャートである。
【図８】適応処理のフローチャートである。
【図９】適応処理のフローチャートである。
【図１０】従来例の説明図である。
【図１１】従来例のエラー発生時の動作説明図である。
【符号の説明】
１ 符号化部
２ 送信部
３ 送信側復号部
４ 第１の送信側予測部
５ 加算部
６ エラー情報受信部
７ メモリ
８ エラー修正部
９ 第２の送信側予測部
１０〜１２ セレクタ
１３ 加算部
２１ 受信側復号部
２２ 受信部
２３ 受信側予測部
２４ エラー制御部
２５ 加算部
２６ エラー情報送信部
【発明の属する技術分野】
本発明は、静止画像や動画像等の入力画像信号を予測符号化して伝送し、受信側に於いて予測復号化し、且つエラー発生時にエラー発生部分を隠蔽制御すると共に、再生画像の画質劣化を防止するエラー隠蔽制御方法及び符号化装置及び画像信号伝送システムに関する。
【０００２】
【従来の技術】
図１０は従来例の説明図であり、５１は符号化部、５２は送信部、５３は送信側復号部、５４は送信側予測部、５５，５６は加算器、５７は伝送路、６１は受信側復号部、６２は受信部、６３は受信側予測部、６４はエラー制御部、６５は加算器を示す。
【０００３】
送信側の符号化装置の要部と、伝送路５７と、受信側の復号化装置の要部とを含む画像信号伝送システムを示し、静止画像や動画像等の入力画像信号と、送信側予測部５４からの予測値との差分を加算器５５により求めて符号化部５１に入力する。この符号化部５１は、離散コサイン変換（ＤＣＴ），フレーム間符号化，フレーム内符号化，量子化，可変長符号化等の機能を含み、符号化情報を送信部５２と送信側復号部５３とに入力する。送信側復号部５３による復号情報と送信側予測部５４からの予測値とを加算器５６により加算して、送信側の再生画像とし、次の予測値として送信側予測部５４に保持する。
【０００４】
又送信側予測部５４は、入力画像信号を用いた動き補償や、フレーム内符号化を行ったか否か等の予測情報を送信部５２に入力す。この送信部５２は、符号化部５１からの符号化情報と送信側予測部５４からの予測情報とを多重化して伝送路５７に送出する。更には図示を省略している音声情報やデータ等を多重化する構成とすることもできる。又伝送路５７が有線回線か無線回線等に対応した送信機能，誤り訂正符号化機能，バッファ機能等を含む構成とすることができる。
【０００５】
受信側の復号化装置は、受信部６２により符号化情報と予測情報とを多重分離し、符号化情報を受信側復号部６１に入力し、予測情報を受信側予測部６３に入力する。又受信側復号部６１は、符号化情報を復号し、加算器６５と受信側予測部６３とに入力し、受信側予測部６３は、前回の復号再生画像信号を保持して予測値とし、復号情報と予測情報に従って形成した予測値を加算器６５に入力し、加算出力を復号画像信号として出力する。
【０００６】
伝送路５７に接続された受信部６２は、送信部５２に対応した構成を有し、伝送エラーの検出機能を含むものである。又受信側復号部６１は、可変長符号等に規定外の符号パターン等が含まれている場合に復号エラーを検出するものであり、受信部５２に於けるエラー検出時、又は受信側復号部６１に於けるエラー検出時の復号画像は画質が劣化したものとなるから、これを隠蔽（コンシールメント；ｃｏｎｃｅａｌｍｅｎｔ）する為に、図１０は、エラー制御部６４を設けた場合を示す。このエラー制御部６４は、受信部６２からの伝送エラー検出信号や受信側復号部６１からの復号エラー検出信号等によって、そのエラーを含むブロック単位等の復号画像信号を、エラーを含まない画像信号によって隠蔽する制御を行うものである。
【０００７】
図１１は従来例のエラー発生時の動作説明図であり、エラー有りか否かを判定し（Ｈ１）、エラー有りの場合、即ち、受信部６２に於ける伝送エラー等のエラー検出又は受信側復号部６１に於ける復号エラー等のエラー検出により、１フレーム内のエラー位置Ｅと、復号済みの予測値Ｖとを求める（Ｈ２）。エラー制御部６４は、受信側予測部６３にエラー位置Ｅの１ブロックライン前の予測情報Ｖを用いて予測値を出力するように指示する（Ｈ３）。
【０００８】
次に、エラー制御部６４は、受信側復号部６１に０を出力するように指示する（Ｈ４）。そして、受信側復号部６１と受信側予測部６３との出力を加算器６５に於いて加算し（Ｈ５）、復号画像を出力する（Ｈ６）。又ステップ（Ｈ１）に於いて、エラー無しの判定の場合は、ステップ（Ｈ５），（Ｈ６）により復号画像が得られる。この場合、１画面を複数のブロックに分割して、ブロック対応の符号化や伝送を行うものであり、エラー位置Ｅを含むブロックの１ブロックライン前の予測情報Ｖを用いて予測値を求め、受信側復号部６１からは０を出力するから、エラー位置Ｅを含むブロックは、１ブロックライン前の予測情報Ｖを用いて予測値とした復号画像が出力されることになり、エラーを含むブロックを隠蔽（コンシールメント）することができる。このような制御をエラー制御部６４に於いて行うものである。
【０００９】
前述の図１０に示す従来例の構成は、例えば、ＩＴＵ−Ｔ Ｈ．２６３や、ＩＳＯ／ＭＰＥＧ４等の方式として知られている。又図１１に示すエラー隠蔽は、例えば、ＩＴＵ−Ｔ ＳＧ１６ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔ Ｍｏｄｅｌ，Ｎｅａｒ−Ｔｅｒｍ，Ｖｅｒｓｉｏｎ ９（ＴＭＮ９）に示されている。
【００１０】
又画像信号を受信して復号する場合のエラー隠蔽手段として、データの再送方式と同様にエラー発生のフレーム等を再送する各種の方式が提案されている。例えば、エラーが多い場合或いは重要ブロックとその隣接ブロックのエラーの場合等に於いて、送信側に再送要求を行い、フレーム単位或いはブロック単位で再送を行う方式が知られている。
【００１１】
【発明が解決しようとする課題】
伝送エラーや復号エラーが発生した時に、例えば、図１０及び図１１について説明した従来例では、エラー発生部分を復号画像としないことにより、エラーの隠蔽（コンシールメント）を行うものであるが、その後の受信側予測部６３による予測値と、送信側予測部５４による予測値とは異なったものとなる。従って、エラーの隠蔽を行った後の受信側の復号画像は、送信側と異なる予測値を用いていることにより画質劣化が生じる問題がある。
【００１２】
そこで、エラー情報を送信側に送信し、受信側に於けるエラー隠蔽と同様な処理を送信側に於いても行うようにすることが考えられる。しかし、送信側と受信側との間の伝送路５７等を含む伝送遅延時間の為、送信側に於ける符号化と、受信側に於ける復号化とは異なる画像について処理していることになり、送信側では、エラー情報を受信しても、エラー発生時点の符号化情報は、送信側では過去のものであるから、受信側と同様なエラー隠蔽処理を行うことができないものである。即ち、受信側予測部６３による予測値と送信側予測部５４による予測値とを一致させることができないものである。
【００１３】
又エラーを含む画像部分を再送することが提案されているが、データの再送処理と同様に静止画像についてはエラー発生により再送処理し、受信側で復号することができる。しかし、動画像の場合は、過去の画像から符号化して送信することになり、実際には適用することができない。又静止画像の場合であっても、送信側と受信側との間の伝送路５７が比較的低速の無線回線の場合、再送処理により伝送効率が著しく低下する問題がある。又動画像を低速で伝送する場合、再送処理により駒落とし等が生じることにより、再生画像の画質が一層劣化する問題がある。
本発明は、エラーが発生した場合でも、送信側と受信側との予測値を一致若しくは近似させて復号画像の画質劣化を防止することを目的とする。
【００１４】
【課題を解決するための手段】
本発明のエラー隠蔽制御方法は、（１）送信側は入力画像信号を予測符号化して送信し、受信側は予測復号化して再生画像信号を得ると共に、エラーの有無を判定し、エラー発生検出時にこのエラー発生部分を隠蔽する制御を行うエラー隠蔽制御方法であって、受信側は、エラー発生の検出時に、このエラー発生部分を示すエラー情報を送信側へ送信し、送信側は、受信側との間の一巡伝送遅延時間分の予測符号化に於ける予測情報と符号化部による少なくとも１符号化フレーム分の符号化情報とを記憶し、エラー情報を受信した時に、記憶していた前記１符号化フレーム分の符号化情報と前記予測情報とを基に、前記エラー情報によるエラー発生部分が現時点の予測符号化の予測値に及ぼす影響について判定し、影響が小さい場合は、エラー修正処理を中止し、影響が大きい場合は、記憶していた予測情報と符号化フレームの符号化情報とを用いて、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１５】
又（２）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分の現時点に於ける符号化フレームに対する移動先を求め、この移動先が分散又は消滅しているか否かを判定し、分散又は消滅している場合は、エラー修正処理を中止し、分散又は消滅していない場合は、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含むものである。
【００１６】
又（３）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを求めて比較し、差が所定値より小さい場合は、エラー修正処理を中止し、差が所定値より大きい場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１７】
又（４）エラー隠蔽制御方法に於いて、送信側は、エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像との画素値の絶対値差分を求め、この絶対値差分が閾値を超えない場合は、エラー修正処理を中止し、閾値を超えた場合は、エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、この予測値により以後の予測符号化を行う過程を含むものである。
【００１８】
又（５）本発明の符号化装置は、符号化部と、第１の送信側復号部と、送信側予測部とを含み、入力画像信号を予測符号化する符号化装置であって、受信側からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の前記第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリと、エラー情報に従って受信側の復号再生画像と一致した再生画像を得る為の第２の送信側予測部とを備え、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を、第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００１９】
又（６）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、第２の送信側予測部を用いてエラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像とを遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とを比較し、差が大きい場合は、エラー隠蔽制御による再生画像を基に現時点の再生画像を再構成し、差が小さい場合は再構成を行わない制御を行う構成を有するものである。
【００２０】
又（７）符号化装置のエラー修正部は、エラー情報とメモリに記憶された符号化情報と予測情報とを基に、エラー発生時点から現時点までのエラー発生部分の移動先を求め、このエラー発生部分の位置の分散を求め、この分散が小さい場合、エラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像を遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像の再構成を行い、分散が大きい場合又は消滅した場合は、前記再構成を行わない制御を行う構成を有するものである。
【００２１】
又（８）本発明の画像信号伝送システムは、入力画像信号を予測符号化する符号化装置を有する送信側と、この送信部からの符号化情報を受信して予測復号化する復号化装置を有する受信側とを伝送路を介して接続した画像信号伝送システムであって、受信側の復号化装置は、伝送路に接続された受信部と、予測復号化を行う受信側復号部と、受信側予測部と、受信部及び受信側復号部に於けるエラー検出によりエラー発生部分を隠蔽して復号再生画像の出力制御を行うエラー制御部と、エラー発生部分を示すエラー情報を送信側に送信するエラー情報送信部とを有し、送信側の符号化装置は、伝送路に接続された送信部と、予測符号化を行う符号化部と、送信側復号部と、第１，第２の送信側予測部と、受信部からのエラー情報を受信するエラー情報受信部と、このエラー情報受信部で受信したエラー情報を入力するエラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の第１の送信側復号部からの予測情報を記憶すると共に、符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリとを有し、エラー修正部は、エラー情報を基にエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを、メモリに記憶されている符号化情報及び予測情報を基に判定処理し、影響が大きい場合にエラー発生部分を隠蔽するエラー隠蔽制御による再生画像を前記第２の送信側予測部により再構成する制御を行う構成を有するものである。
【００２２】
【発明の実施の形態】
図１は本発明の実施の形態の説明図であり、１は符号化部、２は送信部、３は送信側復号部、４は第１の送信側予測部、５，１３は加算部、６はエラー情報受信部、７はメモリ、８はエラー修正部、９は第２の送信側予測部、１０，１１，１２はセレクタ、１５は下り伝送路、１６は上り伝送路、２１は受信側復号部、２２は受信部、２３は受信側予測部、２４はエラー制御部、２５は加算部、２６はエラー情報送信部であり、画像信号伝送システムの送信側の符号化装置と、伝送路と、受信側の復号化装置との要部を示す。
【００２３】
受信側の復号化装置は、受信部２２と受信側復号部２１と受信側予測部２３とエラー制御部２４と加算部２５とエラー情報送信部２６とを含む構成で、加算部２５からの復号画像信号を図示を省略した液晶パネルやブラウン管等による表示部に入力して、再生画像を表示することができる。又復号再生画像として受信側予測部２３に入力する。又受信部２２は、送信部２の構成に対応した構成を有し、下り伝送路１５を介して受信した符号化情報と予測情報とを分離して、符号化情報を受信側復号部２１に入力し、予測情報を受信側予測部２３に入力する。なお、下り伝送路１５と上り伝送路１６とは、既に知られている各種の構成を適用することができる。
【００２４】
受信側復号部２１は、予測符号化された符号化情報を復号し、加算部２５と受信側予測部２３とに入力する。加算部２５は、受信側復号部２１からの復号情報と受信側予測部２３からの予測値とを加算して、復号再生画像信号として出力する。そして、例えば、前述の表示部に入力する。又この復号再生画像信号を受信側予測部２３に入力して、次の予測値とする。
【００２５】
又受信部２２と受信側復号部２１とに於いてエラーを検出した時、エラー制御部２４に通知し、エラー制御部２４は、従来例と同様にエラー発生部分を隠蔽する処理を行うものであり、又エラー発生部分を示すエラー情報をエラー情報送信部２６から上り伝送路１６を介して送信側に送信する。このエラー情報に、例えば、現時点の復号処理しているフレーム番号とエラー発生ブロック番号等のエラー発生の位置を示す情報を含ませることができる。又エラー情報送信部２６は上り伝送路１６が有線回線又は無線回線等に対応した送信部の構成を有するものである。
【００２６】
送信側の符号化装置は、符号化部１と送信部２と送信側復号部３と第１、第２の送信側予測部４，９と加算部５，１３とエラー情報受信部６とメモリ７とエラー修正部８とセレクタ１０，１１，１２とを含み、図示を省略したＣＣＤカメラ等の撮像部からのディジタル信号に変換された入力画像信号を加算部５と第１の送信側予測部４とに入力する。
【００２７】
又セレクタ１０，１１，１２は、通常は実線矢印で示す経路の接続を行い、エラー修正処理等の場合に点線矢印で示す経路の接続を行うものであり、エラー修正部８又は図示を省略した制御部から制御される。又加算部５は、入力画像信号とセレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値との差分を求めて符号化部１に入力する。この符号化部１は、離散コサイン変換，フレーム間符号化，フレーム内符号化，量子化，可変長符号化等による符号化情報を、送信部２とメモリ７とセレクタ１２の実線矢印の経路を介して送信側復号部３とに入力する。
【００２８】
又送信側復号部３は、セレクタ１２を介した符号化情報又はエラー修正部８からの符号化情報を復号し、加算部１３に復号結果を入力する。加算部１３は、送信側復号部３からの復号情報と、セレクタ１０を介した第１の送信側予測部４又は第２の送信側予測部９からの予測値とを加算して、セレクタ１１とエラー修正部８とに入力する。
【００２９】
セレクタ１１が実線矢印の経路の接続の場合、加算部１３からの予測値は第１の送信側予測部４に、又点線矢印の経路の接続の場合、加算部１３からの予測値は第２の送信側予測部９に入力することになる。又第１の送信側予測部４からの予測情報を、メモリ７と送信部２とに入力する。
【００３０】
又送信部２は、符号化情報と第１の送信側予測部４からの予測情報とを含む信号を多重化する多重化機能と、下り伝送路１５が有線回線か無線回線かに対応した送信符号化機能，誤り訂正符号化機能，変調送信機能等を含むものである。又符号化情報について、フレーム番号等の時間情報を付加して伝送する機能を符号化部１又は送信部２に設けることができる。このような時間情報は、送信側と受信側との間の一巡の伝送遅延時間が固定であれば、省略することもできる。
【００３１】
又メモリ７は、符号化部１からの符号化情報及び第１の送信側予測部４からの予測情報とを、送信側と受信側との下り伝送路１５と上り伝送路１６とを含む一巡の伝送遅延時間分と、少なくとも１符号フレーム分とについて保持する。このような伝送遅延時間は、予め推定することが可能であり、又受信側の構成等に従って変動する場合は、最大遅延時間或いは許容遅延時間とすることができる。なお、メモリ７の記憶容量に余裕があれば、現時点からエラー発生時点まで以上の期間の符号化情報及び予測情報を記憶しておくことも可能である。又エラー修正部８は、エラー修正処理時、このメモリ７をアクセスして、符号化情報及び予測情報を読取るものである。
【００３２】
又エラー情報受信部６は、エラー情報送信部２６の構成に対応した構成を有し、又エラー修正部８は、エラー情報受信部６により受信側からのエラー情報を受信した時、送信側と受信側との間の一巡の伝送遅延時間が固定の場合、現時点の符号化フレームとエラー発生時点の符号化フレームとの時間差が、一巡の伝送遅延時間に相当するから、エラー発生部分を識別することができる。又エラー情報にエラー発生位置を、フレーム番号とブロック番号とにより通知する場合は、このエラー情報によってエラー発生部分を認識できる。或いは、符号化情報の伝送形式として、復号タイミング情報等を付加して伝送する場合、エラー制御部２４によりエラー発生時点のタイミング情報を抽出して、エラー情報に付加することができるから、このエラー情報に含まれるタイミング情報によってエラー発生部分を識別することができる。
【００３３】
このエラー発生部分が現時点の予測符号化の予測値に影響を及ぼすか否かを判定する。影響を及ぼさない程度のエラーであれば、エラー修正処理を中止し、影響を及ぼす場合は、エラー発生部分を隠蔽するエラー掩蔽制御による再生画像を再構成し、現時点の予測値を求めて、それ以後の予測符号化を継続する。
【００３４】
例えば、エラー修正部８は、メモリ７からエラー発生時点に対応した符号化情報及び予測情報を読出して、エラー発生時点から符号化の現時点までに、エラー発生部分の移動先を算出し、移動先の分散が大きい場合又は消滅した場合は、エラー発生部分が現時点の予測符号化に影響を及ぼさないことになるから、エラー修正処理は中止する。
【００３５】
又エラー発生部分の移動先が分散しない場合は、再生画像にエラーが含まれるて画質が劣化する場合であるから、受信側のエラー隠蔽制御による再生画像と同様な再生画像を再構成し、且つエラー発生時点から現時点までの予測情報を基にし、現時点の再生画像を再構成する。それにより、エラー発生部分の現時点以降の予測値について、送信側と受信側との相違を吸収し、受信側の復号再生画像の画質劣化を防止することができる。又符号化装置と復号化装置との各部の機能は、プロセッサの演算処理機能等によって実現することも可能である。
【００３６】
図２はエラー修正部の動作フローチャートを示し、受信側からのエラー情報をエラー情報受信部６が受信することにより、エラー情報に付加されたフレーム番号或いは固定遅延時間の場合の時間差による現時点のフレーム番号とエラー発生時点のフレーム番号とを求めることができるもので、エラー発生時点でのフレーム番号を１、符号化部１に於ける現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）とし、予測情報（動き補償ベクトル）をＶｋ（Ｘｋ，Ｙｋ）とし（Ａ１）、フレーム番号１〜ｗについて、メモリ７に保持されている予測情報（動き補償ベクトル）を読出して、エラー発生ブロックＢの各々の画素の位置Ｂｐｉｊがどの位置に移動したかを、時間経過の逆方向に順次計算して求める（Ａ２）。
【００３７】
そして、現時点での画素の位置ＢＰｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を求める（Ａ３）。この場合の画素の位置ＢＰは複数ブロックに跨がる可能性があり、跨がった場合は、対応するブロックの位置での動き補償ベクトルを用いる。そして、現時点での画素の位置ＢＰｐｉｊがそれぞれ他のブロックに分散している割合が多いか否か、又は消滅している割合が多いか否かを判定する（Ａ４）。
【００３８】
例えば、エラー発生ブロックの各々の画素が順次分散して、現時点ではエラーが目立たない場合、又はエラー発生時点直後にフレーム内符号化を行った場合、又は次フレームで前景等の為にエラー発生ブロックが隠されて消滅している場合等の画素の分散又は消滅の割合が多い場合は、そのエラー発生部分が現時点の符号化フレームを復号化した時に、復号再生画像に影響していなと見做すことができる。そこで、エラー修正部８は再構成を行わない（Ａ５）として、エラー修正処理を終了する。
【００３９】
又前述の分散又は消滅の割合が少ない場合、現時点の符号化したフレームを受信側で復号再生した時に、エラー部分が目立つことを示す。即ち、受信側に於けるエラー隠蔽制御による修正された予測値と、送信側の予測値との差が大きい場合に相当し、受信側の復号再生画像の画質が劣化することを示すから、エラー修正部８は、再構成を行うものである。
【００４０】
この再構成の処理を図３を参照して説明する。前述のステップ（Ａ１）と同様に、エラー発生時点でのフレーム番号を１とし、現時点でのフレーム番号をｗとし、更に、復号再生した画像をＲｋ（現時点で保持している再生画像Ｒｗ−１）とし、符号化情報をＣｋとし、これを復号した復号情報をＣｋ-1とし、予測値生成の操作をＶｋとし、この予測値生成の操作の逆の操作をＶｋ-1とし、予測値をＵｋとする。なお、ｋ＝１〜ｗを示す（Ｂ１）。
【００４１】
そして、符号化情報Ｃｋ，再生画像Ｒｋ，予測値生成の逆操作Ｖｋ-1を用いて、予測値Ｕｋを求め、時間軸方向の逆方向に復号処理を行う。即ち、現時点からエラー発生時点に遡る復号処理を行う。そして、エラー発生フレームの１符号化フレーム前の再生画像Ｒ０を求め、コンシールメントを行った画像Ｒ１’を再構成して出力する（Ｂ２）。即ち、第１の送信側予測部４に保持している予測処理用の再生画像Ｒｗ−１（予測値）から、メモリ７に保持されている１符号化フレーム前の符号化情報Ｃを送信側復号部３により復号して減算する。この減算結果は、１符号化フレーム前の第１の送信側予測部４に於ける予測値Ｕである。
【００４２】
この時、第２の送信側予測部９に予測値を入力するように、エラー修正部８からの制御によりセレクタ１０，１１を点線矢印の経路の接続に切替える。又エラー修正部８は、第２の送信側予測部９に対して、メモリ７に保持されている１符号化フレーム前の予測情報を用いて、動き補償ベクトルについては予測値Ｕに対して逆方向に予測する。即ち、過去から現時点に向かう時間経過に従った動き補償ベクトルの方向を逆にして、現時点から受信側のエラー発生時点の過去に遡って予測値生成の処理を行う。それにより、エラー発生時点のフレームの１フレーム前の画像Ｒ０を求めて、これとエラー発生の位置とを基に、コンシールメントを行った画像Ｒ１’を、送信側に於いて再構成する。即ち、エラー発生時点に於ける受信側の予測値と同一若しくは近似した予測値を送信側に生成することができる。
【００４３】
次に、受信側と同様な再生画像Ｒｗ−１を得る処理を、図４を参照して説明する。先ず、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、受信側と同じくなるように再構成した画像をＲｋ’、符号化情報をＣｋ、復号情報をＣｋ-1、予測値生成の操作をＶｋとし（但し、ｋ＝１〜ｗ−１）（Ｃ１）、１フレーム目からｗ−１フレーム目まで、１フレーム目の再生画像Ｒ１’を初期値として、復号情報Ｃｋ-1，予測値生成の操作Ｖｋを用いることにより、順次再生画像Ｒｋ’を得て（Ｃ２）、受信側と同様な内容の再構成したｗ−１フレーム目の再生画像Ｒｗ−１’を得る（Ｃ３）。
【００４４】
即ち、エラー修正部８は、エラー発生時点でのコンシールメントを行った画像Ｒ１’（１フレーム目の再構成した画像）を、第２の送信側予測部９に保持させて、セレクタ１２を点線矢印の経路に切替え、メモリ７に記憶されている予測情報を基に現時点までの再生画像を構成し、この現時点の再生画像を第１の送信側予測部４に転送し、セレクタ１０，１１，１２を実線矢印の経路に切替えることにより、以後の予測符号化を行うもので、前述の処理を高速で行うことにより、受信側の再生画像と同様となる再生画像を再構成することができる。
【００４５】
従って、送信側は、この再生画像を予測値として符号化処理を行うことにより、予測値について受信側に於ける条件と同一となるから、受信側では、符号化情報を受信して復号再生した画像は、その後にエラーがなければ、画質劣化は生じないものとなる。
【００４６】
前述のような再構成を行うか否かの判定をエラー修正部８に於いて行うものであり、図５に示すように、エラー発生時点でコンシールメントを行った再生画像をＲ１’とし、エラー発生時点でコンシールメントを行わない再生画像をＲ１として（Ｄ１）、再生画像Ｒ１’，Ｒ１を比較し、差が大きいか否かを判定する（Ｄ２）。差が小さい場合は、コンシールメントを行っても行わなくても同じようなものであるから、再構成は行わない（Ｄ４）。又差が大きい場合は、コンシールメントを行うことによる受信側の予測値との差が大きくなるから、再構成を行う（Ｄ３）。
【００４７】
図６及び図７は本発明の実施の形態のフローチャートを示し、前述のように、エラー発生時点でのフレーム番号を１、現時点でのフレーム番号をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、予測情報（動き補償ベクトル）をＤｋ（Ｘｋ，Ｙｋ）、再生画像をＲｋ（但し、現時点で保持している再生画像をＲｗ−１）、符号化情報をＣｋ、復号情報をＣｋ-1、予測値の生成の操作をＶｋ、予測値の生成の操作の逆操作をＶｋ-1、予測値をＵｋとする（但し、ｋ＝１〜ｗ−１）（Ｅ１）。
【００４８】
そして、ｎ＝２〜ｗ−１について、画素の位置ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を、
ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＝ＢＰｎ−１ｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＋Ｄｎ−１（Ｘｎ−１，Ｙｎ−１）
としてを求める（Ｅ２）。これにより、フレーム番号ｗ−１に於いて、エラー発生ブロックの現在参照されている位置ＢＰｗ−１ｉｊが何処かを算出する。
【００４９】
そして、現時点の位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）、即ち、エラー発生ブロックの画素が現在どの位置に存在するようになるかを求める（Ｅ３）。このようにして求めた画素の現在位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）が消失しているか否かを判定し（Ｅ４）、消失している場合は、エラー発生時点のエラー部分は、現時点では消滅して影響を及ぼさないことになるから、エラー修正の処理は終了する（Ｅ６）。
【００５０】
又消失してない場合は、ｎ＝ｗ−１〜０に於いて、予測値Ｕｎ−１と再生画像Ｒｎ−２とを、
Ｕｎ−１＝（Ｒｎ−１）−（Ｃｎ−１-1）
Ｒｎ−２＝Ｖｎ-1（Ｕｎ−１）
により求め（Ｅ５）、エラー発生時点で参照している１符号化フレーム前の再生画像Ｒ０を求め、エラー情報を基に、エラー発生部分を隠蔽するコンシールメント処理を行った再生画像Ｒ１’を再構成する（Ｅ７）。
【００５１】
次に、ｎ＝１〜ｗ−１に於いて、予測値Ｕｎと再生画像Ｒｎ＋１’とを、
Ｕｎ＝Ｖｎ（Ｒｎ’）
Ｒｎ＋１＝Ｕｎ＋Ｃｎ-1
により求め（Ｅ８）、順次計算して受信側と同様な再生画像Ｒｗ−１’を求める（Ｅ９）。この再生画像Ｒｗ−１’を基に、現時点のフレーム番号ｗの入力画像信号の符号化を行うことにより、エラーが発生しても、現時点の送信側の予測値と、送信側と受信側との間の遅延時間後の受信側の予測値とを同一とすることが可能となり、画質劣化を回避することができる。
【００５２】
図８はエラー修正部８による再構成を行うか否かの適応処理のフローチャートを示し、前述の図６の例えばステップ（Ｅ２）により求めた画素の位置をＢＰｎｉｊ、分散度をρ、閾値をｔｈとし（Ｆ１）、画素の位置ＢＰｎｉｊの分散度ρを求める（Ｆ２）。この分散度ρは、標準偏差、自己相関、相互相関等の計算式等を適用して求めるか、又はエラー発生位置が隣接している画素数、エラー発生位置が消滅していない画素数等を用いることができる。
【００５３】
そして、この分散度ρが閾値ｔｈより大きいか否かを判定し（Ｆ３）、分散度ρが閾値ｔｈより大きい場合は、エラー発生部分が現時点では分散して、視覚的には目立たないことになるから、受信側の再生画像と同様な再生画像に再構成することは行わない（Ｆ５）で、エラー修正の処理を終了する。又分散度ρが閾値ｔｈより小さい場合は、エラー発生部分が分散されていないことになり、受信側の再生画像と同様な再生画像となるように、前述のステップ（Ｅ５）〜（Ｅ９）に示すように再構成を行う（Ｆ４）。
【００５４】
他の適応処理を図９に示す。即ち、コンシールメントを行った画像Ｒ１’と、コンシールメントを行わない画像Ｒ１と、差分評価値μと、閾値ｔｈとを定義し（Ｇ１）、Ｒ１’とＲ１との画素値の絶対値差分の評価値μを求める（Ｇ２）。この評価値μと閾値ｔｈとを比較し（Ｇ３）、評価値μが閾値ｔｈより小さい場合は、コンシールメントを行って生成した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が小さいことであるから、再構成は行わず（Ｇ５）、エラー修正処理は終了する。
【００５５】
又評価値μが閾値ｔｈより大きい場合、エラー発生により、コンシールメントを行って再生した画像Ｒ１’と、コンシールメントを行わないで再生した画像Ｒ１との差が大きいから、そのまま符号化を継続すると、送信側と受信側との予測値の差が大きいことにより、受信側の復号再生画像の画質が劣化するから、再構成を行う（Ｇ４）。
【００５６】
前述の処理は、１フレームの総てに対して行うこともできるが、例えば、エラー発生ブロックについて及びエラー発生時点のフレームまで遡る必要があるブロックについてのみ処理することもできる。この場合のエラーが発生している部分は、例えば、ステップ（Ａ３）による現時点での位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）により、エラー発生ブロックの画素の位置が現時点では、どの位置に移動したかにより、識別することができる。
【００５７】
又現時点から遡ってエラー発生時点の再生画像を得る過程の途中で、フレーム内符号化や、エラー発生ブロックの画素の位置がどこからも参照されない状態を識別した時に、エラー発生部分が現時点の再生画像に影響を及ぼさないと判定して、再構成の処理を中止することができる。
【００５８】
【発明の効果】
以上説明したように、本発明は、受信側に於いて、エラー発生時にエラー隠蔽制御を行い、その時のエラー情報を送信側に送信し、送信側は、このエラー情報を基に、エラー発生時点から現時点の再生画像にエラー発生部分が影響を及ぼすか否かを判定し、影響を及ぼす場合には、受信側と同様なエラー隠蔽制御を行ったエラー発生時点の再生画像を求めて、現時点までの予測情報を基に現時点の再生画像を求める再構成を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについては同一又は近似した値として、受信側の復号再生画像野画質劣化を回避することができる。
【００５９】
その場合、エラー隠蔽制御を行った再生画像と行わない再生画像と差が大きい場合のみ、又はエラー発生時点のエラー発生部分が現時点のフレームの移動先を求めて、分散が小さい場合のみ、再構成の処理を行うことにより、受信側の予測値と送信側の予測値とを同一のフレームについて同一又は近似した値とし、再構成が必要でない場合の不必要な処理を省略することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】エラー修正部の動作フローチャートである。
【図３】エラー修正部の動作フローチャートである。
【図４】再生画像の再構成の動作フローチャートである。
【図５】再構成の判定フローチャートである。
【図６】本発明の実施の形態のフローチャートである。
【図７】本発明の実施の形態のフローチャートである。
【図８】適応処理のフローチャートである。
【図９】適応処理のフローチャートである。
【図１０】従来例の説明図である。
【図１１】従来例のエラー発生時の動作説明図である。
【符号の説明】
１ 符号化部
２ 送信部
３ 送信側復号部
４ 第１の送信側予測部
５ 加算部
６ エラー情報受信部
７ メモリ
８ エラー修正部
９ 第２の送信側予測部
１０〜１２ セレクタ
１３ 加算部
２１ 受信側復号部
２２ 受信部
２３ 受信側予測部
２４ エラー制御部
２５ 加算部
２６ エラー情報送信部
Claims (6)
- 送信側は入力画像信号を予測符号化して送信し、受信側は予測復号化して再生画像信号を得ると共に、エラーの有無を判定し、エラー発生検出時に該エラー発生部分を隠蔽する制御を行うエラー隠蔽制御方法に於いて、
前記受信側は、前記エラー発生の検出時に、該エラー発生部分を示すエラー情報を前記送信側へ送信し、
該送信側は、前記受信側との間の一巡伝送遅延時間分の前記予測符号化に於ける予測情報と符号化部による少なくとも１符号化フレーム分の符号化情報とを記憶し、前記エラー情報を受信した時に、記憶していた前記１符号化フレーム分の符号化情報と前記予測情報とを基に、前記エラー発生時点から符号化の現時点までのエラー発生部分の符号化フレームに対する移動先を、前記予測情報及び符号化情報を時間軸上逆方向に処理することにより求め、該移動先が分散又は消滅しているか否かを判定し、分散又は消滅している場合は、エラー修正処理を中止し、分散又は消滅していない場合は、前記エラー発生部分を隠蔽するエラー隠蔽制御による再生画像を再構成して、現時点の予測値を求め、以後の予測符号化を行う過程を含む
ことを特徴とするエラー隠蔽制御方法。 - 前記送信側は、前記受信側からの前記エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とをそれぞれ生成して比較し、差が所定値より小さい場合は、エラー修正処理を中止し、差が予め設定した所定値より大きい場合は、前記エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、該予測値により以後の予測符号化を行う過程を含むことを特徴とする請求項１記載のエラー隠蔽制御方法。
- 前記送信側は、前記受信側からの前記エラー情報を基に、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とをそれぞれ生成し、両再生画像間の画素値の絶対値差分を求め、該絶対値差分が予め設定した閾値を超えない場合は、エラー修正処理を中止し、前記閾値を超えた場合は、前記エラー隠蔽制御による再生画像を基に現時点の予測符号化の予測値を求め、該予測値により以後の予測符号化を行う過程を含むことを特徴とする請求項１記載のエラー隠蔽制御方法。
- 符号化部と、送信側復号部と、第１の送信側予測部とを含み、入力画像信号を予測符号化する符号化装置に於いて、
受信側からのエラー情報を受信するエラー情報受信部と、
該エラー情報受信部で受信したエラー情報を入力するエラー修正部と、
送信側と受信側との間の一巡伝送遅延時間分の前記第１の送信側予測部からの予測情報を記憶すると共に、前記符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリと、
前記エラー情報に従って受信側の復号再生画像と一致した再生画像を得る為の第２の送信側予測部とを備え、
前記エラー修正部は、前記エラー情報と前記メモリに記憶された符号化情報と予測情報とを基に、前記第２の送信側予測部を用いてエラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像とを時間軸上遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とをそれぞれ生成して両再生画像を比較し、差が大きい場合は、エラー隠蔽制御による再生画像を基に現時点の再生画像を再構成し、差が小さい場合は再構成を行わない制御を行う構成を有する
ことを特徴とする符号化装置。 - 前記エラー修正部は、前記エラー情報と前記メモリに記憶された符号化情報と予測情報とを基に、エラー発生時点から現時点までのエラー発生部分の移動先を前記予測情報及び符号化情報を逆方向に処理することにより求め、該エラー発生部分の位置の分散を求め、該分散が小さい場合、エラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像を時間軸上遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像の再構成を行い、分散が大きい場合又は消滅した場合は、前記再構成を行わない制御を行う構成を有することを特徴とする請求項４記載の符号化装置。
- 入力画像信号を予測符号化する符号化装置を有する送信側と、該送信部からの符号化情報を受信して予測復号化する復号化装置を有する受信側とを伝送路を介して接続した画像信号伝送システムに於いて、
前記受信側の復号化装置は、前記伝送路に接続された受信部と、予測復号化を行う受信側復号部と、受信側予測部と、前記受信部及び前記受信側復号部に於けるエラー検出によりエラー発生部分を隠蔽して復号再生画像の出力制御を行うエラー制御部と、前記エラー発生部分を示すエラー情報を前記送信側に送信するエラー情報送信部とを有し、
前記送信側の符号化装置は、前記伝送路に接続された送信部と、予測符号化を行う符号化部と、送信側復号部と、第１，第２の送信側予測部と、前記受信部からの前記エラー情報を受信するエラー情報受信部と、該エラー情報受信部で受信した前記エラー情報を入力するエラー修正部と、前記送信側と前記受信側との間の一巡伝送遅延時間分の前記第１の送信側予測部からの予測情報を記憶すると共に、前記符号化部からの少なくとも１符号化フレーム分の符号化情報を記憶するメモリとを有し、
前記エラー修正部は、前記エラー情報と前記メモリに記憶された符号化情報と予測情報とを基に、前記第２の送信側予測部を用いてエラー発生時点の復号画像及びエラー発生時点の１フレーム前の復号画像とを時間軸上遡って再生し、エラー発生部分を隠蔽するエラー隠蔽制御による再生画像と、エラー隠蔽制御を行わない再生画像とをそれぞれ生成して比較し、差が大きい場合は、エラー隠蔽制御による再生画像を基に現時点の再生画像を前記第２の送信側予測部により再構成し、差が小さい場合は再構成を行わない制御を行う構成を有する
ことを特徴とする画像信号伝送システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25296399A JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25296399A JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001078198A JP2001078198A (ja) | 2001-03-23 |
| JP4794711B2 true JP4794711B2 (ja) | 2011-10-19 |
Family
ID=17244602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25296399A Expired - Fee Related JP4794711B2 (ja) | 1999-09-07 | 1999-09-07 | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4794711B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100504824B1 (ko) | 2003-04-08 | 2005-07-29 | 엘지전자 주식회사 | 이미지 신호 블록오류 보정 장치 및 방법 |
| KR20050076155A (ko) * | 2004-01-19 | 2005-07-26 | 삼성전자주식회사 | 영상 프레임의 에러 은닉 장치 및 방법 |
| JP4391954B2 (ja) | 2005-02-18 | 2009-12-24 | 富士通株式会社 | ファイル制御システムおよびファイル制御装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07322248A (ja) * | 1994-05-30 | 1995-12-08 | Matsushita Electric Ind Co Ltd | 動画像データの伝送方法および伝送装置 |
| JP3630474B2 (ja) * | 1995-07-14 | 2005-03-16 | 沖電気工業株式会社 | 動画像伝送システム及び動画像伝送装置 |
| JP3297293B2 (ja) * | 1996-03-07 | 2002-07-02 | 三菱電機株式会社 | 動画像復号方法および動画像復号装置 |
-
1999
- 1999-09-07 JP JP25296399A patent/JP4794711B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001078198A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5007012B2 (ja) | ビデオ符号化方法 | |
| RU2120702C1 (ru) | Способ декодирования одного полученного текущего сигнала из серии двухканальных кодированных видеосигналов и устройство для его осуществления | |
| US8902990B2 (en) | Block error compensating apparatus of image frame and method thereof | |
| JP5072572B2 (ja) | サーバ | |
| US6744924B1 (en) | Error concealment in a video signal | |
| EP2661894B1 (en) | Concealment of data loss for video decoding | |
| JP2004507178A (ja) | ビデオ信号符号化方法 | |
| JP2003533950A (ja) | ビデオ符号化方法 | |
| JP2003533953A (ja) | ビデオ符号化方法 | |
| EP1599047B1 (en) | Video (de)coding device with frequency band retransmission | |
| JPH0795584A (ja) | 画像符号化装置 | |
| JP4794711B2 (ja) | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム | |
| JPH09116903A (ja) | 階層化符号化装置および階層化復号化装置 | |
| JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
| JPH07274176A (ja) | 動画像伝送装置 | |
| JPH0810937B2 (ja) | 動き補償誤り補正方式 | |
| KR101073813B1 (ko) | 비트스트림 오류 보완방법, 비트스트림 오류 보완전처리기, 및 그 전처리기를 포함하는 디코딩 장치 | |
| JPH07111654A (ja) | 動画像伝送システム | |
| JP3891198B2 (ja) | 復号装置及び方法、並びに伝送装置及び方法 | |
| JPH0472985A (ja) | フレーム内挿方式 | |
| JPH10341434A (ja) | 画像・音声データ通信システム | |
| JP3653745B2 (ja) | 符号化装置及び方法並びに符号化復号化装置及び方法 | |
| JPH0818958A (ja) | 映像信号符号化装置及び復号化装置 | |
| JPH08107558A (ja) | 動画符号化および復号の方法および装置 | |
| JPH0884334A (ja) | 画像信号の復号化方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080815 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090122 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090327 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |