JPH07111654A - 動画像伝送システム - Google Patents
動画像伝送システムInfo
- Publication number
- JPH07111654A JPH07111654A JP25581693A JP25581693A JPH07111654A JP H07111654 A JPH07111654 A JP H07111654A JP 25581693 A JP25581693 A JP 25581693A JP 25581693 A JP25581693 A JP 25581693A JP H07111654 A JPH07111654 A JP H07111654A
- Authority
- JP
- Japan
- Prior art keywords
- block
- signal
- image signal
- motion vector
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】画像の性質に応じた適切なパケット廃棄補償を
行い、復号画像の画質を向上させることができる動画像
伝送システムを提供する。 【構成】パケット分解回路11からのパケット廃棄検出
信号13に基づいて識別された復号不可能となるブロッ
クに対して、既復号フレームの画像信号からなる第1の
置き換え信号候補と同一フレーム内の信号を用いた空間
内挿信号からなる第2の置き換え信号候補を作成するコ
ンシールメント回路27と、第1の置き換え信号候補と
復号不可能と識別されたブロックの周囲の画像信号との
類似性を判定し、また既復号フレーム中の画像信号が置
き換えられた信号であるか否かを判定するフレーム間・
フレーム内置き換え判定回路29と、この判定結果に基
づいて復号不可能と識別されたブロックの画像信号を第
1および第2の置き換え信号候補のいずれかに置き換え
るセレクタ30とを有する。
行い、復号画像の画質を向上させることができる動画像
伝送システムを提供する。 【構成】パケット分解回路11からのパケット廃棄検出
信号13に基づいて識別された復号不可能となるブロッ
クに対して、既復号フレームの画像信号からなる第1の
置き換え信号候補と同一フレーム内の信号を用いた空間
内挿信号からなる第2の置き換え信号候補を作成するコ
ンシールメント回路27と、第1の置き換え信号候補と
復号不可能と識別されたブロックの周囲の画像信号との
類似性を判定し、また既復号フレーム中の画像信号が置
き換えられた信号であるか否かを判定するフレーム間・
フレーム内置き換え判定回路29と、この判定結果に基
づいて復号不可能と識別されたブロックの画像信号を第
1および第2の置き換え信号候補のいずれかに置き換え
るセレクタ30とを有する。
Description
【0001】
【産業上の利用分野】本発明は、動画像信号を動き補償
予測符号化したデータをパケット化して伝送する動画像
伝送システムにおけるパケット廃棄補償技術に関する。
予測符号化したデータをパケット化して伝送する動画像
伝送システムにおけるパケット廃棄補償技術に関する。
【0002】
【従来の技術】画像、音声、データといったマルチメデ
ィア情報をセルと呼ばれる固定長パケットに乗せて転送
/交換を行うATM(非同期転送モード)網の研究・開
発が進められている。ATM網によって動画像の情報を
伝送する場合、動画像信号を圧縮符号化する動画像符号
化装置が使用される。動画像信号の圧縮符号化方式とし
ては、入力される動画像信号と動き補償予測により得ら
れた予測画像信号との差分である予測誤差信号を符号化
(フレーム間予測符号化)して伝送する動き補償適応予
測符号化方式が知られている。
ィア情報をセルと呼ばれる固定長パケットに乗せて転送
/交換を行うATM(非同期転送モード)網の研究・開
発が進められている。ATM網によって動画像の情報を
伝送する場合、動画像信号を圧縮符号化する動画像符号
化装置が使用される。動画像信号の圧縮符号化方式とし
ては、入力される動画像信号と動き補償予測により得ら
れた予測画像信号との差分である予測誤差信号を符号化
(フレーム間予測符号化)して伝送する動き補償適応予
測符号化方式が知られている。
【0003】ATM網では、通信路で誤りが生じた場合
や、セルが網内で輻輳した場合に、伝送したセルの一部
が廃棄される現象が発生する。このようなセル廃棄が生
じると、同期が回復されるまで画像信号の一部が復号不
可能となり、視覚的に大きな劣化が生じる。そこで、セ
ル廃棄による画質劣化を低減するためのセル廃棄補償技
術として、受信側で復号不可能となったブロックに復号
済みの画像信号を用いて置き換える手法が検討されてい
る。
や、セルが網内で輻輳した場合に、伝送したセルの一部
が廃棄される現象が発生する。このようなセル廃棄が生
じると、同期が回復されるまで画像信号の一部が復号不
可能となり、視覚的に大きな劣化が生じる。そこで、セ
ル廃棄による画質劣化を低減するためのセル廃棄補償技
術として、受信側で復号不可能となったブロックに復号
済みの画像信号を用いて置き換える手法が検討されてい
る。
【0004】例えば、上述のように送信側で動画像符号
化装置により動き補償予測符号化した符号化データをセ
ル化して伝送し、受信側でセルを分解して動画像復号化
装置により符号化データから元の画像信号を復号する動
画像伝送システムでは、受信側でのセル廃棄補償技術
は、セル廃棄により失われた画像信号をフレームメモリ
(またはフィールドメモリ)に蓄えておき、他の画像信
号を用いて置き換える操作(コンシールメント)により
実現される。
化装置により動き補償予測符号化した符号化データをセ
ル化して伝送し、受信側でセルを分解して動画像復号化
装置により符号化データから元の画像信号を復号する動
画像伝送システムでは、受信側でのセル廃棄補償技術
は、セル廃棄により失われた画像信号をフレームメモリ
(またはフィールドメモリ)に蓄えておき、他の画像信
号を用いて置き換える操作(コンシールメント)により
実現される。
【0005】このようなセル廃棄補償の従来技術の一例
を図4を用いて説明する。符号化画像内のセル廃棄によ
り復号不可能となったブロックをAとし、このブロック
Aの画像信号をブロックAに隣接する復号可能なブロッ
ク(例えばブロックB)の動きベクトルを用いてコンシ
ールメントする。具体的には、ブロックAに対してブロ
ックBの動きベクトルで指し示される参照画像内のブロ
ックA′の画像信号を動き補償予測することにより、コ
ンシールメントを行う。一般に隣接するブロック間の動
きベクトルの相関が高いため、このようにセル廃棄によ
り復号不可能となったブロックAを、これに隣接するブ
ロックBの動きベクトルを用いて動き補償予測すること
により、画質劣化を低減することができ、セル廃棄補償
が可能となる。
を図4を用いて説明する。符号化画像内のセル廃棄によ
り復号不可能となったブロックをAとし、このブロック
Aの画像信号をブロックAに隣接する復号可能なブロッ
ク(例えばブロックB)の動きベクトルを用いてコンシ
ールメントする。具体的には、ブロックAに対してブロ
ックBの動きベクトルで指し示される参照画像内のブロ
ックA′の画像信号を動き補償予測することにより、コ
ンシールメントを行う。一般に隣接するブロック間の動
きベクトルの相関が高いため、このようにセル廃棄によ
り復号不可能となったブロックAを、これに隣接するブ
ロックBの動きベクトルを用いて動き補償予測すること
により、画質劣化を低減することができ、セル廃棄補償
が可能となる。
【0006】図4のようなセル廃棄補償の原理を応用し
た例として、例えば1992年画像符号化シンポジウム
(PCSJ92),6−1,“セル廃棄耐性を有するA
TM画像符号化方式”では、図5(a)に示すように、
セル廃棄により復号不可能となったブロックAの周囲
に、コンシールメントに用いる動きベクトルの候補(最
大8通り)を設定し、水平・垂直方向に各々独立に動き
ベクトルの重み付き多数決値をとり、最多数となる動き
ベクトルを用いた動き補償予測によりコンシールメント
する方法が開示されている。多数決に用いられる重み
は、図5(b)に示すようにブロックAに近い動きベク
トルほど選ばれ易くなるように設定される。また、動き
ベクトル間の相関が低く十分な多数決を行うことができ
ない場合は、図5(c)に示すように動きベクトルの候
補を増やして(最大14通り)、多数決をとり直す。
た例として、例えば1992年画像符号化シンポジウム
(PCSJ92),6−1,“セル廃棄耐性を有するA
TM画像符号化方式”では、図5(a)に示すように、
セル廃棄により復号不可能となったブロックAの周囲
に、コンシールメントに用いる動きベクトルの候補(最
大8通り)を設定し、水平・垂直方向に各々独立に動き
ベクトルの重み付き多数決値をとり、最多数となる動き
ベクトルを用いた動き補償予測によりコンシールメント
する方法が開示されている。多数決に用いられる重み
は、図5(b)に示すようにブロックAに近い動きベク
トルほど選ばれ易くなるように設定される。また、動き
ベクトル間の相関が低く十分な多数決を行うことができ
ない場合は、図5(c)に示すように動きベクトルの候
補を増やして(最大14通り)、多数決をとり直す。
【0007】この方法に代表されるような、既復号フレ
ームの画像信号を用いた置き換えによるセル廃棄補償法
は、フレーム間の相関およびフレーム内の動きの相関が
高い画像については非常に有効である。反面、この方法
ではセル廃棄により復号不可能なブロックが生じた場
合、常に既復号フレームの画像信号による置き換えを行
うので、フレーム間の相関またはフレーム内の動きの相
関が低い画像については適切なセル廃棄補償を行うこと
ができないという問題点がある。
ームの画像信号を用いた置き換えによるセル廃棄補償法
は、フレーム間の相関およびフレーム内の動きの相関が
高い画像については非常に有効である。反面、この方法
ではセル廃棄により復号不可能なブロックが生じた場
合、常に既復号フレームの画像信号による置き換えを行
うので、フレーム間の相関またはフレーム内の動きの相
関が低い画像については適切なセル廃棄補償を行うこと
ができないという問題点がある。
【0008】フレーム間の相関が低い場合とは、例えば
シーンチェンジの時である。シーンチェンジの前後のフ
レーム間の相関は非常に低いので、単純な既復号フレー
ムの画像信号による置き換えではセル廃棄補償として全
く意味をなさない。フレーム内の動きの相関が低い場合
とは、動きの大きさが非常に大きいために符号化装置で
動き補償が十分に効かない場合が挙げられる。このよう
な場合、送信側から送られてくる動きベクトルは実際の
被写体の動きに対応したものとならず、大きくばらつい
ている。
シーンチェンジの時である。シーンチェンジの前後のフ
レーム間の相関は非常に低いので、単純な既復号フレー
ムの画像信号による置き換えではセル廃棄補償として全
く意味をなさない。フレーム内の動きの相関が低い場合
とは、動きの大きさが非常に大きいために符号化装置で
動き補償が十分に効かない場合が挙げられる。このよう
な場合、送信側から送られてくる動きベクトルは実際の
被写体の動きに対応したものとならず、大きくばらつい
ている。
【0009】また、このようにフレーム間の相関または
フレーム内の動きの相関が低い場合に、既復号フレーム
の画像信号による単純な置き換えにより一度誤った置き
換えがなされると、その後のフレーム間予測により誤り
が伝搬してしまうために、復号画像の画質が大きく劣化
するという問題点もある。
フレーム内の動きの相関が低い場合に、既復号フレーム
の画像信号による単純な置き換えにより一度誤った置き
換えがなされると、その後のフレーム間予測により誤り
が伝搬してしまうために、復号画像の画質が大きく劣化
するという問題点もある。
【0010】ところで、動き補償予測符号化を用いた動
画像伝送システムでは、送信側の動画像符号化装置にお
いて、「画像情報圧縮」(原島博監修・オーム社・19
91年)付録3に記載されているような、動き補償予測
に変換符号化を組み合わせたハイブリッド方式が多く用
いられる。これは入力動画像信号と、既に符号化された
信号を局部復号して得られた画像信号を参照フレームと
して動き補償を行って得られた予測画像信号との差分で
ある予測誤差信号にDCTなどの直交変換を施し、得ら
れた変換係数を量子化することによって空間方向の冗長
度を削減するものである。この場合、符号化データとし
ては量子化された変換係数と、動き補償に用いた動きベ
クトルおよび予測モードなどを示すサイド情報が伝送さ
れる。
画像伝送システムでは、送信側の動画像符号化装置にお
いて、「画像情報圧縮」(原島博監修・オーム社・19
91年)付録3に記載されているような、動き補償予測
に変換符号化を組み合わせたハイブリッド方式が多く用
いられる。これは入力動画像信号と、既に符号化された
信号を局部復号して得られた画像信号を参照フレームと
して動き補償を行って得られた予測画像信号との差分で
ある予測誤差信号にDCTなどの直交変換を施し、得ら
れた変換係数を量子化することによって空間方向の冗長
度を削減するものである。この場合、符号化データとし
ては量子化された変換係数と、動き補償に用いた動きベ
クトルおよび予測モードなどを示すサイド情報が伝送さ
れる。
【0011】受信側の動画像復号化装置では、受信した
動きベクトルと参照フレームの画像信号とから予測画像
信号を作り、その予測画像信号に、受信した変換係数を
逆量子化、逆直交変換して得られる予測誤信号差を加え
て元の画像信号を再生する。動きベクトルは例えば文献
「TV画像の多次元信号処理」(吹抜敬彦著、日刊工業
新聞社、1989年発行)6.3節にあるマッチング法
などで検出される。
動きベクトルと参照フレームの画像信号とから予測画像
信号を作り、その予測画像信号に、受信した変換係数を
逆量子化、逆直交変換して得られる予測誤信号差を加え
て元の画像信号を再生する。動きベクトルは例えば文献
「TV画像の多次元信号処理」(吹抜敬彦著、日刊工業
新聞社、1989年発行)6.3節にあるマッチング法
などで検出される。
【0012】ここで、前述したようなセル廃棄により符
号化データの一部が失われると、この符号化データに含
まれていた特定のブロックの動きベクトルが失われるた
め、受信側で予測画像信号を作成できなくなる。このよ
うな場合、従来では失われた動きベクトルについてはゼ
ロベクトルとする方法がとられている。しかし、この方
法では動きのあるブロックについても動きがないとみな
して予測を行うことになるため、復号画像に動きベクト
ルが失われたブロックと動きベクトルが正しく検出され
たブロックとの差が顕著に現れてブロック状の歪が生
じ、画質を大きく劣化させる。
号化データの一部が失われると、この符号化データに含
まれていた特定のブロックの動きベクトルが失われるた
め、受信側で予測画像信号を作成できなくなる。このよ
うな場合、従来では失われた動きベクトルについてはゼ
ロベクトルとする方法がとられている。しかし、この方
法では動きのあるブロックについても動きがないとみな
して予測を行うことになるため、復号画像に動きベクト
ルが失われたブロックと動きベクトルが正しく検出され
たブロックとの差が顕著に現れてブロック状の歪が生
じ、画質を大きく劣化させる。
【0013】この問題を避けるため、受信側の動画像復
号化装置において、動きベクトルは空間的に滑らかに分
布しているという仮定で、周囲の複数ブロックの動きベ
クトルの平均値を該当ブロックの動きベクトルとして用
いる方法が提案されている。しかし、送信側の動画像符
号化装置から出力される動きベクトルの中には、周囲と
全く異なる向きと大きさのものが存在する。特に、動き
が激しかったり、参照フレーム内には存在しなかった物
体が急に現れたりした時、あるいは前述のシーンチェン
ジ時には、動きベクトルのばらつきが大きくなる。この
ような動きベクトルがセル廃棄等により通信路で失われ
た場合、動画像復号化装置において前述のように周囲の
ブロックの動きベクトルから補間する方法では的確な動
きベクトルを求めることは困難であり、復号画像の画質
向上は望めない。
号化装置において、動きベクトルは空間的に滑らかに分
布しているという仮定で、周囲の複数ブロックの動きベ
クトルの平均値を該当ブロックの動きベクトルとして用
いる方法が提案されている。しかし、送信側の動画像符
号化装置から出力される動きベクトルの中には、周囲と
全く異なる向きと大きさのものが存在する。特に、動き
が激しかったり、参照フレーム内には存在しなかった物
体が急に現れたりした時、あるいは前述のシーンチェン
ジ時には、動きベクトルのばらつきが大きくなる。この
ような動きベクトルがセル廃棄等により通信路で失われ
た場合、動画像復号化装置において前述のように周囲の
ブロックの動きベクトルから補間する方法では的確な動
きベクトルを求めることは困難であり、復号画像の画質
向上は望めない。
【0014】一方、動画像伝送システムの受信側におけ
る他のセル廃棄補償技術として、セル廃棄によって符号
化データが失われ正しく復号できない部分を周辺の正し
く復号された画像信号を用いて補間するなどにより修正
する方法も考えられている。しかし、この方法では失わ
れたデータが完全に修復されることはなく、該当する部
分が他の正しくデータが伝送されてきた部分に比べてぼ
けているといった解像度の違いが視覚的に検知された
り、あるいは他の部分との連続性が悪くブロック歪みの
ような違和感が生じるなど、復号画像の画質面でおおい
に問題がある。
る他のセル廃棄補償技術として、セル廃棄によって符号
化データが失われ正しく復号できない部分を周辺の正し
く復号された画像信号を用いて補間するなどにより修正
する方法も考えられている。しかし、この方法では失わ
れたデータが完全に修復されることはなく、該当する部
分が他の正しくデータが伝送されてきた部分に比べてぼ
けているといった解像度の違いが視覚的に検知された
り、あるいは他の部分との連続性が悪くブロック歪みの
ような違和感が生じるなど、復号画像の画質面でおおい
に問題がある。
【0015】
【発明が解決しようとする課題】上述したように、動画
像信号の符号化データをATM網のセルのようなパケッ
トの形で伝送する動画像伝送システムにおいて従来考え
られているパケット廃棄補償技術は、いずれも画像の性
質によっては的確なパケット廃棄補償を行うことができ
ない場合があり、パケット廃棄によって復号画像の画質
が劣化するという問題があった。
像信号の符号化データをATM網のセルのようなパケッ
トの形で伝送する動画像伝送システムにおいて従来考え
られているパケット廃棄補償技術は、いずれも画像の性
質によっては的確なパケット廃棄補償を行うことができ
ない場合があり、パケット廃棄によって復号画像の画質
が劣化するという問題があった。
【0016】本発明の目的は、画像の性質に応じた適切
なパケット廃棄補償を行うことが可能であり、復号画像
の画質を向上させることができる動画像伝送システムを
提供することにある。
なパケット廃棄補償を行うことが可能であり、復号画像
の画質を向上させることができる動画像伝送システムを
提供することにある。
【0017】
【課題を解決するための手段】上記の目的を達成するた
め、第1の発明では受信したパケットの廃棄が検出され
たときパケットの廃棄により復号不可能となるブロック
を識別し、このブロックに対して既復号フレームの画像
信号からなる第1の置き換え信号候補と、該ブロックの
属するフレーム内の信号を用いた空間内挿信号からなる
第2の置き換え信号候補を作成する。そして、これら第
1の置き換え信号候補と復号不可能と識別されたブロッ
クの周囲の画像信号との類似性を判定する第1の判定手
段と、既復号フレーム中の第1の置き換え信号候補の元
となる画像信号が第1および第2の置き換え信号候補の
いずれかにより置き換えられた信号であるか否かを判定
する第2の判定手段の判定結果に基づいて、復号不可能
と識別されたブロックの画像信号が第1および第2の置
き換え信号候補のいずれかに置き換えられる。
め、第1の発明では受信したパケットの廃棄が検出され
たときパケットの廃棄により復号不可能となるブロック
を識別し、このブロックに対して既復号フレームの画像
信号からなる第1の置き換え信号候補と、該ブロックの
属するフレーム内の信号を用いた空間内挿信号からなる
第2の置き換え信号候補を作成する。そして、これら第
1の置き換え信号候補と復号不可能と識別されたブロッ
クの周囲の画像信号との類似性を判定する第1の判定手
段と、既復号フレーム中の第1の置き換え信号候補の元
となる画像信号が第1および第2の置き換え信号候補の
いずれかにより置き換えられた信号であるか否かを判定
する第2の判定手段の判定結果に基づいて、復号不可能
と識別されたブロックの画像信号が第1および第2の置
き換え信号候補のいずれかに置き換えられる。
【0018】第2の発明では、動画像信号をブロック単
位で動き補償予測符号化し、その符号化データをパケッ
ト化して伝送するような動画像送信装置における動きベ
クトル検出装置において、入力される動画像信号の符号
化対象ブロックと、この符号化対象ブロックに対して時
間的に異なるフレームの画像信号から抽出された相関の
高い部分である参照ブロックとの間の動きベクトルを求
める第1の動きベクトル検出手段とは別に、符号化対象
ブロックの周囲の少なくとも一つのブロックと参照ブロ
ックとの間の動きベクトルまたは該動きベクトルに演算
処理を施した動きベクトルを求める第2の動きベクトル
検出手段を有し、これら第1および第2の動きベクトル
検出手段によりそれぞれ検出された動きベクトルのいず
れか一方を符号化対象ブロックと参照ブロックとの相関
に基づいて選択して出力する構成とする。
位で動き補償予測符号化し、その符号化データをパケッ
ト化して伝送するような動画像送信装置における動きベ
クトル検出装置において、入力される動画像信号の符号
化対象ブロックと、この符号化対象ブロックに対して時
間的に異なるフレームの画像信号から抽出された相関の
高い部分である参照ブロックとの間の動きベクトルを求
める第1の動きベクトル検出手段とは別に、符号化対象
ブロックの周囲の少なくとも一つのブロックと参照ブロ
ックとの間の動きベクトルまたは該動きベクトルに演算
処理を施した動きベクトルを求める第2の動きベクトル
検出手段を有し、これら第1および第2の動きベクトル
検出手段によりそれぞれ検出された動きベクトルのいず
れか一方を符号化対象ブロックと参照ブロックとの相関
に基づいて選択して出力する構成とする。
【0019】第3の発明では、受信したパケットの廃棄
を検出したとき、そのパケットの廃棄により復号不可能
となるブロックを含む画面の画像信号または該画面の該
ブロックを含む一部の画像信号を他の画像信号に置き換
える置き換え手段を有することを特徴とする。
を検出したとき、そのパケットの廃棄により復号不可能
となるブロックを含む画面の画像信号または該画面の該
ブロックを含む一部の画像信号を他の画像信号に置き換
える置き換え手段を有することを特徴とする。
【0020】
【作用】第1の発明においては、パケット廃棄が検出さ
れた場合、既復号フレームの画像信号からなる第1の置
き換え信号候補、またはパケット廃棄により復号不可能
となるブロックの属するフレーム内の画像信号を用いた
空間内挿信号からなる第2の置き換え信号候補が選択さ
れる。第2の置き換え信号候補としては、例えば復号不
可能なブロックに隣接する復号可能なブロックで用いら
れた動き補償予測方法をコンシールメントに用いる動き
補償予測の候補として設定し、その中から最適な候補を
選ぶことによりフレーム間の置き換え信号候補が作成さ
れる。
れた場合、既復号フレームの画像信号からなる第1の置
き換え信号候補、またはパケット廃棄により復号不可能
となるブロックの属するフレーム内の画像信号を用いた
空間内挿信号からなる第2の置き換え信号候補が選択さ
れる。第2の置き換え信号候補としては、例えば復号不
可能なブロックに隣接する復号可能なブロックで用いら
れた動き補償予測方法をコンシールメントに用いる動き
補償予測の候補として設定し、その中から最適な候補を
選ぶことによりフレーム間の置き換え信号候補が作成さ
れる。
【0021】そして、第1の置き換え信号候補が復号不
可能なブロックの周囲の画像信号との類似性が高く適切
である場合には、この置き換え信号候補で復号不可能な
ブロックの画像信号の置き換えが行われ、適切でない場
合にはフレーム内での空間内挿信号である第2の置き換
え信号候補により復号不可能なブロックの画像信号の置
き換えが行われる。このようにすることで、常に適切な
置き換え信号が得られる。
可能なブロックの周囲の画像信号との類似性が高く適切
である場合には、この置き換え信号候補で復号不可能な
ブロックの画像信号の置き換えが行われ、適切でない場
合にはフレーム内での空間内挿信号である第2の置き換
え信号候補により復号不可能なブロックの画像信号の置
き換えが行われる。このようにすることで、常に適切な
置き換え信号が得られる。
【0022】さらに、既復号フレーム中の第1の置き換
え信号候補の元となる画像信号が既に置き換えられた信
号である場合には、無条件に通常の復号画像信号の替わ
りに第2の置き換え信号候補を復号画像信号として選択
することにより、誤った置き換え信号が複数のフレーム
にわたって伝搬することを防止できる。
え信号候補の元となる画像信号が既に置き換えられた信
号である場合には、無条件に通常の復号画像信号の替わ
りに第2の置き換え信号候補を復号画像信号として選択
することにより、誤った置き換え信号が複数のフレーム
にわたって伝搬することを防止できる。
【0023】第2の発明によると、正しい動きベクトル
が検出された場合、つまり符号化対象ブロックと相関の
高い参照ブロックが見つかった場合は、第1の動きベク
トルが出力され、逆に誤った動きが検出された場合、つ
まり相関が低い場合は第2の動きベクトル、例えば周囲
のブロックの動きベクトルの平均値が出力される。
が検出された場合、つまり符号化対象ブロックと相関の
高い参照ブロックが見つかった場合は、第1の動きベク
トルが出力され、逆に誤った動きが検出された場合、つ
まり相関が低い場合は第2の動きベクトル、例えば周囲
のブロックの動きベクトルの平均値が出力される。
【0024】従って、誤った動きベクトルが正しい動き
ベクトルに混在することによる動きベクトルのばらつき
が小さくなり、動画像復号化装置側でパケット廃棄など
により動きベクトルが欠落した時に周囲のブロックから
補間して得られる動きベクトルの信頼性が高まることに
よって、復号画像の画質が向上する。
ベクトルに混在することによる動きベクトルのばらつき
が小さくなり、動画像復号化装置側でパケット廃棄など
により動きベクトルが欠落した時に周囲のブロックから
補間して得られる動きベクトルの信頼性が高まることに
よって、復号画像の画質が向上する。
【0025】第3の発明では、パケット廃棄によって完
全には再生することが出来ない画面があったとしても、
修正したことが検知されないような別の画像の画面で置
き換えることにより、ユーザに対して違和感のない画面
をモニタ上に表示することが可能となる。
全には再生することが出来ない画面があったとしても、
修正したことが検知されないような別の画像の画面で置
き換えることにより、ユーザに対して違和感のない画面
をモニタ上に表示することが可能となる。
【0026】
【実施例】以下、図面を参照して本発明の実施例を説明
する。 (実施例1)図1は、本発明の第1の実施例に係る動画
像伝送システムにおける動画像受信装置の構成を示すブ
ロック図である。図1において、受信パケット10は例
えばATM網を介して伝送されてきたセルであり、図示
しない動画像送信装置において動画像信号を先に述べた
動き補償予測+DCT(離散コサイン変換)のハイブリ
ッド方式により符号化し、符号化データをパケット化し
たものである。ATMの場合、符号化データはセルのペ
イロード部に収容される。なお、最終的な符号化データ
は可変長符号化されているものとする。
する。 (実施例1)図1は、本発明の第1の実施例に係る動画
像伝送システムにおける動画像受信装置の構成を示すブ
ロック図である。図1において、受信パケット10は例
えばATM網を介して伝送されてきたセルであり、図示
しない動画像送信装置において動画像信号を先に述べた
動き補償予測+DCT(離散コサイン変換)のハイブリ
ッド方式により符号化し、符号化データをパケット化し
たものである。ATMの場合、符号化データはセルのペ
イロード部に収容される。なお、最終的な符号化データ
は可変長符号化されているものとする。
【0027】受信パケット10はパケット分解回路11
により分解され、ペイロード部の符号化データ(ビット
ストリーム)12が取り出される。パケット分解回路1
1は符号化データに付加されているパケット廃棄識別情
報からパケット廃棄を検出する機能も有し、パケット廃
棄を検出するとパケット廃棄検出信号13をアドレス発
生器26およびセレクタ30へ出力する。
により分解され、ペイロード部の符号化データ(ビット
ストリーム)12が取り出される。パケット分解回路1
1は符号化データに付加されているパケット廃棄識別情
報からパケット廃棄を検出する機能も有し、パケット廃
棄を検出するとパケット廃棄検出信号13をアドレス発
生器26およびセレクタ30へ出力する。
【0028】パケット分解回路11から取り出された符
号化データ12は、デマルチプレクサ・可変長復号化回
路14に入力される。デマルチプレクサ・可変長復号化
回路14では、入力された符号化データ12からDCT
係数15、同期信号16、動きベクトル17、および予
測モードなどを示すサイド情報18を分離して復号す
る。これらの各情報のうち、DCT係数15の情報は逆
量子化回路19および逆DCT(IDCT)回路20を
経て加算器21に入力される。同期信号16は、アドレ
ス発生器26に入力される。動きベクトル17およびサ
イド情報18は、動き補償予測回路23とコンシールメ
ント回路27に入力される。サイド情報18は、さらに
アドレス発生器26にも入力される。
号化データ12は、デマルチプレクサ・可変長復号化回
路14に入力される。デマルチプレクサ・可変長復号化
回路14では、入力された符号化データ12からDCT
係数15、同期信号16、動きベクトル17、および予
測モードなどを示すサイド情報18を分離して復号す
る。これらの各情報のうち、DCT係数15の情報は逆
量子化回路19および逆DCT(IDCT)回路20を
経て加算器21に入力される。同期信号16は、アドレ
ス発生器26に入力される。動きベクトル17およびサ
イド情報18は、動き補償予測回路23とコンシールメ
ント回路27に入力される。サイド情報18は、さらに
アドレス発生器26にも入力される。
【0029】動き補償予測回路23では、ブロック毎に
サイド情報18で示される予測モードに合わせてフレー
ムメモリ24から参照画像信号25を読み込み、この参
照画像信号25に対して動きベクトル補償予測を行って
予測画像信号22を作成し、加算器21に供給する。但
し、フレーム内予測符号化モードのブロックでは、予測
画像信号22の値は0とする。加算器21は、逆DCT
回路20からの予測誤差信号と動き補償予測回路23か
らの予測画像信号22の値を加算して復号画像信号を作
成し、セレクタ30に供給する。
サイド情報18で示される予測モードに合わせてフレー
ムメモリ24から参照画像信号25を読み込み、この参
照画像信号25に対して動きベクトル補償予測を行って
予測画像信号22を作成し、加算器21に供給する。但
し、フレーム内予測符号化モードのブロックでは、予測
画像信号22の値は0とする。加算器21は、逆DCT
回路20からの予測誤差信号と動き補償予測回路23か
らの予測画像信号22の値を加算して復号画像信号を作
成し、セレクタ30に供給する。
【0030】アドレス発生器26は、パケット分解回路
11から供給されるパケット廃棄検出信号13と、デマ
ルチプレクサ・可変長復号化回路14から供給される同
期信号16とから、受信パケット10から取り出された
符号化データ12から復号不可能となるブロックを識別
し、復号不可能なブロックについては復号不可能識別情
報をコンシールメント回路27と置き換えアドレスメモ
リ28に供給する。
11から供給されるパケット廃棄検出信号13と、デマ
ルチプレクサ・可変長復号化回路14から供給される同
期信号16とから、受信パケット10から取り出された
符号化データ12から復号不可能となるブロックを識別
し、復号不可能なブロックについては復号不可能識別情
報をコンシールメント回路27と置き換えアドレスメモ
リ28に供給する。
【0031】置き換えアドレスメモリ28は、アドレス
発生器26から復号不可能なブロックについての復号不
可能識別情報を受け、セレクタ31から出力される復号
画像信号31における各ブロック位置の画像信号が復号
不可能であったため置き換えられた画像信号であるか否
かを示す情報を各ブロック位置毎に蓄えている。
発生器26から復号不可能なブロックについての復号不
可能識別情報を受け、セレクタ31から出力される復号
画像信号31における各ブロック位置の画像信号が復号
不可能であったため置き換えられた画像信号であるか否
かを示す情報を各ブロック位置毎に蓄えている。
【0032】コンシールメント回路27は、復号不可能
と識別されたブロックについて、フレームメモリ24に
蓄えられている既復号フレームの画像信号からなる第1
の置き換え信号候補と、同じくフレームメモリ24に蓄
えられている現在復号中のフレーム(復号不可能と識別
されたブロックが属するフレーム)内の画像信号を用い
た空間内挿信号からなる第2の置き換え信号候補を後述
する方法によって作成すると共に、置き換えられるブロ
ックの周囲の画像信号をフレームメモリ24から取り出
して出力する。コンシールメント回路27から出力され
る第1および第2の置き換え信号候補はセレクタ30
に、またこれらに加えて置き換えられるブロックの周囲
の画像信号がフレーム間・フレーム内置き換え判定回路
29に送られる。
と識別されたブロックについて、フレームメモリ24に
蓄えられている既復号フレームの画像信号からなる第1
の置き換え信号候補と、同じくフレームメモリ24に蓄
えられている現在復号中のフレーム(復号不可能と識別
されたブロックが属するフレーム)内の画像信号を用い
た空間内挿信号からなる第2の置き換え信号候補を後述
する方法によって作成すると共に、置き換えられるブロ
ックの周囲の画像信号をフレームメモリ24から取り出
して出力する。コンシールメント回路27から出力され
る第1および第2の置き換え信号候補はセレクタ30
に、またこれらに加えて置き換えられるブロックの周囲
の画像信号がフレーム間・フレーム内置き換え判定回路
29に送られる。
【0033】フレーム間・フレーム内置き換え判定回路
29は、セレクタ30がコンシールメント回路27で作
成された第1および第2の置き換え信号のいずれを選択
するかの判定を行う回路であり、第1の判定としてコン
シールメント回路27からの第1および第2の置き換え
信号候補と、置き換えられるブロックの周囲の画像信号
との類似度を計算する。類似度の指標としては、例えば
ブロックのアクティビティや、ブロック境界の連続性な
どを利用することができる。そして、フレーム間・フレ
ーム内置き換え判定回路29は、上記判定の結果、第1
および第2の置き換え信号候補のうち周囲の画像信号と
の類似度が近い方の信号がセレクタ30で選択されるよ
うに、セレクタ30に対して選択制御信号を送出する。
なお、フレーム間・フレーム内置き換え判定回路29
は、既復号フレームの画像信号による第1の置き換え信
号候補と周囲のブロックの画像信号との類似度が、ある
予め定められたしきい値より高いか低いかによってセレ
クタ30が選択を行うように、選択制御信号を送出する
構成であってもよい。
29は、セレクタ30がコンシールメント回路27で作
成された第1および第2の置き換え信号のいずれを選択
するかの判定を行う回路であり、第1の判定としてコン
シールメント回路27からの第1および第2の置き換え
信号候補と、置き換えられるブロックの周囲の画像信号
との類似度を計算する。類似度の指標としては、例えば
ブロックのアクティビティや、ブロック境界の連続性な
どを利用することができる。そして、フレーム間・フレ
ーム内置き換え判定回路29は、上記判定の結果、第1
および第2の置き換え信号候補のうち周囲の画像信号と
の類似度が近い方の信号がセレクタ30で選択されるよ
うに、セレクタ30に対して選択制御信号を送出する。
なお、フレーム間・フレーム内置き換え判定回路29
は、既復号フレームの画像信号による第1の置き換え信
号候補と周囲のブロックの画像信号との類似度が、ある
予め定められたしきい値より高いか低いかによってセレ
クタ30が選択を行うように、選択制御信号を送出する
構成であってもよい。
【0034】さらに、フレーム間・フレーム内置き換え
判定回路29は、第1の置き換え信号候補を作成する際
に参照した既フレーム中の画像信号の画素位置について
置き換えアドレスメモリ28を参照し、第1および第2
の置き換え信号候補により置き換えられている画素位置
については、無条件に第2の置き換え信号候補がセレク
タ30で選択されるように選択制御信号を送出する。置
き換えアドレスメモリ28は、現在復号中の符号化デー
タ12のブロックがフレーム内符号化されていることを
アドレス発生器26がサイド情報18に基づいて検出し
たとき、そのブロック位置については、そのブロック位
置の画像信号が置き換えられている画像信号であるか否
かを示す情報はリセットされる。
判定回路29は、第1の置き換え信号候補を作成する際
に参照した既フレーム中の画像信号の画素位置について
置き換えアドレスメモリ28を参照し、第1および第2
の置き換え信号候補により置き換えられている画素位置
については、無条件に第2の置き換え信号候補がセレク
タ30で選択されるように選択制御信号を送出する。置
き換えアドレスメモリ28は、現在復号中の符号化デー
タ12のブロックがフレーム内符号化されていることを
アドレス発生器26がサイド情報18に基づいて検出し
たとき、そのブロック位置については、そのブロック位
置の画像信号が置き換えられている画像信号であるか否
かを示す情報はリセットされる。
【0035】また、パケット分解回路11でパケット廃
棄検出信号13が出力されない通常の動作時には、セレ
クタ30は加算器21からの通常の復号画像信号を選択
して出力する。セレクタ30より出力された画像信号3
1は、フレームメモリ24に復号画像信号として書き込
まれる。
棄検出信号13が出力されない通常の動作時には、セレ
クタ30は加算器21からの通常の復号画像信号を選択
して出力する。セレクタ30より出力された画像信号3
1は、フレームメモリ24に復号画像信号として書き込
まれる。
【0036】次に、図2および図3を用いて図1のコン
シールメント回路27の動作を説明する。図2に示すコ
ンシールメント回路27の構成は、既復号フレームの画
像信号による第1の置き換え信号候補を作成する系列
(b)と、同じくフレームメモリ24に蓄えられた現在
復号中のフレームの画像信号を用いた空間内挿による第
2の置き換え信号候補を作成する系列(a)の2系列よ
りなる。
シールメント回路27の動作を説明する。図2に示すコ
ンシールメント回路27の構成は、既復号フレームの画
像信号による第1の置き換え信号候補を作成する系列
(b)と、同じくフレームメモリ24に蓄えられた現在
復号中のフレームの画像信号を用いた空間内挿による第
2の置き換え信号候補を作成する系列(a)の2系列よ
りなる。
【0037】まず、図2(b)の系列につき説明する。
この図2(b)の系列では、まずパケット廃棄により復
号不可能となるブロック(図3(a)のX)に隣接する
復号可能なブロック(図3(a)のA〜H)で用いられ
ている動き補償予測方法(前方予測、後方予測等の予測
モードと、用いられる動きベクトル)をコンシールメン
トに用いる動き補償予測方法の候補として設定する。次
に、ブロックXの上下に隣接するブロックBとブロック
Gを組として、各動き補償予測方法の候補を適用したブ
ロックBとブロックGの動き補償予測誤差の評価値を計
算し、この誤差評価値が最も小さくなる動き補償予測方
法を選択して、この動き補償予測方法を用いてブロック
Xをコンシールメントする様な信号を作成する。
この図2(b)の系列では、まずパケット廃棄により復
号不可能となるブロック(図3(a)のX)に隣接する
復号可能なブロック(図3(a)のA〜H)で用いられ
ている動き補償予測方法(前方予測、後方予測等の予測
モードと、用いられる動きベクトル)をコンシールメン
トに用いる動き補償予測方法の候補として設定する。次
に、ブロックXの上下に隣接するブロックBとブロック
Gを組として、各動き補償予測方法の候補を適用したブ
ロックBとブロックGの動き補償予測誤差の評価値を計
算し、この誤差評価値が最も小さくなる動き補償予測方
法を選択して、この動き補償予測方法を用いてブロック
Xをコンシールメントする様な信号を作成する。
【0038】図2(b)において、動き補償情報メモリ
43は図3(a)(b)に示されるブロックA〜Hに対
して動き補償情報、すなわちデマルチプレクサ・可変長
復号化回路14からの動きベクトル17の値と、サイド
情報18で示される動き補償予測モード、およびアドレ
ス発生器26から供給される復号不可能識別情報を蓄
え、これらを動き補償予測回路47に供給する。一方、
画像メモリ45には図3(a)のブロックXをコンシー
ルメントする際に、ブロックXの周囲の図3(a)のハ
ッチングで示すブロックA〜Hの画像信号が蓄えられ
る。但し、アドレス発生器26から供給される復号不可
能識別情報によって復号不可能とされたブロックについ
ては、画像メモリ45に画像信号の代わりにダミーデー
タを蓄えておく。
43は図3(a)(b)に示されるブロックA〜Hに対
して動き補償情報、すなわちデマルチプレクサ・可変長
復号化回路14からの動きベクトル17の値と、サイド
情報18で示される動き補償予測モード、およびアドレ
ス発生器26から供給される復号不可能識別情報を蓄
え、これらを動き補償予測回路47に供給する。一方、
画像メモリ45には図3(a)のブロックXをコンシー
ルメントする際に、ブロックXの周囲の図3(a)のハ
ッチングで示すブロックA〜Hの画像信号が蓄えられ
る。但し、アドレス発生器26から供給される復号不可
能識別情報によって復号不可能とされたブロックについ
ては、画像メモリ45に画像信号の代わりにダミーデー
タを蓄えておく。
【0039】動き補償予測回路47では、まず動き補償
情報メモリ43に動き補償情報が蓄えられているブロッ
クA〜Hの中で、復号可能でありかつフレーム内符号化
でないブロックの動き補償予測方法を用いて、ブロック
Xの上下に隣接するブロックB,Gに対する動き補償予
測値をフレームメモリ24から読み込んだ参照画像信号
から作成し、誤差評価値計算回路48に供給する。そし
て、動き補償予測回路47は誤差評価値計算回路48で
後述のようにして選択された最適な動き補償予測方法を
用いて、ブロックXの動き補償予測値(コンシールメン
ト画像信号)をフレームメモリ24より読み込んだ参照
画像信号から作成し、第1の置き換え信号候補としてブ
ロックメモリ49に供給する。また、動き補償予測回路
47はブロックBとブロックGが共に復号不可能である
場合には、フレームメモリ24に蓄えられている参照画
像信号内のブロックXと同じ位置にあるブロックの画像
信号を第1の置き換え信号候補としてブロックメモリ4
9に供給する。
情報メモリ43に動き補償情報が蓄えられているブロッ
クA〜Hの中で、復号可能でありかつフレーム内符号化
でないブロックの動き補償予測方法を用いて、ブロック
Xの上下に隣接するブロックB,Gに対する動き補償予
測値をフレームメモリ24から読み込んだ参照画像信号
から作成し、誤差評価値計算回路48に供給する。そし
て、動き補償予測回路47は誤差評価値計算回路48で
後述のようにして選択された最適な動き補償予測方法を
用いて、ブロックXの動き補償予測値(コンシールメン
ト画像信号)をフレームメモリ24より読み込んだ参照
画像信号から作成し、第1の置き換え信号候補としてブ
ロックメモリ49に供給する。また、動き補償予測回路
47はブロックBとブロックGが共に復号不可能である
場合には、フレームメモリ24に蓄えられている参照画
像信号内のブロックXと同じ位置にあるブロックの画像
信号を第1の置き換え信号候補としてブロックメモリ4
9に供給する。
【0040】誤差評価値計算回路48は、ブロックB,
Gの動き補償予測誤差の評価値を計算し、この誤差評価
値が最小となるような最適な動き補償予測方法を選択す
る。具体的には、誤差評価値計算回路48は画像メモリ
45からブロックB,Gの再生画像信号を読み込み、動
き補償予測回路47より供給されるブロックB,Gの予
測値との誤差信号の絶対値和(あるいは2乗和)を誤差
評価値として計算し、この誤差評価値が最も小さくなる
動き補償予測方法を示す予測方法選択情報を動き補償情
報メモリ43に供給する。但し、ブロックBあるいはブ
ロックGの中で、復号不可能なブロックの動き補償予測
誤差は評価しない。
Gの動き補償予測誤差の評価値を計算し、この誤差評価
値が最小となるような最適な動き補償予測方法を選択す
る。具体的には、誤差評価値計算回路48は画像メモリ
45からブロックB,Gの再生画像信号を読み込み、動
き補償予測回路47より供給されるブロックB,Gの予
測値との誤差信号の絶対値和(あるいは2乗和)を誤差
評価値として計算し、この誤差評価値が最も小さくなる
動き補償予測方法を示す予測方法選択情報を動き補償情
報メモリ43に供給する。但し、ブロックBあるいはブ
ロックGの中で、復号不可能なブロックの動き補償予測
誤差は評価しない。
【0041】なお、上記実施例においては誤差評価値計
算回路48は2ブロック分の動き補償予測誤差を評価し
なければならない。しかし、図3(b)に示されるよう
に、例えばブロックAの予測誤差を推定する際にブロッ
クB,Cの値を全て用いる必要はなく、最大8種類の動
き補償予測値の中から1種類の動き補償予測値を選び出
す分には、ブロックAと相関の高い領域の動き補償予測
誤差値を評価すれば十分であり、誤差評価値の計算量も
削減される。例えば、図3(b)のハッチングで示した
領域(ブロックBの下半分とブロックGの上半分)を用
いた場合、1ブロック分の動き補償予測誤差のみを評価
すれば良い。
算回路48は2ブロック分の動き補償予測誤差を評価し
なければならない。しかし、図3(b)に示されるよう
に、例えばブロックAの予測誤差を推定する際にブロッ
クB,Cの値を全て用いる必要はなく、最大8種類の動
き補償予測値の中から1種類の動き補償予測値を選び出
す分には、ブロックAと相関の高い領域の動き補償予測
誤差値を評価すれば十分であり、誤差評価値の計算量も
削減される。例えば、図3(b)のハッチングで示した
領域(ブロックBの下半分とブロックGの上半分)を用
いた場合、1ブロック分の動き補償予測誤差のみを評価
すれば良い。
【0042】次に、図2(a)の系列について説明す
る。同一フレーム内の画像信号を用いた空間内挿の方法
については、例えば注目ブロックの周囲のブロックの直
流成分から補間する方法が、例えば(1) PCSJ(画像
符号化シンポジウム)87、4−1や、(2) PCSJ8
9、2−2などにより提案されている。ここでは、(2)
で提案されている方法を例として取り上げる。
る。同一フレーム内の画像信号を用いた空間内挿の方法
については、例えば注目ブロックの周囲のブロックの直
流成分から補間する方法が、例えば(1) PCSJ(画像
符号化シンポジウム)87、4−1や、(2) PCSJ8
9、2−2などにより提案されている。ここでは、(2)
で提案されている方法を例として取り上げる。
【0043】直流成分計算回路40では、計算に必要な
注目ブロックの周囲のブロックの直流成分を計算する。
次に、重み付け加算回路41でブロック内の画素位置に
応じて各直流成分に対する重み係数が一意に決定され、
この重み係数を用いて重み付け加算が行われる。そし
て、この重み付け加算値が第2の置き換え信号候補とし
てブロックメモリ42の対応画素位置に書き込まれる。
注目ブロックの周囲のブロックの直流成分を計算する。
次に、重み付け加算回路41でブロック内の画素位置に
応じて各直流成分に対する重み係数が一意に決定され、
この重み係数を用いて重み付け加算が行われる。そし
て、この重み付け加算値が第2の置き換え信号候補とし
てブロックメモリ42の対応画素位置に書き込まれる。
【0044】このようにして、図2に示す構成のコンシ
ールメント回路27において第1および第2の置き換え
信号候補がブロックメモリ49,42にそれぞれ蓄えら
れ、かつセレクタ30がこれらの置き換え信号候補のい
ずれを選択するべきかがフレーム間・フレーム内置き換
え判定回路29において判定される。
ールメント回路27において第1および第2の置き換え
信号候補がブロックメモリ49,42にそれぞれ蓄えら
れ、かつセレクタ30がこれらの置き換え信号候補のい
ずれを選択するべきかがフレーム間・フレーム内置き換
え判定回路29において判定される。
【0045】本実施例によると、パケット廃棄により画
素信号の一部が欠落した場合、欠落した画像信号を復号
済みのフレームの画像信号からなる第1の置き換え信号
候補でよい場合には該置き換え信号候補によって置き換
え、この置き換えがふさわしくない場合にはフレーム内
の空間内挿信号である第2の置き換え信号候補により置
き換えることにより、適切にパケット廃棄の影響が補償
される。また、本実施例によると、置き換え後の画像信
号は以降の復号には使用されないので、置き換えによる
影響が時間的に継続するという不都合を生じることもな
い。
素信号の一部が欠落した場合、欠落した画像信号を復号
済みのフレームの画像信号からなる第1の置き換え信号
候補でよい場合には該置き換え信号候補によって置き換
え、この置き換えがふさわしくない場合にはフレーム内
の空間内挿信号である第2の置き換え信号候補により置
き換えることにより、適切にパケット廃棄の影響が補償
される。また、本実施例によると、置き換え後の画像信
号は以降の復号には使用されないので、置き換えによる
影響が時間的に継続するという不都合を生じることもな
い。
【0046】(第2の実施例)次に、第2の発明に係る
動きベクトル検出装置に関する実施例について説明す
る。図6は、送信側の動画像符号化装置に設けられる動
きベクトル検出装置の一実施例の構成を示すブロック図
である。
動きベクトル検出装置に関する実施例について説明す
る。図6は、送信側の動画像符号化装置に設けられる動
きベクトル検出装置の一実施例の構成を示すブロック図
である。
【0047】図6において、入力の動画像信号50はフ
レーム単位で入力され、ブロック化回路51によって所
定の大きさの複数のブロック(符号化対象ブロック)に
分割される。符号化対象ブロックの画像データ52は差
分器53に入力される。
レーム単位で入力され、ブロック化回路51によって所
定の大きさの複数のブロック(符号化対象ブロック)に
分割される。符号化対象ブロックの画像データ52は差
分器53に入力される。
【0048】一方、フレームメモリ54には入力動画像
信号50のフレームと時間的に異なる参照フレームの画
像データが予め保持されている。この参照フレームの画
像データは、例えば既に符号化された画像データを用い
る。
信号50のフレームと時間的に異なる参照フレームの画
像データが予め保持されている。この参照フレームの画
像データは、例えば既に符号化された画像データを用い
る。
【0049】制御回路59は、複数の動きベクトル候補
を記憶しており、その各動きベクトル候補60を順次出
力し、アドレス発生器61に送ることにより、フレーム
メモリ54の読み出しアドレス62を発生させる。この
読み出しアドレス62により指定される参照ブロック候
補データ55がフレームメモリ54から読み出され、差
分器53に入力される。差分器53では符号化対象ブロ
ックの画像データ52と参照ブロック候補データ55と
の差分値56を計算し、誤差演算回路57に送る。
を記憶しており、その各動きベクトル候補60を順次出
力し、アドレス発生器61に送ることにより、フレーム
メモリ54の読み出しアドレス62を発生させる。この
読み出しアドレス62により指定される参照ブロック候
補データ55がフレームメモリ54から読み出され、差
分器53に入力される。差分器53では符号化対象ブロ
ックの画像データ52と参照ブロック候補データ55と
の差分値56を計算し、誤差演算回路57に送る。
【0050】誤差演算回路57では、制御回路59から
動きベクトル候補60が出力される都度、差分値56に
ついて絶対値誤差や2乗誤差など予め決められている方
法で誤差を計算し、誤差信号58を制御回路59へ送
る。そして、誤差演算回路57でそれまでよりも小さい
誤差信号58が出力される度に、制御回路59から出力
される動きベクトル候補60がメモリ63に保持され
る。動きベクトル候補60は予め定められた範囲内で切
り換えられ、その範囲で最小の誤差信号58が得られた
動きベクトル候補60がメモリ63に保持される。そし
て、このメモリ63に保持された動きベクトル候補が符
号化対象ブロックについての第1の動きベクトル65と
して出力される。なお、因みに従来の動きベクトル検出
装置では、メモリ63から出力される動きベクトルが最
終的な動きベクトルとなる。
動きベクトル候補60が出力される都度、差分値56に
ついて絶対値誤差や2乗誤差など予め決められている方
法で誤差を計算し、誤差信号58を制御回路59へ送
る。そして、誤差演算回路57でそれまでよりも小さい
誤差信号58が出力される度に、制御回路59から出力
される動きベクトル候補60がメモリ63に保持され
る。動きベクトル候補60は予め定められた範囲内で切
り換えられ、その範囲で最小の誤差信号58が得られた
動きベクトル候補60がメモリ63に保持される。そし
て、このメモリ63に保持された動きベクトル候補が符
号化対象ブロックについての第1の動きベクトル65と
して出力される。なお、因みに従来の動きベクトル検出
装置では、メモリ63から出力される動きベクトルが最
終的な動きベクトルとなる。
【0051】本発明では、以上のような従来の動きベク
トル検出装置の構成に加えて、セレクタ66、メモリ6
7および平均値演算回路69が追加されている。ここ
で、メモリ66には、既に最終的にセレクタ66から出
力された他の符号化対象ブロックの動きベクトル71が
保持されている。このメモリ67に保持されている動き
ベクトルの中から、現在の符号化対象ブロックに隣接す
るブロックの動きベクトル68の平均値が平均値演算回
路69で演算され、これが第2の動きベクトルとして求
められる。
トル検出装置の構成に加えて、セレクタ66、メモリ6
7および平均値演算回路69が追加されている。ここ
で、メモリ66には、既に最終的にセレクタ66から出
力された他の符号化対象ブロックの動きベクトル71が
保持されている。このメモリ67に保持されている動き
ベクトルの中から、現在の符号化対象ブロックに隣接す
るブロックの動きベクトル68の平均値が平均値演算回
路69で演算され、これが第2の動きベクトルとして求
められる。
【0052】セレクタ66には、メモリ63から出力さ
れる第1の動きベクトル65と、平均値演算回路69か
ら出力される第2の動きベクトル70が入力されてい
る。セレクタ66は制御回路59からの選択制御信号6
4によって制御され、この選択制御信号64に従って第
1および第2の動きベクトル65,73のいずれか一方
を選択して、当該符号化対象ブロックに対する最終的な
動きベクトル71として出力する。
れる第1の動きベクトル65と、平均値演算回路69か
ら出力される第2の動きベクトル70が入力されてい
る。セレクタ66は制御回路59からの選択制御信号6
4によって制御され、この選択制御信号64に従って第
1および第2の動きベクトル65,73のいずれか一方
を選択して、当該符号化対象ブロックに対する最終的な
動きベクトル71として出力する。
【0053】ここで、制御回路59は符号化対象ブロッ
クと参照ブロックとの相関に基づいて選択制御信号64
を出力する。具体的には、例えば誤差演算回路57から
出力される誤差信号58の値が設定値よりも小さい場合
はセレクタ66が第1の動きベクトル65を選択し、大
きい場合はセレクタ66が平均値である第2の動きベク
トル70を選択して出力するように選択制御信号64を
発生する。
クと参照ブロックとの相関に基づいて選択制御信号64
を出力する。具体的には、例えば誤差演算回路57から
出力される誤差信号58の値が設定値よりも小さい場合
はセレクタ66が第1の動きベクトル65を選択し、大
きい場合はセレクタ66が平均値である第2の動きベク
トル70を選択して出力するように選択制御信号64を
発生する。
【0054】この動作を図7を参照して説明する。図7
において、動きベクトルをフレームの左上から右方向に
順に決定していき、右端まで終わったら次の行の左端に
とび移り、また右方向へ処理を進めていく場合、現在の
符号化対象ブロック703までに、既に太線より上方の
ブロックについては動きベクトルが決まっている。この
ような場合、符号化対象ブロック703とその直前のブ
ロック702での動きベクトルの平均値が平均値演算回
路69により計算され、これが第2の動きベクトル70
としてセレクタ66に送られる。
において、動きベクトルをフレームの左上から右方向に
順に決定していき、右端まで終わったら次の行の左端に
とび移り、また右方向へ処理を進めていく場合、現在の
符号化対象ブロック703までに、既に太線より上方の
ブロックについては動きベクトルが決まっている。この
ような場合、符号化対象ブロック703とその直前のブ
ロック702での動きベクトルの平均値が平均値演算回
路69により計算され、これが第2の動きベクトル70
としてセレクタ66に送られる。
【0055】なお、このように平均値演算回路69で計
算した平均値を用いずに、ブロック702での動きベク
トルをそのままセレクタ66に入力してもよい。この場
合は平均値演算回路69は不要であり、メモリ67には
常に1回前に出力した動きベクトル71だけを保持して
おけば良い。ブロック704やブロック705の動きベ
クトルも平均値の計算に入れる場合は、ブロック703
の動きベクトルの決定を保留して先に処理を進め、ブロ
ック704やブロック705の動きベクトルを求めた後
で平均値を計算し、ブロック703の動きベクトルとし
て決定するようにする。同様に、符号化対象ブロック7
03の斜め方向のブロックや、さらに離れたブロックの
動きベトクルを平均の計算に入れても良い。また、平均
値演算は単純平均でなく、符号化対象ブロックに近いブ
ロックの動きベクトルに重みを付ける加重平均でも良い
し、他の特定のブロックの動きベクトルに重みを付けて
も良い。
算した平均値を用いずに、ブロック702での動きベク
トルをそのままセレクタ66に入力してもよい。この場
合は平均値演算回路69は不要であり、メモリ67には
常に1回前に出力した動きベクトル71だけを保持して
おけば良い。ブロック704やブロック705の動きベ
クトルも平均値の計算に入れる場合は、ブロック703
の動きベクトルの決定を保留して先に処理を進め、ブロ
ック704やブロック705の動きベクトルを求めた後
で平均値を計算し、ブロック703の動きベクトルとし
て決定するようにする。同様に、符号化対象ブロック7
03の斜め方向のブロックや、さらに離れたブロックの
動きベトクルを平均の計算に入れても良い。また、平均
値演算は単純平均でなく、符号化対象ブロックに近いブ
ロックの動きベクトルに重みを付ける加重平均でも良い
し、他の特定のブロックの動きベクトルに重みを付けて
も良い。
【0056】このように本実施例によれば、動画像符号
化装置から出力される動きベクトルのばらつきが小さく
なり、復号化装置側でセル廃棄などにより動きベクトル
が欠落した時、周囲のブロックから補間して得られるベ
クトルの信頼性が高まることによって、復号画像の画質
が向上するという効果がある。
化装置から出力される動きベクトルのばらつきが小さく
なり、復号化装置側でセル廃棄などにより動きベクトル
が欠落した時、周囲のブロックから補間して得られるベ
クトルの信頼性が高まることによって、復号画像の画質
が向上するという効果がある。
【0057】(実施例3)図8に、本発明の他の実施例
による動画像伝送システムの構成を示す。図8におい
て、動画像送信装置では入力動画像信号80が減算器8
1に入力され、予測回路86で作成された予測画像信号
との差分(予測誤差)が計算される。この予測誤差信号
は符号化回路82に入力され、例えばDCTおよび量子
化により圧縮符号化が行われる。得られた符号化データ
は、パケット化回路87でパケット化されて伝送路88
に送出されるとともに、局部復号化回路83にも送ら
れ、ここで例えば逆量子化および逆DCTにより予測誤
差が復号される。復号された予測誤差信号は加算器84
で予測回路86からの予測画像信号と加算され、局部復
号画像信号としてフレームメモリ85に格納される。
による動画像伝送システムの構成を示す。図8におい
て、動画像送信装置では入力動画像信号80が減算器8
1に入力され、予測回路86で作成された予測画像信号
との差分(予測誤差)が計算される。この予測誤差信号
は符号化回路82に入力され、例えばDCTおよび量子
化により圧縮符号化が行われる。得られた符号化データ
は、パケット化回路87でパケット化されて伝送路88
に送出されるとともに、局部復号化回路83にも送ら
れ、ここで例えば逆量子化および逆DCTにより予測誤
差が復号される。復号された予測誤差信号は加算器84
で予測回路86からの予測画像信号と加算され、局部復
号画像信号としてフレームメモリ85に格納される。
【0058】一方、動画像受信装置においては、伝送路
88より伝送されてきた受信パケットがパケット分解回
路89により分解され、符号化データが取り出される。
この符号化データは、復号化回路90に入力されて予測
誤差信号が復号され、この予測誤差信号は加算器91で
フレームメモリ92からの予測画像信号と加算されて復
号画像信号となる。この復号画像信号は、再びフレーム
メモリ92に格納される。
88より伝送されてきた受信パケットがパケット分解回
路89により分解され、符号化データが取り出される。
この符号化データは、復号化回路90に入力されて予測
誤差信号が復号され、この予測誤差信号は加算器91で
フレームメモリ92からの予測画像信号と加算されて復
号画像信号となる。この復号画像信号は、再びフレーム
メモリ92に格納される。
【0059】パケット分解回路89は、セル廃棄検出機
能を持っており、具体的にはパケット毎に付加されたパ
ケット番号を随時チェックすることによって、伝送され
てこなかった、つまり途中で廃棄されたパケットを判別
する。パケット分解回路89でパケット廃棄が検出され
たとき出力されるパケット廃棄情報は、修正画像メモリ
93と修正回路94に入力される。修正回路94は、パ
ケット廃棄検出信号に基づいて現在復号中の画面を修正
するか否かの判定を行う。
能を持っており、具体的にはパケット毎に付加されたパ
ケット番号を随時チェックすることによって、伝送され
てこなかった、つまり途中で廃棄されたパケットを判別
する。パケット分解回路89でパケット廃棄が検出され
たとき出力されるパケット廃棄情報は、修正画像メモリ
93と修正回路94に入力される。修正回路94は、パ
ケット廃棄検出信号に基づいて現在復号中の画面を修正
するか否かの判定を行う。
【0060】ここで、修正画像メモリ93は現在復号中
の画像以前に再生された画像信号が格納されており、こ
のメモリ93の内容はパケット廃棄が検出されなかった
画面のみ、その再生画像で書き換えられる。従って、こ
の修正画像メモリ93には現在復号中の画像以前の再生
画像のうち、完全に再生された最も最近の画像が格納さ
れていることになる。また、フレームメモリ92からは
復号が終了した画面がの画像信号が修正回路94にも送
られ、もしその画面内にパケット廃棄による再生不可能
な部分が無いことがセル廃棄検出信号の有無により分か
れば、その画像信号はそのままモニタ95において表示
される。
の画像以前に再生された画像信号が格納されており、こ
のメモリ93の内容はパケット廃棄が検出されなかった
画面のみ、その再生画像で書き換えられる。従って、こ
の修正画像メモリ93には現在復号中の画像以前の再生
画像のうち、完全に再生された最も最近の画像が格納さ
れていることになる。また、フレームメモリ92からは
復号が終了した画面がの画像信号が修正回路94にも送
られ、もしその画面内にパケット廃棄による再生不可能
な部分が無いことがセル廃棄検出信号の有無により分か
れば、その画像信号はそのままモニタ95において表示
される。
【0061】そして、パケット廃棄が起こった場合は、
修正画像メモリ93に格納されている完全に再生された
再生画面の画像信号が修正回路94に送られ、そこで不
完全な現在の再生画像信号と画面全体にわたり交換され
ることにより、完全に再生されている画像信号がモニタ
95で表示される。
修正画像メモリ93に格納されている完全に再生された
再生画面の画像信号が修正回路94に送られ、そこで不
完全な現在の再生画像信号と画面全体にわたり交換され
ることにより、完全に再生されている画像信号がモニタ
95で表示される。
【0062】図9は、修正回路94における画面交換の
様子を示した図である。完全に再生された画面901は
そのまま911としてモニタに表示されるが、画面90
2の部分でパケット廃棄が起こり、この画面が完全には
再生できないとする。この場合、修正画像メモリ93に
格納されているのは完全に再生された画面901であ
り、この画面がそのまま画面902の代わりにこの時間
の画像としてモニタ上に表示される(912)。
様子を示した図である。完全に再生された画面901は
そのまま911としてモニタに表示されるが、画面90
2の部分でパケット廃棄が起こり、この画面が完全には
再生できないとする。この場合、修正画像メモリ93に
格納されているのは完全に再生された画面901であ
り、この画面がそのまま画面902の代わりにこの時間
の画像としてモニタ上に表示される(912)。
【0063】ここで、パケット廃棄があった画面のみ画
面の交換を行ってもよいが、図8のように動画像送信装
置において高能率な圧縮符号化のために予測符号化を導
入している場合、既に復号した画像と次に入力される画
像との相関が高いと考えられるため、その復号画像を次
の画像の予測画像として使用する。従って、もし予測画
像にセル廃棄による不完全な再生部分があったとする
と、送信側での予測画像(送信側での予測画像は伝送す
る以前の状態なので、完全に再生されている)と受信側
での予測画像が異なることになり、それ以降の画像につ
いてもパケット廃棄による影響が伝搬していくことにな
る。このようなパケット廃棄による影響の伝搬は、予測
符号化を行わない画面(フレーム内符号化のようなIN
TRA画面)が伝送されるまで続く可能性があるため、
上述した画面交換をINTRA画面が表示されるまで継
続する。
面の交換を行ってもよいが、図8のように動画像送信装
置において高能率な圧縮符号化のために予測符号化を導
入している場合、既に復号した画像と次に入力される画
像との相関が高いと考えられるため、その復号画像を次
の画像の予測画像として使用する。従って、もし予測画
像にセル廃棄による不完全な再生部分があったとする
と、送信側での予測画像(送信側での予測画像は伝送す
る以前の状態なので、完全に再生されている)と受信側
での予測画像が異なることになり、それ以降の画像につ
いてもパケット廃棄による影響が伝搬していくことにな
る。このようなパケット廃棄による影響の伝搬は、予測
符号化を行わない画面(フレーム内符号化のようなIN
TRA画面)が伝送されるまで続く可能性があるため、
上述した画面交換をINTRA画面が表示されるまで継
続する。
【0064】すなわち、図9において画面902でパケ
ット廃棄が生じたとすると、それに対応した表示画面9
12を画面901で置き換えるとともに、INTRA画
面905が来るまでの表示画面913,914について
も画面901を引き続き使用し、画面915において初
めてINTRA画面905を表示画面として用いる。こ
の場合、修正画像メモリ93の内容が書き換えられるの
は、パケット廃棄が生ずる以前の各画面が再生された後
と、パケット廃棄が生じてから次のINTRA画面が来
たときのみということになる。このようにINTRA画
面で書き換えられた後は、次のパケット廃棄があるまで
各再生画像毎に書き換えが行われる。
ット廃棄が生じたとすると、それに対応した表示画面9
12を画面901で置き換えるとともに、INTRA画
面905が来るまでの表示画面913,914について
も画面901を引き続き使用し、画面915において初
めてINTRA画面905を表示画面として用いる。こ
の場合、修正画像メモリ93の内容が書き換えられるの
は、パケット廃棄が生ずる以前の各画面が再生された後
と、パケット廃棄が生じてから次のINTRA画面が来
たときのみということになる。このようにINTRA画
面で書き換えられた後は、次のパケット廃棄があるまで
各再生画像毎に書き換えが行われる。
【0065】なお、これら交換する画面は完全に再生さ
れた以前の画面に限られるわけではなく、例えばパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を修正画像メモリ9
3に蓄えておいて使用する手法でも良い。
れた以前の画面に限られるわけではなく、例えばパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を修正画像メモリ9
3に蓄えておいて使用する手法でも良い。
【0066】(実施例4)図10は、本発明の別の実施
例における動画像受信装置のブロック図である。図10
において、図8のパケット分解回路89から得られた符
号化データは受信側復号化回路100に入力され、復号
画像信号はフレームメモリ101に格納される。フレー
ムメモリ101は随時書き換えが行われるが、実際に該
フレームメモリ101からモニタ95に画面が転送され
るか否かは、パケット廃棄検出信号によって決定され
る。
例における動画像受信装置のブロック図である。図10
において、図8のパケット分解回路89から得られた符
号化データは受信側復号化回路100に入力され、復号
画像信号はフレームメモリ101に格納される。フレー
ムメモリ101は随時書き換えが行われるが、実際に該
フレームメモリ101からモニタ95に画面が転送され
るか否かは、パケット廃棄検出信号によって決定され
る。
【0067】復号化回路100には表示用メモリ102
が備えられており、表示画面を変更する場合は、まずこ
の表示用メモリ102に画面が転送されて、その後モニ
タ上95に表示される。従って、パケット廃棄が生じた
場合は、表示用メモリ102への画像信号の転送を中止
すれば、モニタ95に表示される画面は表示用メモリ1
02に既に格納されている画像信号の画面、つまり既に
転送されていたパケット廃棄が生じていない画面とな
る。この実施例の場合も、図8の実施例と同様にパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を表示用メモリ10
2に蓄えておき、これらを適応的に切り替えて使用する
手法でも良い。
が備えられており、表示画面を変更する場合は、まずこ
の表示用メモリ102に画面が転送されて、その後モニ
タ上95に表示される。従って、パケット廃棄が生じた
場合は、表示用メモリ102への画像信号の転送を中止
すれば、モニタ95に表示される画面は表示用メモリ1
02に既に格納されている画像信号の画面、つまり既に
転送されていたパケット廃棄が生じていない画面とな
る。この実施例の場合も、図8の実施例と同様にパケッ
ト廃棄があった旨をユーザに知らせるためのメッセージ
画面や、予め用意していた別の画面を表示用メモリ10
2に蓄えておき、これらを適応的に切り替えて使用する
手法でも良い。
【0068】また、上述では表示用メモリ102を復号
化回路100内に設けたが、モニタ95の前段に表示用
メモリ104を設けてもよい。上述した実施例3および
4によれば、パケット廃棄によって完全には再生するこ
とが出来ない画面があったとしても、修正したことが検
知されないような別の画像の画面で置き換えることによ
り、ユーザに対して違和感のない画面をモニタ上に表示
することが可能となる。
化回路100内に設けたが、モニタ95の前段に表示用
メモリ104を設けてもよい。上述した実施例3および
4によれば、パケット廃棄によって完全には再生するこ
とが出来ない画面があったとしても、修正したことが検
知されないような別の画像の画面で置き換えることによ
り、ユーザに対して違和感のない画面をモニタ上に表示
することが可能となる。
【0069】
【発明の効果】以上説明したように、本発明によれば動
画像信号を動き補償予測符号化しパケット化してATM
網などにより伝送する動画像伝送システムにおいて、画
像の性質に応じた適切なパケット廃棄補償を行うことが
可能となり、復号画像の画質向上を図ることができる。
画像信号を動き補償予測符号化しパケット化してATM
網などにより伝送する動画像伝送システムにおいて、画
像の性質に応じた適切なパケット廃棄補償を行うことが
可能となり、復号画像の画質向上を図ることができる。
【図1】本発明の一実施例に係る動画像伝送システムに
おける動画像受信装置の構成を示すブロック図
おける動画像受信装置の構成を示すブロック図
【図2】図1におけるコンシールメント回路の内部構成
を示すブロック図
を示すブロック図
【図3】同実施例におけるブロック配置の関係を示す図
【図4】従来のパケット廃棄補償の原理を説明するため
の図
の図
【図5】従来の動きベクトル選択法を説明するための図
【図6】本発明の他の実施例に係る動きベクトル検出装
置の構成を示すブロック図
置の構成を示すブロック図
【図7】同実施例における第2の動きベクトルを求める
方法を説明するための符号化対象ブロックと周囲のブロ
ックの関係を示す図
方法を説明するための符号化対象ブロックと周囲のブロ
ックの関係を示す図
【図8】本発明の別の実施例に係る動画像伝送システム
の構成を示すブロック図
の構成を示すブロック図
【図9】同実施例におけるパケット廃棄補償の動作を説
明するための図
明するための図
【図10】本発明のさらに別の実施例における動画像受
信装置の構成を示すブロック図
信装置の構成を示すブロック図
10…入力動画像信号 11…パケッ
ト分解回路 12…符号化データ 13…パケッ
ト廃棄検出信号 14…デマルチプレクサ・可変長復号化回路 15…DCT係数 16…同期信
号 17…動きベクトル 18…サイド
情報 19…逆量子化回路 20…逆DC
T回路 21…加算器 22…予測画
像信号 23…動き補償予測回路 24…フレー
ムメモリ 25…参照画像信号 26…アドレ
ス発生器 27…コンシールメント回路 28…置き換
えアドレスメモリ 29…フレーム間・フレーム内置き換え判定回路 30…セレクタ 31…復号画
像信号 50…入力動画像信号 51…ブロッ
ク化回路 52…符号化対象ブロックの画像データ 53…減算器 54…フレームメモリ 55…参照ブ
ロック候補データ 56…差分値 57…誤差演
算回路 58…誤差信号 59…制御回
路59 60…動きベクトル候補 61…アドレ
ス発生器 62…読み出しアドレス 63…メモリ 64…選択制御信号 65…第1の
動きベクトル 66…セレクタ 67…メモリ 68…隣接ブロックの動きベクトル 69…平均値
演算回路 70…第2の動きベクトル 71…出力動
きベクトル 80…入力動画像信号 81…減算器 82…符号化回路 83…局部復
号化回路 84…加算器 85…フレー
ムメモリ 86…予測回路 87…パケッ
ト化回路 88…伝送路 89…パケッ
ト分解回路 90…復号化回路 91…加算器 92…フレームメモリ 93…修正画
像メモリ 94…修正回路 95…モニタ 100…復号化回路 101…フレ
ームメモリ 102…表示用メモリ 104…表示
用メモリ
ト分解回路 12…符号化データ 13…パケッ
ト廃棄検出信号 14…デマルチプレクサ・可変長復号化回路 15…DCT係数 16…同期信
号 17…動きベクトル 18…サイド
情報 19…逆量子化回路 20…逆DC
T回路 21…加算器 22…予測画
像信号 23…動き補償予測回路 24…フレー
ムメモリ 25…参照画像信号 26…アドレ
ス発生器 27…コンシールメント回路 28…置き換
えアドレスメモリ 29…フレーム間・フレーム内置き換え判定回路 30…セレクタ 31…復号画
像信号 50…入力動画像信号 51…ブロッ
ク化回路 52…符号化対象ブロックの画像データ 53…減算器 54…フレームメモリ 55…参照ブ
ロック候補データ 56…差分値 57…誤差演
算回路 58…誤差信号 59…制御回
路59 60…動きベクトル候補 61…アドレ
ス発生器 62…読み出しアドレス 63…メモリ 64…選択制御信号 65…第1の
動きベクトル 66…セレクタ 67…メモリ 68…隣接ブロックの動きベクトル 69…平均値
演算回路 70…第2の動きベクトル 71…出力動
きベクトル 80…入力動画像信号 81…減算器 82…符号化回路 83…局部復
号化回路 84…加算器 85…フレー
ムメモリ 86…予測回路 87…パケッ
ト化回路 88…伝送路 89…パケッ
ト分解回路 90…復号化回路 91…加算器 92…フレームメモリ 93…修正画
像メモリ 94…修正回路 95…モニタ 100…復号化回路 101…フレ
ームメモリ 102…表示用メモリ 104…表示
用メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 9077−5K H04L 11/20 102 A (72)発明者 三関 公生 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 菊池 義浩 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 井田 孝 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 神庭 進 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 押切 正浩 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 山口 昇 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 中條 健 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 天田 皇 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 宮川 陽子 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 籠嶋 岳彦 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内
Claims (3)
- 【請求項1】動画像信号をブロック単位で動き補償予測
符号化して得られた符号化データをパケット化して伝送
する動画像送信装置と、受信したパケットを分解して得
られた符号化データから元の動画像信号をブロック単位
で復号する動画像受信装置とからなる動画像伝送システ
ムにおいて、 前記動画像受信装置は、 前記受信したパケットの廃棄を検出して検出信号を出力
するパケット廃棄検出手段と、 このパケット廃棄検出手段からの検出信号に基づいてパ
ケットの廃棄により復号不可能となるブロックを識別す
る識別手段と、 前記識別手段により復号不可能と識別されたブロックに
対して、既復号フレームの画像信号からなる第1の置き
換え信号候補と該ブロックの属するフレーム内の信号を
用いた空間内挿信号からなる第2の置き換え信号候補を
作成する置き換え信号候補作成手段と、 前記第1の置き換え信号候補と前記復号不可能と識別さ
れたブロックの周囲の画像信号との類似性を判定する第
1の判定手段と、 前記既復号フレーム中の前記第1の置き換え信号候補の
元となる画像信号が前記第1および第2の置き換え信号
候補のいずれかにより置き換えられた信号であるか否か
を判定する第2の判定手段と、 前記第1および第2の判定手段の判定結果に基づいて前
記復号不可能と識別されたブロックの画像信号を前記第
1および第2の置き換え信号候補のいずれかに置き換え
る置き換え手段とを具備することを特徴とする動画像伝
送システム。 - 【請求項2】フレーム単位で入力される動画像信号のフ
レームを複数の符号化対象ブロックに分割するブロック
化手段と、 このブロック化手段により得られた各符号化対象ブロッ
クに対して時間的に異なるフレームの画像信号から相関
の高い部分を参照ブロックとして抽出する参照ブロック
抽出手段と、 前記符号化対象ブロックと前記参照ブロックとの間の動
きベクトルを求める第1の動きベクトル検出手段と、 前記符号化対象ブロックの周囲の少なくとも一つのブロ
ックと前記参照ブロックとの間の動きベクトルまたは該
動きベクトルに演算処理を施した動きベクトルを求める
第2の動きベクトル検出手段と、 前記第1および第2の動きベクトル検出手段によりそれ
ぞれ検出された動きベクトルのいずれか一方を前記符号
化対象ブロックと前記参照ブロックとの相関に基づいて
選択して出力する選択手段とを具備することを特徴とす
る動きベクトル検出装置。 - 【請求項3】動画像信号をブロック単位で動き補償予測
符号化して得られた符号化データをパケット化して伝送
する動画像送信装置と、受信したパケットを分解して得
られた符号化データから元の動画像信号をブロック単位
で復号する動画像受信装置とからなる動画像伝送システ
ムにおいて、 前記動画像受信装置は、 前記受信したパケットの廃棄を検出するパケット廃棄検
出手段と、 このパケット廃棄検出手段によりパケットの廃棄が検出
されたときパケットの廃棄により復号不可能となるブロ
ックを含む画面の画像信号または該画面の該ブロックを
含む一部の画像信号を他の画像信号に置き換える置き換
え手段とを具備することを特徴とする動画像伝送システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25581693A JPH07111654A (ja) | 1993-10-13 | 1993-10-13 | 動画像伝送システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25581693A JPH07111654A (ja) | 1993-10-13 | 1993-10-13 | 動画像伝送システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07111654A true JPH07111654A (ja) | 1995-04-25 |
Family
ID=17284029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25581693A Pending JPH07111654A (ja) | 1993-10-13 | 1993-10-13 | 動画像伝送システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07111654A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006325095A (ja) * | 2005-05-20 | 2006-11-30 | Mitsubishi Electric Corp | 動画像復号装置 |
WO2008047510A1 (en) * | 2006-10-17 | 2008-04-24 | Panasonic Corporation | Digital data receiver |
US8223842B2 (en) | 2006-05-24 | 2012-07-17 | Panasonic Corporation | Dynamic image decoding device |
JP2015201893A (ja) * | 2015-07-08 | 2015-11-12 | 株式会社Jvcケンウッド | 画像復号装置 |
CN112001854A (zh) * | 2020-07-14 | 2020-11-27 | 浙江大华技术股份有限公司 | 一种编码图像的修复方法及相关***和装置 |
-
1993
- 1993-10-13 JP JP25581693A patent/JPH07111654A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006325095A (ja) * | 2005-05-20 | 2006-11-30 | Mitsubishi Electric Corp | 動画像復号装置 |
JP4485409B2 (ja) * | 2005-05-20 | 2010-06-23 | 三菱電機株式会社 | 動画像復号装置 |
US8223842B2 (en) | 2006-05-24 | 2012-07-17 | Panasonic Corporation | Dynamic image decoding device |
WO2008047510A1 (en) * | 2006-10-17 | 2008-04-24 | Panasonic Corporation | Digital data receiver |
US8369418B2 (en) | 2006-10-17 | 2013-02-05 | Panasonic Corporation | Digital data receiver |
JP2015201893A (ja) * | 2015-07-08 | 2015-11-12 | 株式会社Jvcケンウッド | 画像復号装置 |
CN112001854A (zh) * | 2020-07-14 | 2020-11-27 | 浙江大华技术股份有限公司 | 一种编码图像的修复方法及相关***和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7215712B2 (en) | Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder | |
JP4537583B2 (ja) | 映像信号のエラー隠蔽 | |
KR100296660B1 (ko) | 디코딩비디오신호용에러은페장치 | |
JP3462208B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
US6489996B1 (en) | Moving-picture decoding method and apparatus calculating motion vectors to reduce distortion caused by error propagation | |
JPH09121358A (ja) | 画像符号化及び復号化装置と方法 | |
GB2487253A (en) | Motion compensated image coding using diverse set of a target number of motion predictors | |
JPH0620050A (ja) | 動画像信号の復号化装置と推定動きベクトル算出方法 | |
JP3519441B2 (ja) | 動画像伝送装置 | |
JPH0564177A (ja) | 画像符号化装置 | |
JPH07111654A (ja) | 動画像伝送システム | |
KR100587274B1 (ko) | 엠펙2 압축복원시스템에서의 오류 은폐방법 | |
Girod et al. | Error-resilient coding for H. 263 | |
JPH08154250A (ja) | 動画像符号化装置 | |
JPH1023415A (ja) | 画像符号化復号方法および装置 | |
JPH0775110A (ja) | 画像信号の符号化方法 | |
JPH11341521A (ja) | ステレオ動画像用符号化装置 | |
KR100213290B1 (ko) | 엠팩-2 인트라 프레임의 비트 스트림에서의 에러 검출방법 | |
KR100212543B1 (ko) | 엠팩-2 인트라 프레임의 비트 스트림에서의 에러 검출방법 | |
JPH03162085A (ja) | 画像符号化/復号化装置 | |
KR20000032572A (ko) | 오류 은폐장치 및 방법 | |
JPH10174105A (ja) | 動き判定装置 | |
EP1387587A1 (en) | Image encoder and decoder with error concealment of motion vector losses | |
JP2002354488A (ja) | 動画像伝送装置 | |
JPH089386A (ja) | 動画像信号の復号化装置および動きベクトル算出方法ならびに動きベクトル推定方法 |