JPH11252567A - 画像信号の符号化装置及びその方法と画像信号の復号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】この発明は、動き補償予測を用いて高能率圧縮
符号化処理が施された画像信号を復号化処理し、その復
号化処理した画像信号に動きベクトルを用いた信号処理
を施す際に、動きベクトルを誤って用いることによる画
質の劣化を防止することができるようにした画像信号の
符号化装置及びその方法と画像信号の復号化装置及びそ
の方法を提供することを目的としている。 【解決手段】画像信号に動き補償予測を用いた符号化処
理を施す符号化手段１２と、この符号化手段１２におけ
る動き補償予測に用いた動きベクトルの信頼度を表わす
情報を生成する情報生成手段１３と、この情報生成手段
１３で生成された動きベクトルの信頼度を表わす情報を
符号化手段１２で符号化された画像信号に多重する多重
化手段１４とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル化され
た画像信号に動き補償予測を用いて高能率圧縮符号化処
理を施す画像信号の符号化装置及びその方法と、この高
能率圧縮符号化処理が施された画像信号に復号化処理を
施す画像信号の復号化装置及びその方法とに係り、特に
その復号化処理が施された画像信号に対して動きベクト
ルを用いた信号処理を施すものの改良に関する。

【０００２】

【従来の技術】周知のように、画像信号をデジタル化し
て、伝送系への送出や記録媒体への記録に供するように
した各種のメディア系にあっては、その伝送されるまた
は記録される画像信号の情報量を削減するために、画像
信号に帯域圧縮処理を施すようにしている。そして、現
在では、この帯域圧縮処理技術としても、元の画像信号
をできる限り劣化なく忠実に再現することができるよう
に、様々な高能率圧縮符号化方式の規格が提唱されてい
る。

【０００３】例えば蓄積メディア系にあっては、動画像
信号に高能率圧縮符号化処理を施す方式として、ＭＰＥ
Ｇ（Moving Picture Image Coding Experts Group ）規
格が広く採用されている。そして、このＭＰＥＧ規格で
は、画像信号の時間軸方向の冗長度を低くするための動
き補償予測符号化処理と、画像信号の空間軸方向の冗長
度を低くするための直交変換符号化処理とを組み合わせ
た、高能率圧縮符号化方式が用いられている。

【０００４】すなわち、このＭＰＥＧ規格による高能率
圧縮符号化方式によれば、前後のフレームを比較するこ
とによって検出された物体の動きベクトルに基づいて、
前フレームの画像信号を動き補償してなる予測信号を生
成し、この予測信号と現フレームの画像信号との差分を
予測誤差信号として生成する。そして、この予測誤差信
号を直交変換した変換係数を符号化することによって、
圧縮効率の高い符号化処理を実現することができる。

【０００５】一方、上記のように高能率圧縮符号化処理
が施される画像信号は、一般的にインターレース走査で
あるため、単純に復号化処理を施しただけではラインフ
リッカやペアリング等のインターレース妨害により画質
劣化が発生することになる。このため、従来では、復号
化側において、インターレース走査で抜けた走査線の信
号を補間処理で生成することにより、ノンインターレー
ス走査の画像信号に変換することが行なわれている。

【０００６】ところで、このように高能率圧縮符号化処
理が施されたインターレース走査の画像信号を、復号化
側でノンインターレース走査の画像信号に走査線変換処
理を行なう場合には、その補間信号を生成するために、
画像の動きに応じて特性を変化させる動き適応の信号処
理が必要になる。そこで、従来では、動き補償の走査線
変換処理を行なうために、例えば特開平８−４６９２９
号公報等に示されるような符号化・復号化システムが考
えられている。

【０００７】この符号化・復号化システムは、符号化側
において、動き補償の走査線変換処理にも適した形態の
動きベクトルを抽出する信号処理を行ない、復号化側に
おいて、復号化した動きベクトルから動き補償の走査線
変換処理に適した形態の動きベクトルを選別する信号処
理を行ない、この選別された動きベクトルを用いて動き
補償の走査線変換処理を実行することによって、高品位
・高精細な画像を再現できるようにしている。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の画像信号の符号化・復号化システムにおい
ては、符号化されたストリーム中に含まれる動きベクト
ルが、必ずしも画像の動きに正確に対応しているとは限
らない。このため、復号化された動きベクトルを単純に
正しいものと考えて、復号化側で積極的に利用して走査
線変換処理を実行すると、誤った補間信号が生成されて
しまい画質の劣化を招くという問題が生じることにな
る。

【０００９】すなわち、動きベクトルは、正確でなけれ
ばならないという規定はなく、大抵の場合、移動する物
体の動きそのものを追って生成されるわけではなく、前
後のフレーム同士で似ている物体の位置を探し出して生
成しているだけである。このため、実際には動き補償の
走査線変換処理に適さない動きベクトルを、復号化側で
動き補償の走査線変換処理に適する動きベクトルである
と誤検出してしまうことが多々あり、画質の劣化が生じ
ることになる。

【００１０】また、上記した従来の説明では、動きベク
トルを用いて走査線変換処理を行なう場合に、動きベク
トルが不正確であると誤った補間信号が生成されて画質
の劣化が生じることについて述べたが、これは走査線変
換処理のみに限らず、例えば動きベクトルを利用したフ
レーム数変換処理や３次元ノイズリダクション処理等の
信号処理においても、動きベクトルが不正確であった場
合に、画質の劣化が生じることはもちろんである。

【００１１】そこで、この発明は上記事情を考慮してな
されたもので、画像信号に動き補償予測を用いて高能率
圧縮符号化処理を施す際に、復号化側で復号化処理した
画像信号に動きベクトルを用いた信号処理を施したと
き、動きベクトルを誤って用いることによる画質の劣化
を防止し得るようにした極めて良好な画像信号の符号化
装置及びその方法を提供することを目的とする。

【００１２】また、この発明は、動き補償予測を用いて
高能率圧縮符号化処理が施された画像信号を復号化処理
し、その復号化処理した画像信号に動きベクトルを用い
た信号処理を施したとき、動きベクトルを誤って用いる
ことによる画質の劣化を防止することを可能にした極め
て良好な画像信号の復号化装置及びその方法を提供する
ことを目的とする。

【００１３】

【課題を解決するための手段】この発明に係る画像信号
の符号化装置は、画像信号に動き補償予測を用いた符号
化処理を施す符号化手段と、この符号化手段における動
き補償予測に用いた動きベクトルの信頼度を表わす情報
を生成する情報生成手段と、この情報生成手段で生成さ
れた動きベクトルの信頼度を表わす情報を符号化手段で
符号化された画像信号に多重する多重化手段とを備える
ようにしたものである。

【００１４】また、発明に係る画像信号の符号化方法
は、動き補償予測を用いて高能率符号化処理の施された
画像信号に、動き補償予測に用いた動きベクトルの信頼
度を表わす情報を多重するようにしたものである。

【００１５】上記のような構成及び方法によれば、動き
補償予測を用いて高能率符号化処理の施された画像信号
に、動き補償予測に用いた動きベクトルの信頼度を表わ
す情報を多重するようにしたので、復号化側で復号化処
理した画像信号に動きベクトルを用いた信号処理を施し
たとき、動きベクトルを誤って用いることによる画質の
劣化を防止することが可能となる。

【００１６】また、この発明に係る画像信号の復号化装
置は、動き補償予測を用いて符号化処理の施された符号
化画像信号に、動き補償予測に用いた動きベクトルの信
頼度を表わす情報が多重されてなる画像信号から、符号
化画像信号と動きベクトルの信頼度を表わす情報とを分
離する分離手段と、この分離手段で分離された符号化画
像信号に復号化処理を施す復号化手段と、この復号化手
段で復号化処理の施された画像信号に、符号化画像信号
に含まれる動きベクトルと、分離手段で分離された動き
ベクトルの信頼度を表わす情報とを用いて信号処理を施
す信号処理手段とを備えるようにしたものである。

【００１７】さらに、この発明に係る画像信号の復号化
方法は、動き補償予測を用いて符号化処理の施された符
号化画像信号に、動き補償予測に用いた動きベクトルの
信頼度を表わす情報が多重されてなる画像信号から、符
号化画像信号と動きベクトルの信頼度を表わす情報とを
分離し、符号化画像信号に復号化処理を施してなる画像
信号に、符号化画像信号に含まれる動きベクトルとこの
動きベクトルの信頼度を表わす情報とを用いて信号処理
を施すようにしたものである。

【００１８】上記のような構成及び方法によれば、入力
された画像信号から符号化画像信号と動きベクトルの信
頼度を表わす情報とを分離し、符号化画像信号に復号化
処理を施してなる画像信号に、符号化画像信号に含まれ
る動きベクトルとこの動きベクトルの信頼度を表わす情
報とを用いて信号処理を施すようにしたので、復号化処
理した画像信号に動きベクトルを用いた信号処理を施し
たとき、動きベクトルを誤って用いることによる画質の
劣化を防止することができる。

【００１９】

【発明の実施の形態】以下、この発明をデジタル化され
た画像信号の伝送系に適用した場合の実施の形態につい
て、図面を参照して詳細に説明する。図１において、符
号１１は符号化装置で、デジタル化された画像信号が供
給されるようになっている。この符号化装置１１に供給
された画像信号は、符号化回路１２に供給されて、動き
補償予測符号化処理と直交変換符号化処理とを組み合わ
せた高能率圧縮符号化処理が施される。

【００２０】また、この符号化装置１１は、動きベクト
ル関連情報生成回路１３を備えている。この動きベクト
ル関連情報生成回路１３は、符号化回路１２がどのよう
に画像信号に高能率圧縮符号化処理を施したかを監視し
て、その動き補償予測符号化処理で用いられた動きベク
トルの信頼度を表わす情報を生成している。

【００２１】そして、上記符号化回路１２から出力され
る高能率圧縮符号化処理の施された画像信号と、動きベ
クトル関連情報生成回路１３から出力された動きベクト
ルの信頼度を表わす情報とは、多重化回路１４に供給さ
れて多重化される。

【００２２】この多重化回路１４は、上記符号化回路１
２から出力される高能率圧縮符号化処理の施された画像
信号をビデオパケットとし、動きベクトル関連情報生成
回路１３から出力された動きベクトルの信頼度を表わす
情報をプライベートパケットとして、例えば図２に示す
ようなＭＰＥＧのＴＳ（Transport Stream）として多重
化し、伝送路１５に出力している。

【００２３】ここで、上記動きベクトル関連情報生成回
路１３は、例えば符号化回路１２において、動き検出処
理を高い精度で実行する第１のモードと、低い精度で簡
略化して実行する第２のモードとが選択できるようにな
っている場合、第１のモードが選択されている場合には
動きベクトルの信頼度を高く、例えば８ビットで表わす
場合“２５５”なるレベルに設定し、第２のモードが選
択されている場合には動きベクトルの信頼度を低く、例
えば８ビットで表わす場合“０”なるレベルに設定した
情報を、プライベートパケットとしてＴＳ中に繰り返し
多重化する。この場合、動きベクトルの信頼度を表わす
情報は、モードにかかわらず必要に応じて途中で変更す
ることも可能である。

【００２４】また、符号化回路１２の符号化方式がＭＰ
ＥＧである場合には、動きベクトルの信頼度を表わす情
報の設定範囲として、ＧＯＰ（Group of Picture）ヘッ
ダ中に含まれるＴＣ（Time Code ）を参照するようにす
れば、フレーム単位での動きベクトルの信頼度を設定す
ることができる。このとき、ＴＣを参照するだけでな
く、ピクチャヘッダ中に含まれるＴＲ（Temporal Refer
ence）も参照すれば、より高い精度で信頼度を表わすこ
とができる。

【００２５】さらに、動きベクトルの信頼度を表わす情
報の設定範囲として、スライス番号（位置）を設定する
ことにより、スライス単位に動きベクトルの信頼度を設
定することができ、また、マクロブロック位置を設定す
ることにより、例えば動き補償予測を用いて符号化処理
を行なう際に、その予測誤差の大きさに応じて、マクロ
ブロック単位に動きベクトルの信頼度を設定することが
可能となる。このようにすることにより、例えば予測誤
差値が大きいにもかかわらず、符号量の制限で予測誤差
が小さくなってしまったような場合でも、復号化側で、
実際には予測誤差が大きかったことを知ることができ
る。

【００２６】以上のように、符号化装置１１により画像
信号に動きベクトルの信頼度を表わす情報が多重化され
て、伝送路１５に送出されたデータストリームは、復号
化装置１６に供給される。この復号化装置１６に供給さ
れたデータストリームは、分離回路１７に供給されて、
そのＰＩＤ（Program Identifier）に基づいてビデオパ
ケットとプライベートパケットとに分離される。

【００２７】このうち、ビデオパケットとして伝送され
た画像信号は、復号化回路１８に供給されて復号化処理
が施されることにより、元の画像信号に復号されて信号
処理回路１９に出力される。このとき、復号化回路１８
は、入力されたビデオパケットに含まれる動きベクトル
を、信号処理回路１９に出力している。また、プライベ
ートパケットとして伝送された動きベクトルの信頼度を
表わす情報は、信号処理回路１９に供給されている。

【００２８】そして、この信号処理回路１９は、復号化
回路１８から供給されたインターレース走査の画像信号
に、復号化回路１８から供給された動きベクトルを用い
て、ノンインターレース走査の画像信号となるように走
査線変換処理を施し、復号画像信号として出力してい
る。この場合、信号処理回路１９は、分離回路１７から
供給された動きベクトルの信頼度を表わす情報に基づい
て、復号化回路１８から供給された動きベクトルを、走
査線変換処理に利用するか否かが規定される。

【００２９】すなわち、この信号処理回路１９では、動
きベクトル以外に、上記ＧＯＰヘッダに含まれるＴＣ、
上記ピクチャヘッダに含まれるＴＲ、スライスヘッダに
含まれるスライス番号等を同時に受け取り、分離回路１
７で分離された各設定範囲毎の、つまり、ストリーム全
体、フレーム単位、スライス単位、マクロブロック単位
の動きベクトルの信頼度を参照して、動きベクトルの信
頼度が予め設定されたしきい値よりも高い場合には、復
号化回路１８から供給された動きベクトルを用いて走査
線変換処理を実行し、動きベクトルの信頼度が予め設定
されたしきい値よりも低い場合には、復号化回路１８か
ら供給された動きベクトルを用いない手法で走査線変換
処理を実行する。

【００３０】上記した実施の形態によれば、符号化装置
１１において、高能率圧縮符号化処理が施された画像信
号に、その動き補償予測符号化処理に用いた動きベクト
ルの信頼度を表わす情報を多重化して伝送し、復号化装
置１６において、復号化処理された画像信号に走査線変
換処理を施す際に、動きベクトルの信頼度を表わす情報
に基づいて、動きベクトルを用いるか否かを決定するよ
うにしたので、動きベクトルを誤って用いることによる
画質の劣化を防止することができる。

【００３１】また、上記した実施の形態では、信号処理
回路１９が、動きベクトルを用いて走査線変換処理を行
なうことについて述べたが、この信号処理回路１９によ
る信号処理としては、走査線変換処理のみに限らず、例
えば動きベクトルを利用してフレーム数変換処理や３次
元ノイズリダクション処理等の信号処理であってもよい
ものである。

【００３２】さらに、上記した実施の形態では、動きベ
クトルの信頼度を表わす情報に基づいて、信号処理に動
きベクトルを用いるか否かを決定するようにしたが、こ
れに限らず、動きベクトルを用いて信号処理した画像信
号と、動きベクトルを用いないで信号処理した画像信号
との混合比を決定するために、動きベクトルの信頼度を
表わす情報を用いるようにしてもよいことはもちろんで
ある。なお、この発明は上記した実施の形態に限定され
るものではなく、この外その要旨を逸脱しない範囲で種
々変形して実施することができる。

【００３３】

【発明の効果】以上詳述したようにこの発明によれば、
画像信号に動き補償予測を用いて高能率圧縮符号化処理
を施す際に、復号化側で復号化処理した画像信号に動き
ベクトルを用いた信号処理を施したとき、動きベクトル
を誤って用いることによる画質の劣化を防止し得るよう
にした極めて良好な画像信号の符号化装置及びその方法
を提供することができる。

【００３４】また、この発明によれば、動き補償予測を
用いて高能率圧縮符号化処理が施された画像信号を復号
化処理し、その復号化処理した画像信号に動きベクトル
を用いた信号処理を施したとき、動きベクトルを誤って
用いることによる画質の劣化を防止することを可能にし
た極めて良好な画像信号の復号化装置及びその方法を提
供することができる。

【図面の簡単な説明】

【図１】この発明に係る画像信号の符号化装置及びその
方法と画像信号の復号化装置及びその方法の実施の形態
を説明するために示すブロック構成図。

【図２】同実施の形態におけるデータ構造を説明するた
めに示す図。

【符号の説明】

１１…符号化装置、 １２…符号化回路、 １３…動きベクトル関連情報生成回路、 １４…多重化回路、 １５…伝送路、 １６…復号化装置、 １７…分離回路、 １８…復号化回路、 １９…信号処理回路。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像信号に動き補償予測を用いた符号化
   処理を施す符号化手段と、この符号化手段における前記
   動き補償予測に用いた動きベクトルの信頼度を表わす情
   報を生成する情報生成手段と、この情報生成手段で生成
   された動きベクトルの信頼度を表わす情報を前記符号化
   手段で符号化された画像信号に多重する多重化手段とを
   具備してなることを特徴とする画像信号の符号化装置。
2. 【請求項２】 前記符号化手段は、前記画像信号の動き
   検出処理を第１の精度で行なうモードと、この第１の精
   度よりも低い第２の精度で行なうモードとに切り替え可
   能であり、前記情報生成手段は、前記符号化手段が前記
   画像信号の動き検出処理を第１の精度で行なうモードに
   切り替えられている状態で、前記動きベクトルの信頼度
   を第１のレベルに設定し、前記符号化手段が前記画像信
   号の動き検出処理を第２の精度で行なうモードに切り替
   えられている状態で、前記動きベクトルの信頼度を前記
   第１のレベルよりも低い第２のレベルに設定することを
   特徴とする請求項１記載の画像信号の符号化装置。
3. 【請求項３】 前記情報生成手段は、前記符号化手段の
   動き補償予測における予測誤差が大きくなるほど、前記
   動きベクトルの信頼度を低いレベルに設定することを特
   徴とする請求項１記載の画像信号の符号化装置。
4. 【請求項４】 動き補償予測を用いて高能率符号化処理
   の施された画像信号に、前記動き補償予測に用いた動き
   ベクトルの信頼度を表わす情報を多重することを特徴と
   する画像信号の符号化方法。
5. 【請求項５】 動き補償予測を用いて符号化処理の施さ
   れた符号化画像信号に、前記動き補償予測に用いた動き
   ベクトルの信頼度を表わす情報が多重されてなる画像信
   号から、前記符号化画像信号と前記動きベクトルの信頼
   度を表わす情報とを分離する分離手段と、この分離手段
   で分離された符号化画像信号に復号化処理を施す復号化
   手段と、この復号化手段で復号化処理の施された画像信
   号に、前記符号化画像信号に含まれる動きベクトルと、
   前記分離手段で分離された前記動きベクトルの信頼度を
   表わす情報とを用いて、信号処理を施す信号処理手段と
   を具備してなることを特徴とする画像信号の復号化装
   置。
6. 【請求項６】 前記信号処理手段は、前記動きベクトル
   の信頼度が第１のレベルであるとき、前記復号化手段で
   復号化処理の施された画像信号に、前記符号化画像信号
   に含まれる動きベクトルを用いて信号処理を施し、前記
   動きベクトルの信頼度が前記第１のレベルよりも低い第
   ２のレベルであるとき、前記復号化手段で復号化処理の
   施された画像信号に、前記符号化画像信号に含まれる動
   きベクトルを用いないで信号処理を施すことを特徴とす
   る請求項５記載の画像信号の復号化装置。
7. 【請求項７】 動き補償予測を用いて符号化処理の施さ
   れた符号化画像信号に、前記動き補償予測に用いた動き
   ベクトルの信頼度を表わす情報が多重されてなる画像信
   号から、前記符号化画像信号と前記動きベクトルの信頼
   度を表わす情報とを分離し、前記符号化画像信号に復号
   化処理を施してなる画像信号に、前記符号化画像信号に
   含まれる動きベクトルと、前記動きベクトルの信頼度を
   表わす情報とを用いて、信号処理を施すことを特徴とす
   る画像信号の復号化方法。