JP2002344973A - 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 動き補償予測及び直交変換が用いられて
符号化されたデータの画像サイズ変換を、簡易に、且つ
良好な画質が得られる符号化データ画像サイズ変換装置
の構成として提供することにある。 【解決手段】 供給される画像符号化データより所定の
画像サイズに変換されたマクロブロック画像データを画
像データ変換器１４により得、またそのマクロブロック
画像データに係る変換動きベクトルを供給される画像符
号化データの動きベクトルに所定の変換比率を乗じて動
きベクトル変換器１５により得るに際し、その変換比率
が１より小さいときは画像データの変換に必要な複数の
変換動きベクトルの分散に応じて統合動きベクトルを求
め、その統合動きベクトルと求められたマクロブロック
画像データを用いてサイズ変換のされた画像符号化デー
タを得る様にして実現した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き補償予測を用
いたディジタル動画像の符号化データを復号するとき、
出力画像の画像サイズを変更できる画像サイズ変換可能
な画像符号化データのサイズ変換方法、画像符号化デー
タ伝送方法、及び画像符号化データサイズ変換装置に関
するもので、特に少ないデータ処理量により画像サイズ
の変換ができるデータ変換処理に関する。

【０００２】

【従来の技術】テレビジョン信号などの動画像信号を高
能率符号化する技術として、いわゆるＭＰＥＧ（moving
picture experts group）規格がディジタル放送、ＤＶ
Ｄ（Digital versatile Disc）、ディジタルテープレコ
ーダ、及び通信ネットワークで伝送される信号として広
く用いられるようになってきた。

【０００３】そのＭＰＥＧは、１９８８年ＩＳＯ／ＩＥ
Ｃ（International Organization for Standardization
/ International Electrotechnical Commission）のＪ
ＴＣ１／ＳＣ２（Joint Technical Committee 1 / Sub
committee 2国際標準化機構/国際電気標準化会合同技術
委員会1/専門部会2）に設立された動画像符号化標準を
検討する組織である。

【０００４】そのＳＣ２は、現在ＳＣ２９として動画、
及び音響信号等の符号化に係る規格制定活動を継続して
おり、またＭＰＥＧの人達により制定された国際標準は
通俗的にＭＰＥＧとも呼ばれている。

【０００５】最初に制定されたＭＰＥＧ１（ＭＰＥＧフ
ェーズ1）は１．５Ｍｂｐｓ程度の伝送レートで記録さ
れる蓄積メディアを対象とした、音響信号の付随される
動画信号の符号化標準で、静止画の符号化を目的とする
ＪＰＥＧ（Joint Photographic Coding Experts Grou
p）と、ＩＳＤＮ（Integrated services digital netwo
rk）のテレビ会議やテレビ電話の低転送レート用の動画
像圧縮を目的としたＨ．２６１（CCITT SGXV、現在のIT
U-T SG15で標準化）の基本的な技術を用いた符号化標準
である。

【０００６】そのようにしてＭＰＥＧ１は１９９３年８
月に、ＩＳＯ／ＩＥＣ１１１７２として制定され、その
ＭＰＥＧ１規格により符号化されて記録されたディスク
は多く製品化されている。

【０００７】その後制定されたＭＰＥＧ２（MPEGフェー
ズ２）は通信及び放送などの多様なアプリケーションに
対応できるように汎用標準を目的として、１９９４年１
１月ＩＳＯ／ＩＥＣ１３８１８、及び「Ｈ．２６２」と
して制定されている。

【０００８】これらのＭＰＥＧ１及びＭＰＥＧ２による
符号化は複数の符号化技術より構成されており、それら
の技術は動画像を構成する「フレーム」画像を「マクロブ
ロック」と呼ばれる１６×１６画素のブロックに分割
し、各マクロブロック単位ごとに、時間的に未来または
過去に所定の数フレーム離れた参照画像と被符号化画像
との間で「動きベクトル」と呼ばれる動き量を求め、そ
の動き量を基に参照画像から被符号化画像を符号化する
「動き補償予測」技術と、その動き補償予測の誤差信号
または被符号化画像そのものに対して、直交変換技術の
一つであるＤＣＴ（Discrete Cosine Transform ：離散
コサイン変換）を用いて画像情報を周波数情報量に変換
し、その変換された周波数領域の情報より視覚的に有意
な情報のみを得るようにして圧縮符号化を行う「変換符
号化」技術と、の２つの画像符号化の要素技術を基にし
て規定されている。

【０００９】そして、動き補償予測における予測の方向
は、過去、未来、及び過去未来の両方から予測する場合
の３モードが存在し、それらの３モードは１６画素×１
６画素のデータよりなるＭＢ（マクロブロック）ごとに
切り替えて使用できるようになされている。

【００１０】また、それらの予測方向は入力画像のフレ
ームに与えられるピクチャタイプ、即ちＩ（Intra-code
d）、Ｐ（Predictive-coded）、及びＢ（Bidirectional
ly predictive-coded）の３種類のピクチャタイプが定
められている。

【００１１】そのIピクチャは動き予測を行わずに符号
化するピクチャであるが、Ｐピクチャには過去からの予
測及び、予測を行わずに符号化する２モードが存在して
おり、またＢピクチャには未来からの予測、過去からの
予測、過去及び未来の両方向からの予測、及び予測を行
わずにフレーム内符号化を行う４つのＭＣ(Motion Comp
ensation)モードがある。

【００１２】それらの未来、ないしは過去の画像を用い
て行う動き補償は、動き領域をＭＢごとにパターンマッ
チングを行ってハーフペル（画素間距離の１／２）精度
で動きベクトルを求め、求められた動きベクトル量に対
応させて未来、ないしは過去の参照画像位置をそのベク
トル方向に移動させた画像を基に供給される画像信号の
符号化を行う。

【００１３】そのようにして求められる動きベクトルの
方向には水平方向と垂直方向とがあり、それらのベクト
ル情報はＭＣモードと共にＭＢの付加情報として伝送さ
れるようになされている。

【００１４】また、そのようにしてなされるピックチャ
データのうち、Ｉ、Ｐ、及びＢの３種類のピクチャはＩ
ピクチャを先頭として所定の順に並べられて伝送され、
そのＩピクチャより次のIピクチャの手前のピクチャま
でのピクチャ（フレーム画像）の集合をＧＯＰ(Group O
f Picture)と呼び、通常の蓄積メディアなどでなされる
符号化においては、１５枚程度のピクチャによりＧＯＰ
が構成されるようになされている。

【００１５】そして、Ｉピクチャ、及び動き補償画像と
して符号化されるＰ、及びＢピクチャはＤＣＴ（discre
te cosine transform）、即ち余弦関数を積分核とする
積分変換が有限空間へ離散変換する直交変換としてなさ
れる。

【００１６】その直交変換はＭＢを８画素×８画素のＤ
ＣＴブロックに分割して２次元ＤＣＴを行うが、一般に
画像データの周波数成分は低域成分に多く高域成分は少
ないため、画像データはＤＣＴを行い低域周波数に集中
された変換係数により表現することができる。

【００１７】そして、そのＤＣＴされた画像データ（DC
T係数）は量子化器で量子化が行われる。即ちその量子
化器により、ＤＣＴ係数は所定の量子化値により叙算さ
れて求められるが、その量子化値は８画素×８画素の２
次元周波数を視覚特性で重み付けされた量子化値として
得られ、その量子化値はを所定の量子化スケールにより
スカラー倍されたものとして用いられる。

【００１８】また、その量子化値は符号化された画像デ
ータの復号時に得られる逆量子化値を乗算することによ
り、デコード時にはエンコード時に与えられた量子化値
による特性が打ち消されるようになっている。

【００１９】次に、この様な手法により符号化及び復号
化を行うＭＰＥＧ符号化器の構成について述べる。図１
０に、ＭＰＥＧ符号化器の構成を示し、その動作の概略
を述べる。

【００２０】そのＭＰＥＧ符号化器５０は入力端子５
１、加算器５２、ＤＣＴ器５３、量子化器５４、ＶＬＣ
器５５、バッファ５６、符号量制御器５７、逆量子化器
６１、逆ＤＣＴ器６２、加算器６３、画像メモリ６４、
及び動き補償予測器６５より構成される。

【００２１】まず、入力端子５１に供給された動画信号
は動き補償予測器６５及び加算器５２に供給され、その
加算器では動き補償予測器６５より供給される信号は極
性反転されて加算され、加算されて得られる信号はＤＣ
Ｔ器５３に供給される。

【００２２】そのＤＣＴ器５３では、供給される画像信
号は前記の離散余弦変換が行われ、変換して得られるＤ
ＣＴ変換係数は量子化器５４に供給され、前記所定の量
子化値を基に量子化がなされ、量子化のなされた量子化
データは逆量子化器６１、及びＶＬＣ（variable lengt
h coding）器５５に供給される。

【００２３】そのＶＬＣ器５５では、供給された量子化
データは可変長符号化されるが、量子化された値のうち
ＤＣＴ変換がなされて得られる直流（ＤＣ）成分はＤＰ
ＣＭ（differential pulse code modulation)変調がな
される。

【００２４】また、交流（ＡＣ）成分は低域周波数成分
のデータより高域周波数成分のデータの順にジグザグス
キャン（zigzag scan）がされながら得られ、その得ら
れたデータはゼロのラン長および有効係数値を１つの事
象とし、出現確率の高いものから順に符号長の短い符号
が割り当てられるようにして、ハフマン符号化がなされ
る。

【００２５】その可変長符号化である、ハフマン符号化
のなされたデータはバッファ５６に一時記憶され、一時
記憶されたデータは所定の転送レートにより符号化デー
タ出力として供給される。

【００２６】そして、その供給されるデータのマクロブ
ロック毎の発生符号量は、符号量制御器５７に供給され
て、予め設定されている目標符号量と比較され、比較し
て得られる発生符号量との差の符号量は量子化器５４に
供給され、量子化器５４ではその差の符号量を基に量子
化スケールの値を変更するなどにより所定の転送レート
の符号化データが得られるように符号量の制御がなされ
る。

【００２７】一方、量子化器５４で量子化された画像デ
ータは逆量子化器６１に供給されて逆量子化がなされ、
その逆量子化のなされたデータは逆ＤＣＴ器６２に供給
されて、そこで逆ＤＣＴがなされ、その逆ＤＣＴされた
データは加算器６３に供給される。

【００２８】その加算器６３では動き補償予測器６５よ
り供給される参照画像と加算され、加算して得られる信
号は画像メモリ６４に供給されて、そこに一時記憶され
る。その一時記憶された画像データは動き補償予測器６
５において差分画像を演算するためのリファレンス復号
化画像として用いられることにより、ＭＰＥＧ符号器５
０より動き補償のされた符号化データとして得られるよ
うになされている。

【００２９】このようにして得られた符号化データはＭ
ＰＥＧ復号化器に供給されて復号される。図１１に、Ｍ
ＰＥＧ復号化器の構成を示し、その動作の概略について
述べる。

【００３０】同図に示すＭＰＥＧ復号化器７０は、符号
化データ入力端子７１、バッファ７２、ＶＬＤ器７３、
逆量子化器７４、逆ＤＣＴ器７５、加算器７６、画像メ
モリ７７、及び動き補償予測器７８より構成される。

【００３１】まず、入力端子７１に供給された符号化デ
ータはバッファ７２に一時記憶され、一時記憶された符
号化データは必要に応じてＶＬＤ（variable length de
coding）器７３に供給される。

【００３２】そのＶＬＤ器７３では、ＶＬＣ器５５によ
り符号化されたデータの可変長復号が行われ、前述の直
流（ＤＣ）成分および交流（ＡＣ）成分に係るデータが
得られる。

【００３３】それらの得られたデータのうち交流成分の
データはＭＰＥＧ符号化器５０でなされたと同じ低域か
ら高域周波数成分へのジグザグスキャンの順で８×８の
マトリックスに配置される量子化データが得られ、その
得られた量子化データは逆量子化器７４に供給される。

【００３４】その逆量子化器７４では、前述の量子化マ
トリックスにより逆量子化がなされ、その逆量子化され
て得られるデータは逆ＤＣＴ器７５に供給され、そこで
は逆ＤＣＴ演算がなされて画像データが復号化データと
して得られる。

【００３５】そして、その得られた画像データは画像メ
モリ７７に一時記憶され、一時記憶された画像データは
動き補償予測器７８に供給され、供給された画像データ
は動き補償予測における差分画像を演算するためのリフ
ァレンス復号化画像として用いられる。

【００３６】このようにして、動画を構成する画像デー
タはＭＰＥＧ符号化器５０により符号化されて伝送、な
いしは記録され、その受信、ないしは再生された符号化
データはＭＰＥＧ復号器７０により復号されて動画情報
として得られるようになされており、このような手法は
ＭＰＥＧ１、及びＭＰＥＧ２の両者において用いられて
いる。

【００３７】そのＭＰＥＧ１が扱う符号化レートは１．
５Ｍｂｐｓであり、またＭＰＥＧ２が扱う標準ＴＶ信号
の符号化レートは１５Ｍｂｐｓであり、ＨＤＴＶ信号の
符号化レートは更に高い符号化レートが用いられる。

【００３８】それとは反対に、符号化レートの低い高能
率な低レート符号化方法は低伝送レートの通信線路用符
号化方式として、マルチメディア信号を扱うための多く
の機能が追加された符号化方法としてＭＰＥＧ４標準が
制定された。

【００３９】そのＭＰＥＧ４は、当初インターネットな
どの低レートの通信ネットワークで用いられることが想
定されて符号化方式の審議がなされた。そのＭＰＥＧ４
が扱う画像サイズは、ＭＰＥＧ２が扱う水平方向７２０
画素の解像度に比して、その半分、ないしは１／４の画
像サイズが扱われるようになされている。

【００４０】それらの画像サイズの異なるデータは、そ
れぞれの通信路で扱えるデータサイズに応じて通常の解
像度の画像、ないしはサイズの小さな画像が用いられる
ようになされており、ＭＰＥＧ２により制作された通常
サイズの画像データソフトをＭＰＥＧ４による符号化画
像として得るためには、通常サイズの画像を小さな画像
サイズに変換して用いるためのデータ変換が必要とな
る。

【００４１】

【発明が解決しようとする課題】ところで、一般的にな
される符号化データの画像サイズ変換は、符号化された
符号化データを復号化して画像データを得、その得られ
た画像データをダウンコンバートして所望の画像サイズ
のデータとして得た後に、再度圧縮符号化して画像サイ
ズの変換された符号化データとして得られるようになさ
れている。

【００４２】しかし、そのような画像の復号及び再符号
化により画像サイズの変換された符号化データとして得
る方法では、再符号化時に大きな画像メモリを必要とす
る、また復号化と再符号化の信号処理時には大量のデー
タ処理ステップが必要とされる。

【００４３】特に、符号化時の動きベクトルを求める処
理ステップは、例えばブロックマッチングのための差分
絶対値演算は画素数分の加算処理が必要であるなど大き
な演算処理ステップが必要とされる。

【００４４】そのような画像サイズの変換は、復号化、
及び再符号化のために大きな装置が必要となり経済的に
好ましくないばかりでなく、再符号化時に画像信号に新
たな歪成分が加算されることとなり、画質的にも好まし
くない。

【００４５】そこで、符号化された画像データを復号す
ることなしに画素数を変更した符号化データを生成でき
れば経済的に好ましく、また再生画質を良好に保ちつつ
新たな符号化信号を得ることができ、好ましいこととな
る。

【００４６】そのような、符号化された信号より画像デ
ータを復号することなしに画像サイズの変換を行う方法
が、特開平１０−３３６６７２号公報「符号化方式変換
装置およびその動きベクトル検出方法」に開示されてい
る。

【００４７】同公報には、符号化された画像データを他
の符号化方式により符号化されたデータとして得る方法
に係り、動き予測補償のための動きベクトル検出精度を
劣化させることなく信号処理量を削減する方法として、
符号化された画像データを復号する際に動きベクトルを
一時記憶し、その一時記憶された動きベクトルを用いて
候補ベクトルを選出し、その選出された候補ベクトルを
用いて画像サイズ比の変換を行う方法が開示されてい
る。

【００４８】しかしながら、その画像サイズ変換を行う
方法では、複数の候補ベクトルから新たな動きベクトル
を選択する際に、サイズ変換後の新たな画像データに対
して一つ一つ複数の候補ベクトルを用いて動き補償予測
を行うことにより予測画像と被予測画像との差分画像を
求め、その求められた差分画像の画素値との絶対差分値
の累計が最小となる動きベクトルを求めるようにして信
号処理を行っているため、変換された画像信号の品質は
良好に保つことができるものの、信号演算処理のための
ステップ数は大きな数になってしまうといった程度のも
のでしかなかった。

【００４９】そこで本発明は、動き補償予測が用いられ
て符号化されたデータの画像サイズ変換を行うに際し、
動きベクトルに変換画像サイズ比を乗じて変換後動きベ
クトルを求めるようにし、その画像サイズ比が１より大
きいときは求められた動きベクトル値をすべてのマクロ
ブロックに対して用い、画像サイズが１より小さいとき
は変換後のマクロブロックの大きさに対応する変換前の
画像に対応する複数の動きベクトルの統計量を用いて動
きベクトルを求めるようにして符号化データの画像サイ
ズ変換方法、画像符号化データ伝送方法、及び符号化デ
ータ画像サイズ変換装置の構成を提供しようとするもの
である。

【００５０】

【課題を解決するための手段】本発明は、上記課題を解
決するために以下の１）〜６）の手段より成るものであ
る。すなわち、

【００５１】１） 所定の画素数を単位とする単位画像
毎に動きベクトルを求めて動き補償を行い、その動き補
償のなされた単位画像毎のそれぞれの画像データを直交
変換することにより第１の画像サイズによる画像データ
を符号化した第１の符号化データを得、その得られた第
１の符号化データを第２の画像サイズの画像データによ
り符号化した第２の符号化データとして得るための画像
サイズ変換を行う画像符号化データのサイズ変換方法で
あって、前記第１の符号化データより単位画像毎の直交
変換された画像データ及び動きベクトルを得て一時記憶
する第１のステップ（１４ａ、１４ｂ、１５ａ）と、前
記第１の画像サイズに対する前記第２の画像サイズの比
である画像変換比率が１より大きいときは、前記第１の
ステップにより一時記憶された１つの単位画像より複数
の変換単位画像を前記画像変換比率に基づいて生成する
と共に、前記複数の変換単位画像のそれぞれの動きベク
トルを、前記１つの単位画像の動き補償に用いられて前
記第１のステップで一時記憶された動きベクトルに前記
画像変換比率を乗じた第１の変換動きベクトルとして
得、また前記画像変換比率が１より小さいときは、前記
第１のステップにより一時記憶された複数の単位画像よ
り１つの変換単位画像を前記画像変換比率に基づいて生
成すると共に、前記複数の単位画像のそれぞれの動きベ
クトルに前記画像変換比率を乗じて複数の第２の変換動
きベクトルを得、得られた複数の第２の変換動きベクト
ルを基に１つの統合動きベクトルを生成して得る第２の
ステップ（１４ｃ、１４ｄ、１５ｂ、１５ｃ）と、前記
第１の変換動きベクトルと前記統合動きベクトルとのう
ちのいずれかと、前記変換単位画像のデータとを可変長
符号化する第３のステップ（１７）と、を少なくとも有
してなることを特徴とする画像符号化データのサイズ変
換方法。

【００５２】２） 前記第２のステップにおける統合動
きベクトルは、前記複数の単位画像に係る複数の動きベ
クトルの相関が低いときは、最も低い動き補償誤差デー
タのアクティビティを与える動きベクトルを用いること
を特徴とする１）項記載の画像符号化データのサイズ変
換方法。

【００５３】３） 前記第２のステップにおける統合動
きベクトルは、前記複数の単位画像に係る複数の動きベ
クトルの相関が低いときは、動き量が０である動きベク
トルを用いることを特徴とする１）項記載の画像符号化
データのサイズ変換方法。

【００５４】４） 前記第２のステップにおける統合動
きベクトルは、前記複数の単位画像に係る複数の前記変
換動きベクトルに相関の高い動きベクトルが含まれると
きは、その相関の高い動きベクトルを基に統合動きベク
トルを生成して得ることを特徴とする１）項記載の画像
符号化データのサイズ変換方法。

【００５５】５） 所定の画素数を単位とする単位画像
毎に動きベクトルを求めて動き補償を行い、その動き補
償のなされた単位画像毎のそれぞれの画像データを直交
変換することにより第１の画像サイズによる画像データ
を符号化した第１の符号化データを得、その得られた第
１の符号化データを第２の画像サイズの画像データによ
り符号化した第２の符号化データとして得るための画像
サイズ変換を行って得られる符号化データを伝送する画
像符号化データ伝送方法であって、前記第１の符号化デ
ータより単位画像毎の直交変換された画像データ及び動
きベクトルを得て一時記憶する第１のステップ（１４
ａ、１４ｂ、１５ａ）と、前記第１の画像サイズに対す
る前記第２の画像サイズの比である画像変換比率が１よ
り大きいときは、前記第１のステップにより一時記憶さ
れた１つの単位画像より複数の変換単位画像を前記画像
変換比率に基づいて生成すると共に、前記複数の変換単
位画像のそれぞれの動きベクトルを、前記１つの単位画
像の動き補償に用いられて前記第１のステップで一時記
憶された動きベクトルに前記画像変換比率を乗じた第１
の変換動きベクトルとして得、また前記画像変換比率が
１より小さいときは、前記第１のステップにより一時記
憶された複数の単位画像より１つの変換単位画像を前記
画像変換比率に基づいて生成すると共に、前記複数の単
位画像のそれぞれの動きベクトルに前記画像変換比率を
乗じて複数の第２の変換動きベクトルを得、得られた複
数の第２の変換動きベクトルを基に１つの統合動きベク
トルを生成して得る第２のステップ（１４ｃ、１４ｄ、
１５ｂ、１５ｃ）と、前記第１の変換動きベクトルと前
記統合動きベクトルとのうちのいずれかと、前記変換単
位画像のデータとを可変長符号化する第３のステップ
（１７）と、その第３のステップにより得られた符号化
データを所定サイズのパケットに配置されるデータとし
て生成する第４のステップ（３２）と、とよりなること
を特徴とする画像符号化データ伝送方法。

【００５６】６） 所定の画素数を単位とする単位画像
毎に動きベクトルを求めて動き補償を行い、その動き補
償のなされた単位画像毎のそれぞれの画像データを直交
変換することにより第１の画像サイズによる画像データ
を符号化した第１の符号化データを得、その得られた第
１の符号化データを第２の画像サイズの画像データによ
り符号化した第２の符号化データとして得るための画像
サイズ変換を行う画像符号化データサイズ変換装置であ
って、前記第１の符号化データより単位画像毎の直交変
換された画像データ及び動きベクトルを得て一時記憶す
る一時記憶手段（１４ａ、１４ｂ、１５ａ）と、前記第
１の画像サイズに対する前記第２の画像サイズの比であ
る画像変換比率が１より大きいときは、前記一時記憶手
段により一時記憶された１つの単位画像より複数の変換
単位画像を前記画像変換比率に基づいて生成すると共
に、前記複数の変換単位画像のそれぞれの動きベクトル
を、前記１つの単位画像の動き補償に用いられて前記一
時記憶手段で一時記憶された動きベクトルに前記画像変
換比率を乗じた第１の変換動きベクトルとして得、また
前記画像変換比率が１より小さいときは、前記一時記憶
手段により一時記憶された複数の単位画像より１つの変
換単位画像を前記画像変換比率に基づいて生成すると共
に、前記複数の単位画像のそれぞれの動きベクトルに前
記画像変換比率を乗じて複数の第２の変換動きベクトル
を得、得られた複数の第２の変換動きベクトルを基に１
つの統合動きベクトルを生成して得るデータ変換手段
（１４ｃ、１４ｄ、１５ｂ、１５ｃ）と、前記第１の変
換動きベクトルと前記統合動きベクトルとのうちのいず
れかと、前記変換単位画像のデータとを可変長符号化す
る可変長符号化手段（１７）と、を具備して構成するこ
とを特徴とする画像符号化データサイズ変換装置。

【００５７】

【発明の実施の形態】以下、本発明の符号化データの画
像サイズ変換方法、画像符号化データ伝送方法、及び符
号化データ画像サイズ変換装置の実施形態につき好まし
い実施例により説明する。図１は、その符号化データの
画像サイズ変換方法を搭載した符号化データ画像サイズ
変換装置の構成であり、以下図と共に説明する。

【００５８】同図に示す符号化データ画像サイズ変換装
置１０は、符号化データ入力端子１１、バッファ１２、
ＶＬＤ（variable length decoding）器１３、画像デー
タ変換器１４、動きベクトル変換器１５、ヘッダパラメ
ータ変換器１６、再ＶＬＣ（variable length coding）
器１７、符号量制御器１８、及びバッファ１９より構成
される。

【００５９】次に、このように構成される符号化データ
画像サイズ変換装置１０の動作について述べる。まず、
入力端子１１に供給されたＭＰＥＧ（moving picture e
xperts group）符号化データはバッファ１２に供給され
て一時記憶され、必要に応じてＶＬＤ器１３により読み
出される。

【００６０】そのＶＬＤ器１３では所定のフォーマット
によりＶＬＣされた符号化データの復号化を行い、複合
化されて得られるデータのうち画像データは画像データ
変換器１４に、動きベクトルは動きベクトル変換器１５
に、そしてヘッダ情報信号はヘッダパラメータ変換器１
６に供給される。

【００６１】それらの変換器のうち、ヘッダパラメータ
変換器１６では、符号化データ画像サイズ変換装置１０
において行われる画像サイズの変換に基づいてなされる
ヘッダ情報の変換を行い、変換されたヘッダ情報は再Ｖ
ＬＣ器１７に供給される。

【００６２】そして、動きベクトル変換器１５では後述
の方法により画像サイズの変換に伴う動きベクトルの変
換がなされ、また画像データ変換器１４では後述の所定
の方法による画像サイズの変換がなされ、それらの変換
して得られる動きベクトル及び画像データは再ＶＬＣ器
１７に供給される。

【００６３】その再ＶＬＣ器１７では、供給されたそれ
ぞれの変換されたデータはＭＰＥＧ標準により規定され
る方法に従って可変長符号化が行われ、可変長符号化の
なされた符号化データはバッファ１９に供給されて、一
時記憶される。

【００６４】そのバッファ１９では、一時記憶された符
号化データの符号量情報が符号量制御器１８に供給さ
れ、その符号量制御器１８では供給された符号化データ
の符号量と図示しない目標符号量設定手段により設定さ
れた目標符号量とが比較され、その比較して得られる符
号量増減情報は前記の画像データ変換器１４に供給され
る。

【００６５】その画像データ変換器１４では、供給され
た符号量増減情報に基づいて画像データを変換するとき
に使用する、例えば量子化スケールなどのスケール値を
変更するなどにより、変換されて生成される符号化デー
タの符号量を調整するようにし、バッファ１９より供給
されるサイズ変換後の符号化データが所定の目標符号量
になるように制御される。

【００６６】そのようにして、符号化データ画像サイズ
変換装置１０に供給された符号化データの画像サイズ
は、所定の画像サイズに変換された所定の符号量である
符号化データ出力として符号化データ画像サイズ変換装
置１０より供給されるものである。

【００６７】このようにしてなされる符号化された画像
データの画像サイズ変換について更に述べる。その画像
サイズの変換が、例えば横方向６４０画素×縦方向が４
８０画素である大きな画面を縦横の各々がそれらの１／
２である３２０画素×２４０画素の画面に変換する場合
は、１６画素×１６画素のマクロブロック（以下ＭＢと
略すこともある）のデータ４個、即ち３２画素×３２画
素のデータを１６画素×１６画素のデータに変換するよ
うにすればよい。

【００６８】そして、それら４個のＭＢの動きベクトル
が同一方向に同一距離であるときは画像データ変換器１
４により画像データを変換し、同一である４個の動きベ
クトルは縦方向及び横方向の動き量を１／２にした１つ
の動きベクトルとすればよいことになる。

【００６９】しかし、符号化されて伝送される画像信号
は、画面内で複雑な動きをしていることが多く、隣り合
うＭＢにおいても異なるベクトル値を有しているのが通
常であり、そのベクトル値の差により画像サイズの変換
方法が異なる。

【００７０】そこで、ＭＢごとの動きベクトルの差に対
する画像サイズの変換について、更に図と共に述べる。
図２は、大きな画像における動きベクトルを４個のＭＢ
について例示したものである。

【００７１】同図において、横方向６４０画素×縦方向
４８０画素である大きな画面の中にある１６画素×１６
画素のＭＢ４個それぞれの動きベクトルを２ａ、２ｂ、
２ｃ、２ｄとして示してある。

【００７２】そして、それらの動きベクトルは右上の方
向を向いてはいるもののお互いに異なっており、そのよ
うな異なる方向を向く動きベクトルの同一性は相関値に
より、例えば動きベクトルの平均値からの差分値のばら
つき、分散、もしくは標準偏差値を用いて表現すること
ができる。

【００７３】ここで、画面を構成するそれぞれのＭＢの
動きベクトルの相関値に係る画像サイズの変換方法につ
いて、またその変換が画像サイズを大きくする場合及び
小さくする場合について詳述する。

【００７４】最初に、画像サイズを小さな画像から大き
なサイズの画像に変換する場合について述べる。図３
に、小さな画像における動きベクトルを１個のＭＢにつ
いて例示する。

【００７５】同図において、横方向３２０画素×縦方向
２４０画素である小さな画面の中にある１６画素×１６
画素のＭＢ１個、及びそのＭＢに係る動きベクトルを３
ａとして示してある。

【００７６】この図に示すような小さい画像サイズか
ら、前述の図２に示すような例えば水平及び垂直方向の
それぞれが２倍である画像サイズに変換する場合は、１
個のＭＢよりなる画像データを縦横それぞれ２個づつの
ＭＢの画像データに変換すると共に、それらのＭＢに係
る動きベクトルは、動きベクトル３ａを、縦方向及び横
方向のそれぞれに２倍し、２倍して得られる動きベクト
ルを２ａ、２ｂ、２ｃ、及び２ｄのそれぞれの動きベク
トルとすればよい。

【００７７】画像サイズを大きな画像サイズに変換する
場合はこのようにして複数の新たな動きベクトルを生成
し、及び１個のＭＢの画像データを基に複数のＭＢデー
タを生成することにより符号化データの画像サイズの変
換を行なうことができる。

【００７８】次に、画像サイズを小さな画像サイズに変
換する場合にいて述べる。その小さな画像サイズに変換
する場合は、複数のＭＢの画像データを１つのＭＢの画
像データに変換するようにして小さな画像サイズのデー
タを得るが、同時に複数の動きベクトルを合成して１つ
の動きベクトルを得る必要があり、その動きベクトルの
合成方法は複数の動きベクトル同士の相関により異な
る。

【００７９】まず、合成すべき複数の動きベクトルの相
関が低い場合であるが、前述の図２に示したような大き
い画像サイズから、図３に示した例えば水平及び垂直が
１／２倍である画像サイズに変換する場合は、複数の動
きベクトル２ａ、２ｂ、２ｃ、及び２ｄの相関が低いた
め、動きベクトルの統合ができないことになる。

【００８０】そのような動きベクトルの相関が低い場合
は、それぞれの動きベクトルを用いた動き補償誤差デー
タのうちアクティビティがもっとも低い、即ち復号した
ときに生じる動き補償誤差画像の複雑度が最も小さい値
である動きベクトルを候補として選び、その選ばれた動
きベクトルにサイズ変換比率（この場合は１/２倍）を
乗算した値を用いるのが好ましい。

【００８１】簡易的に低い補償誤差データを与える動き
ベクトルは、該当するマクロブロックの画像データが高
い周波数で大きなレベルのＤＣＴ係数値を有するものを
選定する方法があるが、正確には予めそれぞれの動きベ
クトルに係り生じる誤差データを演算して、選定するの
が好ましい。

【００８２】従って、そのような動きベクトル選定のた
めの処理量を削減するために、動きベクトルをゼロとし
て与える方法がある。それは、それぞれのベクトル値が
所定のピクセル数を超えて異なっているような場合に
は、異なる４つの動きベクトルのうちどのベクトル値を
代表ベクトルとして使用する場合であっても、統計的に
はベクトル値をゼロとする場合の誤差量に比してほぼ同
程度の補償誤差が得られることが多いとされるからであ
る。

【００８３】以上、合成すべき複数の動きベクトルの相
関が低い場合について述べたが、次に画像サイズを小さ
くする場合であり且つ、複数の動きベクトルの相関が大
きい場合について述べる。

【００８４】図４に、一部に相関の高い動きベクトル群
を有する場合の動きベクトルの分布例を示す。ここに示
す例は、９個のＭＢを１個のＭＢの画像データに変換す
る、即ち画像サイズの水平及び垂直のそれぞれを１／３
に変換する場合である。

【００８５】このように、多くのＭＢの画像データを１
個のＭＢのデータに変換する場合には複数ある動きベク
トル同士で相関が部分的に大きく存在している場合があ
り、ここに示す例では４ａ〜４ｉとして示される９個の
ＭＢの動きベクトルの内、４ａ、４ｂ、及び４ｄを除く
６個のＭＢの動きベクトルはほぼ同一のベクトル値を有
している。

【００８６】このように共通するベクトルが多く存在す
る場合は、そのブロック全体を統合する動きベクトルと
して最も大きな頻度で存在する動きベクトル値を、最頻
値として採用する。

【００８７】この動きベクトルの最頻値を統計的に求め
るには、動きベクトル値の分布を基に、もっとも頻度の
大きな値を統合動きベクトルとして求め、その求めらら
れたベクトル値を統合動きベクトル値とする。

【００８８】しかし、これらの同一ベクトル値とされる
４ｃ、４ｅ、４ｆ、４ｇ、４ｈ、及び４ｉの動きベクト
ル値も多少は異なった値となっているが、その差が例え
ば０.５画素程度の所定の誤差レベルであるときはその
誤差を無視するようにする。

【００８９】このようにして、相関度の高い動きベクト
ル群を選択し、それらの動きベクトルの最頻値、ないし
は平均値を統合動きベクトル値として用いることができ
るが、そのようにして求められた動きベクトル値は画像
サイズの変換比率に応じた、例えば１／３倍の係数を乗
算して得られる動きベクトル値を動きベクトル変換器１
５により生成して再ＶＬＣ器１７に供給するようにす
る。

【００９０】以上、画像サイズを小さくする場合であ
り、且つ複数の動きベクトルの相関が部分的に大きい場
合について述べたが、次に動きベクトルの相関が全体的
に大きな場合について述べる。

【００９１】図５に、相関の高い動きベクトル値を有す
る場合の動きベクトルの分布例を示す。ここに示す例
は、前述の図４と同様に９個のＭＢより１個のＭＢの画
像データに変換する、水平及び垂直のそれぞれを１／３
に変換する場合である。

【００９２】このように、複数ある動きベクトル同士の
相関が全体的に大きい場合は、複数の動きベクトルの相
関度合い（分散値）をそれぞれの動きベクトル値に乗算
して、総和を求め、その総和の値を動きベクトル数で除
算して統合動きベクトル値を求め、求められた統合ベク
トル値に例えば１／３である画像サイズのサイズ変換比
率を乗算して得られる動きベクトル値を変換動きベクト
ル値として用いる。

【００９３】以上、画像サイズを１より大きな比率の画
像サイズに変換する場合と、画像サイズを１より小さな
比率の画像サイズに変換する場合で複数の動きベクトル
値に相関がない場合、部分的に相関が大きな動きベクト
ル群が存在する場合、及び動きベクトル全体に大きな相
関がある場合について、それぞれの動きベクトルの変換
方法を述べた。

【００９４】次に、このような動きベクトルの変換方法
を搭載する符号化データ画像サイズ変換装置の構成と、
その装置の動作について詳述する。図６に、その符号化
データ画像サイズ変換装置の構成を示す。

【００９５】同図に示す符号化データ画像サイズ変換装
置１０ａは、符号化データ入力端子１１と、バッファ１
２と、ＶＬＤ器１３と、ＡＣ・ＤＣ係数メモリ１４ａ、
パラメータメモリ１４ｂ、画像サイズ変換器１４ｃ、及
び再量子化器１４ｄよりなる画像データ変換器１４と、
動きベクトルメモリ１５ａ、サイズ変換器１５ｂ、及び
動きベクトル統計処理器１５ｃよりなる動きベクトル変
換器１５と、ヘッダパラメータ変換器１６と、再ＶＬＣ
器１７と、符号量制御器１８と、バッファ１９とより構
成される。

【００９６】次に、このように構成される符号化データ
画像サイズ変換装置１０ａの動作について述べる。ま
ず、画像サイズ変換のなされる例えばＭＰＥＧ標準に基
づいて符号化されたデータは入力端子１を介してバッフ
ァ１２に供給されて、そこに一時記憶される。

【００９７】そのバッファ１２に一時記憶された符号化
データはＶＬＤ器１３よりの読み出し要求に応じて読み
出され、読み出された符号化データはＶＬＤ器１３に供
給される。

【００９８】そのＶＬＤ器１３では、ＭＰＥＧ２エンコ
ーダにより可変長復号化されて伝送された符号化データ
より、画像データが離散余弦変換されて得られたＤＣＴ
係数の直流（ＤＣ）成分および交流（ＡＣ）成分が、ま
た符号化されて伝送された画像データのマクロブロック
ごとの符号化モード、量子化スケール、マクロブロック
内のどのブロック情報を含むかを示すＣＢＰ(coded blo
ck pattern)などのパラメータ、及び動きベクトル情報
等が得られる。

【００９９】これらの得られた符号化に係るそれぞれの
情報の内、ＤＣＴ係数の直流成分および交流成分に係る
情報はＡＣ・ＤＣ係数メモリ１４ａに、符号化モード、
量子化スケール、ＣＢＰなどのパラメータ情報はパラメ
ータメモリ１４ｂに、そして動きベクトルに係る情報は
動きベクトルメモリ１５ａに供給され、またＭＰＥＧの
シーケンスヘッダ、及びピクチャーヘッダなどのヘッダ
に記述されるパラメータ値情報は図示しないメモリを内
蔵するヘッダパラメータ値変換器１６に供給され、それ
らの供給された情報はそれぞれのメモリに一時記憶され
る。

【０１００】このようにして、それぞれのメモリに一時
記憶された情報は必要に応じて読み出されて画像サイズ
変換処理がなされるが、次にその画像サイズ変換処理に
ついて述べる。

【０１０１】まず、画像データの画像サイズ変換につい
て述べるに、ＡＣ・ＤＣ係数メモリ１４ａに一時記憶さ
れた画像データは画像サイズ変換器１４ｃに供給され、
そこでは供給された交流成分データと直流成分データは
低域から高域周波数の方向に所定の順で８×８のマトリ
ックスとして配置される。

【０１０２】そのマトリックス配置された画像データ成
分は、画像変換の比率に応じて所定の画像データの周波
数成分位置に係るＤＣＴ変換された係数値のみが得られ
る様にＤＣＴ係数値の変換がなされる。

【０１０３】即ち、その変換された画像サイズにおける
ＤＣＴ係数値を得る方法は、画像のサイズ変換の比率に
よって異なるが、例えば変換後画像サイズを変換前画像
サイズに対して水平及び垂直のサイズをそれぞれ１／２
倍として設定するときのＤＣＴ係数は、画素サイズを水
平及び垂直のそれぞれに対して１／２倍して得られる、
低域側３×３の周波数成分領域のものを再量子化器１４
ｄより得て用いるようにする。

【０１０４】なお、このサイズ変換は特開２０００−２
１７１１１号公報「画像サイズ変換可能なディジタル動
画像復号装置およびプログラム記録媒体」に開示されて
いる技術内容を応用することが出来る。

【０１０５】このようにして、画像サイズ変換器１４ｃ
ではパラメータメモリ１４ｂに記憶されたマクロブロッ
クごとのＣＢＰ（coded block pattern）のパラメータ
が供給され、そのＣＢＰパラメータに基づいて有効とさ
れるＤＣＴ係数の交流成分データ及び直流成分データが
生成されるようにされて画像サイズの変換処理がなされ
る。

【０１０６】その画像サイズ変換処理のなされた画像デ
ータは再量子化器１４ｄに供給されるが、その再量子化
器１４ｄにはパラメータメモリ１４ｂに一時記憶された
マクロブロックごとの量子化スケール情報及び符号化モ
ード情報が供給される。

【０１０７】その符号化モード情報には動き補償予測の
モード、即ちその予測モードには前方予測、後方予測、
両方向予測、及び独立モードなどがあるが、それらの予
測モード情報は変更せずに使用するようにする。

【０１０８】また、符号化モード情報と共に供給される
量子化スケール情報は、画像サイズ変換後の再量子化デ
ータが所望のビットレートになるように符号量制御器１
８より供給される量子化スケール情報に基づいて再量子
化器１４ｄでの再量子化がなされる。

【０１０９】このようにして再量子化器１４ｄで再量子
化のなされた再量子化データは、ＭＰＥＧで規定される
所定の順に並べ替えられ、その並び替えられた再量子化
データは再ＶＬＣ器１７に供給される。

【０１１０】その再ＶＬＣ器１７では、動きベクトルメ
モリ１５ａに記憶された動きベクトルはサイズ変換器１
５ｂにより画像サイズの比に基づいて動きベクトルのサ
イズが変換され、サイズの変換された動きベクトルは動
きベクトル統計処理器１５ｃに供給され、前述の処理方
法に基づいて画像サイズ変換後のＭＢデータに対して求
められた動きベクトル値も供給される。

【０１１１】そしてその再ＶＬＣ器１７には、ヘッダパ
ラメータ変換器１６で、画像サイズの変換処理に基づい
てＭＰＥＧのシーケンスヘッダ及びピクチャヘッダなど
パラメータ情報の変換された情報がヘッダ情報として生
成され、その生成されたヘッダ情報も供給される。

【０１１２】即ち、その変換生成されるヘッダ情報は、
符号化データがＭＰＥＧ１標準に基づく符号化データで
あるときは、その符号化データのシーケンスヘッダのピ
クチャヘッダに記述されるhorizontal#size#value、及
びvertical#siz#valueは変換後の画像サイズに、またbi
t#rate#value、vbv#buffer#size#value、及びvbv#delay
などに係るヘッダ情報は変換後符号化データに基づく値
に変更されて再ＶＬＣ器１７に供給される。

【０１１３】その再ＶＬＣ器１７では、再量子化器１４
ｄ、動きベクトル統計処理器１５ｃ、及びヘッダパラメ
ータ変換器１６より供給されるデータの再ＶＬＣ化処理
を行い、その処理により生成された符号化データはバッ
ファ１９に供給される。

【０１１４】このようにして行われる変換符号化データ
の生成が画像サイズ変換のみに係って行われると共に、
出力信号として供給される符号化データのフォーマット
が異なるＭＰＥＧ方式のフォーマットに基づく符号化デ
ータに変換される場合は、そのための信号処理が必要と
なる。

【０１１５】例えばＭＰＥＧ２フォーマットに基づいて
生成された符号化データの画像サイズを変換してＭＰＥ
Ｇ４に基づく符号化データのビットストリーム信号とし
て供給されるような場合では、再ＶＬＣにおける信号処
理はＭＰＥＧ４標準に準拠したＶＬＣ信号処理としてな
される。

【０１１６】このようにしてＶＬＣ信号処理により得ら
れた符号化データはバッファ１９に供給され、そこでは
所定の時間間隔で供給される符号量を基にその符号化デ
ータのビットレート情報が得られ、その得られたビット
レート情報は再量子化器１４ｄに供給される。

【０１１７】その再量子化器１４ｄでは、あらかじめ設
定されたビットレートと画像サイズ変換後のビットレー
トとが比較され、例えば変換後のビットレートが設定ビ
ットレートよりも大きいときは、量子化スケールを大き
な値に変更して再ＶＬＣ化処理を行うことにより変換後
のビットストリームの符号量が小さくなるようにされ
る。

【０１１８】それとは反対に、変換後のビットストリー
ムのビットレートが所定の設定ビットレートよりも小さ
いときは、再量子化器１４ｄにおける量子化スケールを
小さな値に変更し、再ＶＬＣ化されたビットストリーム
の符号量が大きくなるようにしてフィードバック符号量
制御を行い、所望のビットレートのサイズ変換後符号化
データが得られるようになされる。

【０１１９】以上、サイズ変換前の符号化データが供給
され、所定の画像サイズの符号化データを出力信号とし
て供給する符号化データ画像サイズ変換装置の構成と、
その動作について述べた。

【０１２０】その符号化データ画像サイズ変換装置によ
れば、動き補償予測を用いて符号化された画像データの
画像サイズを変換するに際し、画像サイズの変換された
マクロブロックを生成すると共に、そのマクロブロック
に係る画像サイズ変換後の動きベクトルは変換後のマク
ロブロックの大きさに対応する変換前の画像に対応する
動きベクトルに変換サイズ比率を乗じて求めるように
し、画像サイズを大きな値に変換するときには求められ
た動きベクトル値をすべてのマクロブロックに対して用
い、また画像サイズを小さな値に変換するときには、変
換後のマクロブロックの大きさに対応する変換前の画像
に係る複数の動きベクトルの統計量を用いて変換後動き
ベクトルを得、その得られた動きベクトルと変換された
マクロブロックを用いて画像サイズの変換された符号化
データが得られるようにした。

【０１２１】そしてそのデータサイズ変換装置では、画
像サイズを小さな値に変換するときに用いる変換後の複
数の動きベクトルの相関が低いときは、それぞれの動き
ベクトルを用いたときの動き補償誤差データのアクティ
ビティがもっとも低いとして得られる動きベクトルを用
いて変換処理を行なうようにした。

【０１２２】また、そのデータサイズ変換装置において
画像サイズを小さくするときに、変換処理に用いられる
複数の動きベクトルの相関が低いときは、動きベクトル
をゼロとして変換処理を行うと共に、動きベクトルの相
関が高いときは複数の動きベクトルの中から相関の高い
動きベクトル群を選ぶことにより、またはそれらの動き
ベクトルの中の最頻値を与える動きベクトルを得ること
により、もしくは動きベクトルの平均値を求めることに
より、サイズ変換後の符号化データの生成を行なうよう
にした。

【０１２３】さらに、データサイズ変換装置において、
画像サイズを小さくするときの変換後の動きベクトル
は、複数の動きベクトルの相関度合いを基にして重み付
け値、及び複数の動きベクトル値を求め、その求められ
た動きベクトル値を用いてサイズ変換後の符号化データ
の生成を行なうようにした。

【０１２４】以上のようにして、これらの例で述べた符
号化データ画像サイズ変換装置の構成によれば、複数の
候補ベクトルから新たな動きベクトルを選択する際に、
サイズ変換後の新たな画像データに対して、動きベクト
ルの変換を関連部分の動きベクトル値の統計量のみで計
算できるので、従来行なっていたような復号した画像デ
ータそのものから動きベクトルを検出する処理、及び複
数の候補ベクトルの個々のベクトルを用いる場合による
動き補償予測に基づいて生じる予測画像と被予測画像と
の差分画像を求める、さらにはそれらの差分画像の画素
値との絶対差分値の累計が最小となる動きベクトルを求
めるといったような複雑な信号処理を行う必要が無くな
り、動きベクトルの検出精度の劣化を少なく保ち、且つ
装置を構成するハードウェアの規模を縮小することが可
能である画像サイズ変換を行う画像サイズ変換装置を構
成することができる。

【０１２５】そして、これらの例に示した画像サイズ変
換前及び変換後の符号量制御がそれぞれは、固定ビット
データサイズ制御、又は可変ビットデータサイズ制御の
いずれの場合であっても適用可能である。

【０１２６】なお、以上述べた実施例では変換対象のビ
ットストリームの符号化方式はＭＰＥＧ１及びＭＰＥＧ
２を中心として述べたが、符号化方式はそれらに限るこ
となく、同様の動き補償予測により符号化されたビット
ストリームに対しても適用可能である。

【０１２７】また、その符号化に係るマクロブロックは
ＭＰＥＧ１及びＭＰＥＧ２の場合では１６画素×１６画
素のサイズのものが用いられるが、それ以外の画素サイ
ズにより符号化がなされる符号化方式の場合であって
も、所定の画素数を単位とする単位画像を定義し、その
単位画素毎に動きベクトルを求めて動き補償を行い、そ
の動き補償のなされた単位画像毎のそれぞれの画像デー
タをデータ変換して画像データのエネルギ分布を集中さ
せるような方式の場合では上述の符号化データの画像サ
イズ変換を応用することができものである。

【０１２８】次に、その画像サイズ変換をパケット化さ
れたデータ構造で伝送される通信路におけるビットスト
リームのレート変換に応用する場合について述べる。図
７に、パケット化されて伝送される符号化データが供給
され、それを異なるパケットサイズのデータに変換して
伝送する画像符号化データ伝送装置の構成を示す。

【０１２９】同図に示す画像符号化データ伝送装置３０
は、符号化データ入力端子１１、ヘッダ除去器３１、バ
ッファ１２、ＶＬＤ器１３、画像データ変換器１４、動
きベクトル変換器１５、ヘッダパラメータ変換器１６、
再ＶＬＣ器１７、符号量制御器１８、バッファ１９、及
びパケット化器３２より構成される。

【０１３０】この画像符号化データ伝送装置３０は、第
１のパケットサイズのデータとして構成されるビットス
トリームを受信して、符号化データを得、その得られた
符号化データは前述の図１に示した符号化データ画像サ
イズ変換装置と同様の方法により画像サイズの変換がな
され、変換のなされた符号化データはパケット化器３２
により第２のパケットサイズのビットストリームとして
生成されて供給されるようになっている。

【０１３１】図８に、ヘッダ除去器の動作を示す。同図
において、Ｓ４１によりヘッダ除去動作が開始され、Ｓ
４２により第１のパケットサイズで供給されるデータの
ヘッダ除去を行い、Ｓ４３により符号化データを得、Ｓ
４４により得られた符号化データはバッファ１２に供給
されるようにする動作が継続される。

【０１３２】そのようにしてバッファ１２に一時記憶さ
れた符号化データは前述のようにして画像サイズの変換
がなされ、画像サイズ変換のなされた符号化データはバ
ッファ１９に一時記憶され、必要に応じてパケット化器
３２に供給される。

【０１３３】図９にパケット化器の動作を示す。そのパ
ケット化器３２の動作はＳ５１により開始され、Ｓ５２
で第２のビットストリームのパケットサイズに応じてパ
ケット化され、Ｓ５３でそのパケットの最初の部分にヘ
ッダ信号が付与されてビットストリームが生成され、Ｓ
５４でそのようにして生成されたビットストリームは図
示しないネットワークに供給され、そのような一連の動
作の全てがなされてＳ５５のエンドとなる。

【０１３４】このようにした動作のなされる画像符号化
データ伝送装置３０は、伝送容量の異なるネットワーク
間で所望の画像信号の受信及び伝送を、画像サイズの変
換を行うことによりビットレートを変換した符号化デー
タとして生成し、伝送しようとするものである。

【０１３５】その画像サイズの変換は、例えばｘＤＳＬ
線路より供給されるＭＰＥＧ２で符号化された動画ビッ
トストリームを、画像サイズを例えば縦横各々１／３で
あるＭＰＥＧ４フォーマットの符号化データに変換して
ＩＳＤＮに接続される友人の端末に伝送しようとする場
合などに用いられる。

【０１３６】以上の様にして、この画像符号化データ伝
送装置３０は今後活発に導入の計画されている有線、及
び無線方式により構成される複数の伝送ビットレートの
異なるネットワーク間で、画像サイズを変換することに
よりそれぞれのネットワークに適合させたビットレート
のビットストリームを生成して供給することができるも
のである。

【０１３７】

【発明の効果】請求項１記載の発明によれば、所定画素
数毎に動き補償予測及び直交変換がなされて第１の画像
サイズにより圧縮符号化のされた符号化データを第２の
画像サイズにより符号化された画像符号化データに変換
する際に、その画像サイズの変換比率に応じた直交変換
係数及び変換動きベクトルを得、それらの得られた直交
変換係数及び変換動きベクトルを基に画像サイズの変換
された符号化データを得るに際し、変換後動きベクトル
を簡単な信号処理により得ることができるため、少ない
信号処理ステップにより行える画像符号化データのサイ
ズ変換方法を提供できる効果がある。

【０１３８】また、請求項２記載の発明によれば、特に
複数の単位画像データに係る複数の前記変換動きベクト
ルの相関が低いときは、最も低い動き補償誤差データの
アクティビティを与える動きベクトルを用いるようにし
て画像サイズの変換を行なうようにしているため、請求
項１の効果に加え、更に高画質である画像符号化データ
のサイズ変換方法を提供することが出来る効果がある。

【０１３９】また、請求項３記載の発明によれば、特に
変換動きベクトルの相関が低いときは、動き量が０であ
る動きベクトルを用いるようにしているため、請求項１
の効果に加え、更に変換方法が容易である画像符号化デ
ータのサイズ変換方法を提供することが出来る効果があ
る。

【０１４０】また、請求項４記載の発明によれば、特に
複数の単位画像データに係る複数の前記変換動きベクト
ルの相関が高いベクトルが含まれるときは、その相関の
高い動きベクトルを基に統合動きベクトルを生成するよ
うにして画像サイズの変換を行なうため、請求項１の効
果に加え、更に画質の良い画像符号化データのサイズ変
換方法を提供することが出来る効果がある。

【０１４１】また、請求項５記載の発明によれば、ネッ
トワークより供給される所定画素数毎に動き補償予測及
び直交変換がなされて第１の画像サイズにより圧縮符号
化のされた符号化データを第２の画像サイズにより符号
化された画像符号化データに変換する際に、その画像サ
イズの変換比率に応じた直交変換係数及び変換動きベク
トルを得、それらの得られた直交変換係数及び変換動き
ベクトルを基に画像符号化データのサイズ変換を行うた
め、変換後動きベクトルを簡単な信号処理により検出精
度劣化の少ない動きベクトルを求めて画像符号化データ
のサイズ変換を行って伝送レートの異なるネットワーク
に伝送できる画像符号化データの伝送方法を提供できる
効果がある。

【０１４２】請求項６記載の発明によれば、所定画素数
毎に動き補償予測及び直交変換がなされて第１の画像サ
イズにより圧縮符号化のされた符号化データを第２の画
像サイズにより符号化された画像符号化データに変換す
る際に、その画像サイズの変換比率に応じた直交変換係
数及び変換動きベクトルを得、それらの得られた直交変
換係数及び変換動きベクトルを基に画像符号化データの
サイズ変換を行うため、変換後動きベクトルを簡単な信
号処理により検出精度劣化の少ない動きベクトルとして
求めることができるため容易に実現できる画像符号化デ
ータサイズ変換装置の構成を提供できる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例に係る符号化データ画像サイズ
変換装置の概略ブロック図である。

【図２】本発明の実施例に係る大きな画像における動き
ベクトルを４個のマクロブロックについて示した図であ
る。

【図３】本発明の実施例に係る小さな画像における動き
ベクトルを１個のマクロブロックについて示した図であ
る。

【図４】本発明の実施例に係る相関の高い動きベクトル
群を有する動きベクトルの分布を示した図である。

【図５】本発明の実施例に係る相関の高い動きベクトル
値を有する動きベクトルの分布を示した図である。

【図６】本発明の実施例に係る符号化データ画像サイズ
変換装置の構成を示した図である。

【図７】本発明の実施例に係る画像符号化データ伝送装
置の概略構成を示した図である。

【図８】本発明の実施例に係るヘッダ除去器の動作をフ
ローチャートにより示した図である。

【図９】本発明の実施例に係るパケット化器の動作をフ
ローチャートにより示した図である。

【図１０】従来のＭＰＥＧ符号化器の構成を示した図で
ある。

【図１１】従来のＭＰＥＧ復号化器の構成を示した図で
ある。

【符号の説明】

１０、１０ａ 符号化データ画像サイズ変換装置 １１ 入力端子 １２ バッファ １３ ＶＬＤ器 １４ 画像データ変換器 １４ａ ＡＣ・ＤＣ係数メモリ １４ｂ パラメータメモリ １４ｃ 画像サイズ変換器 １４ｄ 再量子化器 １５ 動きベクトル変換器 １５ａ 動きベクトルメモリ １５ｂ サイズ変換器 １５ｃ 動きベクトル統計処理器 １６ ヘッダパラメータ変換器 １７ 再ＶＬＣ器 １８ 符号量制御器 １９ バッファ ３０ 画像符号化データ伝送装置 ３１ ヘッダ除去器 ３２ パケット化器 ５０ ＭＰＥＧ符号化器 ５１ 入力端子 ５２ 加算器 ５３ ＤＣＴ器 ５４ 量子化器 ５５ ＶＬＣ器 ５６ バッファ ５７ 符号量制御器 ６１ 逆量子化器 ６２ 逆ＤＣＴ器 ６３ 加算器 ６４ 画像メモリ ６５ 動き補償予測器 ７０ ＭＰＥＧ復号化器 ７１ 符号化データ入力端子 ７２ バッファ ７３ ＶＬＤ器 ７４ 逆量子化器 ７５ 逆ＤＣＴ器 ７６ 加算器 ７７ 画像メモリ ７８ 動き補償予測器

Claims (6)

【特許請求の範囲】
1. 【請求項１】所定の画素数を単位とする単位画像毎に動
   きベクトルを求めて動き補償を行い、その動き補償のな
   された単位画像毎のそれぞれの画像データを直交変換す
   ることにより第１の画像サイズによる画像データを符号
   化した第１の符号化データを得、その得られた第１の符
   号化データを第２の画像サイズの画像データにより符号
   化した第２の符号化データとして得るための画像サイズ
   変換を行う画像符号化データのサイズ変換方法であっ
   て、 前記第１の符号化データより単位画像毎の直交変換され
   た画像データ及び動きベクトルを得て一時記憶する第１
   のステップと、 前記第１の画像サイズに対する前記第２の画像サイズの
   比である画像変換比率が１より大きいときは、前記第１
   のステップにより一時記憶された１つの単位画像より複
   数の変換単位画像を前記画像変換比率に基づいて生成す
   ると共に、前記複数の変換単位画像のそれぞれの動きベ
   クトルを、前記１つの単位画像の動き補償に用いられて
   前記第１のステップで一時記憶された動きベクトルに前
   記画像変換比率を乗じた第１の変換動きベクトルとして
   得、また前記画像変換比率が１より小さいときは、前記
   第１のステップにより一時記憶された複数の単位画像よ
   り１つの変換単位画像を前記画像変換比率に基づいて生
   成すると共に、前記複数の単位画像のそれぞれの動きベ
   クトルに前記画像変換比率を乗じて複数の第２の変換動
   きベクトルを得、得られた複数の第２の変換動きベクト
   ルを基に１つの統合動きベクトルを生成して得る第２の
   ステップと、 前記第１の変換動きベクトルと前記統合動きベクトルと
   のうちのいずれかと、前記変換単位画像のデータとを可
   変長符号化する第３のステップと、 を少なくとも有してなることを特徴とする画像符号化デ
   ータのサイズ変換方法。
2. 【請求項２】前記第２のステップにおける統合動きベク
   トルは、前記複数の単位画像に係る複数の動きベクトル
   の相関が低いときは、最も低い動き補償誤差データのア
   クティビティを与える動きベクトルを用いることを特徴
   とする請求項１記載の画像符号化データのサイズ変換方
   法。
3. 【請求項３】前記第２のステップにおける統合動きベク
   トルは、前記複数の単位画像に係る複数の動きベクトル
   の相関が低いときは、動き量が０である動きベクトルを
   用いることを特徴とする請求項１記載の画像符号化デー
   タのサイズ変換方法。
4. 【請求項４】前記第２のステップにおける統合動きベク
   トルは、前記複数の単位画像に係る複数の前記変換動き
   ベクトルに相関の高い動きベクトルが含まれるときは、
   その相関の高い動きベクトルを基に統合動きベクトルを
   生成して得ることを特徴とする請求項１記載の画像符号
   化データのサイズ変換方法。
5. 【請求項５】所定の画素数を単位とする単位画像毎に動
   きベクトルを求めて動き補償を行い、その動き補償のな
   された単位画像毎のそれぞれの画像データを直交変換す
   ることにより第１の画像サイズによる画像データを符号
   化した第１の符号化データを得、その得られた第１の符
   号化データを第２の画像サイズの画像データにより符号
   化した第２の符号化データとして得るための画像サイズ
   変換を行って得られる符号化データを伝送する画像符号
   化データ伝送方法であって、 前記第１の符号化データより単位画像毎の直交変換され
   た画像データ及び動きベクトルを得て一時記憶する第１
   のステップと、 前記第１の画像サイズに対する前記第２の画像サイズの
   比である画像変換比率が１より大きいときは、前記第１
   のステップにより一時記憶された１つの単位画像より複
   数の変換単位画像を前記画像変換比率に基づいて生成す
   ると共に、前記複数の変換単位画像のそれぞれの動きベ
   クトルを、前記１つの単位画像の動き補償に用いられて
   前記第１のステップで一時記憶された動きベクトルに前
   記画像変換比率を乗じた第１の変換動きベクトルとして
   得、また前記画像変換比率が１より小さいときは、前記
   第１のステップにより一時記憶された複数の単位画像よ
   り１つの変換単位画像を前記画像変換比率に基づいて生
   成すると共に、前記複数の単位画像のそれぞれの動きベ
   クトルに前記画像変換比率を乗じて複数の第２の変換動
   きベクトルを得、得られた複数の第２の変換動きベクト
   ルを基に１つの統合動きベクトルを生成して得る第２の
   ステップと、 前記第１の変換動きベクトルと前記統合動きベクトルと
   のうちのいずれかと、前記変換単位画像のデータとを可
   変長符号化する第３のステップと、 その第３のステップにより得られた符号化データを所定
   サイズのパケットに配置されるデータとして生成する第
   ４のステップと、 とよりなることを特徴とする画像符号化データ伝送方
   法。
6. 【請求項６】所定の画素数を単位とする単位画像毎に動
   きベクトルを求めて動き補償を行い、その動き補償のな
   された単位画像毎のそれぞれの画像データを直交変換す
   ることにより第１の画像サイズによる画像データを符号
   化した第１の符号化データを得、その得られた第１の符
   号化データを第２の画像サイズの画像データにより符号
   化した第２の符号化データとして得るための画像サイズ
   変換を行う画像符号化データサイズ変換装置であって、 前記第１の符号化データより単位画像毎の直交変換され
   た画像データ及び動きベクトルを得て一時記憶する一時
   記憶手段と、 前記第１の画像サイズに対する前記第２の画像サイズの
   比である画像変換比率が１より大きいときは、前記一時
   記憶手段により一時記憶された１つの単位画像より複数
   の変換単位画像を前記画像変換比率に基づいて生成する
   と共に、前記複数の変換単位画像のそれぞれの動きベク
   トルを、前記１つの単位画像の動き補償に用いられて前
   記一時記憶手段で一時記憶された動きベクトルに前記画
   像変換比率を乗じた第１の変換動きベクトルとして得、
   また前記画像変換比率が１より小さいときは、前記一時
   記憶手段により一時記憶された複数の単位画像より１つ
   の変換単位画像を前記画像変換比率に基づいて生成する
   と共に、前記複数の単位画像のそれぞれの動きベクトル
   に前記画像変換比率を乗じて複数の第２の変換動きベク
   トルを得、得られた複数の第２の変換動きベクトルを基
   に１つの統合動きベクトルを生成して得るデータ変換手
   段と、 前記第１の変換動きベクトルと前記統合動きベクトルと
   のうちのいずれかと、前記変換単位画像のデータとを可
   変長符号化する可変長符号化手段と、 を具備して構成することを特徴とする画像符号化データ
   サイズ変換装置。