JP2001309389A - 動きベクトル変換装置及び方法 - Google Patents
動きベクトル変換装置及び方法Info
- Publication number
- JP2001309389A JP2001309389A JP2000129002A JP2000129002A JP2001309389A JP 2001309389 A JP2001309389 A JP 2001309389A JP 2000129002 A JP2000129002 A JP 2000129002A JP 2000129002 A JP2000129002 A JP 2000129002A JP 2001309389 A JP2001309389 A JP 2001309389A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- macroblock
- conversion
- image
- image compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 MPEG2画像圧縮情報をMPEG4画像圧
縮情報に変換する際に符号化効率を低減させない。 【解決手段】 MPEG2の16×16マクロブロッ
ク、MPEG2の16×16動きベクトル、画像サイズ
等のパラメータを格納するマクロブロック14と、この
マクロブロック情報バッファ14に格納されたパラメー
タに基づいて、符号化効率が最も高いMPEG2の16
×16マクロブロックのMPEG2の16×16動きベ
クトル選択してMPEG4の16×16動きベクトルと
する動きベクトル変換部15とを有している。
縮情報に変換する際に符号化効率を低減させない。 【解決手段】 MPEG2の16×16マクロブロッ
ク、MPEG2の16×16動きベクトル、画像サイズ
等のパラメータを格納するマクロブロック14と、この
マクロブロック情報バッファ14に格納されたパラメー
タに基づいて、符号化効率が最も高いMPEG2の16
×16マクロブロックのMPEG2の16×16動きベ
クトル選択してMPEG4の16×16動きベクトルと
する動きベクトル変換部15とを有している。
Description
【0001】
【発明の属する技術分野】本発明は、動きベクトルを変
換する動きベクトル変換装置及び方法に関し、詳しく
は、離散コサイン変換等の直交変換と動き補償によって
圧縮されたMPEG等の画像情報(ビットストリーム)
を衛星放送、ケーブルTV、インターネット等のネット
ワークメディアを介して受信する際に、若しくは光、磁
気ディスクのような記憶メディア上で処理する際に用い
られる画像情報を変換する際に、動きベクトルを変換す
る動きベクトル変換装置及び方法に関する。
換する動きベクトル変換装置及び方法に関し、詳しく
は、離散コサイン変換等の直交変換と動き補償によって
圧縮されたMPEG等の画像情報(ビットストリーム)
を衛星放送、ケーブルTV、インターネット等のネット
ワークメディアを介して受信する際に、若しくは光、磁
気ディスクのような記憶メディア上で処理する際に用い
られる画像情報を変換する際に、動きベクトルを変換す
る動きベクトル変換装置及び方法に関する。
【0002】
【従来の技術】近年、画像情報をディジタルとして取り
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換等の直交
変換と動き補償により圧縮するMPEGなどの画像情報
圧縮方式が提供されている。そして、このような画像情
報圧縮方法に準拠した装置は、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換等の直交
変換と動き補償により圧縮するMPEGなどの画像情報
圧縮方式が提供されている。そして、このような画像情
報圧縮方法に準拠した装置は、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。
【0003】特に、MPEG2(ISO/IEC 13
818−2)は、飛び越し走査画像及び順次走査画像の
双方、並びに標準解像度画像及び高精細画像を網羅す
る、汎用画像符号化方式として定義されている。
818−2)は、飛び越し走査画像及び順次走査画像の
双方、並びに標準解像度画像及び高精細画像を網羅す
る、汎用画像符号化方式として定義されている。
【0004】すなわち、MPEG2符号化圧縮方式によ
れば、例えば、720×480画素を持つ標準解像度の
飛び越し走査画像に4〜8Mbpsの符号量(ビットレ
ート)を割り当て、1920×1088画素を持つ高解
像度の飛び越し走査画像に対して18〜22Mbpsの
符号量(ビットレート)を割り当てることにより、高い
圧縮率と良好な画質の実現が可能となる。
れば、例えば、720×480画素を持つ標準解像度の
飛び越し走査画像に4〜8Mbpsの符号量(ビットレ
ート)を割り当て、1920×1088画素を持つ高解
像度の飛び越し走査画像に対して18〜22Mbpsの
符号量(ビットレート)を割り当てることにより、高い
圧縮率と良好な画質の実現が可能となる。
【0005】このようなことから、MPEG2は、プロ
フェッショナル用途及びコンシューマー用途の広範なア
プリケーションに今後とも用いられるものと予想され
る。しかし、MPEG2は、主として放送用に適合する
高画質符号化を対象としており、例えばMPEG1より
低い符号量(ビットレート)、つまりより高い圧縮率の
符号化方式には対応していなかった。
フェッショナル用途及びコンシューマー用途の広範なア
プリケーションに今後とも用いられるものと予想され
る。しかし、MPEG2は、主として放送用に適合する
高画質符号化を対象としており、例えばMPEG1より
低い符号量(ビットレート)、つまりより高い圧縮率の
符号化方式には対応していなかった。
【0006】一方で、近年の携帯端末の普及により、今
後とも高い圧縮率の符号化方式のニーズは高まると思わ
れ、これに対応して、高い圧縮率を有するMPEG4符
号化方式の標準化が行われている。この画像符号化方式
に関しては、1998年12月にISO/IEC 14
496−2として国際標準の規格が承認された。
後とも高い圧縮率の符号化方式のニーズは高まると思わ
れ、これに対応して、高い圧縮率を有するMPEG4符
号化方式の標準化が行われている。この画像符号化方式
に関しては、1998年12月にISO/IEC 14
496−2として国際標準の規格が承認された。
【0007】ところで、ディジタル放送用に一度符号化
されたMPEG2画像圧縮情報(ビットストリーム)
を、携帯端末上等で処理するのにより適した、より低い
符号量(ビットレート)の画像圧縮情報(ビットストリ
ーム)に変換したいというニーズがある。
されたMPEG2画像圧縮情報(ビットストリーム)
を、携帯端末上等で処理するのにより適した、より低い
符号量(ビットレート)の画像圧縮情報(ビットストリ
ーム)に変換したいというニーズがある。
【0008】かかる目的を達成する従来の画像情報変換
装置の例を図9に示す。すなわち、この画像情報変換装
置は、飛び越し走査のMPEG2画像圧縮情報(ビット
ストリーム)を順次走査のMPEG4画像圧縮情報(ビ
ットストリーム)に変換するものである。
装置の例を図9に示す。すなわち、この画像情報変換装
置は、飛び越し走査のMPEG2画像圧縮情報(ビット
ストリーム)を順次走査のMPEG4画像圧縮情報(ビ
ットストリーム)に変換するものである。
【0009】図9に示すように、この画像情報変換装置
は、MPEG2画像圧縮情報(ビットストリーム)を復
号する画像情報復号化部1と、画像情報復号化部1で復
号された画像の解像度及びフレームレートを変換する解
像度/フレームレート変換部2と、解像度/フレームレ
ート変換部2で解像度及びフレームレートを変換された
画像をMPEG4画像圧縮情報(ビットストリーム)に
符号化する画像情報符号化部3とから構成される。
は、MPEG2画像圧縮情報(ビットストリーム)を復
号する画像情報復号化部1と、画像情報復号化部1で復
号された画像の解像度及びフレームレートを変換する解
像度/フレームレート変換部2と、解像度/フレームレ
ート変換部2で解像度及びフレームレートを変換された
画像をMPEG4画像圧縮情報(ビットストリーム)に
符号化する画像情報符号化部3とから構成される。
【0010】画像情報変換装置に入力されたMPEG2
画像圧縮情報(ビットストリーム)は、画像情報復号化
部1により復号される。
画像圧縮情報(ビットストリーム)は、画像情報復号化
部1により復号される。
【0011】ここで、画像情報変換装置に入力されるM
PEG2画像圧縮情報(ビットストリーム)は、水平方
向及び垂直方向に共に8成分(以下、8×8という。他
も同様とする。)の離散コサイン変換(discrete cosin
e transformation; DCT)係数からなるブロックを単位
として構成される。MPEG2画像情報復号化部1は、
8×8DCT係数のすべてを用いて復号処理を行うこと
ができるが、水平方向に低域4成分及び垂直方向に8成
分(以下、4×8という。)のDCT係数や、水平方向
及び垂直方向共に低域4成分(以下、4×4という。)
のDCT係数のみを用いた復号処理を行うこともでき
る。
PEG2画像圧縮情報(ビットストリーム)は、水平方
向及び垂直方向に共に8成分(以下、8×8という。他
も同様とする。)の離散コサイン変換(discrete cosin
e transformation; DCT)係数からなるブロックを単位
として構成される。MPEG2画像情報復号化部1は、
8×8DCT係数のすべてを用いて復号処理を行うこと
ができるが、水平方向に低域4成分及び垂直方向に8成
分(以下、4×8という。)のDCT係数や、水平方向
及び垂直方向共に低域4成分(以下、4×4という。)
のDCT係数のみを用いた復号処理を行うこともでき
る。
【0012】なお、以下の説明では、このような4×8
DCT係数を用いた復号処理を4×8ダウンデコードと
呼び、4×4DCT係数を用いた復号処理を4×4ダウ
ンデコードと呼ぶことにする。画像情報復号化部1は、
4×8ダウンデコードや4×4ダウンデコードによる処
理を採用することにより、ダウンデコードによる画質劣
化を最小限に抑えながら、演算量とビデオメモリ容量を
削減すると共に、後段のダウンサンプリング処理を簡略
化することができる。
DCT係数を用いた復号処理を4×8ダウンデコードと
呼び、4×4DCT係数を用いた復号処理を4×4ダウ
ンデコードと呼ぶことにする。画像情報復号化部1は、
4×8ダウンデコードや4×4ダウンデコードによる処
理を採用することにより、ダウンデコードによる画質劣
化を最小限に抑えながら、演算量とビデオメモリ容量を
削減すると共に、後段のダウンサンプリング処理を簡略
化することができる。
【0013】画像情報復号部1により復号された画像
は、解像度/フレームレート変換部2へ伝送され、任意
の異なる解像度及びフレームレートを持つ画像に変換さ
れ、さらに、画像情報符号化部3により、MPEG4画
像圧縮情報(ビットストリーム)に符号化される。
は、解像度/フレームレート変換部2へ伝送され、任意
の異なる解像度及びフレームレートを持つ画像に変換さ
れ、さらに、画像情報符号化部3により、MPEG4画
像圧縮情報(ビットストリーム)に符号化される。
【0014】ところで、画像情報符号化部3において
は、解像度/フレームレート変換部2において解像度及
びフレームレートが変換された画像をMPEG4画像圧
縮情報(ビットストリーム)に符号化する際に動きベク
トルを検出することになるが、このときの動きベクトル
検出演算には全演算処理量の約60〜70パーセントが
費やされている。
は、解像度/フレームレート変換部2において解像度及
びフレームレートが変換された画像をMPEG4画像圧
縮情報(ビットストリーム)に符号化する際に動きベク
トルを検出することになるが、このときの動きベクトル
検出演算には全演算処理量の約60〜70パーセントが
費やされている。
【0015】このように画像情報符号化部3における処
理量が多いために、従来の画像情報変換装置では、画像
情報をリアルタイムに変換することが難しく、その結
果、画像情報の変換に時間遅延が発生したり、装置の規
模が大きくなってしまうという問題があった。
理量が多いために、従来の画像情報変換装置では、画像
情報をリアルタイムに変換することが難しく、その結
果、画像情報の変換に時間遅延が発生したり、装置の規
模が大きくなってしまうという問題があった。
【0016】図10に示す画像情報変換装置は、かかる
問題を解決するために提案されたものである。
問題を解決するために提案されたものである。
【0017】この画像情報変換装置においては、MPE
G2画像圧縮情報(ビットストリーム)の動きベクトル
をMPEG4画像圧縮情報(ビットストリーム)の動き
ベクトルに変換することにより、処理の高速化が図られ
ている。すなわち、上述した図9の画像情報変換装置の
画像情報符号化部3においては動きベクトルの検出に大
きな演算処理量を要していたが、この図10に示す画像
情報変換装置の画像情報符号化装置7ではMPEG4の
符号化の際に動きベクトルを検出する必要がないので、
演算量が低減されて処理が高速化される。
G2画像圧縮情報(ビットストリーム)の動きベクトル
をMPEG4画像圧縮情報(ビットストリーム)の動き
ベクトルに変換することにより、処理の高速化が図られ
ている。すなわち、上述した図9の画像情報変換装置の
画像情報符号化部3においては動きベクトルの検出に大
きな演算処理量を要していたが、この図10に示す画像
情報変換装置の画像情報符号化装置7ではMPEG4の
符号化の際に動きベクトルを検出する必要がないので、
演算量が低減されて処理が高速化される。
【0018】この画像情報変換装置は、入力されたMP
EG2画像圧縮情報(ビットストリーム)を復号すると
共にMPEG2の動きベクトル、画像サイズ等のパラメ
ータを取り出す画像情報復号化部4と、画像情報復号化
部4で取り出されたパラメータ及び外部から入力された
画像サイズ調整フラグに基づいて、画像情報復号化部4
で復号された画像の解像度及びフレームレートを変換す
る解像度/フレームレート変換部5とを有している。
EG2画像圧縮情報(ビットストリーム)を復号すると
共にMPEG2の動きベクトル、画像サイズ等のパラメ
ータを取り出す画像情報復号化部4と、画像情報復号化
部4で取り出されたパラメータ及び外部から入力された
画像サイズ調整フラグに基づいて、画像情報復号化部4
で復号された画像の解像度及びフレームレートを変換す
る解像度/フレームレート変換部5とを有している。
【0019】解像度/フレームレート変換部5は、画像
情報復号化部4で取り出されたMPEG2動きベクト
ル、画像サイズ等のパラメータに基づいて画像情報復号
化部4で復号された画像の解像度及びフレームレートを
変換する解像度/フレームレート変換部5aと、外部か
ら入力された画像サイズ調整フラグに基づいて、解像度
/フレームレート変換部5aにて解像度及びフレームレ
ートを変換された画像に対して画素の補填又は除去を行
う画素補填/除去部5bとを有している。
情報復号化部4で取り出されたMPEG2動きベクト
ル、画像サイズ等のパラメータに基づいて画像情報復号
化部4で復号された画像の解像度及びフレームレートを
変換する解像度/フレームレート変換部5aと、外部か
ら入力された画像サイズ調整フラグに基づいて、解像度
/フレームレート変換部5aにて解像度及びフレームレ
ートを変換された画像に対して画素の補填又は除去を行
う画素補填/除去部5bとを有している。
【0020】また、画像情報変換装置は、画像情報復号
化部4から送られたMPEG2の動きベクトルをMPE
G4の動きベクトルに変換する動きベクトル変換部6
と、解像度/フレームレート変換部5にて解像度及びフ
レームレートを変換された画像を動きベクトル変換部6
から送られたMPEG4動きベクトルに基づいてMPE
G4画像圧縮情報(ビットストリーム)に符号化して出
力する画像情報符号化部7とを有している。
化部4から送られたMPEG2の動きベクトルをMPE
G4の動きベクトルに変換する動きベクトル変換部6
と、解像度/フレームレート変換部5にて解像度及びフ
レームレートを変換された画像を動きベクトル変換部6
から送られたMPEG4動きベクトルに基づいてMPE
G4画像圧縮情報(ビットストリーム)に符号化して出
力する画像情報符号化部7とを有している。
【0021】この画像情報変換装置においては、解像度
/フレームレート変換部5は、画像情報符号化部3にお
けるMPEG4画像圧縮情報(ビットストリーム)への
符号化に適合するように、画像情報復号化部4から供給
されMPEG2画像圧縮情報(ビットストリーム)が復
号された画像の解像度及びフレームレートを変換する。
/フレームレート変換部5は、画像情報符号化部3にお
けるMPEG4画像圧縮情報(ビットストリーム)への
符号化に適合するように、画像情報復号化部4から供給
されMPEG2画像圧縮情報(ビットストリーム)が復
号された画像の解像度及びフレームレートを変換する。
【0022】動きベクトル変換部6は、解像度/フレー
ムレート変換部5における解像度変換の際に、画像情報
復号化部4から送られたMPEG2動きベクトル、画像
サイズ等のパラメータや外部から供給された画像サイズ
調整フラグに基づいて、MPEG4動きベクトルを生成
する。
ムレート変換部5における解像度変換の際に、画像情報
復号化部4から送られたMPEG2動きベクトル、画像
サイズ等のパラメータや外部から供給された画像サイズ
調整フラグに基づいて、MPEG4動きベクトルを生成
する。
【0023】動きベクトル変換部6における処理は、解
像度変換前の画像に対応する動きベクトルと、解像度変
換後の画像に対応する動きベクトルとが、大きな相関を
有することを用いたものである。
像度変換前の画像に対応する動きベクトルと、解像度変
換後の画像に対応する動きベクトルとが、大きな相関を
有することを用いたものである。
【0024】これら解像度変換の前後の動きベクトルの
相関について、図11を用いて説明する。
相関について、図11を用いて説明する。
【0025】図11のAに示す解像度変換前の現フレー
ム20の左下には、太陽21及び山22が表示されてい
るとする。また、現フレーム20の太陽21は、前フレ
ームでは図中の網が掛けられた場所23に位置していた
とする。そして、図中のMVは、前フレームの太陽24
の位置を始点として現フレーム20の太陽21に向かう
動きベクトルを表している。なお、この動きベクトルM
Vは、フレームの水平成分及び垂直成分にそれぞれ分解
することができる。
ム20の左下には、太陽21及び山22が表示されてい
るとする。また、現フレーム20の太陽21は、前フレ
ームでは図中の網が掛けられた場所23に位置していた
とする。そして、図中のMVは、前フレームの太陽24
の位置を始点として現フレーム20の太陽21に向かう
動きベクトルを表している。なお、この動きベクトルM
Vは、フレームの水平成分及び垂直成分にそれぞれ分解
することができる。
【0026】一方、図11のBに示す解像度変換後の現
フレーム25に左下には、太陽26及び山27が表示さ
れているとする。また、現フレーム25の太陽26は、
前フレームでは図中の網が掛けられた部分28に位置し
ていたとする。そして、図中の動きベクトルMV’は、
前フレームの太陽29の位置を始点として現フレーム2
5の太陽26に向かう動きベクトルを表している。な
お、この動きベクトルMV’も、フレームの水平成分及
び垂直成分にそれぞれ分解することができる。
フレーム25に左下には、太陽26及び山27が表示さ
れているとする。また、現フレーム25の太陽26は、
前フレームでは図中の網が掛けられた部分28に位置し
ていたとする。そして、図中の動きベクトルMV’は、
前フレームの太陽29の位置を始点として現フレーム2
5の太陽26に向かう動きベクトルを表している。な
お、この動きベクトルMV’も、フレームの水平成分及
び垂直成分にそれぞれ分解することができる。
【0027】ここで、解像度変換後の動きベクトルM
V’は、解像度変換前の動きベクトルMVから解像度変
換レートに基づいて求めることができる。
V’は、解像度変換前の動きベクトルMVから解像度変
換レートに基づいて求めることができる。
【0028】すなわち、解像度変換後の動きベクトルM
V’の水平成分は、解像度変換前の動きベクトルMVの
水平成分と、水平方向(横方向)の解像度変換レートと
を用いることによって求められる。同様に解像度変換後
の動きベクトルMV’の垂直成分は、解像度変換前の動
きベクトルMVの垂直成分と、垂直方向(縦方向)の解
像度変換レートとを用いることによって求められる。
V’の水平成分は、解像度変換前の動きベクトルMVの
水平成分と、水平方向(横方向)の解像度変換レートと
を用いることによって求められる。同様に解像度変換後
の動きベクトルMV’の垂直成分は、解像度変換前の動
きベクトルMVの垂直成分と、垂直方向(縦方向)の解
像度変換レートとを用いることによって求められる。
【0029】このように、動きベクトル変換部6におい
ては、解像度変換前の動きベクトルMVや画像サイズ等
のパラメータに基づいて、解像度変換後の動きベクトル
MV’への変換を行うことができる。
ては、解像度変換前の動きベクトルMVや画像サイズ等
のパラメータに基づいて、解像度変換後の動きベクトル
MV’への変換を行うことができる。
【0030】すなわち、図10の動きベクトル変換部6
においては、解像度変換の比率を用いて、解像度変換前
のMPEG2動きベクトルMVから解像度変換後のMP
EG4の動きベクトルMV’を得ることができる。した
がって、この図10の動きベクトル変換部6においては
画像から動きベクトルを抽出するための演算は必要がな
いので、上述した図9の画像情報変換装置と比較する
と、画像を符号化する際の演算量が少なく、時間遅延が
低減されて処理が高速化されている。
においては、解像度変換の比率を用いて、解像度変換前
のMPEG2動きベクトルMVから解像度変換後のMP
EG4の動きベクトルMV’を得ることができる。した
がって、この図10の動きベクトル変換部6においては
画像から動きベクトルを抽出するための演算は必要がな
いので、上述した図9の画像情報変換装置と比較する
と、画像を符号化する際の演算量が少なく、時間遅延が
低減されて処理が高速化されている。
【0031】なお、画像情報復号化部4は、マクロブロ
ックの8×8DCT係数を用いた復号の他に、4×8D
CT係数を用いた4×8ダウンデコードや4×4DCT
係数を用いた4×4ダウンデコードを行うこともでき
る。このように、8×8DCT係数を用いた復号に代わ
って4×8ダウンデコードや4×4ダウンデコードを採
用することにより、ダウンデコードによる画質劣化を最
小限に抑えながら、演算量とビデオメモリ容量を削減す
ることができる。さらに、これらのダウンデコードによ
って、後段のダウンサンプリング処理を簡略化すること
ができる。
ックの8×8DCT係数を用いた復号の他に、4×8D
CT係数を用いた4×8ダウンデコードや4×4DCT
係数を用いた4×4ダウンデコードを行うこともでき
る。このように、8×8DCT係数を用いた復号に代わ
って4×8ダウンデコードや4×4ダウンデコードを採
用することにより、ダウンデコードによる画質劣化を最
小限に抑えながら、演算量とビデオメモリ容量を削減す
ることができる。さらに、これらのダウンデコードによ
って、後段のダウンサンプリング処理を簡略化すること
ができる。
【0032】画像情報復号化部4から出力された画像
は、解像度/フレームレート変換部5へ送られ、解像度
及びフレームレート変換を施された後、外部から入力さ
れた画像サイズ調整フラグによりMPEG4画像符号化
に適した画像サイズに変換されて出力される。
は、解像度/フレームレート変換部5へ送られ、解像度
及びフレームレート変換を施された後、外部から入力さ
れた画像サイズ調整フラグによりMPEG4画像符号化
に適した画像サイズに変換されて出力される。
【0033】解像度/フレームレート変換部5は、解像
度及びフレームレートを変換する解像度/フレームレー
ト変換部5aと、解像度及びフレームレートが変換され
た画像に対して画素の補填又は除去を行う画素補填/除
去部5bとを有している。
度及びフレームレートを変換する解像度/フレームレー
ト変換部5aと、解像度及びフレームレートが変換され
た画像に対して画素の補填又は除去を行う画素補填/除
去部5bとを有している。
【0034】解像度/フレームレート変換部5aは、画
像復号化部4から供給された画像の解像度を変換する。
ここでは、解像度/フレームレート変換部5は、水平方
向及び垂直方向共に画像の解像度が1/2になるような
ダウンサンプリングを行うものとする。
像復号化部4から供給された画像の解像度を変換する。
ここでは、解像度/フレームレート変換部5は、水平方
向及び垂直方向共に画像の解像度が1/2になるような
ダウンサンプリングを行うものとする。
【0035】まず、垂直方向のダウンサンプリングにつ
いて、図12を参照して説明する。
いて、図12を参照して説明する。
【0036】MPEG2画像圧縮情報(ビットストリー
ム)を復号した飛び越し走査の各フレームの画像は、図
12のAに示す第一フィールド及び図12のBに示す第
二フィールドから構成される。
ム)を復号した飛び越し走査の各フレームの画像は、図
12のAに示す第一フィールド及び図12のBに示す第
二フィールドから構成される。
【0037】図中には、表示順序にしたがって、フレー
ム内で符号化されたイントラ符号化画像(Iピクチ
ャ)、前方の画像及び後方の画像を参照する双方向予測
符号化画像(Bピクチャ)、前方の画像を参照する順方
向予測符号化画像(Pピクチャ)の4つのフレームが示
されている。
ム内で符号化されたイントラ符号化画像(Iピクチ
ャ)、前方の画像及び後方の画像を参照する双方向予測
符号化画像(Bピクチャ)、前方の画像を参照する順方
向予測符号化画像(Pピクチャ)の4つのフレームが示
されている。
【0038】なお、簡単のために、以下では、Iピクチ
ャ、Pピクチャ及びBピクチャをそれぞれI、P及びB
と略することがある。
ャ、Pピクチャ及びBピクチャをそれぞれI、P及びB
と略することがある。
【0039】画像の垂直方向のダウンサンプリングは、
図12のA及びBに示すフレームから、図12のAに示
す第一フィールドを抽出して、飛び越し走査の画像を図
12のCに示す順次走査の画像に変換することにより行
う。この変換により、画像の垂直方向の解像度は1/2
になる。
図12のA及びBに示すフレームから、図12のAに示
す第一フィールドを抽出して、飛び越し走査の画像を図
12のCに示す順次走査の画像に変換することにより行
う。この変換により、画像の垂直方向の解像度は1/2
になる。
【0040】なお、垂直方向のダウンサンプリングは、
図12のA及びBに示すフレームからの図12のBに示
す第二フィールドを抽出することによって行ってもよ
い。
図12のA及びBに示すフレームからの図12のBに示
す第二フィールドを抽出することによって行ってもよ
い。
【0041】実際には、垂直方向のダウンサンプリング
は、ビットレートを低下させるためのフレームレート変
換と同時に行われる。すなわち、図12のCに示す順次
走査の画像は、IBBPのピクチャの内でIピクチャ及
びPピクチャから抽出された第一フィールドから構成さ
れる。
は、ビットレートを低下させるためのフレームレート変
換と同時に行われる。すなわち、図12のCに示す順次
走査の画像は、IBBPのピクチャの内でIピクチャ及
びPピクチャから抽出された第一フィールドから構成さ
れる。
【0042】これにより、図12のA及びBに示された
IBBPのフレームから構成される飛び越し走査の画像
は、図12のCに示すようにIPの第一フィールドから
構成される順次走査の画像になる。
IBBPのフレームから構成される飛び越し走査の画像
は、図12のCに示すようにIPの第一フィールドから
構成される順次走査の画像になる。
【0043】異常のように、解像度/フレームレート変
換部5では、解像度変換と共に、同時に行われるなフレ
ームレート変換によってビットレートをさらに低減して
いる。
換部5では、解像度変換と共に、同時に行われるなフレ
ームレート変換によってビットレートをさらに低減して
いる。
【0044】一方、水平方向のダウンサンプリングにつ
いては、ダウンサンプリングフィルタにより解像度を1
/2に変換することにより行う。例えば、ダウンサンプ
リングフィルタは、画像から画素を間引くことにより解
像度の変換を行う。
いては、ダウンサンプリングフィルタにより解像度を1
/2に変換することにより行う。例えば、ダウンサンプ
リングフィルタは、画像から画素を間引くことにより解
像度の変換を行う。
【0045】このようにして、解像度/フレームレート
変換部5aに入力された飛び越し走査の画像は、解像度
を水平方向及び垂直方向共に1/2に変換されると同時
に、フレームレートを変換された順次走査の画像に変換
される。
変換部5aに入力された飛び越し走査の画像は、解像度
を水平方向及び垂直方向共に1/2に変換されると同時
に、フレームレートを変換された順次走査の画像に変換
される。
【0046】解像度/フレームレート変換部5aにて解
像度及びフレームレートを変換された画像は、画像の画
素を補填又は除去する画素補填/除去部5bに送られ
る。
像度及びフレームレートを変換された画像は、画像の画
素を補填又は除去する画素補填/除去部5bに送られ
る。
【0047】画素補填/除去部5bは、画像情報符号化
部7における符号化に適合するように、画素の補填又は
除去を行うことにより画像サイズを調整する。
部7における符号化に適合するように、画素の補填又は
除去を行うことにより画像サイズを調整する。
【0048】具体的には、画素補填/除去部5bは、外
部から入力される画像サイズ調整フラグに基づいて、画
素の補填又は除去を行うことにより画像の水平方向及び
垂直方向の画素数が共に16の倍数になるようにする。
これによって、画像のサイズは、画像情報符号化部7で
行われる16×16画素のマクロブロック単位の符号化
に適合するようになる。
部から入力される画像サイズ調整フラグに基づいて、画
素の補填又は除去を行うことにより画像の水平方向及び
垂直方向の画素数が共に16の倍数になるようにする。
これによって、画像のサイズは、画像情報符号化部7で
行われる16×16画素のマクロブロック単位の符号化
に適合するようになる。
【0049】画素補填/除去部5bにおける処理は、図
13に示すような手順によって行われる。
13に示すような手順によって行われる。
【0050】図13のAに示すように、解像度/フレー
ムレート変換部5には、画像情報復号化部4で16×1
6DCT係数からなるマクロブロックごとに復号され、
16×16画素のマクロブロックを構成要素とした画像
が入力される。したがって、入力された画像を水平方向
にm画素及び垂直方向にn画素とすると、m及びnは共
に16の倍数である。
ムレート変換部5には、画像情報復号化部4で16×1
6DCT係数からなるマクロブロックごとに復号され、
16×16画素のマクロブロックを構成要素とした画像
が入力される。したがって、入力された画像を水平方向
にm画素及び垂直方向にn画素とすると、m及びnは共
に16の倍数である。
【0051】この画像は、解像度/フレームレート変換
部5の解像度/フレームレート変換部5aによって、水
平方向及び垂直方向共に1/2に解像度変換され、水平
方向にm/2画素及び垂直方向にn/2画素から構成さ
れるようになる。
部5の解像度/フレームレート変換部5aによって、水
平方向及び垂直方向共に1/2に解像度変換され、水平
方向にm/2画素及び垂直方向にn/2画素から構成さ
れるようになる。
【0052】このように解像度変換により水平方向にm
/2画素及び垂直方向にn/2画素から構成されるよう
になった画像が画素補填/除去部5bに入力されるが、
これらm/2及びn/2は、16で割り切れる場合と、
16で割ると8余る場合とがある。
/2画素及び垂直方向にn/2画素から構成されるよう
になった画像が画素補填/除去部5bに入力されるが、
これらm/2及びn/2は、16で割り切れる場合と、
16で割ると8余る場合とがある。
【0053】そこで、画素補填/除去部5bにおいて
は、図13のS1に示すように、m/2及びn/2が1
6の倍数である場合とそうでない場合によって処理を分
岐させている。
は、図13のS1に示すように、m/2及びn/2が1
6の倍数である場合とそうでない場合によって処理を分
岐させている。
【0054】すなわち、図13のBに示すように、m/
2及びn/2が共に16の倍数の場合には、画像のサイ
ズはMPEG4の画像圧縮符号化に適合する。したがっ
て、この場合には、画素補填/除去部5bは、画素の補
填又は除去を行うことなく水平方向にm/2及び垂直方
向にn/2画素の画像をそのまま出力する。
2及びn/2が共に16の倍数の場合には、画像のサイ
ズはMPEG4の画像圧縮符号化に適合する。したがっ
て、この場合には、画素補填/除去部5bは、画素の補
填又は除去を行うことなく水平方向にm/2及び垂直方
向にn/2画素の画像をそのまま出力する。
【0055】m/2又はn/2の少なくとも一方が16
で割ると8余る場合には、画像のサイズは、MPEG4
の画像圧縮符号化に適合していない。したがって、この
場合には、画像補填/除去部5bは、画像のサイズをM
PEG4の画像圧縮符号化に適合させるために、画素の
補填又は除去を行うことにより画像のサイズを変更す
る。
で割ると8余る場合には、画像のサイズは、MPEG4
の画像圧縮符号化に適合していない。したがって、この
場合には、画像補填/除去部5bは、画像のサイズをM
PEG4の画像圧縮符号化に適合させるために、画素の
補填又は除去を行うことにより画像のサイズを変更す
る。
【0056】なお、以下では便宜上、水平方向のm/2
画素が16で割り切れない場合について例示するが、垂
直方向のn/2画素が16で割り切れない場合や、水平
方向のm/2画素及び垂直方向のn/2画素が共に16
で割り切れない場合についても同様である。
画素が16で割り切れない場合について例示するが、垂
直方向のn/2画素が16で割り切れない場合や、水平
方向のm/2画素及び垂直方向のn/2画素が共に16
で割り切れない場合についても同様である。
【0057】画素補填/除去部5bは、外部から入力さ
れた画像サイズ調整フラグに応じて、画像へ8画素を補
填する処理と、画像から8画素を除去する処理をスイッ
チS2で切り換える。
れた画像サイズ調整フラグに応じて、画像へ8画素を補
填する処理と、画像から8画素を除去する処理をスイッ
チS2で切り換える。
【0058】すなわち、画像サイズ調整フラグに応じて
8画素を除去する場合には、スイッチS2で画素の除去
を選択する。
8画素を除去する場合には、スイッチS2で画素の除去
を選択する。
【0059】この場合には、図13のCに示すように、
水平方向にm/2画素の画像の例えば後部から水平方向
に8画素が除去される。これによって、画像は水平方向
にはm/2−8画素(すなわち、16で割り切れる画素
数)から構成されるようになる。同様に、画像の水平方
向に先頭から画素を除去することもできる。
水平方向にm/2画素の画像の例えば後部から水平方向
に8画素が除去される。これによって、画像は水平方向
にはm/2−8画素(すなわち、16で割り切れる画素
数)から構成されるようになる。同様に、画像の水平方
向に先頭から画素を除去することもできる。
【0060】一方、画像調整フラグに応じて8画素を補
填する場合には、スイッチS2で画素の補填を選択す
る。
填する場合には、スイッチS2で画素の補填を選択す
る。
【0061】この場合には、図13のDに示すように、
水平方向にm/2画素の画像の例えば後部に8画素が補
填される。これによって、画素は水平方向にはm/2+
8画素(すなわち、16で割り切れる画素数)から構成
されるようになる。同様に、画像の水平方向に先頭に画
素を補填することもできる。なお、画像に補填する画素
は、新たに作成したり、補填前の画像から複製したり、
画像に適した画素を選択したものを使用することができ
る。
水平方向にm/2画素の画像の例えば後部に8画素が補
填される。これによって、画素は水平方向にはm/2+
8画素(すなわち、16で割り切れる画素数)から構成
されるようになる。同様に、画像の水平方向に先頭に画
素を補填することもできる。なお、画像に補填する画素
は、新たに作成したり、補填前の画像から複製したり、
画像に適した画素を選択したものを使用することができ
る。
【0062】このような画素補填/除去部5bにおける
画素の補填又は除去により、画像の水平方向及び垂直方
向の画素数は共に16の倍数になり、画像情報符号化部
7におけるMPEG4画像圧縮情報(ビットストリー
ム)への符号化に適合するようになる。
画素の補填又は除去により、画像の水平方向及び垂直方
向の画素数は共に16の倍数になり、画像情報符号化部
7におけるMPEG4画像圧縮情報(ビットストリー
ム)への符号化に適合するようになる。
【0063】図10に戻り、画像情報変換装置の画像情
報復号化部4において、入力されたMPEG2画像圧縮
情報(ビットストリーム)は、可変長符号の復号化が行
われた後、Pピクチャに対する動きベクトルやマクロブ
ロックタイプなどその他のパラメータが取り出される。
報復号化部4において、入力されたMPEG2画像圧縮
情報(ビットストリーム)は、可変長符号の復号化が行
われた後、Pピクチャに対する動きベクトルやマクロブ
ロックタイプなどその他のパラメータが取り出される。
【0064】動きベクトル変換部6においては、これら
のパラメータを用いて動きベクトルの変換が行われる。
この動きベクトル変換部6における動きベクトル変換方
法について、図14を参照して説明する。
のパラメータを用いて動きベクトルの変換が行われる。
この動きベクトル変換部6における動きベクトル変換方
法について、図14を参照して説明する。
【0065】図14のAは画像情報復号化部4より出力
された画像を表している。図14のBは、図14のAに
示す画像を解像度/フレームレート変換部5で水平方向
及び垂直方向共に1/2の解像度に変換された画像を表
している。
された画像を表している。図14のBは、図14のAに
示す画像を解像度/フレームレート変換部5で水平方向
及び垂直方向共に1/2の解像度に変換された画像を表
している。
【0066】例えば、図14のAに示した解像度変換前
の画像における左上の16×16マクロブロック101
は、解像度/フレームレート変換部5によって、図6の
Bに示した変換後の画像における左上の8×8ブロック
102に変換される。
の画像における左上の16×16マクロブロック101
は、解像度/フレームレート変換部5によって、図6の
Bに示した変換後の画像における左上の8×8ブロック
102に変換される。
【0067】同様に、図14のAに示した解像度変換前
の画像における4つの16×16マクロブロック103
は、解像度/フレームレート変換部5による解像度変換
後の画像における2×2の4つの8×8ブロック104
に対応している。これら4つの8×8ブロック104に
よって、一つの16×16マクロブロックが構成され
る。
の画像における4つの16×16マクロブロック103
は、解像度/フレームレート変換部5による解像度変換
後の画像における2×2の4つの8×8ブロック104
に対応している。これら4つの8×8ブロック104に
よって、一つの16×16マクロブロックが構成され
る。
【0068】解像度変換前の画像における4つの16×
16マクロブロック103の各マクロブロックの動きベ
クトルMV1,MV2,MV3,MV4は、解像度変換
後の画像における4つの8×8ブロック104の動きベ
クトルmv1、mv2、mv3、mv4にそれぞれ対応
している。
16マクロブロック103の各マクロブロックの動きベ
クトルMV1,MV2,MV3,MV4は、解像度変換
後の画像における4つの8×8ブロック104の動きベ
クトルmv1、mv2、mv3、mv4にそれぞれ対応
している。
【0069】なお、16×16マクロブロックの動きベ
クトルを16×16動きベクトルと、8×8ブロックの
動きベクトルを8×8動きベクトルと称することにす
る。
クトルを16×16動きベクトルと、8×8ブロックの
動きベクトルを8×8動きベクトルと称することにす
る。
【0070】解像度/フレームレート変換部5による解
像度変換の前後の画像に対応する動きベクトルの相関は
前述したように大きいので、解像度変換後の8×8ブロ
ックの動きベクトルは、解像度変換前の16×16マク
ロブロックの動きベクトルより求めることができる。し
たがって、解像度変換前の4つの16×16マクロブロ
ック103の動きベクトルMV1,MV2,MV3,M
V4から、解像度変換後の4つのブロック104の動き
ベクトルmv1,mv2,mv3,mv4をそれぞれ求
めることができる。
像度変換の前後の画像に対応する動きベクトルの相関は
前述したように大きいので、解像度変換後の8×8ブロ
ックの動きベクトルは、解像度変換前の16×16マク
ロブロックの動きベクトルより求めることができる。し
たがって、解像度変換前の4つの16×16マクロブロ
ック103の動きベクトルMV1,MV2,MV3,M
V4から、解像度変換後の4つのブロック104の動き
ベクトルmv1,mv2,mv3,mv4をそれぞれ求
めることができる。
【0071】図10に戻り、MPEG2の動きベクトル
をMPEG4の動きベクトルに変換する画像情報変換装
置の動きベクトル変換部6の構成について説明する。
をMPEG4の動きベクトルに変換する画像情報変換装
置の動きベクトル変換部6の構成について説明する。
【0072】この動きベクトル変換部6は、図15に示
すように、入力されたMPEG2の動きベクトル、画像
サイズ等のパラメータの内、MPEG2の16×16動
きベクトルをMPEG4の8×8動きベクトルに変換す
る動きベクトル変換部8と、画像サイズ調整フラグに基
づいた画像サイズの調整に対応して動きベクトルを調整
する動きベクトル調整部9とを有している。
すように、入力されたMPEG2の動きベクトル、画像
サイズ等のパラメータの内、MPEG2の16×16動
きベクトルをMPEG4の8×8動きベクトルに変換す
る動きベクトル変換部8と、画像サイズ調整フラグに基
づいた画像サイズの調整に対応して動きベクトルを調整
する動きベクトル調整部9とを有している。
【0073】また、動きベクトル変換部6は、動きベク
トル調整部9から出力されたMPEG4の8×8動きベ
クトルをMPEG4の16×16動きベクトルに変換す
る動きベクトル変換部10と、MPEG4の16×16
動きベクトルを用いてイントラマクロブロックに対する
補正を行う動きベクトル補正部11とを有している。
トル調整部9から出力されたMPEG4の8×8動きベ
クトルをMPEG4の16×16動きベクトルに変換す
る動きベクトル変換部10と、MPEG4の16×16
動きベクトルを用いてイントラマクロブロックに対する
補正を行う動きベクトル補正部11とを有している。
【0074】動きベクトル変換部8は、動きベクトル変
換部6に入力されたMPEG2画像圧縮情報(ビットス
トリーム)中の動きベクトル、画像サイズ等のパラメー
タは、MPEG4の8×8動きベクトルに変換する。
換部6に入力されたMPEG2画像圧縮情報(ビットス
トリーム)中の動きベクトル、画像サイズ等のパラメー
タは、MPEG4の8×8動きベクトルに変換する。
【0075】ここで、フレーム内で符号化するため動き
補償を行わないMPEG2の16×16イントラマクロ
ブロックに対しては、解像度変換したMPEG4の8×
8ブロックが、動きベクトルを持つことを想定する。こ
のため、動きベクトル変換部8では、その8×8ブロッ
クに対する動きベクトルとして0を設定し、さらに後段
の動きベクトル補正部11での処理を行うためにイント
ラモードフラグを設ける。なお、MPEG2では、イン
トラマクロブロックの場合、イントラモードフラグを立
てるようになされている。
補償を行わないMPEG2の16×16イントラマクロ
ブロックに対しては、解像度変換したMPEG4の8×
8ブロックが、動きベクトルを持つことを想定する。こ
のため、動きベクトル変換部8では、その8×8ブロッ
クに対する動きベクトルとして0を設定し、さらに後段
の動きベクトル補正部11での処理を行うためにイント
ラモードフラグを設ける。なお、MPEG2では、イン
トラマクロブロックの場合、イントラモードフラグを立
てるようになされている。
【0076】動きベクトル変換部8から出力されたMP
EG4の8×8動きベクトルは、動きベクトル調整部9
において、画像サイズ調整フラグによって調整された画
像に応じた調整が施される。
EG4の8×8動きベクトルは、動きベクトル調整部9
において、画像サイズ調整フラグによって調整された画
像に応じた調整が施される。
【0077】動きベクトル調整部9より出力されたMP
EG4の8×8動きベクトルは、動きベクトル変換部1
0において、MPEG4の16×16マクロブロックを
構成する4つの8×8ブロックの動きベクトルの和を、
動きベクトルの個数で割ることによりMPEG4の16
×16マクロブロックの動きベクトルを算出する。
EG4の8×8動きベクトルは、動きベクトル変換部1
0において、MPEG4の16×16マクロブロックを
構成する4つの8×8ブロックの動きベクトルの和を、
動きベクトルの個数で割ることによりMPEG4の16
×16マクロブロックの動きベクトルを算出する。
【0078】これにより、図16に示すように、動きベ
クトル補正部11は、そのブロックがイントラマクロブ
ロックに対応する場合に立つイントラモードフラグの状
態に応じて、スイッチ21を切り換えて補正を行う。
クトル補正部11は、そのブロックがイントラマクロブ
ロックに対応する場合に立つイントラモードフラグの状
態に応じて、スイッチ21を切り換えて補正を行う。
【0079】すなわち、動きベクトル補正部11は、イ
ントラモードフラグが立っている場合には、スイッチ2
1を1に倒して処理を補正処理部21に進める。補正処
理部21は、イントラマクロブロックに対応する0に設
定されたMPEG4の8×8ブロックの動きベクトル
を、動きベクトル変換部10で変換されたMPEG4の
16×16動きベクトルに置き換える。
ントラモードフラグが立っている場合には、スイッチ2
1を1に倒して処理を補正処理部21に進める。補正処
理部21は、イントラマクロブロックに対応する0に設
定されたMPEG4の8×8ブロックの動きベクトル
を、動きベクトル変換部10で変換されたMPEG4の
16×16動きベクトルに置き換える。
【0080】なお、このような置き換えに代え、補正処
理部21は、イントラマクロブロックに対応するMPE
G4の8×8ブロックの動きベクトルを、そのイントラ
マクロブロックの周辺に存在するインターマクロブロッ
クの動きベクトルから変換された動きベクトルに置き換
えることもできる。
理部21は、イントラマクロブロックに対応するMPE
G4の8×8ブロックの動きベクトルを、そのイントラ
マクロブロックの周辺に存在するインターマクロブロッ
クの動きベクトルから変換された動きベクトルに置き換
えることもできる。
【0081】また、補正処理部21は、イントラマクロ
ブロックに対応するMPEG4の8×8ブロックの動き
ベクトルを、そのイントラマクロブロックに一番近いイ
ンターマクロブロックの動きベクトルから変換された動
きベクトルに置き換えることもできる。
ブロックに対応するMPEG4の8×8ブロックの動き
ベクトルを、そのイントラマクロブロックに一番近いイ
ンターマクロブロックの動きベクトルから変換された動
きベクトルに置き換えることもできる。
【0082】さらに、MPEG2のマクロブロックタイ
プがスキップマクロブロックを示しているときには、M
PEG4の各ブロックの動きベクトルは0に設定され
る。
プがスキップマクロブロックを示しているときには、M
PEG4の各ブロックの動きベクトルは0に設定され
る。
【0083】一方、イントラフラグモードが立たない場
合には、動きベクトル補正部11はスイッチ21を2に
倒す。この場合には、入力されたMPEG4の8×8動
きベクトルがそのまま出力される。
合には、動きベクトル補正部11はスイッチ21を2に
倒す。この場合には、入力されたMPEG4の8×8動
きベクトルがそのまま出力される。
【0084】図10に戻り、動きベクトル変換部6から
は、図15に示した動きベクトル補正部11を介したM
PEG4の8×8動きベクトルと、動きベクトル変換部
10にて変換されたMPEG4の16×16動きベクト
ルが出力される。
は、図15に示した動きベクトル補正部11を介したM
PEG4の8×8動きベクトルと、動きベクトル変換部
10にて変換されたMPEG4の16×16動きベクト
ルが出力される。
【0085】図10の画像情報符号化部7では、解像度
/フレームレート変換部5からの出力画像に対して、動
きベクトル変換部6から出力されたMPEG4の16×
16動きベクトル又はMPEG4の8×8動きベクトル
を用いて、MPEG4画像符号化方式による符号化が行
わる。そして、この画像情報変換装置からは、画像情報
符号化部7で符号化されたMPEG4画像圧縮情報(ビ
ットストリーム)が出力される。
/フレームレート変換部5からの出力画像に対して、動
きベクトル変換部6から出力されたMPEG4の16×
16動きベクトル又はMPEG4の8×8動きベクトル
を用いて、MPEG4画像符号化方式による符号化が行
わる。そして、この画像情報変換装置からは、画像情報
符号化部7で符号化されたMPEG4画像圧縮情報(ビ
ットストリーム)が出力される。
【0086】
【発明が解決しようとする課題】ところで、図15に示
した動きベクトル変換部10においては、動きベクトル
変換部8から出力されたMPEG4の8×8動きベクト
ルの平均値を算出し、この算出値をMPEG4の16×
16動きベクトルとしている。
した動きベクトル変換部10においては、動きベクトル
変換部8から出力されたMPEG4の8×8動きベクト
ルの平均値を算出し、この算出値をMPEG4の16×
16動きベクトルとしている。
【0087】しかしながら、平均値を算出することで、
MPEG2画像圧縮情報(ビットストリーム)において
は符号化効率の高かったMPEG2の16×16動きベ
クトルを持つマクロブロックが、隣接する符号化効率の
低いマクロブロックに対するMPEG2の16×16動
きベクトルに影響され、MPEG4画像圧縮情報(ビッ
トストリーム)への符号化効率が低下するという問題点
を有している。
MPEG2画像圧縮情報(ビットストリーム)において
は符号化効率の高かったMPEG2の16×16動きベ
クトルを持つマクロブロックが、隣接する符号化効率の
低いマクロブロックに対するMPEG2の16×16動
きベクトルに影響され、MPEG4画像圧縮情報(ビッ
トストリーム)への符号化効率が低下するという問題点
を有している。
【0088】本発明は、上述の実情に鑑みて提案される
ものであって、動きベクトルを変換する際に、画像圧縮
情報への符号化効率が低下しないような動きベクトルを
選択する動きベクトル変換装置及び方法を提供すること
を目的とする。
ものであって、動きベクトルを変換する際に、画像圧縮
情報への符号化効率が低下しないような動きベクトルを
選択する動きベクトル変換装置及び方法を提供すること
を目的とする。
【0089】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明は、水平方向及び垂直方向共に16成分の
離散コサイン変換係数からなるマクロブロックから構成
される、飛び越し走査の画像を符号化した入力画像圧縮
情報を、水平方向及び垂直方向共に16成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向共
に1/2のサイズを有する順次走査の画像を符号化した
出力画像圧縮情報に変換する際に動きベクトルを変換す
る変換装置において、上記入力画像圧縮情報のマクロブ
ロックは上記変換により水平方向及び垂直方向共に8成
分のブロックに変換され、上記入力画像圧縮情報のマク
ロブロックを動き補償する第1の動きベクトルに基づい
て上記出力画像圧縮情報のマクロブロックを構成する上
記ブロックをそれぞれ動き補償する第2のベクトルを生
成し、この第2の動きベクトルの内で、符号化効率の最
も高いものを上記出力画像圧縮情報のマクロブロックを
動き補償する第3の動きベクトルとするものである。
めに、本発明は、水平方向及び垂直方向共に16成分の
離散コサイン変換係数からなるマクロブロックから構成
される、飛び越し走査の画像を符号化した入力画像圧縮
情報を、水平方向及び垂直方向共に16成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向共
に1/2のサイズを有する順次走査の画像を符号化した
出力画像圧縮情報に変換する際に動きベクトルを変換す
る変換装置において、上記入力画像圧縮情報のマクロブ
ロックは上記変換により水平方向及び垂直方向共に8成
分のブロックに変換され、上記入力画像圧縮情報のマク
ロブロックを動き補償する第1の動きベクトルに基づい
て上記出力画像圧縮情報のマクロブロックを構成する上
記ブロックをそれぞれ動き補償する第2のベクトルを生
成し、この第2の動きベクトルの内で、符号化効率の最
も高いものを上記出力画像圧縮情報のマクロブロックを
動き補償する第3の動きベクトルとするものである。
【0090】すなわち、本発明は、入力画像圧縮情報と
して飛び越し走査のMPEG2画像情報圧縮情報(ビッ
トストリーム)を入力とし、出力画像圧縮情報として順
次走査のMPEG4画像圧縮情報(ビットストリーム)
を出力する際に、MPEG2画像圧縮情報(ビットスト
リーム)における画枠サイズ、及び、動きベクトルなど
のマクロブロックごとの情報を入力とし、MPEG2の
16×16動きベクトルをMPEG4の8×8に変換す
る動きベクトル変換部、画像サイズ調整フラグによる動
きベクトル調整部、記憶手段であるマクロブロック情報
バッファ、MPEG4の8×8動きベクトルをMPEG
4の16×16に変換する動きベクトル変換部、MPE
G2のイントラマクロブロックに対する動きベクトル補
正部を有し、順次走査のMPEG4画像圧縮情報(ビッ
トストリーム)符号化の際に高い符号化効率を与えるM
PEG4の8×8動きベクトル及びMPEG4の16×
16動きベクトルを出力するものである。
して飛び越し走査のMPEG2画像情報圧縮情報(ビッ
トストリーム)を入力とし、出力画像圧縮情報として順
次走査のMPEG4画像圧縮情報(ビットストリーム)
を出力する際に、MPEG2画像圧縮情報(ビットスト
リーム)における画枠サイズ、及び、動きベクトルなど
のマクロブロックごとの情報を入力とし、MPEG2の
16×16動きベクトルをMPEG4の8×8に変換す
る動きベクトル変換部、画像サイズ調整フラグによる動
きベクトル調整部、記憶手段であるマクロブロック情報
バッファ、MPEG4の8×8動きベクトルをMPEG
4の16×16に変換する動きベクトル変換部、MPE
G2のイントラマクロブロックに対する動きベクトル補
正部を有し、順次走査のMPEG4画像圧縮情報(ビッ
トストリーム)符号化の際に高い符号化効率を与えるM
PEG4の8×8動きベクトル及びMPEG4の16×
16動きベクトルを出力するものである。
【0091】MPEG2の16×16動きベクトルをM
PEG4の8×8に変換する動きベクトル変換部におい
ては、MPEG2の16×16動きベクトルをスケーリ
ングし、また必要に応じて時間軸方向の補正をすること
でMPEG4の8×8動きベクトルを生成し、画像サイ
ズ調整フラグによる動きベクトルヘ調整部においては、
MPEG4画像情報に符号化する際にマクロブロック単
位の処理を行うことを可能にするための画枠調整を行
い、マクロブロック情報バッファにおいては、入力され
たMPEG2画像圧縮情報(ビットストリーム)におけ
る、ビット数、量子化スケール、非零DCT係数の個数
といったマクロブロックごとの情報を格納し、MPEG
4の8×8動きベクトルからMPEG4の16×16に
変換する動きベクトル変換部においては、マクロブロッ
ク情報バッファに格納された情報を元に、MPEG4画
像圧縮情報(ビットストリーム)の中の当該マクロブロ
ックに対するMPEG4の8×8動きベクトルの内の1
つを選択してMPEG4の16×16動きベクトルと
し、MPEG2イントラマクロブロックに対する動きベ
クトル補正部においては、MPEG2画像圧縮情報(ビ
ットストリーム)中の情報であるイントラモードフラグ
に応じた、MPEG4の8×8動きベクトルの補正を行
う。
PEG4の8×8に変換する動きベクトル変換部におい
ては、MPEG2の16×16動きベクトルをスケーリ
ングし、また必要に応じて時間軸方向の補正をすること
でMPEG4の8×8動きベクトルを生成し、画像サイ
ズ調整フラグによる動きベクトルヘ調整部においては、
MPEG4画像情報に符号化する際にマクロブロック単
位の処理を行うことを可能にするための画枠調整を行
い、マクロブロック情報バッファにおいては、入力され
たMPEG2画像圧縮情報(ビットストリーム)におけ
る、ビット数、量子化スケール、非零DCT係数の個数
といったマクロブロックごとの情報を格納し、MPEG
4の8×8動きベクトルからMPEG4の16×16に
変換する動きベクトル変換部においては、マクロブロッ
ク情報バッファに格納された情報を元に、MPEG4画
像圧縮情報(ビットストリーム)の中の当該マクロブロ
ックに対するMPEG4の8×8動きベクトルの内の1
つを選択してMPEG4の16×16動きベクトルと
し、MPEG2イントラマクロブロックに対する動きベ
クトル補正部においては、MPEG2画像圧縮情報(ビ
ットストリーム)中の情報であるイントラモードフラグ
に応じた、MPEG4の8×8動きベクトルの補正を行
う。
【0092】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。
て、図面を参照して詳細に説明する。
【0093】本発明を適用した動きベクトル変換装置の
構成について、図1を参照して説明する。
構成について、図1を参照して説明する。
【0094】本実施の形態の動きベクトル変換装置は、
飛び越し走査のMPEG2画像圧縮情報(ビットストリ
ーム)を順次走査のMPEG4画像圧縮情報(ビットス
トリーム)に変換する画像情報変換装置に備えられ、入
力されたMPEG2画像圧縮情報(ビットストリーム)
のMPEG2の16×16動きベクトルをMPEG4画
像圧縮情報(ビットストリーム)のMPEG4の16×
16動きベクトル又はMPEG4の8×8動きベクトル
に変換するものである。
飛び越し走査のMPEG2画像圧縮情報(ビットストリ
ーム)を順次走査のMPEG4画像圧縮情報(ビットス
トリーム)に変換する画像情報変換装置に備えられ、入
力されたMPEG2画像圧縮情報(ビットストリーム)
のMPEG2の16×16動きベクトルをMPEG4画
像圧縮情報(ビットストリーム)のMPEG4の16×
16動きベクトル又はMPEG4の8×8動きベクトル
に変換するものである。
【0095】動きベクトル変換装置には、MPEG2の
16×16動きベクトル、画像サイズ、MPEG2の1
6×16マクロブロック等のパラメータが入力される。
16×16動きベクトル、画像サイズ、MPEG2の1
6×16マクロブロック等のパラメータが入力される。
【0096】動きベクトル変換装置は、入力されたMP
EG2の16×16動きベクトルをMPEG4の8×8
動きベクトルに変換する動きベクトル変換部12と、動
きベクトル変換部12から出力されたMPEG4の8×
8動きベクトルを画像サイズ調整フラグに基づいた画像
サイズの調整に対応して調整する動きベクトル調整部1
3とを有している。
EG2の16×16動きベクトルをMPEG4の8×8
動きベクトルに変換する動きベクトル変換部12と、動
きベクトル変換部12から出力されたMPEG4の8×
8動きベクトルを画像サイズ調整フラグに基づいた画像
サイズの調整に対応して調整する動きベクトル調整部1
3とを有している。
【0097】また、動きベクトル変換装置は、入力され
たマクロブロック情報を格納するマクロブロック情報バ
ッファ14と、マクロブロック情報バッファ14に格納
されたマクロブロック情報に基づいて、動きベクトル調
整部13から出力されたMPEG4の8×8動きベクト
ルをMPEG4の16×16の動きベクトルに変換する
動きベクトル変換部15とを有している。
たマクロブロック情報を格納するマクロブロック情報バ
ッファ14と、マクロブロック情報バッファ14に格納
されたマクロブロック情報に基づいて、動きベクトル調
整部13から出力されたMPEG4の8×8動きベクト
ルをMPEG4の16×16の動きベクトルに変換する
動きベクトル変換部15とを有している。
【0098】さらに、動きベクトル変換装置は、動きベ
クトル変換部15から送られたMPEG4の16×16
動きベクトルに基づいて、動きベクトル調整部13から
出力されたMPEG4の16×16動きベクトルを用い
てイントラマクロブロックに対する補正を行う動きベク
トル補正部16とを有している。
クトル変換部15から送られたMPEG4の16×16
動きベクトルに基づいて、動きベクトル調整部13から
出力されたMPEG4の16×16動きベクトルを用い
てイントラマクロブロックに対する補正を行う動きベク
トル補正部16とを有している。
【0099】そして、動きベクトル変換装置は、動きベ
クトル変換部15からのMPEG4の16×6動きベク
トルと、動きベクトル補正部16からの8×8動きベク
トルとを出力する。
クトル変換部15からのMPEG4の16×6動きベク
トルと、動きベクトル補正部16からの8×8動きベク
トルとを出力する。
【0100】次に、動きベクトル変換部15におけるM
PEG4の8×8動きベクトルからMPEG4の16×
16動きベクトルへの変換の動作原理について説明す
る。
PEG4の8×8動きベクトルからMPEG4の16×
16動きベクトルへの変換の動作原理について説明す
る。
【0101】本実施の形態では、動きベクトル変換部1
5は、動きベクトル調整部13から供給されるMPEG
4の8×8動きベクトルの内、符号化効率が最も高いと
思われるMPEG4の8×8マクロブロックの動きベク
トルを選択する。そして、選択されたMPEG4の8×
8動きベクトルをMPEG4の16×16動きベクトル
として出力する。
5は、動きベクトル調整部13から供給されるMPEG
4の8×8動きベクトルの内、符号化効率が最も高いと
思われるMPEG4の8×8マクロブロックの動きベク
トルを選択する。そして、選択されたMPEG4の8×
8動きベクトルをMPEG4の16×16動きベクトル
として出力する。
【0102】ここで、動きベクトル変換部15は、マク
ロブロック情報バッファ14に格納されたマクロブロッ
ク情報に基づいて、MPEG4の8×8ブロックに対応
するMPEG2の16×16マクロブロックの符号化効
率を判定する。
ロブロック情報バッファ14に格納されたマクロブロッ
ク情報に基づいて、MPEG4の8×8ブロックに対応
するMPEG2の16×16マクロブロックの符号化効
率を判定する。
【0103】上述したように、動きベクトル変換部12
における変換において、MPEG4の8×8ブロックに
はMPEG2の16×16マクロブロックが対応してい
る。符号化効率の判定は、MPEG4の16×16マク
ロブロックを構成する4つのMPEG4の8×8ブロッ
クに対応する4つのMPEG2の16×16マクロブロ
ックに対して行われる。
における変換において、MPEG4の8×8ブロックに
はMPEG2の16×16マクロブロックが対応してい
る。符号化効率の判定は、MPEG4の16×16マク
ロブロックを構成する4つのMPEG4の8×8ブロッ
クに対応する4つのMPEG2の16×16マクロブロ
ックに対して行われる。
【0104】具体的には、動きベクトル変換部15は、
次に掲げるような方法により、4つのMPEG2の16
×16マクロブロックの内、符号化効率の最も高いマク
ロブロックを判定する。
次に掲げるような方法により、4つのMPEG2の16
×16マクロブロックの内、符号化効率の最も高いマク
ロブロックを判定する。
【0105】第一の方法は、MPEG2の16×16マ
クロブロックを構成する16×16DCT係数の内、非
零のDCT係数が最も少ないMPEG2の16×16マ
クロブロックを符号化効率の最も高いマクロブロックと
判定するものである。
クロブロックを構成する16×16DCT係数の内、非
零のDCT係数が最も少ないMPEG2の16×16マ
クロブロックを符号化効率の最も高いマクロブロックと
判定するものである。
【0106】第二の方法は、MPEG2の16×16マ
クロブロックは輝度成分及び色差成分より構成される
が、この内で輝度成分のDCT係数に割り当てられたビ
ット数の最も少ないマクロブロックを符号化効率の最も
高いマクロブロックと判定するものである。
クロブロックは輝度成分及び色差成分より構成される
が、この内で輝度成分のDCT係数に割り当てられたビ
ット数の最も少ないマクロブロックを符号化効率の最も
高いマクロブロックと判定するものである。
【0107】第三の方法は、MPEG2の16×16マ
クロブロックのDCT係数に割り当てられたビット数の
最も少ないマクロブロックを符号化効率の最も高いマク
ロブロックと判定するものである。
クロブロックのDCT係数に割り当てられたビット数の
最も少ないマクロブロックを符号化効率の最も高いマク
ロブロックと判定するものである。
【0108】第四の方法は、動きベクトル等を含め、M
PEG2の16×16マクロブロックに割り当てられた
全ビット数の最も少ないマクロブロックを符号化効率の
最も高いマクロブロックと判定するものである。
PEG2の16×16マクロブロックに割り当てられた
全ビット数の最も少ないマクロブロックを符号化効率の
最も高いマクロブロックと判定するものである。
【0109】第五の方法は、MPEG2の16×16マ
クロブロックのDCT係数を量子化するために割り当て
られた量子化スケールが最も小さいマクロブロックを符
号化効率の最も高いマクロブロックと判定するものであ
る。
クロブロックのDCT係数を量子化するために割り当て
られた量子化スケールが最も小さいマクロブロックを符
号化効率の最も高いマクロブロックと判定するものであ
る。
【0110】第六の方法は、コンプレキシティXの最も
低いMPEG2の16×16マクロブロックを符号化効
率の最も高いマクロブロックと判定するものである。
低いMPEG2の16×16マクロブロックを符号化効
率の最も高いマクロブロックと判定するものである。
【0111】ここで、各マクロブロックに割り当てられ
たコンプレキシティXは、そのマクロブロックに割り当
てられた量子化スケールQ、及びビット数Bを用いて以
下のように計算される。
たコンプレキシティXは、そのマクロブロックに割り当
てられた量子化スケールQ、及びビット数Bを用いて以
下のように計算される。
【0112】
【数1】
【0113】ビット数Bは、マクロブロック全体に割り
当てられたビット数、DCT係数に割り当てられたビッ
ト数、又は輝度成分に割り当てられたDCT係数に割り
当てられたビット数のいずれでもよい。
当てられたビット数、DCT係数に割り当てられたビッ
ト数、又は輝度成分に割り当てられたDCT係数に割り
当てられたビット数のいずれでもよい。
【0114】このように、動きベクトル変換部15は、
符号化効率の最も高いと思われるMPEG2の16×1
6マクロブロックに対応するMPEG4の8×8動きベ
クトルを選択し、この動きベクトルをMPEG4の16
×16動きベクトルとしている。
符号化効率の最も高いと思われるMPEG2の16×1
6マクロブロックに対応するMPEG4の8×8動きベ
クトルを選択し、この動きベクトルをMPEG4の16
×16動きベクトルとしている。
【0115】したがって、動きベクトル変換装置15を
用いることにより、MPEG2画像圧縮情報(ビットス
トリーム)をMPEG4画像圧縮情報(ビットストリー
ム)に変換する際に、画像情報の符号化効率の低減を抑
制することができる。
用いることにより、MPEG2画像圧縮情報(ビットス
トリーム)をMPEG4画像圧縮情報(ビットストリー
ム)に変換する際に、画像情報の符号化効率の低減を抑
制することができる。
【0116】次に、MPEG2の16×16動きベクト
ルをMPEG4の8×8動きベクトルに変換する動きベ
クトル変換部12の動作原理について、図2を参照して
説明する。
ルをMPEG4の8×8動きベクトルに変換する動きベ
クトル変換部12の動作原理について、図2を参照して
説明する。
【0117】なお、動きベクトル変換部12には、MP
EG2の16×16動きベクトルと共にマクロブロック
タイプ等が入力されるものとする。
EG2の16×16動きベクトルと共にマクロブロック
タイプ等が入力されるものとする。
【0118】最初のステップS11において、動きベク
トル変換部12の処理は、入力されたマクロブロックタ
イプが、フレーム内で符号化されたイントラマクロブロ
ック、フレーム間で予測符号化されたインターマクロブ
ロック、又はスキップされるスキップマクロブロックの
いずれであるかによって分岐する。
トル変換部12の処理は、入力されたマクロブロックタ
イプが、フレーム内で符号化されたイントラマクロブロ
ック、フレーム間で予測符号化されたインターマクロブ
ロック、又はスキップされるスキップマクロブロックの
いずれであるかによって分岐する。
【0119】すなわち、動きベクトル変換部12の処理
は、マクロブロックタイプがイントラマクロブロックの
場合にはステップS12に、スキップマクロブロックの
場合にはステップS13に、インターマクロブロックの
場合にはステップS14に、それぞれ進む。
は、マクロブロックタイプがイントラマクロブロックの
場合にはステップS12に、スキップマクロブロックの
場合にはステップS13に、インターマクロブロックの
場合にはステップS14に、それぞれ進む。
【0120】ステップS12において、動きベクトル変
換部12は、イントラマクロブロックに対する処理を行
う。動きベクトル変換部12は、まず、イントラマクロ
ブロックに対しては、MPEG4の8×8動きベクトル
を0に設定する。さらに、動きベクトル変換部12は、
後段の動きベクトル補正部16における動きベクトルの
補正の際に参照するために、イントラモードフラグを立
てる。例えば、Iピクチャのイントラマクロブロックに
対しては、イントラモードフラグが立つ。
換部12は、イントラマクロブロックに対する処理を行
う。動きベクトル変換部12は、まず、イントラマクロ
ブロックに対しては、MPEG4の8×8動きベクトル
を0に設定する。さらに、動きベクトル変換部12は、
後段の動きベクトル補正部16における動きベクトルの
補正の際に参照するために、イントラモードフラグを立
てる。例えば、Iピクチャのイントラマクロブロックに
対しては、イントラモードフラグが立つ。
【0121】ステップS13において、動きベクトル変
換部12は、スキップマクロブロックに対する処理を行
う。すなわち、動きベクトル変換部12は、マクロブロ
ックに対して、MPEG4の8×8動きベクトルを0に
設定する。
換部12は、スキップマクロブロックに対する処理を行
う。すなわち、動きベクトル変換部12は、マクロブロ
ックに対して、MPEG4の8×8動きベクトルを0に
設定する。
【0122】ステップS14において、動きベクトル変
換部12の処理は、インターマクロブロックに対して、
当該マクロブックがフレーム予測又はフィールド予測の
いずれであるかによって分岐する。すなわち、動きベク
トル変換部12は、フレーム予測の場合にはステップS
15に、フィールド予測の場合にはステップS16に処
理を進める。
換部12の処理は、インターマクロブロックに対して、
当該マクロブックがフレーム予測又はフィールド予測の
いずれであるかによって分岐する。すなわち、動きベク
トル変換部12は、フレーム予測の場合にはステップS
15に、フィールド予測の場合にはステップS16に処
理を進める。
【0123】ステップS15において、動きベクトル変
換部12は、フレーム予測のインターマクロブロックに
対する動きベクトル変換の処理を行う。動きベクトル変
換部12は、画像の解像度変換に応じて動きベクトルを
変換する。
換部12は、フレーム予測のインターマクロブロックに
対する動きベクトル変換の処理を行う。動きベクトル変
換部12は、画像の解像度変換に応じて動きベクトルを
変換する。
【0124】図3を用いて、インターマクロブロックに
対して、フレーム構造の画像にフレーム予測を行う場合
の動きベクトル変換の様子を説明する。
対して、フレーム構造の画像にフレーム予測を行う場合
の動きベクトル変換の様子を説明する。
【0125】図3のAに示す解像度変換前の画像には、
現フレームにおける太陽31及び山32が表示されてい
る。解像度変換前の動きベクトルMVは、前フレームの
太陽33の位置を始点とし、現フレームの太陽31の位
置に向かっている。すなわち、解像度変換前の16×1
6動きベクトルであるこの動きベクトルMVは、(0,
0)から(8,12)に向かっている。
現フレームにおける太陽31及び山32が表示されてい
る。解像度変換前の動きベクトルMVは、前フレームの
太陽33の位置を始点とし、現フレームの太陽31の位
置に向かっている。すなわち、解像度変換前の16×1
6動きベクトルであるこの動きベクトルMVは、(0,
0)から(8,12)に向かっている。
【0126】ここで、動きベクトルMVは、水平方向及
び垂直方向のそれぞれついて、画像を構成する整数画素
a1に相当する位置0,2,4,・・・と、隣接する整
数画素a1の間の位置1,3,5,・・・に想定された
仮想的な半画素a2とを用いて表されている。なお、こ
の半画素a2は、動きベクトルMVを整数画素a1に相
当する位置の1/2の精度で表すために想定された実在
しない画素である。
び垂直方向のそれぞれついて、画像を構成する整数画素
a1に相当する位置0,2,4,・・・と、隣接する整
数画素a1の間の位置1,3,5,・・・に想定された
仮想的な半画素a2とを用いて表されている。なお、こ
の半画素a2は、動きベクトルMVを整数画素a1に相
当する位置の1/2の精度で表すために想定された実在
しない画素である。
【0127】一方、図3のBに示す解像度変換後の画像
は、図3のAに示した画像の解像度を1/2に変換した
ものである。
は、図3のAに示した画像の解像度を1/2に変換した
ものである。
【0128】この解像度変換により、水平方向及び垂直
方向について、図3のAに示した位置0,4,8,・・
・に相当する整数画素a1が残り、図3のBに示した整
数画素b1の位置0’,2’,4’,・・・に相当する
ようになる。図3のAに示した位置2,6,10,・・
・に相当する整数画素a1は捨てられる。なお、図3の
Bにおいては、動きベクトルMV’を整数画素b1に相
当する位置0’,2’,4’,・・・の1/2の精度で
表すために、隣接する整数画素b1の間の位置1’,
3’,5’,・・・に仮想的な半画素b2が想定されて
いる。
方向について、図3のAに示した位置0,4,8,・・
・に相当する整数画素a1が残り、図3のBに示した整
数画素b1の位置0’,2’,4’,・・・に相当する
ようになる。図3のAに示した位置2,6,10,・・
・に相当する整数画素a1は捨てられる。なお、図3の
Bにおいては、動きベクトルMV’を整数画素b1に相
当する位置0’,2’,4’,・・・の1/2の精度で
表すために、隣接する整数画素b1の間の位置1’,
3’,5’,・・・に仮想的な半画素b2が想定されて
いる。
【0129】解像度変換後の動きベクトルMV’も、前
フレームの太陽36の位置を始点とし、現フレームの太
陽34の位置に向かっている。すなわち、解像度変換後
の8×8動きベクトルであるこの動きベクトルMV’
は、(0,0)から(4’,6’)に向かっている。
フレームの太陽36の位置を始点とし、現フレームの太
陽34の位置に向かっている。すなわち、解像度変換後
の8×8動きベクトルであるこの動きベクトルMV’
は、(0,0)から(4’,6’)に向かっている。
【0130】このような画像の解像度変換に応じて、解
像度変換前の動きベクトルMVから解像度変換後の動き
ベクトルMV’への変換を行うものとする。すなわち、
解像度変換後の動きベクトルMV’の水平成分は、画像
の水平方向の解像度変換レートに応じて1/2倍に変換
される。同様に、解像度変換後の動きベクトルMV’の
垂直成分も、画像の垂直成分の解像度変換レートに応じ
て1/2倍に変換される。
像度変換前の動きベクトルMVから解像度変換後の動き
ベクトルMV’への変換を行うものとする。すなわち、
解像度変換後の動きベクトルMV’の水平成分は、画像
の水平方向の解像度変換レートに応じて1/2倍に変換
される。同様に、解像度変換後の動きベクトルMV’の
垂直成分も、画像の垂直成分の解像度変換レートに応じ
て1/2倍に変換される。
【0131】例えば、図3のAに示した(0,0)から
(8,12)に向かう解像度変換前の動きベクトルMV
は、水平成分8及び垂直成分12であるので、解像度変
換レートに応じて1/2倍されて水平成分4及び垂直成
分6となる。したがって、図3のBに示す(0,0)か
ら(4,6)に向かう解像度変換後の動きベクトルM
V’が得られる。
(8,12)に向かう解像度変換前の動きベクトルMV
は、水平成分8及び垂直成分12であるので、解像度変
換レートに応じて1/2倍されて水平成分4及び垂直成
分6となる。したがって、図3のBに示す(0,0)か
ら(4,6)に向かう解像度変換後の動きベクトルM
V’が得られる。
【0132】ところで、解像度変換後の動きベクトルM
V’は、水平成分及び垂直成分に相当する整数画素b1
又は半画素b2が存在しないことがある。なお、以下の
説明では便宜上動きベクトルの水平成分についてのみ言
及するが、垂直成分についても同様である。
V’は、水平成分及び垂直成分に相当する整数画素b1
又は半画素b2が存在しないことがある。なお、以下の
説明では便宜上動きベクトルの水平成分についてのみ言
及するが、垂直成分についても同様である。
【0133】すなわち、図3のAの上部に対応関係を示
すように、解像度変換前の画像において、解像度変換前
の動きベクトルMVの水平成分が整数画素a1に相当す
る0,4,8,・・・のとき、すなわち水平成分を4で
割った余りが0となるときには、解像度変換レートに応
じて1/2倍して得た解像度変換後の動きベクトルM
V’の水平成分は0’,2’,4’,・・・となり、解
像度変換後の画像における整数画素b1に相当する。
すように、解像度変換前の画像において、解像度変換前
の動きベクトルMVの水平成分が整数画素a1に相当す
る0,4,8,・・・のとき、すなわち水平成分を4で
割った余りが0となるときには、解像度変換レートに応
じて1/2倍して得た解像度変換後の動きベクトルM
V’の水平成分は0’,2’,4’,・・・となり、解
像度変換後の画像における整数画素b1に相当する。
【0134】同様に、解像度変換前の動きベクトルMV
の水平成分が整数画素a1に相当する2,6,10,・
・・のとき、すなわち水平成分を4で割った余りが2と
なるときには、解像度変換レートに応じて1/2倍して
得た解像度変換後の動きベクトルMV’の水平成分は
1’,3’,5’,・・・となり、解像度変換後の画像
における半画素b2に相当する。
の水平成分が整数画素a1に相当する2,6,10,・
・・のとき、すなわち水平成分を4で割った余りが2と
なるときには、解像度変換レートに応じて1/2倍して
得た解像度変換後の動きベクトルMV’の水平成分は
1’,3’,5’,・・・となり、解像度変換後の画像
における半画素b2に相当する。
【0135】しかし、解像度変換前の動きベクトルMV
の水平成分が半画素a2に相当する1,3,5,7,・
・・のときには、解像度変換前の動きベクトルMVの水
平成分を解像度変換レートに応じて1/2倍した値1/
2,3/2,5/2,7/2,・・・には、相当する画
素が存在しない。
の水平成分が半画素a2に相当する1,3,5,7,・
・・のときには、解像度変換前の動きベクトルMVの水
平成分を解像度変換レートに応じて1/2倍した値1/
2,3/2,5/2,7/2,・・・には、相当する画
素が存在しない。
【0136】そこで、本実施の形態においては、かかる
場合には、解像度変換後の動きベクトルMV’の水平成
分は、半画素b2に相当する1’,1’,3’,3’,
・・・に変換されるものとする。
場合には、解像度変換後の動きベクトルMV’の水平成
分は、半画素b2に相当する1’,1’,3’,3’,
・・・に変換されるものとする。
【0137】これら解像度変換前の動きベクトルMVの
水平成分と、解像度変換後の動きベクトルMV’の関係
をまとめて図4に示す。なお、この図4においては、解
像度変換前の動きベクトルMVの水平成分又は垂直成分
の値をMVと表記している。
水平成分と、解像度変換後の動きベクトルMV’の関係
をまとめて図4に示す。なお、この図4においては、解
像度変換前の動きベクトルMVの水平成分又は垂直成分
の値をMVと表記している。
【0138】すなわち、解像度変換前の動きベクトルM
Vの水平成分を4で割った余りが0の場合には、解像度
変換後の動きベクトルMV’の水平成分[MV/2]は
整数画素b1に相当する。したがって、解像度変換後の
動きベクトルMV’の水平成分を[MV/2]とする。
Vの水平成分を4で割った余りが0の場合には、解像度
変換後の動きベクトルMV’の水平成分[MV/2]は
整数画素b1に相当する。したがって、解像度変換後の
動きベクトルMV’の水平成分を[MV/2]とする。
【0139】解像度変換前の動きベクトルMVの水平成
分を4で割った余りが1の場合には、解像度変換前の動
きベクトルMVの水平成分を解像度変換レートに応じて
1/2倍した値[MV/2]、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルMV’の水平成分
は、[MV/2]+1として半画素b2に対応させる。
分を4で割った余りが1の場合には、解像度変換前の動
きベクトルMVの水平成分を解像度変換レートに応じて
1/2倍した値[MV/2]、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルMV’の水平成分
は、[MV/2]+1として半画素b2に対応させる。
【0140】解像度変換前の動きベクトルMVの水平成
分を4で割った余りが2の場合には、解像度変換後の動
きベクトルMV’の水平成分[MV/2]は半画素b2
に相当する。この場合には、解像度変換後の動きベクト
ルMV’の水平成分を[MV/2]とする。
分を4で割った余りが2の場合には、解像度変換後の動
きベクトルMV’の水平成分[MV/2]は半画素b2
に相当する。この場合には、解像度変換後の動きベクト
ルMV’の水平成分を[MV/2]とする。
【0141】解像度変換前の動きベクトルMVの水平成
分を4で割った余りが3の場合には、解像度変換前の動
きベクトルMVの水平成分を解像度変換レートに応じて
1/2倍した値[MV/2]、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルMV’の水平成分
は、[MV/2]−1として半画素b2に対応させる。
分を4で割った余りが3の場合には、解像度変換前の動
きベクトルMVの水平成分を解像度変換レートに応じて
1/2倍した値[MV/2]、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルMV’の水平成分
は、[MV/2]−1として半画素b2に対応させる。
【0142】このように、本実施の形態では、MPEG
4画像符号化方式による符号化の予測効率が低減して画
質が劣化することがないように、解像度変換前の動きベ
クトルMVが半画素a2に相当する場合には、解像度変
換後の動きベクトルMV’も半画素b2に相当するよう
に変換を行っている。
4画像符号化方式による符号化の予測効率が低減して画
質が劣化することがないように、解像度変換前の動きベ
クトルMVが半画素a2に相当する場合には、解像度変
換後の動きベクトルMV’も半画素b2に相当するよう
に変換を行っている。
【0143】なお、このような変換を行わないと、解像
度変換前に動きベクトルMVが半画素a2に相当する場
合には、解像度変換後の動きベクトルMV’に相当する
画素がなくなり、復号された画像信号には、量子化によ
る歪みが本来含まれているため、そのまま予測画像とし
て使用すると予測効率が低下し、画質の劣化を引き起こ
す場合がある。
度変換前に動きベクトルMVが半画素a2に相当する場
合には、解像度変換後の動きベクトルMV’に相当する
画素がなくなり、復号された画像信号には、量子化によ
る歪みが本来含まれているため、そのまま予測画像とし
て使用すると予測効率が低下し、画質の劣化を引き起こ
す場合がある。
【0144】このような画質の劣化を低減するために、
低域フィルタに相当する参照画面での各画素間を1:1
で直線補間した半画素精度を選択することもあり、これ
によっても画質劣化を避けることができる。
低域フィルタに相当する参照画面での各画素間を1:1
で直線補間した半画素精度を選択することもあり、これ
によっても画質劣化を避けることができる。
【0145】図2に戻り、ステップS16において、フ
ィールド予測のインターマクロブロックに対しては、動
きベクトル変換部12の処理は、第一フィールド予測又
は第二フィールド予測のいずれかによって分岐する。す
なわち、第一フィールド予測の場合はステップS17
に、第二フィールド予測の場合はステップS18に進
む。
ィールド予測のインターマクロブロックに対しては、動
きベクトル変換部12の処理は、第一フィールド予測又
は第二フィールド予測のいずれかによって分岐する。す
なわち、第一フィールド予測の場合はステップS17
に、第二フィールド予測の場合はステップS18に進
む。
【0146】第一フィールド予測である場合は、動きベ
クトル変換部12は、ステップS17において、第一フ
ィールド予測に適した動きベクトルへの変換を行う。こ
のような第一フィールド予測に適した動きベクトルへの
変換について、図5を参照して説明する。
クトル変換部12は、ステップS17において、第一フ
ィールド予測に適した動きベクトルへの変換を行う。こ
のような第一フィールド予測に適した動きベクトルへの
変換について、図5を参照して説明する。
【0147】図5のAに示すように、第一フィールドの
ラインa3及び第二フィールドのラインa4の内、第一
フィールドのラインa3を取り出す間引きを行うことに
より、解像度を1/2にする解像度変換が行われる。
ラインa3及び第二フィールドのラインa4の内、第一
フィールドのラインa3を取り出す間引きを行うことに
より、解像度を1/2にする解像度変換が行われる。
【0148】図5のBには、第一フィールドのラインb
3を取り出すことで、垂直方向に解像度が1/2になっ
た画像が示されている。また、第一フィールド予測を行
っているため、解像度変換前の動きベクトルMVは、そ
のまま解像度変換後の動きベクトルMV’になる。
3を取り出すことで、垂直方向に解像度が1/2になっ
た画像が示されている。また、第一フィールド予測を行
っているため、解像度変換前の動きベクトルMVは、そ
のまま解像度変換後の動きベクトルMV’になる。
【0149】なお、動きベクトルMVの水平成分につい
ては、図4に示したフレーム予測のインターマクロブロ
ックの場合と同様な処理を行われるので説明を省略す
る。
ては、図4に示したフレーム予測のインターマクロブロ
ックの場合と同様な処理を行われるので説明を省略す
る。
【0150】一方、図2のステップS18では、第二フ
ィールド予測に適した動きベクトルの変換を行う。この
ステップS18における第二フィールド予測の動きベク
トル変換について、図6を参照して説明する。
ィールド予測に適した動きベクトルの変換を行う。この
ステップS18における第二フィールド予測の動きベク
トル変換について、図6を参照して説明する。
【0151】図6のAにおいて、第一フィールドのライ
ンa3及び第二フィールドのラインa4の内、第一フィ
ールドのラインa3を取り出す間引きを行うことによ
り、解像度を1/2にする解像度変換が行われる。この
ため、この第二フィールド予測の場合においても、解像
度変換後には第一フィールドの画素値を参照画像として
用いる。
ンa3及び第二フィールドのラインa4の内、第一フィ
ールドのラインa3を取り出す間引きを行うことによ
り、解像度を1/2にする解像度変換が行われる。この
ため、この第二フィールド予測の場合においても、解像
度変換後には第一フィールドの画素値を参照画像として
用いる。
【0152】図6のBには、参照画像として用いられる
第一フィールドのラインb3のみから構成される解像度
変換後の画像が示されている。
第一フィールドのラインb3のみから構成される解像度
変換後の画像が示されている。
【0153】しかし、飛び越し走査のMPEG2画像圧
縮情報では第一フィールドの画像と第二フィールドの画
像には、時間的及び空間的なずれがある。このため、M
PEG2で予測画像として用いた第二フィールドの画素
値を解像度変換後の第一フィールド予測に変換するよう
に、動きベクトルの時間的及び空間的な補正を行う。
縮情報では第一フィールドの画像と第二フィールドの画
像には、時間的及び空間的なずれがある。このため、M
PEG2で予測画像として用いた第二フィールドの画素
値を解像度変換後の第一フィールド予測に変換するよう
に、動きベクトルの時間的及び空間的な補正を行う。
【0154】まず、第二フィールド予測から近似的に第
一フィールド予測に変換するための空間的補正として、
動きベクトルの垂直成分に1を加える。これによって、
図6のAに示すように、第二フィールド予測で求めた動
きベクトルMVbottomは、垂直成分に1を加えることに
より垂直方向に一行を繰り上げられ、第二フィールドが
第一フィールドと同様の位置に達し、第一フィールド予
測の近似動きベクトルMVtopが得られる。
一フィールド予測に変換するための空間的補正として、
動きベクトルの垂直成分に1を加える。これによって、
図6のAに示すように、第二フィールド予測で求めた動
きベクトルMVbottomは、垂直成分に1を加えることに
より垂直方向に一行を繰り上げられ、第二フィールドが
第一フィールドと同様の位置に達し、第一フィールド予
測の近似動きベクトルMVtopが得られる。
【0155】このような空間的な補正によって、第二フ
ィールド予測で求めた動きベクトルMVbottomの空間的
な位置は、第一フィールド予測で求めた動きベクトルと
同様になる。
ィールド予測で求めた動きベクトルMVbottomの空間的
な位置は、第一フィールド予測で求めた動きベクトルと
同様になる。
【0156】式(2)は、近似第一フィールド、すなわ
ち第一フィールドと同様な空間位置にある第二フィール
ドを空間的な補正によって予測した時の動きベクトルM
Vto pの垂直成分を表している。
ち第一フィールドと同様な空間位置にある第二フィール
ドを空間的な補正によって予測した時の動きベクトルM
Vto pの垂直成分を表している。
【0157】
【数2】
【0158】次に、第二フィールドから近似された第一
フィールドと実際の第一フィールドとの時間ずれの補正
を行う。
フィールドと実際の第一フィールドとの時間ずれの補正
を行う。
【0159】図7は、時間ずれの補正を説明する図であ
る。すなわち、図7のAにおける各フレームは、第一フ
ィールド及び第二フィールドから構成されるが、第一フ
ィールドと第二フィールドの時間間隔を1とすると、I
ピクチャの第二フィールドとPピクチャの第一フィール
ドの時間間隔をaは1,3,5,・・・の値を取り得
る。
る。すなわち、図7のAにおける各フレームは、第一フ
ィールド及び第二フィールドから構成されるが、第一フ
ィールドと第二フィールドの時間間隔を1とすると、I
ピクチャの第二フィールドとPピクチャの第一フィール
ドの時間間隔をaは1,3,5,・・・の値を取り得
る。
【0160】図中には、Iピクチャの第一フィールドを
参照してPピクチャの第一フィールドを予測する動きベ
クトルMVtopと、Iピクチャの第二フィールドを参照
してPピクチャの第一フィールドを予測する動きベクト
ルMVbottomとが示されている。
参照してPピクチャの第一フィールドを予測する動きベ
クトルMVtopと、Iピクチャの第二フィールドを参照
してPピクチャの第一フィールドを予測する動きベクト
ルMVbottomとが示されている。
【0161】図7のBには、図7のAに示した画像に解
像度変換及びフレームレート変換により変換されたIピ
クチャの第一フィールド及びPピクチャの第一フィール
ドと、解像度変換後の動きベクトルMV’が示されてい
る。
像度変換及びフレームレート変換により変換されたIピ
クチャの第一フィールド及びPピクチャの第一フィール
ドと、解像度変換後の動きベクトルMV’が示されてい
る。
【0162】これらの時間間隔の比率により、第二フィ
ールドを参照する動きベクトルMVbottomから近似した
近似MVtopを用いて、時間のずれを補正して解像度変
換後の動きベクトルMV’を得るためには式(3)を適
用する。
ールドを参照する動きベクトルMVbottomから近似した
近似MVtopを用いて、時間のずれを補正して解像度変
換後の動きベクトルMV’を得るためには式(3)を適
用する。
【0163】
【数3】
【0164】式(2)を式(3)に代入すると、解像度
変換後の動きベクトルMV’の垂直成分は、式(4)の
ようになる。
変換後の動きベクトルMV’の垂直成分は、式(4)の
ようになる。
【0165】
【数4】
【0166】なお、解像度変換後の動きベクトルの水平
成分に対しては、、解像度変換前の動きベクトルMV
bottomに(a+1)/aを乗じ、時間的な補正を行った
後、先に図4に示したように変換される。すなわち、解
像度変換前に半画素に相当する動きベクトルは、解像度
変換後にも半画素に相当する動きベクトルに変換され
る。
成分に対しては、、解像度変換前の動きベクトルMV
bottomに(a+1)/aを乗じ、時間的な補正を行った
後、先に図4に示したように変換される。すなわち、解
像度変換前に半画素に相当する動きベクトルは、解像度
変換後にも半画素に相当する動きベクトルに変換され
る。
【0167】場合によっては、動きベクトルの垂直成分
に対して時間的補正を行った後、空間的な補正を行って
もよい。その場合、動きベクトルMV’の垂直成分は、
式(5)で与えられる。
に対して時間的補正を行った後、空間的な補正を行って
もよい。その場合、動きベクトルMV’の垂直成分は、
式(5)で与えられる。
【0168】
【数5】
【0169】なお、解像度変換後の動きベクトルMV’
の水平成分は、空間補正を行ってから時間補正を行う空
間・時間補正と時間補正を行ってから空間補正を行う時
間・空間補正のいずれでも同様な値となる。
の水平成分は、空間補正を行ってから時間補正を行う空
間・時間補正と時間補正を行ってから空間補正を行う時
間・空間補正のいずれでも同様な値となる。
【0170】式(4)と式(5)の差、すなわち、空間
・時間補正を行った場合と、時間・空間補正を行った場
合の動きベクトルの垂直成分の差は1/aになる。した
がって、aの値によって、空間・時間補正と時間・空間
補正との差による影響が異なる。
・時間補正を行った場合と、時間・空間補正を行った場
合の動きベクトルの垂直成分の差は1/aになる。した
がって、aの値によって、空間・時間補正と時間・空間
補正との差による影響が異なる。
【0171】そこで、aが1の場合と、1より大きい、
すなわち3,5,7,・・・の2つの場合における補正
方法を説明する。
すなわち3,5,7,・・・の2つの場合における補正
方法を説明する。
【0172】まず、aが1の場合について、式(4)の
aに1を代入すると、動きベクトルの垂直成分は式
(6)になる。
aに1を代入すると、動きベクトルの垂直成分は式
(6)になる。
【0173】
【数6】
【0174】式(5)のaに1を代入し、動きベクトル
の垂直成分は式(7)になる。
の垂直成分は式(7)になる。
【0175】
【数7】
【0176】その結果、解像度変換前の動きベクトルM
Vbottomに0,1,2,・・・を代入すると、式(6)
による値は2,4,6,・・・のような偶数になる。す
なわち、空間・時間補正を行うと、解像度変換前の動き
ベクトルMVbottomは整数画素又は半画素に位置して
も、解像度変換後の動きベクトルMV’はすべて整数画
素に位置する。
Vbottomに0,1,2,・・・を代入すると、式(6)
による値は2,4,6,・・・のような偶数になる。す
なわち、空間・時間補正を行うと、解像度変換前の動き
ベクトルMVbottomは整数画素又は半画素に位置して
も、解像度変換後の動きベクトルMV’はすべて整数画
素に位置する。
【0177】また、式(7)による値は、1,3,5,
・・・のような奇数になる。すなわち、時間・空間補正
を行うと、解像度変換前の動きベクトルMVは整数画素
又は半画素に位置しても、解像度変換後の動きベクトル
MV’はすべて半画素に位置する。
・・・のような奇数になる。すなわち、時間・空間補正
を行うと、解像度変換前の動きベクトルMVは整数画素
又は半画素に位置しても、解像度変換後の動きベクトル
MV’はすべて半画素に位置する。
【0178】したがって、解像度変換前に整数画素に位
置する動きベクトルMVbottomに対して、解像度変換後
の動きベクトルMV’を整数画素に位置するようにする
場合、空間・時間補正を行う。また、解像度変換前に半
画素に位置する動きベクトルMVbottomに対して、解像
度変換後の動きベクトルMV’を半画素に位置するよう
にする場合、時間・空間補正を行う。
置する動きベクトルMVbottomに対して、解像度変換後
の動きベクトルMV’を整数画素に位置するようにする
場合、空間・時間補正を行う。また、解像度変換前に半
画素に位置する動きベクトルMVbottomに対して、解像
度変換後の動きベクトルMV’を半画素に位置するよう
にする場合、時間・空間補正を行う。
【0179】すなわち、解像度変換後の動きベクトルM
V’の垂直成分を求めるために、解像度変換前の動きベ
クトルMVbottomに対し、空間補正、時間補正を交互に
使用して解像度変換後の動きベクトルMV’に変換す
る。若しくは、解像度変換前の動きベクトルMVbottom
に対して、すべてに時間・空間補正を行う。
V’の垂直成分を求めるために、解像度変換前の動きベ
クトルMVbottomに対し、空間補正、時間補正を交互に
使用して解像度変換後の動きベクトルMV’に変換す
る。若しくは、解像度変換前の動きベクトルMVbottom
に対して、すべてに時間・空間補正を行う。
【0180】以上の動きベクトル変換処理が終了した
後、動きベクトル変換部12から、MPEG4の8×8
動きベクトルが出力される。
後、動きベクトル変換部12から、MPEG4の8×8
動きベクトルが出力される。
【0181】図1に戻り、動きベクトル変換部12から
出力されたMPEG4の8×8動きベクトルは、動きベ
クトル調整部13に送られる。動きベクトル調整部13
は、外部から入力された画像サイズ調整フラグに基づい
て動きベクトルを調整し、画像サイズに適した動きベク
トルを出力する。
出力されたMPEG4の8×8動きベクトルは、動きベ
クトル調整部13に送られる。動きベクトル調整部13
は、外部から入力された画像サイズ調整フラグに基づい
て動きベクトルを調整し、画像サイズに適した動きベク
トルを出力する。
【0182】この動きベクトル調整部13における動き
ベクトルの調整の処理について、図8を参照して説明す
る動きベクトル調整部13には、動きベクトル変換部1
2からm画素×n画素の画像サイズ及びMPEG4の8
×8動きベクトルが、外部から画像サイズ調整フラグ
が、それぞれ入力されている。
ベクトルの調整の処理について、図8を参照して説明す
る動きベクトル調整部13には、動きベクトル変換部1
2からm画素×n画素の画像サイズ及びMPEG4の8
×8動きベクトルが、外部から画像サイズ調整フラグ
が、それぞれ入力されている。
【0183】動きベクトル調整部13の処理は、ステッ
プS21において、m画素×n画素の入力画像サイズに
ついてm/2及びn/2が共に16の倍数であるかどう
かによって分岐する。
プS21において、m画素×n画素の入力画像サイズに
ついてm/2及びn/2が共に16の倍数であるかどう
かによって分岐する。
【0184】すなわち、動きベクトル調整部13は、m
/2及びn/2が共に16の倍数である場合には、MP
EG4の8×8動きベクトルを処理することなくそのま
ま出力する。 一方、m/2,n/2のいずれかが16
の倍数でない場合には、処理をステップS22に進め
る。
/2及びn/2が共に16の倍数である場合には、MP
EG4の8×8動きベクトルを処理することなくそのま
ま出力する。 一方、m/2,n/2のいずれかが16
の倍数でない場合には、処理をステップS22に進め
る。
【0185】動きベクトル調整部13の処理がステップ
S22以降に進む場合には、外部から入力された画像サ
イズ調整フラグを用いる。動きベクトル調整部13は、
ステップS22において画素除去を行う場合には、8画
素を除去した画像の動きベクトルを出力する。
S22以降に進む場合には、外部から入力された画像サ
イズ調整フラグを用いる。動きベクトル調整部13は、
ステップS22において画素除去を行う場合には、8画
素を除去した画像の動きベクトルを出力する。
【0186】ステップS23において画素補填を行う場
合には、動きベクトル調整部13は、8画素を補填した
画像の動きベクトルを出力する。
合には、動きベクトル調整部13は、8画素を補填した
画像の動きベクトルを出力する。
【0187】なお、上述の実施の形態では、入力として
MPEG2画像圧縮情報(ビットストリーム)を、出力
としてMPEG4画像圧縮情報(ビットストリーム)を
対象とした例を示したが、本発明はこれに限定されな
い。本発明は、入力又は出力を例えばMPEG1やH.
263などの画像圧縮情報(ビットストリーム)とする
こともできる。
MPEG2画像圧縮情報(ビットストリーム)を、出力
としてMPEG4画像圧縮情報(ビットストリーム)を
対象とした例を示したが、本発明はこれに限定されな
い。本発明は、入力又は出力を例えばMPEG1やH.
263などの画像圧縮情報(ビットストリーム)とする
こともできる。
【0188】
【発明の効果】以上述べてきた様に、本発明は、飛び越
し走査のMPEG2画像情報圧縮情報(ビットストリー
ム)を順次走査のMPEG4画像圧縮情報(ビットスト
リーム)に変換する際に用いられる動きベクトル変換装
置において、MPEG4の8×8動きベクトルからMP
EG4の16×16動きベクトルを生成する際、入力と
なるMPEG2画像圧縮情報(ビットストリーム)にお
けるマクロブロックごとの、ビット数、量子化スケー
ル、コンプレキシティ、非零DCT係数の個数といった
情報を利用し、最も符号化効率の高いと考えられるMP
EG4の8×8動きベクトルを選択してMPEG4の1
6×16動きベクトルとすることで、MPEG4画像圧
縮情報(ビットストリーム)への符号化効率を高めるも
のである。
し走査のMPEG2画像情報圧縮情報(ビットストリー
ム)を順次走査のMPEG4画像圧縮情報(ビットスト
リーム)に変換する際に用いられる動きベクトル変換装
置において、MPEG4の8×8動きベクトルからMP
EG4の16×16動きベクトルを生成する際、入力と
なるMPEG2画像圧縮情報(ビットストリーム)にお
けるマクロブロックごとの、ビット数、量子化スケー
ル、コンプレキシティ、非零DCT係数の個数といった
情報を利用し、最も符号化効率の高いと考えられるMP
EG4の8×8動きベクトルを選択してMPEG4の1
6×16動きベクトルとすることで、MPEG4画像圧
縮情報(ビットストリーム)への符号化効率を高めるも
のである。
【図1】本実施の形態による動きベクトル変換装置の構
成を示すブロック図である。
成を示すブロック図である。
【図2】動きベクトル変換装置の動きベクトル調整部に
おける処理を示す図である。
おける処理を示す図である。
【図3】図2において、フレーム予測のインターマクロ
ブロックに対する動きベクトル変換を示す図である。
ブロックに対する動きベクトル変換を示す図である。
【図4】図3の変換の際の半画素精度の動きベクトルの
取り扱いを示す図である。
取り扱いを示す図である。
【図5】図2において、第一フィールド予測のインター
マクロブロックに対する動きベクトル変換を示す図であ
る。
マクロブロックに対する動きベクトル変換を示す図であ
る。
【図6】図2において、第二フィールド予測のインター
マクロブロックに対する動きベクトル変換を示す図であ
る。
マクロブロックに対する動きベクトル変換を示す図であ
る。
【図7】図2において、第二フィールド予測のインター
マクロブロックに対する動きベクトル変換に対する時間
的な補正を示す図である。
マクロブロックに対する動きベクトル変換に対する時間
的な補正を示す図である。
【図8】動きベクトル変換装置の動きベクトル調整部に
おける画像サイズ調整フラグによる調整を示す図であ
る。
おける画像サイズ調整フラグによる調整を示す図であ
る。
【図9】MPEG2画像圧縮情報(ビットストリーム)
からMPEG4画像圧縮情報(ビットストリーム)への
変換を実現する従来の例を示すブロック図である。
からMPEG4画像圧縮情報(ビットストリーム)への
変換を実現する従来の例を示すブロック図である。
【図10】MPEG2画像圧縮情報(ビットストリー
ム)からMPEG4画像圧縮情報(ビットストリーム)
に変換する画像情報変換装置の構成を示すブロック図で
ある。
ム)からMPEG4画像圧縮情報(ビットストリーム)
に変換する画像情報変換装置の構成を示すブロック図で
ある。
【図11】MPEG2画像圧縮情報(ビットストリー
ム)中の動きベクトルとMPEG4画像圧縮情報(ビッ
トストリーム)中の動きベクトルとの相関を示す図であ
る。
ム)中の動きベクトルとMPEG4画像圧縮情報(ビッ
トストリーム)中の動きベクトルとの相関を示す図であ
る。
【図12】図10の画像情報変換装置の解像度/フレー
ムレート変換部における処理を示す図である。
ムレート変換部における処理を示す図である。
【図13】図10の画像情報変換装置の解像度/フレー
ムレート変換部における画素の補填又は除去の処理を示
す図である。
ムレート変換部における画素の補填又は除去の処理を示
す図である。
【図14】図10の画像情報変換装置の動きベクトル変
換部における動きベクトル変換方法を示す図である。
換部における動きベクトル変換方法を示す図である。
【図15】図10の画像情報変換装置の動きベクトル変
換部の構成を示すブロック図である。
換部の構成を示すブロック図である。
【図16】図15の動きベクトル変換部の動きベクトル
補正部の構成を示すブロック図である。
補正部の構成を示すブロック図である。
12 動きベクトル変換部、13 動きベクトル調整
部、14 マクロブロック情報バッファ、15 動きベ
クトル変換部、16 動きベクトル補正部
部、14 マクロブロック情報バッファ、15 動きベ
クトル変換部、16 動きベクトル補正部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 矢ケ崎 陽一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK41 LB07 MA00 MA02 MA04 MA23 NN15 NN21 NN28 PP04 SS10 UA02 5J064 AA02 BA01 BA16 BB03 BC01 BD02
Claims (16)
- 【請求項1】 水平方向及び垂直方向共に16成分の離
散コサイン変換係数からなるマクロブロックから構成さ
れる、飛び越し走査の画像を符号化した入力画像圧縮情
報を、水平方向及び垂直方向共に16成分の離散コサイ
ン変換係数からなるマクロブロックから構成され、上記
飛び越し走査の画像に対して水平方向及び垂直方向共に
1/2のサイズを有する順次走査の画像を符号化した出
力画像圧縮情報に変換する際に動きベクトルを変換する
変換装置において、 上記入力画像圧縮情報のマクロブロックは上記変換によ
り水平方向及び垂直方向共に8成分のブロックに変換さ
れ、上記入力画像圧縮情報のマクロブロックを動き補償
する第1の動きベクトルに基づいて上記出力画像圧縮情
報のマクロブロックを構成する上記ブロックをそれぞれ
動き補償する第2のベクトルを生成し、この第2の動き
ベクトルの内で、符号化効率の最も高いものを上記出力
画像圧縮情報のマクロブロックを動き補償する第3の動
きベクトルとする変換手段を有することを特徴とする動
きベクトル変換装置。 - 【請求項2】 上記入力画像圧縮情報はMPEG2規格
によるものであり、上記出力画像圧縮情報はMPEG4
規格によるものであることを特徴とする請求項1記載の
動きベクトル変換装置。 - 【請求項3】 上記変換手段は、上記第1の動きベクト
ルから解像度変換及び時間軸補正により上記第2の動き
ベクトルを生成することを特徴とする請求項1記載の動
きベクトル変換装置。 - 【請求項4】 上記入力画像圧縮情報のマクロブロック
ごとのマクロブロック情報を記憶する記憶手段を有し、
上記変換手段は、上記記憶手段に記憶されたマクロブロ
ック情報に基づいて符号化効率の最も高い第2の動きベ
クトルを選択することを特徴とする請求項1記載の動き
ベクトル変換装置。 - 【請求項5】 上記変換手段は、符号化効率のパラメー
タとして上記入力画像圧縮情報を構成するマクロブロッ
クの非零の離散コサイン変換係数の個数を用い、この個
数が最も少ないマクロブロックに対応する上記第2の動
きベクトルを選択することを特徴とする請求項1記載の
動きベクトル変換装置。 - 【請求項6】 上記変換手段は、符号化効率のパラメー
タとして、上記入力画像圧縮情報を構成するマクロブロ
ックの離散コサイン変換係数に割り当てられたビット数
を用い、このビット数が最も少ないマクロブロックに対
応する上記第2の動きベクトルを選択することを特徴と
する請求項1記載の動きベクトル変換装置。 - 【請求項7】 上記変換手段は、符号化効率のパラメー
タとして、上記入力画像圧縮情報を構成するマクロブロ
ックごとに割り当てられた全ビット数を用い、この全ビ
ット数の最も少ないマクロブロックに対応する上記第2
の動きベクトルを選択することを特徴とする請求項1記
載の動きベクトル変換装置。 - 【請求項8】 上記変換手段は、符号化効率のパラメー
タとして上記入力画像圧縮情報を構成するマクロブロッ
クごとに割り当てられた量子化スケールを用い、この量
子化スケールの最も小さいマクロブロックに対応する上
記第2の動きベクトルを選択することを特徴とする請求
項1記載の動きベクトル変換装置。 - 【請求項9】 上記変換手段は、符号化効率のパラメー
タとして上記入力画像圧縮情報を構成するマクロブロッ
クごとに割り当てられたビット数B及び量子化スケール
Qに関して、コンプレキシティXを X=Q×B のように算出し、このコンプレキシティXの値の最も小
さいマクロブロックに対応する上記第2の動きベクトル
を選択することを特徴とする請求項1記載の動きベクト
ル変換装置。 - 【請求項10】 上記変換手段は、当該マクロブロック
の輝度成分の離散コサイン変換係数に割り当てられたビ
ット数を上記ビット数Bとすることを特徴とする請求項
9記載の動きベクトル変換装置。 - 【請求項11】 上記変換手段は、当該マクロブロック
の離散コサイン変換係数に割り当てられたビット数を上
記ビット数Bとすることを特徴とする請求項9記載の動
きベクトル変換装置。 - 【請求項12】 上記変換手段は、当該マクロブロック
に割り当てられた全ビット数を上記ビット数Bとするこ
とを特徴とする請求項9記載の動きベクトル変換装置。 - 【請求項13】 水平方向及び垂直方向共に16成分の
離散コサイン変換係数からなるマクロブロックから構成
される、飛び越し走査の画像を符号化した入力画像圧縮
情報を、水平方向及び垂直方向共に16成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向共
に1/2のサイズを有する順次走査の画像を符号化した
出力画像圧縮情報に変換する際に動きベクトルを変換す
る変換方法において、 上記入力画像圧縮情報のマクロブロックは上記変換によ
り水平方向及び垂直方向共に8成分のブロックに変換さ
れ、 上記入力画像圧縮情報のマクロブロックを動き補償する
第1の動きベクトルに基づいて上記出力画像圧縮情報の
マクロブロックを構成する上記ブロックをそれぞれ動き
補償する第2のベクトルを生成し、 この第2の動きベクトルの内で、符号化効率の最も高い
ものを上記出力画像圧縮情報のマクロブロックを動き補
償する第3の動きベクトルとすることを特徴とする動き
ベクトル変換方法。 - 【請求項14】 上記入力画像圧縮情報はMPEG2規
格によるものであり、上記出力画像圧縮情報はMPEG
4規格によるものであることを特徴とする請求項13記
載の動きベクトル変換方法。 - 【請求項15】 上記第1の動きベクトルから解像度変
換及び時間軸補正により上記第2の動きベクトルを生成
することを特徴とする請求項13記載の動きベクトル変
換方法。 - 【請求項16】 上記入力画像圧縮情報のマクロブロッ
クごとのマクロブロック情報を記憶し、記憶されたマク
ロブロック情報に基づいて符号化効率の最も高い第2の
動きベクトルを選択することを特徴とする請求項13記
載の動きベクトル変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000129002A JP2001309389A (ja) | 2000-04-25 | 2000-04-25 | 動きベクトル変換装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000129002A JP2001309389A (ja) | 2000-04-25 | 2000-04-25 | 動きベクトル変換装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001309389A true JP2001309389A (ja) | 2001-11-02 |
Family
ID=18638342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000129002A Withdrawn JP2001309389A (ja) | 2000-04-25 | 2000-04-25 | 動きベクトル変換装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001309389A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7061981B2 (en) | 2000-10-11 | 2006-06-13 | Sony Corporation | Motion vector conversion method and conversion apparatus |
US8416852B2 (en) | 2006-03-23 | 2013-04-09 | Sony Corporation | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus |
-
2000
- 2000-04-25 JP JP2000129002A patent/JP2001309389A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7061981B2 (en) | 2000-10-11 | 2006-06-13 | Sony Corporation | Motion vector conversion method and conversion apparatus |
US8416852B2 (en) | 2006-03-23 | 2013-04-09 | Sony Corporation | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11107251B2 (en) | Image processing device and method | |
JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
JP4378824B2 (ja) | 画像処理装置及び方法 | |
US20140072049A1 (en) | Image information encoding method and encoder, and image information decoding method and decoder | |
JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
JP2004336369A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
JP2001508633A (ja) | 動き補償予測画像の符号化及び復号化 | |
JP2001145113A (ja) | 画像情報変換装置及び方法 | |
WO2003043344A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
JP2001285863A (ja) | 画像情報変換装置及び方法 | |
JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP2002262293A (ja) | 動画像復号装置および動画像復号方法 | |
JP2001309389A (ja) | 動きベクトル変換装置及び方法 | |
JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
JP2002044669A (ja) | 画像情報変換装置及び方法 | |
JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 | |
JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |