JP2000041253A - 画像復号装置及び画像復号方法 - Google Patents
画像復号装置及び画像復号方法Info
- Publication number
- JP2000041253A JP2000041253A JP20838798A JP20838798A JP2000041253A JP 2000041253 A JP2000041253 A JP 2000041253A JP 20838798 A JP20838798 A JP 20838798A JP 20838798 A JP20838798 A JP 20838798A JP 2000041253 A JP2000041253 A JP 2000041253A
- Authority
- JP
- Japan
- Prior art keywords
- orthogonal transform
- pixel
- block
- inverse orthogonal
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 インター画像に起因する画質の劣化を無くし
たMPEGダウンデコーダを提供する。 【解決手段】 縮小逆離散コサイン変換装置14は、D
CTモードがフィールドモードの場合、4×4の縮小I
DCTを行う。縮小逆離散コサイン変換装置15は、D
CTモードがフレームモードであってイントラ画像の場
合、DCTブロックの全係数に対してIDCTをして飛
び越し走査に対応した2つの画素ブロックに分離し、分
離した2つの画素ブロックに対してそれぞれDCTをす
る。縮小逆離散コサイン変換装置16は、DCTモード
がフレームモードであってインター画像の場合、4×4
の縮小IDCTをする。
たMPEGダウンデコーダを提供する。 【解決手段】 縮小逆離散コサイン変換装置14は、D
CTモードがフィールドモードの場合、4×4の縮小I
DCTを行う。縮小逆離散コサイン変換装置15は、D
CTモードがフレームモードであってイントラ画像の場
合、DCTブロックの全係数に対してIDCTをして飛
び越し走査に対応した2つの画素ブロックに分離し、分
離した2つの画素ブロックに対してそれぞれDCTをす
る。縮小逆離散コサイン変換装置16は、DCTモード
がフレームモードであってインター画像の場合、4×4
の縮小IDCTをする。
Description
【0001】
【発明の属する技術分野】本発明は、所定の画素ブロッ
ク(マクロブロック)単位で動き予測をすることによる
予測符号化、及び、所定の画素ブロック(直交変換ブロ
ック)単位で直交変換することによる圧縮符号化をした
第1の解像度の圧縮画像データを、復号する画像復号装
置及び画像復号方法に関し、特に、第1の解像度の圧縮
画像データを復号して、この第1の解像度よりも低い第
2の解像度の動画像データに縮小する画像復号装置及び
画像復号方法に関するものである。
ク(マクロブロック)単位で動き予測をすることによる
予測符号化、及び、所定の画素ブロック(直交変換ブロ
ック)単位で直交変換することによる圧縮符号化をした
第1の解像度の圧縮画像データを、復号する画像復号装
置及び画像復号方法に関し、特に、第1の解像度の圧縮
画像データを復号して、この第1の解像度よりも低い第
2の解像度の動画像データに縮小する画像復号装置及び
画像復号方法に関するものである。
【0002】
【従来の技術】MPEG2(Moving Picture Experts G
roup phase2)等の画像圧縮方式を用いたデジタルテレ
ビジョン放送の規格化が進められている。デジタルテレ
ビジョン放送の規格には、標準解像度画像(例えば垂直
方向の有効ライン数が576本)に対応した規格、高解
像度画像(例えば垂直方向の有効ライン数が1152
本)に対応した規格等がある。そのため、近年、高解像
度画像の圧縮画像データを復号するとともにこの圧縮画
像データを1/2の解像度に縮小することにより、標準
解像度画像の画像データを生成して、この画像データを
標準解像度に対応したテレビジョンモニタに表示するダ
ウンデコーダが求められている。
roup phase2)等の画像圧縮方式を用いたデジタルテレ
ビジョン放送の規格化が進められている。デジタルテレ
ビジョン放送の規格には、標準解像度画像(例えば垂直
方向の有効ライン数が576本)に対応した規格、高解
像度画像(例えば垂直方向の有効ライン数が1152
本)に対応した規格等がある。そのため、近年、高解像
度画像の圧縮画像データを復号するとともにこの圧縮画
像データを1/2の解像度に縮小することにより、標準
解像度画像の画像データを生成して、この画像データを
標準解像度に対応したテレビジョンモニタに表示するダ
ウンデコーダが求められている。
【0003】高解像度画像に対して動き予測による予測
符号化及び離散コサイン変換による圧縮符号化をしたM
PEG2等のビットストリームを、復号するとともに標
準解像度画像にダウンサンプリングするダウンデコーダ
が、文献「低域ドリフトのないスケーラブル・デコー
ダ」(岩橋・神林・貴家:信学技報 CS94-186,DSP94-10
8,1995-01)に提案されている(以下、この文献を文献
1と呼ぶ。)。この文献1には、以下の第1から第3の
ダウンデコーダが示されている。
符号化及び離散コサイン変換による圧縮符号化をしたM
PEG2等のビットストリームを、復号するとともに標
準解像度画像にダウンサンプリングするダウンデコーダ
が、文献「低域ドリフトのないスケーラブル・デコー
ダ」(岩橋・神林・貴家:信学技報 CS94-186,DSP94-10
8,1995-01)に提案されている(以下、この文献を文献
1と呼ぶ。)。この文献1には、以下の第1から第3の
ダウンデコーダが示されている。
【0004】第1のダウンデコーダは、図30に示すよ
うに、高解像度画像のビットストリームに対して8(水
平方向のDC成分から数えた係数の数)×8(垂直方向
のDC成分から数えた係数の数)の逆離散コサイン変換
をする逆離散コサイン変換装置1001と、離散コサイ
ン変換がされた高解像度画像と動き補償がされた参照画
像とを加算する加算装置1002と、参照画像を一時記
憶するフレームメモリ1003と、フレームメモリ10
03が記憶した参照画像に1/2画素精度で動き補償を
する動き補償装置1004と、フレームメモリ1003
が記憶した参照画像を標準解像度の画像に変換するダウ
ンサンプリング装置1005とを備えている。
うに、高解像度画像のビットストリームに対して8(水
平方向のDC成分から数えた係数の数)×8(垂直方向
のDC成分から数えた係数の数)の逆離散コサイン変換
をする逆離散コサイン変換装置1001と、離散コサイ
ン変換がされた高解像度画像と動き補償がされた参照画
像とを加算する加算装置1002と、参照画像を一時記
憶するフレームメモリ1003と、フレームメモリ10
03が記憶した参照画像に1/2画素精度で動き補償を
する動き補償装置1004と、フレームメモリ1003
が記憶した参照画像を標準解像度の画像に変換するダウ
ンサンプリング装置1005とを備えている。
【0005】この第1のダウンデコーダでは、逆離散コ
サイン変換を行い高解像度画像として復号した出力画像
を、ダウンサンプリング装置1005で縮小して標準解
像度の画像データを出力する。
サイン変換を行い高解像度画像として復号した出力画像
を、ダウンサンプリング装置1005で縮小して標準解
像度の画像データを出力する。
【0006】第2のダウンデコーダは、図31に示すよ
うに、高解像度画像のビットストリームのDCT(Disc
rete Cosine Transform)ブロックの高周波成分の係数
を0に置き換えて8×8の逆離散コサイン変換をする逆
離散コサイン変換装置1011と、離散コサイン変換が
された高解像度画像と動き補償がされた参照画像とを加
算する加算装置1012と、参照画像を一時記憶するフ
レームメモリ1013と、フレームメモリ1013が記
憶した参照画像に1/2画素精度で動き補償をする動き
補償装置1014と、フレームメモリ1013が記憶し
た参照画像を標準解像度の画像に変換するダウンサンプ
リング装置1015とを備えている。
うに、高解像度画像のビットストリームのDCT(Disc
rete Cosine Transform)ブロックの高周波成分の係数
を0に置き換えて8×8の逆離散コサイン変換をする逆
離散コサイン変換装置1011と、離散コサイン変換が
された高解像度画像と動き補償がされた参照画像とを加
算する加算装置1012と、参照画像を一時記憶するフ
レームメモリ1013と、フレームメモリ1013が記
憶した参照画像に1/2画素精度で動き補償をする動き
補償装置1014と、フレームメモリ1013が記憶し
た参照画像を標準解像度の画像に変換するダウンサンプ
リング装置1015とを備えている。
【0007】この第2のダウンデコーダでは、DCTブ
ロックの全ての係数のうち高周波成分の係数を0に置き
換えて逆離散コサイン変換を行い高解像度画像として復
号した出力画像を、ダウンサンプリング装置1005で
縮小して標準解像度の画像データを出力する。
ロックの全ての係数のうち高周波成分の係数を0に置き
換えて逆離散コサイン変換を行い高解像度画像として復
号した出力画像を、ダウンサンプリング装置1005で
縮小して標準解像度の画像データを出力する。
【0008】第3のダウンデコーダは、図32に示すよ
うに、高解像度画像のビットストリームのDCTブロッ
クの低周波成分の係数のみを用いて例えば4×4の逆離
散コサイン変換をして標準解像度画像に復号する縮小逆
離散コサイン変換装置1021と、縮小逆離散コサイン
変換がされた標準解像度画像と動き補償がされた参照画
像とを加算する加算装置1022と、参照画像を一時記
憶するフレームメモリ1023と、フレームメモリ10
23が記憶した参照画像に1/4画素精度で動き補償を
する動き補償装置1024とを備えている。
うに、高解像度画像のビットストリームのDCTブロッ
クの低周波成分の係数のみを用いて例えば4×4の逆離
散コサイン変換をして標準解像度画像に復号する縮小逆
離散コサイン変換装置1021と、縮小逆離散コサイン
変換がされた標準解像度画像と動き補償がされた参照画
像とを加算する加算装置1022と、参照画像を一時記
憶するフレームメモリ1023と、フレームメモリ10
23が記憶した参照画像に1/4画素精度で動き補償を
する動き補償装置1024とを備えている。
【0009】この第3のダウンデコーダでは、DCTブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換を行い、高解像度画像から標準解
像度画像として復号する。
ロックの全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換を行い、高解像度画像から標準解
像度画像として復号する。
【0010】ここで、上記第1のダウンデコーダでは、
DCTブロック内の全ての係数に対して逆離散コサイン
変換を行い高解像度画像を復号しているため、高い演算
処理能力の逆離散コサイン変換装置1001と高容量の
フレームメモリ1003とが必要となる。また、上記第
2のダウンデコーダでは、DCTブロック内の係数のう
ち高周波成分を0として離散コサイン変換を行い高解像
度画像を復号しているため、逆離散コサイン変換装置1
011の演算処理能力は低くて良いが、やはり高容量の
フレームメモリ1013が必要となる。これら第1及び
第2のダウンデコーダに対し、第3のダウンデコーダで
は、DCTブロック内の全ての係数うち低周波成分の係
数のみを用いて逆離散コサイン変換をしているため逆離
散コサイン変換装置1021の演算処理能力が低くてよ
く、さらに、標準解像度画像の参照画像を復号している
のでフレームメモリ1023の容量も少なくすることが
できる。
DCTブロック内の全ての係数に対して逆離散コサイン
変換を行い高解像度画像を復号しているため、高い演算
処理能力の逆離散コサイン変換装置1001と高容量の
フレームメモリ1003とが必要となる。また、上記第
2のダウンデコーダでは、DCTブロック内の係数のう
ち高周波成分を0として離散コサイン変換を行い高解像
度画像を復号しているため、逆離散コサイン変換装置1
011の演算処理能力は低くて良いが、やはり高容量の
フレームメモリ1013が必要となる。これら第1及び
第2のダウンデコーダに対し、第3のダウンデコーダで
は、DCTブロック内の全ての係数うち低周波成分の係
数のみを用いて逆離散コサイン変換をしているため逆離
散コサイン変換装置1021の演算処理能力が低くてよ
く、さらに、標準解像度画像の参照画像を復号している
のでフレームメモリ1023の容量も少なくすることが
できる。
【0011】ところで、テレビジョン放送等の動画像の
表示方式には、順次走査方式と飛び越し走査方式とがあ
る。順次走査方式は、フレーム内の全ての画素を同じタ
イミングでサンプリングした画像を、順次表示する表示
方式である。飛び越し走査方式は、フレーム内の画素を
水平方向の1ライン毎に異なるタイミングでサンプリン
グした画像を、交互に表示する表示方式である。
表示方式には、順次走査方式と飛び越し走査方式とがあ
る。順次走査方式は、フレーム内の全ての画素を同じタ
イミングでサンプリングした画像を、順次表示する表示
方式である。飛び越し走査方式は、フレーム内の画素を
水平方向の1ライン毎に異なるタイミングでサンプリン
グした画像を、交互に表示する表示方式である。
【0012】この飛び越し走査方式では、フレーム内の
画素を1ライン毎に異なるタイミングでサンプリングし
た画像のうちの一方を、トップフィールド(第1フィー
ルドともいう。)といい、他方をボトムフィールド(第
2のフィールドともいう。)という。フレームの水平方
向の先頭ラインが含まれる画像がトップフィールドとな
り、フレームの水平方向の2番目のラインが含まれる画
像がボトムフィールドとなる。従って、飛び越し走査方
式では、1つのフレームが2つのフィールドから構成さ
れることとなる。
画素を1ライン毎に異なるタイミングでサンプリングし
た画像のうちの一方を、トップフィールド(第1フィー
ルドともいう。)といい、他方をボトムフィールド(第
2のフィールドともいう。)という。フレームの水平方
向の先頭ラインが含まれる画像がトップフィールドとな
り、フレームの水平方向の2番目のラインが含まれる画
像がボトムフィールドとなる。従って、飛び越し走査方
式では、1つのフレームが2つのフィールドから構成さ
れることとなる。
【0013】MEPG2では、飛び越し走査方式に対応
した動画像信号を効率良く圧縮するため、画面の圧縮単
位であるピクチャにフレームを割り当てて符号化するだ
けでなく、ピクチャにフィールドを割り当てて符号化す
ることもできる。
した動画像信号を効率良く圧縮するため、画面の圧縮単
位であるピクチャにフレームを割り当てて符号化するだ
けでなく、ピクチャにフィールドを割り当てて符号化す
ることもできる。
【0014】MPEG2では、ピクチャにフィールドが
割り当てられた場合には、そのビットストリームの構造
をフィールド構造と呼び、ピクチャにフレームが割り当
てられた場合には、そのビットストリームの構造をフレ
ーム構造と呼ぶ。また、フィールド構造では、フィール
ド内の画素からDCTブロックが形成され、フィールド
単位で離散コサイン変換がされる。このフィールド単位
で離散コサイン変換を行う処理モードのことをフィール
ドDCTモードと呼ぶ。また、フレーム構造では、フレ
ーム内の画素からDCTブロックが形成され、フレーム
単位で離散コサイン変換がされる。このフレーム単位で
離散コサイン変換を行う処理モードのことをフレームD
CTモードと呼ぶ。さらに、フィールド構造では、フィ
ールド内の画素からマクロブロックが形成され、フィー
ルド単位で動き予測がされる。このフィールド単位で動
き予測を行う処理モードのことをフィールド動き予測モ
ードと呼ぶ。また、フレーム構造では、フレーム内の画
素からマクロブロックが形成され、フレーム単位で動き
予測がされる。フレーム単位で動き予測を行う処理モー
ドのことをフレーム動き予測モードと呼ぶ。
割り当てられた場合には、そのビットストリームの構造
をフィールド構造と呼び、ピクチャにフレームが割り当
てられた場合には、そのビットストリームの構造をフレ
ーム構造と呼ぶ。また、フィールド構造では、フィール
ド内の画素からDCTブロックが形成され、フィールド
単位で離散コサイン変換がされる。このフィールド単位
で離散コサイン変換を行う処理モードのことをフィール
ドDCTモードと呼ぶ。また、フレーム構造では、フレ
ーム内の画素からDCTブロックが形成され、フレーム
単位で離散コサイン変換がされる。このフレーム単位で
離散コサイン変換を行う処理モードのことをフレームD
CTモードと呼ぶ。さらに、フィールド構造では、フィ
ールド内の画素からマクロブロックが形成され、フィー
ルド単位で動き予測がされる。このフィールド単位で動
き予測を行う処理モードのことをフィールド動き予測モ
ードと呼ぶ。また、フレーム構造では、フレーム内の画
素からマクロブロックが形成され、フレーム単位で動き
予測がされる。フレーム単位で動き予測を行う処理モー
ドのことをフレーム動き予測モードと呼ぶ。
【0015】
【発明が解決しようとする課題】ところで、上記文献1
に示された第3のダウンデコーダを利用して、飛び越し
走査方式に対応した圧縮画像データを復号する画像復号
装置が、例えば文献「ACompensation Method of Drift
Errors in Scalability」(N.OBIKANE,K.TAHARAand J.Y
ONEMITSU,HDTV Work Shop'93)に提案されている(以
下、この文献を文献2と呼ぶ)。
に示された第3のダウンデコーダを利用して、飛び越し
走査方式に対応した圧縮画像データを復号する画像復号
装置が、例えば文献「ACompensation Method of Drift
Errors in Scalability」(N.OBIKANE,K.TAHARAand J.Y
ONEMITSU,HDTV Work Shop'93)に提案されている(以
下、この文献を文献2と呼ぶ)。
【0016】この文献2に示された従来の画像復号装置
は、図33に示すように、高解像度画像をMPEG2で
圧縮したビットストリームが供給され、このビットスト
リームを解析するビットストリーム解析装置1031
と、データの発生頻度に応じた符号長を割り当てる可変
長符号化がされたビットストリームを復号する可変長符
号復号装置1032と、DCTブロックの各係数に量子
化ステップを掛ける逆量子化装置1033と、DCTブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て例えば4×4の逆離散コサイン変換をして標準解像度
画像を復号する縮小逆離散コサイン変換装置1034
と、縮小逆離散コサイン変換がされた標準解像度画像と
動き補償がされた参照画像とを加算する加算装置103
5と、参照画像を一時記憶するフレームメモリ1036
と、フレームメモリ1036が記憶した参照画像に1/
4画素精度で動き補償をする動き補償装置1037とを
備えている。
は、図33に示すように、高解像度画像をMPEG2で
圧縮したビットストリームが供給され、このビットスト
リームを解析するビットストリーム解析装置1031
と、データの発生頻度に応じた符号長を割り当てる可変
長符号化がされたビットストリームを復号する可変長符
号復号装置1032と、DCTブロックの各係数に量子
化ステップを掛ける逆量子化装置1033と、DCTブ
ロックの全ての係数のうち低周波成分の係数のみを用い
て例えば4×4の逆離散コサイン変換をして標準解像度
画像を復号する縮小逆離散コサイン変換装置1034
と、縮小逆離散コサイン変換がされた標準解像度画像と
動き補償がされた参照画像とを加算する加算装置103
5と、参照画像を一時記憶するフレームメモリ1036
と、フレームメモリ1036が記憶した参照画像に1/
4画素精度で動き補償をする動き補償装置1037とを
備えている。
【0017】この文献2に示された従来の画像復号装置
の縮小逆離散コサイン変換装置1034は、DCTブロ
ック内の全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換をするが、フレームDCTモード
とフィールドDCTモードとで、逆離散コサイン変換を
行う係数の位置が異なっている。
の縮小逆離散コサイン変換装置1034は、DCTブロ
ック内の全ての係数のうち低周波成分の係数のみを用い
て逆離散コサイン変換をするが、フレームDCTモード
とフィールドDCTモードとで、逆離散コサイン変換を
行う係数の位置が異なっている。
【0018】具体的には、縮小逆離散コサイン変換装置
1034は、フィールドDCTモードの場合には、図3
4に示すように、DCTブロック内の8×8個のうち、
低域の4×4個の係数のみに逆離散コサイン変換を行
う。それに対し、縮小逆離散コサイン変換装置1034
は、フレームDCTモードの場合には、図35に示すよ
うに、DCTブロック内の8×8個の係数のうち、4×
2個+4×2個の係数のみに逆離散コサイン変換を行
う。
1034は、フィールドDCTモードの場合には、図3
4に示すように、DCTブロック内の8×8個のうち、
低域の4×4個の係数のみに逆離散コサイン変換を行
う。それに対し、縮小逆離散コサイン変換装置1034
は、フレームDCTモードの場合には、図35に示すよ
うに、DCTブロック内の8×8個の係数のうち、4×
2個+4×2個の係数のみに逆離散コサイン変換を行
う。
【0019】また、この文献2に示された従来の画像復
号装置の動き補償装置1037は、高解像度画像に対し
て行われた動き予測の情報(動きベクトル)に基づき、
フィールド動き予測モード及びフレーム動き予測モード
のそれぞれに対応した1/4画素精度の動き補償を行
う。すなわち、通常MPEG2では1/2画素精度で動
き補償が行われることが定められているが、高解像度画
像から標準解像度画像を復号する場合には、ピクチャ内
の画素数が1/2に間引かれるため、動き補償装置10
37では動き補償の画素精度を1/4画素精度として動
き補償を行っている。
号装置の動き補償装置1037は、高解像度画像に対し
て行われた動き予測の情報(動きベクトル)に基づき、
フィールド動き予測モード及びフレーム動き予測モード
のそれぞれに対応した1/4画素精度の動き補償を行
う。すなわち、通常MPEG2では1/2画素精度で動
き補償が行われることが定められているが、高解像度画
像から標準解像度画像を復号する場合には、ピクチャ内
の画素数が1/2に間引かれるため、動き補償装置10
37では動き補償の画素精度を1/4画素精度として動
き補償を行っている。
【0020】従って、動き補償装置1037では、高解
像度画像に対応した動き補償を行うため、標準解像度の
画像としてフレームメモリ1036に格納された参照画
像の画素に対して線形補間して、1/4画素精度の画素
を生成している。
像度画像に対応した動き補償を行うため、標準解像度の
画像としてフレームメモリ1036に格納された参照画
像の画素に対して線形補間して、1/4画素精度の画素
を生成している。
【0021】具体的に、フィールド動き予測モード及び
フレーム動き予測モードの場合の垂直方向の画素の線形
補間処理を、図36及び図37を用いて説明する。な
お、図面中には、縦方向に垂直方向の画素の位相を示
し、表示画像の各画素が位置する位相を整数で示してい
る。
フレーム動き予測モードの場合の垂直方向の画素の線形
補間処理を、図36及び図37を用いて説明する。な
お、図面中には、縦方向に垂直方向の画素の位相を示
し、表示画像の各画素が位置する位相を整数で示してい
る。
【0022】まず、フィールド動き予測モードで動き予
測がされた画像の補間処理について、図36を用いて説
明する。高解像度画像(上位レイヤー)に対しては、図
36(a)に示すように、各フィールドそれぞれ独立
に、1/2画素精度で動き補償がされる。これに対し、
標準解像度画像(下位レイヤー)に対しては、図36
(b)に示すように、整数精度の画素に基づきフィール
ド内で線形補間をして、垂直方向に1/4画素、1/2
画素、3/4画素分の位相がずれた画素を生成し、動き
補償がされる。すなわち、標準解像度画像(下位レイヤ
ー)では、トップフィールドの整数精度の各画素に基づ
きトップフィールドの1/4画素精度の各画素が線形補
間により生成され、ボトムフィールドの整数精度の各画
素に基づきボトムフィールドの1/4画素精度の各画素
が線形補間により生成される。例えば、垂直方向の位相
が0の位置にあるトップフィールドの画素の値をa、垂
直方向の位相が1の位置にあるトップフィールドの画素
の値をbとする。この場合、垂直方向の位相が1/4の
位置にあるトップフィールドの画素は(3a+b)/4
となり、垂直方向の位相が1/2の位置にあるトップフ
ィールドの画素は(a+b)/2となり、垂直方向の位
相が3/4の位置にあるトップフィールドの画素は(a
+3b)/4となる。
測がされた画像の補間処理について、図36を用いて説
明する。高解像度画像(上位レイヤー)に対しては、図
36(a)に示すように、各フィールドそれぞれ独立
に、1/2画素精度で動き補償がされる。これに対し、
標準解像度画像(下位レイヤー)に対しては、図36
(b)に示すように、整数精度の画素に基づきフィール
ド内で線形補間をして、垂直方向に1/4画素、1/2
画素、3/4画素分の位相がずれた画素を生成し、動き
補償がされる。すなわち、標準解像度画像(下位レイヤ
ー)では、トップフィールドの整数精度の各画素に基づ
きトップフィールドの1/4画素精度の各画素が線形補
間により生成され、ボトムフィールドの整数精度の各画
素に基づきボトムフィールドの1/4画素精度の各画素
が線形補間により生成される。例えば、垂直方向の位相
が0の位置にあるトップフィールドの画素の値をa、垂
直方向の位相が1の位置にあるトップフィールドの画素
の値をbとする。この場合、垂直方向の位相が1/4の
位置にあるトップフィールドの画素は(3a+b)/4
となり、垂直方向の位相が1/2の位置にあるトップフ
ィールドの画素は(a+b)/2となり、垂直方向の位
相が3/4の位置にあるトップフィールドの画素は(a
+3b)/4となる。
【0023】続いて、フレーム動き予測モードで動き予
測がされた画像の補間処理について、図37を用いて説
明する。高解像度画像(上位レイヤー)に対しては、図
37(a)に示すように、各フィールド間で補間処理が
され、すなわち、ボトムフィールドとトップフィールド
との間で補間処理がされ、1/2画素精度で動き補償が
される。標準解像度画像(下位レイヤー)に対しては、
図37(b)に示すように、トップフィールド及びボト
ムフィールドの2つのフィールドの整数精度の各画素に
基づき、垂直方向に1/4画素、1/2画素、3/4画
素分の位相がずれた画素が線形補間により生成され、動
き補償がされる。例えば、垂直方向の位相が−1の位置
にあるボトムフィールドの画素の値をa、垂直方向の位
相が0の位置にあるトップフィールドの画素の値をb、
垂直方向の位相が1の位置にあるボトムフィールドの画
素の値をc、垂直方向の位相が2の位置にあるトップフ
ィールドの画素の値をd、垂直方向の位相が3の位置に
あるボトムフィールドの画素の値をeとする。この場
合、垂直方向の位相が0〜2の間にある1/4画素精度
の各画素は、以下のように求められる。
測がされた画像の補間処理について、図37を用いて説
明する。高解像度画像(上位レイヤー)に対しては、図
37(a)に示すように、各フィールド間で補間処理が
され、すなわち、ボトムフィールドとトップフィールド
との間で補間処理がされ、1/2画素精度で動き補償が
される。標準解像度画像(下位レイヤー)に対しては、
図37(b)に示すように、トップフィールド及びボト
ムフィールドの2つのフィールドの整数精度の各画素に
基づき、垂直方向に1/4画素、1/2画素、3/4画
素分の位相がずれた画素が線形補間により生成され、動
き補償がされる。例えば、垂直方向の位相が−1の位置
にあるボトムフィールドの画素の値をa、垂直方向の位
相が0の位置にあるトップフィールドの画素の値をb、
垂直方向の位相が1の位置にあるボトムフィールドの画
素の値をc、垂直方向の位相が2の位置にあるトップフ
ィールドの画素の値をd、垂直方向の位相が3の位置に
あるボトムフィールドの画素の値をeとする。この場
合、垂直方向の位相が0〜2の間にある1/4画素精度
の各画素は、以下のように求められる。
【0024】垂直方向の位相が1/4の位置にある画素
は(a+4b+3c)/8となる。垂直方向の位相が1
/2の位置にある画素は(a+3c)/4となる。垂直
方向の位相が3/4の位置にある画素は(a+2b+3
c+2d)/8となる。垂直方向の位相が5/4の位置
にある画素は(2b+3c+2d+e)/8となる。垂
直方向の位相が3/2の位置にある画素は(3c+e)
/4となる。垂直方向の位相が7/4の位置にある画素
は(3c+4d+e)/8となる。
は(a+4b+3c)/8となる。垂直方向の位相が1
/2の位置にある画素は(a+3c)/4となる。垂直
方向の位相が3/4の位置にある画素は(a+2b+3
c+2d)/8となる。垂直方向の位相が5/4の位置
にある画素は(2b+3c+2d+e)/8となる。垂
直方向の位相が3/2の位置にある画素は(3c+e)
/4となる。垂直方向の位相が7/4の位置にある画素
は(3c+4d+e)/8となる。
【0025】以上のように上記文献2に示された従来の
画像復号装置は、飛び越し走査方式に対応した高解像度
画像の圧縮画像データを、標準解像度画像データに復号
することができる。
画像復号装置は、飛び越し走査方式に対応した高解像度
画像の圧縮画像データを、標準解像度画像データに復号
することができる。
【0026】しかしながら、上記文献2に示された従来
の画像復号装置では、フィールドDCTモードで得られ
る標準解像度画像の各画素と、フレームDCTモードで
得られる標準解像度の各画素との位相がずれる。具体的
には、フィールドDCTモードでは、図38に示すよう
に、下位レイヤーのトップフィールドの各画素の垂直方
向の位相が1/2、5/2・・・となり、下位レイヤー
のボトムフィールドの各画素の垂直方向の位相が1、3
・・・となる。それに対して、フレームDCTモードで
は、図39に示すように、下位レイヤーのトップフィー
ルドの各画素の垂直方向の位相が0、2・・・となり、
下位レイヤーのボトムフィールドの各画素の垂直方向の
位相が1、3・・・となる。そのため、位相が異なる画
像がフレームメモリ1036に混在し、出力する画像の
画質が劣化する。
の画像復号装置では、フィールドDCTモードで得られ
る標準解像度画像の各画素と、フレームDCTモードで
得られる標準解像度の各画素との位相がずれる。具体的
には、フィールドDCTモードでは、図38に示すよう
に、下位レイヤーのトップフィールドの各画素の垂直方
向の位相が1/2、5/2・・・となり、下位レイヤー
のボトムフィールドの各画素の垂直方向の位相が1、3
・・・となる。それに対して、フレームDCTモードで
は、図39に示すように、下位レイヤーのトップフィー
ルドの各画素の垂直方向の位相が0、2・・・となり、
下位レイヤーのボトムフィールドの各画素の垂直方向の
位相が1、3・・・となる。そのため、位相が異なる画
像がフレームメモリ1036に混在し、出力する画像の
画質が劣化する。
【0027】また、上記文献2に示された従来の画像復
号装置では、フィールド動き予測モードとフレーム動き
予測モードとで位相ずれの補正がされていない。そのた
め、出力する画像の画質が劣化する。
号装置では、フィールド動き予測モードとフレーム動き
予測モードとで位相ずれの補正がされていない。そのた
め、出力する画像の画質が劣化する。
【0028】本発明は、このような実情を鑑みてなされ
たものであり、フィールド動き予測モードとフレーム動
き予測モードとによる動き補償の際の画素の位相ずれを
なくし、フレーム内予測符号化がされた直交変換ブロッ
クを逆直交変換する際に生じる画質の劣化を低減するこ
とが可能な、高解像度画像の圧縮画像データから標準解
像度の画像データを復号する画像復号装置及び画像復号
方法を提供することを目的とする。
たものであり、フィールド動き予測モードとフレーム動
き予測モードとによる動き補償の際の画素の位相ずれを
なくし、フレーム内予測符号化がされた直交変換ブロッ
クを逆直交変換する際に生じる画質の劣化を低減するこ
とが可能な、高解像度画像の圧縮画像データから標準解
像度の画像データを復号する画像復号装置及び画像復号
方法を提供することを目的とする。
【0029】
【課題を解決するための手段】本発明に係る画像復号装
置は、所定の画素ブロック(マクロブロック)単位で動
き予測を行うことによる予測符号化、且つ、所定の画素
ブロック(直交変換ブロック)単位で直交変換を行うこ
とによる圧縮符号化をした第1の解像度の圧縮画像デー
タから、上記第1の解像度より低い第2の解像度の動画
像データを復号する画像復号装置であって、飛び越し走
査に対応した直交変換方式(フィールド直交変換モー
ド)により直交変換がされた上記圧縮画像データの直交
変換ブロックに対して逆直交変換を行う第1の逆直交変
換手段と、順次走査に対応した直交変換方式(フレーム
直交変換モード)により直交変換がされた上記圧縮画像
データの直交変換ブロックであってフレーム内予測符号
化がされた直交変換ブロックに対して、逆直交変換を行
う第2の逆直交変換手段と、順次走査に対応した直交変
換方式(フレーム直交変換モード)により直交変換がさ
れた上記圧縮画像データの直交変換ブロックであってフ
レーム間予測符号化がされた直交変換ブロックに対し
て、逆直交変換を行う第3の逆直交変換手段と、上記第
1から第3の逆直交変換手段により逆直交変換がされた
圧縮画像データと動き補償がされた参照画像データとを
加算して、第2の解像度の動画像データを出力する加算
手段と、上記加算手段から出力される動画像データを参
照画像データとして記憶する記憶手段と、上記記憶手段
が記憶している参照画像データのマクロブロックに対し
て動き補償をする動き補償手段とを備え、上記第1の逆
直交変換手段は、上記直交変換ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、上記第2の
逆直交変換手段は、上記直交変換ブロックの全周波数成
分の係数に対して逆直交変換をし、逆直交変換をした直
交変換ブロックの各画素を飛び越し走査に対応した2つ
の画素ブロックに分離し、分離した2つの画素ブロック
に対してそれぞれ直交変換をし、直交変換をした2つの
画素ブロックの各係数のうち低周波成分の係数に対して
逆直交変換をし、逆直交変換をした2つの画素ブロック
を合成して直交変換ブロックを生成し、上記第3の逆直
交変換手段は、上記直交変換ブロックの各係数のうち低
周波成分の係数に対して逆直交変換をすることを特徴と
する。
置は、所定の画素ブロック(マクロブロック)単位で動
き予測を行うことによる予測符号化、且つ、所定の画素
ブロック(直交変換ブロック)単位で直交変換を行うこ
とによる圧縮符号化をした第1の解像度の圧縮画像デー
タから、上記第1の解像度より低い第2の解像度の動画
像データを復号する画像復号装置であって、飛び越し走
査に対応した直交変換方式(フィールド直交変換モー
ド)により直交変換がされた上記圧縮画像データの直交
変換ブロックに対して逆直交変換を行う第1の逆直交変
換手段と、順次走査に対応した直交変換方式(フレーム
直交変換モード)により直交変換がされた上記圧縮画像
データの直交変換ブロックであってフレーム内予測符号
化がされた直交変換ブロックに対して、逆直交変換を行
う第2の逆直交変換手段と、順次走査に対応した直交変
換方式(フレーム直交変換モード)により直交変換がさ
れた上記圧縮画像データの直交変換ブロックであってフ
レーム間予測符号化がされた直交変換ブロックに対し
て、逆直交変換を行う第3の逆直交変換手段と、上記第
1から第3の逆直交変換手段により逆直交変換がされた
圧縮画像データと動き補償がされた参照画像データとを
加算して、第2の解像度の動画像データを出力する加算
手段と、上記加算手段から出力される動画像データを参
照画像データとして記憶する記憶手段と、上記記憶手段
が記憶している参照画像データのマクロブロックに対し
て動き補償をする動き補償手段とを備え、上記第1の逆
直交変換手段は、上記直交変換ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、上記第2の
逆直交変換手段は、上記直交変換ブロックの全周波数成
分の係数に対して逆直交変換をし、逆直交変換をした直
交変換ブロックの各画素を飛び越し走査に対応した2つ
の画素ブロックに分離し、分離した2つの画素ブロック
に対してそれぞれ直交変換をし、直交変換をした2つの
画素ブロックの各係数のうち低周波成分の係数に対して
逆直交変換をし、逆直交変換をした2つの画素ブロック
を合成して直交変換ブロックを生成し、上記第3の逆直
交変換手段は、上記直交変換ブロックの各係数のうち低
周波成分の係数に対して逆直交変換をすることを特徴と
する。
【0030】この画像復号装置では、フレーム直交変換
モードにより直交変換がされ且つフレーム内予測符号化
がされた直交変換ブロックの全周波数成分の係数に対し
て逆直交変換をして飛び越し走査に対応した2つの画素
ブロックに分離し、分離した2つの画素ブロックに対し
てそれぞれ直交変換をして低周波成分の係数に対して逆
直交変換をし、逆直交変換をした2つの画素ブロックを
合成する。また、この画像復号装置では、フレーム直交
変換モードにおり直交変換がされ且つフレーム間予測符
号化がされた上記直交変換ブロックの各係数のうち低周
波成分の係数に対して逆直交変換をする。そして、この
画像復号装置では、第1の解像度より低い第2の解像度
の動画像データを出力する。
モードにより直交変換がされ且つフレーム内予測符号化
がされた直交変換ブロックの全周波数成分の係数に対し
て逆直交変換をして飛び越し走査に対応した2つの画素
ブロックに分離し、分離した2つの画素ブロックに対し
てそれぞれ直交変換をして低周波成分の係数に対して逆
直交変換をし、逆直交変換をした2つの画素ブロックを
合成する。また、この画像復号装置では、フレーム直交
変換モードにおり直交変換がされ且つフレーム間予測符
号化がされた上記直交変換ブロックの各係数のうち低周
波成分の係数に対して逆直交変換をする。そして、この
画像復号装置では、第1の解像度より低い第2の解像度
の動画像データを出力する。
【0031】本発明に係る画像復号装置は、所定の画素
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号装置であって、フレーム内予測符号化がされ
た上記圧縮画像データの直交変換ブロックに対して逆直
交変換をして、第2の解像度の参照画像データを生成す
る第1の逆直交変換手段と、フレーム間予測符号化がさ
れた上記圧縮画像データの直交変換ブロックに対して、
逆直交変換を行う第2の逆直交変換手段と、上記第2の
逆直交変換手段により逆直交変換がされた圧縮画像デー
タと動き補償がされた予測画像データとを加算して参照
画像データを生成する加算手段と、上記加算手段により
生成された上記参照画像データを第2の解像度の動画像
データに縮小する縮小手段と、上記第1の逆直交変換手
段及び縮小手段から出力される参照画像データを記憶す
る記憶手段と、上記記憶手段が記憶している参照画像デ
ータのマクロブロックに対して動き補償をして予測画像
データを生成する動き補償手段とを備え、上記第1の逆
直交変換手段は、上記直交変換ブロックの各係数の低周
波成分の係数に対して逆直交変換をし、上記第2の逆直
交変換手段は、上記直交変換ブロックの全周波数成分の
係数に対して逆直交変換をすることを特徴とする。
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号装置であって、フレーム内予測符号化がされ
た上記圧縮画像データの直交変換ブロックに対して逆直
交変換をして、第2の解像度の参照画像データを生成す
る第1の逆直交変換手段と、フレーム間予測符号化がさ
れた上記圧縮画像データの直交変換ブロックに対して、
逆直交変換を行う第2の逆直交変換手段と、上記第2の
逆直交変換手段により逆直交変換がされた圧縮画像デー
タと動き補償がされた予測画像データとを加算して参照
画像データを生成する加算手段と、上記加算手段により
生成された上記参照画像データを第2の解像度の動画像
データに縮小する縮小手段と、上記第1の逆直交変換手
段及び縮小手段から出力される参照画像データを記憶す
る記憶手段と、上記記憶手段が記憶している参照画像デ
ータのマクロブロックに対して動き補償をして予測画像
データを生成する動き補償手段とを備え、上記第1の逆
直交変換手段は、上記直交変換ブロックの各係数の低周
波成分の係数に対して逆直交変換をし、上記第2の逆直
交変換手段は、上記直交変換ブロックの全周波数成分の
係数に対して逆直交変換をすることを特徴とする。
【0032】この画像復号装置では、フレーム内予測符
号化がされた直交変換ブロックの低周波成分の係数に対
して逆直交変換をし、フレーム間予測符号化がされた直
交変換ブロックの全周波数成分の係数に対して逆直交変
換をする。そして、この画像復号装置では、第1の解像
度より低い第2の解像度の動画像データを出力する。
号化がされた直交変換ブロックの低周波成分の係数に対
して逆直交変換をし、フレーム間予測符号化がされた直
交変換ブロックの全周波数成分の係数に対して逆直交変
換をする。そして、この画像復号装置では、第1の解像
度より低い第2の解像度の動画像データを出力する。
【0033】本発明に係る画像復号方法は、所定の画素
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号方法であって、飛び越し走査に対応した直交
変換方式(フィールド直交変換モード)により直交変換
がされた上記圧縮画像データの直交変換ブロックに対し
て逆直交変換をし、順次走査に対応した直交変換方式
(フレーム直交変換モード)により直交変換がされた上
記圧縮画像データの直交変換ブロックであってフレーム
内予測符号化がされた直交変換ブロックに対して、逆直
交変換をし、順次走査に対応した直交変換方式(フレー
ム直交変換モード)により直交変換がされた上記圧縮画
像データの直交変換ブロックであってフレーム間予測符
号化がされた直交変換ブロックに対して、逆直交変換を
し、逆直交変換がされた圧縮画像データと動き補償がさ
れた参照画像データとを加算し、加算して得られた動画
像データを参照画像データとして記憶し、記憶している
参照画像データのマクロブロックに対して動き補償を
し、フィールド直交変換モードにより直交変換がされた
直交変換ブロックの各係数のうち低周波成分の係数に対
して逆直交変換をし、フレーム直交変換モードにより直
交変換がされ且つフレーム内予測符号化がされた直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
し、逆直交変換をした直交変換ブロックの各画素を飛び
越し走査に対応した2つの画素ブロックに分離し、分離
した2つの画素ブロックに対してそれぞれ直交変換を
し、直交変換をした2つの画素ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、逆直交変換
をした2つの画素ブロックを合成して直交変換ブロック
を生成し、フレーム直交変換モードにより直交変換がさ
れ且つフレーム間予測符号化がされた直交変換ブロック
の各係数のうち低周波成分の係数に対して逆直交変換を
することを特徴とする。
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号方法であって、飛び越し走査に対応した直交
変換方式(フィールド直交変換モード)により直交変換
がされた上記圧縮画像データの直交変換ブロックに対し
て逆直交変換をし、順次走査に対応した直交変換方式
(フレーム直交変換モード)により直交変換がされた上
記圧縮画像データの直交変換ブロックであってフレーム
内予測符号化がされた直交変換ブロックに対して、逆直
交変換をし、順次走査に対応した直交変換方式(フレー
ム直交変換モード)により直交変換がされた上記圧縮画
像データの直交変換ブロックであってフレーム間予測符
号化がされた直交変換ブロックに対して、逆直交変換を
し、逆直交変換がされた圧縮画像データと動き補償がさ
れた参照画像データとを加算し、加算して得られた動画
像データを参照画像データとして記憶し、記憶している
参照画像データのマクロブロックに対して動き補償を
し、フィールド直交変換モードにより直交変換がされた
直交変換ブロックの各係数のうち低周波成分の係数に対
して逆直交変換をし、フレーム直交変換モードにより直
交変換がされ且つフレーム内予測符号化がされた直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
し、逆直交変換をした直交変換ブロックの各画素を飛び
越し走査に対応した2つの画素ブロックに分離し、分離
した2つの画素ブロックに対してそれぞれ直交変換を
し、直交変換をした2つの画素ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、逆直交変換
をした2つの画素ブロックを合成して直交変換ブロック
を生成し、フレーム直交変換モードにより直交変換がさ
れ且つフレーム間予測符号化がされた直交変換ブロック
の各係数のうち低周波成分の係数に対して逆直交変換を
することを特徴とする。
【0034】この画像復号方法では、フレーム直交変換
モードにより直交変換がされ且つフレーム内予測符号化
がされた直交変換ブロックの全周波数成分の係数に対し
て逆直交変換をして飛び越し走査に対応した2つの画素
ブロックに分離し、分離した2つの画素ブロックに対し
てそれぞれ直交変換をして低周波成分の係数に対して逆
直交変換をし、逆直交変換をした2つの画素ブロックを
合成する。また、この画像復号方法では、フレーム直交
変換モードにおり直交変換がされ且つフレーム間予測符
号化がされた上記直交変換ブロックの各係数のうち低周
波成分の係数に対して逆直交変換をする。そして、この
画像復号方法では、第1の解像度より低い第2の解像度
の動画像データを出力する。
モードにより直交変換がされ且つフレーム内予測符号化
がされた直交変換ブロックの全周波数成分の係数に対し
て逆直交変換をして飛び越し走査に対応した2つの画素
ブロックに分離し、分離した2つの画素ブロックに対し
てそれぞれ直交変換をして低周波成分の係数に対して逆
直交変換をし、逆直交変換をした2つの画素ブロックを
合成する。また、この画像復号方法では、フレーム直交
変換モードにおり直交変換がされ且つフレーム間予測符
号化がされた上記直交変換ブロックの各係数のうち低周
波成分の係数に対して逆直交変換をする。そして、この
画像復号方法では、第1の解像度より低い第2の解像度
の動画像データを出力する。
【0035】本発明に係る画像復号方法は、所定の画素
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号方法であって、フレーム内予測符号化がされ
た直交変換ブロックに対して逆直交変換をして、第2の
解像度の参照画像データを生成し、フレーム間予測符号
化がされた直交変換ブロックに対して、逆直交変換し、
フレーム間予測符号化がされた直交変換ブロックに対し
て逆直交変換がされた圧縮画像データと動き補償がされ
た予測画像データとを加算して参照画像データを生成
し、加算して生成された上記参照画像データを第2の解
像度に縮小し、第2の解像度の参照画像データを記憶
し、記憶している第2の解像度の参照画像データのマク
ロブロックに対して動き補償をして第1の解像度の予測
画像データを生成し、フレーム内予測符号化がされた直
交変換ブロックの各係数のうち低周波成分の係数に対し
て逆直交変換をし、フレーム間予測符号化がされた直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をすることを特徴とする。
ブロック(マクロブロック)単位で動き予測を行うこと
による予測符号化、且つ、所定の画素ブロック(直交変
換ブロック)単位で直交変換を行うことによる圧縮符号
化をした第1の解像度の圧縮画像データから、上記第1
の解像度より低い第2の解像度の動画像データを復号す
る画像復号方法であって、フレーム内予測符号化がされ
た直交変換ブロックに対して逆直交変換をして、第2の
解像度の参照画像データを生成し、フレーム間予測符号
化がされた直交変換ブロックに対して、逆直交変換し、
フレーム間予測符号化がされた直交変換ブロックに対し
て逆直交変換がされた圧縮画像データと動き補償がされ
た予測画像データとを加算して参照画像データを生成
し、加算して生成された上記参照画像データを第2の解
像度に縮小し、第2の解像度の参照画像データを記憶
し、記憶している第2の解像度の参照画像データのマク
ロブロックに対して動き補償をして第1の解像度の予測
画像データを生成し、フレーム内予測符号化がされた直
交変換ブロックの各係数のうち低周波成分の係数に対し
て逆直交変換をし、フレーム間予測符号化がされた直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をすることを特徴とする。
【0036】この画像復号方法では、フレーム内予測符
号化がされた直交変換ブロックの低周波成分の係数に対
して逆直交変換をし、フレーム間予測符号化がされた直
交変換ブロックの全周波数成分の係数に対して逆直交変
換をする。そして、この画像復号方法では、第1の解像
度より低い第2の解像度の動画像データを出力する。
号化がされた直交変換ブロックの低周波成分の係数に対
して逆直交変換をし、フレーム間予測符号化がされた直
交変換ブロックの全周波数成分の係数に対して逆直交変
換をする。そして、この画像復号方法では、第1の解像
度より低い第2の解像度の動画像データを出力する。
【0037】
【発明の実施の形態】以下、本発明の実施の形態とし
て、本発明を適用した画像復号装置について、図面を参
照しながら説明する。
て、本発明を適用した画像復号装置について、図面を参
照しながら説明する。
【0038】(第1の実施の形態)まず、本発明の第1
の実施の形態の画像復号装置について説明する。
の実施の形態の画像復号装置について説明する。
【0039】図1に示すように、本発明の第1の実施の
形態の画像復号装置10は、垂直方向の有効ライン数が
例えば1152本の高解像度画像をMPEG2で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに1/2の解像度に縮
小して、垂直方向の有効ライン数が例えば576本の標
準解像度画像を出力する装置である。
形態の画像復号装置10は、垂直方向の有効ライン数が
例えば1152本の高解像度画像をMPEG2で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに1/2の解像度に縮
小して、垂直方向の有効ライン数が例えば576本の標
準解像度画像を出力する装置である。
【0040】なお、以下、本発明の実施の形態の説明を
するにあたり、高解像度画像のことを上位レイヤーとも
呼び、標準解像度画像のことを下位レイヤーとも呼ぶも
のとする。また、通常、8×8の離散コサイン係数を有
するDCTブロックを逆離散コサイン変換した場合8×
8の画素から構成される復号データを得ることができる
が、例えば、8×8の離散コサイン係数を復号して4×
4の画素から構成される復号データを得るような、逆離
散コサイン変換をするとともに解像度を縮小する処理
を、縮小逆離散コサイン変換という。
するにあたり、高解像度画像のことを上位レイヤーとも
呼び、標準解像度画像のことを下位レイヤーとも呼ぶも
のとする。また、通常、8×8の離散コサイン係数を有
するDCTブロックを逆離散コサイン変換した場合8×
8の画素から構成される復号データを得ることができる
が、例えば、8×8の離散コサイン係数を復号して4×
4の画素から構成される復号データを得るような、逆離
散コサイン変換をするとともに解像度を縮小する処理
を、縮小逆離散コサイン変換という。
【0041】この画像復号装置10は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、フィールドDCT
モードで離散コサイン変換がされたDCTブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
14と、マクロブロックがイントラマクロブロックであ
ってフレームDCTモードで離散コサイン変換がされた
DCTブロックに対して縮小逆離散コサイン変換をして
標準解像度画像を生成するフレームモード用イントラ画
像縮小逆離散コサイン変換装置15と、マクロブロック
がインターマクロブロックであってフレームDCTモー
ドで離散コサイン変換がされたDCTブロックに対して
縮小逆離散コサイン変換をして標準解像度画像を生成す
るフレームモード用インター画像縮小逆離散コサイン変
換装置16と、縮小逆離散コサイン変換がされた標準解
像度画像と動き補償がされた参照画像とを加算する加算
装置17と、参照画像を一時記憶するフレームメモリ1
8と、フレームメモリ18が記憶した参照画像にフィー
ルド動き予測モードに対応した動き補償をするフィール
ドモード用動き補償装置19と、フレームメモリ18が
記憶した参照画像にフレーム動き予測モードに対応した
動き補償をするフレームモード用動き補償装置20と、
フレームメモリ18が記憶した画像に対してポストフィ
ルタリングをすることにより、画枠変換をするとともに
画素の位相ずれを補正してテレビジョンモニタ等に表示
するための標準解像度の画像データを出力する画枠変換
・位相ずれ補正装置21とを備えている。
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、フィールドDCT
モードで離散コサイン変換がされたDCTブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用縮小逆離散コサイン変換装置
14と、マクロブロックがイントラマクロブロックであ
ってフレームDCTモードで離散コサイン変換がされた
DCTブロックに対して縮小逆離散コサイン変換をして
標準解像度画像を生成するフレームモード用イントラ画
像縮小逆離散コサイン変換装置15と、マクロブロック
がインターマクロブロックであってフレームDCTモー
ドで離散コサイン変換がされたDCTブロックに対して
縮小逆離散コサイン変換をして標準解像度画像を生成す
るフレームモード用インター画像縮小逆離散コサイン変
換装置16と、縮小逆離散コサイン変換がされた標準解
像度画像と動き補償がされた参照画像とを加算する加算
装置17と、参照画像を一時記憶するフレームメモリ1
8と、フレームメモリ18が記憶した参照画像にフィー
ルド動き予測モードに対応した動き補償をするフィール
ドモード用動き補償装置19と、フレームメモリ18が
記憶した参照画像にフレーム動き予測モードに対応した
動き補償をするフレームモード用動き補償装置20と、
フレームメモリ18が記憶した画像に対してポストフィ
ルタリングをすることにより、画枠変換をするとともに
画素の位相ずれを補正してテレビジョンモニタ等に表示
するための標準解像度の画像データを出力する画枠変換
・位相ずれ補正装置21とを備えている。
【0042】フィールドモード用縮小逆離散コサイン変
換装置14は、入力されたビットストリームのマクロブ
ロックが、フィールドDCTモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置14は、フィールドDCTモー
ドで離散コサイン変換がされたマクロブロック内の8×
8個の係数が示されたDCTブロックに対して、図34
で示したような、低域の4×4の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の4点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置14では、以上のような縮小逆離散コサイ
ン変換を行うことにより、1つのDCTブロックが4×
4の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図2に示すように、トップフィールドの各画素の垂
直方向の位相が1/2、5/2・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が1、3・・・とな
る。すなわち、復号された下位レイヤーのトップフィー
ルドでは、先頭画素(位相が1/2の画素)の位相が上
位レイヤーのトップフィールドの先頭から1番目と2番
目の画素(位相が0と2の画素)の中間位相となり、先
頭から2番目の画素(位相が5/2の画素)の位相が上
位レイヤーのトップフィールドの先頭から3番目と4番
目の画素(位相が4と6の画素)の中間位相となる。ま
た、復号された下位レイヤーのボトムフィールドでは、
先頭画素(位相が1の画素)の位相が上位レイヤーのボ
トムフィールドの先頭から1番目と2番目の画素(位相
が1と3の画素)の中間位相となり、先頭から2番目の
画素(位相が3の画素)の位相が上位レイヤーのボトム
フィールドの先頭から3番目と4番目の画素(位相が5
と7の画素)の中間位相となる。
換装置14は、入力されたビットストリームのマクロブ
ロックが、フィールドDCTモードで離散コサイン変換
されている場合に用いられる。フィールドモード用縮小
逆離散コサイン変換装置14は、フィールドDCTモー
ドで離散コサイン変換がされたマクロブロック内の8×
8個の係数が示されたDCTブロックに対して、図34
で示したような、低域の4×4の係数のみに逆離散コサ
イン変換を行う。すなわち、水平方向及び垂直方向の低
域の4点の離散コサイン係数に基づき縮小逆離散コサイ
ン変換を行う。このフィールドモード用縮小逆離散コサ
イン変換装置14では、以上のような縮小逆離散コサイ
ン変換を行うことにより、1つのDCTブロックが4×
4の画素から構成される標準解像度画像を復号すること
ができる。この復号された画像データの各画素の位相
は、図2に示すように、トップフィールドの各画素の垂
直方向の位相が1/2、5/2・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が1、3・・・とな
る。すなわち、復号された下位レイヤーのトップフィー
ルドでは、先頭画素(位相が1/2の画素)の位相が上
位レイヤーのトップフィールドの先頭から1番目と2番
目の画素(位相が0と2の画素)の中間位相となり、先
頭から2番目の画素(位相が5/2の画素)の位相が上
位レイヤーのトップフィールドの先頭から3番目と4番
目の画素(位相が4と6の画素)の中間位相となる。ま
た、復号された下位レイヤーのボトムフィールドでは、
先頭画素(位相が1の画素)の位相が上位レイヤーのボ
トムフィールドの先頭から1番目と2番目の画素(位相
が1と3の画素)の中間位相となり、先頭から2番目の
画素(位相が3の画素)の位相が上位レイヤーのボトム
フィールドの先頭から3番目と4番目の画素(位相が5
と7の画素)の中間位相となる。
【0043】フレームモード用イントラ画像縮小逆離散
コサイン変換装置15は、入力されたビットストリーム
のマクロブロックが、フレームDCTモードで離散コサ
イン変換されている場合であって、且つ、フレーム内予
測符号化で圧縮されたイントラ画像である場合に用いら
れる。フレームモード用イントラ画像縮小逆離散コサイ
ン変換装置15は、フレームDCTモードで離散コサイ
ン変換がされたマクロブロック内の8×8個の係数が示
されたDCTブロックに対して、縮小逆離散コサイン変
換を行う。そして、フレームモード用イントラ画像縮小
逆離散コサイン変換装置15では、1つのDCTブロッ
クが4×4の画素から構成される解像度画像を復号する
とともに、フィールドモード用縮小逆離散コサイン変換
装置14で生成した標準解像度画像の画素の位相と同位
相の画像を生成する。すなわち、フレームモード用イン
トラ画像縮小逆離散コサイン変換装置15で復号された
画像データの各画素の位相は、図2に示すように、トッ
プフィールドの各画素の垂直方向の位相が1/2、5/
2・・・となり、ボトムフィールドの各画素の垂直方向
の位相が1、3・・・となる。
コサイン変換装置15は、入力されたビットストリーム
のマクロブロックが、フレームDCTモードで離散コサ
イン変換されている場合であって、且つ、フレーム内予
測符号化で圧縮されたイントラ画像である場合に用いら
れる。フレームモード用イントラ画像縮小逆離散コサイ
ン変換装置15は、フレームDCTモードで離散コサイ
ン変換がされたマクロブロック内の8×8個の係数が示
されたDCTブロックに対して、縮小逆離散コサイン変
換を行う。そして、フレームモード用イントラ画像縮小
逆離散コサイン変換装置15では、1つのDCTブロッ
クが4×4の画素から構成される解像度画像を復号する
とともに、フィールドモード用縮小逆離散コサイン変換
装置14で生成した標準解像度画像の画素の位相と同位
相の画像を生成する。すなわち、フレームモード用イン
トラ画像縮小逆離散コサイン変換装置15で復号された
画像データの各画素の位相は、図2に示すように、トッ
プフィールドの各画素の垂直方向の位相が1/2、5/
2・・・となり、ボトムフィールドの各画素の垂直方向
の位相が1、3・・・となる。
【0044】なお、このフレームモード用イントラ画像
縮小逆離散コサイン変換装置15の処理については、そ
の詳細を後述する。
縮小逆離散コサイン変換装置15の処理については、そ
の詳細を後述する。
【0045】フレームモード用インター画像縮小逆離散
コサイン変換装置16は、入力されたビットストリーム
のマクロブロックが、フレームDCTモードで離散コサ
イン変換されている場合であって、且つ、フレーム間予
測符号化で圧縮されたインター画像である場合に用いら
れる。フレームモード用インター画像縮小逆離散コサイ
ン変換装置16は、フレームDCTモードで離散コサイ
ン変換がされたマクロブロック内の8×8個の係数が示
されたDCTブロックに対して、縮小逆離散コサイン変
換を行う。そして、フレームモード用インター画像縮小
逆離散コサイン変換装置15では、1つのDCTブロッ
クが4×4の画素から構成される解像度画像を復号する
とともに、フィールドモード用縮小逆離散コサイン変換
装置14で生成した標準解像度画像の画素の位相と同位
相の画像を生成する。すなわち、フレームモード用イン
ター画像縮小逆離散コサイン変換装置15で復号された
画像データの各画素の位相は、図2に示すように、トッ
プフィールドの各画素の垂直方向の位相が1/2、5/
2・・・となり、ボトムフィールドの各画素の垂直方向
の位相が1、3・・・となる。
コサイン変換装置16は、入力されたビットストリーム
のマクロブロックが、フレームDCTモードで離散コサ
イン変換されている場合であって、且つ、フレーム間予
測符号化で圧縮されたインター画像である場合に用いら
れる。フレームモード用インター画像縮小逆離散コサイ
ン変換装置16は、フレームDCTモードで離散コサイ
ン変換がされたマクロブロック内の8×8個の係数が示
されたDCTブロックに対して、縮小逆離散コサイン変
換を行う。そして、フレームモード用インター画像縮小
逆離散コサイン変換装置15では、1つのDCTブロッ
クが4×4の画素から構成される解像度画像を復号する
とともに、フィールドモード用縮小逆離散コサイン変換
装置14で生成した標準解像度画像の画素の位相と同位
相の画像を生成する。すなわち、フレームモード用イン
ター画像縮小逆離散コサイン変換装置15で復号された
画像データの各画素の位相は、図2に示すように、トッ
プフィールドの各画素の垂直方向の位相が1/2、5/
2・・・となり、ボトムフィールドの各画素の垂直方向
の位相が1、3・・・となる。
【0046】なお、このフレームモード用インター画像
縮小逆離散コサイン変換装置16の処理については、そ
の詳細を後述する。
縮小逆離散コサイン変換装置16の処理については、そ
の詳細を後述する。
【0047】加算装置17は、フィールドモード用縮小
逆離散コサイン変換装置14、フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15により縮小逆離
散コサイン変換されたマクロブロックがイントラ画像の
場合には、そのイントラ画像をそのままフレームメモリ
18に格納する。また、加算装置17は、フィールドモ
ード用縮小逆離散コサイン変換装置14又はフレームモ
ード用インター画像縮小逆離散コサイン変換装置16に
より縮小逆離散コサイン変換されたマクロブロックがイ
ンター画像である場合には、そのインター画像に、フィ
ールドモード用動き補償装置19或いはフレームモード
用動き補償装置20により動き補償がされた参照画像を
合成して、フレームメモリ18に格納する。
逆離散コサイン変換装置14、フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15により縮小逆離
散コサイン変換されたマクロブロックがイントラ画像の
場合には、そのイントラ画像をそのままフレームメモリ
18に格納する。また、加算装置17は、フィールドモ
ード用縮小逆離散コサイン変換装置14又はフレームモ
ード用インター画像縮小逆離散コサイン変換装置16に
より縮小逆離散コサイン変換されたマクロブロックがイ
ンター画像である場合には、そのインター画像に、フィ
ールドモード用動き補償装置19或いはフレームモード
用動き補償装置20により動き補償がされた参照画像を
合成して、フレームメモリ18に格納する。
【0048】フィールドモード用動き補償装置19は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
1/4画素精度で補間処理を行い、フィールド動き予測
モードに対応した動き補償をする。このフィールドモー
ド用動き補償装置19により動き補償がされた参照画像
は、加算装置17に供給され、インター画像に合成され
る。
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
1/4画素精度で補間処理を行い、フィールド動き予測
モードに対応した動き補償をする。このフィールドモー
ド用動き補償装置19により動き補償がされた参照画像
は、加算装置17に供給され、インター画像に合成され
る。
【0049】フレームモード用動き補償装置20は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形で1/4
画素精度で補間処理を行い、フレーム動き予測モードに
対応した動き補償をする。このフレームモード用動き補
償装置20により動き補償がされた参照画像は、加算装
置17に供給され、インター画像に合成される。
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形で1/4
画素精度で補間処理を行い、フレーム動き予測モードに
対応した動き補償をする。このフレームモード用動き補
償装置20により動き補償がされた参照画像は、加算装
置17に供給され、インター画像に合成される。
【0050】画枠変換・位相ずれ補正装置21は、フレ
ームメモリ18が記憶した標準解像度の参照画像或いは
加算装置17が合成した画像が供給され、この画像をポ
ストフィルタリングにより、トップフィールドとボトム
フィールドとの間の位相ずれ成分を補正するとともに画
枠を標準解像度のテレビジョンの規格に合致するように
変換する。すなわち、画枠変換・位相ずれ補正装置21
は、トップフィールドの各画素の垂直方向の位相が1/
2、5/2・・・となり、ボトムフィールドの各画素の
垂直方向の位相が1、3・・・となる標準解像度画像
を、例えば、トップフィールドの各画素の垂直方向の位
相が0、2、4・・・となり、ボトムフィールドの各画
素の垂直方向の位相が1、3、5・・・となるように補
正する。また、画枠変換・位相ずれ補正装置21は、高
解像度のテレビジョン規格の画枠を、1/4に縮小して
標準解像度のテレビジョン規格の画枠に変換する。
ームメモリ18が記憶した標準解像度の参照画像或いは
加算装置17が合成した画像が供給され、この画像をポ
ストフィルタリングにより、トップフィールドとボトム
フィールドとの間の位相ずれ成分を補正するとともに画
枠を標準解像度のテレビジョンの規格に合致するように
変換する。すなわち、画枠変換・位相ずれ補正装置21
は、トップフィールドの各画素の垂直方向の位相が1/
2、5/2・・・となり、ボトムフィールドの各画素の
垂直方向の位相が1、3・・・となる標準解像度画像
を、例えば、トップフィールドの各画素の垂直方向の位
相が0、2、4・・・となり、ボトムフィールドの各画
素の垂直方向の位相が1、3、5・・・となるように補
正する。また、画枠変換・位相ずれ補正装置21は、高
解像度のテレビジョン規格の画枠を、1/4に縮小して
標準解像度のテレビジョン規格の画枠に変換する。
【0051】本発明の第1の実施の形態の画像復号装置
10では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに解像度を1/2に縮小して、標準
解像度画像を出力することができる。
10では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに解像度を1/2に縮小して、標準
解像度画像を出力することができる。
【0052】つぎに、上記フレームモード用イントラ画
像縮小逆離散コサイン変換装置15の処理内容につい
て、さらに詳細に説明する。
像縮小逆離散コサイン変換装置15の処理内容につい
て、さらに詳細に説明する。
【0053】なお、このフレームモード用イントラ画像
縮小逆離散コサイン変換装置15では、以下に説明する
1ブロック処理及び2ブロック処理のいずれか或いは両
者の処理を行うことができる。フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15は、必要に応じ
て、1ブロック処理又は2ブロック処理を切り換えて用
いても良いし、或いは、いずれか一方の処理のみを行っ
ても良い。
縮小逆離散コサイン変換装置15では、以下に説明する
1ブロック処理及び2ブロック処理のいずれか或いは両
者の処理を行うことができる。フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15は、必要に応じ
て、1ブロック処理又は2ブロック処理を切り換えて用
いても良いし、或いは、いずれか一方の処理のみを行っ
ても良い。
【0054】まず、1ブロック処理について説明する。
図3に、1ブロック処理の内容を説明するための図を示
す。
図3に、1ブロック処理の内容を説明するための図を示
す。
【0055】フレームモード用イントラ画像縮小逆離散
コサイン変換装置15には、図3に示すように、高解像
度画像を圧縮符号化したビットストリームが、1つのD
CTブロック単位で入力される。
コサイン変換装置15には、図3に示すように、高解像
度画像を圧縮符号化したビットストリームが、1つのD
CTブロック単位で入力される。
【0056】まず、ステップS1において、この1つの
DCTブロックの離散コサイン係数y(DCTブロック
の全ての離散コサイン係数のうち垂直方向の係数をy1
〜y8として図中に示す。)に対して、8×8の逆離散
コサイン変換(IDCT8×8)を行う。逆離散コサイ
ン変換をすることにより、8×8の復号された画素デー
タx(DCTブロックの全ての画素データのうち垂直方
向の画素データをx1〜x8として図中に示す。)を得る
ことができる。
DCTブロックの離散コサイン係数y(DCTブロック
の全ての離散コサイン係数のうち垂直方向の係数をy1
〜y8として図中に示す。)に対して、8×8の逆離散
コサイン変換(IDCT8×8)を行う。逆離散コサイ
ン変換をすることにより、8×8の復号された画素デー
タx(DCTブロックの全ての画素データのうち垂直方
向の画素データをx1〜x8として図中に示す。)を得る
ことができる。
【0057】続いて、ステップS2において、この8×
8の画素データxを、垂直方向に1ライン毎交互に取り
出して、飛び越し走査に対応した4×4のトップフィー
ルドの画素ブロックと、飛び越し走査に対応した4×4
のボトムフィールドの画素ブロックの2つの画素ブロッ
クに分離する。すなわち、垂直方向に1ライン目の画素
データx1と、3ライン目の画素データx3と、5ライン
目の画素データx5と、7ライン目の画素データx7とを
取り出して、トップフィールドに対応した画素ブロック
を生成する。また、垂直方向に2ライン目の画素データ
x2と、4ライン目の画素データx4と、6ライン目の画
素データx6と、8ライン目の画素データx8とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。なお、DCTブロックの各画素を飛び越し走査に
対応した2つの画素ブロックに分離する処理を、以下フ
ィールド分離という。
8の画素データxを、垂直方向に1ライン毎交互に取り
出して、飛び越し走査に対応した4×4のトップフィー
ルドの画素ブロックと、飛び越し走査に対応した4×4
のボトムフィールドの画素ブロックの2つの画素ブロッ
クに分離する。すなわち、垂直方向に1ライン目の画素
データx1と、3ライン目の画素データx3と、5ライン
目の画素データx5と、7ライン目の画素データx7とを
取り出して、トップフィールドに対応した画素ブロック
を生成する。また、垂直方向に2ライン目の画素データ
x2と、4ライン目の画素データx4と、6ライン目の画
素データx6と、8ライン目の画素データx8とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。なお、DCTブロックの各画素を飛び越し走査に
対応した2つの画素ブロックに分離する処理を、以下フ
ィールド分離という。
【0058】続いて、ステップS3において、フィール
ド分離した2つの画素ブロックそれぞれに対して4×4
の離散コサイン変換(DCT4×4)をする。
ド分離した2つの画素ブロックそれぞれに対して4×4
の離散コサイン変換(DCT4×4)をする。
【0059】続いて、ステップS4において、4×4の
離散コサイン変換をして得られたトップフィールドに対
応する画素ブロックの離散コサイン係数z(トップフィ
ールドに対応する画素ブロックの全ての係数のうち垂直
方向の離散コサイン係数をz1,z3,z5,z7として図
中に示す。)の高域成分を間引き、2×2の離散コサイ
ン係数から構成される画素ブロックとする。また、4×
4の離散コサイン変換をして得られたボトムフィールド
に対応する画素ブロックの離散コサイン係数z(ボトム
フィールドに対応する画素ブロックの全ての係数のうち
垂直方向の離散コサイン係数をz2,z4,z6,z8とし
て図中に示す。)の高域成分を間引き、2×2の離散コ
サイン係数から構成される画素ブロックとする。
離散コサイン変換をして得られたトップフィールドに対
応する画素ブロックの離散コサイン係数z(トップフィ
ールドに対応する画素ブロックの全ての係数のうち垂直
方向の離散コサイン係数をz1,z3,z5,z7として図
中に示す。)の高域成分を間引き、2×2の離散コサイ
ン係数から構成される画素ブロックとする。また、4×
4の離散コサイン変換をして得られたボトムフィールド
に対応する画素ブロックの離散コサイン係数z(ボトム
フィールドに対応する画素ブロックの全ての係数のうち
垂直方向の離散コサイン係数をz2,z4,z6,z8とし
て図中に示す。)の高域成分を間引き、2×2の離散コ
サイン係数から構成される画素ブロックとする。
【0060】続いて、ステップS5において、高域成分
の離散コサイン係数を間引いた画素ブロックに対して、
2×2の逆離散コサイン変換(IDCT2×2)を行
う。2×2の逆離散コサイン変換をすることにより、2
×2の復号された画素データx′(トップフィールドの
画素ブロックの全ての画素データのうち垂直方向の画素
データをx′1,x′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4として図中
に示す。)を得ることができる。
の離散コサイン係数を間引いた画素ブロックに対して、
2×2の逆離散コサイン変換(IDCT2×2)を行
う。2×2の逆離散コサイン変換をすることにより、2
×2の復号された画素データx′(トップフィールドの
画素ブロックの全ての画素データのうち垂直方向の画素
データをx′1,x′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4として図中
に示す。)を得ることができる。
【0061】続いて、ステップS6において、トップフ
ィールドに対応する画素ブロックの画素データと、ボト
ムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互に合成して、4×4の
画素データから構成される縮小逆離散コサイン変換をし
たDCTブロックを生成する。なお、トップフィールド
とボトムフィールドに対応した2つの画素ブロックの各
画素を垂直方向に交互に合成する処理を、以下フレーム
合成という。
ィールドに対応する画素ブロックの画素データと、ボト
ムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互に合成して、4×4の
画素データから構成される縮小逆離散コサイン変換をし
たDCTブロックを生成する。なお、トップフィールド
とボトムフィールドに対応した2つの画素ブロックの各
画素を垂直方向に交互に合成する処理を、以下フレーム
合成という。
【0062】以上のステップS1〜ステップS6で示し
た1ブロック処理を行うことにより、フレームモード用
縮小逆離散コサイン変換装15では、図2で示したよう
な、フィールドモード用縮小逆離散コサイン変換装置1
4で生成した標準解像度画像の画素の位相と同位相の画
素から構成される4×4のDCTブロックを生成するこ
とができる。
た1ブロック処理を行うことにより、フレームモード用
縮小逆離散コサイン変換装15では、図2で示したよう
な、フィールドモード用縮小逆離散コサイン変換装置1
4で生成した標準解像度画像の画素の位相と同位相の画
素から構成される4×4のDCTブロックを生成するこ
とができる。
【0063】また、フレームモード用イントラ画像縮小
逆離散コサイン変換装置15では、以上のステップS1
からステップS6までの1ブロック処理を1つの行列を
用いて演算する。具体的には、フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15では、以上の処
理を加法定理を用いて展開計算することにより得られる
以下の式1に示す行列[FS′]と、1つのDCTブロ
ックの離散コサイン係数y(y1〜y8)とを行列演算す
ることにより、縮小逆離散コサイン変換したDCTブロ
ックの画素データx′(x′1〜x′4)を得ることがで
きる。
逆離散コサイン変換装置15では、以上のステップS1
からステップS6までの1ブロック処理を1つの行列を
用いて演算する。具体的には、フレームモード用イント
ラ画像縮小逆離散コサイン変換装置15では、以上の処
理を加法定理を用いて展開計算することにより得られる
以下の式1に示す行列[FS′]と、1つのDCTブロ
ックの離散コサイン係数y(y1〜y8)とを行列演算す
ることにより、縮小逆離散コサイン変換したDCTブロ
ックの画素データx′(x′1〜x′4)を得ることがで
きる。
【0064】
【数1】
【0065】但し、この式(1)において、A〜Jは以
下の通りである。
下の通りである。
【0066】
【数2】
【0067】つぎに、2ブロック処理について説明す
る。図4に、2ブロック処理の内容を説明するための図
を示す。
る。図4に、2ブロック処理の内容を説明するための図
を示す。
【0068】フレームモード用イントラ画像縮小逆離散
コサイン変換装置15には、図4に示すように、高解像
度画像を圧縮符号化したビットストリームが、2つのD
CTブロック単位で入力される。例えば、マクロブロッ
クが4つの輝度成分のDCTブロックと2つの色差成分
のDCTブロックとから構成されるいわゆる420フォ
ーマットからなる場合には、垂直方向に隣接した2つの
輝度成分(Y)のDCTブロックが入力される。マクロ
ブロックが図5に示すように構成されている場合には、
輝度成分(Y)のDCTブロック0とDCTブロック2
とが対となって入力され、また、DCTブロック1とD
CTブロック3とが対となって入力される。
コサイン変換装置15には、図4に示すように、高解像
度画像を圧縮符号化したビットストリームが、2つのD
CTブロック単位で入力される。例えば、マクロブロッ
クが4つの輝度成分のDCTブロックと2つの色差成分
のDCTブロックとから構成されるいわゆる420フォ
ーマットからなる場合には、垂直方向に隣接した2つの
輝度成分(Y)のDCTブロックが入力される。マクロ
ブロックが図5に示すように構成されている場合には、
輝度成分(Y)のDCTブロック0とDCTブロック2
とが対となって入力され、また、DCTブロック1とD
CTブロック3とが対となって入力される。
【0069】まず、ステップS11において、2つのD
CTブロックの離散コサイン係数y(時間的に前のDC
Tブロックの全ての離散コサイン係数のうち垂直方向の
係数をy1〜y8として図中に示し、時間的に後のDCT
ブロックの全ての離散コサイン係数のうち垂直方向の係
数をy9〜y16として図中に示す。)に対して、それぞ
れ独立に8×8の逆離散コサイン変換(IDCT8×
8)を行う。逆離散コサイン変換をすることにより、8
×8の復号された画素データx(時間的に前のDCTブ
ロックの全ての画素データのうち垂直方向の画素データ
をx1〜x8として図中に示し、時間的に後のDCTブロ
ックの全ての画素データのうち垂直方向の画素データを
x9〜x16として図中に示す。)を得ることができる。
CTブロックの離散コサイン係数y(時間的に前のDC
Tブロックの全ての離散コサイン係数のうち垂直方向の
係数をy1〜y8として図中に示し、時間的に後のDCT
ブロックの全ての離散コサイン係数のうち垂直方向の係
数をy9〜y16として図中に示す。)に対して、それぞ
れ独立に8×8の逆離散コサイン変換(IDCT8×
8)を行う。逆離散コサイン変換をすることにより、8
×8の復号された画素データx(時間的に前のDCTブ
ロックの全ての画素データのうち垂直方向の画素データ
をx1〜x8として図中に示し、時間的に後のDCTブロ
ックの全ての画素データのうち垂直方向の画素データを
x9〜x16として図中に示す。)を得ることができる。
【0070】続いて、ステップS12において、2つの
DCTブロックの8×8の画素データxを、垂直方向に
1ライン毎交互に取り出して、飛び越し走査に対応した
トップフィールドの8×8の画素ブロックと、飛び越し
走査に対応したボトムフィールドの8×8の画素ブロッ
クの2つの画素ブロックにフィールド分離する。すなわ
ち、時間的に前のDCTブロックから、垂直方向に1ラ
イン目の画素データx1と、3ライン目の画素データx3
と、5ライン目の画素データx5と、7ライン目の画素
データx7とを取り出し、時間的に後のDCTブロック
から、垂直方向に1ライン目の画素データx9と、3ラ
イン目の画素データx11と、5ライン目の画素データx
13と、7ライン目の画素データx15とを取り出して、ト
ップフィールドに対応した8×8の画素ブロックを生成
する。また、時間的に前のDCTブロックから、垂直方
向に2ライン目の画素データx2と、4ライン目の画素
データx4と、6ライン目の画素データx6と、8ライン
目の画素データx8とを取り出し、時間的に後のDCT
ブロックから、垂直方向に2ライン目の画素データx10
と、4ライン目の画素データx12と、6ライン目の画素
データx14と、8ライン目の画素データx16とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。
DCTブロックの8×8の画素データxを、垂直方向に
1ライン毎交互に取り出して、飛び越し走査に対応した
トップフィールドの8×8の画素ブロックと、飛び越し
走査に対応したボトムフィールドの8×8の画素ブロッ
クの2つの画素ブロックにフィールド分離する。すなわ
ち、時間的に前のDCTブロックから、垂直方向に1ラ
イン目の画素データx1と、3ライン目の画素データx3
と、5ライン目の画素データx5と、7ライン目の画素
データx7とを取り出し、時間的に後のDCTブロック
から、垂直方向に1ライン目の画素データx9と、3ラ
イン目の画素データx11と、5ライン目の画素データx
13と、7ライン目の画素データx15とを取り出して、ト
ップフィールドに対応した8×8の画素ブロックを生成
する。また、時間的に前のDCTブロックから、垂直方
向に2ライン目の画素データx2と、4ライン目の画素
データx4と、6ライン目の画素データx6と、8ライン
目の画素データx8とを取り出し、時間的に後のDCT
ブロックから、垂直方向に2ライン目の画素データx10
と、4ライン目の画素データx12と、6ライン目の画素
データx14と、8ライン目の画素データx16とを取り出
して、ボトムフィールドに対応した画素ブロックを生成
する。
【0071】続いて、ステップS13において、フィー
ルド分離した2つの8×8の画素ブロックそれぞれに対
して8×8の離散コサイン変換(DCT8×8)をす
る。
ルド分離した2つの8×8の画素ブロックそれぞれに対
して8×8の離散コサイン変換(DCT8×8)をす
る。
【0072】続いて、ステップS14において、8×8
の離散コサイン変換をして得られたトップフィールドに
対応する画素ブロックの離散コサイン係数z(トップフ
ィールドに対応する画素ブロックの全ての係数のうち垂
直方向の離散コサイン係数をz1,z3,z5,z7,
z9,z11,z13,z15として図中に示す。)の高域成
分を間引いて、4×4の離散コサイン係数から構成され
る画素ブロックとする。また、8×8の離散コサイン変
換をして得られたボトムフィールドに対応する画素ブロ
ックの離散コサイン係数z(ボトムフィールドに対応す
る画素ブロックの全ての係数のうち垂直方向の離散コサ
イン係数をz2,z4,z6,z8,z10,z12,z14,z
16として図中に示す。)の高域成分を間引き、4×4の
離散コサイン係数から構成される画素ブロックとする。
の離散コサイン変換をして得られたトップフィールドに
対応する画素ブロックの離散コサイン係数z(トップフ
ィールドに対応する画素ブロックの全ての係数のうち垂
直方向の離散コサイン係数をz1,z3,z5,z7,
z9,z11,z13,z15として図中に示す。)の高域成
分を間引いて、4×4の離散コサイン係数から構成され
る画素ブロックとする。また、8×8の離散コサイン変
換をして得られたボトムフィールドに対応する画素ブロ
ックの離散コサイン係数z(ボトムフィールドに対応す
る画素ブロックの全ての係数のうち垂直方向の離散コサ
イン係数をz2,z4,z6,z8,z10,z12,z14,z
16として図中に示す。)の高域成分を間引き、4×4の
離散コサイン係数から構成される画素ブロックとする。
【0073】続いて、ステップS15において、高域成
分の離散コサイン係数を間引いた4×4の画素ブロック
それぞれに対して、4×4の逆離散コサイン変換(ID
CT4×4)を行う。4×4の逆離散コサイン変換をす
ることにより、4×4の復号された画素データx′(ト
ップフィールドに対応する画素ブロックの全ての画素デ
ータのうち垂直方向の画素データをx′1,x′3,x′
5,x′7として図中に示し、また、ボトムフィールドに
対応する画素ブロックの全ての画素データのうち垂直方
向の画素データをx′2,x′4,x′6,x′8として図
中に示す。)を得ることができる。
分の離散コサイン係数を間引いた4×4の画素ブロック
それぞれに対して、4×4の逆離散コサイン変換(ID
CT4×4)を行う。4×4の逆離散コサイン変換をす
ることにより、4×4の復号された画素データx′(ト
ップフィールドに対応する画素ブロックの全ての画素デ
ータのうち垂直方向の画素データをx′1,x′3,x′
5,x′7として図中に示し、また、ボトムフィールドに
対応する画素ブロックの全ての画素データのうち垂直方
向の画素データをx′2,x′4,x′6,x′8として図
中に示す。)を得ることができる。
【0074】続いて、ステップS16において、トップ
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互にフレーム合成して、
8×8の画素データから構成される縮小逆離散コサイン
変換をしたDCTブロックを生成する。
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互にフレーム合成して、
8×8の画素データから構成される縮小逆離散コサイン
変換をしたDCTブロックを生成する。
【0075】以上のステップS11〜ステップS16で
示した2ブロック処理を行うことにより、フレームモー
ド用縮小逆離散コサイン変換装15では、図2で示した
ような、フィールドモード用縮小逆離散コサイン変換装
置14で生成した標準解像度画像の画素の位相と同位相
の画素から構成されるDCTブロックを生成することが
できる。
示した2ブロック処理を行うことにより、フレームモー
ド用縮小逆離散コサイン変換装15では、図2で示した
ような、フィールドモード用縮小逆離散コサイン変換装
置14で生成した標準解像度画像の画素の位相と同位相
の画素から構成されるDCTブロックを生成することが
できる。
【0076】また、フレームモード用イントラ画像縮小
逆離散コサイン変換装置15では、以上のステップS1
1〜ステップS16までの2ブロック処理を1つの行列
を用いて演算する。具体的には、フレームモード用イン
トラ画像縮小逆離散コサイン変換装置15では、以上の
処理を加法定理を用いて展開計算することにより得られ
る以下の式(2)に示す行列[FS′′]と、2つのD
CTブロックの離散コサイン係数y(y1〜y16)とを
行列演算して、縮小逆離散コサイン変換したDCTブロ
ックの画素データx′(x′1〜x′8)を得ることがで
きる。
逆離散コサイン変換装置15では、以上のステップS1
1〜ステップS16までの2ブロック処理を1つの行列
を用いて演算する。具体的には、フレームモード用イン
トラ画像縮小逆離散コサイン変換装置15では、以上の
処理を加法定理を用いて展開計算することにより得られ
る以下の式(2)に示す行列[FS′′]と、2つのD
CTブロックの離散コサイン係数y(y1〜y16)とを
行列演算して、縮小逆離散コサイン変換したDCTブロ
ックの画素データx′(x′1〜x′8)を得ることがで
きる。
【0077】
【数3】
【0078】但し、この式(2)において、A〜Dは、
以下の通りである。
以下の通りである。
【0079】
【数4】
【0080】
【数5】
【0081】
【数6】
【0082】
【数7】
【0083】また、この式(2)において、a〜gは、
以下の通りである。
以下の通りである。
【0084】
【数8】
【0085】なお、上記フレームモード用イントラ画像
縮小逆離散コサイン変換装置15では、図5で示したい
わゆる420フォーマットのマクロブロックが入力され
た場合には、輝度成分に対しては上記ステップS11〜
ステップS16に示した2ブロック処理を行って縮小逆
離散コサイン変換を行い、色差成分に対しては、上記ス
テップS1〜ステップS6に示した1ブロック処理を行
って縮小逆離散コサイン変換を行っても良い。
縮小逆離散コサイン変換装置15では、図5で示したい
わゆる420フォーマットのマクロブロックが入力され
た場合には、輝度成分に対しては上記ステップS11〜
ステップS16に示した2ブロック処理を行って縮小逆
離散コサイン変換を行い、色差成分に対しては、上記ス
テップS1〜ステップS6に示した1ブロック処理を行
って縮小逆離散コサイン変換を行っても良い。
【0086】つぎに、上記フレームモード用インター画
像縮小逆離散コサイン変換装置16の処理内容につい
て、さらに詳細に説明する。
像縮小逆離散コサイン変換装置16の処理内容につい
て、さらに詳細に説明する。
【0087】このフレームモード用インター画像縮小逆
離散コサイン変換装置16では、DCTブロックの離散
コサイン係数に対して、水平方向には、低域の4×4の
逆離散コサイン変換を行う。
離散コサイン変換装置16では、DCTブロックの離散
コサイン係数に対して、水平方向には、低域の4×4の
逆離散コサイン変換を行う。
【0088】また、このフレームモード用インター画像
縮小逆離散コサイン変換装置16では、DCTブロック
の離散コサイン係数に対して、垂直方向には、以下の
(1)〜(3)3つの処理のいずれかを行う。
縮小逆離散コサイン変換装置16では、DCTブロック
の離散コサイン係数に対して、垂直方向には、以下の
(1)〜(3)3つの処理のいずれかを行う。
【0089】(1)垂直方向の係数に対して、低域の4
点の逆離散コサイン変換を行う。
点の逆離散コサイン変換を行う。
【0090】(2)垂直方向の係数に対して、8点全て
の離散コサイン変換を行い、フレーム内の全ての画素を
用いて線形内挿処理を行い、フィールドモード用縮小逆
離散コサイン変換装置14で生成した標準解像度画像の
画素の位相と同位相の画像を生成する。
の離散コサイン変換を行い、フレーム内の全ての画素を
用いて線形内挿処理を行い、フィールドモード用縮小逆
離散コサイン変換装置14で生成した標準解像度画像の
画素の位相と同位相の画像を生成する。
【0091】(3)垂直方向の係数に対して、8点全て
の離散コサイン変換を行い、フレーム内の全ての画素
を、トップフィールドとボトムフィールドとの分離し
て、それぞれのフィールド内で線形内挿処理を行い、フ
ィールドモード用縮小逆離散コサイン変換装置14で生
成した標準解像度画像の画素の位相と同位相の画像を生
成する。
の離散コサイン変換を行い、フレーム内の全ての画素
を、トップフィールドとボトムフィールドとの分離し
て、それぞれのフィールド内で線形内挿処理を行い、フ
ィールドモード用縮小逆離散コサイン変換装置14で生
成した標準解像度画像の画素の位相と同位相の画像を生
成する。
【0092】このような(1)〜(3)のいずれかの処
理を行うことによって、フレームモード用インター画像
縮小逆離散コサイン変換装置16では、1つのDCTブ
ロックが4×4の画素から構成される解像度画像を復号
するとともに、フィールドモード用縮小逆離散コサイン
変換装置14で生成した標準解像度画像の画素の位相と
同位相の画像を生成する。すなわち、フレームモード用
インター画像縮小逆離散コサイン変換装置16で復号さ
れた画像データの各画素の位相は、図2に示すように、
トップフィールドの各画素の垂直方向の位相が1/2、
5/2・・・となり、ボトムフィールドの各画素の垂直
方向の位相が1、3・・・となる。
理を行うことによって、フレームモード用インター画像
縮小逆離散コサイン変換装置16では、1つのDCTブ
ロックが4×4の画素から構成される解像度画像を復号
するとともに、フィールドモード用縮小逆離散コサイン
変換装置14で生成した標準解像度画像の画素の位相と
同位相の画像を生成する。すなわち、フレームモード用
インター画像縮小逆離散コサイン変換装置16で復号さ
れた画像データの各画素の位相は、図2に示すように、
トップフィールドの各画素の垂直方向の位相が1/2、
5/2・・・となり、ボトムフィールドの各画素の垂直
方向の位相が1、3・・・となる。
【0093】以上のように本発明の第1の実施の形態の
画像復号装置10では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームDCTモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置10では、このようにフィール
ドDCTモードとフレームDCTモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドDCTモードとフ
レームDCTモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。
画像復号装置10では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームDCTモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置10では、このようにフィール
ドDCTモードとフレームDCTモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドDCTモードとフ
レームDCTモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。
【0094】また、この画像復号装置10では、インタ
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
【0095】なお、上記画像復号装置10では、フィー
ルドモード用縮小逆離散コサイン変換装置14の4×4
の縮小逆離散コサイン変換処理、及び、フレームモード
用イントラ画像縮小逆離散コサイン変換装置15の上記
ステップS1〜ステップS6による1ブロック処理によ
る縮小逆離散コサイン変換処理、また、フレームモード
用インター画像縮小逆離散コサイン変換装置16の4×
4或いは8×8の逆離散コサイン変換処理を、高速アル
ゴリズムを用いて処理してもよい。
ルドモード用縮小逆離散コサイン変換装置14の4×4
の縮小逆離散コサイン変換処理、及び、フレームモード
用イントラ画像縮小逆離散コサイン変換装置15の上記
ステップS1〜ステップS6による1ブロック処理によ
る縮小逆離散コサイン変換処理、また、フレームモード
用インター画像縮小逆離散コサイン変換装置16の4×
4或いは8×8の逆離散コサイン変換処理を、高速アル
ゴリズムを用いて処理してもよい。
【0096】例えば、Wangのアルゴリズム(参考文
献:Zhong DE Wang.,"Fast Algorithms for the Discre
te W Transform and for the Discrete Fourier Transf
orm",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984)を
用いることにより、処理を高速化することができる。
献:Zhong DE Wang.,"Fast Algorithms for the Discre
te W Transform and for the Discrete Fourier Transf
orm",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984)を
用いることにより、処理を高速化することができる。
【0097】フィールドモード用縮小逆離散コサイン変
換装置14が演算をする行列を、Wangのアルゴリズ
ムを用いて分解すると、以下の式(3)に示すように
分解される。
換装置14が演算をする行列を、Wangのアルゴリズ
ムを用いて分解すると、以下の式(3)に示すように
分解される。
【0098】
【数9】
【0099】また、図6にフィールドモード用縮小逆離
散コサイン変換装置14の処理にWangのアルゴリズ
ムを適用した場合の処理フローを示す。この処理フロー
に示すように、第1から第5の乗算器14a〜14e及
び第1から第9の加算器14f〜14nを用いて、高速
化を実現することができる。
散コサイン変換装置14の処理にWangのアルゴリズ
ムを適用した場合の処理フローを示す。この処理フロー
に示すように、第1から第5の乗算器14a〜14e及
び第1から第9の加算器14f〜14nを用いて、高速
化を実現することができる。
【0100】フレームモード用イントラ画像縮小逆離散
コサイン変換装置15が演算をする行列[FS′]を、
Wangのアルゴリズムを用いて分解すると、以下の式
(4)に示すように分解される。
コサイン変換装置15が演算をする行列[FS′]を、
Wangのアルゴリズムを用いて分解すると、以下の式
(4)に示すように分解される。
【0101】
【数10】
【0102】但し、この式(4)において、A〜Jは、
以下の通りである。
以下の通りである。
【0103】
【数11】
【0104】また、図7にフレームモード用イントラ画
像縮小逆離散コサイン変換装置15の処理にWangの
アルゴリズムを適用した場合の処理フローを示す。この
処理フローに示すように、第1から第10の乗算器15
a〜15j及び第1から第13の加算器15k〜15w
を用いて、高速化を実現することができる。
像縮小逆離散コサイン変換装置15の処理にWangの
アルゴリズムを適用した場合の処理フローを示す。この
処理フローに示すように、第1から第10の乗算器15
a〜15j及び第1から第13の加算器15k〜15w
を用いて、高速化を実現することができる。
【0105】(第2の実施の形態)つぎに、本発明の第
2の実施の形態の画像復号装置について説明する。な
お、この第2の実施の形態の画像復号装置の説明にあた
り、上記第1の画像復号装置10と同一の構成要素につ
いては図面中に同一の符号を付け、その詳細な説明を省
略する。また、第3の実施の形態以後もそれ以前の実施
の形態と同一の構成要素については図面中に同一の符号
を付け、その詳細な説明を省略する。
2の実施の形態の画像復号装置について説明する。な
お、この第2の実施の形態の画像復号装置の説明にあた
り、上記第1の画像復号装置10と同一の構成要素につ
いては図面中に同一の符号を付け、その詳細な説明を省
略する。また、第3の実施の形態以後もそれ以前の実施
の形態と同一の構成要素については図面中に同一の符号
を付け、その詳細な説明を省略する。
【0106】図8に示すように、本発明の第2の実施の
形態の画像復号装置30は、垂直方向の有効ライン数が
例えば1152本の高解像度画像をMPEG2で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに1/2の解像度に縮
小して、垂直方向の有効ライン数が例えば576本の標
準解像度画像を出力する装置である。
形態の画像復号装置30は、垂直方向の有効ライン数が
例えば1152本の高解像度画像をMPEG2で画像圧
縮したビットストリームが入力され、この入力されたビ
ットストリームを復号するとともに1/2の解像度に縮
小して、垂直方向の有効ライン数が例えば576本の標
準解像度画像を出力する装置である。
【0107】この画像復号装置30は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、フィールドDCT
モードで離散コサイン変換がされたDCTブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用位相補正縮小逆離散コサイン
変換装置31と、マクロブロックがイントラマクロブロ
ックであってフレームDCTモードで離散コサイン変換
がされたDCTブロックに対して縮小逆離散コサイン変
換をして標準解像度画像を生成するフレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32
と、マクロブロックがインターマクロブロックであって
フレームDCTモードで離散コサイン変換がされたDC
Tブロックに対して縮小逆離散コサイン変換をして標準
解像度画像を生成するフレームモード用インター画像位
相補正縮小逆離散コサイン変換装置33と、縮小逆離散
コサイン変換がされた標準解像度画像と動き補償がされ
た参照画像とを加算する加算装置17と、参照画像を一
時記憶するフレームメモリ18と、フレームメモリ18
が記憶した参照画像にフィールド動き予測モードに対応
した動き補償をするフィールドモード用動き補償装置1
9と、フレームメモリ18が記憶した参照画像にフレー
ム動き予測モードに対応した動き補償をするフレームモ
ード用動き補償装置20と、フレームメモリ18に記憶
した画像に対して、画枠変換をしてモニタ等に表示する
ための標準解像度の画像データを出力する画枠変換装置
34とを備えている。
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、フィールドDCT
モードで離散コサイン変換がされたDCTブロックに対
して縮小逆離散コサイン変換をして標準解像度画像を生
成するフィールドモード用位相補正縮小逆離散コサイン
変換装置31と、マクロブロックがイントラマクロブロ
ックであってフレームDCTモードで離散コサイン変換
がされたDCTブロックに対して縮小逆離散コサイン変
換をして標準解像度画像を生成するフレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32
と、マクロブロックがインターマクロブロックであって
フレームDCTモードで離散コサイン変換がされたDC
Tブロックに対して縮小逆離散コサイン変換をして標準
解像度画像を生成するフレームモード用インター画像位
相補正縮小逆離散コサイン変換装置33と、縮小逆離散
コサイン変換がされた標準解像度画像と動き補償がされ
た参照画像とを加算する加算装置17と、参照画像を一
時記憶するフレームメモリ18と、フレームメモリ18
が記憶した参照画像にフィールド動き予測モードに対応
した動き補償をするフィールドモード用動き補償装置1
9と、フレームメモリ18が記憶した参照画像にフレー
ム動き予測モードに対応した動き補償をするフレームモ
ード用動き補償装置20と、フレームメモリ18に記憶
した画像に対して、画枠変換をしてモニタ等に表示する
ための標準解像度の画像データを出力する画枠変換装置
34とを備えている。
【0108】フィールドモード用位相補正縮小逆離散コ
サイン変換装置31は、入力されたビットストリームの
マクロブロックが、フィールドDCTモードで離散コサ
イン変換されている場合に用いられる。フィールドモー
ド用位相補正縮小逆離散コサイン変換装置31は、フィ
ールドDCTモードで離散コサイン変換がされたマクロ
ブロック内の8×8個の係数が示されたDCTブロック
の全ての係数のうち4×8の係数のみに対して、トップ
フィールドとボトムフィールドの垂直方向の画素の位相
ずれを補正した逆離散コサイン変換を行う。すなわち、
水平方向に対して低域の4点の離散コサイン係数に基づ
き逆離散コサイン変換を行い、垂直方向に対して8点の
離散コサイン係数に基づき位相ずれを補正した逆離散コ
サイン変換を行う。具体的には、トップフィールドの垂
直方向の各画素に対しては、1/4画素分の位相補正を
行い、ボトムフィールドの垂直方向の各画素に対して
は、3/4画素分の位相補正を行う。そして、以上のよ
うな縮小逆離散コサイン変換を行うことにより、図9に
示すような、トップフィールドの各画素の垂直方向の位
相が1/4、9/4・・・となり、ボトムフィールドの
各画素の垂直方向の位相が5/4、13/4・・・とな
る標準解像度画像(下位レイヤー)を生成する。
サイン変換装置31は、入力されたビットストリームの
マクロブロックが、フィールドDCTモードで離散コサ
イン変換されている場合に用いられる。フィールドモー
ド用位相補正縮小逆離散コサイン変換装置31は、フィ
ールドDCTモードで離散コサイン変換がされたマクロ
ブロック内の8×8個の係数が示されたDCTブロック
の全ての係数のうち4×8の係数のみに対して、トップ
フィールドとボトムフィールドの垂直方向の画素の位相
ずれを補正した逆離散コサイン変換を行う。すなわち、
水平方向に対して低域の4点の離散コサイン係数に基づ
き逆離散コサイン変換を行い、垂直方向に対して8点の
離散コサイン係数に基づき位相ずれを補正した逆離散コ
サイン変換を行う。具体的には、トップフィールドの垂
直方向の各画素に対しては、1/4画素分の位相補正を
行い、ボトムフィールドの垂直方向の各画素に対して
は、3/4画素分の位相補正を行う。そして、以上のよ
うな縮小逆離散コサイン変換を行うことにより、図9に
示すような、トップフィールドの各画素の垂直方向の位
相が1/4、9/4・・・となり、ボトムフィールドの
各画素の垂直方向の位相が5/4、13/4・・・とな
る標準解像度画像(下位レイヤー)を生成する。
【0109】フレームモード用イントラ画像位相補正縮
小逆離散コサイン変換装置32は、入力されたビットス
トリームのマクロブロックが、フレームDCTモードで
離散コサイン変換されている場合であって、且つ、フレ
ーム内予測符号化で圧縮されたイントラ画像である場合
に用いられる。フレームモード用イントラ画像位相補正
縮小逆離散コサイン変換装置32は、フレームDCTモ
ードで離散コサイン変換がされたマクロブロック内の8
×8個の係数が示されたDCTブロックに対して、詳細
を後述する1ブロック処理或いは2ブロック処理によ
り、トップフィールドとボトムフィールドの垂直方向の
画素の位相ずれを補正した縮小逆離散コサイン変換を行
う。そして、フィールドモード用位相補正縮小逆離散コ
サイン変換装置31で生成した標準解像度画像の画素の
位相と同位相の画像を生成する。すなわち、1ブロック
処理或いは2ブロック処理で縮小逆離散コサイン変換を
行うことにより、図9に示すような、トップフィールド
の各画素の垂直方向の位相が1/4、9/4・・・とな
り、ボトムフィールドの各画素の垂直方向の位相が5/
4、13/4・・・となる標準解像度画像(下位レイヤ
ー)を生成する。
小逆離散コサイン変換装置32は、入力されたビットス
トリームのマクロブロックが、フレームDCTモードで
離散コサイン変換されている場合であって、且つ、フレ
ーム内予測符号化で圧縮されたイントラ画像である場合
に用いられる。フレームモード用イントラ画像位相補正
縮小逆離散コサイン変換装置32は、フレームDCTモ
ードで離散コサイン変換がされたマクロブロック内の8
×8個の係数が示されたDCTブロックに対して、詳細
を後述する1ブロック処理或いは2ブロック処理によ
り、トップフィールドとボトムフィールドの垂直方向の
画素の位相ずれを補正した縮小逆離散コサイン変換を行
う。そして、フィールドモード用位相補正縮小逆離散コ
サイン変換装置31で生成した標準解像度画像の画素の
位相と同位相の画像を生成する。すなわち、1ブロック
処理或いは2ブロック処理で縮小逆離散コサイン変換を
行うことにより、図9に示すような、トップフィールド
の各画素の垂直方向の位相が1/4、9/4・・・とな
り、ボトムフィールドの各画素の垂直方向の位相が5/
4、13/4・・・となる標準解像度画像(下位レイヤ
ー)を生成する。
【0110】フレームモード用インター画像位相補正縮
小逆離散コサイン変換装置33は、入力されたビットス
トリームのマクロブロックが、フレームDCTモードで
離散コサイン変換されている場合であって、且つ、フレ
ーム間予測符号化で圧縮されたインター画像である場合
に用いられる。フレームモード用インター画像位相補正
縮小逆離散コサイン変換装置16は、フレームDCTモ
ードで離散コサイン変換がされたマクロブロック内の8
×8個の係数が示されたDCTブロックに対して、トッ
プフィールドとボトムフィールドの垂直方向の画素の位
相ずれを補正した縮小逆離散コサイン変換を行う。そし
て、フレームモード用インター画像位相補正縮小逆離散
コサイン変換装置32では、1つのDCTブロックが4
×4の画素から構成される解像度画像を復号するととも
に、フィールドモード用位相補正縮小逆離散コサイン変
換装置31で生成した標準解像度画像の画素の位相と同
位相の画像を生成する。すなわち、図9に示すような、
トップフィールドの各画素の垂直方向の位相が1/4、
9/4・・・となり、ボトムフィールドの各画素の垂直
方向の位相が5/4、13/4・・・となる標準解像度
画像(下位レイヤー)を生成する。
小逆離散コサイン変換装置33は、入力されたビットス
トリームのマクロブロックが、フレームDCTモードで
離散コサイン変換されている場合であって、且つ、フレ
ーム間予測符号化で圧縮されたインター画像である場合
に用いられる。フレームモード用インター画像位相補正
縮小逆離散コサイン変換装置16は、フレームDCTモ
ードで離散コサイン変換がされたマクロブロック内の8
×8個の係数が示されたDCTブロックに対して、トッ
プフィールドとボトムフィールドの垂直方向の画素の位
相ずれを補正した縮小逆離散コサイン変換を行う。そし
て、フレームモード用インター画像位相補正縮小逆離散
コサイン変換装置32では、1つのDCTブロックが4
×4の画素から構成される解像度画像を復号するととも
に、フィールドモード用位相補正縮小逆離散コサイン変
換装置31で生成した標準解像度画像の画素の位相と同
位相の画像を生成する。すなわち、図9に示すような、
トップフィールドの各画素の垂直方向の位相が1/4、
9/4・・・となり、ボトムフィールドの各画素の垂直
方向の位相が5/4、13/4・・・となる標準解像度
画像(下位レイヤー)を生成する。
【0111】フィールドモード用動き補償装置19は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、1/4画素精度で補
間処理を行い、フィールド動き予測モードに対応した動
き補償をする。このフィールドモード用動き補償装置1
9により動き補償がされた参照画像は、加算装置17に
供給され、インター画像に合成される。
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、1/4画素精度で補
間処理を行い、フィールド動き予測モードに対応した動
き補償をする。このフィールドモード用動き補償装置1
9により動き補償がされた参照画像は、加算装置17に
供給され、インター画像に合成される。
【0112】フレームモード用動き補償装置20は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、1/4画素精度で補間処理
を行い、フレーム動き予測モードに対応した動き補償を
する。このフレームモード用動き補償装置20により動
き補償がされた参照画像は、加算装置17に供給され、
インター画像に合成される。
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、1/4画素精度で補間処理
を行い、フレーム動き予測モードに対応した動き補償を
する。このフレームモード用動き補償装置20により動
き補償がされた参照画像は、加算装置17に供給され、
インター画像に合成される。
【0113】画枠変換装置34は、フレームメモリ18
が記憶した標準解像度の参照画像が供給され、この参照
画像をポストフィルタリングにより、画枠を標準解像度
のテレビジョンの規格に合致するように変換する。すな
わち、画枠変換装置34は、高解像度のテレビジョン規
格の画枠を、1/4に縮小した標準解像度のテレビジョ
ン規格の画枠に変換する。なお、この画枠変換装置34
は、フレームメモリ18に格納されている画像がトップ
フィールドとボトムフィールドとの間に位相ずれが生じ
ていないので、上述した第1の実施の形態の画枠変換・
位相ずれ補正装置21と異なり、画素の位相ずれの補正
は行わなくて良い。
が記憶した標準解像度の参照画像が供給され、この参照
画像をポストフィルタリングにより、画枠を標準解像度
のテレビジョンの規格に合致するように変換する。すな
わち、画枠変換装置34は、高解像度のテレビジョン規
格の画枠を、1/4に縮小した標準解像度のテレビジョ
ン規格の画枠に変換する。なお、この画枠変換装置34
は、フレームメモリ18に格納されている画像がトップ
フィールドとボトムフィールドとの間に位相ずれが生じ
ていないので、上述した第1の実施の形態の画枠変換・
位相ずれ補正装置21と異なり、画素の位相ずれの補正
は行わなくて良い。
【0114】本発明の第2の実施の形態の画像復号装置
30では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに1/2の解像度に縮小して、標準
解像度画像を出力することができる。
30では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに1/2の解像度に縮小して、標準
解像度画像を出力することができる。
【0115】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置31の処理内容について、
さらに詳細に説明する。
縮小逆離散コサイン変換装置31の処理内容について、
さらに詳細に説明する。
【0116】フィールドモード用位相補正縮小逆離散コ
サイン変換装置31には、図10に示すように、高解像
度画像を圧縮符号化したビットストリームが、1つのD
CTブロック単位で入力される。
サイン変換装置31には、図10に示すように、高解像
度画像を圧縮符号化したビットストリームが、1つのD
CTブロック単位で入力される。
【0117】まず、ステップS21において、この1つ
のDCTブロックの離散コサイン係数y(DCTブロッ
クの全ての離散コサイン係数のうち垂直方向の係数をy
1〜y8として図中に示す。)に対して、8×8の逆離散
コサイン変換(IDCT8×8)を行う。逆離散コサイ
ン変換をすることにより、8×8の復号された画素デー
タx(DCTブロックの全ての画素データのうち垂直方
向の画素データをx1〜x8として図中に示す。)を得る
ことができる。
のDCTブロックの離散コサイン係数y(DCTブロッ
クの全ての離散コサイン係数のうち垂直方向の係数をy
1〜y8として図中に示す。)に対して、8×8の逆離散
コサイン変換(IDCT8×8)を行う。逆離散コサイ
ン変換をすることにより、8×8の復号された画素デー
タx(DCTブロックの全ての画素データのうち垂直方
向の画素データをx1〜x8として図中に示す。)を得る
ことができる。
【0118】続いて、ステップS22において、この8
×8の画素データを、4×8の位相補正フィルタ行列に
よりDCTブロック内で閉じた変換を行い、位相補正し
た画素データx′(全ての画素データのうち垂直方向の
画素データをx′1,x′2,x′3,x′4として図中に
示す。)を得る。
×8の画素データを、4×8の位相補正フィルタ行列に
よりDCTブロック内で閉じた変換を行い、位相補正し
た画素データx′(全ての画素データのうち垂直方向の
画素データをx′1,x′2,x′3,x′4として図中に
示す。)を得る。
【0119】以上のステップS21〜ステップS22の
処理を行うことにより、フィールドモード用位相補正縮
小逆離散コサイン変換装置31では、トップフィールド
とボトムフィールドとの間で、画素の位相ずれがない画
像を生成することができる。
処理を行うことにより、フィールドモード用位相補正縮
小逆離散コサイン変換装置31では、トップフィールド
とボトムフィールドとの間で、画素の位相ずれがない画
像を生成することができる。
【0120】また、フィールドモード用位相補正縮小逆
離散コサイン変換装置31では、図11に示すように、
以上の処理を1つの行列(4×8位相補正IDCT行
列)を用いて演算してもよい。
離散コサイン変換装置31では、図11に示すように、
以上の処理を1つの行列(4×8位相補正IDCT行
列)を用いて演算してもよい。
【0121】つぎに、上記フィールドモード用位相補正
縮小逆離散コサイン変換装置31により演算が行われる
4×8位相補正IDCT行列の設計手順を図12に示
し、この4×8位相補正IDCT行列について説明す
る。この4×8位相補正IDCT行列は、プロトタイプ
フィルタをポリフェーズ分解して作成される。
縮小逆離散コサイン変換装置31により演算が行われる
4×8位相補正IDCT行列の設計手順を図12に示
し、この4×8位相補正IDCT行列について説明す
る。この4×8位相補正IDCT行列は、プロトタイプ
フィルタをポリフェーズ分解して作成される。
【0122】ここで、画像復号装置30では、図13
(a)に示すような周波数特性の高解像度画像を、図1
3(b)に示すような信号帯域がローパスフィルタによ
り半分とされた周波数特性の1/2の解像度の標準解像
度画像に、ダウンデコードする。そのため、プロトタイ
プフィルタに求められる周波数特性は、標準解像度画像
の1/4位相の画素値を得ることができるように、図1
3(c)に示すような4倍のオーバーサンプリングを行
った周波数特性となる。
(a)に示すような周波数特性の高解像度画像を、図1
3(b)に示すような信号帯域がローパスフィルタによ
り半分とされた周波数特性の1/2の解像度の標準解像
度画像に、ダウンデコードする。そのため、プロトタイ
プフィルタに求められる周波数特性は、標準解像度画像
の1/4位相の画素値を得ることができるように、図1
3(c)に示すような4倍のオーバーサンプリングを行
った周波数特性となる。
【0123】まず、ステップS31において、ナイキス
ト周波数以下を等間隔に{(N−1)/2}分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図14に示すように、ナイキスト周波数以下の周波
数を等間隔に(57−1)/2=28分割して、29個
のゲインリストを作成する。
ト周波数以下を等間隔に{(N−1)/2}分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図14に示すように、ナイキスト周波数以下の周波
数を等間隔に(57−1)/2=28分割して、29個
のゲインリストを作成する。
【0124】続いて、ステップS32において、周波数
サンプリング法により、57個のインパルス応答を作成
する。すなわち、29個のゲインリストを逆離散フーリ
エ変換して、57個のFIRフィルタのインパルス応答
を作成する。この57個のインパルス応答を図15に示
す。
サンプリング法により、57個のインパルス応答を作成
する。すなわち、29個のゲインリストを逆離散フーリ
エ変換して、57個のFIRフィルタのインパルス応答
を作成する。この57個のインパルス応答を図15に示
す。
【0125】続いて、ステップS33において、このイ
ンパルス応答に窓関数をかけて、57タップのフィルタ
係数c1〜c57を作成する。
ンパルス応答に窓関数をかけて、57タップのフィルタ
係数c1〜c57を作成する。
【0126】このステップS33で作成されたフィルタ
がプロトタイプフィルタとなる。
がプロトタイプフィルタとなる。
【0127】続いて、ステップS34において、57個
のフィルタ係数c1〜c57を有するプロトタイプフィ
ルタをポリフェーズ分解して、1/4位相補正特性を有
する14個のフィルタ係数c′1〜c′14のみを取り
出し、ポリフェーズフィルタを作成する。
のフィルタ係数c1〜c57を有するプロトタイプフィ
ルタをポリフェーズ分解して、1/4位相補正特性を有
する14個のフィルタ係数c′1〜c′14のみを取り
出し、ポリフェーズフィルタを作成する。
【0128】ここで、ポリフェーズフィルタとは、図1
6に示すように、入力信号をN倍にオーバーサンプリン
グし、オーバーサンプリングして得られた信号からN画
素間隔で画素を抜き出すポリフェーズ分解を行い、入力
信号と1/N位相のずれをもった信号を出力するフィル
タである。例えば、入力信号に対して1/4位相ずれた
信号を得るためには、図17に示すように、入力信号を
4倍にオーバサンプリングして、この信号から1/4位
相ずれた信号を取り出せばよい。
6に示すように、入力信号をN倍にオーバーサンプリン
グし、オーバーサンプリングして得られた信号からN画
素間隔で画素を抜き出すポリフェーズ分解を行い、入力
信号と1/N位相のずれをもった信号を出力するフィル
タである。例えば、入力信号に対して1/4位相ずれた
信号を得るためには、図17に示すように、入力信号を
4倍にオーバサンプリングして、この信号から1/4位
相ずれた信号を取り出せばよい。
【0129】具体的に、57個の係数を有するプロトタ
イプフィルタc1〜c57から作成された14個のフィ
ルタ係数c′1〜c′14は、例えば、以下の式(5)
で示すような係数となる。
イプフィルタc1〜c57から作成された14個のフィ
ルタ係数c′1〜c′14は、例えば、以下の式(5)
で示すような係数となる。
【0130】
【数12】
【0131】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の4×8位相補正IDCT行
列と、ボトムフィールド用の4×8位相補正IDCT行
列とで、設計処理が分割する。
た後、トップフィールド用の4×8位相補正IDCT行
列と、ボトムフィールド用の4×8位相補正IDCT行
列とで、設計処理が分割する。
【0132】まず、トップフィールド用の4×8位相補
正IDCT行列を作成する場合には、ステップS35に
おいて、フィルタ係数が1/4位相補正特性となるよう
に、ポリフェーズ分解された14個のフィルタ係数c′
1〜c′14から、群遅延が1/4、9/4、17/
4、25/4位相となる8個の係数を取り出し、4×8
位相補正フィルタ行列を作成する。このように作成され
た4×8位相補正フィルタを、図18に示す。
正IDCT行列を作成する場合には、ステップS35に
おいて、フィルタ係数が1/4位相補正特性となるよう
に、ポリフェーズ分解された14個のフィルタ係数c′
1〜c′14から、群遅延が1/4、9/4、17/
4、25/4位相となる8個の係数を取り出し、4×8
位相補正フィルタ行列を作成する。このように作成され
た4×8位相補正フィルタを、図18に示す。
【0133】例えば、上記式(5)の14個のフィルタ
係数c′1〜c′14から、以下の式(6)で示すよう
な係数が取り出される。
係数c′1〜c′14から、以下の式(6)で示すよう
な係数が取り出される。
【0134】
【数13】
【0135】式(6)の係数から4×8位相補正フィル
タ行列を求めると、以下の式(7)で示すような行列と
なる。
タ行列を求めると、以下の式(7)で示すような行列と
なる。
【0136】
【数14】
【0137】この式(7)で示した4×8位相補正フィ
ルタ行列を正規化すると、以下の式(8)に示すような
行列となる。
ルタ行列を正規化すると、以下の式(8)に示すような
行列となる。
【0138】
【数15】
【0139】そして、ステップS36において、8×8
のIDCT行列と、この4×8位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の4×8位相補正I
DCT行列を作成する。
のIDCT行列と、この4×8位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の4×8位相補正I
DCT行列を作成する。
【0140】8×8のIDCT行列と上記式(8)で示
す4×8の位相補正フィルタとを掛け合わせた4×8位
相補正IDCT行列は、以下の式(9)に示すような行
列となる。
す4×8の位相補正フィルタとを掛け合わせた4×8位
相補正IDCT行列は、以下の式(9)に示すような行
列となる。
【0141】
【数16】
【0142】一方、ボトムフィールド用の4×8位相補
正IDCT行列を作成する場合には、ステップS37に
おいて、フィルタ係数が3/4位相補正特性となるよう
に、ポリフェイズ分解された14個のフィルタ係数c′
1〜c′14を、左右反転させる。
正IDCT行列を作成する場合には、ステップS37に
おいて、フィルタ係数が3/4位相補正特性となるよう
に、ポリフェイズ分解された14個のフィルタ係数c′
1〜c′14を、左右反転させる。
【0143】続いて、ステップS38において、左右反
転させた14個のフィルタ係数c′1〜c′14から、
群遅延が3/4、11/4、19/4、27/4位相と
なる8個の係数を取り出し、4×8位相補正フィルタ行
列を作成する。
転させた14個のフィルタ係数c′1〜c′14から、
群遅延が3/4、11/4、19/4、27/4位相と
なる8個の係数を取り出し、4×8位相補正フィルタ行
列を作成する。
【0144】そして、ステップS39において、8×8
のIDCT行列と、この4×8位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の4×8位相補正I
DCT行列を作成する。
のIDCT行列と、この4×8位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の4×8位相補正I
DCT行列を作成する。
【0145】このようにステップS31〜ステップS3
9の各処理を行うことによって、フィールドモード用位
相補正縮小逆離散コサイン変換装置31が演算を行う4
×8位相補正IDCT行列を作成することができる。
9の各処理を行うことによって、フィールドモード用位
相補正縮小逆離散コサイン変換装置31が演算を行う4
×8位相補正IDCT行列を作成することができる。
【0146】以上のように、フィールドモード用位相補
正縮小逆離散コサイン変換装置31では、この4×8位
相補正IDCT行列と、入力されたフィールドDCTモ
ードで離散コサイン変換がされたDCTブロックの係数
とを行列演算することにより、トップフィールドとボト
ムフィールドとの間の位相ずれがない、標準解像度の画
像を復号することができる。すなわち、このフィールド
モード用位相補正縮小逆離散コサイン変換装置31で
は、図9に示すような、トップフィールドの各画素の垂
直方向の位相が1/4、9/4・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が5/4、13/4
・・・となる標準解像度画像(下位レイヤー)を生成す
ることができる。
正縮小逆離散コサイン変換装置31では、この4×8位
相補正IDCT行列と、入力されたフィールドDCTモ
ードで離散コサイン変換がされたDCTブロックの係数
とを行列演算することにより、トップフィールドとボト
ムフィールドとの間の位相ずれがない、標準解像度の画
像を復号することができる。すなわち、このフィールド
モード用位相補正縮小逆離散コサイン変換装置31で
は、図9に示すような、トップフィールドの各画素の垂
直方向の位相が1/4、9/4・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が5/4、13/4
・・・となる標準解像度画像(下位レイヤー)を生成す
ることができる。
【0147】つぎに、上記フレームモード用イントラ画
像位相補正縮小逆離散コサイン変換装置32の処理内容
について、さらに詳細に説明する。
像位相補正縮小逆離散コサイン変換装置32の処理内容
について、さらに詳細に説明する。
【0148】なお、フレームモード用イントラ画像位相
補正縮小逆離散コサイン変換装置32では、以下に説明
する1ブロック処理及び2ブロック処理のいずれか或い
は両者の処理を行うことができる。必要に応じて、1ブ
ロック処理又は2ブロック処理を切り換えて用いても良
いし、或いは、いずれか一方の処理のみを行っても良
い。
補正縮小逆離散コサイン変換装置32では、以下に説明
する1ブロック処理及び2ブロック処理のいずれか或い
は両者の処理を行うことができる。必要に応じて、1ブ
ロック処理又は2ブロック処理を切り換えて用いても良
いし、或いは、いずれか一方の処理のみを行っても良
い。
【0149】まず、1ブロック処理について説明する。
図19に、1ブロック処理の内容を説明するための図を
示す。
図19に、1ブロック処理の内容を説明するための図を
示す。
【0150】フレームモード用イントラ画像位相補正縮
小逆離散コサイン変換装置32には、図19に示すよう
に、高解像度画像を圧縮符号化したビットストリーム
が、1つのDCTブロック単位で入力される。
小逆離散コサイン変換装置32には、図19に示すよう
に、高解像度画像を圧縮符号化したビットストリーム
が、1つのDCTブロック単位で入力される。
【0151】まず、ステップS41において、この1つ
のDCTブロックの離散コサイン係数yに対して、8×
8の逆離散コサイン変換を行う。続いて、ステップS4
2において、この8×8の画素データをフィールド分離
する。続いて、ステップS43において、フィールド分
離した2つの画素ブロックそれぞれに対して4×4の離
散コサイン変換をする。続いて、ステップS44におい
て、各画素ブロックの離散コサイン係数zの高域成分を
間引き、2×2の離散コサイン係数から構成される画素
ブロックとする。以上のステップS41からステップS
44までの処理は、図3に示す1ブロック処理における
ステップS1からステップS4までの処理と同一であ
る。
のDCTブロックの離散コサイン係数yに対して、8×
8の逆離散コサイン変換を行う。続いて、ステップS4
2において、この8×8の画素データをフィールド分離
する。続いて、ステップS43において、フィールド分
離した2つの画素ブロックそれぞれに対して4×4の離
散コサイン変換をする。続いて、ステップS44におい
て、各画素ブロックの離散コサイン係数zの高域成分を
間引き、2×2の離散コサイン係数から構成される画素
ブロックとする。以上のステップS41からステップS
44までの処理は、図3に示す1ブロック処理における
ステップS1からステップS4までの処理と同一であ
る。
【0152】続いて、ステップS45において、トップ
フィールドに対応する画素ブロックに対しては、1/4
画素分の位相補正をする2×4位相補正IDCT行列を
用いて、垂直方向の画素の位相ずれを補正した逆離散コ
サイン変換を行う。また、ボトムフィールドに対応する
画素ブロックに対しては、3/4画素分の位相補正をす
る2×4位相補正IDCT行列を用いて、垂直方向の画
素の位相ずれを補正した逆離散コサイン変換を行う。以
上のような縮小逆離散コサイン変換を行うことにより、
2×2の画素データx′(トップフィールドに対応する
画素ブロックの全ての画素データのうち垂直方向の画素
データをx′1,x′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4として図中
に示す。)を得ることができる。この画素データx′
は、トップフィールドの各画素の垂直方向の位相が1/
4、9/4となり、ボトムフィールドの各画素の垂直方
向の位相が5/4、13/4となる標準解像度画像(下
位レイヤー)を生成する。なお、この2×4位相補正I
DCT行列の設計方法については詳細を後述する。
フィールドに対応する画素ブロックに対しては、1/4
画素分の位相補正をする2×4位相補正IDCT行列を
用いて、垂直方向の画素の位相ずれを補正した逆離散コ
サイン変換を行う。また、ボトムフィールドに対応する
画素ブロックに対しては、3/4画素分の位相補正をす
る2×4位相補正IDCT行列を用いて、垂直方向の画
素の位相ずれを補正した逆離散コサイン変換を行う。以
上のような縮小逆離散コサイン変換を行うことにより、
2×2の画素データx′(トップフィールドに対応する
画素ブロックの全ての画素データのうち垂直方向の画素
データをx′1,x′3として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4として図中
に示す。)を得ることができる。この画素データx′
は、トップフィールドの各画素の垂直方向の位相が1/
4、9/4となり、ボトムフィールドの各画素の垂直方
向の位相が5/4、13/4となる標準解像度画像(下
位レイヤー)を生成する。なお、この2×4位相補正I
DCT行列の設計方法については詳細を後述する。
【0153】続いて、ステップS46において、トップ
フィールドに対応する画素ブロックの画素データとボト
ムフィールドの画像ブロックの画素データとをフレーム
合成する。このステップS46の処理は、図3に示す1
ブロック処理におけるステップS6の処理と同一であ
る。
フィールドに対応する画素ブロックの画素データとボト
ムフィールドの画像ブロックの画素データとをフレーム
合成する。このステップS46の処理は、図3に示す1
ブロック処理におけるステップS6の処理と同一であ
る。
【0154】以上のステップS41〜ステップS46の
処理を行うことにより、フレームモード用イントラ画像
位相補正縮小逆離散コサイン変換装置32では、画素間
の位相ずれがない画像を生成することができる。また、
上記フィールドモード用位相補正縮小逆離散コサイン変
換装置31で復号した画像と位相ずれが生じない画像を
生成することができる。
処理を行うことにより、フレームモード用イントラ画像
位相補正縮小逆離散コサイン変換装置32では、画素間
の位相ずれがない画像を生成することができる。また、
上記フィールドモード用位相補正縮小逆離散コサイン変
換装置31で復号した画像と位相ずれが生じない画像を
生成することができる。
【0155】また、フレームモード用イントラ画像位相
補正縮小逆離散コサイン変換装置32では、以上のステ
ップS41からステップS46までの処理を1つの行列
を用いて演算してもよい。
補正縮小逆離散コサイン変換装置32では、以上のステ
ップS41からステップS46までの処理を1つの行列
を用いて演算してもよい。
【0156】つぎに、フレームモード用イントラ画像位
相補正縮小逆離散コサイン変換装置32のステップS4
5で演算が行われる2×4位相補正IDCT行列の設計
手順を図20に示し、この2×8位相補正IDCT行列
について説明する。
相補正縮小逆離散コサイン変換装置32のステップS4
5で演算が行われる2×4位相補正IDCT行列の設計
手順を図20に示し、この2×8位相補正IDCT行列
について説明する。
【0157】まず、ステップS51において、ナイキス
ト周波数以下を等間隔に{(N−1)/2}分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図21に示すように、ナイキスト周波数以下の周波
数を等間隔に(25−1)/2=12分割して、13個
のゲインリストを作成する。
ト周波数以下を等間隔に{(N−1)/2}分割し、そ
の周波数サンプルからゲインリストを作成する。例え
ば、図21に示すように、ナイキスト周波数以下の周波
数を等間隔に(25−1)/2=12分割して、13個
のゲインリストを作成する。
【0158】続いて、ステップS52において、周波数
サンプリング法により、25個のインパルス応答を作成
する。すなわち、13個のゲインリストを逆離散フーリ
エ変換して、25個のFIRフィルタのインパルス応答
を作成する。この25個のインパルス応答を図22に示
す。
サンプリング法により、25個のインパルス応答を作成
する。すなわち、13個のゲインリストを逆離散フーリ
エ変換して、25個のFIRフィルタのインパルス応答
を作成する。この25個のインパルス応答を図22に示
す。
【0159】続いて、ステップS53において、このイ
ンパルス応答に窓関数をかけて、25タップのフィルタ
係数c1〜c25を作成する。
ンパルス応答に窓関数をかけて、25タップのフィルタ
係数c1〜c25を作成する。
【0160】このステップS53で作成されたフィルタ
がプロトタイプフィルタとなる。
がプロトタイプフィルタとなる。
【0161】続いて、ステップS54において、25個
のフィルタ係数c1〜c25を有するプロトタイプフィ
ルタをポリフェーズ分解して、1/4位相補正特性を有
する6個のフィルタ係数c′1〜c′6のみを取り出
し、ポリフェーズフィルタを作成する。
のフィルタ係数c1〜c25を有するプロトタイプフィ
ルタをポリフェーズ分解して、1/4位相補正特性を有
する6個のフィルタ係数c′1〜c′6のみを取り出
し、ポリフェーズフィルタを作成する。
【0162】具体的に、57個の係数を有するプロトタ
イプフィルタc1〜c25から作成された14個のフィ
ルタ係数c′1〜c′6は、例えば、以下の式(10)
で示すような係数となる。
イプフィルタc1〜c25から作成された14個のフィ
ルタ係数c′1〜c′6は、例えば、以下の式(10)
で示すような係数となる。
【0163】
【数17】
【0164】このようにポリフェーズフィルタを作成し
た後、トップフィールド用の2×4位相補正IDCT行
列と、ボトムフィールド用の2×4位相補正IDCT行
列とで、設計処理が分割する。
た後、トップフィールド用の2×4位相補正IDCT行
列と、ボトムフィールド用の2×4位相補正IDCT行
列とで、設計処理が分割する。
【0165】まず、トップフィールド用の2×4位相補
正IDCT行列を作成する場合には、ステップS55に
おいて、ポリフェーズ分解された6個のフィルタ係数
c′1〜c′6から、群遅延が1/4、9/4位相とな
るように、それぞれ2個の係数を取り出し、2×4位相
補正フィルタ行列を作成する。このように作成された2
×4位相補正フィルタを、図23に示す。
正IDCT行列を作成する場合には、ステップS55に
おいて、ポリフェーズ分解された6個のフィルタ係数
c′1〜c′6から、群遅延が1/4、9/4位相とな
るように、それぞれ2個の係数を取り出し、2×4位相
補正フィルタ行列を作成する。このように作成された2
×4位相補正フィルタを、図23に示す。
【0166】例えば、上記式(10)の6個のフィルタ
係数c′1〜c′6から、以下の式(11)で示すよう
な係数が取り出される。
係数c′1〜c′6から、以下の式(11)で示すよう
な係数が取り出される。
【0167】
【数18】
【0168】式(11)の係数から2×4位相補正フィ
ルタ行列を求めると、以下の式(12)で示すような行
列となる。
ルタ行列を求めると、以下の式(12)で示すような行
列となる。
【0169】
【数19】
【0170】この式(12)で示した2×4位相補正フ
ィルタ行列を正規化すると、以下の式(13)に示すよ
うな行列となる。
ィルタ行列を正規化すると、以下の式(13)に示すよ
うな行列となる。
【0171】
【数20】
【0172】そして、ステップS56において、4×4
のIDCT行列と、この2×4位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の2×4位相補正I
DCT行列を作成する。
のIDCT行列と、この2×4位相補正フィルタ行列と
を掛け合わせ、トップフィールド用の2×4位相補正I
DCT行列を作成する。
【0173】2×4のIDCT行列と上記式(13)で
示す2×4の位相補正フィルタとを掛け合わせた2×4
位相補正IDCT行列は、以下の式(14)に示すよう
な行列となる。
示す2×4の位相補正フィルタとを掛け合わせた2×4
位相補正IDCT行列は、以下の式(14)に示すよう
な行列となる。
【0174】
【数21】
【0175】一方、ボトムフィールド用の2×4位相補
正IDCT行列を作成する場合には、ステップS57に
おいて、フィルタ係数が3/4位相補正特性となるよう
に、ポリフェイズ分解された6個のフィルタ係数c′1
〜c′6を、左右反転させる。
正IDCT行列を作成する場合には、ステップS57に
おいて、フィルタ係数が3/4位相補正特性となるよう
に、ポリフェイズ分解された6個のフィルタ係数c′1
〜c′6を、左右反転させる。
【0176】続いて、ステップS58において、左右反
転させた6個のフィルタ係数c′1〜c′6から、群遅
延が3/4、11/4位相となるように、それぞれ2個
の係数を取り出し、2×4位相補正フィルタ行列を作成
する。
転させた6個のフィルタ係数c′1〜c′6から、群遅
延が3/4、11/4位相となるように、それぞれ2個
の係数を取り出し、2×4位相補正フィルタ行列を作成
する。
【0177】そして、ステップS59において、4×4
のIDCT行列と、この2×4位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の2×4位相補正I
DCT行列を作成する。
のIDCT行列と、この2×4位相補正フィルタ行列と
を掛け合わせ、ボトムフィールド用の2×4位相補正I
DCT行列を作成する。
【0178】以上のようにステップS51〜ステップS
59の各処理を行うことによって、フレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32が
上記ステップS45で演算を行う2×4位相補正IDC
T行列を作成することができる。
59の各処理を行うことによって、フレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32が
上記ステップS45で演算を行う2×4位相補正IDC
T行列を作成することができる。
【0179】つぎに、2ブロック処理について説明す
る。図24に、2ブロック処理の内容を説明するための
図を示す。
る。図24に、2ブロック処理の内容を説明するための
図を示す。
【0180】フレームモード用イントラ画像位相補正縮
小逆離散コサイン変換装置32には、図24に示すよう
に、高解像度画像を圧縮符号化したビットストリーム
が、2つのDCTブロック単位で入力される。例えば、
マクロブロックが4つの輝度成分のDCTブロックと2
つの色差成分のDCTブロックとから構成される場合に
は、垂直方向に隣接した2つのDCTブロックが入力さ
れる。例えば、マクロブロックが上述した図5に示すよ
うに構成されている場合には、輝度成分(Y)のDCT
ブロック0とDCTブロック2とが対となって入力さ
れ、また、DCTブロック1とDCTブロック3とが対
となって入力される。
小逆離散コサイン変換装置32には、図24に示すよう
に、高解像度画像を圧縮符号化したビットストリーム
が、2つのDCTブロック単位で入力される。例えば、
マクロブロックが4つの輝度成分のDCTブロックと2
つの色差成分のDCTブロックとから構成される場合に
は、垂直方向に隣接した2つのDCTブロックが入力さ
れる。例えば、マクロブロックが上述した図5に示すよ
うに構成されている場合には、輝度成分(Y)のDCT
ブロック0とDCTブロック2とが対となって入力さ
れ、また、DCTブロック1とDCTブロック3とが対
となって入力される。
【0181】まず、ステップS61において、2つのD
CTブロックの離散コサイン係数yに対して、それぞれ
独立に8×8の逆離散コサイン変換を行う。逆離散コサ
イン変換をすることにより、8×8の復号された画素デ
ータxを得ることができる。続いて、ステップS62に
おいて、2つの8×8の画素データをフィールド分離す
る。続いて、ステップS63において、フィールド分離
した2つの8×8の画素ブロックそれぞれに対して8×
8の離散コサイン変換をする。続いて、ステップS64
において、8×8の離散コサイン変換をして得られたト
ップフィールドに対応する画素ブロックの離散コサイン
係数zの高域成分を間引いて、4×4の離散コサイン係
数から構成される画素ブロックとする。また、8×8の
離散コサイン変換をして得られたボトムフィールドに対
応する画素ブロックの離散コサイン係数zの高域成分を
間引き、4×4の離散コサイン係数から構成される画素
ブロックとする。
CTブロックの離散コサイン係数yに対して、それぞれ
独立に8×8の逆離散コサイン変換を行う。逆離散コサ
イン変換をすることにより、8×8の復号された画素デ
ータxを得ることができる。続いて、ステップS62に
おいて、2つの8×8の画素データをフィールド分離す
る。続いて、ステップS63において、フィールド分離
した2つの8×8の画素ブロックそれぞれに対して8×
8の離散コサイン変換をする。続いて、ステップS64
において、8×8の離散コサイン変換をして得られたト
ップフィールドに対応する画素ブロックの離散コサイン
係数zの高域成分を間引いて、4×4の離散コサイン係
数から構成される画素ブロックとする。また、8×8の
離散コサイン変換をして得られたボトムフィールドに対
応する画素ブロックの離散コサイン係数zの高域成分を
間引き、4×4の離散コサイン係数から構成される画素
ブロックとする。
【0182】以上のステップS61からステップS64
までの処理は、図4に示す2ブロック処理におけるステ
ップS11からステップS14までの処理と同一であ
る。
までの処理は、図4に示す2ブロック処理におけるステ
ップS11からステップS14までの処理と同一であ
る。
【0183】続いて、ステップS65において、トップ
フィールドの画素ブロックに対しては、1/4画素分の
位相補正をする4×8位相補正IDCT行列を用いて、
垂直方向の画素の位相ずれを補正した逆離散コサイン変
換を行う。また、ボトムフィールドの画素ブロックに対
しては、3/4画素分の位相補正をする4×8位相補正
IDCT行列を用いて、垂直方向の画素の位相ずれを補
正した逆離散コサイン変換を行う。以上のような縮小逆
離散コサイン変換を行うことにより、4×4の画素デー
タx′(トップフィールドに対応する画素ブロックの全
ての画素データのうち垂直方向の画素データをx′1,
x′3,x′5,x′7として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4,x′6,
x′8として図中に示す。)を得ることができる。この
画素データx′は、トップフィールドの各画素の垂直方
向の位相が1/4、9/4・・・となり、ボトムフィー
ルドの各画素の垂直方向の位相が5/4、13/4・・
・となる標準解像度画像(下位レイヤー)を生成する。
なお、この4×8位相補正IDCT行列の設計方法は、
上述したフィールドモード用位相補正縮小逆離散コサイ
ン変換装置31で演算される行列と同一である。
フィールドの画素ブロックに対しては、1/4画素分の
位相補正をする4×8位相補正IDCT行列を用いて、
垂直方向の画素の位相ずれを補正した逆離散コサイン変
換を行う。また、ボトムフィールドの画素ブロックに対
しては、3/4画素分の位相補正をする4×8位相補正
IDCT行列を用いて、垂直方向の画素の位相ずれを補
正した逆離散コサイン変換を行う。以上のような縮小逆
離散コサイン変換を行うことにより、4×4の画素デー
タx′(トップフィールドに対応する画素ブロックの全
ての画素データのうち垂直方向の画素データをx′1,
x′3,x′5,x′7として図中に示し、また、ボトム
フィールドに対応する画素ブロックの全ての画素データ
のうち垂直方向の画素データをx′2,x′4,x′6,
x′8として図中に示す。)を得ることができる。この
画素データx′は、トップフィールドの各画素の垂直方
向の位相が1/4、9/4・・・となり、ボトムフィー
ルドの各画素の垂直方向の位相が5/4、13/4・・
・となる標準解像度画像(下位レイヤー)を生成する。
なお、この4×8位相補正IDCT行列の設計方法は、
上述したフィールドモード用位相補正縮小逆離散コサイ
ン変換装置31で演算される行列と同一である。
【0184】続いて、ステップS66において、トップ
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互にフレーム合成して、
8×8の画素データから構成される縮小逆離散コサイン
変換をしたDCTブロックを生成する。
フィールドに対応する画素ブロックの画素データと、ボ
トムフィールドに対応する画素ブロックの画素データと
を、垂直方向に1ラインずつ交互にフレーム合成して、
8×8の画素データから構成される縮小逆離散コサイン
変換をしたDCTブロックを生成する。
【0185】以上のステップS61〜ステップS66の
2ブロック処理を行うことにより、フレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32で
は、画素間の位相ずれがない画像を生成することができ
る。また、上記フィールドモード用位相補正縮小逆離散
コサイン変換装置31で復号した画像と位相ずれが生じ
ない画像を生成することができる。
2ブロック処理を行うことにより、フレームモード用イ
ントラ画像位相補正縮小逆離散コサイン変換装置32で
は、画素間の位相ずれがない画像を生成することができ
る。また、上記フィールドモード用位相補正縮小逆離散
コサイン変換装置31で復号した画像と位相ずれが生じ
ない画像を生成することができる。
【0186】また、フレームモード用イントラ画像位相
補正縮小逆離散コサイン変換装置32では、以上のステ
ップS61からステップS66までの処理を1つの行列
を用いて演算してもよい。
補正縮小逆離散コサイン変換装置32では、以上のステ
ップS61からステップS66までの処理を1つの行列
を用いて演算してもよい。
【0187】つぎに、上記フレームモード用インター画
像位相補正縮小逆離散コサイン変換装置33の処理内容
について、さらに詳細に説明する。
像位相補正縮小逆離散コサイン変換装置33の処理内容
について、さらに詳細に説明する。
【0188】このフレームモード用インター画像位相補
正縮小逆離散コサイン変換装置33では、DCTブロッ
クの離散コサイン係数に対して、水平方向には、低域の
4×4の逆離散コサイン変換を行う。
正縮小逆離散コサイン変換装置33では、DCTブロッ
クの離散コサイン係数に対して、水平方向には、低域の
4×4の逆離散コサイン変換を行う。
【0189】また、このフレームモード用インター画像
位相補正縮小逆離散コサイン変換装置33では、DCT
ブロックの離散コサイン係数に対して、垂直方向には、
以下の(1)〜(3)3つの処理のいずれかを行う。
位相補正縮小逆離散コサイン変換装置33では、DCT
ブロックの離散コサイン係数に対して、垂直方向には、
以下の(1)〜(3)3つの処理のいずれかを行う。
【0190】(1)垂直方向の係数に対して、低域の4
点の逆離散コサイン変換を行う。
点の逆離散コサイン変換を行う。
【0191】(2)垂直方向の係数に対して、8点全て
の離散コサイン変換を行い、フレーム内の全ての画素を
用いて線形内挿処理を行い、フィールドモード用位相補
正縮小逆離散コサイン変換装置31で生成した標準解像
度画像の画素の位相と同位相の画像を生成する。具体的
には、図25に示すように、8点全ての離散コサイン変
換を行った上位レイヤーのトップフィールドの1番目の
画素とボトムフィールドの1番目の画素とを線形補間し
て位相が1/4の下位レイヤーの画素を生成する。ま
た、上位レイヤーのトップフィールドの2番目の画素と
ボトムフィールドの2番目の画素とを線形補間して位相
が5/4の下位レイヤーの画素を生成する。また、上位
レイヤーのトップフィールドの3番目の画素とボトムフ
ィールドの3番目の画素とを線形補間して位相が9/4
の下位レイヤーの画素を生成する。また、上位レイヤー
のトップフィールドの4番目の画素とボトムフィールド
の4番目の画素とを線形補間して位相が13/4の下位
レイヤーの画素を生成する。なお、このよな下位レイヤ
ーの画素は、上位レイヤーの画素の行列に対して、以下
の式(15)に示す行列を演算することにより得ること
ができる。
の離散コサイン変換を行い、フレーム内の全ての画素を
用いて線形内挿処理を行い、フィールドモード用位相補
正縮小逆離散コサイン変換装置31で生成した標準解像
度画像の画素の位相と同位相の画像を生成する。具体的
には、図25に示すように、8点全ての離散コサイン変
換を行った上位レイヤーのトップフィールドの1番目の
画素とボトムフィールドの1番目の画素とを線形補間し
て位相が1/4の下位レイヤーの画素を生成する。ま
た、上位レイヤーのトップフィールドの2番目の画素と
ボトムフィールドの2番目の画素とを線形補間して位相
が5/4の下位レイヤーの画素を生成する。また、上位
レイヤーのトップフィールドの3番目の画素とボトムフ
ィールドの3番目の画素とを線形補間して位相が9/4
の下位レイヤーの画素を生成する。また、上位レイヤー
のトップフィールドの4番目の画素とボトムフィールド
の4番目の画素とを線形補間して位相が13/4の下位
レイヤーの画素を生成する。なお、このよな下位レイヤ
ーの画素は、上位レイヤーの画素の行列に対して、以下
の式(15)に示す行列を演算することにより得ること
ができる。
【0192】
【数22】
【0193】(3)垂直方向の係数に対して、8点全て
の離散コサイン変換を行い、フレーム内の全ての画素
を、トップフィールドとボトムフィールドとの分離し
て、それぞれのフィールド内で線形内挿処理を行い、フ
ィールドモード用位相補正縮小逆離散コサイン変換装置
31で生成した標準解像度画像の画素の位相と同位相の
画像を生成する。具体的には、図26に示すように、8
点全ての離散コサイン変換を行った上位レイヤーのトッ
プフィールドの1番目の画素と2番目の画素とを1/4
位相補正した線形補間をして位相が1/4の下位レイヤ
ーの画素を生成する。また、上位レイヤーのトップフィ
ールドの3番目の画素と4番目の画素とを1・4位相補
正した線形補間をして位相が9/4の下位レイヤーの画
素を生成する。また、上位レイヤーのボトムフィールド
の1番目の画素と1番目の画素とを3/4位相補正した
線形補間をして位相が5/4の下位レイヤーの画素を生
成する。また、上位レイヤーのボトムフィールドの3番
目の画素と4番目の画素とを3/4位相補正した線形補
間をして位相が13/4の下位レイヤーの画素を生成す
る。なお、このよな下位レイヤーの画素は、上位レイヤ
ーの画素の行列に対して、以下の式(16)に示す行列
を演算することにより得ることができる。
の離散コサイン変換を行い、フレーム内の全ての画素
を、トップフィールドとボトムフィールドとの分離し
て、それぞれのフィールド内で線形内挿処理を行い、フ
ィールドモード用位相補正縮小逆離散コサイン変換装置
31で生成した標準解像度画像の画素の位相と同位相の
画像を生成する。具体的には、図26に示すように、8
点全ての離散コサイン変換を行った上位レイヤーのトッ
プフィールドの1番目の画素と2番目の画素とを1/4
位相補正した線形補間をして位相が1/4の下位レイヤ
ーの画素を生成する。また、上位レイヤーのトップフィ
ールドの3番目の画素と4番目の画素とを1・4位相補
正した線形補間をして位相が9/4の下位レイヤーの画
素を生成する。また、上位レイヤーのボトムフィールド
の1番目の画素と1番目の画素とを3/4位相補正した
線形補間をして位相が5/4の下位レイヤーの画素を生
成する。また、上位レイヤーのボトムフィールドの3番
目の画素と4番目の画素とを3/4位相補正した線形補
間をして位相が13/4の下位レイヤーの画素を生成す
る。なお、このよな下位レイヤーの画素は、上位レイヤ
ーの画素の行列に対して、以下の式(16)に示す行列
を演算することにより得ることができる。
【0194】
【数23】
【0195】このような(1)〜(3)のいずれかの処
理を行うことによって、フレームモード用インター画像
位相補正縮小逆離散コサイン変換装置33では、1つの
DCTブロックが4×4の画素から構成される解像度画
像を復号するとともに、フィールドモード用位相補正縮
小逆離散コサイン変換装置31で生成した標準解像度画
像の画素の位相と同位相の画像を生成する。すなわち、
フレームモード用インター画像位相補正縮小逆離散コサ
イン変換装置32で復号された画像データの各画素の位
相は、図9に示すように、トップフィールドの各画素の
垂直方向の位相が1/4、9/4・・・となり、ボトム
フィールドの各画素の垂直方向の位相が5/4、13/
4・・・となる。
理を行うことによって、フレームモード用インター画像
位相補正縮小逆離散コサイン変換装置33では、1つの
DCTブロックが4×4の画素から構成される解像度画
像を復号するとともに、フィールドモード用位相補正縮
小逆離散コサイン変換装置31で生成した標準解像度画
像の画素の位相と同位相の画像を生成する。すなわち、
フレームモード用インター画像位相補正縮小逆離散コサ
イン変換装置32で復号された画像データの各画素の位
相は、図9に示すように、トップフィールドの各画素の
垂直方向の位相が1/4、9/4・・・となり、ボトム
フィールドの各画素の垂直方向の位相が5/4、13/
4・・・となる。
【0196】以上のように本発明の第2の実施の形態の
画像復号装置30では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行うとともに位相補正
をして標準解像度画像を復号し、フレームDCTモード
では、フレーム分離をして縮小逆離散コサイン変換を行
うとともに位相補正をして標準解像度画像を復号する。
この画像復号装置30では、このようにフィールドDC
TモードとフレームDCTモードとでそれぞれで処理を
行うため飛び越し走査画像が有するインタレース性を損
なうことなく、かつ、縮小逆離散コサイン変換を行うと
きに生じるトップフィールドとボトムフィールドとの間
の位相ずれをなくし、出力する画像の画質を劣化させな
い。即ち、この画像復号装置30では、フレームメモリ
18に格納された復号画像を出力する際に、位相補正を
する必要が無く、処理が簡易化するとともに画質の劣化
を生じさせない。
画像復号装置30では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行うとともに位相補正
をして標準解像度画像を復号し、フレームDCTモード
では、フレーム分離をして縮小逆離散コサイン変換を行
うとともに位相補正をして標準解像度画像を復号する。
この画像復号装置30では、このようにフィールドDC
TモードとフレームDCTモードとでそれぞれで処理を
行うため飛び越し走査画像が有するインタレース性を損
なうことなく、かつ、縮小逆離散コサイン変換を行うと
きに生じるトップフィールドとボトムフィールドとの間
の位相ずれをなくし、出力する画像の画質を劣化させな
い。即ち、この画像復号装置30では、フレームメモリ
18に格納された復号画像を出力する際に、位相補正を
する必要が無く、処理が簡易化するとともに画質の劣化
を生じさせない。
【0197】また、この画像復号装置30では、インタ
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
【0198】(第3の実施の形態)つぎに、本発明の第
3の実施の形態の画像復号装置について説明する。
3の実施の形態の画像復号装置について説明する。
【0199】図27に示すように、本発明の第3の実施
の形態の画像復号装置40は、垂直方向の有効ライン数
が例えば1152本の高解像度画像をMPEG2で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに1/2の解像度に
縮小して、垂直方向の有効ライン数が例えば576本の
標準解像度画像を出力する装置である。
の形態の画像復号装置40は、垂直方向の有効ライン数
が例えば1152本の高解像度画像をMPEG2で画像
圧縮したビットストリームが入力され、この入力された
ビットストリームを復号するとともに1/2の解像度に
縮小して、垂直方向の有効ライン数が例えば576本の
標準解像度画像を出力する装置である。
【0200】この画像復号装置40は、圧縮された高解
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、イントラ画像のマ
クロブロックに対して縮小逆離散コサイン変換をして標
準解像度画像を生成するイントラ画像用縮小逆離散コサ
イン変換装置41と、インター画像のマクロブロックに
対して通常の離逆散コサイン変換をするインター画像用
逆離散コサイン変換装置42と、インター画像を逆離散
コサイン変換して得られた高解像度画像と動き補償がさ
れた参照画像とを加算する加算装置17と、この加算装
置により参照画像が加算された高解像度画像を標準解像
度画像データに縮小する縮小フィルタ装置43と、標準
解像度の参照画像を一時記憶するフレームメモリ18
と、フレームメモリ18が記憶した参照画像にフィール
ド動き予測モードに対応した動き補償をするフィールド
モード用動き補償装置19と、フレームメモリ18が記
憶した参照画像にフレーム動き予測モードに対応した動
き補償をするフレームモード用動き補償装置20と、フ
レームメモリ18に記憶した画像に対してポストフィル
タリングをすることにより、画枠変換をしてテレビジョ
ンモニタ等に表示するための標準解像度の画像データを
出力する画枠変換補正装置33とを備えている。
像度画像のビットストリームが供給され、このビットス
トリームを解析するビットストリーム解析装置11と、
データの発生頻度に応じた符号長を割り当てる可変長符
号化がされた上記ビットストリームを復号する可変長符
号復号装置12と、DCTブロックの各係数に量子化ス
テップを掛ける逆量子化装置13と、イントラ画像のマ
クロブロックに対して縮小逆離散コサイン変換をして標
準解像度画像を生成するイントラ画像用縮小逆離散コサ
イン変換装置41と、インター画像のマクロブロックに
対して通常の離逆散コサイン変換をするインター画像用
逆離散コサイン変換装置42と、インター画像を逆離散
コサイン変換して得られた高解像度画像と動き補償がさ
れた参照画像とを加算する加算装置17と、この加算装
置により参照画像が加算された高解像度画像を標準解像
度画像データに縮小する縮小フィルタ装置43と、標準
解像度の参照画像を一時記憶するフレームメモリ18
と、フレームメモリ18が記憶した参照画像にフィール
ド動き予測モードに対応した動き補償をするフィールド
モード用動き補償装置19と、フレームメモリ18が記
憶した参照画像にフレーム動き予測モードに対応した動
き補償をするフレームモード用動き補償装置20と、フ
レームメモリ18に記憶した画像に対してポストフィル
タリングをすることにより、画枠変換をしてテレビジョ
ンモニタ等に表示するための標準解像度の画像データを
出力する画枠変換補正装置33とを備えている。
【0201】イントラ画像用縮小逆離散コサイン変換装
置41は、入力されたビットストリームのマクロブロッ
クが、イントラマクロブロックである場合に用いられ
る。このイントラ画像用縮小逆離散コサイン変換装置4
1では、フィールドDCTモードで離散コサイン変換が
されたマクロブロック内の8×8個の係数が示されたD
CTブロックに対して、図34で示したような、低域の
4×4の係数のみに逆離散コサイン変換を行う。すなわ
ち、水平方向及び垂直方向の低域の4点の離散コサイン
係数に基づき縮小逆離散コサイン変換を行う。また、フ
レームDCTモードで離散コサイン変換がされたマクロ
ブロック内の8×8個の係数が示されたDCTブロック
に対して、上述した第1の実施の形態のフレームモード
用イントラ画像縮小逆離散コサイン変換装置15と同様
の縮小逆離散コサイン変換を行う。このイントラ画像用
縮小逆離散コサイン変換装置41では、以上のような縮
小逆離散コサイン変換を行うことにより、1つのDCT
ブロックが4×4の画素から構成される標準解像度画像
を復号することができる。この復号された画像データの
各画素の位相は、トップフィールドの各画素の垂直方向
の位相が1/2、5/2・・・となり、ボトムフィール
ドの各画素の垂直方向の位相が1、3・・・となる。
置41は、入力されたビットストリームのマクロブロッ
クが、イントラマクロブロックである場合に用いられ
る。このイントラ画像用縮小逆離散コサイン変換装置4
1では、フィールドDCTモードで離散コサイン変換が
されたマクロブロック内の8×8個の係数が示されたD
CTブロックに対して、図34で示したような、低域の
4×4の係数のみに逆離散コサイン変換を行う。すなわ
ち、水平方向及び垂直方向の低域の4点の離散コサイン
係数に基づき縮小逆離散コサイン変換を行う。また、フ
レームDCTモードで離散コサイン変換がされたマクロ
ブロック内の8×8個の係数が示されたDCTブロック
に対して、上述した第1の実施の形態のフレームモード
用イントラ画像縮小逆離散コサイン変換装置15と同様
の縮小逆離散コサイン変換を行う。このイントラ画像用
縮小逆離散コサイン変換装置41では、以上のような縮
小逆離散コサイン変換を行うことにより、1つのDCT
ブロックが4×4の画素から構成される標準解像度画像
を復号することができる。この復号された画像データの
各画素の位相は、トップフィールドの各画素の垂直方向
の位相が1/2、5/2・・・となり、ボトムフィール
ドの各画素の垂直方向の位相が1、3・・・となる。
【0202】なお、このイントラ画像用縮小逆離散コサ
イン変換装置41では、トップフィールドの垂直方向の
画素に対して1/4位相補正を行い、ボトムフィールド
の垂直方向の画素に対して3/4位相補正をして、トッ
プフィールドとボトムフィールドとの間の位相ずれを補
正した縮小逆離散コサイン変換をしてもよい。
イン変換装置41では、トップフィールドの垂直方向の
画素に対して1/4位相補正を行い、ボトムフィールド
の垂直方向の画素に対して3/4位相補正をして、トッ
プフィールドとボトムフィールドとの間の位相ずれを補
正した縮小逆離散コサイン変換をしてもよい。
【0203】この場合、フィールドDCTモードで離散
コサイン変換がされたマクロブロック内の8×8個の係
数が示されたDCTブロックの全ての係数に対して、ト
ップフィールドとボトムフィールドの垂直方向の画素の
位相ずれを補正した縮小逆離散コサイン変換を行う。具
体的には、トップフィールドの垂直方向の各画素に対し
ては、1/4画素分の位相補正を行い、ボトムフィール
ドの垂直方向の各画素に対しては、3/4画素分の位相
補正を行う。そして、トップフィールドの各画素の垂直
方向の位相が1/4、9/4・・・となり、ボトムフィ
ールドの各画素の垂直方向の位相が5/4、13/4・
・・となる標準解像度画像(下位レイヤー)を生成す
る。また、フレームDCTモードで離散コサイン変換が
されたマクロブロック内の8×8個の係数が示されたD
CTブロックに対して、1ブロック処理或いは2ブロッ
ク処理により、トップフィールドとボトムフィールドの
垂直方向の画素の位相ずれを補正した縮小逆離散コサイ
ン変換を行う。そして、トップフィールドの各画素の垂
直方向の位相が1/4、9/4・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が5/4、13/4
・・・となる標準解像度画像(下位レイヤー)を生成す
る。
コサイン変換がされたマクロブロック内の8×8個の係
数が示されたDCTブロックの全ての係数に対して、ト
ップフィールドとボトムフィールドの垂直方向の画素の
位相ずれを補正した縮小逆離散コサイン変換を行う。具
体的には、トップフィールドの垂直方向の各画素に対し
ては、1/4画素分の位相補正を行い、ボトムフィール
ドの垂直方向の各画素に対しては、3/4画素分の位相
補正を行う。そして、トップフィールドの各画素の垂直
方向の位相が1/4、9/4・・・となり、ボトムフィ
ールドの各画素の垂直方向の位相が5/4、13/4・
・・となる標準解像度画像(下位レイヤー)を生成す
る。また、フレームDCTモードで離散コサイン変換が
されたマクロブロック内の8×8個の係数が示されたD
CTブロックに対して、1ブロック処理或いは2ブロッ
ク処理により、トップフィールドとボトムフィールドの
垂直方向の画素の位相ずれを補正した縮小逆離散コサイ
ン変換を行う。そして、トップフィールドの各画素の垂
直方向の位相が1/4、9/4・・・となり、ボトムフ
ィールドの各画素の垂直方向の位相が5/4、13/4
・・・となる標準解像度画像(下位レイヤー)を生成す
る。
【0204】インター画像用逆離散コサイン変換装置4
2は、入力されたビットストリームのマクロブロック
が、インターマクロブロックである場合に用いられる。
このインター画像用逆離散コサイン変換装置42では、
離散コサイン変換がされたマクロブロック内の8×8個
の係数が示されたDCTブロックに対して、通常の8×
8の逆離散コサイン変換を行い、高解像度画像を復号す
る。
2は、入力されたビットストリームのマクロブロック
が、インターマクロブロックである場合に用いられる。
このインター画像用逆離散コサイン変換装置42では、
離散コサイン変換がされたマクロブロック内の8×8個
の係数が示されたDCTブロックに対して、通常の8×
8の逆離散コサイン変換を行い、高解像度画像を復号す
る。
【0205】加算装置17は、インター画像用逆離散コ
サイン変換装置42により逆離散コサイン変換されたマ
クロブロックに、フィールドモード用動き補償装置19
或いはフレームモード用動き補償装置20により動き補
償がされるとともにアップサンプリングがされた高解像
度の参照画像を合成する。
サイン変換装置42により逆離散コサイン変換されたマ
クロブロックに、フィールドモード用動き補償装置19
或いはフレームモード用動き補償装置20により動き補
償がされるとともにアップサンプリングがされた高解像
度の参照画像を合成する。
【0206】縮小フィルタ装置43は、加算装置17か
ら出力される高解像度画像を、フィルタ処理して、イン
トラ画像用縮小逆離散コサイン変換装置41が生成する
標準解像度画像と位相が一致した標準解像度画像に縮小
する。
ら出力される高解像度画像を、フィルタ処理して、イン
トラ画像用縮小逆離散コサイン変換装置41が生成する
標準解像度画像と位相が一致した標準解像度画像に縮小
する。
【0207】フレームメモリ18は、イントラ画像用縮
小逆離散コサイン変換装置41からの標準解像度の参照
画像と、縮小フィルタ装置43からの標準解像度の参照
画像とを記憶する。
小逆離散コサイン変換装置41からの標準解像度の参照
画像と、縮小フィルタ装置43からの標準解像度の参照
画像とを記憶する。
【0208】フィールドモード用動き補償装置19は、
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
アップサンプリングをして高解像度画像に変換し、フィ
ールド動き予測モードに対応した動き補償をする。この
フィールドモード用動き補償装置19により動き補償が
された高解像度の参照画像は、加算装置17に供給さ
れ、インター画像に合成される。
マクロブロックの動き予測モードがフィールド動き予測
モードの場合に用いられる。フィールドモード用動き補
償装置19は、フレームメモリ18に記憶されている標
準解像度画像の参照画像に対して、トップフィールドと
ボトムフィールドとの間の位相ずれ成分を考慮した形で
アップサンプリングをして高解像度画像に変換し、フィ
ールド動き予測モードに対応した動き補償をする。この
フィールドモード用動き補償装置19により動き補償が
された高解像度の参照画像は、加算装置17に供給さ
れ、インター画像に合成される。
【0209】フレームモード用動き補償装置20は、マ
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形でアップ
サンプリングをして高解像度画像に変化し、フレーム動
き予測モードに対応した動き補償をする。このフレーム
モード用動き補償装置20により動き補償がされた高解
像度の参照画像は、加算装置17に供給され、インター
画像に合成される。
クロブロックの動き予測モードがフレーム動き予測モー
ドの場合に用いられる。フレームモード用動き補償装置
20は、フレームメモリ18に記憶されている標準解像
度画像の参照画像に対して、トップフィールドとボトム
フィールドとの間の位相ずれ成分を考慮した形でアップ
サンプリングをして高解像度画像に変化し、フレーム動
き予測モードに対応した動き補償をする。このフレーム
モード用動き補償装置20により動き補償がされた高解
像度の参照画像は、加算装置17に供給され、インター
画像に合成される。
【0210】なお、このフレームモード用動き補償装置
19及びフィールドモード用動き補償装置20では、イ
ントラ画像用縮小逆離散コサイン変換装置41がフィー
ルドとボトムフィールドの垂直方向の画素の位相ずれが
ある縮小逆離散コサイン変換を行う場合には、図28に
示すように、フレームメモリ18に記憶している標準解
像度の参照画像の各画素に対して、1/4位相と3/4
位相に相当する画素をフィルタリングにより生成し、高
解像度画像の参照画像に変換する。また、このフレーム
モード用動き補償装置19及びフィールドモード用動き
補償装置20では、イントラ画像用縮小逆離散コサイン
変換装置41がフィールドとボトムフィールドの垂直方
向の画素の位相ずれを補正した縮小逆離散コサイン変換
を行う場合には、図29に示すように、フレームメモリ
18に記憶している標準解像度の参照画像の各画素に対
して、トップフィールドには3/8位相及び7/8位
相、ボトムフィールドには1/8位相と5/8位相に相
当する画素をフィルタリングにより生成し、高解像度画
像の参照画像に変換する。
19及びフィールドモード用動き補償装置20では、イ
ントラ画像用縮小逆離散コサイン変換装置41がフィー
ルドとボトムフィールドの垂直方向の画素の位相ずれが
ある縮小逆離散コサイン変換を行う場合には、図28に
示すように、フレームメモリ18に記憶している標準解
像度の参照画像の各画素に対して、1/4位相と3/4
位相に相当する画素をフィルタリングにより生成し、高
解像度画像の参照画像に変換する。また、このフレーム
モード用動き補償装置19及びフィールドモード用動き
補償装置20では、イントラ画像用縮小逆離散コサイン
変換装置41がフィールドとボトムフィールドの垂直方
向の画素の位相ずれを補正した縮小逆離散コサイン変換
を行う場合には、図29に示すように、フレームメモリ
18に記憶している標準解像度の参照画像の各画素に対
して、トップフィールドには3/8位相及び7/8位
相、ボトムフィールドには1/8位相と5/8位相に相
当する画素をフィルタリングにより生成し、高解像度画
像の参照画像に変換する。
【0211】画枠変換装置33は、フレームメモリ18
が記憶した標準解像度の参照画像或いは加算装置17が
合成した画像が供給され、その画枠を標準解像度のテレ
ビジョンの規格に合致するように変換する。すなわち、
画枠変換装置33は、高解像度のテレビジョン規格の画
枠を、1/4に縮小して標準解像度のテレビジョン規格
の画枠に変換する。
が記憶した標準解像度の参照画像或いは加算装置17が
合成した画像が供給され、その画枠を標準解像度のテレ
ビジョンの規格に合致するように変換する。すなわち、
画枠変換装置33は、高解像度のテレビジョン規格の画
枠を、1/4に縮小して標準解像度のテレビジョン規格
の画枠に変換する。
【0212】なお、この画枠変換装置33では、フレー
ムメモリ18により記憶された標準解像度の参照画像が
トップフィールドとボトムフィールドとの間の位相ずれ
を湯している場合には、この位相ずれ成分もともに補正
する。
ムメモリ18により記憶された標準解像度の参照画像が
トップフィールドとボトムフィールドとの間の位相ずれ
を湯している場合には、この位相ずれ成分もともに補正
する。
【0213】本発明の第3の実施の形態の画像復号装置
40では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに解像度を1/2に縮小して、標準
解像度画像を出力することができる。
40では、以上のような構成を有することにより、高解
像度画像をMPEG2で画像圧縮したビットストリーム
を、復号するとともに解像度を1/2に縮小して、標準
解像度画像を出力することができる。
【0214】以上のように本発明の第3の実施の形態の
画像復号装置40では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームDCTモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置40では、このようにフィール
ドDCTモードとフレームDCTモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドDCTモードとフ
レームDCTモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。
画像復号装置40では、フィールドDCTモードでは、
トップフィールドとボトムフィールドとのそれぞれに4
×4の縮小逆離散コサイン変換を行い標準解像度画像を
復号し、フレームDCTモードでは、フレーム分離をし
て縮小逆離散コサイン変換を行い標準解像度画像を復号
する。この画像復号装置40では、このようにフィール
ドDCTモードとフレームDCTモードとで異なる処理
を行うため、飛び越し走査画像が有するインタレース性
を損なうことなく、かつ、フィールドDCTモードとフ
レームDCTモードとで復号した画像の位相を同一とす
ることができ、出力する画像の画質を劣化させない。
【0215】また、この画像復号装置40では、インタ
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
ーマクロブロックに対する縮小逆離散コサイン変換に起
因する画質の劣化を低減することができる。すなわち、
本来静止画エリアであるインターマクロブロックの動き
ベクトルがノイズの為に動きベクトルが0以外の値を生
じており、例えば、細線を含む箇所が動画エリアのよう
に処理された場合であっても、画質の劣化が生じない。
【0216】以上本発明の第1〜第3の実施の形態の画
像復号装置について説明したが、本発明で処理されるデ
ータは、MPEG2方式の画像データに限られない。す
なわち、所定の画素ブロック単位で動き予測をすること
による予測符号化、及び、所定の画素ブロック単位で直
交変換することによる圧縮符号化をした第1の解像度の
圧縮画像データであればどのようなデータであってもよ
い。例えば、ウェーブレット方式等を用いた圧縮画像デ
ータであってもよい。
像復号装置について説明したが、本発明で処理されるデ
ータは、MPEG2方式の画像データに限られない。す
なわち、所定の画素ブロック単位で動き予測をすること
による予測符号化、及び、所定の画素ブロック単位で直
交変換することによる圧縮符号化をした第1の解像度の
圧縮画像データであればどのようなデータであってもよ
い。例えば、ウェーブレット方式等を用いた圧縮画像デ
ータであってもよい。
【0217】
【発明の効果】本発明では、フレーム直交変換モードに
より直交変換がされ且つフレーム内予測符号化がされた
直交変換ブロックの全周波数成分の係数に対して逆直交
変換をして飛び越し走査に対応した2つの画素ブロック
に分離し、分離した2つの画素ブロックに対してそれぞ
れ直交変換をして低周波成分の係数に対して逆直交変換
をし、逆直交変換をした2つの画素ブロックを合成す
る。また、この本発明では、フレーム直交変換モードに
おり直交変換がされ且つフレーム間予測符号化がされた
上記直交変換ブロックの各係数のうち低周波成分の係数
に対して逆直交変換をする。そして、この本発明では、
第1の解像度より低い第2の解像度の動画像データを出
力する。
より直交変換がされ且つフレーム内予測符号化がされた
直交変換ブロックの全周波数成分の係数に対して逆直交
変換をして飛び越し走査に対応した2つの画素ブロック
に分離し、分離した2つの画素ブロックに対してそれぞ
れ直交変換をして低周波成分の係数に対して逆直交変換
をし、逆直交変換をした2つの画素ブロックを合成す
る。また、この本発明では、フレーム直交変換モードに
おり直交変換がされ且つフレーム間予測符号化がされた
上記直交変換ブロックの各係数のうち低周波成分の係数
に対して逆直交変換をする。そして、この本発明では、
第1の解像度より低い第2の解像度の動画像データを出
力する。
【0218】また、本発明では、フレーム内予測符号化
がされた直交変換ブロックの低周波成分の係数に対して
逆直交変換をし、フレーム間予測符号化がされた直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
する。そして、この本発明では、第1の解像度より低い
第2の解像度の動画像データを出力する。
がされた直交変換ブロックの低周波成分の係数に対して
逆直交変換をし、フレーム間予測符号化がされた直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
する。そして、この本発明では、第1の解像度より低い
第2の解像度の動画像データを出力する。
【0219】このことにより、本発明では、復号に必要
な演算量及び記憶容量を少なくすることができるととも
に、飛び越し走査画像が有するインタレース性を損なう
ことなくフィールド直交変換モードとフレーム直交変換
モードとによる画素の位相ずれをなくすことができる。
また、第2の解像度の動画像データの画質を向上させる
ことができる。また、本発明では、フレーム内予測符号
化がされた直交変換ブロックを逆直交変換して直接第2
の解像度にする際に生じる画質の劣化を低減することが
できる。
な演算量及び記憶容量を少なくすることができるととも
に、飛び越し走査画像が有するインタレース性を損なう
ことなくフィールド直交変換モードとフレーム直交変換
モードとによる画素の位相ずれをなくすことができる。
また、第2の解像度の動画像データの画質を向上させる
ことができる。また、本発明では、フレーム内予測符号
化がされた直交変換ブロックを逆直交変換して直接第2
の解像度にする際に生じる画質の劣化を低減することが
できる。
【図1】本発明の第1の実施の形態の画像復号装置のブ
ロック図である。
ロック図である。
【図2】上記第1の実施の形態の画像復号装置のフレー
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
【図3】上記第1の実施の形態の画像復号装置のフレー
ムモード用イントラ画像縮小逆離散コサイン変換装置の
1ブロック処理の内容を説明するための図である。
ムモード用イントラ画像縮小逆離散コサイン変換装置の
1ブロック処理の内容を説明するための図である。
【図4】上記第1の実施の形態の画像復号装置のフレー
ムモード用イントラ画像縮小逆離散コサイン変換装置の
2ブロック処理の内容を説明するための図である。
ムモード用イントラ画像縮小逆離散コサイン変換装置の
2ブロック処理の内容を説明するための図である。
【図5】420フォーマットのマクロブロック内の輝度
成分及び色差成分のDCTブロックについて説明をする
図である。
成分及び色差成分のDCTブロックについて説明をする
図である。
【図6】Wangのアルゴリズムを上記第1の実施の形
態の画像復号装置のフィールドモード用縮小逆離散コサ
イン変換装置の処理に適用した場合の演算フローを示す
図である。
態の画像復号装置のフィールドモード用縮小逆離散コサ
イン変換装置の処理に適用した場合の演算フローを示す
図である。
【図7】Wangのアルゴリズムを上記第1の実施の形
態の画像復号装置のフレームモード用イントラ画像縮小
逆離散コサイン変換装置の1ブロック処理に適用した場
合の演算フローを示す図である。
態の画像復号装置のフレームモード用イントラ画像縮小
逆離散コサイン変換装置の1ブロック処理に適用した場
合の演算フローを示す図である。
【図8】本発明の第2の実施の形態の画像復号装置のブ
ロック図である。
ロック図である。
【図9】上記第2の実施の形態の画像復号装置のフレー
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
ムメモリに格納される参照画像の垂直方向の画素の位相
を説明するための図である。
【図10】上記第2の実施の形態の画像復号装置のフィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
【図11】1つの行列により処理を行う場合の上記フィ
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
ールドモード用位相補正縮小逆離散コサイン変換装置の
処理内容を説明するための図である。
【図12】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる4×8位相補正
IDCT行列の設計手順を説明するためのフローチャー
トである。
コサイン変換装置により演算が行われる4×8位相補正
IDCT行列の設計手順を説明するためのフローチャー
トである。
【図13】上記4×8位相補正IDCT行列の設計に必
要となるプロトタイプフィルタの周波数特性を説明する
ための図である。
要となるプロトタイプフィルタの周波数特性を説明する
ための図である。
【図14】ナイキスト周波数以下を等間隔に{(N−
1)/2}分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
1)/2}分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
【図15】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。
作成されたインパルス応答を説明するための図である。
【図16】ポリフェイズフィルタを説明するための図で
ある。
ある。
【図17】入力信号に対して1/4位相ずれた信号を出
力するポリフェイズフィルタを説明するための図であ
る。
力するポリフェイズフィルタを説明するための図であ
る。
【図18】上記フィールドモード用位相補正縮小逆離散
コサイン変換装置により演算が行われる4×8位相補正
IDCT行列を説明するための図である。
コサイン変換装置により演算が行われる4×8位相補正
IDCT行列を説明するための図である。
【図19】上記第2の実施の形態の画像復号装置のフレ
ームモード用位相補正縮小逆離散コサイン変換装置の1
ブロック処理の内容を説明するための図である。
ームモード用位相補正縮小逆離散コサイン変換装置の1
ブロック処理の内容を説明するための図である。
【図20】フレームモード用位相補正縮小逆離散コサイ
ン変換装置により演算が行われる2×4位相補正IDC
T行列の設計手順を説明するためのフローチャートであ
る。
ン変換装置により演算が行われる2×4位相補正IDC
T行列の設計手順を説明するためのフローチャートであ
る。
【図21】ナイキスト周波数以下を等間隔に{(N−
1)/2}分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
1)/2}分割し、その周波数サンプルから作成された
ゲインのリストを説明するための図である。
【図22】上記ゲインリストを逆離散フーリエ変換して
作成されたインパルス応答を説明するための図である。
作成されたインパルス応答を説明するための図である。
【図23】上記フレームモード用位相補正縮小逆離散コ
サイン変換装置により演算が行われる2×4位相補正I
DCT行列を説明するための図である。
サイン変換装置により演算が行われる2×4位相補正I
DCT行列を説明するための図である。
【図24】上記第2の実施の形態の画像復号装置のフレ
ームモード用位相補正縮小逆離散コサイン変換装置の2
ブロック処理の内容を説明するための図である。
ームモード用位相補正縮小逆離散コサイン変換装置の2
ブロック処理の内容を説明するための図である。
【図25】上記第2の実施の形態のフレームモード用イ
ンター画像位相補正縮小逆離散コサイン変換装置の処理
内容を説明するための図である。
ンター画像位相補正縮小逆離散コサイン変換装置の処理
内容を説明するための図である。
【図26】上記第2の実施の形態のフレームモード用イ
ンター画像位相補正縮小逆離散コサイン変換装置の他の
処理内容を説明するための図である。
ンター画像位相補正縮小逆離散コサイン変換装置の他の
処理内容を説明するための図である。
【図27】本発明の第3の実施の形態の画像復号装置の
ブロック図である。
ブロック図である。
【図28】上記第3の実施の形態の画像復号装置のフレ
ームモード用動き補償装置及びフィールドモード用動き
補償装置における補間処理を説明するための図である。
ームモード用動き補償装置及びフィールドモード用動き
補償装置における補間処理を説明するための図である。
【図29】上記第3の実施の形態の画像復号装置のフレ
ームモード用動き補償装置及びフィールドモード用動き
補償装置における他の補間処理を説明するための図であ
る。
ームモード用動き補償装置及びフィールドモード用動き
補償装置における他の補間処理を説明するための図であ
る。
【図30】従来の第1のダウンデコーダを示すブロック
図である。
図である。
【図31】従来の第2のダウンデコーダを示すブロック
図である。
図である。
【図32】従来の第3のダウンデコーダを示すブロック
図である。
図である。
【図33】従来の画像復号装置のブロック図である。
【図34】上記従来の画像復号装置のフィールドDCT
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
【図35】上記従来の画像復号装置のフィールドDCT
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
モードにおける縮小逆離散コサイン変換処理を説明する
ための図である。
【図36】上記従来の画像復号装置のフィールド動き予
測モードにおける線形補間処理を説明するための図であ
る。
測モードにおける線形補間処理を説明するための図であ
る。
【図37】上記従来の画像復号装置のフレーム動き予測
モードにおける線形補間処理を説明するための図であ
る。
モードにおける線形補間処理を説明するための図であ
る。
【図38】上記従来の画像復号装置のフィールドDCT
モードの結果得られる画素の位相を説明するための図で
ある。
モードの結果得られる画素の位相を説明するための図で
ある。
【図39】上記従来の画像復号装置のフレームDCTモ
ードの結果得られる画素の位相を説明するための図であ
る。
ードの結果得られる画素の位相を説明するための図であ
る。
10,30,40 画像復号装置、14 フィールドモ
ード用縮小逆離散コサイン変換装置、15 フレームモ
ード用イントラ画像縮小逆離散コサイン変換装置、16
フレームモード用インター画像縮小逆離散コサイン変
換装置、17加算装置、18 フレームメモリ、19
フィールドモード用動き補償装置、20 フレームモー
ド用動き補償装置、21 画枠変換・位相ずれ補正装
置、31フィールドモード用位相補正縮小逆離散コサイ
ン変換装置、32 フレームモード用イントラ画像位相
補正縮小逆離散コサイン変換装置、33 フレームモー
ド用インター画像位相補正縮小逆離散コサイン変換装
置、34 画枠変換装置、41 イントラ画像用縮小逆
離散コサイン変換装置、42 インター画像用逆離散コ
サイン変換装置、43 縮小フィルタ装置
ード用縮小逆離散コサイン変換装置、15 フレームモ
ード用イントラ画像縮小逆離散コサイン変換装置、16
フレームモード用インター画像縮小逆離散コサイン変
換装置、17加算装置、18 フレームメモリ、19
フィールドモード用動き補償装置、20 フレームモー
ド用動き補償装置、21 画枠変換・位相ずれ補正装
置、31フィールドモード用位相補正縮小逆離散コサイ
ン変換装置、32 フレームモード用イントラ画像位相
補正縮小逆離散コサイン変換装置、33 フレームモー
ド用インター画像位相補正縮小逆離散コサイン変換装
置、34 画枠変換装置、41 イントラ画像用縮小逆
離散コサイン変換装置、42 インター画像用逆離散コ
サイン変換装置、43 縮小フィルタ装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 哲夫 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 三橋 聡 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 柳原 尚史 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 LB05 LB11 LC03 MA00 MA04 MA05 MA23 MC22 MC31 MC38 ME01 NN14 PP04 UA05 UA11 UA33 UA38
Claims (20)
- 【請求項1】 所定の画素ブロック(マクロブロック)
単位で動き予測を行うことによる予測符号化、且つ、所
定の画素ブロック(直交変換ブロック)単位で直交変換
を行うことによる圧縮符号化をした第1の解像度の圧縮
画像データから、上記第1の解像度より低い第2の解像
度の動画像データを復号する画像復号装置において、 飛び越し走査に対応した直交変換方式(フィールド直交
変換モード)により直交変換がされた上記圧縮画像デー
タの直交変換ブロックに対して逆直交変換を行う第1の
逆直交変換手段と、 順次走査に対応した直交変換方式(フレーム直交変換モ
ード)により直交変換がされた上記圧縮画像データの直
交変換ブロックであってフレーム内予測符号化がされた
直交変換ブロックに対して、逆直交変換を行う第2の逆
直交変換手段と、 順次走査に対応した直交変換方式(フレーム直交変換モ
ード)により直交変換がされた上記圧縮画像データの直
交変換ブロックであってフレーム間予測符号化がされた
直交変換ブロックに対して、逆直交変換を行う第3の逆
直交変換手段と、 上記第1から第3の逆直交変換手段により逆直交変換が
された圧縮画像データと動き補償がされた参照画像デー
タとを加算して、第2の解像度の動画像データを出力す
る加算手段と、 上記加算手段から出力される動画像データを参照画像デ
ータとして記憶する記憶手段と、 上記記憶手段が記憶している参照画像データのマクロブ
ロックに対して動き補償をする動き補償手段とを備え、 上記第1の逆直交変換手段は、上記直交変換ブロックの
各係数のうち低周波成分の係数に対して逆直交変換を
し、 上記第2の逆直交変換手段は、上記直交変換ブロックの
全周波数成分の係数に対して逆直交変換をし、逆直交変
換をした直交変換ブロックの各画素を飛び越し走査に対
応した2つの画素ブロックに分離し、分離した2つの画
素ブロックに対してそれぞれ直交変換をし、直交変換を
した2つの画素ブロックの各係数のうち低周波成分の係
数に対して逆直交変換をし、逆直交変換をした2つの画
素ブロックを合成して直交変換ブロックを生成し、 上記第3の逆直交変換手段は、上記直交変換ブロックの
各係数のうち低周波成分の係数に対して逆直交変換をす
ることを特徴とする画像復号装置。 - 【請求項2】 上記第3の逆直交変換手段は、上記直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をし、逆直交変換をした直交変換ブロックの各画素を線
形補間をすることを特徴とする請求項1に記載の画像復
号装置。 - 【請求項3】 上記第3の逆直交変換手段は、上記直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をし、逆直交変換をした直交変換ブロックの各画素を飛
び越し走査に対応した2つの画素ブロックに分離し、分
離した2つの画素ブロック毎に各画素を線形補間をする
ことを特徴とする請求項1に記載の画像復号装置。 - 【請求項4】 上記第1の逆直交変換手段は、上記直交
変換ブロックの各係数のうち低周波成分の係数に対して
逆直交変換をし、逆直交変換をして得られたトップフィ
ールドの各画素の垂直方向に対して1/4画素分の位相
補正をし、逆直交変換をして得られたボトムフィールド
の各画素の垂直方向に対して3/4画素分の位相補正を
し、 上記第2の逆直交変換手段は、上記直交変換ブロックの
全周波数成分の係数に対して逆直交変換をし、逆直交変
換をした直交変換ブロックを飛び越し走査に対応した2
つの画素ブロックに分離し、分離した2つの画素ブロッ
クに対してそれぞれ直交変換をし、直交変換をした2つ
の画素ブロックの各係数のうち低周波成分の係数に対し
て逆直交変換をし、逆直交変換をして得られたトップフ
ィールドの各画素の垂直方向に対して1/4画素分の位
相補正をし、逆直交変換をして得られたボトムフィール
ドの各画素の垂直方向に対して3/4画素分の位相補正
をし、位相補正をしたトップフィールドとボトムフィー
ルドとを合成し、 上記第3の逆直交変換手段は、上記直交変換ブロックの
各係数のうち低周波成分の係数に対して逆直交変換をす
ることを特徴とする請求項1に記載の画像復号装置。 - 【請求項5】 上記第3の逆直交変換手段は、上記直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をし、逆直交変換をした直交変換ブロックの各画素を線
形補間をすることを特徴とする請求項4に記載の画像復
号装置。 - 【請求項6】 上記第3の逆直交変換手段は、上記直交
変換ブロックの全周波数成分の係数に対して逆直交変換
をし、逆直交変換をした直交変換ブロックの各画素を飛
び越し走査に対応した2つの画素ブロックに分離し、分
離した2つの画素ブロックのうちトップフィールドの各
画素の垂直方向に対して1/4画素分の位相補正をした
線形補間をし、ボトムフィールドの各画素の垂直方向に
対して3/4画素分の位相補正をした線形補間をするこ
とを特徴とする請求項4に記載の画像復号装置。 - 【請求項7】 所定の画素ブロック(マクロブロック)
単位で動き予測を行うことによる予測符号化、且つ、所
定の画素ブロック(直交変換ブロック)単位で直交変換
を行うことによる圧縮符号化をした第1の解像度の圧縮
画像データから、上記第1の解像度より低い第2の解像
度の動画像データを復号する画像復号装置において、 フレーム内予測符号化がされた上記圧縮画像データの直
交変換ブロックに対して逆直交変換をして、第2の解像
度の参照画像データを生成する第1の逆直交変換手段
と、 フレーム間予測符号化がされた上記圧縮画像データの直
交変換ブロックに対して、逆直交変換を行う第2の逆直
交変換手段と、 上記第2の逆直交変換手段により逆直交変換がされた圧
縮画像データと動き補償がされた予測画像データとを加
算して参照画像データを生成する加算手段と、 上記加算手段により生成された上記参照画像データを第
2の解像度の動画像データに縮小する縮小手段と、上記
第1の逆直交変換手段及び縮小手段から出力される参照
画像データを記憶する記憶手段と、 上記記憶手段が記憶している参照画像データのマクロブ
ロックに対して動き補償をして予測画像データを生成す
る動き補償手段とを備え、 上記第1の逆直交変換手段は、上記直交変換ブロックの
各係数のうち低周波成分の係数に対して逆直交変換を
し、 上記第2の逆直交変換手段は、上記直交変換ブロックの
全周波数成分の係数に対して逆直交変換をすることを特
徴とする画像復号装置。 - 【請求項8】 上記第1の逆直交変換手段は、フレーム
直交変換モードにより直交変換がされた上記直交変換ブ
ロックの全周波数成分の係数に対して逆直交変換をし、
逆直交変換をした直交変換ブロックの各画素を飛び越し
走査に対応した2つの画素ブロックに分離し、分離した
2つの画素ブロックに対してそれぞれ直交変換をし、直
交変換をした2つの画素ブロックの各係数のうち低周波
成分の係数に対して逆直交変換をし、逆直交変換をした
2つの画素ブロックを合成して直交変換ブロックを生成
することを特徴とする請求項7に記載の画像復号装置。 - 【請求項9】 上記第1の逆直交変換手段は、フィール
ド直交変換モードにより直交変換がされた直交変換ブロ
ックの各係数のうち低周波成分の係数に対して逆直交変
換をし、逆直交変換をして得られたトップフィールドの
各画素の垂直方向に対して1/4画素分の位相補正を
し、逆直交変換をして得られたボトムフィールドの各画
素の垂直方向に対して3/4画素分の位相補正をし、フ
レーム直交変換モードにより直交変換ブロックの全周波
数成分の係数に対して逆直交変換をし、逆直交変換をし
た直交変換ブロックを飛び越し走査に対応した2つの画
素ブロックに分離し、分離した2つの画素ブロックに対
してそれぞれ直交変換をし、直交変換をした2つの画素
ブロックの各係数のうち低周波成分の係数に対して逆直
交変換をし、逆直交変換をして得られたトップフィール
ドの各画素の垂直方向に対して1/4画素分の位相補正
をし、逆直交変換をして得られたボトムフィールドの各
画素の垂直方向に対して3/4画素分の位相補正をし、
位相補正をしたトップフィールドとボトムフィールドと
を合成することを特徴とする請求項7に記載の画像復号
装置。 - 【請求項10】 上記動き補償手段は、上記記憶手段が
記憶している第2の解像度の参照画像データを第1の解
像度にアップサンプリングして、動き補償を行うことを
特徴とする請求項7に記載の画像復号装置。 - 【請求項11】 所定の画素ブロック(マクロブロッ
ク)単位で動き予測を行うことによる予測符号化、且
つ、所定の画素ブロック(直交変換ブロック)単位で直
交変換を行うことによる圧縮符号化をした第1の解像度
の圧縮画像データから、上記第1の解像度より低い第2
の解像度の動画像データを復号する画像復号方法におい
て、 飛び越し走査に対応した直交変換方式(フィールド直交
変換モード)により直交変換がされた上記圧縮画像デー
タの直交変換ブロックに対して逆直交変換をし、 順次走査に対応した直交変換方式(フレーム直交変換モ
ード)により直交変換がされた上記圧縮画像データの直
交変換ブロックであってフレーム内予測符号化がされた
直交変換ブロックに対して、逆直交変換をし、 順次走査に対応した直交変換方式(フレーム直交変換モ
ード)により直交変換がされた上記圧縮画像データの直
交変換ブロックであってフレーム間予測符号化がされた
直交変換ブロックに対して、逆直交変換をし、 逆直交変換がされた圧縮画像データと動き補償がされた
参照画像データとを加算し、 加算して得られた動画像データを参照画像データとして
記憶し、 記憶している参照画像データのマクロブロックに対して
動き補償をし、 フィールド直交変換モードにより直交変換がされた直交
変換ブロックの各係数のうち低周波成分の係数に対して
逆直交変換をし、 フレーム直交変換モードにより直交変換がされ且つフレ
ーム内予測符号化がされた直交変換ブロックの全周波数
成分の係数に対して逆直交変換をし、逆直交変換をした
直交変換ブロックの各画素を飛び越し走査に対応した2
つの画素ブロックに分離し、分離した2つの画素ブロッ
クに対してそれぞれ直交変換をし、直交変換をした2つ
の画素ブロックの各係数のうち低周波成分の係数に対し
て逆直交変換をし、逆直交変換をした2つの画素ブロッ
クを合成して直交変換ブロックを生成し、 フレーム直交変換モードにより直交変換がされ且つフレ
ーム間予測符号化がされた直交変換ブロックの低周波成
分の係数に対して逆直交変換をすることを特徴とする画
像復号方法。 - 【請求項12】 フレーム直交変換モードにより直交変
換がされ且つフレーム間予測符号化がされた直交変換ブ
ロックの全周波数成分の係数に対して逆直交変換をし、
逆直交変換をした直交変換ブロックの各画素を線形補間
をすることを特徴とする請求項11に記載の画像復号方
法。 - 【請求項13】 フレーム直交変換モードにより直交変
換がされ且つフレーム間予測符号化がされた直交変換ブ
ロックの全周波数成分の係数に対して逆直交変換をし、
逆直交変換をした直交変換ブロックの各画素を飛び越し
走査に対応した2つの画素ブロックに分離し、分離した
2つの画素ブロック毎に各画素を線形補間をすることを
特徴とする請求項11に記載の画像復号方法。 - 【請求項14】 フィールド直交変換モードにより直交
変換がされた直交変換ブロックの各係数のうち低周波成
分の係数に対して逆直交変換をし、逆直交変換をして得
られたトップフィールドの各画素の垂直方向に対して1
/4画素分の位相補正をし、逆直交変換をして得られた
ボトムフィールドの各画素の垂直方向に対して3/4画
素分の位相補正をし、 フレーム直交変換モードにより直交変換がされ且つフレ
ーム内予測符号化がされた直交変換ブロックの全周波数
成分の係数に対して逆直交変換をし、逆直交変換をした
直交変換ブロックを飛び越し走査に対応した2つの画素
ブロックに分離し、分離した2つの画素ブロックに対し
てそれぞれ直交変換をし、直交変換をした2つの画素ブ
ロックの各係数のうち低周波成分の係数に対して逆直交
変換をし、逆直交変換をして得られたトップフィールド
の各画素の垂直方向に対して1/4画素分の位相補正を
し、逆直交変換をして得られたボトムフィールドの各画
素の垂直方向に対して3/4画素分の位相補正をし、位
相補正をしたトップフィールドとボトムフィールドとを
合成し、 フレーム直交変換モードにより直交変換がされ且つフレ
ーム間予測符号化がされた直交変換ブロックの各係数の
うち低周波成分の係数に対して逆直交変換をすることを
特徴とする請求項11に記載の画像復号方法。 - 【請求項15】 フレーム直交変換モードにより直交変
換がされ且つフレーム間予測符号化がされた直交変換ブ
ロックの全周波数成分の係数に対して逆直交変換をし、
逆直交変換をした直交変換ブロックの各画素を線形補間
をすることを特徴とする請求項14に記載の画像復号方
法。 - 【請求項16】 フレーム直交変換モードにより直交変
換がされ且つフレーム間予測符号化がされた直交変換ブ
ロックの全周波数成分の係数に対して逆直交変換をし、
逆直交変換をした直交変換ブロックの各画素を飛び越し
走査に対応した2つの画素ブロックに分離し、分離した
2つの画素ブロックのうちトップフィールドの各画素の
垂直方向に対して1/4画素分の位相補正をした線形補
間をし、ボトムフィールドの各画素の垂直方向に対して
3/4画素分の位相補正をした線形補間をすることを特
徴とする請求項14に記載の画像復号方法。 - 【請求項17】 所定の画素ブロック(マクロブロッ
ク)単位で動き予測を行うことによる予測符号化、且
つ、所定の画素ブロック(直交変換ブロック)単位で直
交変換を行うことによる圧縮符号化をした第1の解像度
の圧縮画像データから、上記第1の解像度より低い第2
の解像度の動画像データを復号する画像復号方法におい
て、 フレーム内予測符号化がされた直交変換ブロックに対し
て逆直交変換をして、第2の解像度の参照画像データを
生成し、 フレーム間予測符号化がされた直交変換ブロックに対し
て、逆直交変換し、 フレーム間予測符号化がされた直交変換ブロックに対し
て逆直交変換がされた圧縮画像データと動き補償がされ
た予測画像データとを加算して参照画像データを生成
し、加算して生成された上記参照画像データを第2の解
像度に縮小し、 第2の解像度の参照画像データを記憶し、 記憶している第2の解像度の参照画像データのマクロブ
ロックに対して動き補償をして第1の解像度の予測画像
データを生成し、 フレーム内予測符号化がされた直交変換ブロックの低周
波成分の係数に対して逆直交変換をし、 フレーム間予測符号化がされた直交変換ブロックの全周
波数成分の係数に対して逆直交変換をすることを特徴と
する画像復号方法。 - 【請求項18】 フレーム内予測符号化がされ且つフレ
ーム直交変換モードにより直交変換がされた上記直交変
換ブロックの全周波数成分の係数に対して逆直交変換を
し、逆直交変換をした直交変換ブロックの各画素を飛び
越し走査に対応した2つの画素ブロックに分離し、分離
した2つの画素ブロックに対してそれぞれ直交変換を
し、直交変換をした2つの画素ブロックの各係数のうち
低周波成分の係数に対して逆直交変換をし、逆直交変換
をした2つの画素ブロックを合成して直交変換ブロック
を生成することを特徴とする請求項17に記載の画像復
号方法。 - 【請求項19】 フレーム内予測符号化がされ且つフィ
ールド直交変換モードにより直交変換がされた直交変換
ブロックの各係数のうち低周波成分の係数に対して逆直
交変換をし、逆直交変換をして得られたトップフィール
ドの各画素の垂直方向に対して1/4画素分の位相補正
をし、逆直交変換をして得られたボトムフィールドの各
画素の垂直方向に対して3/4画素分の位相補正をし、 フレーム内予測符号化がされ且つフレーム直交変換モー
ドにより直交変換ブロックの全周波数成分の係数に対し
て逆直交変換をし、逆直交変換をした直交変換ブロック
を飛び越し走査に対応した2つの画素ブロックに分離
し、分離した2つの画素ブロックに対してそれぞれ直交
変換をし、直交変換をした2つの画素ブロックの各係数
のうち低周波成分の係数に対して逆直交変換をし、逆直
交変換をして得られたトップフィールドの各画素の垂直
方向に対して1/4画素分の位相補正をし、逆直交変換
をして得られたボトムフィールドの各画素の垂直方向に
対して3/4画素分の位相補正をし、位相補正をしたト
ップフィールドとボトムフィールドとを合成することを
特徴とする請求項17に記載の画像復号方法。 - 【請求項20】 記憶している第2の解像度の参照画像
データを第1の解像度にアップサンプリングして、動き
補償を行うことを特徴とする請求項17に記載の画像復
号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20838798A JP2000041253A (ja) | 1998-07-23 | 1998-07-23 | 画像復号装置及び画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20838798A JP2000041253A (ja) | 1998-07-23 | 1998-07-23 | 画像復号装置及び画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000041253A true JP2000041253A (ja) | 2000-02-08 |
Family
ID=16555430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20838798A Withdrawn JP2000041253A (ja) | 1998-07-23 | 1998-07-23 | 画像復号装置及び画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000041253A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907077B2 (en) | 2000-09-28 | 2005-06-14 | Nec Corporation | Variable resolution decoder |
-
1998
- 1998-07-23 JP JP20838798A patent/JP2000041253A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907077B2 (en) | 2000-09-28 | 2005-06-14 | Nec Corporation | Variable resolution decoder |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2000059793A (ja) | 画像復号装置及び画像復号方法 | |
KR100192270B1 (ko) | 에이치디티브이 비데오 디코더 회로 | |
JP3631642B2 (ja) | 2:1間引きにおける効果的なダウンコンバージョン | |
JP3338639B2 (ja) | ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法 | |
KR19980080157A (ko) | 이산 코사인 변환 인코드 화상의 다운 변환을 위한 주파수 영역 필터링 | |
JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
CA2281391A1 (en) | Down conversion system using a pre-decimation filter | |
JP2001285863A (ja) | 画像情報変換装置及び方法 | |
JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2000041248A (ja) | 画像復号装置及び画像復号方法 | |
JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2000175194A (ja) | 画像復号装置及び画像復号方法 | |
JP3611461B2 (ja) | 映像信号符号化装置 | |
JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
JP4051799B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2000041253A (ja) | 画像復号装置及び画像復号方法 | |
JP2000032463A (ja) | 映像情報をサイズ変更する方法及び装置 | |
JP3937632B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2000059777A (ja) | 画像復号装置及び画像復号方法 | |
JP2000041254A (ja) | 画像復号装置及び画像復号方法 | |
JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
JP2001285875A (ja) | 画像情報変換装置及び方法 | |
JP2001016590A (ja) | 画像情報変換装置、画像情報伝達システム及び画像情報変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051004 |