JP2003274411A - 画像符号化方法および画像復号方法 - Google Patents
画像符号化方法および画像復号方法Info
- Publication number
- JP2003274411A JP2003274411A JP2002070044A JP2002070044A JP2003274411A JP 2003274411 A JP2003274411 A JP 2003274411A JP 2002070044 A JP2002070044 A JP 2002070044A JP 2002070044 A JP2002070044 A JP 2002070044A JP 2003274411 A JP2003274411 A JP 2003274411A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- prediction
- frames
- image
- display time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 複数フレームをフレーム間予測の参照フレー
ムとする従来の画像符号化方法および従来の画像復号化
方法を改善し、更に圧縮率を向上すること。 【解決手段】 予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像符号化方法に
おいて、符号化対象のフレームが前方予測フレーム、も
しくは、双方向予測フレームである場合に、前記符号化
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとして画素補間によりフレーム間予測の予測画
素値を生成する。
ムとする従来の画像符号化方法および従来の画像復号化
方法を改善し、更に圧縮率を向上すること。 【解決手段】 予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像符号化方法に
おいて、符号化対象のフレームが前方予測フレーム、も
しくは、双方向予測フレームである場合に、前記符号化
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとして画素補間によりフレーム間予測の予測画
素値を生成する。
Description
【0001】
【発明の属する技術分野】本発明は、画像信号を符号化
および復号する方法、並びにそれをソフトウェアで実施
するためのプログラムが記録された記録媒体に係るもの
である。
および復号する方法、並びにそれをソフトウェアで実施
するためのプログラムが記録された記録媒体に係るもの
である。
【0002】
【従来の技術】近年、マルチメディアアプリケーション
の発展に伴い、画像・音声・テキストなど、あらゆるメ
ディアの情報を統一的に扱うことが一般的になってき
た。この時、全てのメディアをディジタル化することに
より統一的にメディアを扱うことが可能になる。しかし
ながら、ディジタル化された画像は膨大なデータ量を持
つため、蓄積・伝送のためには、画像の情報圧縮技術が
不可欠である。一方で、圧縮した画像データを相互運用
するためには、圧縮技術の標準化も重要である。画像圧
縮技術の標準規格としては、ITU(国際電気通信連合
電気通信標準化部門)のH.261、H.263、ISO(国際
標準化機構)のMPEG(Moving Picture Experts Gro
up)-1、MPEG-2、MPEG-4などがある。
の発展に伴い、画像・音声・テキストなど、あらゆるメ
ディアの情報を統一的に扱うことが一般的になってき
た。この時、全てのメディアをディジタル化することに
より統一的にメディアを扱うことが可能になる。しかし
ながら、ディジタル化された画像は膨大なデータ量を持
つため、蓄積・伝送のためには、画像の情報圧縮技術が
不可欠である。一方で、圧縮した画像データを相互運用
するためには、圧縮技術の標準化も重要である。画像圧
縮技術の標準規格としては、ITU(国際電気通信連合
電気通信標準化部門)のH.261、H.263、ISO(国際
標準化機構)のMPEG(Moving Picture Experts Gro
up)-1、MPEG-2、MPEG-4などがある。
【0003】現在、ITUで標準化中のH.26Lでは、符
号化対象フレームの直前2枚のフレームを参照フレーム
として画素補間することで予測画素を得る方法が検討さ
れている。
号化対象フレームの直前2枚のフレームを参照フレーム
として画素補間することで予測画素を得る方法が検討さ
れている。
【0004】図18は従来の画像符号化装置の構成を示
すブロック図である。画像符号化装置は、画像信号Img
を所定のサイズの矩形(以降、ブロックと呼ぶ)に分割
し、そのブロック毎に処理を行う。減算器Subは、画像
符号化装置に入力した画像信号Imgから予測画像信号Pre
dを減算し、残差信号Resとして出力する。 画像符号化
手段ImgEncは、残差信号Resを入力し、DCT変換・量
子化などの画像符号化処理を行い、量子化済DCT係数
などを含む符号化残差信号EResを出力する。画像復号手
段ImgDecは、符号化残差信号EResを入力し、逆量子化・
逆DCT変換などの画像復号処理を行い、復号残差信号
DResを出力する。加算器Addは、復号残差信号DResと予
測画像信号Predを加算し、再構成画像信号Reconとして
出力する。再構成画像信号Reconで、以降のフレーム間
予測で参照される可能性がある信号は、マルチフレーム
バッファMFrmBufに格納する。動き推定手段ME0は、画像
信号Imgと参照フレーム信号RefFrmを入力し、ブロッ
ク、あるいは、さらにブロックを分割した領域単位での
動きを検出し、検出結果から動き情報MVと参照フレーム
を示す参照フレーム識別子RefFrmIDとブロックの予測種
別を示すブロック予測種別PredTypeを出力する。
すブロック図である。画像符号化装置は、画像信号Img
を所定のサイズの矩形(以降、ブロックと呼ぶ)に分割
し、そのブロック毎に処理を行う。減算器Subは、画像
符号化装置に入力した画像信号Imgから予測画像信号Pre
dを減算し、残差信号Resとして出力する。 画像符号化
手段ImgEncは、残差信号Resを入力し、DCT変換・量
子化などの画像符号化処理を行い、量子化済DCT係数
などを含む符号化残差信号EResを出力する。画像復号手
段ImgDecは、符号化残差信号EResを入力し、逆量子化・
逆DCT変換などの画像復号処理を行い、復号残差信号
DResを出力する。加算器Addは、復号残差信号DResと予
測画像信号Predを加算し、再構成画像信号Reconとして
出力する。再構成画像信号Reconで、以降のフレーム間
予測で参照される可能性がある信号は、マルチフレーム
バッファMFrmBufに格納する。動き推定手段ME0は、画像
信号Imgと参照フレーム信号RefFrmを入力し、ブロッ
ク、あるいは、さらにブロックを分割した領域単位での
動きを検出し、検出結果から動き情報MVと参照フレーム
を示す参照フレーム識別子RefFrmIDとブロックの予測種
別を示すブロック予測種別PredTypeを出力する。
【0005】ブロック予測種別PredTypeが示す予測に
は、フレーム間予測を使用しない面内予測、画像信号Im
gより前の時刻のフレームから予測を行う前方予測があ
る。面内予測、前方予測を施されたブロックを、それぞ
れ、面内予測ブロック、前方予測ブロックと呼ぶ。ここ
では、面内予測ブロックのみから構成されるフレームを
面内予測フレーム、前方予測ブロックと面内予測ブロッ
クから構成されるフレームを前方予測フレームと呼ぶ。
さらに、前方予測には、1枚のフレームから予測画像を
得る方法と、2枚のフレームから画素補間により予測画
像を得る方法がある。画素補間により予測画像を得る場
合のブロックを前方補間予測ブロックと呼ぶ。これらの
ブロック予測種別はブロック単位に切り替えることが可
能である。
は、フレーム間予測を使用しない面内予測、画像信号Im
gより前の時刻のフレームから予測を行う前方予測があ
る。面内予測、前方予測を施されたブロックを、それぞ
れ、面内予測ブロック、前方予測ブロックと呼ぶ。ここ
では、面内予測ブロックのみから構成されるフレームを
面内予測フレーム、前方予測ブロックと面内予測ブロッ
クから構成されるフレームを前方予測フレームと呼ぶ。
さらに、前方予測には、1枚のフレームから予測画像を
得る方法と、2枚のフレームから画素補間により予測画
像を得る方法がある。画素補間により予測画像を得る場
合のブロックを前方補間予測ブロックと呼ぶ。これらの
ブロック予測種別はブロック単位に切り替えることが可
能である。
【0006】前方予測ブロックの場合には参照フレーム
として符号化対象フレームに対し時間的に直前のフレー
ムを選択する。前方補間予測ブロックの場合には参照フ
レームとして符号化対象フレームに対し時間的に直前の
フレームと2枚前のフレームを使用する。
として符号化対象フレームに対し時間的に直前のフレー
ムを選択する。前方補間予測ブロックの場合には参照フ
レームとして符号化対象フレームに対し時間的に直前の
フレームと2枚前のフレームを使用する。
【0007】前方補間予測の概念を図19と図20を用
いて説明する。図19は、従来の画像符号化方法の前方
補間予測時のフレーム選択の概念図である。横軸は時刻
を示す。Frm1, Frm2, Frm3はフレーム、ブロックCoding
Blkは前方補間予測ブロックを示す。現在の符号化対象
フレームをP_Frm3とする。ブロックCodingBlkに対する
動き推定の結果から得られた、直前のフレームFrm2と2
枚前のフレームFrm1における予測画素の位置を、それぞ
れ、ブロックPredBlk1とブロックPredBlk2とする。ブロ
ックCodingBlkの予測画素値は、ブロックPredBlk1とブ
ロックPredBlk2の画素補間で得られる。前方予測用画素
補間手段FwPolが行う補間方法には、例えば、平均値や
外挿補間などがある。外挿補間はフェードなど時刻経過
に対し画素値が線形に変化していく場合の予測に高い効
果がある。フェードは時刻とともに画素値が線形に変化
する画像処理であり、画素値が単調増加もしくは単調減
少するフェードイン、フェードアウト、画素値が2つの
画像の双一次補間であるクロスフェードがある。
いて説明する。図19は、従来の画像符号化方法の前方
補間予測時のフレーム選択の概念図である。横軸は時刻
を示す。Frm1, Frm2, Frm3はフレーム、ブロックCoding
Blkは前方補間予測ブロックを示す。現在の符号化対象
フレームをP_Frm3とする。ブロックCodingBlkに対する
動き推定の結果から得られた、直前のフレームFrm2と2
枚前のフレームFrm1における予測画素の位置を、それぞ
れ、ブロックPredBlk1とブロックPredBlk2とする。ブロ
ックCodingBlkの予測画素値は、ブロックPredBlk1とブ
ロックPredBlk2の画素補間で得られる。前方予測用画素
補間手段FwPolが行う補間方法には、例えば、平均値や
外挿補間などがある。外挿補間はフェードなど時刻経過
に対し画素値が線形に変化していく場合の予測に高い効
果がある。フェードは時刻とともに画素値が線形に変化
する画像処理であり、画素値が単調増加もしくは単調減
少するフェードイン、フェードアウト、画素値が2つの
画像の双一次補間であるクロスフェードがある。
【0008】図20は、フェードによる画素値変化の説
明図である。横軸は時刻を示し、縦軸は画素値を示す。
Pt0,Pt1,Pt2は、それぞれ、ブロックCodingBlk, PredBl
k2,PredBlk1内での位置が同じ画素を示す。P0,P1,P2
は、それぞれ、画素Pt0,Pt1,Pt2の画素値を示す。グラ
フの線Pixel_Value_Lineは、フェードにより画素値が線
形に上昇していることを示している。このとき、符号化
対象フレームの点Pt0の値は、参照フレームの点Pt1,Pt2
から次式の外挿の計算により予測することができる。 P0 = 2×P1-P2
明図である。横軸は時刻を示し、縦軸は画素値を示す。
Pt0,Pt1,Pt2は、それぞれ、ブロックCodingBlk, PredBl
k2,PredBlk1内での位置が同じ画素を示す。P0,P1,P2
は、それぞれ、画素Pt0,Pt1,Pt2の画素値を示す。グラ
フの線Pixel_Value_Lineは、フェードにより画素値が線
形に上昇していることを示している。このとき、符号化
対象フレームの点Pt0の値は、参照フレームの点Pt1,Pt2
から次式の外挿の計算により予測することができる。 P0 = 2×P1-P2
【0009】従って、前方予測用画素補間手段FwPolで
上式の外挿を行えば、フェードに対する予測効果が高く
なり符号化効率が向上する。また、フェードがない画像
に対しても、外挿の代わりに内挿(平均値)による補間
を導入することにより予測種別が増え、よりブロックに
最適な予測方法が選択でき符号化効率が向上する。
上式の外挿を行えば、フェードに対する予測効果が高く
なり符号化効率が向上する。また、フェードがない画像
に対しても、外挿の代わりに内挿(平均値)による補間
を導入することにより予測種別が増え、よりブロックに
最適な予測方法が選択でき符号化効率が向上する。
【0010】参照フレーム識別子RefFrmIDは、前方予測
ブロックの場合には1枚の参照フレーム、前方補間予測
ブロックの場合には2枚の参照フレームを示す。マルチ
フレームバッファMFrmBufは、参照フレーム識別子RefFr
mIDと動き情報MV示す位置のブロックの画素を予測画像
信号Predとして出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、ブロック2個の画像信号
を出力し、前方補間予測以外を示していればブロック1
個の画像信号を出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、スイッチSW0を0側に切り
替え、前方予測用画素補間手段FwPolにより画素値を補
間し、予測画像信号Predを出力する。ブロック予測種別
PredTypeが前方補間予測以外を示していれば、スイッチ
SW0を1側に切り替え、マルチフレームバッファMFrmBuf
からの予測画像信号Predをそのまま使用する。ブロック
予測種別PredTypeが面内予測を示している場合には、予
測画像信号Predは0値とする。可変長符号化手段VLC
は、符号化残差信号ERes、動き情報MV、ブロック予測種
別PredTypeを可変長符号化し、画像符号化信号BitStrm0
として出力する。
ブロックの場合には1枚の参照フレーム、前方補間予測
ブロックの場合には2枚の参照フレームを示す。マルチ
フレームバッファMFrmBufは、参照フレーム識別子RefFr
mIDと動き情報MV示す位置のブロックの画素を予測画像
信号Predとして出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、ブロック2個の画像信号
を出力し、前方補間予測以外を示していればブロック1
個の画像信号を出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、スイッチSW0を0側に切り
替え、前方予測用画素補間手段FwPolにより画素値を補
間し、予測画像信号Predを出力する。ブロック予測種別
PredTypeが前方補間予測以外を示していれば、スイッチ
SW0を1側に切り替え、マルチフレームバッファMFrmBuf
からの予測画像信号Predをそのまま使用する。ブロック
予測種別PredTypeが面内予測を示している場合には、予
測画像信号Predは0値とする。可変長符号化手段VLC
は、符号化残差信号ERes、動き情報MV、ブロック予測種
別PredTypeを可変長符号化し、画像符号化信号BitStrm0
として出力する。
【0011】以上、説明した処理により画像符号化装置
は画像信号Imgを符号化し、画像符号化信号BitStrm0と
して出力する。
は画像信号Imgを符号化し、画像符号化信号BitStrm0と
して出力する。
【0012】図21は従来の画像復号装置の画像符号化
信号のフォーマットの概念図である。図21のフォーマ
ットは前方補間予測ブロックのフォーマットを示すもの
とする。Frameは1フレームの信号、Blockは1ブロック
の信号、さらにBlock内には、ブロック予測種別PredTyp
eと、動き情報MVの符号化信号が格納される。前方補間
予測ブロックでは、参照フレームとして符号化対象フレ
ームに対し時間的に直前と2枚目のフレームを使用する
こと予めが決まっているため参照フレームを示す情報は
画像符号化信号に格納しない。
信号のフォーマットの概念図である。図21のフォーマ
ットは前方補間予測ブロックのフォーマットを示すもの
とする。Frameは1フレームの信号、Blockは1ブロック
の信号、さらにBlock内には、ブロック予測種別PredTyp
eと、動き情報MVの符号化信号が格納される。前方補間
予測ブロックでは、参照フレームとして符号化対象フレ
ームに対し時間的に直前と2枚目のフレームを使用する
こと予めが決まっているため参照フレームを示す情報は
画像符号化信号に格納しない。
【0013】図22は、従来の画像復号装置の構成を示
すブロック図である。図18における従来の画像符号化
装置の構成を示すブロック図と同じ動作をするユニット
および同じ動作の信号は同じ記号を付し、説明を省略す
る。
すブロック図である。図18における従来の画像符号化
装置の構成を示すブロック図と同じ動作をするユニット
および同じ動作の信号は同じ記号を付し、説明を省略す
る。
【0014】可変長復号手段VLDは、画像符号化信号Bit
Strm0を入力し、可変長復号を行い、符号化残差信号ERe
s、動き情報MV、ブロック予測種別PredTypeを出力す
る。画像復号手段ImgDecは、符号化残差信号EResを入力
し、逆量子化・逆DCT変換などの画像復号処理を行
い、復号残差信号DResを出力する。加算器Addは、復号
残差信号DResと予測画像Predを加算し、復号画像信号DI
mgとして画像復号装置外に出力する。マルチフレームバ
ッファMFrmBufは、フレーム間予測のために復号画像信
号DImgをバッファに格納する。参照フレーム選択手段Re
fFrmSel0は、ブロック予測種別PredTypeに応じて参照フ
レームを選択し、参照フレームを示す参照フレーム識別
子RefFrmIDによりマルチフレームバッファMFrmBufに参
照フレームを指示する。ブロック予測種別PredTypeが前
方補間予測を示していれば、ブロック2個の画像信号を
出力し、前方補間予測以外を示していればブロック1個
の画像信号を出力する。ブロック予測種別PredTypeが前
方補間予測を示していれば、スイッチSW0を0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが前方補間予測以外を示していれば、スイッチSW
0を1側に切り替え、マルチフレームバッファMFrmBufか
らの予測画像信号Predをそのまま使用する。ブロック予
測種別PredTypeが面内予測を示している場合には、予測
画像信号Predは0値とする。可変長符号化手段VLCは、
符号化残差信号ERes、動き情報MV、ブロック予測種別Pr
edTypeを可変長符号化し、画像符号化信号BitStrm0とし
て出力する。
Strm0を入力し、可変長復号を行い、符号化残差信号ERe
s、動き情報MV、ブロック予測種別PredTypeを出力す
る。画像復号手段ImgDecは、符号化残差信号EResを入力
し、逆量子化・逆DCT変換などの画像復号処理を行
い、復号残差信号DResを出力する。加算器Addは、復号
残差信号DResと予測画像Predを加算し、復号画像信号DI
mgとして画像復号装置外に出力する。マルチフレームバ
ッファMFrmBufは、フレーム間予測のために復号画像信
号DImgをバッファに格納する。参照フレーム選択手段Re
fFrmSel0は、ブロック予測種別PredTypeに応じて参照フ
レームを選択し、参照フレームを示す参照フレーム識別
子RefFrmIDによりマルチフレームバッファMFrmBufに参
照フレームを指示する。ブロック予測種別PredTypeが前
方補間予測を示していれば、ブロック2個の画像信号を
出力し、前方補間予測以外を示していればブロック1個
の画像信号を出力する。ブロック予測種別PredTypeが前
方補間予測を示していれば、スイッチSW0を0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが前方補間予測以外を示していれば、スイッチSW
0を1側に切り替え、マルチフレームバッファMFrmBufか
らの予測画像信号Predをそのまま使用する。ブロック予
測種別PredTypeが面内予測を示している場合には、予測
画像信号Predは0値とする。可変長符号化手段VLCは、
符号化残差信号ERes、動き情報MV、ブロック予測種別Pr
edTypeを可変長符号化し、画像符号化信号BitStrm0とし
て出力する。
【0015】以上、説明した処理により画像復号装置は
画像符号化信号BitStrm0を復号し、画像復号信号DImgと
して出力する。一方、画像符号化には、時間的に前のフ
レームから予測を行うだけでなく、時間的に前後のフレ
ームから予測を行う方法もある。時間的に前後のフレー
ムを予測に用いることにより、予測方向が増え、より最
適な予測方向を選択できるようになり符号化効率が高く
なる。
画像符号化信号BitStrm0を復号し、画像復号信号DImgと
して出力する。一方、画像符号化には、時間的に前のフ
レームから予測を行うだけでなく、時間的に前後のフレ
ームから予測を行う方法もある。時間的に前後のフレー
ムを予測に用いることにより、予測方向が増え、より最
適な予測方向を選択できるようになり符号化効率が高く
なる。
【0016】
【発明が解決しようとする課題】これまで、前方補間予
測と双方向予測の組み合わせに関しては、検討されてい
ない。双方向予測では符号化・復号化するフレームの順
番と表示するフレームの順番が一致しないため、従来の
様に単純に符号化・復号化した時刻の順番が近いフレー
ムを予測に使うだけでなく、表示順序も考慮した予測が
必要である。また、前方補間予測で双方向予測が使用可
能な場合と不可能な場合を区別しなければ、双方向予測
の利点である、双方向予測フレームのスケーラビリティ
(双方向予測フレームは他のフレームと比べて重要度が
低い)を実現することができない。双方向予測のこれら
の問題を解決することによって、双方向予測を用いた圧
縮率向上が実現可能になる。
測と双方向予測の組み合わせに関しては、検討されてい
ない。双方向予測では符号化・復号化するフレームの順
番と表示するフレームの順番が一致しないため、従来の
様に単純に符号化・復号化した時刻の順番が近いフレー
ムを予測に使うだけでなく、表示順序も考慮した予測が
必要である。また、前方補間予測で双方向予測が使用可
能な場合と不可能な場合を区別しなければ、双方向予測
の利点である、双方向予測フレームのスケーラビリティ
(双方向予測フレームは他のフレームと比べて重要度が
低い)を実現することができない。双方向予測のこれら
の問題を解決することによって、双方向予測を用いた圧
縮率向上が実現可能になる。
【0017】そこで本発明では、前方補間予測と双方向
予測を組み合わせた符号化方法および復号方法を提供す
る。
予測を組み合わせた符号化方法および復号方法を提供す
る。
【0018】
【課題を解決するための手段】第1の発明(請求項1)
は、予測フレームとして、表示時刻が前後のフレームか
らフレーム間予測を行う双方向予測フレーム、および、
表示時刻が前のフレームのみからフレーム間予測を行う
前方予測フレーム、および、フレーム間予測を行わない
面内予測フレームを含む画像符号化方法において、符号
化対象フレームが前方予測フレーム、もしくは、双方向
予測フレームである場合に、前記符号化対象フレームよ
り表示時刻が前の2枚のフレームを参照フレームとして
画素補間により予測画素値を生成することを特徴とした
画像符号化方法である。
は、予測フレームとして、表示時刻が前後のフレームか
らフレーム間予測を行う双方向予測フレーム、および、
表示時刻が前のフレームのみからフレーム間予測を行う
前方予測フレーム、および、フレーム間予測を行わない
面内予測フレームを含む画像符号化方法において、符号
化対象フレームが前方予測フレーム、もしくは、双方向
予測フレームである場合に、前記符号化対象フレームよ
り表示時刻が前の2枚のフレームを参照フレームとして
画素補間により予測画素値を生成することを特徴とした
画像符号化方法である。
【0019】第2の発明(請求項6)は、予測フレーム
として、表示時刻が前後のフレームからフレーム間予測
を行う双方向予測フレーム、および、表示時刻が前のフ
レームのみからフレーム間予測を行う前方予測フレー
ム、および、フレーム間予測を行わない面内予測フレー
ムを含む画像符号化方法において、符号化対象フレーム
が前方予測フレーム、もしくは、双方向予測フレームで
ある場合に、前記符号化対象フレームより表示時刻が前
の2枚のフレームを参照フレームとして画素補間により
予測画素値を生成することを特徴とした画像復号方法で
ある。
として、表示時刻が前後のフレームからフレーム間予測
を行う双方向予測フレーム、および、表示時刻が前のフ
レームのみからフレーム間予測を行う前方予測フレー
ム、および、フレーム間予測を行わない面内予測フレー
ムを含む画像符号化方法において、符号化対象フレーム
が前方予測フレーム、もしくは、双方向予測フレームで
ある場合に、前記符号化対象フレームより表示時刻が前
の2枚のフレームを参照フレームとして画素補間により
予測画素値を生成することを特徴とした画像復号方法で
ある。
【0020】第3の発明(請求項11)は動画像をフレ
ーム間予測して符号化する画像符号化方法において、符
号化対象フレームより表示時刻が前の2枚のフレームを
参照フレームとする画素補間によるフレーム間予測の場
合に、符号化対象フレームより表示時刻が前のフレーム
から任意に2枚の参照フレームを選択し、前記2枚の参照
フレームを識別する情報を画像符号化信号中に格納する
ことを特徴とした画像符号化方法である。
ーム間予測して符号化する画像符号化方法において、符
号化対象フレームより表示時刻が前の2枚のフレームを
参照フレームとする画素補間によるフレーム間予測の場
合に、符号化対象フレームより表示時刻が前のフレーム
から任意に2枚の参照フレームを選択し、前記2枚の参照
フレームを識別する情報を画像符号化信号中に格納する
ことを特徴とした画像符号化方法である。
【0021】第4の発明(請求項14)は、動画像をフ
レーム間予測して復号する画像復号方法において、復号
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとする画素補間によるフレーム間予測の場合
に、入力した画像符号化信号中から2枚の参照フレーム
を識別するための識別情報を復号し、前記識別情報が示
す2枚のフレームを参照フレームとして画素補間による
予測に使用することを特徴とした画像復号方法である。
レーム間予測して復号する画像復号方法において、復号
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとする画素補間によるフレーム間予測の場合
に、入力した画像符号化信号中から2枚の参照フレーム
を識別するための識別情報を復号し、前記識別情報が示
す2枚のフレームを参照フレームとして画素補間による
予測に使用することを特徴とした画像復号方法である。
【0022】
【発明の実施の形態】以下、本発明の具体的な実施の形
態について、図面を参照しながら説明する。 (実施の形態1)図1は、実施の形態1の画像符号化装
置のブロック図である。図18における従来の画像符号
化装置の構成を示すブロック図と同じ動作をするユニッ
トおよび同じ動作の信号は同じ記号を付し、説明を省略
する。
態について、図面を参照しながら説明する。 (実施の形態1)図1は、実施の形態1の画像符号化装
置のブロック図である。図18における従来の画像符号
化装置の構成を示すブロック図と同じ動作をするユニッ
トおよび同じ動作の信号は同じ記号を付し、説明を省略
する。
【0023】本発明は、前方補間予測と双方向予測を組
み合わせた符号化方法である。そこで、これまでの説明
との互換を保つために、ブロック予測種別とフレーム種
別を以下のように追加定義する。ブロックに対する予測
は、面内予測、前方予測、前方補間予測に加えて、表示
時刻が後のフレームから予測を行う後方予測、前後2枚
のフレームの画素補間により予測を行う双方向予測の5
種類とする。面内予測、前方予測、前方補間予測、後方
予測、双方向予測の各予測を施されたブロックを、それ
ぞれ、面内予測ブロック、前方予測ブロック、前方補間
予測ブロック、後方予測ブロック、双方向予測ブロック
と呼ぶ。画面内のブロックが、面内予測ブロックで構成
されるフレームを面内予測フレームと呼ぶ。画面内のブ
ロックが、面内予測ブロック、前方予測ブロック、前方
補間予測ブロックで構成されるフレームを前方予測フレ
ームと呼ぶ。画面内のブロックが、面内予測ブロック、
前方予測ブロック、前方補間予測ブロック、後方予測ブ
ロック、双方向予測ブロックで構成されるフレームを双
方向予測フレームと呼ぶ。
み合わせた符号化方法である。そこで、これまでの説明
との互換を保つために、ブロック予測種別とフレーム種
別を以下のように追加定義する。ブロックに対する予測
は、面内予測、前方予測、前方補間予測に加えて、表示
時刻が後のフレームから予測を行う後方予測、前後2枚
のフレームの画素補間により予測を行う双方向予測の5
種類とする。面内予測、前方予測、前方補間予測、後方
予測、双方向予測の各予測を施されたブロックを、それ
ぞれ、面内予測ブロック、前方予測ブロック、前方補間
予測ブロック、後方予測ブロック、双方向予測ブロック
と呼ぶ。画面内のブロックが、面内予測ブロックで構成
されるフレームを面内予測フレームと呼ぶ。画面内のブ
ロックが、面内予測ブロック、前方予測ブロック、前方
補間予測ブロックで構成されるフレームを前方予測フレ
ームと呼ぶ。画面内のブロックが、面内予測ブロック、
前方予測ブロック、前方補間予測ブロック、後方予測ブ
ロック、双方向予測ブロックで構成されるフレームを双
方向予測フレームと呼ぶ。
【0024】ブロック予測種別PredTypeは、ブロックに
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを2側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し時間的に前後の2枚の
フレームを参照フレームとして画素補間を行い予測画像
画像Predを出力する。フレームタイプ別前方補間予測時
参照フレーム選択手段FwPolRefFrmSelは、前方予測フレ
ーム、双方向予測フレームの各種類のフレームに対して
所定の方法により、前方補間予測時の参照フレームを選
択する手段である。参照フレームの選択方法は後で説明
する。フレームタイプ別前方補間予測時参照フレーム選
択手段PolRefFrmSelは、前方補間予測で使用する2枚の
参照フレームを示す前方補間予測時参照フレーム識別子
FwPolRefFrmIDを動き推定手段MEに通知する。動き推定
手段MEは、前方補間予測ブロックの場合には、前方補間
予測時参照フレーム識別子FwPolRefFrmIDが示す2枚のフ
レームを参照フレームとして動き推定をする。
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを2側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し時間的に前後の2枚の
フレームを参照フレームとして画素補間を行い予測画像
画像Predを出力する。フレームタイプ別前方補間予測時
参照フレーム選択手段FwPolRefFrmSelは、前方予測フレ
ーム、双方向予測フレームの各種類のフレームに対して
所定の方法により、前方補間予測時の参照フレームを選
択する手段である。参照フレームの選択方法は後で説明
する。フレームタイプ別前方補間予測時参照フレーム選
択手段PolRefFrmSelは、前方補間予測で使用する2枚の
参照フレームを示す前方補間予測時参照フレーム識別子
FwPolRefFrmIDを動き推定手段MEに通知する。動き推定
手段MEは、前方補間予測ブロックの場合には、前方補間
予測時参照フレーム識別子FwPolRefFrmIDが示す2枚のフ
レームを参照フレームとして動き推定をする。
【0025】ここで、前方予測フレームでの前方補間予
測時の参照フレーム選択方法について説明する。双方向
予測フレームを含む画像符号化方式では、時間的に近接
する表示時刻が前の双方向予測フレームが方予測フレー
ムよりも後で符号化・復号化されなければならない。従
って、前方予測フレームの前方予測ブロックは、面内予
測フレーム、もしくは、前方予測フレームのみ参照して
予測を行い、双方向予測フレームを参照した予測を行わ
ない。そこで、本発明は、前方予測フレームの前方補間
予測ブロックにおいても、面内予測フレーム、あるい
は、前方予測フレームから行い、双方向予測フレームを
参照した予測を行わない制限を設ける。ただし、符号化
対象フレームに対して、時間的に最も近い2枚の面内予
測フレーム、あるいは、前方予測フレームを使用する。
測時の参照フレーム選択方法について説明する。双方向
予測フレームを含む画像符号化方式では、時間的に近接
する表示時刻が前の双方向予測フレームが方予測フレー
ムよりも後で符号化・復号化されなければならない。従
って、前方予測フレームの前方予測ブロックは、面内予
測フレーム、もしくは、前方予測フレームのみ参照して
予測を行い、双方向予測フレームを参照した予測を行わ
ない。そこで、本発明は、前方予測フレームの前方補間
予測ブロックにおいても、面内予測フレーム、あるい
は、前方予測フレームから行い、双方向予測フレームを
参照した予測を行わない制限を設ける。ただし、符号化
対象フレームに対して、時間的に最も近い2枚の面内予
測フレーム、あるいは、前方予測フレームを使用する。
【0026】図2は、実施の形態1の前方予測フレーム
における前方補間予測時のフレーム選択の概念図であ
る。P_Frm1,P_Frm4,P_Frm7は前方予測フレーム、B_Frm
2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレーム、ブロッ
クCodingBlkは前方補間予測ブロックを示す。現在の符
号化対象フレームをP_Frm7とする。符号化対象フレーム
P_Frm7より時間的に前で、P_Frm7に時間的に最も近い前
方予測フレームP_Frm4を参照フレームとして、動き推定
の結果から得られた位置のブロックををブロックPredBl
k1とする。P_Frm7より時間的に前で、P_Frm7から2番目
に近い前方予測フレームP_Frm1を参照フレームとして、
動き推定の結果から得られた位置のブロックをブロック
PredBlk2とする。ブロックCodingBlkの予測画素値は、
ブロックPredBlk1とブロックPredBlk2の画素補間で得ら
れる。
における前方補間予測時のフレーム選択の概念図であ
る。P_Frm1,P_Frm4,P_Frm7は前方予測フレーム、B_Frm
2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレーム、ブロッ
クCodingBlkは前方補間予測ブロックを示す。現在の符
号化対象フレームをP_Frm7とする。符号化対象フレーム
P_Frm7より時間的に前で、P_Frm7に時間的に最も近い前
方予測フレームP_Frm4を参照フレームとして、動き推定
の結果から得られた位置のブロックををブロックPredBl
k1とする。P_Frm7より時間的に前で、P_Frm7から2番目
に近い前方予測フレームP_Frm1を参照フレームとして、
動き推定の結果から得られた位置のブロックをブロック
PredBlk2とする。ブロックCodingBlkの予測画素値は、
ブロックPredBlk1とブロックPredBlk2の画素補間で得ら
れる。
【0027】図3は、実施の形態1の前方予測フレーム
における前方補間予測時のマルチフレームバッファを示
す概念図である。図のマルチフレームバッファでは、表
示時刻の早いフレームから順に下から上へフレームが並
べられているとする。前方補間予測時にマルチフレーム
バッファMFrmBufに、P_Frm1,B_Frm3,P_Frm4のフレーム
が格納されていたとする。MPEGでは、双方向予測フ
レームは参照フレームとならないためマルチフレームバ
ッファMFrmBufに双方向予測フレームが格納されること
はないが、H.26Lでは双方向予測フレームも参照フレー
ムとなるためマルチフレームバッファMFrmBufに双方向
予測フレームが格納される場合がある。従って、画像符
号化装置はそのような場合も考慮する必要がある。本発
明の画像符号化装置では、前方予測フレームP_Frm7の前
方補間予測時には、表示時刻が近くても双方向予測フレ
ームB_Frm3は使用せず、前方予測フレームP_Frm4と前方
予測フレームP_Frm1を使用する。本発明のように、前方
予測フレームの前方補間予測を含むフレーム間予測時
に、双方向予測フレームを参照しないように制限してい
れば、本発明の画像符号化装置が出力する画像符号化信
号はスケーラビリティを持つことができる。スケーラビ
リティとは、1つの画像符号化信号から、異なるレート
の画像符号化信号を取得できることである。本発明の画
像符号化信号では、双方向予測フレームは前方予測フレ
ームから参照されることはないため、双方向予測フレー
ムを画像符号化信号中から取り除くことにより、より低
いビットレートの画像符号化信号を取得することができ
る。スケーラビリティにより、異なる帯域の通信路に対
して1つの画像符号化信号で対応できる。また、画像復
号装置は、再生で処理速度が足りない場合には、1部の
双方向予測フレームを復号せず処理負荷を軽くし、リア
ルタイムでの再生を行うといったことが可能になる。
における前方補間予測時のマルチフレームバッファを示
す概念図である。図のマルチフレームバッファでは、表
示時刻の早いフレームから順に下から上へフレームが並
べられているとする。前方補間予測時にマルチフレーム
バッファMFrmBufに、P_Frm1,B_Frm3,P_Frm4のフレーム
が格納されていたとする。MPEGでは、双方向予測フ
レームは参照フレームとならないためマルチフレームバ
ッファMFrmBufに双方向予測フレームが格納されること
はないが、H.26Lでは双方向予測フレームも参照フレー
ムとなるためマルチフレームバッファMFrmBufに双方向
予測フレームが格納される場合がある。従って、画像符
号化装置はそのような場合も考慮する必要がある。本発
明の画像符号化装置では、前方予測フレームP_Frm7の前
方補間予測時には、表示時刻が近くても双方向予測フレ
ームB_Frm3は使用せず、前方予測フレームP_Frm4と前方
予測フレームP_Frm1を使用する。本発明のように、前方
予測フレームの前方補間予測を含むフレーム間予測時
に、双方向予測フレームを参照しないように制限してい
れば、本発明の画像符号化装置が出力する画像符号化信
号はスケーラビリティを持つことができる。スケーラビ
リティとは、1つの画像符号化信号から、異なるレート
の画像符号化信号を取得できることである。本発明の画
像符号化信号では、双方向予測フレームは前方予測フレ
ームから参照されることはないため、双方向予測フレー
ムを画像符号化信号中から取り除くことにより、より低
いビットレートの画像符号化信号を取得することができ
る。スケーラビリティにより、異なる帯域の通信路に対
して1つの画像符号化信号で対応できる。また、画像復
号装置は、再生で処理速度が足りない場合には、1部の
双方向予測フレームを復号せず処理負荷を軽くし、リア
ルタイムでの再生を行うといったことが可能になる。
【0028】次に、双方向予測フレームでの前方補間予
測時の参照フレーム選択方法について説明する。本発明
では、双方向予測フレームでの前方補間予測時の参照フ
レーム選択方法として3つの方法を示す。
測時の参照フレーム選択方法について説明する。本発明
では、双方向予測フレームでの前方補間予測時の参照フ
レーム選択方法として3つの方法を示す。
【0029】第1の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時においても、符号化対象
フレームより表示時刻が前で最も近い2枚の、面内予測
フレーム、もしくは、前方予測フレームからのみ予測を
行い、双方向予測フレームからは予測を行わない方法で
ある。第1の参照フレーム選択方法を、図4を用いて説
明する。
測フレームでの前方補間予測時においても、符号化対象
フレームより表示時刻が前で最も近い2枚の、面内予測
フレーム、もしくは、前方予測フレームからのみ予測を
行い、双方向予測フレームからは予測を行わない方法で
ある。第1の参照フレーム選択方法を、図4を用いて説
明する。
【0030】図4は、実施の形態1の双方向予測フレー
ムにおける前方補間予測時の第1のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm5とする。符号化
対象フレームB_Frm5より時間的に前で、B_Frm5に時間的
に最も近い前方予測フレームP_Frm4を参照フレームとし
て、動き推定の結果から得られた位置のブロックをブロ
ックPredBlk1とする。B_Frm5より時間的に前で、B_Frm5
から時間的に2番目に近い前方予測フレームP_Frm1を参
照フレームとして、動き推定の結果から得られた位置の
ブロックをブロックPredBlk2とする。ブロックCodingBl
kの予測画素値は、ブロックPredBlk1とブロックPredBlk
2の画素補間で得られる。第1の参照フレーム選択方法
はスケーラビリティの観点で利点がある。双方向予測フ
レームは、他のフレームから参照されないため、任意の
双方向フレームを除外しても残りのフレームの再生に影
響がない。
ムにおける前方補間予測時の第1のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm5とする。符号化
対象フレームB_Frm5より時間的に前で、B_Frm5に時間的
に最も近い前方予測フレームP_Frm4を参照フレームとし
て、動き推定の結果から得られた位置のブロックをブロ
ックPredBlk1とする。B_Frm5より時間的に前で、B_Frm5
から時間的に2番目に近い前方予測フレームP_Frm1を参
照フレームとして、動き推定の結果から得られた位置の
ブロックをブロックPredBlk2とする。ブロックCodingBl
kの予測画素値は、ブロックPredBlk1とブロックPredBlk
2の画素補間で得られる。第1の参照フレーム選択方法
はスケーラビリティの観点で利点がある。双方向予測フ
レームは、他のフレームから参照されないため、任意の
双方向フレームを除外しても残りのフレームの再生に影
響がない。
【0031】第2の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時において、2枚の参照フ
レームの1枚を符号化対象フレームより表示時刻が前
で、表示時刻が最も近い前方予測フレーム、もしくは。
面内予測フレームとし、もう一枚を符号化対象フレーム
より表示時刻が前で、表示時刻が最も近い双方向予測フ
レームとする方法である。第2の参照フレーム選択方法
を、図5を用いて説明する。
測フレームでの前方補間予測時において、2枚の参照フ
レームの1枚を符号化対象フレームより表示時刻が前
で、表示時刻が最も近い前方予測フレーム、もしくは。
面内予測フレームとし、もう一枚を符号化対象フレーム
より表示時刻が前で、表示時刻が最も近い双方向予測フ
レームとする方法である。第2の参照フレーム選択方法
を、図5を用いて説明する。
【0032】図5は、実施の形態1の双方向予測フレー
ムにおける前方補間予測時の第2のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。符号化
対象フレームB_Frm6より表示時刻が前で、B_Frm6に表示
時刻が最も近い前方予測フレームP_Frm4を参照フレーム
とし、動き推定の結果から得られた位置のブロックをブ
ロックPredBlk1とする。B_Frm6より表示時刻が前で、B_
Frm6から表示時刻が2番目に近い双方向予測フレームB_F
rm5を参照フレームとして、動き推定の結果から得られ
た位置のブロックをブロックPredBlk2とする。ブロック
CodingBlkの予測画素値は、ブロックPredBlk1とブロッ
クPredBlk2の画素補間で得られる。マルチフレームバッ
ファMBufFrm内に、面内予測フレーム、もしくは、前方
予測フレームしかない場合には、第1の参照フレーム選
択方法で処理する。第2の参照フレーム選択方法の利点
は、符号化対象フレームに対して、第1の参照フレーム
選択方法より、より表示時刻が近いフレームからフレー
ム間予測を行えることである。一般に、より表示時刻が
近いフレームからフレーム間予測すれば、符号化効率は
高くなる。
ムにおける前方補間予測時の第2のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。符号化
対象フレームB_Frm6より表示時刻が前で、B_Frm6に表示
時刻が最も近い前方予測フレームP_Frm4を参照フレーム
とし、動き推定の結果から得られた位置のブロックをブ
ロックPredBlk1とする。B_Frm6より表示時刻が前で、B_
Frm6から表示時刻が2番目に近い双方向予測フレームB_F
rm5を参照フレームとして、動き推定の結果から得られ
た位置のブロックをブロックPredBlk2とする。ブロック
CodingBlkの予測画素値は、ブロックPredBlk1とブロッ
クPredBlk2の画素補間で得られる。マルチフレームバッ
ファMBufFrm内に、面内予測フレーム、もしくは、前方
予測フレームしかない場合には、第1の参照フレーム選
択方法で処理する。第2の参照フレーム選択方法の利点
は、符号化対象フレームに対して、第1の参照フレーム
選択方法より、より表示時刻が近いフレームからフレー
ム間予測を行えることである。一般に、より表示時刻が
近いフレームからフレーム間予測すれば、符号化効率は
高くなる。
【0033】第3の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時において、参照フレーム
の種別に関わらず、符号化対象フレームより表示時刻が
前で最も近い2枚を参照フレームとする方法である。第
3の参照フレーム選択方法を、図6と図7を用いて説明
する。
測フレームでの前方補間予測時において、参照フレーム
の種別に関わらず、符号化対象フレームより表示時刻が
前で最も近い2枚を参照フレームとする方法である。第
3の参照フレーム選択方法を、図6と図7を用いて説明
する。
【0034】図6は、実施の形態1の双方向予測フレー
ムにおける前方補間予測時の第3のフレーム選択方法の
概念図である。P_Frm3,P_Frm7は前方予測フレーム、B_F
rm1,B_Frm2,B_Frm4,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。P_Frm
3,B_Frm4,B_Frm5,P_Frm7がマルチフレームバッファMFrm
Bufに格納されているとす符号化対象フレームB_Frm6よ
り表示時刻が前で、B_Frm6に表示時刻が最も近いフレー
ムB_Frm5を参照フレームとし、動き推定の結果から得ら
れた位置のブロックをブロックPredBlk1とする。B_Frm6
より表示時刻が前で、B_Frm6から表示時刻が2番目に近
い双方向予測フレームB_Frm4を参照フレームとして、動
き推定の結果から得られた位置のブロックをブロックPr
edBlk2とする。ブロックCodingBlkの予測画素値は、ブ
ロックPred_Blk1とブロックPredBlk2の画素補間で得ら
れる。
ムにおける前方補間予測時の第3のフレーム選択方法の
概念図である。P_Frm3,P_Frm7は前方予測フレーム、B_F
rm1,B_Frm2,B_Frm4,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。P_Frm
3,B_Frm4,B_Frm5,P_Frm7がマルチフレームバッファMFrm
Bufに格納されているとす符号化対象フレームB_Frm6よ
り表示時刻が前で、B_Frm6に表示時刻が最も近いフレー
ムB_Frm5を参照フレームとし、動き推定の結果から得ら
れた位置のブロックをブロックPredBlk1とする。B_Frm6
より表示時刻が前で、B_Frm6から表示時刻が2番目に近
い双方向予測フレームB_Frm4を参照フレームとして、動
き推定の結果から得られた位置のブロックをブロックPr
edBlk2とする。ブロックCodingBlkの予測画素値は、ブ
ロックPred_Blk1とブロックPredBlk2の画素補間で得ら
れる。
【0035】図7は、実施の形態1の双方向予測フレー
ムにおける前方補間予測時のマルチフレームバッファを
示す概念図である。マルチフレームバッファMFrmBufに
格納されたフレームは、P_Frm3, B_Frm4,B_Frm5, P_Frm
7とする。符号化対象フレームB_Frm6より表示時刻が前
のフレームを、B_Frm6に近い順に並べると、B_Frm5,B_F
rm4,P_Frm3の順になる。従って、B_Frm5,B_Frm4を参照
フレームとして使用する。第3の参照フレーム選択方法
の利点は、フェードに対する外挿補間の効果が高くでき
ることである。従来例で説明したように次式で外挿補間
行うことができれば、補間に必要な処理量を低く抑えつ
つ、予測効果を高くすることができる。P0 = 2×P1-P2
ムにおける前方補間予測時のマルチフレームバッファを
示す概念図である。マルチフレームバッファMFrmBufに
格納されたフレームは、P_Frm3, B_Frm4,B_Frm5, P_Frm
7とする。符号化対象フレームB_Frm6より表示時刻が前
のフレームを、B_Frm6に近い順に並べると、B_Frm5,B_F
rm4,P_Frm3の順になる。従って、B_Frm5,B_Frm4を参照
フレームとして使用する。第3の参照フレーム選択方法
の利点は、フェードに対する外挿補間の効果が高くでき
ることである。従来例で説明したように次式で外挿補間
行うことができれば、補間に必要な処理量を低く抑えつ
つ、予測効果を高くすることができる。P0 = 2×P1-P2
【0036】ただし、上式の外挿補間では、参照フレー
ムと符号化フレームの、計3枚のフレームの表示時刻間
隔が一定であることを仮定している。面内予測フレーム
もしくは前方予測フレーム間の双方向予測フレーム枚数
によっては、参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることはできない場合がある。第3
の参照フレーム選択方法では、符号化対象フレームの直
前2枚のフレームをマルチフレームバッファに格納し予
測に使用することができるので、入力フレームレートが
一定のもとで参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることが可能である。従って、第3
の参照フレーム選択方法で、符号化対象フレーム直前の
2枚のフレームをマルチフレームバッファMFrmBufに格納
するようにすれば、フェードに対して高い予測効率を実
現でき、符号化効率が向上する。
ムと符号化フレームの、計3枚のフレームの表示時刻間
隔が一定であることを仮定している。面内予測フレーム
もしくは前方予測フレーム間の双方向予測フレーム枚数
によっては、参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることはできない場合がある。第3
の参照フレーム選択方法では、符号化対象フレームの直
前2枚のフレームをマルチフレームバッファに格納し予
測に使用することができるので、入力フレームレートが
一定のもとで参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることが可能である。従って、第3
の参照フレーム選択方法で、符号化対象フレーム直前の
2枚のフレームをマルチフレームバッファMFrmBufに格納
するようにすれば、フェードに対して高い予測効率を実
現でき、符号化効率が向上する。
【0037】また、前方予測フレーム、および、双方向
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。
【0038】以上のように本実施の形態によれば、前方
補間予測と双方向予測を組み合わせることにより、より
最適な予測方法を選択できるため、符号化効率を向上で
きる。なお、第1の参照フレーム選択方法、第2の参照フ
レーム選択方法、第3の参照フレーム選択方法の3つの方
法から予め1つに限定するのではなく、その3通り中の
複数の選択方法が実現できる場合は、ブロック予測種別
PredTypeでその複数の参照フレーム選択方法を切り替え
てもよい。
補間予測と双方向予測を組み合わせることにより、より
最適な予測方法を選択できるため、符号化効率を向上で
きる。なお、第1の参照フレーム選択方法、第2の参照フ
レーム選択方法、第3の参照フレーム選択方法の3つの方
法から予め1つに限定するのではなく、その3通り中の
複数の選択方法が実現できる場合は、ブロック予測種別
PredTypeでその複数の参照フレーム選択方法を切り替え
てもよい。
【0039】(実施の形態2)図8は、実施の形態2の
画像符号化装置のブロック図である。図1における実施
の形態1の画像符号化装置のブロック図と同じ動作をす
るユニットおよび同じ動作の信号は同じ記号を付し、説
明を省略する。
画像符号化装置のブロック図である。図1における実施
の形態1の画像符号化装置のブロック図と同じ動作をす
るユニットおよび同じ動作の信号は同じ記号を付し、説
明を省略する。
【0040】Polは画素補間を行う補間予測用画素補間
手段Polである。ブロック単位で予測が切り替わるた
め、画像符号化装置の前方補間予測と双方向予測が同時
に実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には0側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には1側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。
手段Polである。ブロック単位で予測が切り替わるた
め、画像符号化装置の前方補間予測と双方向予測が同時
に実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には0側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には1側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。
【0041】以上のように本実施の形態によれば、前方
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像符号化装置の構成を簡単にする
ことができる。
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像符号化装置の構成を簡単にする
ことができる。
【0042】(実施の形態3)図9は、実施の形態3の
画像復号装置のブロック図である。図9において、図2
2の従来の画像復号装置の構成を示すブロック図、およ
び、図1の実施の形態1の画像符号化装置のブロック図
と同じ動作をするユニットおよび同じ動作の信号は同じ
記号を付し、説明を省略する。本実施の形態の画像復号
装置は、例えば、実施の形態1、2の画像符号化装置で
作成された符号化信号の復号に用いることができる。
画像復号装置のブロック図である。図9において、図2
2の従来の画像復号装置の構成を示すブロック図、およ
び、図1の実施の形態1の画像符号化装置のブロック図
と同じ動作をするユニットおよび同じ動作の信号は同じ
記号を付し、説明を省略する。本実施の形態の画像復号
装置は、例えば、実施の形態1、2の画像符号化装置で
作成された符号化信号の復号に用いることができる。
【0043】ブロック予測種別PredTypeは、ブロックに
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを2側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し表示時刻が前後の2枚
のフレームを参照フレームとして画素補間を行い予測画
像画像Predを出力する。フレームタイプ別前方補間予測
時参照フレーム選択手段FwPolRefFrmSelは、前方予測フ
レーム、双方向予測フレームの各種類のフレームに対し
て所定の方法により、前方補間予測時の参照フレームを
選択する手段である。参照フレームの選択方法は実施の
形態1の画像符号化装置と同じ方法である。フレームタ
イプ別前方補間予測時参照フレーム選択手段PolRefFrmS
elは、前方補間予測ブロックで使用する2枚の参照フレ
ームを示す前方補間予測時参照フレーム識別子FwPolRef
FrmIDを参照フレーム選択手段RefFrmSelに通知する。参
照フレーム選択手段RefFrmSelは、前方補間予測ブロッ
クの場合には、前方補間予測時参照フレーム識別子FwPo
lRefFrmIDが示すフレームを参照フレームとして、参照
フレーム識別子RefFrmIDにより参照フレームをマルチフ
レームバッファMFrmBufに通知する。
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを2側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し表示時刻が前後の2枚
のフレームを参照フレームとして画素補間を行い予測画
像画像Predを出力する。フレームタイプ別前方補間予測
時参照フレーム選択手段FwPolRefFrmSelは、前方予測フ
レーム、双方向予測フレームの各種類のフレームに対し
て所定の方法により、前方補間予測時の参照フレームを
選択する手段である。参照フレームの選択方法は実施の
形態1の画像符号化装置と同じ方法である。フレームタ
イプ別前方補間予測時参照フレーム選択手段PolRefFrmS
elは、前方補間予測ブロックで使用する2枚の参照フレ
ームを示す前方補間予測時参照フレーム識別子FwPolRef
FrmIDを参照フレーム選択手段RefFrmSelに通知する。参
照フレーム選択手段RefFrmSelは、前方補間予測ブロッ
クの場合には、前方補間予測時参照フレーム識別子FwPo
lRefFrmIDが示すフレームを参照フレームとして、参照
フレーム識別子RefFrmIDにより参照フレームをマルチフ
レームバッファMFrmBufに通知する。
【0044】また、前方予測フレーム、および、双方向
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。
【0045】以上のように本実施の形態によれば、実施
の形態1,2で説明した画像符号化方法を用いた画像符
号化装置が出力する画像符号化信号BitStrmを正しく復
号化できる。
の形態1,2で説明した画像符号化方法を用いた画像符
号化装置が出力する画像符号化信号BitStrmを正しく復
号化できる。
【0046】なお、実施の形態1と同様に、第1の参照フ
レーム選択方法、第2の参照フレーム選択方法、第3の参
照フレーム選択方法の3つの方法から予め1つに限定す
るのではなく、その3通り中の複数の選択方法が実現で
きる場合は、ブロック予測種別PredTypeでその複数の参
照フレーム選択方法を切り替えてもよい。
レーム選択方法、第2の参照フレーム選択方法、第3の参
照フレーム選択方法の3つの方法から予め1つに限定す
るのではなく、その3通り中の複数の選択方法が実現で
きる場合は、ブロック予測種別PredTypeでその複数の参
照フレーム選択方法を切り替えてもよい。
【0047】(実施の形態4)図10は、実施の形態4
の画像復号装置のブロック図である。図9における実施
の形態3の画像復号装置のブロック図と同じ動作をする
ユニットおよび同じ動作の信号は同じ記号を付し、説明
を省略する。本実施の形態の画像復号装置は、例えば、
実施の形態1、2の画像符号化装置で作成された符号化
信号の復号に用いることができる。
の画像復号装置のブロック図である。図9における実施
の形態3の画像復号装置のブロック図と同じ動作をする
ユニットおよび同じ動作の信号は同じ記号を付し、説明
を省略する。本実施の形態の画像復号装置は、例えば、
実施の形態1、2の画像符号化装置で作成された符号化
信号の復号に用いることができる。
【0048】Polは画素補間を行う補間予測用画素補間
手段Polである。ブロック単位で予測が切り替わるた
め、画像復号装置の前方補間予測と双方向予測が同時に
実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には0側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には1側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。
手段Polである。ブロック単位で予測が切り替わるた
め、画像復号装置の前方補間予測と双方向予測が同時に
実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には0側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には1側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。
【0049】以上のように本実施の形態によれば、前方
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像復号装置の構成を簡単にするこ
とができる。
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像復号装置の構成を簡単にするこ
とができる。
【0050】(実施の形態5)図11は、実施の形態5
の画像符号化装置のブロック図である。図1における実
施の形態1の画像符号化装置のブロック図と同じ動作を
するユニットおよび同じ動作の信号は同じ記号を付し、
説明を省略する。
の画像符号化装置のブロック図である。図1における実
施の形態1の画像符号化装置のブロック図と同じ動作を
するユニットおよび同じ動作の信号は同じ記号を付し、
説明を省略する。
【0051】本発明の画像符号化方法の特徴は、前方補
間予測に使用する参照フレームをマルチフレームバッフ
ァ内で、符号化対象フレームより表示時刻が前のフレー
ムから任意に選択し、選択したフレームを示す識別子を
画像符号化信号に格納することである。
間予測に使用する参照フレームをマルチフレームバッフ
ァ内で、符号化対象フレームより表示時刻が前のフレー
ムから任意に選択し、選択したフレームを示す識別子を
画像符号化信号に格納することである。
【0052】動き推定手段ME2は、前方補間予測時に、
参照フレームと参照フレームに対する動きベクトルを2
組検出する。検出結果から得られた動きベクトルは動き
情報MVとして、第1のフレームを示す第1参照フレーム番
号RefFrmNo1、第2の参照フレームを示す第2参照フレー
ム番号RefFrmNo2、として、ブロック予測種別PredType
と共に出力する。参照フレーム番号は、例えば、符号化
対象フレームの表示時刻より前、かつ、最も近い順に番
号付けた値を使用することができる。可変長符号化手段
VLC2は、符号化残差信号ERes、参照フレーム番号RefFrm
No1,RefFrmNo2、動き情報MV、ブロック予測種別PredTyp
eを可変長符号化し、画像符号化信号BitStrm2として出
力する。
参照フレームと参照フレームに対する動きベクトルを2
組検出する。検出結果から得られた動きベクトルは動き
情報MVとして、第1のフレームを示す第1参照フレーム番
号RefFrmNo1、第2の参照フレームを示す第2参照フレー
ム番号RefFrmNo2、として、ブロック予測種別PredType
と共に出力する。参照フレーム番号は、例えば、符号化
対象フレームの表示時刻より前、かつ、最も近い順に番
号付けた値を使用することができる。可変長符号化手段
VLC2は、符号化残差信号ERes、参照フレーム番号RefFrm
No1,RefFrmNo2、動き情報MV、ブロック予測種別PredTyp
eを可変長符号化し、画像符号化信号BitStrm2として出
力する。
【0053】図12は、実施の形態5の前方補間予測時
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm3とFrm4の2枚のフレームを参照フ
レームとするブロックPredBlk11とPredBlk12からの前方
補間予測により、CodingBlk1の予測画像が生成される。
一方で、CodingBlk2では、Frm5, Frm6の2枚のフレーム
を参照フレームとするブロックPredBlk21とPredBlk22か
らの前方補間予測により、CodingBlk2の予測画像が生成
される。図10で示すように、異なる位置のブロックに
対し、異なる参照フレームを選択することができる。
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm3とFrm4の2枚のフレームを参照フ
レームとするブロックPredBlk11とPredBlk12からの前方
補間予測により、CodingBlk1の予測画像が生成される。
一方で、CodingBlk2では、Frm5, Frm6の2枚のフレーム
を参照フレームとするブロックPredBlk21とPredBlk22か
らの前方補間予測により、CodingBlk2の予測画像が生成
される。図10で示すように、異なる位置のブロックに
対し、異なる参照フレームを選択することができる。
【0054】図13は、実施の形態5の画像符号化信号
のフォーマットの概念図である。図13のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは1ブロックの信
号である。PredTypeは、ブロック予測種別PredTypeの可
変長符号化信号である、RefFrmNo1、RefFrmNo2は、それ
ぞれ、1、2枚目の参照フレームに対する参照フレーム
番号の可変長符号化信号である。本フォーマットの画像
符号化信号BitStrm2により参照フレームを特定できるた
め、画像復号装置は正しく復号を行うことが可能にな
る。なお、本実施の形態では、第1参照フレーム番号Ref
FrmNo1, 第2参照フレーム番号RefFrmNop2は、画像符号
化信号内に独立したコードとして可変長符号化されてい
るが、画像符号化信号中の他の情報と組み合わせて多次
元可変長符号語として符号化してもよい。
のフォーマットの概念図である。図13のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは1ブロックの信
号である。PredTypeは、ブロック予測種別PredTypeの可
変長符号化信号である、RefFrmNo1、RefFrmNo2は、それ
ぞれ、1、2枚目の参照フレームに対する参照フレーム
番号の可変長符号化信号である。本フォーマットの画像
符号化信号BitStrm2により参照フレームを特定できるた
め、画像復号装置は正しく復号を行うことが可能にな
る。なお、本実施の形態では、第1参照フレーム番号Ref
FrmNo1, 第2参照フレーム番号RefFrmNop2は、画像符号
化信号内に独立したコードとして可変長符号化されてい
るが、画像符号化信号中の他の情報と組み合わせて多次
元可変長符号語として符号化してもよい。
【0055】以上のように本実施の形態によれば、前方
補間予測の参照フレームの2枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。
補間予測の参照フレームの2枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。
【0056】(実施の形態6)実施の形態5の画像符号
化装置において、2枚の参照フレーム内の1枚を符号化対
象フレームの全ての前方補間予測ブロックで共通にし、
もう一枚を任意に選択できるようにすることもできる。
これは、図11の実施の形態5の画像符号化装置のブロ
ック図において、第2参照フレーム番号RefFrmNo2が存
在しない場合と考えることができる。図11のブロック
図を用いて本実施の形態6の画像復号装置の動作を説明
する。動き推定手段ME2は、前方補間予測時に、符号化
対象フレームの全前方補間予測ブロックで共通の参照フ
レームに対する動きベクトルと、任意に選択した参照フ
レームに対する動きベクトルを検出する。また、動き推
定手段ME2は、選択した1枚の参照フレームを示す第1参
照フレーム番号RefFrmNo1を出力する。検出結果から得
られた動きベクトルは動き情報MVとして、第1参照フレ
ーム番号RefFrmNo1、ブロック予測種別PredTypeと共に
出力する。可変長符号化手段VLC2は、符号化残差信号ER
es、参照フレーム番号RefFrmNo1動き情報MV、ブロック
予測種別PredTypeを可変長符号化し、画像符号化信号Bi
tStrm2として出力する。
化装置において、2枚の参照フレーム内の1枚を符号化対
象フレームの全ての前方補間予測ブロックで共通にし、
もう一枚を任意に選択できるようにすることもできる。
これは、図11の実施の形態5の画像符号化装置のブロ
ック図において、第2参照フレーム番号RefFrmNo2が存
在しない場合と考えることができる。図11のブロック
図を用いて本実施の形態6の画像復号装置の動作を説明
する。動き推定手段ME2は、前方補間予測時に、符号化
対象フレームの全前方補間予測ブロックで共通の参照フ
レームに対する動きベクトルと、任意に選択した参照フ
レームに対する動きベクトルを検出する。また、動き推
定手段ME2は、選択した1枚の参照フレームを示す第1参
照フレーム番号RefFrmNo1を出力する。検出結果から得
られた動きベクトルは動き情報MVとして、第1参照フレ
ーム番号RefFrmNo1、ブロック予測種別PredTypeと共に
出力する。可変長符号化手段VLC2は、符号化残差信号ER
es、参照フレーム番号RefFrmNo1動き情報MV、ブロック
予測種別PredTypeを可変長符号化し、画像符号化信号Bi
tStrm2として出力する。
【0057】図14は、実施の形態6の前方補間予測時
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm6が全ての全ての前方補間予測ブロ
ックで共通の参照フレームとする。Frm4とFrm6の2枚の
フレームを参照フレームとするブロックPredBlk11とPre
dBlk12からの前方補間予測により、CodingBlk1の予測画
像が生成される。一方で、CodingBlk2では、Frm5, Frm6
の2枚のフレームを参照フレームとするブロックPredBlk
21とPredBlk22からの前方補間予測により、CodingBlk2
の予測画像が生成される。共通の参照フレームとして
は、マルチフレームバッファ内で、符号化対象フレーム
に対し表示時刻が前で、符号化対象フレームに最も近い
フレームとすることができる。
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm6が全ての全ての前方補間予測ブロ
ックで共通の参照フレームとする。Frm4とFrm6の2枚の
フレームを参照フレームとするブロックPredBlk11とPre
dBlk12からの前方補間予測により、CodingBlk1の予測画
像が生成される。一方で、CodingBlk2では、Frm5, Frm6
の2枚のフレームを参照フレームとするブロックPredBlk
21とPredBlk22からの前方補間予測により、CodingBlk2
の予測画像が生成される。共通の参照フレームとして
は、マルチフレームバッファ内で、符号化対象フレーム
に対し表示時刻が前で、符号化対象フレームに最も近い
フレームとすることができる。
【0058】図15は、実施の形態6の画像符号化信号
のフォーマットの概念図である。図15のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは1ブロックの信
号、さらにBlock内には、ブロック予測種別PredType
と、固定でない参照フレームに対する参照フレーム識別
子RefFrmID1が格納される。本フォーマットの画像符号
化信号BitStrm2により参照フレームを特定できるため、
画像復号装置は正しく復号を行うことが可能になる。な
お、本実施の形態では、第1参照フレーム識別子RefFrmI
D1は、画像符号化信号内に独立したコードとして可変長
符号化されているが、画像符号化信号中の他の情報と組
み合わせて多次元可変長符号語として符号化してもよ
い。
のフォーマットの概念図である。図15のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは1ブロックの信
号、さらにBlock内には、ブロック予測種別PredType
と、固定でない参照フレームに対する参照フレーム識別
子RefFrmID1が格納される。本フォーマットの画像符号
化信号BitStrm2により参照フレームを特定できるため、
画像復号装置は正しく復号を行うことが可能になる。な
お、本実施の形態では、第1参照フレーム識別子RefFrmI
D1は、画像符号化信号内に独立したコードとして可変長
符号化されているが、画像符号化信号中の他の情報と組
み合わせて多次元可変長符号語として符号化してもよ
い。
【0059】以上のように本実施の形態によれば、前方
補間予測の参照フレームの1枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。
補間予測の参照フレームの1枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。
【0060】(実施の形態7)図16は、実施の形態7
の画像復号装置のブロック図である。図16において、
図8の実施の形態2の画像符号化装置のブロック図、お
よび、図10の実施の形態4の画像復号装置のブロック
図と同じ動作をするユニットおよび同じ動作の信号は同
じ記号を付し、説明を省略する。本実施の形態の画像復
号装置は、例えば、実施の形態5で作成された符号化信
号の復号に用いることができる。
の画像復号装置のブロック図である。図16において、
図8の実施の形態2の画像符号化装置のブロック図、お
よび、図10の実施の形態4の画像復号装置のブロック
図と同じ動作をするユニットおよび同じ動作の信号は同
じ記号を付し、説明を省略する。本実施の形態の画像復
号装置は、例えば、実施の形態5で作成された符号化信
号の復号に用いることができる。
【0061】可変長復号手段VLD2は、入力した画像符号
化信号BitStrm2を可変長復号し、符号化残差信号ERes、
第1参照フレーム番号RefFrmNo1、第2参照フレーム番号
RefFrmNo2、動き情報MV、ブロック予測種別PredTypeを
出力する。参照フレーム選択手段SRefFrmSel2は第1参照
フレーム番号RefFrmNo1、第2参照フレーム番号RefFrmN
o2を入力し、第1参照フレーム番号RefFrmNo1、第2参照
フレーム番号RefFrmNo2が示すフレームを参照フレーム
として、参照フレーム識別子RefFrmIDによりマルチフレ
ームバッファMFrmBufに指定する。前方補間予測用画素
補間手段FwPolは指定された2枚の参照フレームから予測
画像Predを生成する。
化信号BitStrm2を可変長復号し、符号化残差信号ERes、
第1参照フレーム番号RefFrmNo1、第2参照フレーム番号
RefFrmNo2、動き情報MV、ブロック予測種別PredTypeを
出力する。参照フレーム選択手段SRefFrmSel2は第1参照
フレーム番号RefFrmNo1、第2参照フレーム番号RefFrmN
o2を入力し、第1参照フレーム番号RefFrmNo1、第2参照
フレーム番号RefFrmNo2が示すフレームを参照フレーム
として、参照フレーム識別子RefFrmIDによりマルチフレ
ームバッファMFrmBufに指定する。前方補間予測用画素
補間手段FwPolは指定された2枚の参照フレームから予測
画像Predを生成する。
【0062】以上のように本実施の形態によれば、実施
の形態5で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。
の形態5で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。
【0063】(実施の形態8)実施の形態7の画像復号
装置において、2枚の参照フレーム内の1枚を符号化対象
フレームの全ての前方補間予測ブロックで共通にし、も
う一枚を任意に選択できるようにすることもできる。こ
れは、図16の実施の形態7の画像復号装置のブロック
図において、RefFrmNo2が存在しない場合と考えること
ができる。図16のブロック図を用いて本実施の形態8
の画像復号装置の動作を説明する。全ての前方補間予測
ブロックで共通に使用する参照フレームは、画像符号化
装置と同じ方法で選択する。可変長復号手段VLD2は、入
力した画像符号化信号BitStrm2を可変長復号し、符号化
残差信号ERes、第1参照フレーム番号RefFrmNo1と動き情
報MV、ブロック予測種別PredTypeを出力する。参照フレ
ーム選択手段SRefFrmSel2は第1参照フレーム番号RefFrm
No1を入力し、第1参照フレーム番号RefFrmNo1が示すフ
レームと全ての前方補間予測ブロックで共通に使用する
フレームを参照フレームを参照フレーム識別子RefFrmID
によりマルチフレームバッファMFrmBufに指定する。前
方補間予測用画素補間手段FwPolは指定された2枚の参照
フレームから予測画像Predを生成する。
装置において、2枚の参照フレーム内の1枚を符号化対象
フレームの全ての前方補間予測ブロックで共通にし、も
う一枚を任意に選択できるようにすることもできる。こ
れは、図16の実施の形態7の画像復号装置のブロック
図において、RefFrmNo2が存在しない場合と考えること
ができる。図16のブロック図を用いて本実施の形態8
の画像復号装置の動作を説明する。全ての前方補間予測
ブロックで共通に使用する参照フレームは、画像符号化
装置と同じ方法で選択する。可変長復号手段VLD2は、入
力した画像符号化信号BitStrm2を可変長復号し、符号化
残差信号ERes、第1参照フレーム番号RefFrmNo1と動き情
報MV、ブロック予測種別PredTypeを出力する。参照フレ
ーム選択手段SRefFrmSel2は第1参照フレーム番号RefFrm
No1を入力し、第1参照フレーム番号RefFrmNo1が示すフ
レームと全ての前方補間予測ブロックで共通に使用する
フレームを参照フレームを参照フレーム識別子RefFrmID
によりマルチフレームバッファMFrmBufに指定する。前
方補間予測用画素補間手段FwPolは指定された2枚の参照
フレームから予測画像Predを生成する。
【0064】以上のように本実施の形態によれば、実施
の形態6で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。
の形態6で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。
【0065】(実施の形態9)さらに、上記各実施の形
態で示した画像符号化方法または画像復号方法の構成を
実現するためのプログラムを、フレキシブルディスク等
の記憶媒体に記録するようにすることにより、上記各実
施の形態で示した処理を、独立したコンピュータシステ
ムにおいて簡単に実施することが可能となる。
態で示した画像符号化方法または画像復号方法の構成を
実現するためのプログラムを、フレキシブルディスク等
の記憶媒体に記録するようにすることにより、上記各実
施の形態で示した処理を、独立したコンピュータシステ
ムにおいて簡単に実施することが可能となる。
【0066】図17は、実施の形態1〜実施の形態8の
画像符号化方法または画像復号方法をコンピュータシス
テムにより実現するためのプログラムを格納するための
記憶媒体についての説明図である。
画像符号化方法または画像復号方法をコンピュータシス
テムにより実現するためのプログラムを格納するための
記憶媒体についての説明図である。
【0067】図17(b)は、フレキシブルディスクの
正面からみた外観、断面構造、及びフレキシブルディス
クを示し、図17(a)は、記録媒体本体であるフレキ
シブルディスクの物理フォーマットの例を示している。
フレキシブルディスクFDはケースF内に内蔵され、該
ディスクの表面には、同心円状に外周からは内周に向か
って複数のトラックTrが形成され、各トラックは角度
方向に16のセクタSeに分割されている。従って、上
記プログラムを格納したフレキシブルディスクでは、上
記フレキシブルディスクFD上に割り当てられた領域
に、上記プログラムとしての画像符号化方法または画像
復号方法が記録されている。
正面からみた外観、断面構造、及びフレキシブルディス
クを示し、図17(a)は、記録媒体本体であるフレキ
シブルディスクの物理フォーマットの例を示している。
フレキシブルディスクFDはケースF内に内蔵され、該
ディスクの表面には、同心円状に外周からは内周に向か
って複数のトラックTrが形成され、各トラックは角度
方向に16のセクタSeに分割されている。従って、上
記プログラムを格納したフレキシブルディスクでは、上
記フレキシブルディスクFD上に割り当てられた領域
に、上記プログラムとしての画像符号化方法または画像
復号方法が記録されている。
【0068】また、図17(c)は、フレキシブルディ
スクFDに上記プログラムの記録再生を行うための構成
を示す。上記プログラムをフレキシブルディスクFDに
記録する場合は、コンピュータシステムCsから上記プ
ログラムとしての画像符号化方法または画像復号化方法
をフレキシブルディスクドライブFDDを介して書き込
む。また、フレキシブルディスク内のプログラムにより
上記画像符号化方法をコンピュータシステム中に構築す
る場合は、フレキシブルディスクドライブによりプログ
ラムをフレキシブルディスクから読み出し、コンピュー
タシステムに転送する。
スクFDに上記プログラムの記録再生を行うための構成
を示す。上記プログラムをフレキシブルディスクFDに
記録する場合は、コンピュータシステムCsから上記プ
ログラムとしての画像符号化方法または画像復号化方法
をフレキシブルディスクドライブFDDを介して書き込
む。また、フレキシブルディスク内のプログラムにより
上記画像符号化方法をコンピュータシステム中に構築す
る場合は、フレキシブルディスクドライブによりプログ
ラムをフレキシブルディスクから読み出し、コンピュー
タシステムに転送する。
【0069】なお、上記説明では、記録媒体としてフレ
キシブルディスクを用いて説明を行ったが、光ディスク
を用いても同様に行うことができる。また、記録媒体は
これに限らず、ICカード、ROMカセット等、プログ
ラムを記録できるものであれば同様に実施することがで
きる。
キシブルディスクを用いて説明を行ったが、光ディスク
を用いても同様に行うことができる。また、記録媒体は
これに限らず、ICカード、ROMカセット等、プログ
ラムを記録できるものであれば同様に実施することがで
きる。
【0070】
【発明の効果】以上、詳細に説明したように、本発明の
画像符号化方法・画像復号方法により、前方補間予測と
双方向予測を組み合わせて符号化することができる。こ
れにより、フレーム間予測においてより最適な予測方法
を選択できるため符号化効率向上に効果が高い。
画像符号化方法・画像復号方法により、前方補間予測と
双方向予測を組み合わせて符号化することができる。こ
れにより、フレーム間予測においてより最適な予測方法
を選択できるため符号化効率向上に効果が高い。
【図1】実施の形態1の画像符号化装置のブロック図
【図2】実施の形態1の前方予測フレームにおける前方
補間予測時のフレーム選択の概念図
補間予測時のフレーム選択の概念図
【図3】実施の形態1の前方予測フレームにおける前方
補間予測時のマルチフレームバッファを示す概念図
補間予測時のマルチフレームバッファを示す概念図
【図4】実施の形態1の双方向予測フレームにおける前
方補間予測時の第1のフレーム選択方法の概念図
方補間予測時の第1のフレーム選択方法の概念図
【図5】実施の形態1の双方向予測フレームにおける前
方補間予測時の第2のフレーム選択方法の概念図
方補間予測時の第2のフレーム選択方法の概念図
【図6】実施の形態1の双方向予測フレームにおける前
方補間予測時の第3のフレーム選択方法の概念図
方補間予測時の第3のフレーム選択方法の概念図
【図7】実施の形態1の双方向予測フレームにおける前
方補間予測時のマルチフレームバッファを示す概念図
方補間予測時のマルチフレームバッファを示す概念図
【図8】実施の形態2の画像符号化装置のブロック図
【図9】実施の形態3の画像復号装置のブロック図
【図10】実施の形態4の画像復号装置のブロック図
【図11】実施の形態5の画像符号化装置のブロック図
【図12】実施の形態5の前方補間予測時のフレーム選
択の概念図
択の概念図
【図13】実施の形態5の画像符号化信号のフォーマッ
トの概念図
トの概念図
【図14】実施の形態6の前方補間予測時のフレーム選
択の概念図
択の概念図
【図15】実施の形態6の画像符号化信号のフォーマッ
トの概念図
トの概念図
【図16】実施の形態7の画像復号装置のブロック図
【図17】実施の形態1〜実施の形態8の画像符号化方
法または画像復号方法をコンピュータシステムにより実
現するためのプログラムを格納するための記憶媒体につ
いての説明図
法または画像復号方法をコンピュータシステムにより実
現するためのプログラムを格納するための記憶媒体につ
いての説明図
【図18】従来の画像符号化装置の構成を示すブロック
図
図
【図19】従来の画像符号化方法の前方補間予測時のフ
レーム選択の概念図
レーム選択の概念図
【図20】フェードによる画素値変化の説明図
【図21】従来の画像復号装置の画像符号化信号のフォ
ーマットの概念図
ーマットの概念図
【図22】従来の画像復号装置の構成を示すブロック図
Img 画像信号
ImgEnc 画像符号化手段
ImgDec 画像復号手段
DImg 復号画像
Add 加算器
Sub 減算器
MFrmBuf マルチフレームバッファ
ME,ME0,ME1 動き推定手段
VLC,VLC0,VLC1 可変長符号化手段
VLD,VLD0,VLD1 可変長復号手段
RefFrmSel 参照フレーム選択手段
FwPol 前方補間予測用画素補間手段
BiPol 双方向予測用画素補間手段
Pol 補間予測用画素補間手段
RefFrmSel 参照フレーム選択手段
FwPolRefFrmSel フレームタイプ別前方補間予測時参照
フレーム選択手段 Cs コンピュータ・システム FD フレキシブルディスク FDD フレキシブルディスクドライブ
フレーム選択手段 Cs コンピュータ・システム FD フレキシブルディスク FDD フレキシブルディスクドライブ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 近藤 敏志
大阪府門真市大字門真1006番地 松下電器
産業株式会社内
Fターム(参考) 5C059 LB16 LB18 MA00 MA04 MA05
MA14 MA23 ME01 PP05 PP06
PP07 UA02 UA05 UA33
5J064 AA01 BA09 BB04 BC01 BC08
BC14 BC29 BD03
Claims (20)
- 【請求項1】 予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像符号化方法に
おいて、符号化対象フレームが前方予測フレーム、もし
くは、双方向予測フレームである場合に、前記符号化対
象フレームより表示時刻が前の2枚のフレームを参照フ
レームとして画素補間により予測画素値を生成すること
を特徴とした画像符号化方法。 - 【請求項2】 前記符号化対象フレームが前方予測フレ
ームで、前記符号化対象フレームより表示時刻が前の2
枚のフレームを参照フレームとして画素補間によりフレ
ーム間予測する場合に、前記2枚の各参照フレームは前
方予測フレームもしくは面内予測フレームであることを
特徴とした請求項1の画像符号化方法。 - 【請求項3】 前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測符号化する場合に、前記2枚の各参照フレ
ームは前方予測フレームもしくは面内予測フレームであ
ることを特徴とした請求項1の画像符号化方法。 - 【請求項4】 前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測する場合に、前記2枚の参照フレームの少
なくとも1枚が前方予測フレームもしくは面内予測フレ
ームであることを特徴とした請求項1の画像符号化方
法。 - 【請求項5】 前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測する場合に、前記2枚の参照フレームが符
号化済フレームを格納したマルチフレームバッファ内の
フレームで符号化対象フレームの表示時刻より前、か
つ、表示時刻が最も近い順の2枚であることを特徴とし
た請求項1の画像符号化方法。 - 【請求項6】 予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像復号方法にお
いて、復号対象のフレームが前方予測フレーム、もしく
は、双方向予測フレームである場合に、前記符号化対象
フレームより表示時刻が前の2枚のフレームを参照フレ
ームとして画素補間により予測画素値を生成することを
特徴とした画像復号方法。 - 【請求項7】 前記復号対象フレームが前方予測フレー
ムで、前記復号対象フレームより表示時刻が前の2枚の
フレームを参照フレームとして画素補間によりフレーム
間予測する場合に、前記2枚の各参照フレームは前方予
測フレームもしくは面内予測フレームであることを特徴
とした請求項6の画像復号方法。 - 【請求項8】 前記復号対象フレームが双方向予測フレ
ームで、前記復号対象フレームより表示時刻が前の2枚
のフレームを参照フレームとして画素補間によりフレー
ム間予測する場合に、前記2枚の各参照フレームは前方
予測フレームもしくは面内予測フレームであることを特
徴とした請求項6の画像復号方法。 - 【請求項9】 前記復号対象フレームが双方向予測フレ
ームで、前記復号対象フレームより表示時刻が前の2枚
のフレームを参照フレームとして画素補間によりフレー
ム間予測する場合に、前記2枚の参照フレームの少なく
とも1枚が前方予測フレームもしくは面内予測フレーム
であることを特徴とした請求項6の画像復号方法。 - 【請求項10】 前記復号対象フレームが双方向予測フ
レームで、前記復号対象フレームより表示時刻が前の2
枚のフレームを参照フレームとして画素補間によりフレ
ーム間予測する場合に、前記2枚の参照フレームが復号
済フレームを格納したフレームバッファ内のフレームで
前記符号化対象フレームの表示時刻より前かつ最も近い
順の2枚であることを特徴とした請求項6の画像復号方
法。 - 【請求項11】 動画像をフレーム間予測して符号化す
る画像符号化方法において、符号化対象フレームより表
示時刻が前の2枚のフレームを参照フレームとする画素
補間によるフレーム間予測の場合に、符号化対象フレー
ムより表示時刻が前のフレームから任意に2枚の参照フ
レームを選択し、前記2枚の参照フレームを識別する情
報を画像符号化信号中に格納することを特徴とした画像
符号化方法。 - 【請求項12】 動画像をフレーム間予測して符号化す
る画像符号化方法において、符号化対象フレームより表
示時刻が前の2枚のフレームを参照フレームとする画素
補間によるフレーム間予測の場合に、所定の方法により
決定されたフレームと符号化対象フレームより表示時刻
が前のフレームから任意に選択されたフレームの2枚を
参照フレームとし、前記2枚の参照フレームの内で前記
任意に選択された参照フレームを識別する情報のみを画
像符号化信号中に格納することを特徴とした画像符号化
方法。 - 【請求項13】 動画像をフレーム間予測して復号する
画像復号方法において、復号対象フレームより表示時刻
が前の2枚のフレームを参照フレームとする画素補間に
よるフレーム間予測の場合に、入力した画像符号化信号
中から2枚の参照フレームを識別するための識別情報を
復号し、前記識別情報が示す2枚のフレームを参照フレ
ームとして画素補間による予測に使用することを特徴と
した画像復号方法。 - 【請求項14】 動画像をフレーム間予測して復号する
画像復号方法において、復号対象フレームより表示時刻
が前の2枚のフレームを参照フレームとする画素補間に
よるフレーム間予測の場合に、入力した画像符号化信号
中から1枚の参照フレームを識別するための識別情報を
復号し、前記識別情報が示すフレームと所定の方法によ
り決定される参照フレームの2枚のフレームを参照フレ
ームとして画素補間による予測に使用することを特徴と
した画像符号化方法。 - 【請求項15】 フレーム間予測を行う画像符号化装置
において、符号化済のフレームを蓄積するマルチフレー
ムバッファと、前記マルチフレームバッファ内で符号化
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとして画素補間する前方予測用画素補間手段
と、前記マルチフレームバッファ内で符号化対象フレー
ムの表示時刻が前後の2枚のフレームを参照フレームと
して画素補間する双方向予測用画素補間手段と、前方補
間予測時の参照フレームを所定の方法で選択するフレー
ムタイプ別前方予測時参照フレーム選択手段と、前記前
方予測用画素補間手段によりフレーム間予測する場合に
は前記フレームタイプ別前方補間予測時参照フレーム選
択手段が選択した参照フレームを使用して動き推定を行
う動き推定手段を備えたものであることを特徴とする画
像符号化装置。 - 【請求項16】 フレーム間予測を行う画像復号装置に
おいて、復号済のフレームを蓄積するマルチフレームバ
ッファと、前記マルチフレームバッファ内で復号対象フ
レームより表示時刻が前の2枚のフレームを参照フレー
ムとして画素補間する前方予測用画素補間手段と、前記
マルチフレームバッファ内で復号対象フレームの表示時
刻が前後の2枚のフレームを参照フレームとして画素補
間する双方向予測用画素補間手段と、前方補間予測時の
参照フレームを所定の方法で選択するフレームタイプ別
前方予測時参照フレーム選択手段と、前記前方予測用画
素補間手段によりフレーム間予測する場合には前記フレ
ームタイプ別前方補間予測時参照フレーム選択手段が選
択した参照フレームを使用する参照フレーム選択手段を
備えたものであることを特徴とする画像復号装置。 - 【請求項17】 コンピュータにより、画像符号化を行
うためのプログラムを格納した記憶媒体であって、上記
プログラムはコンピュータに、予測フレームとして、表
示時刻が前後のフレームからフレーム間予測を行う双方
向予測フレーム、および、表示時刻が前のフレームのみ
からフレーム間予測を行う前方予測フレーム、および、
フレーム間予測を行わない面内予測フレームを含む画像
符号化方法において、符号化対象フレームが前方予測フ
レーム、もしくは、双方向予測フレームである場合に、
前記符号化対象フレームより表示時刻が前の2枚のフレ
ームを参照フレームとして画素補間により予測画素値を
生成することを、行わせるものであることを特徴とする
記憶媒体。 - 【請求項18】 コンピュータにより、画像復号を行う
ためのプログラムを格納した記憶媒体であって、上記プ
ログラムはコンピュータに、予測フレームとして、表示
時刻が前後のフレームからフレーム間予測を行う双方向
予測フレーム、および、表示時刻が前のフレームのみか
らフレーム間予測を行う前方予測フレーム、および、フ
レーム間予測を行わない面内予測フレームを含む画像復
号方法において、復号対象のフレームが前方予測フレー
ム、もしくは、双方向予測フレームである場合に、前記
符号化対象フレームより表示時刻が前の2枚のフレーム
を参照フレームとして画素補間により予測画素値を生成
することを、行わせるものであることを特徴とする記憶
媒体。 - 【請求項19】 コンピュータにより、画像符号化を行
うためのプログラムを格納した記憶媒体であって、上記
プログラムはコンピュータに、動画像をフレーム間予測
して符号化する画像符号化方法において、符号化対象フ
レームより表示時刻が前の2枚のフレームを参照フレー
ムとする画素補間によるフレーム間予測の場合に、符号
化対象フレームより表示時刻が前のフレームから任意に
2枚の参照フレームを選択し、前記2枚の参照フレームを
識別する情報を画像符号化信号中に格納することを、行
わせるものであることを特徴とする記憶媒体。 - 【請求項20】 コンピュータにより、画像復号を行う
ためのプログラムを格納した記憶媒体であって、上記プ
ログラムはコンピュータに、動画像をフレーム間予測し
て復号する画像復号方法において、復号対象フレームよ
り表示時刻が前の2枚のフレームを参照フレームとする
画素補間によるフレーム間予測の場合に、入力した画像
符号化信号中から2枚の参照フレームを識別するための
識別情報を復号し、前記識別情報が示す2枚のフレーム
を参照フレームとして画素補間による予測に使用するこ
とを、行わせるものであることを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002070044A JP2003274411A (ja) | 2002-03-14 | 2002-03-14 | 画像符号化方法および画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002070044A JP2003274411A (ja) | 2002-03-14 | 2002-03-14 | 画像符号化方法および画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003274411A true JP2003274411A (ja) | 2003-09-26 |
Family
ID=29200726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002070044A Pending JP2003274411A (ja) | 2002-03-14 | 2002-03-14 | 画像符号化方法および画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003274411A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324905A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像処理装置 |
JP2006324906A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像符号化装置 |
JP2007511119A (ja) * | 2003-10-24 | 2007-04-26 | ソニー エレクトロニクス インク | 正規直交空間−時間変換のリフティングベースの実現 |
JP2007116355A (ja) * | 2005-10-19 | 2007-05-10 | Canon Inc | 画像処理装置及びその方法 |
-
2002
- 2002-03-14 JP JP2002070044A patent/JP2003274411A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007511119A (ja) * | 2003-10-24 | 2007-04-26 | ソニー エレクトロニクス インク | 正規直交空間−時間変換のリフティングベースの実現 |
JP2006324905A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像処理装置 |
JP2006324906A (ja) * | 2005-05-18 | 2006-11-30 | Canon Inc | 画像符号化方法、及び画像符号化装置 |
JP4594163B2 (ja) * | 2005-05-18 | 2010-12-08 | キヤノン株式会社 | 画像符号化方法、及び画像符号化装置 |
JP4596975B2 (ja) * | 2005-05-18 | 2010-12-15 | キヤノン株式会社 | 画像符号化方法、及び画像処理装置 |
JP2007116355A (ja) * | 2005-10-19 | 2007-05-10 | Canon Inc | 画像処理装置及びその方法 |
JP4702943B2 (ja) * | 2005-10-19 | 2011-06-15 | キヤノン株式会社 | 画像処理装置及びその方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2570384B2 (ja) | 動画像信号の符号化・復号化方式 | |
JP4220574B2 (ja) | 動画像復号化装置 | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JP3223962B2 (ja) | 画像復号化方法 | |
KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
US5982439A (en) | Coding image data | |
KR100256859B1 (ko) | 동화상을 코딩/인코딩하는 장치와 방법 그리고동화상을 저장하는 저장매체 | |
JP2007228560A (ja) | 動画像符号化方法および動画像符号化装置 | |
JP2003333600A (ja) | 画像符号化方法および画像復号方法 | |
JP2003274411A (ja) | 画像符号化方法および画像復号方法 | |
JP4902854B2 (ja) | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 | |
JP3128393B2 (ja) | 圧縮動画像再生装置 | |
JP5547622B2 (ja) | 映像再生方法、映像再生装置、映像再生プログラム及び記録媒体 | |
CN100375541C (zh) | 运动图像专家组编码信号的特技播放再现 | |
JP3776735B2 (ja) | 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体 | |
JP3248366B2 (ja) | データ再生方法およびデータ再生装置 | |
JP3163699B2 (ja) | 画像記録装置 | |
JP2801911B2 (ja) | 予測符号化による画像データの圧縮装置 | |
JP3506504B2 (ja) | ディジタル映像信号記録再生装置 | |
JP2003189313A (ja) | 画面間予測符号化方法および画面間予測復号化方法 | |
KR100312420B1 (ko) | 역방향재생을용이하게하기위한동영상부호화방법 | |
JP4239894B2 (ja) | 画像符号化装置及び画像復号化装置 | |
JP3384563B2 (ja) | 光ディスク、再生装置および再生方法 | |
JP2003274412A (ja) | 画像符号化方法および画像復号化方法 | |
JP3496926B2 (ja) | 画像データ復号化方法 |