JP2003274411A

JP2003274411A - 画像符号化方法および画像復号方法

Info

Publication number: JP2003274411A
Application number: JP2002070044A
Authority: JP
Inventors: Makoto Hagai; 誠羽飼; Shinya Sumino; 眞也角野; Toshiyuki Kondo; 敏志近藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-03-14
Filing date: 2002-03-14
Publication date: 2003-09-26

Abstract

(57)【要約】【課題】複数フレームをフレーム間予測の参照フレー
ムとする従来の画像符号化方法および従来の画像復号化
方法を改善し、更に圧縮率を向上すること。【解決手段】予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像符号化方法に
おいて、符号化対象のフレームが前方予測フレーム、も
しくは、双方向予測フレームである場合に、前記符号化
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとして画素補間によりフレーム間予測の予測画
素値を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を符号化
および復号する方法、並びにそれをソフトウェアで実施
するためのプログラムが記録された記録媒体に係るもの
である。

【０００２】

【従来の技術】近年、マルチメディアアプリケーション
の発展に伴い、画像・音声・テキストなど、あらゆるメ
ディアの情報を統一的に扱うことが一般的になってき
た。この時、全てのメディアをディジタル化することに
より統一的にメディアを扱うことが可能になる。しかし
ながら、ディジタル化された画像は膨大なデータ量を持
つため、蓄積・伝送のためには、画像の情報圧縮技術が
不可欠である。一方で、圧縮した画像データを相互運用
するためには、圧縮技術の標準化も重要である。画像圧
縮技術の標準規格としては、ＩＴＵ（国際電気通信連合
電気通信標準化部門）のH.261、H.263、ＩＳＯ（国際
標準化機構）のＭＰＥＧ（Moving Picture Experts Gro
up）-1、MPEG-2、MPEG-4などがある。

【０００３】現在、ＩＴＵで標準化中のH.26Lでは、符
号化対象フレームの直前2枚のフレームを参照フレーム
として画素補間することで予測画素を得る方法が検討さ
れている。

【０００４】図１８は従来の画像符号化装置の構成を示
すブロック図である。画像符号化装置は、画像信号Img
を所定のサイズの矩形（以降、ブロックと呼ぶ）に分割
し、そのブロック毎に処理を行う。減算器Subは、画像
符号化装置に入力した画像信号Imgから予測画像信号Pre
dを減算し、残差信号Resとして出力する。画像符号化
手段ImgEncは、残差信号Resを入力し、ＤＣＴ変換・量
子化などの画像符号化処理を行い、量子化済ＤＣＴ係数
などを含む符号化残差信号EResを出力する。画像復号手
段ImgDecは、符号化残差信号EResを入力し、逆量子化・
逆ＤＣＴ変換などの画像復号処理を行い、復号残差信号
DResを出力する。加算器Addは、復号残差信号DResと予
測画像信号Predを加算し、再構成画像信号Reconとして
出力する。再構成画像信号Reconで、以降のフレーム間
予測で参照される可能性がある信号は、マルチフレーム
バッファMFrmBufに格納する。動き推定手段ME0は、画像
信号Imgと参照フレーム信号RefFrmを入力し、ブロッ
ク、あるいは、さらにブロックを分割した領域単位での
動きを検出し、検出結果から動き情報MVと参照フレーム
を示す参照フレーム識別子RefFrmIDとブロックの予測種
別を示すブロック予測種別PredTypeを出力する。

【０００５】ブロック予測種別PredTypeが示す予測に
は、フレーム間予測を使用しない面内予測、画像信号Im
gより前の時刻のフレームから予測を行う前方予測があ
る。面内予測、前方予測を施されたブロックを、それぞ
れ、面内予測ブロック、前方予測ブロックと呼ぶ。ここ
では、面内予測ブロックのみから構成されるフレームを
面内予測フレーム、前方予測ブロックと面内予測ブロッ
クから構成されるフレームを前方予測フレームと呼ぶ。
さらに、前方予測には、1枚のフレームから予測画像を
得る方法と、2枚のフレームから画素補間により予測画
像を得る方法がある。画素補間により予測画像を得る場
合のブロックを前方補間予測ブロックと呼ぶ。これらの
ブロック予測種別はブロック単位に切り替えることが可
能である。

【０００６】前方予測ブロックの場合には参照フレーム
として符号化対象フレームに対し時間的に直前のフレー
ムを選択する。前方補間予測ブロックの場合には参照フ
レームとして符号化対象フレームに対し時間的に直前の
フレームと2枚前のフレームを使用する。

【０００７】前方補間予測の概念を図１９と図２０を用
いて説明する。図１９は、従来の画像符号化方法の前方
補間予測時のフレーム選択の概念図である。横軸は時刻
を示す。Frm1, Frm2, Frm3はフレーム、ブロックCoding
Blkは前方補間予測ブロックを示す。現在の符号化対象
フレームをP_Frm3とする。ブロックCodingBlkに対する
動き推定の結果から得られた、直前のフレームFrm2と2
枚前のフレームFrm1における予測画素の位置を、それぞ
れ、ブロックPredBlk1とブロックPredBlk2とする。ブロ
ックCodingBlkの予測画素値は、ブロックPredBlk1とブ
ロックPredBlk2の画素補間で得られる。前方予測用画素
補間手段FwPolが行う補間方法には、例えば、平均値や
外挿補間などがある。外挿補間はフェードなど時刻経過
に対し画素値が線形に変化していく場合の予測に高い効
果がある。フェードは時刻とともに画素値が線形に変化
する画像処理であり、画素値が単調増加もしくは単調減
少するフェードイン、フェードアウト、画素値が2つの
画像の双一次補間であるクロスフェードがある。

【０００８】図２０は、フェードによる画素値変化の説
明図である。横軸は時刻を示し、縦軸は画素値を示す。
Pt0,Pt1,Pt2は、それぞれ、ブロックCodingBlk, PredBl
k2,PredBlk1内での位置が同じ画素を示す。P0,P1,P2
は、それぞれ、画素Pt0,Pt1,Pt2の画素値を示す。グラ
フの線Pixel_Value_Lineは、フェードにより画素値が線
形に上昇していることを示している。このとき、符号化
対象フレームの点Pt0の値は、参照フレームの点Pt1,Pt2
から次式の外挿の計算により予測することができる。 P0 = 2×P1-P2

【０００９】従って、前方予測用画素補間手段FwPolで
上式の外挿を行えば、フェードに対する予測効果が高く
なり符号化効率が向上する。また、フェードがない画像
に対しても、外挿の代わりに内挿（平均値）による補間
を導入することにより予測種別が増え、よりブロックに
最適な予測方法が選択でき符号化効率が向上する。

【００１０】参照フレーム識別子RefFrmIDは、前方予測
ブロックの場合には1枚の参照フレーム、前方補間予測
ブロックの場合には2枚の参照フレームを示す。マルチ
フレームバッファMFrmBufは、参照フレーム識別子RefFr
mIDと動き情報MV示す位置のブロックの画素を予測画像
信号Predとして出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、ブロック2個の画像信号
を出力し、前方補間予測以外を示していればブロック1
個の画像信号を出力する。ブロック予測種別PredTypeが
前方補間予測を示していれば、スイッチSW0を0側に切り
替え、前方予測用画素補間手段FwPolにより画素値を補
間し、予測画像信号Predを出力する。ブロック予測種別
PredTypeが前方補間予測以外を示していれば、スイッチ
SW0を1側に切り替え、マルチフレームバッファMFrmBuf
からの予測画像信号Predをそのまま使用する。ブロック
予測種別PredTypeが面内予測を示している場合には、予
測画像信号Predは０値とする。可変長符号化手段VLC
は、符号化残差信号ERes、動き情報MV、ブロック予測種
別PredTypeを可変長符号化し、画像符号化信号BitStrm0
として出力する。

【００１１】以上、説明した処理により画像符号化装置
は画像信号Imgを符号化し、画像符号化信号BitStrm0と
して出力する。

【００１２】図２１は従来の画像復号装置の画像符号化
信号のフォーマットの概念図である。図２１のフォーマ
ットは前方補間予測ブロックのフォーマットを示すもの
とする。Frameは1フレームの信号、Blockは１ブロック
の信号、さらにBlock内には、ブロック予測種別PredTyp
eと、動き情報MVの符号化信号が格納される。前方補間
予測ブロックでは、参照フレームとして符号化対象フレ
ームに対し時間的に直前と2枚目のフレームを使用する
こと予めが決まっているため参照フレームを示す情報は
画像符号化信号に格納しない。

【００１３】図２２は、従来の画像復号装置の構成を示
すブロック図である。図１８における従来の画像符号化
装置の構成を示すブロック図と同じ動作をするユニット
および同じ動作の信号は同じ記号を付し、説明を省略す
る。

【００１４】可変長復号手段VLDは、画像符号化信号Bit
Strm0を入力し、可変長復号を行い、符号化残差信号ERe
s、動き情報MV、ブロック予測種別PredTypeを出力す
る。画像復号手段ImgDecは、符号化残差信号EResを入力
し、逆量子化・逆ＤＣＴ変換などの画像復号処理を行
い、復号残差信号DResを出力する。加算器Addは、復号
残差信号DResと予測画像Predを加算し、復号画像信号DI
mgとして画像復号装置外に出力する。マルチフレームバ
ッファMFrmBufは、フレーム間予測のために復号画像信
号DImgをバッファに格納する。参照フレーム選択手段Re
fFrmSel0は、ブロック予測種別PredTypeに応じて参照フ
レームを選択し、参照フレームを示す参照フレーム識別
子RefFrmIDによりマルチフレームバッファMFrmBufに参
照フレームを指示する。ブロック予測種別PredTypeが前
方補間予測を示していれば、ブロック2個の画像信号を
出力し、前方補間予測以外を示していればブロック1個
の画像信号を出力する。ブロック予測種別PredTypeが前
方補間予測を示していれば、スイッチSW0を0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが前方補間予測以外を示していれば、スイッチSW
0を1側に切り替え、マルチフレームバッファMFrmBufか
らの予測画像信号Predをそのまま使用する。ブロック予
測種別PredTypeが面内予測を示している場合には、予測
画像信号Predは０値とする。可変長符号化手段VLCは、
符号化残差信号ERes、動き情報MV、ブロック予測種別Pr
edTypeを可変長符号化し、画像符号化信号BitStrm0とし
て出力する。

【００１５】以上、説明した処理により画像復号装置は
画像符号化信号BitStrm0を復号し、画像復号信号DImgと
して出力する。一方、画像符号化には、時間的に前のフ
レームから予測を行うだけでなく、時間的に前後のフレ
ームから予測を行う方法もある。時間的に前後のフレー
ムを予測に用いることにより、予測方向が増え、より最
適な予測方向を選択できるようになり符号化効率が高く
なる。

【００１６】

【発明が解決しようとする課題】これまで、前方補間予
測と双方向予測の組み合わせに関しては、検討されてい
ない。双方向予測では符号化・復号化するフレームの順
番と表示するフレームの順番が一致しないため、従来の
様に単純に符号化・復号化した時刻の順番が近いフレー
ムを予測に使うだけでなく、表示順序も考慮した予測が
必要である。また、前方補間予測で双方向予測が使用可
能な場合と不可能な場合を区別しなければ、双方向予測
の利点である、双方向予測フレームのスケーラビリティ
（双方向予測フレームは他のフレームと比べて重要度が
低い）を実現することができない。双方向予測のこれら
の問題を解決することによって、双方向予測を用いた圧
縮率向上が実現可能になる。

【００１７】そこで本発明では、前方補間予測と双方向
予測を組み合わせた符号化方法および復号方法を提供す
る。

【００１８】

【課題を解決するための手段】第１の発明（請求項１）
は、予測フレームとして、表示時刻が前後のフレームか
らフレーム間予測を行う双方向予測フレーム、および、
表示時刻が前のフレームのみからフレーム間予測を行う
前方予測フレーム、および、フレーム間予測を行わない
面内予測フレームを含む画像符号化方法において、符号
化対象フレームが前方予測フレーム、もしくは、双方向
予測フレームである場合に、前記符号化対象フレームよ
り表示時刻が前の2枚のフレームを参照フレームとして
画素補間により予測画素値を生成することを特徴とした
画像符号化方法である。

【００１９】第２の発明（請求項６）は、予測フレーム
として、表示時刻が前後のフレームからフレーム間予測
を行う双方向予測フレーム、および、表示時刻が前のフ
レームのみからフレーム間予測を行う前方予測フレー
ム、および、フレーム間予測を行わない面内予測フレー
ムを含む画像符号化方法において、符号化対象フレーム
が前方予測フレーム、もしくは、双方向予測フレームで
ある場合に、前記符号化対象フレームより表示時刻が前
の2枚のフレームを参照フレームとして画素補間により
予測画素値を生成することを特徴とした画像復号方法で
ある。

【００２０】第３の発明（請求項１１）は動画像をフレ
ーム間予測して符号化する画像符号化方法において、符
号化対象フレームより表示時刻が前の2枚のフレームを
参照フレームとする画素補間によるフレーム間予測の場
合に、符号化対象フレームより表示時刻が前のフレーム
から任意に2枚の参照フレームを選択し、前記2枚の参照
フレームを識別する情報を画像符号化信号中に格納する
ことを特徴とした画像符号化方法である。

【００２１】第４の発明（請求項１４）は、動画像をフ
レーム間予測して復号する画像復号方法において、復号
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとする画素補間によるフレーム間予測の場合
に、入力した画像符号化信号中から２枚の参照フレーム
を識別するための識別情報を復号し、前記識別情報が示
す2枚のフレームを参照フレームとして画素補間による
予測に使用することを特徴とした画像復号方法である。

【００２２】

【発明の実施の形態】以下、本発明の具体的な実施の形
態について、図面を参照しながら説明する。（実施の形態１）図１は、実施の形態１の画像符号化装
置のブロック図である。図１８における従来の画像符号
化装置の構成を示すブロック図と同じ動作をするユニッ
トおよび同じ動作の信号は同じ記号を付し、説明を省略
する。

【００２３】本発明は、前方補間予測と双方向予測を組
み合わせた符号化方法である。そこで、これまでの説明
との互換を保つために、ブロック予測種別とフレーム種
別を以下のように追加定義する。ブロックに対する予測
は、面内予測、前方予測、前方補間予測に加えて、表示
時刻が後のフレームから予測を行う後方予測、前後2枚
のフレームの画素補間により予測を行う双方向予測の５
種類とする。面内予測、前方予測、前方補間予測、後方
予測、双方向予測の各予測を施されたブロックを、それ
ぞれ、面内予測ブロック、前方予測ブロック、前方補間
予測ブロック、後方予測ブロック、双方向予測ブロック
と呼ぶ。画面内のブロックが、面内予測ブロックで構成
されるフレームを面内予測フレームと呼ぶ。画面内のブ
ロックが、面内予測ブロック、前方予測ブロック、前方
補間予測ブロックで構成されるフレームを前方予測フレ
ームと呼ぶ。画面内のブロックが、面内予測ブロック、
前方予測ブロック、前方補間予測ブロック、後方予測ブ
ロック、双方向予測ブロックで構成されるフレームを双
方向予測フレームと呼ぶ。

【００２４】ブロック予測種別PredTypeは、ブロックに
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを２側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し時間的に前後の2枚の
フレームを参照フレームとして画素補間を行い予測画像
画像Predを出力する。フレームタイプ別前方補間予測時
参照フレーム選択手段FwPolRefFrmSelは、前方予測フレ
ーム、双方向予測フレームの各種類のフレームに対して
所定の方法により、前方補間予測時の参照フレームを選
択する手段である。参照フレームの選択方法は後で説明
する。フレームタイプ別前方補間予測時参照フレーム選
択手段PolRefFrmSelは、前方補間予測で使用する2枚の
参照フレームを示す前方補間予測時参照フレーム識別子
FwPolRefFrmIDを動き推定手段MEに通知する。動き推定
手段MEは、前方補間予測ブロックの場合には、前方補間
予測時参照フレーム識別子FwPolRefFrmIDが示す2枚のフ
レームを参照フレームとして動き推定をする。

【００２５】ここで、前方予測フレームでの前方補間予
測時の参照フレーム選択方法について説明する。双方向
予測フレームを含む画像符号化方式では、時間的に近接
する表示時刻が前の双方向予測フレームが方予測フレー
ムよりも後で符号化・復号化されなければならない。従
って、前方予測フレームの前方予測ブロックは、面内予
測フレーム、もしくは、前方予測フレームのみ参照して
予測を行い、双方向予測フレームを参照した予測を行わ
ない。そこで、本発明は、前方予測フレームの前方補間
予測ブロックにおいても、面内予測フレーム、あるい
は、前方予測フレームから行い、双方向予測フレームを
参照した予測を行わない制限を設ける。ただし、符号化
対象フレームに対して、時間的に最も近い2枚の面内予
測フレーム、あるいは、前方予測フレームを使用する。

【００２６】図２は、実施の形態１の前方予測フレーム
における前方補間予測時のフレーム選択の概念図であ
る。P_Frm1,P_Frm4,P_Frm7は前方予測フレーム、B_Frm
2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレーム、ブロッ
クCodingBlkは前方補間予測ブロックを示す。現在の符
号化対象フレームをP_Frm7とする。符号化対象フレーム
P_Frm7より時間的に前で、P_Frm7に時間的に最も近い前
方予測フレームP_Frm4を参照フレームとして、動き推定
の結果から得られた位置のブロックををブロックPredBl
k1とする。P_Frm7より時間的に前で、P_Frm7から2番目
に近い前方予測フレームP_Frm1を参照フレームとして、
動き推定の結果から得られた位置のブロックをブロック
PredBlk2とする。ブロックCodingBlkの予測画素値は、
ブロックPredBlk1とブロックPredBlk2の画素補間で得ら
れる。

【００２７】図３は、実施の形態１の前方予測フレーム
における前方補間予測時のマルチフレームバッファを示
す概念図である。図のマルチフレームバッファでは、表
示時刻の早いフレームから順に下から上へフレームが並
べられているとする。前方補間予測時にマルチフレーム
バッファMFrmBufに、P_Frm1,B_Frm3,P_Frm4のフレーム
が格納されていたとする。ＭＰＥＧでは、双方向予測フ
レームは参照フレームとならないためマルチフレームバ
ッファMFrmBufに双方向予測フレームが格納されること
はないが、H.26Lでは双方向予測フレームも参照フレー
ムとなるためマルチフレームバッファMFrmBufに双方向
予測フレームが格納される場合がある。従って、画像符
号化装置はそのような場合も考慮する必要がある。本発
明の画像符号化装置では、前方予測フレームP_Frm7の前
方補間予測時には、表示時刻が近くても双方向予測フレ
ームB_Frm3は使用せず、前方予測フレームP_Frm4と前方
予測フレームP_Frm1を使用する。本発明のように、前方
予測フレームの前方補間予測を含むフレーム間予測時
に、双方向予測フレームを参照しないように制限してい
れば、本発明の画像符号化装置が出力する画像符号化信
号はスケーラビリティを持つことができる。スケーラビ
リティとは、１つの画像符号化信号から、異なるレート
の画像符号化信号を取得できることである。本発明の画
像符号化信号では、双方向予測フレームは前方予測フレ
ームから参照されることはないため、双方向予測フレー
ムを画像符号化信号中から取り除くことにより、より低
いビットレートの画像符号化信号を取得することができ
る。スケーラビリティにより、異なる帯域の通信路に対
して１つの画像符号化信号で対応できる。また、画像復
号装置は、再生で処理速度が足りない場合には、1部の
双方向予測フレームを復号せず処理負荷を軽くし、リア
ルタイムでの再生を行うといったことが可能になる。

【００２８】次に、双方向予測フレームでの前方補間予
測時の参照フレーム選択方法について説明する。本発明
では、双方向予測フレームでの前方補間予測時の参照フ
レーム選択方法として３つの方法を示す。

【００２９】第1の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時においても、符号化対象
フレームより表示時刻が前で最も近い2枚の、面内予測
フレーム、もしくは、前方予測フレームからのみ予測を
行い、双方向予測フレームからは予測を行わない方法で
ある。第1の参照フレーム選択方法を、図４を用いて説
明する。

【００３０】図４は、実施の形態１の双方向予測フレー
ムにおける前方補間予測時の第1のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm5とする。符号化
対象フレームB_Frm5より時間的に前で、B_Frm5に時間的
に最も近い前方予測フレームP_Frm4を参照フレームとし
て、動き推定の結果から得られた位置のブロックをブロ
ックPredBlk1とする。B_Frm5より時間的に前で、B_Frm5
から時間的に2番目に近い前方予測フレームP_Frm1を参
照フレームとして、動き推定の結果から得られた位置の
ブロックをブロックPredBlk2とする。ブロックCodingBl
kの予測画素値は、ブロックPredBlk1とブロックPredBlk
2の画素補間で得られる。第１の参照フレーム選択方法
はスケーラビリティの観点で利点がある。双方向予測フ
レームは、他のフレームから参照されないため、任意の
双方向フレームを除外しても残りのフレームの再生に影
響がない。

【００３１】第２の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時において、2枚の参照フ
レームの1枚を符号化対象フレームより表示時刻が前
で、表示時刻が最も近い前方予測フレーム、もしくは。
面内予測フレームとし、もう一枚を符号化対象フレーム
より表示時刻が前で、表示時刻が最も近い双方向予測フ
レームとする方法である。第２の参照フレーム選択方法
を、図５を用いて説明する。

【００３２】図５は、実施の形態１の双方向予測フレー
ムにおける前方補間予測時の第２のフレーム選択方法の
概念図である。P_Frm1,P_Frm4,P_Frm7は前方予測フレー
ム、B_Frm2,B_Frm3,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。符号化
対象フレームB_Frm6より表示時刻が前で、B_Frm6に表示
時刻が最も近い前方予測フレームP_Frm4を参照フレーム
とし、動き推定の結果から得られた位置のブロックをブ
ロックPredBlk1とする。B_Frm6より表示時刻が前で、B_
Frm6から表示時刻が2番目に近い双方向予測フレームB_F
rm5を参照フレームとして、動き推定の結果から得られ
た位置のブロックをブロックPredBlk2とする。ブロック
CodingBlkの予測画素値は、ブロックPredBlk1とブロッ
クPredBlk2の画素補間で得られる。マルチフレームバッ
ファMBufFrm内に、面内予測フレーム、もしくは、前方
予測フレームしかない場合には、第1の参照フレーム選
択方法で処理する。第２の参照フレーム選択方法の利点
は、符号化対象フレームに対して、第1の参照フレーム
選択方法より、より表示時刻が近いフレームからフレー
ム間予測を行えることである。一般に、より表示時刻が
近いフレームからフレーム間予測すれば、符号化効率は
高くなる。

【００３３】第３の参照フレーム選択方法は、双方向予
測フレームでの前方補間予測時において、参照フレーム
の種別に関わらず、符号化対象フレームより表示時刻が
前で最も近い2枚を参照フレームとする方法である。第
３の参照フレーム選択方法を、図６と図７を用いて説明
する。

【００３４】図６は、実施の形態１の双方向予測フレー
ムにおける前方補間予測時の第３のフレーム選択方法の
概念図である。P_Frm3,P_Frm7は前方予測フレーム、B_F
rm1,B_Frm2,B_Frm4,B_Frm5,B_Frm6は双方向予測フレー
ム、ブロックCodingBlkは前方補間予測ブロックを示
す。現在の符号化対象フレームをB_Frm6とする。P_Frm
3,B_Frm4,B_Frm5,P_Frm7がマルチフレームバッファMFrm
Bufに格納されているとす符号化対象フレームB_Frm6よ
り表示時刻が前で、B_Frm6に表示時刻が最も近いフレー
ムB_Frm5を参照フレームとし、動き推定の結果から得ら
れた位置のブロックをブロックPredBlk1とする。B_Frm6
より表示時刻が前で、B_Frm6から表示時刻が2番目に近
い双方向予測フレームB_Frm4を参照フレームとして、動
き推定の結果から得られた位置のブロックをブロックPr
edBlk2とする。ブロックCodingBlkの予測画素値は、ブ
ロックPred_Blk1とブロックPredBlk2の画素補間で得ら
れる。

【００３５】図７は、実施の形態１の双方向予測フレー
ムにおける前方補間予測時のマルチフレームバッファを
示す概念図である。マルチフレームバッファMFrmBufに
格納されたフレームは、P_Frm3, B_Frm4,B_Frm5, P_Frm
7とする。符号化対象フレームB_Frm6より表示時刻が前
のフレームを、B_Frm6に近い順に並べると、B_Frm5,B_F
rm4,P_Frm3の順になる。従って、B_Frm5,B_Frm4を参照
フレームとして使用する。第3の参照フレーム選択方法
の利点は、フェードに対する外挿補間の効果が高くでき
ることである。従来例で説明したように次式で外挿補間
行うことができれば、補間に必要な処理量を低く抑えつ
つ、予測効果を高くすることができる。P0 = 2×P1-P2

【００３６】ただし、上式の外挿補間では、参照フレー
ムと符号化フレームの、計3枚のフレームの表示時刻間
隔が一定であることを仮定している。面内予測フレーム
もしくは前方予測フレーム間の双方向予測フレーム枚数
によっては、参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることはできない場合がある。第3
の参照フレーム選択方法では、符号化対象フレームの直
前2枚のフレームをマルチフレームバッファに格納し予
測に使用することができるので、入力フレームレートが
一定のもとで参照フレームと符号化フレームの表示時刻
間隔を常に一定にすることが可能である。従って、第3
の参照フレーム選択方法で、符号化対象フレーム直前の
2枚のフレームをマルチフレームバッファMFrmBufに格納
するようにすれば、フェードに対して高い予測効率を実
現でき、符号化効率が向上する。

【００３７】また、前方予測フレーム、および、双方向
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。

【００３８】以上のように本実施の形態によれば、前方
補間予測と双方向予測を組み合わせることにより、より
最適な予測方法を選択できるため、符号化効率を向上で
きる。なお、第1の参照フレーム選択方法、第2の参照フ
レーム選択方法、第3の参照フレーム選択方法の3つの方
法から予め１つに限定するのではなく、その3通り中の
複数の選択方法が実現できる場合は、ブロック予測種別
PredTypeでその複数の参照フレーム選択方法を切り替え
てもよい。

【００３９】（実施の形態２）図８は、実施の形態２の
画像符号化装置のブロック図である。図１における実施
の形態１の画像符号化装置のブロック図と同じ動作をす
るユニットおよび同じ動作の信号は同じ記号を付し、説
明を省略する。

【００４０】Polは画素補間を行う補間予測用画素補間
手段Polである。ブロック単位で予測が切り替わるた
め、画像符号化装置の前方補間予測と双方向予測が同時
に実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には０側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には１側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。

【００４１】以上のように本実施の形態によれば、前方
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像符号化装置の構成を簡単にする
ことができる。

【００４２】（実施の形態３）図９は、実施の形態３の
画像復号装置のブロック図である。図９において、図２
２の従来の画像復号装置の構成を示すブロック図、およ
び、図１の実施の形態１の画像符号化装置のブロック図
と同じ動作をするユニットおよび同じ動作の信号は同じ
記号を付し、説明を省略する。本実施の形態の画像復号
装置は、例えば、実施の形態１、２の画像符号化装置で
作成された符号化信号の復号に用いることができる。

【００４３】ブロック予測種別PredTypeは、ブロックに
対する、面内予測、前方予測、前方補間予測、後方予
測、双方向予測を含む予測種別を示す。マルチフレーム
バッファMFrmBufは、ブロック予測種別PredTypeが前方
補間予測、および、双方向補間予測を示していれば、2
枚の参照フレームに対する各動きベクトルが示す位置の
ブロックの画像信号を予測画像信号Pred生成用に出力
し、それ以外を示していれば1枚の参照フレームに対す
る動きベクトルが示すブロックの画像信号を予測画像信
号Pred用に出力する。ブロック予測種別PredTypeが前方
補間予測を示していれば、スイッチSWを0側に切り替
え、前方予測用画素補間手段FwPolにより画素値を補間
し、予測画像信号Predを出力する。ブロック予測種別Pr
edTypeが双方向予測を示す場合には、スイッチSWを２側
に切り替え、双方向予測用画素補間手段BiPolにより予
測画像信号Predを生成する。ブロック予測種別PredType
が前方補間予測と双方向予測以外を示していれば、スイ
ッチSWを1側に切り替え、マルチフレームバッファMFrmB
ufの予測画像信号Predをそのまま使用する。双方向予測
用画素補間手段BiPolは、マルチフレームバッファMFrmB
uf内で符号化対象フレームに対し表示時刻が前後の2枚
のフレームを参照フレームとして画素補間を行い予測画
像画像Predを出力する。フレームタイプ別前方補間予測
時参照フレーム選択手段FwPolRefFrmSelは、前方予測フ
レーム、双方向予測フレームの各種類のフレームに対し
て所定の方法により、前方補間予測時の参照フレームを
選択する手段である。参照フレームの選択方法は実施の
形態１の画像符号化装置と同じ方法である。フレームタ
イプ別前方補間予測時参照フレーム選択手段PolRefFrmS
elは、前方補間予測ブロックで使用する2枚の参照フレ
ームを示す前方補間予測時参照フレーム識別子FwPolRef
FrmIDを参照フレーム選択手段RefFrmSelに通知する。参
照フレーム選択手段RefFrmSelは、前方補間予測ブロッ
クの場合には、前方補間予測時参照フレーム識別子FwPo
lRefFrmIDが示すフレームを参照フレームとして、参照
フレーム識別子RefFrmIDにより参照フレームをマルチフ
レームバッファMFrmBufに通知する。

【００４４】また、前方予測フレーム、および、双方向
予測フレームの前方補間予測を含むフレーム間予測にお
いて、符号化対象フレームより表示時刻が前に面内予測
フレームがあれば、その面内予測フレームより時刻的に
前のフレームを参照しないように制限してもよい。これ
により、面内予測フレームをランダムアクセスの開始フ
レームとすることができる。面内予測フレーム以前のフ
レームは参照されないため、面内予測フレームから面内
予測フレームの表示時刻以降のフレームを復号・再生す
れば正しく再生ができる。

【００４５】以上のように本実施の形態によれば、実施
の形態１，２で説明した画像符号化方法を用いた画像符
号化装置が出力する画像符号化信号BitStrmを正しく復
号化できる。

【００４６】なお、実施の形態1と同様に、第1の参照フ
レーム選択方法、第2の参照フレーム選択方法、第3の参
照フレーム選択方法の3つの方法から予め１つに限定す
るのではなく、その3通り中の複数の選択方法が実現で
きる場合は、ブロック予測種別PredTypeでその複数の参
照フレーム選択方法を切り替えてもよい。

【００４７】（実施の形態４）図１０は、実施の形態４
の画像復号装置のブロック図である。図９における実施
の形態３の画像復号装置のブロック図と同じ動作をする
ユニットおよび同じ動作の信号は同じ記号を付し、説明
を省略する。本実施の形態の画像復号装置は、例えば、
実施の形態１、２の画像符号化装置で作成された符号化
信号の復号に用いることができる。

【００４８】Polは画素補間を行う補間予測用画素補間
手段Polである。ブロック単位で予測が切り替わるた
め、画像復号装置の前方補間予測と双方向予測が同時に
実行されることはない。従って、補間処理を行う手段
は、前方補間予測ブロックと双方向予測ブロックで共有
化することができる。補間予測用画素補間手段Polは、
前方補間予測ブロックと双方向予測ブロックの両方の場
合で予測画像生成に使用する。スイッチSW1は、前方補
間予測ブロックと双方向予測ブロックの場合には０側に
切り替わり補間予測用画素補間手段Polの出力を予測画
像信号Predとし、前方補間予測ブロック、双方向予測ブ
ロック以外場合には１側に切り替わりマルチフレームバ
ッファMFrmBufの出力を予測画像信号Predとする。

【００４９】以上のように本実施の形態によれば、前方
補間予測ブロックと双方向予測ブロックで画素補間手段
が共有化できるため画像復号装置の構成を簡単にするこ
とができる。

【００５０】（実施の形態５）図１１は、実施の形態５
の画像符号化装置のブロック図である。図１における実
施の形態１の画像符号化装置のブロック図と同じ動作を
するユニットおよび同じ動作の信号は同じ記号を付し、
説明を省略する。

【００５１】本発明の画像符号化方法の特徴は、前方補
間予測に使用する参照フレームをマルチフレームバッフ
ァ内で、符号化対象フレームより表示時刻が前のフレー
ムから任意に選択し、選択したフレームを示す識別子を
画像符号化信号に格納することである。

【００５２】動き推定手段ME2は、前方補間予測時に、
参照フレームと参照フレームに対する動きベクトルを2
組検出する。検出結果から得られた動きベクトルは動き
情報MVとして、第1のフレームを示す第1参照フレーム番
号RefFrmNo1、第２の参照フレームを示す第2参照フレー
ム番号RefFrmNo2、として、ブロック予測種別PredType
と共に出力する。参照フレーム番号は、例えば、符号化
対象フレームの表示時刻より前、かつ、最も近い順に番
号付けた値を使用することができる。可変長符号化手段
VLC2は、符号化残差信号ERes、参照フレーム番号RefFrm
No1,RefFrmNo2、動き情報MV、ブロック予測種別PredTyp
eを可変長符号化し、画像符号化信号BitStrm2として出
力する。

【００５３】図１２は、実施の形態５の前方補間予測時
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm3とFrm4の2枚のフレームを参照フ
レームとするブロックPredBlk11とPredBlk12からの前方
補間予測により、CodingBlk1の予測画像が生成される。
一方で、CodingBlk2では、Frm5, Frm6の2枚のフレーム
を参照フレームとするブロックPredBlk21とPredBlk22か
らの前方補間予測により、CodingBlk2の予測画像が生成
される。図１０で示すように、異なる位置のブロックに
対し、異なる参照フレームを選択することができる。

【００５４】図１３は、実施の形態５の画像符号化信号
のフォーマットの概念図である。図１３のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは１ブロックの信
号である。PredTypeは、ブロック予測種別PredTypeの可
変長符号化信号である、RefFrmNo1、RefFrmNo2は、それ
ぞれ、1、２枚目の参照フレームに対する参照フレーム
番号の可変長符号化信号である。本フォーマットの画像
符号化信号BitStrm2により参照フレームを特定できるた
め、画像復号装置は正しく復号を行うことが可能にな
る。なお、本実施の形態では、第1参照フレーム番号Ref
FrmNo1, 第2参照フレーム番号RefFrmNop2は、画像符号
化信号内に独立したコードとして可変長符号化されてい
るが、画像符号化信号中の他の情報と組み合わせて多次
元可変長符号語として符号化してもよい。

【００５５】以上のように本実施の形態によれば、前方
補間予測の参照フレームの２枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。

【００５６】（実施の形態６）実施の形態５の画像符号
化装置において、2枚の参照フレーム内の1枚を符号化対
象フレームの全ての前方補間予測ブロックで共通にし、
もう一枚を任意に選択できるようにすることもできる。
これは、図１１の実施の形態５の画像符号化装置のブロ
ック図において、第２参照フレーム番号RefFrmNo2が存
在しない場合と考えることができる。図１１のブロック
図を用いて本実施の形態６の画像復号装置の動作を説明
する。動き推定手段ME2は、前方補間予測時に、符号化
対象フレームの全前方補間予測ブロックで共通の参照フ
レームに対する動きベクトルと、任意に選択した参照フ
レームに対する動きベクトルを検出する。また、動き推
定手段ME2は、選択した1枚の参照フレームを示す第1参
照フレーム番号RefFrmNo1を出力する。検出結果から得
られた動きベクトルは動き情報MVとして、第1参照フレ
ーム番号RefFrmNo1、ブロック予測種別PredTypeと共に
出力する。可変長符号化手段VLC2は、符号化残差信号ER
es、参照フレーム番号RefFrmNo1動き情報MV、ブロック
予測種別PredTypeを可変長符号化し、画像符号化信号Bi
tStrm2として出力する。

【００５７】図１４は、実施の形態６の前方補間予測時
のフレーム選択の概念図である。Frm1〜Frm7はフレーム
を示す。Frm7が符号化対象フレームとする。CodingBlk
1, CodingBlk2は、それぞれ、異なる位置の符号化対象
ブロックを示す。Frm6が全ての全ての前方補間予測ブロ
ックで共通の参照フレームとする。Frm4とFrm6の2枚の
フレームを参照フレームとするブロックPredBlk11とPre
dBlk12からの前方補間予測により、CodingBlk1の予測画
像が生成される。一方で、CodingBlk2では、Frm5, Frm6
の2枚のフレームを参照フレームとするブロックPredBlk
21とPredBlk22からの前方補間予測により、CodingBlk2
の予測画像が生成される。共通の参照フレームとして
は、マルチフレームバッファ内で、符号化対象フレーム
に対し表示時刻が前で、符号化対象フレームに最も近い
フレームとすることができる。

【００５８】図１５は、実施の形態６の画像符号化信号
のフォーマットの概念図である。図１５のフォーマット
は前方補間予測ブロックのフォーマットを示すものとす
る。Frameは1フレームの信号、Blockは１ブロックの信
号、さらにBlock内には、ブロック予測種別PredType
と、固定でない参照フレームに対する参照フレーム識別
子RefFrmID1が格納される。本フォーマットの画像符号
化信号BitStrm2により参照フレームを特定できるため、
画像復号装置は正しく復号を行うことが可能になる。な
お、本実施の形態では、第1参照フレーム識別子RefFrmI
D1は、画像符号化信号内に独立したコードとして可変長
符号化されているが、画像符号化信号中の他の情報と組
み合わせて多次元可変長符号語として符号化してもよ
い。

【００５９】以上のように本実施の形態によれば、前方
補間予測の参照フレームの1枚を任意のフレームから選
択でき、より最適な最適な参照フレームを選択できる可
能性が高くなるため、符号化効率を向上できる。

【００６０】（実施の形態７）図１６は、実施の形態７
の画像復号装置のブロック図である。図１６において、
図８の実施の形態２の画像符号化装置のブロック図、お
よび、図１０の実施の形態４の画像復号装置のブロック
図と同じ動作をするユニットおよび同じ動作の信号は同
じ記号を付し、説明を省略する。本実施の形態の画像復
号装置は、例えば、実施の形態５で作成された符号化信
号の復号に用いることができる。

【００６１】可変長復号手段VLD2は、入力した画像符号
化信号BitStrm2を可変長復号し、符号化残差信号ERes、
第1参照フレーム番号RefFrmNo1、第２参照フレーム番号
RefFrmNo2、動き情報MV、ブロック予測種別PredTypeを
出力する。参照フレーム選択手段SRefFrmSel2は第1参照
フレーム番号RefFrmNo1、第２参照フレーム番号RefFrmN
o2を入力し、第1参照フレーム番号RefFrmNo1、第２参照
フレーム番号RefFrmNo2が示すフレームを参照フレーム
として、参照フレーム識別子RefFrmIDによりマルチフレ
ームバッファMFrmBufに指定する。前方補間予測用画素
補間手段FwPolは指定された2枚の参照フレームから予測
画像Predを生成する。

【００６２】以上のように本実施の形態によれば、実施
の形態５で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。

【００６３】（実施の形態８）実施の形態７の画像復号
装置において、2枚の参照フレーム内の1枚を符号化対象
フレームの全ての前方補間予測ブロックで共通にし、も
う一枚を任意に選択できるようにすることもできる。こ
れは、図１６の実施の形態７の画像復号装置のブロック
図において、RefFrmNo2が存在しない場合と考えること
ができる。図１６のブロック図を用いて本実施の形態８
の画像復号装置の動作を説明する。全ての前方補間予測
ブロックで共通に使用する参照フレームは、画像符号化
装置と同じ方法で選択する。可変長復号手段VLD2は、入
力した画像符号化信号BitStrm2を可変長復号し、符号化
残差信号ERes、第1参照フレーム番号RefFrmNo1と動き情
報MV、ブロック予測種別PredTypeを出力する。参照フレ
ーム選択手段SRefFrmSel2は第1参照フレーム番号RefFrm
No1を入力し、第1参照フレーム番号RefFrmNo1が示すフ
レームと全ての前方補間予測ブロックで共通に使用する
フレームを参照フレームを参照フレーム識別子RefFrmID
によりマルチフレームバッファMFrmBufに指定する。前
方補間予測用画素補間手段FwPolは指定された2枚の参照
フレームから予測画像Predを生成する。

【００６４】以上のように本実施の形態によれば、実施
の形態６で説明した画像符号化方法を用いた画像符号化
装置が出力する画像符号化信号BitStrm2を正しく復号化
できる。

【００６５】（実施の形態９）さらに、上記各実施の形
態で示した画像符号化方法または画像復号方法の構成を
実現するためのプログラムを、フレキシブルディスク等
の記憶媒体に記録するようにすることにより、上記各実
施の形態で示した処理を、独立したコンピュータシステ
ムにおいて簡単に実施することが可能となる。

【００６６】図１７は、実施の形態１〜実施の形態８の
画像符号化方法または画像復号方法をコンピュータシス
テムにより実現するためのプログラムを格納するための
記憶媒体についての説明図である。

【００６７】図１７（ｂ）は、フレキシブルディスクの
正面からみた外観、断面構造、及びフレキシブルディス
クを示し、図１７（ａ）は、記録媒体本体であるフレキ
シブルディスクの物理フォーマットの例を示している。
フレキシブルディスクＦＤはケースＦ内に内蔵され、該
ディスクの表面には、同心円状に外周からは内周に向か
って複数のトラックＴｒが形成され、各トラックは角度
方向に１６のセクタＳｅに分割されている。従って、上
記プログラムを格納したフレキシブルディスクでは、上
記フレキシブルディスクＦＤ上に割り当てられた領域
に、上記プログラムとしての画像符号化方法または画像
復号方法が記録されている。

【００６８】また、図１７（ｃ）は、フレキシブルディ
スクＦＤに上記プログラムの記録再生を行うための構成
を示す。上記プログラムをフレキシブルディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしての画像符号化方法または画像復号化方法
をフレキシブルディスクドライブＦＤＤを介して書き込
む。また、フレキシブルディスク内のプログラムにより
上記画像符号化方法をコンピュータシステム中に構築す
る場合は、フレキシブルディスクドライブによりプログ
ラムをフレキシブルディスクから読み出し、コンピュー
タシステムに転送する。

【００６９】なお、上記説明では、記録媒体としてフレ
キシブルディスクを用いて説明を行ったが、光ディスク
を用いても同様に行うことができる。また、記録媒体は
これに限らず、ＩＣカード、ＲＯＭカセット等、プログ
ラムを記録できるものであれば同様に実施することがで
きる。

【００７０】

【発明の効果】以上、詳細に説明したように、本発明の
画像符号化方法・画像復号方法により、前方補間予測と
双方向予測を組み合わせて符号化することができる。こ
れにより、フレーム間予測においてより最適な予測方法
を選択できるため符号化効率向上に効果が高い。

【図面の簡単な説明】

【図１】実施の形態１の画像符号化装置のブロック図

【図２】実施の形態１の前方予測フレームにおける前方
補間予測時のフレーム選択の概念図

【図３】実施の形態１の前方予測フレームにおける前方
補間予測時のマルチフレームバッファを示す概念図

【図４】実施の形態１の双方向予測フレームにおける前
方補間予測時の第1のフレーム選択方法の概念図

【図５】実施の形態１の双方向予測フレームにおける前
方補間予測時の第２のフレーム選択方法の概念図

【図６】実施の形態１の双方向予測フレームにおける前
方補間予測時の第３のフレーム選択方法の概念図

【図７】実施の形態１の双方向予測フレームにおける前
方補間予測時のマルチフレームバッファを示す概念図

【図８】実施の形態２の画像符号化装置のブロック図

【図９】実施の形態３の画像復号装置のブロック図

【図１０】実施の形態４の画像復号装置のブロック図

【図１１】実施の形態５の画像符号化装置のブロック図

【図１２】実施の形態５の前方補間予測時のフレーム選
択の概念図

【図１３】実施の形態５の画像符号化信号のフォーマッ
トの概念図

【図１４】実施の形態６の前方補間予測時のフレーム選
択の概念図

【図１５】実施の形態６の画像符号化信号のフォーマッ
トの概念図

【図１６】実施の形態７の画像復号装置のブロック図

【図１７】実施の形態１〜実施の形態８の画像符号化方
法または画像復号方法をコンピュータシステムにより実
現するためのプログラムを格納するための記憶媒体につ
いての説明図

【図１８】従来の画像符号化装置の構成を示すブロック
図

【図１９】従来の画像符号化方法の前方補間予測時のフ
レーム選択の概念図

【図２０】フェードによる画素値変化の説明図

【図２１】従来の画像復号装置の画像符号化信号のフォ
ーマットの概念図

【図２２】従来の画像復号装置の構成を示すブロック図

【符号の説明】

Img 画像信号 ImgEnc 画像符号化手段 ImgDec 画像復号手段 DImg 復号画像 Add 加算器 Sub 減算器 MFrmBuf マルチフレームバッファ ME,ME0,ME1 動き推定手段 VLC,VLC0,VLC1 可変長符号化手段 VLD,VLD0,VLD1 可変長復号手段 RefFrmSel 参照フレーム選択手段 FwPol 前方補間予測用画素補間手段 BiPol 双方向予測用画素補間手段 Pol 補間予測用画素補間手段 RefFrmSel 参照フレーム選択手段 FwPolRefFrmSel フレームタイプ別前方補間予測時参照
フレーム選択手段Ｃｓコンピュータ・システムＦＤフレキシブルディスクＦDD フレキシブルディスクドライブ

───────────────────────────────────────────────────── フロントページの続き (72)発明者近藤敏志大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C059 LB16 LB18 MA00 MA04 MA05 MA14 MA23 ME01 PP05 PP06 PP07 UA02 UA05 UA33 5J064 AA01 BA09 BB04 BC01 BC08 BC14 BC29 BD03

Claims

【特許請求の範囲】

【請求項１】予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像符号化方法に
おいて、符号化対象フレームが前方予測フレーム、もし
くは、双方向予測フレームである場合に、前記符号化対
象フレームより表示時刻が前の2枚のフレームを参照フ
レームとして画素補間により予測画素値を生成すること
を特徴とした画像符号化方法。
【請求項２】前記符号化対象フレームが前方予測フレ
ームで、前記符号化対象フレームより表示時刻が前の2
枚のフレームを参照フレームとして画素補間によりフレ
ーム間予測する場合に、前記2枚の各参照フレームは前
方予測フレームもしくは面内予測フレームであることを
特徴とした請求項１の画像符号化方法。
【請求項３】前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測符号化する場合に、前記2枚の各参照フレ
ームは前方予測フレームもしくは面内予測フレームであ
ることを特徴とした請求項１の画像符号化方法。
【請求項４】前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測する場合に、前記2枚の参照フレームの少
なくとも1枚が前方予測フレームもしくは面内予測フレ
ームであることを特徴とした請求項１の画像符号化方
法。
【請求項５】前記符号化対象フレームが双方向予測フ
レームで、前記符号化対象フレームより表示時刻が前の
2枚のフレームを参照フレームとして画素補間によりフ
レーム間予測する場合に、前記2枚の参照フレームが符
号化済フレームを格納したマルチフレームバッファ内の
フレームで符号化対象フレームの表示時刻より前、か
つ、表示時刻が最も近い順の2枚であることを特徴とし
た請求項１の画像符号化方法。
【請求項６】予測フレームとして、表示時刻が前後の
フレームからフレーム間予測を行う双方向予測フレー
ム、および、表示時刻が前のフレームのみからフレーム
間予測を行う前方予測フレーム、および、フレーム間予
測を行わない面内予測フレームを含む画像復号方法にお
いて、復号対象のフレームが前方予測フレーム、もしく
は、双方向予測フレームである場合に、前記符号化対象
フレームより表示時刻が前の2枚のフレームを参照フレ
ームとして画素補間により予測画素値を生成することを
特徴とした画像復号方法。
【請求項７】前記復号対象フレームが前方予測フレー
ムで、前記復号対象フレームより表示時刻が前の2枚の
フレームを参照フレームとして画素補間によりフレーム
間予測する場合に、前記2枚の各参照フレームは前方予
測フレームもしくは面内予測フレームであることを特徴
とした請求項６の画像復号方法。
【請求項８】前記復号対象フレームが双方向予測フレ
ームで、前記復号対象フレームより表示時刻が前の2枚
のフレームを参照フレームとして画素補間によりフレー
ム間予測する場合に、前記2枚の各参照フレームは前方
予測フレームもしくは面内予測フレームであることを特
徴とした請求項６の画像復号方法。
【請求項９】前記復号対象フレームが双方向予測フレ
ームで、前記復号対象フレームより表示時刻が前の2枚
のフレームを参照フレームとして画素補間によりフレー
ム間予測する場合に、前記2枚の参照フレームの少なく
とも1枚が前方予測フレームもしくは面内予測フレーム
であることを特徴とした請求項６の画像復号方法。
【請求項１０】前記復号対象フレームが双方向予測フ
レームで、前記復号対象フレームより表示時刻が前の2
枚のフレームを参照フレームとして画素補間によりフレ
ーム間予測する場合に、前記2枚の参照フレームが復号
済フレームを格納したフレームバッファ内のフレームで
前記符号化対象フレームの表示時刻より前かつ最も近い
順の2枚であることを特徴とした請求項６の画像復号方
法。
【請求項１１】動画像をフレーム間予測して符号化す
る画像符号化方法において、符号化対象フレームより表
示時刻が前の2枚のフレームを参照フレームとする画素
補間によるフレーム間予測の場合に、符号化対象フレー
ムより表示時刻が前のフレームから任意に2枚の参照フ
レームを選択し、前記2枚の参照フレームを識別する情
報を画像符号化信号中に格納することを特徴とした画像
符号化方法。
【請求項１２】動画像をフレーム間予測して符号化す
る画像符号化方法において、符号化対象フレームより表
示時刻が前の2枚のフレームを参照フレームとする画素
補間によるフレーム間予測の場合に、所定の方法により
決定されたフレームと符号化対象フレームより表示時刻
が前のフレームから任意に選択されたフレームの2枚を
参照フレームとし、前記2枚の参照フレームの内で前記
任意に選択された参照フレームを識別する情報のみを画
像符号化信号中に格納することを特徴とした画像符号化
方法。
【請求項１３】動画像をフレーム間予測して復号する
画像復号方法において、復号対象フレームより表示時刻
が前の2枚のフレームを参照フレームとする画素補間に
よるフレーム間予測の場合に、入力した画像符号化信号
中から２枚の参照フレームを識別するための識別情報を
復号し、前記識別情報が示す2枚のフレームを参照フレ
ームとして画素補間による予測に使用することを特徴と
した画像復号方法。
【請求項１４】動画像をフレーム間予測して復号する
画像復号方法において、復号対象フレームより表示時刻
が前の2枚のフレームを参照フレームとする画素補間に
よるフレーム間予測の場合に、入力した画像符号化信号
中から１枚の参照フレームを識別するための識別情報を
復号し、前記識別情報が示すフレームと所定の方法によ
り決定される参照フレームの2枚のフレームを参照フレ
ームとして画素補間による予測に使用することを特徴と
した画像符号化方法。
【請求項１５】フレーム間予測を行う画像符号化装置
において、符号化済のフレームを蓄積するマルチフレー
ムバッファと、前記マルチフレームバッファ内で符号化
対象フレームより表示時刻が前の2枚のフレームを参照
フレームとして画素補間する前方予測用画素補間手段
と、前記マルチフレームバッファ内で符号化対象フレー
ムの表示時刻が前後の2枚のフレームを参照フレームと
して画素補間する双方向予測用画素補間手段と、前方補
間予測時の参照フレームを所定の方法で選択するフレー
ムタイプ別前方予測時参照フレーム選択手段と、前記前
方予測用画素補間手段によりフレーム間予測する場合に
は前記フレームタイプ別前方補間予測時参照フレーム選
択手段が選択した参照フレームを使用して動き推定を行
う動き推定手段を備えたものであることを特徴とする画
像符号化装置。
【請求項１６】フレーム間予測を行う画像復号装置に
おいて、復号済のフレームを蓄積するマルチフレームバ
ッファと、前記マルチフレームバッファ内で復号対象フ
レームより表示時刻が前の2枚のフレームを参照フレー
ムとして画素補間する前方予測用画素補間手段と、前記
マルチフレームバッファ内で復号対象フレームの表示時
刻が前後の2枚のフレームを参照フレームとして画素補
間する双方向予測用画素補間手段と、前方補間予測時の
参照フレームを所定の方法で選択するフレームタイプ別
前方予測時参照フレーム選択手段と、前記前方予測用画
素補間手段によりフレーム間予測する場合には前記フレ
ームタイプ別前方補間予測時参照フレーム選択手段が選
択した参照フレームを使用する参照フレーム選択手段を
備えたものであることを特徴とする画像復号装置。
【請求項１７】コンピュータにより、画像符号化を行
うためのプログラムを格納した記憶媒体であって、上記
プログラムはコンピュータに、予測フレームとして、表
示時刻が前後のフレームからフレーム間予測を行う双方
向予測フレーム、および、表示時刻が前のフレームのみ
からフレーム間予測を行う前方予測フレーム、および、
フレーム間予測を行わない面内予測フレームを含む画像
符号化方法において、符号化対象フレームが前方予測フ
レーム、もしくは、双方向予測フレームである場合に、
前記符号化対象フレームより表示時刻が前の2枚のフレ
ームを参照フレームとして画素補間により予測画素値を
生成することを、行わせるものであることを特徴とする
記憶媒体。
【請求項１８】コンピュータにより、画像復号を行う
ためのプログラムを格納した記憶媒体であって、上記プ
ログラムはコンピュータに、予測フレームとして、表示
時刻が前後のフレームからフレーム間予測を行う双方向
予測フレーム、および、表示時刻が前のフレームのみか
らフレーム間予測を行う前方予測フレーム、および、フ
レーム間予測を行わない面内予測フレームを含む画像復
号方法において、復号対象のフレームが前方予測フレー
ム、もしくは、双方向予測フレームである場合に、前記
符号化対象フレームより表示時刻が前の2枚のフレーム
を参照フレームとして画素補間により予測画素値を生成
することを、行わせるものであることを特徴とする記憶
媒体。
【請求項１９】コンピュータにより、画像符号化を行
うためのプログラムを格納した記憶媒体であって、上記
プログラムはコンピュータに、動画像をフレーム間予測
して符号化する画像符号化方法において、符号化対象フ
レームより表示時刻が前の2枚のフレームを参照フレー
ムとする画素補間によるフレーム間予測の場合に、符号
化対象フレームより表示時刻が前のフレームから任意に
2枚の参照フレームを選択し、前記2枚の参照フレームを
識別する情報を画像符号化信号中に格納することを、行
わせるものであることを特徴とする記憶媒体。
【請求項２０】コンピュータにより、画像復号を行う
ためのプログラムを格納した記憶媒体であって、上記プ
ログラムはコンピュータに、動画像をフレーム間予測し
て復号する画像復号方法において、復号対象フレームよ
り表示時刻が前の2枚のフレームを参照フレームとする
画素補間によるフレーム間予測の場合に、入力した画像
符号化信号中から２枚の参照フレームを識別するための
識別情報を復号し、前記識別情報が示す2枚のフレーム
を参照フレームとして画素補間による予測に使用するこ
とを、行わせるものであることを特徴とする記憶媒体。