JP4142929B2 - 動画像符号化方法および動画像符号化装置 - Google Patents
動画像符号化方法および動画像符号化装置 Download PDFInfo
- Publication number
- JP4142929B2 JP4142929B2 JP2002290693A JP2002290693A JP4142929B2 JP 4142929 B2 JP4142929 B2 JP 4142929B2 JP 2002290693 A JP2002290693 A JP 2002290693A JP 2002290693 A JP2002290693 A JP 2002290693A JP 4142929 B2 JP4142929 B2 JP 4142929B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoded
- coded
- intra
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、複数の符号化ピクチャもしくは復号化ピクチャを参照して動画像信号を符号化もしくは復号化する動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムを格納した記録媒体に関する。
【0002】
【従来の技術】
近年、音声、画像、およびその他の画素値等の情報を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式として表すことが必須条件となる。
【0003】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64kbits (電話品質)、更に動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は64kbps〜1.5Mbps の伝送速度を持つサービス総合ディジタル通信網(ISDN:Integrated Services Digital Network )によって既に実用化されているが、テレビカメラにより撮影された映像の情報をそのままISDNで送ることは不可能である。
【0004】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU―T(国際電気通信連合 電気通信標準化部門)で国際標準化されたH.261 やH.263 規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。
【0005】
ここで、MPEG(Moving Picture Experts Group)とは、動画像信号のディジタル圧縮の国際規格であり、MPEG-1は、動画像信号を1.5Mbps まで、つまりテレビ信号の情報を約 100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbps に制限されていることから、更なる高画質化の要求を満たすべく規格化されたMPEG-2では、動画像信号が2〜15Mbpsに圧縮される。
【0006】
更に現状では、MPEG-1、MPEG-2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ITU―Tでは次世代画像符号化方式として、H.26L の標準化活動が開始された。
【0007】
MPEG-1、MPEG-2、MPEG-4では直前に符号化もしくは復号化したピクチャの画像信号(参照画像)を参照し、参照画像と被符号化・復号化画像との差分値を符号化・復号化する画面間符号化(Inter Predictive Coded Picture:以下Inter Pictureと略す)を用いることで、大幅な圧縮率を可能にした(例えば、非特許文献1参照。)。
【0008】
更に、時間方向および空間方向の冗長性を削減することによって情報量の圧縮が実現できる。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、既に符号化・復号化したピクチャ(参照画像)を参照して予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。
【0009】
2001年9月時点のH.26L 規格案では更に圧縮率を向上するため、直前に符号化もしくは復号化したピクチャのみを参照するだけでなく、被符号化・復号化画像より前に符号化・復号化した複数のピクチャから任意のピクチャを選択して参照画像とすることが可能になっている。
【0010】
図15に従来の動画像符号化方法および動画像復号化方法の概念の説明図を示す。図15は被符号化・復号化ピクチャより前の3ピクチャから任意のピクチャを選択し、参照画像とする例である。図15で各ピクチャは表示時刻の順序で並んでおり、左のピクチャの表示時刻が早い。符号化の順序も左のピクチャが早く符号化される。従って、ビットストリームの順序もピクチャJ1、ピクチャJ2、ピクチャJ3、ピクチャJ4である。従って、被符号化・復号化ピクチャがピクチャJ4の場合は、ピクチャJ1、ピクチャJ2、ピクチャJ3の中から1つを選択して参照画像とすることが可能であり、被符号化・復号化ピクチャがピクチャJ5の場合は、ピクチャJ2、ピクチャJ3、ピクチャJ4の中から1つを選択して参照画像とすることが可能である。
【0011】
図16は従来の動画像符号化装置の構成を示すブロック図である。
動画像符号化装置4は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出ユニット401、選択ユニット402、画像信号減算ユニット403、符号化ユニット404、復号化ユニット405、加算ユニット406、選択ユニット407、およびメモリ408〜410を備えている。
【0012】
動き検出ユニット401は、メモリ408〜410に格納されている既に符号化された画像である参照画像をそれぞれ読み出し、入力された画像信号Vin と比較することで画面間差分値の大きさ(誤差エネルギー)が小さい参照画像Refとその画面間差分値が小さくなる画素位置を示す動き情報MVを決定する。通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、最近は単純に誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定する手法も利用されている。なお、参照画像Refおよび画素位置の情報をまとめて動き情報MVと呼ぶことにする。選択ユニット402は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ408〜410に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択された参照画像Ref を出力する。減算ユニット403は、画像信号Vin と参照画像Ref の差分画像信号Dif を計算する。
【0013】
符号化ユニット404は、差分画像信号Dif と参照画像を特定するための情報である動き情報MVとを符号化する。復号化ユニット405は、符号化ユニット404により符号化された符号化データCoded を復号化して復元差分画像信号RecDifを得る。加算ユニット406は、参照画像Ref と復元差分画像信号RecDifとを加算する。選択ユニット407は、入力された復号画像信号Recon を後続のピクチャの符号化で参照画像として参照可能とするため、メモリ408〜410のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【0014】
次に、上記のように構成された動画像符号化装置の動作について説明する。
【0015】
画像信号Vin は、画像信号減算ユニット403と動き検出ユニット401に入力される。動き検出ユニット401は、メモリ408〜410に格納されている既に復号化された画像である参照画像Ref1、参照画像Ref2、参照画像Ref3を読み出し、入力された画像信号Vin と比較することで画面間差分値の大きさが最小となる参照画像を決定し、その参照画像および参照する画素位置を特定するための情報である動き情報MVを出力する。
【0016】
また同時に、動き検出ユニット401は、選択ユニット402が動き情報MVに対応する参照画像を選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する。なお、シーンチェンジ等では画面間の相関が失われるため、画面間符号化すると被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化(Intra Coding Picture:以下Intra Pictureと略す)よりも圧縮率が低下することがある。その場合には、動き検出ユニット401は、動き情報MVで画面内符号化であることを示し、常に値0を出力する参照画像Ref4を参照画像Ref として出力するための参照画像指示信号RefFrmを出力する。なお、参照画像Ref4の値は必ずしも0である必要は無く、例えば値0から255をとる輝度信号やRGBカラー信号の場合は平均値の128としてもよい。
【0017】
また、エラー伝播防止や画像符号化信号の途中からの画像再生を可能にするためには、一定数のピクチャ毎に被符号化ピクチャの画像符号化信号のみで復元可能な画面内符号化を行う必要がある。そこで、外部から与える画面内符号化指示信号Reset の指示により、強制的に動き検出ユニット401で画面内符号化に切り替えることができる。
【0018】
一方、画像信号Vin が入力された減算ユニット403は、この画像信号Vin と選択ユニット402により選択された参照画像Ref との差分を計算し、差分画像信号Dif を符号化ユニット404へ出力する。次に、符号化ユニット404は、差分画像信号Dif と動き検出ユニット401が出力した動き情報MVを符号化し、画像符号化信号Str と符号化データCoded を出力する。ここで、符号化データCoded は画像を復元するために必要なデータであり、画像符号化信号Str は符号化データCoded を更に可変長符号化等のビットストリームに変換したものである。
【0019】
復号化ユニット405は、符号化データCoded を復号化して復元差分画像信号RecDifを加算ユニット406へ出力する。加算ユニット406は、復元差分画像信号RecDifと、選択ユニット402により選択された参照画像Ref とを加算し、復号画像信号Recon を選択ユニット407へ出力する。選択ユニット407は、復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ408〜410のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本例では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Recon で上書きされるように選択ユニット407で切り替えが行われる。
【0020】
図17は従来の動画像復号化装置の構成を示すブロック図である。
動画像復号化装置5は、上記のように動画像符号化装置4により符号化された画像符号化信号Str を復号化する装置である。
【0021】
復号化ユニット501は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。動き復元ユニット502は動き情報MVを復号化し、参照画像指示信号RefFrmを出力する。選択ユニット503、選択ユニット505、メモリ506〜508の動作は図16に示す動画像符号化装置4の選択ユニット402、選択ユニット407、およびメモリ408〜410と同じである。加算ユニット504は復元差分画像信号RecDifと参照画像Ref を加算して復号画像信号Vout(これは図16では復号画像信号Recon に相当)を出力する。
【0022】
なお、前記動画像符号化装置4および動画像復号化装置5には、図示しない動き補償ユニットがそれぞれ選択ユニット402および選択ユニット503の出力側に設けられ、メモリから出力した参照画像の画素値から1/2画素位置精度等の画素値である小数画素位置精度の画素値を補間生成する動き補償を行っている。
【0023】
【非特許文献1】
ISO/IEC 13818-2 「INTERNATIONAL STANDARD Information technology ? Generic coding of moving pictures and associated audio information : Video」2000年12月15日、p.7、Intro.4.1.1
【0024】
【発明が解決しようとする課題】
ところで、上記のような従来の動画像符号化装置および従来の動画像復号化装置では、参照画像が画面内符号化された画像(Intra Picture)であるか画面内符号化された画像以降に画面間符号化された画像(Inter Picture)であるかを全く区別していない。例えば、図15の従来の動画像符号化方法および動画像復号化方法の概念の説明図では、ピクチャJ2が画面内符号化されたピクチャであり、それ以外のピクチャJ1、ピクチャJ3、ピクチャJ4、ピクチャJ5が画面間符号化されたピクチャであるが、ピクチャJ4の参照画像としてピクチャJ1の参照も可能になる。もし、ピクチャJ4が参照画像としてピクチャJ1を参照した場合、画面内符号化されたピクチャJ2より前のピクチャを参照画像として参照したことになる。
【0025】
しかしながら、画像を途中から再生しようした場合、例えば画像符号化信号の途中の画面内符号化されたピクチャJ2から画像を復号化し再生しようとしても、ピクチャJ4を復号化する際には復号化されたピクチャJ1の参照が必要となる。このため、ピクチャJ4以降のピクチャが正しく復号化できないという問題が生じる。
【0026】
また、例えば画像符号化信号の途中でストリーム誤りが発生し、ピクチャJ1が誤りによって正しく復号化できない場合、画面内符号化されたピクチャJ2は正しく復号化できるが、ピクチャJ4を復号化する際にはピクチャJ1の参照を必要となるため、ピクチャJ4以降のピクチャが正しく復号化できないという問題が生じる。
【0027】
そこで、本発明は上記の事情に鑑みてなされたものであり、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができ、また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することができる動画像符号化方法および動画像復号化方法等を提供することを目的とする。
【0028】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る動画像符号化方法は、動画像を符号化する符号化方法であって、前記符号化方法は、画面内符号化方法と画面間符号化方法を含み、前記画面間符号化方法で符号化される画面間符号化ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するものであり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定ステップと、前記画面内符号化ピクチャが前記指定ステップで基準ピクチャとして指定された場合には、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャであることを示す情報を符号化する符号化ステップとを含むことを特徴とする。
【0029】
また、本発明に係る動画像符号化方法は、前記指定ステップで指定された前記基準ピクチャ以降に符号化されるピクチャは、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止すべく、前記指定ステップで指定された前記基準ピクチャより前に位置するピクチャを削除するステップを含むことを特徴とする。
【0030】
また、本発明に係る動画像符号化装置は、動画像を符号化する符号化装置であって、前記符号化装置は、画面内符号化手段と画面間符号化手段を含み、前記画面間符号化手段で符号化される画面間符号化ピクチャの符号化の際は、前記画面内符号化手段で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するものであり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、前記画面内符号化ピクチャが前記指定手段で基準ピクチャとして指定された場合には、前記基準ピクチャ以降に符号化される画面間符号化ピクチャの符号化に対しては、前記指定手段で指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャであることを示す情報を符号化する符号化手段とを備えたことを特徴とする。
【0031】
また、本発明に係る動画像符号化方法は、動画像を符号化する符号化方法であって、前記符号化方法は、画面内符号化方法と画面間符号化方法を含み、前記画面間符号化方法で符号化される画面間符号化ピクチャを符号化する際は、前記画面内符号化方法で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するものであり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定ステップと、前記画面内符号化ピクチャが前記指定ステップで基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、前記画面内符号化ピクチャが前記指定ステップで前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャ、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャ及び前記指定されなかった画面内符号化ピクチャより表示順で後のピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化ステップとを含むことを特徴とする。
【0032】
また、本発明に係る動画像符号化方法は、前記指定ステップで指定された前記基準ピクチャ以降に符号化されるピクチャは、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止すべく、前記指定ステップで指定された前記基準ピクチャより前に位置するピクチャを削除するステップを含むことを特徴とする。
【0033】
また、本発明に係る動画像符号化装置は、動画像を符号化する符号化装置であって、前記符号化装置は、画面内符号化手段と画面間符号化手段を含み、前記画面間符号化手段で符号化される画面間符号化ピクチャの符号化の際は、前記画面内符号化手段で符号化される画面内符号化ピクチャ、前記画面内符号化ピクチャより表示順で前に位置するピクチャ、及び前記画面内符号化ピクチャより表示順で後に位置するピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するものであり、前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、前記画面内符号化ピクチャが前記指定手段で基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定手段で指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、前記画面内符号化ピクチャが前記指定手段で前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャ、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャ及び前記指定されなかった画面内符号化ピクチャより表示順で後のピクチャのうちの少なくとも1つのピクチャを参照ピクチャとして選択するとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化手段とを備えたことを特徴とする。
【0036】
さらに、本発明は、前記動画像符号化方法におけるステップをコンピュータに実行させるプログラムとして、また前記動画像符号化方法により符号化したストリームデータとして実現し、CD−ROMや通信ネットワーク等の記録媒体や伝送媒体を介して流通させたりすることもできる。
【0037】
例えば、ピクチャがピクチャJ1、ピクチャJ2、ピクチャJ3、ピクチャJ4、ピクチャJ5の順に符号化され、ピクチャJ2が画面内符号化されたピクチャであり、それ以外のピクチャJ1、ピクチャJ3、ピクチャJ4、ピクチャJ5が画面間符号化されたピクチャであるとする。すなわち、ビットストリームの順序はピクチャJ1、ピクチャJ2、ピクチャJ3、ピクチャJ4、ピクチャJ5の順序である。
【0038】
この場合、本発明に係る動画像符号化方法および動画像符号化装置では、画面間符号化を行う時に参照画像として選択可能なピクチャは、例えばピクチャJ5を符号化する時には、ピクチャJ2、ピクチャJ3、ピクチャJ4の参照が可能である。また、ピクチャJ4を符号化する時には、画面内符号化されたピクチャJ2より前のピクチャJ1を参照することは禁止されるため、ピクチャJ2とピクチャJ3のみが参照可能となる。
【0039】
【発明の実施の形態】
以下、本発明の実施の形態について、図1から図14を用いて説明する。
【0040】
(実施の形態1)
図1は本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。なお、図16に示す従来の動画像符号化装置4の各ユニットと同じ動作をする機器は同じ記号を付す。
【0041】
動画像符号化装置1は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出ユニット101、選択ユニット402、画像信号減算ユニット403、符号化ユニット404、復号化ユニット405、加算ユニット406、選択ユニット407、メモリ408〜410、およびカウンタユニット102を備えている。
【0042】
カウンタユニット102は、外部から入力される画面内符号化指示信号Resetで画面内符号化が指示されると、画面内符号化されたピクチャからのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Numとして動き検出ユニット101に通知する。
【0043】
動き検出ユニット101は、参照可能ピクチャ数Num に基づいて、メモリ408〜410に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から画面内符号化以降に符号化および復号化したものだけを対象として、それぞれ画像信号Vin と比較することで画面間差分値の大きさ(誤差エネルギー)が小さい参照画像Refとその画面間差分値の大きさが小さくなる画素位置を示す動き情報MVを決定する。なお、通常は、誤差エネルギーが最小となる参照画像Refおよび画素位置を決定することが多いが、誤差エネルギーが最小となるのではなく、誤差エネルギーが小さく且つ圧縮率が大きくできるように動き情報MVを決定してもよい。参照画像Refを示すために、参照画像指示信号RefFrmを選択ユニット402に出力する。
【0044】
選択ユニット402は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ408〜410に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Ref として出力する。
【0045】
減算ユニット403は、画像信号Vin と参照画像Ref の差分画像信号Dif を計算する。符号化ユニット404は、差分画像信号Dif と、参照画像を特定するための情報である動き情報MVとを符号化し、画像符号化信号Str と符号化データCoded を出力する。ここで、符号化データCoded は画像を復元するために必要なデータ(動き情報MVや差分画像信号Difを符号化したデータ)であり、画像符号化信号Strは符号化データCoded を更に可変長符号化等のビットストリームに変換したものである。
【0046】
復号化ユニット405は、符号化データCoded を復号化して復元差分画像信号RecDifを得る。加算ユニット406は、参照画像Ref と復元差分画像信号RecDifを加算する。選択ユニット407は、入力された復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ408〜410のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した復号画像信号が新しい復号画像信号Recon で上書きされるように選択ユニット407で切り替えを行う。
【0047】
次に、上記のように構成された動画像符号化装置の動作について説明する。
【0048】
図2は、動き検出ユニット101の動作を示すフロー図である。
画像信号Vin は、画像信号減算ユニット403および動き検出ユニット101に入力される。
【0049】
動き検出ユニット101は、画像信号Vin が入力されると、メモリ408に格納されている参照画像Ref1を読み出す(ステップS1)。次に、動き検出ユニット101は、この参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット102より通知された参照可能ピクチャ数Num とに基づいて、例えば式(A)を用いて判断を行う(ステップS2)。ここでピクチャ番号は符号化されたピクチャにつく識別番号であり、下記の特徴を有する。
【0050】
つまり、画像信号Vin のピクチャ番号は、メモリ408〜410に保存されて参照画像となるピクチャで最も最近保存されたピクチャのピクチャ番号より1だけ大きい。
【0051】
参照画像のピクチャ番号
≧ 画像信号Vin のピクチャ番号−参照可能ピクチャ数Num ……(A)
【0052】
この結果、上式(A)を満たす場合は参照画像Ref1が画面内符号化されたピクチャ以降のピクチャであるので、動き検出ユニット101は、画像信号Vin と参照画像Ref1との差分値を算出する(ステップS3)。一方、上式(A)を満たさない場合は、差分の算出を行わない。
【0053】
次に、動き検出ユニット101は、メモリ409に格納されている参照画像Ref2およびメモリ410に格納されている参照画像Ref3について、上記の参照画像Ref1について行った処理と同様の処理をそれぞれ行う(ステップS1〜ステップS3)。
【0054】
次に、動き検出ユニット101は、上記のように差分の算出を行った参照画像の中で画面間差分値の大きさが最も小さい参照画像を決定する(ステップS4)。そして、動き検出ユニット101は、決定した参照画像を特定するための情報である動き情報MVとして出力し、同時に、決定した参照画像を選択ユニット402が選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する(ステップS5)。
【0055】
なお、ステップS3における差分値の算出をした後、ステップS4において差分の算出を行った参照画像の中で画面間差分値の大きさが小さい参照画像を決定し、ステップS1,ステップS2,ステップS3,ステップS4をメモリ408から410において繰返すようにしてもよい。
【0056】
一方、画像信号Vin が入力された減算ユニット403は、この画像信号Vin と、選択ユニット402により選択された参照画像Ref との差分を計算し、差分画像信号Dif を符号化ユニット404へ出力する。次に、符号化ユニット404は、差分画像信号Dif と、動き検出ユニット101が出力した動き情報MVとを符号化し、画像符号化信号Str と符号化データCoded を出力する。
【0057】
復号化ユニット405は、符号化データCoded を復号化して復元差分画像信号RecDifを加算ユニット406へ出力する。加算ユニット406は、復元差分画像信号RecDifと、選択ユニット402により選択された参照画像Ref とを加算し、復号画像信号Recon を選択ユニット407へ出力する。選択ユニット407は、復号画像信号Recon を後続のピクチャの符号化時に参照画像として参照可能とするため、メモリ408〜410のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【0058】
図3は、画像符号化時に参照画像として選択可能なピクチャを示す説明図である。図15と同様にピクチャJ2が画面内符号化されたピクチャであり、それ以外のピクチャJ1、ピクチャJ3、ピクチャJ4、ピクチャJ5が画面間符号化されたピクチャである。ビットストリームの符号化順序はピクチャJ1、ピクチャJ2、ピクチャJ3、ピクチャJ4、ピクチャJ5の順序である。
【0059】
上記のように動画像符号化装置1が動作することによって、画面間符号化を行う時に参照画像として選択可能なピクチャは、図3に示すように例えばピクチャJ5を符号化する時には、ピクチャJ2、ピクチャJ3、ピクチャJ4の参照が可能である。また、ピクチャJ4を符号化する時には、画面内符号化されたピクチャJ2より前のピクチャJ1を参照することは禁止されるため、ピクチャJ2とピクチャJ3のみが参照可能となる。
【0060】
以上のように、画面内符号化されたピクチャ以降に符号化したピクチャのみを参照画像として参照した符号化を行っているので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号Str が生成できる。
【0061】
また、DVDやハードディスクに記録された画像信号を途中から再生するためには、この途中から復元可能な仕組みが必要であり、途中から再生を開始したいピクチャでReset の指示を行う。このReset の指示は画像を符号化する際に操作者が決定し指示をしても良いし、一定のピクチャ周期もしくは時間が経過する毎にReset の指示を出すようにしてもよい。
【0062】
なお、各ピクチャが画面内符号化されているか、画面間符号化されているか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態1で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を符号化してもよい(図4)。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶されたピクチャを参照しないようにしてもよい。
【0063】
また、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャによって、画面内符号化されているピクチャを基準に、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
【0064】
また、画面内符号化指示信号Resetは、画面内符号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を符号化してもよい。
【0065】
図5は本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。なお、図17に示す従来の動画像復号化装置5の各ユニットと同じ動作をする機器は同じ記号を付す。
【0066】
動画像復号化装置2は、上記実施の形態1に示した動画像符号化装置1が符号化した画像符号化信号Str を復号化する装置であり、復号化ユニット201、動き復元ユニット202、選択ユニット503、加算ユニット504、選択ユニット505、メモリ506〜508、およびカウンタユニット203を備えている。
【0067】
復号化ユニット201は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDif、動き情報MV、および画面内符号化指示信号Reset を出力する。カウンタユニット203は、画面内符号化指示信号Reset で画面内符号化が指示されると、画面内符号化からのピクチャ数の計数を開始し、その結果を参照可能ピクチャ数Num として動き復元ユニット202に通知する。
【0068】
動き復元ユニット202は動き情報MVを復号化し、この動き情報MVに対応する参照画像が、参照可能ピクチャ数Num に基づいて参照可能なピクチャであるか否かの判断を行った上で、参照画像を決定する。
【0069】
選択ユニット503は、切り替え指示信号である参照画像指示信号RefFrmに基づいてメモリ506〜508に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3の中から選択し、参照画像Ref として出力する。加算ユニット504は復元差分画像信号RecDifと参照画像Ref を加算して復号画像信号Vout1 (これは図1では復号画像信号Recon に相当)を出力する。
【0070】
選択ユニット505は、入力された復号画像信号Vout1 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ506〜508のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。本実施の形態では、最も古い時刻にメモリに保存した画像が新しい復号画像信号Recon で上書きされるように選択ユニット505で切り替えが行われる。
【0071】
次に、上記のように構成された動画像復号化装置の動作について説明する。
【0072】
図6は、動き復元ユニット202の動作を示すフロー図である。
画像符号化信号Str は、復号化ユニット201に入力される。復号化ユニット201は、入力された画像符号化信号Str を復号化し、復元差分画像信号RecDifと動き情報MVとを出力する。また、復号化ユニット201は、入力された画像符号化信号Str が画面内符号化されたピクチャである場合、画面内符号化指示信号Reset を出力する。
【0073】
カウンタユニット203は、復号化ユニット201より画面内符号化指示信号Reset が入力されると、画面内符号化されたピクチャからのピクチャ数の計算を開始し、参照可能ピクチャ数Num として動き復元ユニット202に通知する。
【0074】
動き情報MVと参照可能ピクチャ数Num とが入力された動き復元ユニット202は、参照画像を特定するための情報である動き情報MVに基づいて符号化時に参照した参照画像を特定する(ステップS11)。次に、動き復元ユニット202は、この参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行う。すなわち、各ピクチャ固有のピクチャ番号とカウンタユニット203より通知された参照可能ピクチャ数Num とに基づいて、例えば以下の式(B)を用いて判断を行う(ステップS12)。
【0075】
参照画像のピクチャ番号
≧ 画像符号化信号Str のピクチャ番号−参照可能ピクチャ数Num ……(B)
【0076】
この結果、上式(B)を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、動き復元ユニット202は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する(ステップS13)。
【0077】
一方、上式(B)を満たさない場合は、参照画像が画面内復号化されたピクチャより前のピクチャである。本来、符号化時には画面内符号化されたピクチャ以降のピクチャのみを参照して符号化されているはずである。従って、動き情報MVに基づいて特定された復号化に必要な参照画像は、参照可能ピクチャ数Num から得られる画面内復号化されたピクチャ以降に復号化したピクチャであるはずである。しかしながら、伝送誤り等により画面内復号化されたピクチャより前に復号化したピクチャを参照する、すなわち上式(B)を満たさない可能性がある。そこで、動き復元ユニット202は、上式(B)を満たさない場合に復号化に使用する参照画像をあらかじめ設定する以下に説明する方法1〜3のいずれかによって選択する(ステップS14)。
【0078】
図7は復号化に使用する参照画像の方法1〜3による選択について説明する説明図であり、(a) 復号化に使用する参照画像の説明図、(b) ピクチャの位置関係を示す説明図である。ここでは、ピクチャP4の復号化時を示し、ピクチャP2が画面内復号化されたピクチャであり、それ以外のピクチャP1、ピクチャP3、ピクチャP4が画面間復号化されたピクチャである。ピクチャの表示時刻の順序およびピクチャの復号開始時刻(ストリーム中の位置)の順序はピクチャP1、ピクチャP2、ピクチャP3、ピクチャP4の順序で古い時刻である。
【0079】
(方法1)
動き情報MVに基づいて特定された参照画像(ピクチャP1)を、そのまま復号化に使用する参照画像として選択する。この場合、もし、符号化時に誤って画面内符号化されたピクチャより前のピクチャを参照して符号化されていても、ピクチャP1が正しく復号化できていれば正しく復号化できる。
【0080】
(方法2)
画面内復号化されたピクチャ(ピクチャP2)を、復号化に使用する参照画像として選択する。この場合、画面内復号化されたピクチャは参照画像として参照可能なピクチャの中で最も前に復号化されたピクチャであるから、参照可能なピクチャの中で画面内復号化されたピクチャより前のピクチャと最も相関が強く、符号化した際の参照画像が画面内復号化されたピクチャより前に復号化されたピクチャであった場合に画質が損なわれない可能性が高い。
【0081】
(方法3)
直前に復号化されたピクチャ(ピクチャP3)を、復号化に使用する参照画像として選択する。一般的に画像信号は時間間隔が短いほど相関が高く、その結果、直前に復号化されたピクチャが参照画像となる確率が非常に高い。従って、動き情報MVに基づいて特定された参照画像が間違っているとすれば、最も相関が強い直前に復号化されたピクチャが本来の参照画像である可能性が高く、画質が損なわれない可能性が高い。
【0082】
なお、これらの方法1から方法3はいずれか1つを用いても、複数の方法を組み合わせて用いてもいずれでもよい。組合せの例としては、方法1において動き情報MVに基づいて特定された参照画像(ピクチャP1)を、そのまま復号化に使用する参照画像として選択できないときに、例えば方法3に示す直前に復号化されたピクチャを、復号化に使用する参照画像として選択するといったデフォルト処理を行うようにする。
【0083】
次に、動き復元ユニット202は、メモリ506〜508に格納されている参照画像Ref1、参照画像Ref2、参照画像Ref3を順次読み出し、上記のように選択された参照画像であるか否かの判断を行う(図6、ステップS15)。すなわち、選択された参照画像がメモリ506〜508のどこに格納されているかを特定する。そして、特定した参照画像Ref1、参照画像Ref2、参照画像Ref3のいずれかを選択ユニット503が選択して参照画像Ref として出力できるように、切り替え指示信号である参照画像指示信号RefFrmを出力する(図6、ステップS16)。
【0084】
加算ユニット504は、参照画像Ref と復号化ユニット201の出力した復元差分画像信号RecDifとを加算して、復号画像信号Vout1 (これは図1では復号画像信号Recon に相当)を選択ユニット505へ出力する。選択ユニット505は、入力された復号画像信号Vout1 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ506〜508のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【0085】
以上のように、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号Str を正しく復号化して復号画像信号Vout1 を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
【0086】
なお、本実施の形態では、動き復元ユニット202が復号化に使用する参照画像を選択する方法1〜3があらかじめ設定されているが、本発明はこれに限られるものではない。例えば、動き情報MVで特定されるピクチャが参照可能なピクチャ数と大きく違っている場合は方法3、動き情報MVで特定されるピクチャがメモリ内に格納されていて参照可能な場合は方法1、それ以外は方法2というように状況に応じて3つの方法を、もしくはその中の2つの方法を動的に切り替えてもよい。
【0087】
また、各ピクチャが画面内復号化されるか、画面間復号化されるか等の情報は各ピクチャの補助情報として各ピクチャが有している。そこで、さらに上記実施の形態1で説明した画面内符号化されたピクチャが、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を含む画像符号化信号Strを受信し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号を復号化してもよい。そして、画面内符号化されたピクチャでありかつ、この画面内符号化指示信号Resetにより特定されたピクチャであることを示されたピクチャであるときに、この特定されたピクチャより前にメモリに記憶された(復号化された)ピクチャを参照しないようにしてもよい。
【0088】
また、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャを参照しないことを意味したが、画面内復号化されているピクチャによって、画面内復号化されているピクチャを基準に、画面内復号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するようにしてもよい。
【0089】
さらに、画面内符号化されているピクチャより前に記憶されたピクチャをメモリ内から削除するために、この画面内符号化指示信号Resetとは別の制御命令を含む画像符号化信号Strを受信し、この制御命令を復号し、画面内符号化指示信号Resetにより特定されたピクチャであることを示す信号とともに受信しているかを判別し、エラー制御をするようにしてもよい。
【0090】
(実施の形態2)
次に、本発明の実施の形態2の動画像復号化装置について説明する。
【0091】
図8は本発明に係る動画像復号化装置の実施の形態2の構成を示すブロック図である。なお、図5に示す動画像復号化装置2の各ユニットと同じ動作をする機器は同じ記号を付し、説明を省略する。
【0092】
動画像復号化装置3は、図5に示す動画像復号化装置2の構成に選択ユニット301を加えて備え、伝送誤り等により動き情報MVにより特定される参照画像が、画面内復号化されたピクチャより前に復号化したピクチャである場合の動作が実施の形態1と異なる。
【0093】
選択ユニット301は、動き復元ユニット302より通知されるエラー通知信号Err に基づいて、加算ユニット504より出力される復号画像信号Recon 、または選択ユニット503より出力される参照画像Ref のどちらかを復号画像信号Vout2 として出力する。
【0094】
次に、上記のように構成された動画像復号化装置の動作について説明するが、上記実施の形態1と同様の部分については説明を省略する。
【0095】
図9は、動き復元ユニット302の動作を示すフロー図である。
図9に示すステップS21〜S22までの動作は、図6に示すステップS11〜S12までの動作と同様である。次に、動き復元ユニット302は、特定した参照画像が画面内復号化されたピクチャ以降のピクチャであるか否かの判断を行った結果、上式(B)を満たさない場合、すなわち参照画像が画面内復号化されたピクチャより前に復号化したピクチャである場合、誤りがあるとしてエラー通知信号Err を選択ユニット301に対して通知する。また、動き復元ユニット302は、直前に復号化した復号化画像を参照画像および復号画像信号として選択する(ステップS23)。すなわち、エラー通知信号Errを通知した場合は選択ユニット301は参照画像Refを復号画像信号Vout2として出力するため、直前に復号化した復号化画像を参照画像とすることは、直前に復号化した復号化画像を復号画像信号とすることになる。
【0096】
一方、上記判断の結果、上式(B)を満たす場合は参照画像が画面内復号化されたピクチャ以降のピクチャであるので、上記実施の形態2と同様に動き復元ユニット302は、動き情報MVに基づいて特定された参照画像を復号化に使用する参照画像として選択する(ステップS24)。
【0097】
次の図9に示すステップS25〜S26までの動作は、図6に示すステップS15〜S16までの動作と同様である。
【0098】
次に、加算ユニット504は、参照画像Ref と復号化ユニット201の出力した復元差分画像信号RecDifとを加算して、復号画像信号Recon を出力する。選択ユニット301は、動き復元ユニット302よりエラー通知信号Err が通知されていない場合には、加算ユニット504より出力される復号画像信号Recon を復号画像信号Vout2 として出力し、エラー通知信号Err が通知された場合には、選択ユニット503より出力される参照画像Ref を復号画像信号Vout2 として出力する。すなわち、エラー通知信号Err が通知された場合には、直前に復号化された復号化画像をそのまま復号画像信号Vout2 として出力することになる。
【0099】
選択ユニット505は、入力された復号画像信号Vout2 を後続のピクチャの復号化時に参照画像として参照可能とするため、メモリ506〜508のいずれかに復号画像信号Rec1、復号画像信号Rec2、復号画像信号Rec3として出力する。
【0100】
以上のように、例えば伝送誤り等により画面内復号化されたピクチャより前のピクチャを参照するという誤りが発生した場合に、最も画素の相関が強い直前の復号化画像である参照画像Ref を復号画像信号Vout2として出力しているので、誤りによる画像劣化の影響を最小限に抑えることができる。
【0101】
なお、上記各実施の形態では、メモリの個数は3としたため最大3ピクチャの符号化画像を参照可能であるが、これに限られるものではなく、メモリの個数を増加すればより多くの符号化画像を参照した符号化および復号化が可能である。
【0102】
また、上記各実施の形態では、前記動画像符号化装置1および動画像復号化装置2、3には、図示しない動き補償ユニットがそれぞれ選択ユニット402および選択ユニット503の出力側に設けられ、画素のピクチャ間の動き量を補正する動き補償を行っている。
【0103】
また、上記各実施の形態では、画面間符号化を行う時に、画面内符号化されたピクチャが存在するとそのすべてについて、それより前に符号化されたピクチャを参照画像として参照しないように制限しているが、本発明はこれに限られるものではない。例えば、画面内符号化されたピクチャであっても、それより前に符号化されたピクチャを参照画像として参照しないように制限しない、すなわち従来のようにそれより前に符号化されたピクチャを参照画像として参照することができる種類の画面内符号化されたピクチャを設け、必要に応じて使い分けることも可能である。この場合、2種類の画面内符号化されたピクチャを区別するための情報は、例えば画像符号化信号Str 内のヘッダ情報等に格納することができる。
【0104】
さらに、上記各実施の形態におけるカウンタユニット102、203での計数は、ピクチャの符号化および復号化順(Decoding order)でなく、ピクチャの表示順(Display order )であっても構わない。
【0105】
(実施の形態3)
更に、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【0106】
図10は、上記実施の形態1および実施の形態2の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【0107】
図10(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図10(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。
【0108】
また、図10(c) は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブFDDを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムをフレキシブルディスクFDから読み出し、コンピュータシステムに転送する。
【0109】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
【0110】
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【0111】
図11は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
【0112】
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
【0113】
しかし、コンテンツ供給システムex100は図11のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
【0114】
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
【0115】
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
【0116】
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【0117】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【0118】
図12は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
【0119】
さらに、携帯電話ex115について図13を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。
【0120】
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
【0121】
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
【0122】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
【0123】
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
【0124】
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
【0125】
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。
【0126】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
【0127】
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
【0128】
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【0129】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図14に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
【0130】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。
【0131】
なお、カーナビゲーションex413の構成は例えば図13に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
【0132】
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
【0133】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【0134】
また、上記実施の形態に示した動画像符号化方法および動画像復号化方法は、例えばDVD、SDカード、メモリ等の記憶メディアに記録したストリームデータを途中再生する場合に有効である。
【0135】
【発明の効果】
以上の説明から明らかなように、本発明に係る動画像符号化方法は、動画像をピクチャの単位で符号化する方法であって、メモリに格納された複数のピクチャの中から、画面内符号化されたピクチャ以降に符号化された1つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャと被符号化ピクチャとの差分である差分画像信号を算出し、得られた差分画像信号を符号化する符号化ステップと、符号化された前記差分画像信号を復号化し、前記参照ピクチャの画像信号と加算し、得られたピクチャを前記メモリに格納する格納ステップとを含むことを特徴とする。
【0136】
これによって、画面内符号化されたピクチャより前のピクチャを参照画像として参照した符号化を行わないので、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能なストリームである画像符号化信号が生成できる。このように、蓄積メディアで重要な途中からの再生や、無線・有線伝送時に重要な伝送時の誤り耐性の点での長所が大きく、実際のアプリケーションにおいて優れている。
【0137】
また、本発明に係る動画像復号化方法は、動画像をピクチャの単位で復号化する方法であって、入力された画像符号化信号を復号化する復号化ステップと、メモリに格納された複数のピクチャの中から、画面内復号化されたピクチャ以降に復号化された1つのピクチャを参照ピクチャとして特定する特定ステップと、特定された参照ピクチャを前記メモリから読み出し、読み出した参照ピクチャの画像信号を、復号化された被復号化ピクチャの差分画像信号と加算し、得られたピクチャを外部に出力するとともに、前記メモリに格納する格納ステップとを含むことを特徴とする。
【0138】
これによって、画面内復号化されたピクチャ以降のピクチャのみを参照画像として参照して符号化した画像符号化信号を正しく復号化して復号画像信号を得ることができ、画像符号化信号の途中の画面内符号化されたピクチャから再生を行うことができる。また、ストリームにエラーが発生した場合であっても画面内符号化されたピクチャ以降はエラー無く再生することが可能である。
【図面の簡単な説明】
【図1】本発明に係る動画像符号化装置の一実施の形態の構成を示すブロック図である。
【図2】上記実施の形態での動き検出ユニットの動作を示すフロー図である。
【図3】上記実施の形態での画像符号化時に参照画像として選択可能なピクチャを示す説明図である。
【図4】本発明に係る動画像符号化装置の他の実施の形態の構成を示すブロック図である。
【図5】本発明に係る動画像復号化装置の一実施の形態の構成を示すブロック図である。
【図6】上記実施の形態での動き復元ユニットの動作を示すフロー図である。
【図7】上記実施の形態での復号化に使用する参照画像の方法1〜3による選択について説明する説明図であり、(a) 復号化に使用する参照画像の説明図、(b) ピクチャの位置関係を示す説明図である。
【図8】本発明に係る動画像復号化装置の実施の形態2の構成を示すブロック図である。
【図9】上記実施の形態での動き復元ユニットの動作を示すフロー図である。
【図10】上記実施の形態1および実施の形態2の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示した説明図である。
【図11】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図12】携帯電話の一例を示す図である。
【図13】携帯電話の内部構成を示すブロック図である。
【図14】ディジタル放送用システムの全体構成を示すブロック図である。
【図15】従来の動画像符号化方法および動画像復号化方法の概念の説明図である。
【図16】従来の動画像符号化装置の構成を示すブロック図である。
【図17】従来の動画像復号化装置の構成を示すブロック図である。
【符号の説明】
1、4 動画像符号化装置
2、3、5 動画像復号化装置
101 動き検出ユニット
102、203 カウンタユニット
201、405 復号化ユニット
202、302 動き復元ユニット
301、402、407、503、505 選択ユニット
403 画像信号減算ユニット
404 符号化ユニット
406、504 加算ユニット
408〜410、506〜508 メモリ
Cs コンピュータシステム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ
Claims (3)
- 動画像を符号化する符号化方法であって、
前記符号化方法は、画面内符号化方法と画面間符号化方法を含み、
前記画面間符号化方法で符号化される画面間符号化ピクチャを符号化する際は、前記画面間符号化ピクチャより表示順で前に位置するピクチャであって、前記画面内符号化方法で符号化される画面内符号化ピクチャより表示順で前に位置するピクチャを参照ピクチャとして選択することが可能であり、
前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定ステップと、
前記画面内符号化ピクチャが前記指定ステップで基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、
前記画面内符号化ピクチャが前記指定ステップで前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャを参照ピクチャとして選択することが可能になるとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化ステップと
を含むことを特徴とする動画像符号化方法。 - 前記指定ステップで指定された前記基準ピクチャ以降に符号化されるピクチャは、前記指定ステップで指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前のピクチャの参照を禁止すべく、前記指定ステップで指定された前記基準ピクチャより前に位置するピクチャを削除するステップを含む
ことを特徴とする請求項1記載の動画像符号化方法。 - 動画像を符号化する符号化装置であって、
前記符号化装置は、画面内符号化手段と画面間符号化手段を含み、
前記画面間符号化手段で符号化される画面間符号化ピクチャの符号化の際は、前記画面間符号化ピクチャより表示順で前に位置するピクチャであって、前記画面内符号化手段で符号化される画面内符号化ピクチャより表示順で前に位置するピクチャを参照ピクチャとして選択することが可能であり、
前記画面内符号化ピクチャを、参照ピクチャを制限するときに基準となる基準ピクチャとして指定する指定手段と、
前記画面内符号化ピクチャが前記指定手段で基準ピクチャとして指定された場合は、前記基準ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定手段で指定された前記基準ピクチャ以降に符号化されたピクチャのみを参照ピクチャとして選択し、前記基準ピクチャより前に符号化されたピクチャの参照を禁止するとともに、前記画面内符号化ピクチャが参照ピクチャを制限するときに基準となる基準ピクチャとして指定されたことを示す情報を符号化し、
前記画面内符号化ピクチャが前記指定手段で前記基準ピクチャとして指定されなかった場合は、前記基準ピクチャとして指定されなかった画面内符号化ピクチャ以降に符号化される画面間符号化ピクチャに対しては、前記指定されなかった画面内符号化ピクチャより表示順で前のピクチャを参照ピクチャとして選択することが可能になるとともに、前記画面内符号化ピクチャが前記基準ピクチャとして指定されなかったことを示す情報を符号化する符号化手段と
を備えたことを特徴とする動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002290693A JP4142929B2 (ja) | 2001-10-17 | 2002-10-03 | 動画像符号化方法および動画像符号化装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001319002 | 2001-10-17 | ||
JP2001-319002 | 2001-10-17 | ||
JP2002290693A JP4142929B2 (ja) | 2001-10-17 | 2002-10-03 | 動画像符号化方法および動画像符号化装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008039281A Division JP4275719B2 (ja) | 2001-10-17 | 2008-02-20 | 動画像復号化方法および動画像復号化装置 |
JP2008040319A Division JP4234771B2 (ja) | 2001-10-17 | 2008-02-21 | 送信装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003199112A JP2003199112A (ja) | 2003-07-11 |
JP2003199112A5 JP2003199112A5 (ja) | 2008-04-03 |
JP4142929B2 true JP4142929B2 (ja) | 2008-09-03 |
Family
ID=19136615
Family Applications (18)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002290693A Expired - Lifetime JP4142929B2 (ja) | 2001-10-17 | 2002-10-03 | 動画像符号化方法および動画像符号化装置 |
JP2008039281A Expired - Lifetime JP4275719B2 (ja) | 2001-10-17 | 2008-02-20 | 動画像復号化方法および動画像復号化装置 |
JP2008040319A Expired - Lifetime JP4234771B2 (ja) | 2001-10-17 | 2008-02-21 | 送信装置 |
JP2009007869A Expired - Lifetime JP4615604B2 (ja) | 2001-10-17 | 2009-01-16 | 動画像復号化方法および動画像復号化装置 |
JP2009160293A Expired - Lifetime JP4368942B2 (ja) | 2001-10-17 | 2009-07-06 | 復号化システム |
JP2009211097A Expired - Lifetime JP4405587B1 (ja) | 2001-10-17 | 2009-09-11 | 復号化システム |
JP2010133450A Expired - Lifetime JP4560135B1 (ja) | 2001-10-17 | 2010-06-10 | 符号化復号化装置 |
JP2010133449A Expired - Lifetime JP4560134B1 (ja) | 2001-10-17 | 2010-06-10 | 動画像復号化方法および動画像復号化装置 |
JP2010158188A Expired - Lifetime JP4615622B2 (ja) | 2001-10-17 | 2010-07-12 | 動画像復号化方法および動画像復号化装置 |
JP2010158191A Expired - Lifetime JP4615623B2 (ja) | 2001-10-17 | 2010-07-12 | 動画像復号化方法および動画像復号化装置 |
JP2010158198A Expired - Lifetime JP4581035B1 (ja) | 2001-10-17 | 2010-07-12 | 符号化復号化装置 |
JP2010158197A Expired - Lifetime JP4615624B2 (ja) | 2001-10-17 | 2010-07-12 | 受信装置 |
JP2010197152A Expired - Lifetime JP4907730B2 (ja) | 2001-10-17 | 2010-09-02 | 符号化復号化装置 |
JP2011046994A Expired - Lifetime JP4733239B1 (ja) | 2001-10-17 | 2011-03-03 | 送信・受信システム |
JP2011048145A Expired - Lifetime JP4733241B1 (ja) | 2001-10-17 | 2011-03-04 | 受信装置および受信方法 |
JP2011048141A Expired - Lifetime JP4733240B1 (ja) | 2001-10-17 | 2011-03-04 | 受信装置および受信方法 |
JP2011258213A Expired - Lifetime JP5401530B2 (ja) | 2001-10-17 | 2011-11-25 | 符号化復号化装置 |
JP2013108377A Expired - Lifetime JP5355807B2 (ja) | 2001-10-17 | 2013-05-22 | 符号化データ配信方法および配信システム |
Family Applications After (17)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008039281A Expired - Lifetime JP4275719B2 (ja) | 2001-10-17 | 2008-02-20 | 動画像復号化方法および動画像復号化装置 |
JP2008040319A Expired - Lifetime JP4234771B2 (ja) | 2001-10-17 | 2008-02-21 | 送信装置 |
JP2009007869A Expired - Lifetime JP4615604B2 (ja) | 2001-10-17 | 2009-01-16 | 動画像復号化方法および動画像復号化装置 |
JP2009160293A Expired - Lifetime JP4368942B2 (ja) | 2001-10-17 | 2009-07-06 | 復号化システム |
JP2009211097A Expired - Lifetime JP4405587B1 (ja) | 2001-10-17 | 2009-09-11 | 復号化システム |
JP2010133450A Expired - Lifetime JP4560135B1 (ja) | 2001-10-17 | 2010-06-10 | 符号化復号化装置 |
JP2010133449A Expired - Lifetime JP4560134B1 (ja) | 2001-10-17 | 2010-06-10 | 動画像復号化方法および動画像復号化装置 |
JP2010158188A Expired - Lifetime JP4615622B2 (ja) | 2001-10-17 | 2010-07-12 | 動画像復号化方法および動画像復号化装置 |
JP2010158191A Expired - Lifetime JP4615623B2 (ja) | 2001-10-17 | 2010-07-12 | 動画像復号化方法および動画像復号化装置 |
JP2010158198A Expired - Lifetime JP4581035B1 (ja) | 2001-10-17 | 2010-07-12 | 符号化復号化装置 |
JP2010158197A Expired - Lifetime JP4615624B2 (ja) | 2001-10-17 | 2010-07-12 | 受信装置 |
JP2010197152A Expired - Lifetime JP4907730B2 (ja) | 2001-10-17 | 2010-09-02 | 符号化復号化装置 |
JP2011046994A Expired - Lifetime JP4733239B1 (ja) | 2001-10-17 | 2011-03-03 | 送信・受信システム |
JP2011048145A Expired - Lifetime JP4733241B1 (ja) | 2001-10-17 | 2011-03-04 | 受信装置および受信方法 |
JP2011048141A Expired - Lifetime JP4733240B1 (ja) | 2001-10-17 | 2011-03-04 | 受信装置および受信方法 |
JP2011258213A Expired - Lifetime JP5401530B2 (ja) | 2001-10-17 | 2011-11-25 | 符号化復号化装置 |
JP2013108377A Expired - Lifetime JP5355807B2 (ja) | 2001-10-17 | 2013-05-22 | 符号化データ配信方法および配信システム |
Country Status (9)
Country | Link |
---|---|
US (15) | US7209520B2 (ja) |
EP (2) | EP1850600A3 (ja) |
JP (18) | JP4142929B2 (ja) |
KR (3) | KR100766657B1 (ja) |
CN (6) | CN100484248C (ja) |
BR (4) | BR0206157A (ja) |
CA (1) | CA2430919C (ja) |
MX (1) | MXPA03005034A (ja) |
WO (1) | WO2003034744A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100484248C (zh) * | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
US8175154B2 (en) * | 2003-06-03 | 2012-05-08 | General Instrument Corporation | Method for restructuring a group of pictures to provide for random access into the group of pictures |
EP1661409A2 (en) * | 2003-08-26 | 2006-05-31 | Thomson Licensing S.A. | Method and apparatus for minimizing number of reference pictures used for inter-coding |
JP4574444B2 (ja) * | 2005-05-27 | 2010-11-04 | キヤノン株式会社 | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
US8036281B2 (en) * | 2005-06-01 | 2011-10-11 | Canon Kabushiki Kaisha | Image coding apparatus and image coding method |
US8155185B2 (en) * | 2005-12-05 | 2012-04-10 | Canon Kabushiki Kaisha | Image coding apparatus and method |
JP4795211B2 (ja) * | 2005-12-05 | 2011-10-19 | キヤノン株式会社 | 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体 |
US8279928B2 (en) * | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
JP5248802B2 (ja) | 2006-06-16 | 2013-07-31 | カシオ計算機株式会社 | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
US8121195B2 (en) * | 2006-11-30 | 2012-02-21 | Lsi Corporation | Memory reduced H264/MPEG-4 AVC codec |
JP5153674B2 (ja) * | 2008-02-26 | 2013-02-27 | キヤノン株式会社 | 動画像符号化装置及び動画像符号化方法 |
JP5344238B2 (ja) | 2009-07-31 | 2013-11-20 | ソニー株式会社 | 画像符号化装置および方法、記録媒体、並びにプログラム |
JP2011199396A (ja) | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
CN107105270B (zh) | 2010-12-13 | 2020-04-24 | 韩国电子通信研究院 | 帧间预测方法 |
CN102291584B (zh) * | 2011-09-01 | 2013-04-17 | 西安电子科技大学 | 帧内图像亮度块预测装置及方法 |
JP6190397B2 (ja) * | 2012-07-01 | 2017-08-30 | シャープ株式会社 | パラメータセットにおいて長期参照ピクチャをシグナリングするためのデバイス |
TWI583195B (zh) * | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
US9248983B2 (en) | 2012-10-01 | 2016-02-02 | Illinois Tool Works Inc. | Automatically adjustable slide retract for conveyor |
US8833541B2 (en) | 2012-10-01 | 2014-09-16 | Illinois Tool Works Inc. | Slide retract for conveyor |
US9407923B2 (en) | 2013-05-20 | 2016-08-02 | Gamefly Israel Ltd. | Overconing lost IP packets in streaming video in IP networks |
JP5999773B2 (ja) * | 2013-09-03 | 2016-09-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
CN106416247A (zh) * | 2015-12-25 | 2017-02-15 | 王晓光 | 视频软件的编码方法及*** |
US10291936B2 (en) | 2017-08-15 | 2019-05-14 | Electronic Arts Inc. | Overcoming lost or corrupted slices in video streaming |
EP3474548A1 (en) * | 2017-10-18 | 2019-04-24 | Axis AB | Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames |
US12005890B2 (en) | 2022-04-01 | 2024-06-11 | Omnivision Technologies, Inc. | Column ASIL circuit for multiple bitlines in an image sensor |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6261485A (ja) | 1985-09-12 | 1987-03-18 | Fujitsu Ltd | フレ−ム間予測復号化装置 |
EP0424026B1 (en) * | 1989-10-14 | 1997-07-23 | Sony Corporation | Video signal transmitting system and method |
JPH04127689A (ja) * | 1990-09-19 | 1992-04-28 | Hitachi Ltd | 動画像予測符号化方式 |
JPH04268892A (ja) | 1991-02-22 | 1992-09-24 | Mitsubishi Electric Corp | フレーム間適応予測符号化方式 |
JP2755851B2 (ja) | 1991-05-31 | 1998-05-25 | 株式会社東芝 | 動画像符号化装置及び動画像符号化方法 |
US5317397A (en) | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
JP2699703B2 (ja) | 1991-07-31 | 1998-01-19 | 松下電器産業株式会社 | 動き補償予測方法とそれを用いた画像信号符号化方法 |
JPH0583700A (ja) | 1991-09-18 | 1993-04-02 | Nec Corp | Dpcm予測符号化回路 |
EP1555817B1 (en) * | 1992-01-29 | 2008-07-23 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
JP3699132B2 (ja) | 1992-01-29 | 2005-09-28 | 三菱電機株式会社 | 高能率符号化装置 |
US6870884B1 (en) * | 1992-01-29 | 2005-03-22 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
US5488482A (en) * | 1992-01-29 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
JPH05268594A (ja) * | 1992-03-18 | 1993-10-15 | Sony Corp | 動画像の動き検出装置 |
JPH06113286A (ja) | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 高能率符号化装置 |
JP3358835B2 (ja) | 1992-12-14 | 2002-12-24 | ソニー株式会社 | 画像符号化方法及び装置 |
JP3356413B2 (ja) | 1992-12-14 | 2002-12-16 | ソニー株式会社 | 画像復号化方法及び装置 |
JP2570964B2 (ja) | 1993-05-31 | 1997-01-16 | 日本電気株式会社 | 動画像の符号復号化装置 |
JPH0888854A (ja) | 1994-09-20 | 1996-04-02 | Toshiba Corp | 動画像符号化方式 |
JP3484832B2 (ja) | 1995-08-02 | 2004-01-06 | ソニー株式会社 | 記録装置、記録方法、再生装置及び再生方法 |
JP3711591B2 (ja) | 1995-09-26 | 2005-11-02 | ソニー株式会社 | データ通信方法およびそれを使用したデータ通信装置 |
JPH1079738A (ja) * | 1996-09-03 | 1998-03-24 | Fujitsu Ltd | データ転送レート制御方法及びこれを用いたデータ転送レート制御装置 |
US6222886B1 (en) * | 1996-06-24 | 2001-04-24 | Kabushiki Kaisha Toshiba | Compression based reduced memory video decoder |
JPH1079949A (ja) * | 1996-09-04 | 1998-03-24 | Oki Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及び画像伝送システム |
JPH10191356A (ja) * | 1996-12-27 | 1998-07-21 | Oki Electric Ind Co Ltd | 画像符号化装置 |
JPH10200204A (ja) * | 1997-01-06 | 1998-07-31 | Fuji Xerox Co Ltd | 面発光型半導体レーザ、その製造方法およびこれを用いた面発光型半導体レーザアレイ |
JP3776735B2 (ja) | 1997-04-09 | 2006-05-17 | 松下電器産業株式会社 | 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体 |
SG65064A1 (en) | 1997-04-09 | 1999-05-25 | Matsushita Electric Ind Co Ltd | Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media |
JPH114448A (ja) | 1997-06-13 | 1999-01-06 | Sony Corp | 画像信号送出装置及び画像信号送出方法 |
EP0921497B1 (en) * | 1997-12-02 | 2004-03-24 | Daewoo Electronics Corporation | Interlaced binary shape coding apparatus |
JP3879252B2 (ja) | 1998-05-22 | 2007-02-07 | ソニー株式会社 | 編集方法および編集装置 |
JPH11341435A (ja) | 1998-05-22 | 1999-12-10 | Sony Corp | 編集方法および編集装置 |
JPH11341496A (ja) | 1998-05-28 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画像処理方法,画像処理装置,及びデータ記憶媒体 |
EP1034656A2 (en) * | 1998-06-11 | 2000-09-13 | Koninklijke Philips Electronics N.V. | Trick play signal generation for a digital video recorder |
JP2000059790A (ja) * | 1998-08-05 | 2000-02-25 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
US6785338B1 (en) * | 1999-01-19 | 2004-08-31 | Sarnoff Corporation | Constraining video production based on compression-related information |
JP3614695B2 (ja) | 1999-01-25 | 2005-01-26 | 松下電器産業株式会社 | ビデオサーバ装置 |
JP2000224588A (ja) | 1999-01-29 | 2000-08-11 | Matsushita Electric Ind Co Ltd | 画像再符号化方法および画像再符号化装置 |
US6625211B1 (en) * | 1999-02-25 | 2003-09-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transforming moving picture coding system |
CN100484248C (zh) | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
JP4268892B2 (ja) | 2004-03-03 | 2009-05-27 | 三菱電機株式会社 | 光ファイバカプラの製造方法および光ファイバカプラの製造装置 |
JP4127689B2 (ja) | 2004-09-22 | 2008-07-30 | 株式会社東芝 | 無線通信装置 |
-
2002
- 2002-10-02 CN CNB028032284A patent/CN100484248C/zh not_active Expired - Lifetime
- 2002-10-02 BR BR0206157A patent/BR0206157A/pt active IP Right Grant
- 2002-10-02 MX MXPA03005034A patent/MXPA03005034A/es active IP Right Grant
- 2002-10-02 BR BRPI0206157A patent/BRPI0206157B1/pt unknown
- 2002-10-02 BR BRPI0216048A patent/BRPI0216048B1/pt active IP Right Grant
- 2002-10-02 CN CN2008101692362A patent/CN101399985B/zh not_active Expired - Lifetime
- 2002-10-02 US US10/432,872 patent/US7209520B2/en active Active
- 2002-10-02 EP EP20070114401 patent/EP1850600A3/en not_active Ceased
- 2002-10-02 KR KR20037008084A patent/KR100766657B1/ko active IP Right Grant
- 2002-10-02 WO PCT/JP2002/010246 patent/WO2003034744A1/ja not_active Application Discontinuation
- 2002-10-02 CN CN2008101692381A patent/CN101399987B/zh not_active Expired - Lifetime
- 2002-10-02 KR KR1020067003377A patent/KR100796107B1/ko active IP Right Grant
- 2002-10-02 CN CN2008101692377A patent/CN101399986B/zh not_active Expired - Lifetime
- 2002-10-02 KR KR1020057020530A patent/KR100799412B1/ko active IP Right Grant
- 2002-10-02 CN CN2009100081578A patent/CN101494791B/zh not_active Expired - Lifetime
- 2002-10-02 CA CA2430919A patent/CA2430919C/en not_active Expired - Lifetime
- 2002-10-02 EP EP02772969A patent/EP1401214A4/en not_active Withdrawn
- 2002-10-02 BR BRPI0216072A patent/BRPI0216072B1/pt active IP Right Grant
- 2002-10-02 CN CN2009100081563A patent/CN101494790B/zh not_active Expired - Lifetime
- 2002-10-03 JP JP2002290693A patent/JP4142929B2/ja not_active Expired - Lifetime
-
2006
- 2006-11-14 US US11/598,635 patent/US7526026B2/en not_active Expired - Lifetime
- 2006-11-14 US US11/598,741 patent/US7580459B2/en not_active Expired - Lifetime
-
2007
- 2007-01-24 US US11/656,971 patent/US8170103B2/en not_active Expired - Fee Related
- 2007-10-30 US US11/979,021 patent/US7693217B2/en not_active Expired - Lifetime
-
2008
- 2008-02-20 JP JP2008039281A patent/JP4275719B2/ja not_active Expired - Lifetime
- 2008-02-21 JP JP2008040319A patent/JP4234771B2/ja not_active Expired - Lifetime
-
2009
- 2009-01-16 JP JP2009007869A patent/JP4615604B2/ja not_active Expired - Lifetime
- 2009-02-13 US US12/371,017 patent/US8391361B2/en active Active
- 2009-07-06 JP JP2009160293A patent/JP4368942B2/ja not_active Expired - Lifetime
- 2009-09-11 JP JP2009211097A patent/JP4405587B1/ja not_active Expired - Lifetime
- 2009-10-14 US US12/578,801 patent/US8179966B2/en not_active Expired - Fee Related
- 2009-10-14 US US12/578,816 patent/US8831100B2/en active Active
- 2009-10-14 US US12/578,829 patent/US8064519B2/en not_active Expired - Fee Related
-
2010
- 2010-06-10 JP JP2010133450A patent/JP4560135B1/ja not_active Expired - Lifetime
- 2010-06-10 JP JP2010133449A patent/JP4560134B1/ja not_active Expired - Lifetime
- 2010-07-12 JP JP2010158188A patent/JP4615622B2/ja not_active Expired - Lifetime
- 2010-07-12 JP JP2010158191A patent/JP4615623B2/ja not_active Expired - Lifetime
- 2010-07-12 JP JP2010158198A patent/JP4581035B1/ja not_active Expired - Lifetime
- 2010-07-12 JP JP2010158197A patent/JP4615624B2/ja not_active Expired - Lifetime
- 2010-09-02 JP JP2010197152A patent/JP4907730B2/ja not_active Expired - Lifetime
-
2011
- 2011-03-03 JP JP2011046994A patent/JP4733239B1/ja not_active Expired - Lifetime
- 2011-03-04 JP JP2011048145A patent/JP4733241B1/ja not_active Expired - Lifetime
- 2011-03-04 JP JP2011048141A patent/JP4733240B1/ja not_active Expired - Lifetime
- 2011-11-25 JP JP2011258213A patent/JP5401530B2/ja not_active Expired - Lifetime
-
2013
- 2013-05-22 JP JP2013108377A patent/JP5355807B2/ja not_active Expired - Lifetime
-
2014
- 2014-06-26 US US14/315,616 patent/US9191669B2/en not_active Expired - Fee Related
- 2014-06-26 US US14/315,735 patent/US9197894B2/en not_active Expired - Fee Related
-
2015
- 2015-10-14 US US14/882,541 patent/US9924195B2/en not_active Expired - Lifetime
- 2015-10-14 US US14/882,536 patent/US9900616B2/en not_active Expired - Lifetime
-
2018
- 2018-02-07 US US15/890,842 patent/US10257537B2/en not_active Expired - Fee Related
-
2019
- 2019-02-25 US US16/284,337 patent/US10582216B2/en not_active Expired - Fee Related
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4275719B2 (ja) | 動画像復号化方法および動画像復号化装置 | |
JP5674911B2 (ja) | 画像符号化復号化装置 | |
JP4481970B2 (ja) | 画像符号化装置及びその方法 | |
JP4481612B2 (ja) | 画像復号化装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080613 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4142929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |