JPH0898185A - 画像符号化装置 - Google Patents

画像符号化装置

Info

Publication number
JPH0898185A
JPH0898185A JP23510294A JP23510294A JPH0898185A JP H0898185 A JPH0898185 A JP H0898185A JP 23510294 A JP23510294 A JP 23510294A JP 23510294 A JP23510294 A JP 23510294A JP H0898185 A JPH0898185 A JP H0898185A
Authority
JP
Japan
Prior art keywords
image
scene change
picture
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23510294A
Other languages
English (en)
Other versions
JP3711571B2 (ja
Inventor
Yuji Ando
裕司 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23510294A priority Critical patent/JP3711571B2/ja
Priority to EP19950306709 priority patent/EP0705041B1/en
Priority to EP20010200071 priority patent/EP1098530A3/en
Priority to DE1995629137 priority patent/DE69529137T2/de
Priority to US08/534,659 priority patent/US5757968A/en
Priority to KR1019950033801A priority patent/KR100392970B1/ko
Publication of JPH0898185A publication Critical patent/JPH0898185A/ja
Priority to US08/899,958 priority patent/US5832121A/en
Application granted granted Critical
Publication of JP3711571B2 publication Critical patent/JP3711571B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【構成】 入力画像データを複数フレーム蓄えるフレー
ムメモリ40と、複数フレームの画像データから情報量
を評価し、シーンチェンジを検出するシーンチェンジ検
出回路31と、シーンチェンジ検出出力の供給に基づい
てフレーム内符号化による圧縮方法を選択すると共にG
OP長の決定を行うGOP長制御回路34と圧縮方法選
択回路32と、選択された圧縮方法に従って入力画像デ
ータを圧縮符号化する差分器12から可変長符号化回路
17まで、及びローカルデコードと動き検出器20,動
き補償器21等を有する。 【効果】 効率の良い画像圧縮が可能で、全体的に画質
を向上させることができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えば画像を圧縮符号
化する場合に用いて好適な画像符号化装置に関する。
【0002】
【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像符号化装置の構成例を図5に示す。
【0003】この図5の画像符号化装置において、入力
端子1には、図6に示すように、 輝度成分(Y) 352(H)×240(V)×30フレーム クロマ成分(Cb) 174(H)×120(V)×30フレーム クロマ成分(Cr) 174(H)×120(V)×30フレーム のピクセル数にディジタル化された画像データが供給さ
れる。
【0004】上記入力端子1に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ10を介して、動
き検出器20とブロック分割器11に送られる。
【0005】当該ブロック分割器11は、フレームメモ
リ10から供給されたそれぞれのフレームを、図7に示
すように、輝度成分(Y) ,クロマ成分(Cr),(Cb) それぞ
れを8×8ピクセルのブロックに分割する。なお、輝度
成分(Y) の4つのブロック(Y0,Y1,Y2,Y3)と1つのクロ
マ成分(Cb)のブロックと、1つのクロマ成分(Cr)のブロ
ックからなる合計6つのブロック(Y0,Y1,Y2,Y3,Cb,Cr)
は、マクロブロック(MB)と呼ばれている。
【0006】このブロック分割器11からのマクロブロ
ック単位のデータは差分器12に送られる。
【0007】この差分器12では、ブロック分割器11
からのデータと後述するフレーム間予測画像データとの
差分をとり、その出力を後述するフレーム間予測符号化
がなされるフレームのデータとして切換スイッチ13の
被切換端子bに送る。また、当該切換スイッチ13の被
切換端子aには、上記ブロック分割器11からのデータ
が後述するフレーム内符号化がなされるフレームのデー
タとして供給される。
【0008】上記切換スイッチ13を介したブロック単
位のデータはDCT回路14によって離散コサイン変換
(DCT)処理され、そのDCT係数が量子化器15に
送られる。当該量子化器15では、所定の量子化ステッ
プ幅で上記DCT出力を量子化し、この量子化した係数
がジグザグスキャン回路16に送られる。
【0009】当該ジグザグスキャン回路16では、上記
量子化係数を図8に示すようにいわゆるジグザグスキャ
ンによって並べ換え、その出力を可変長符号化回路17
に送る。この可変長符号化回路17では、上記ジグザグ
スキャン回路16の出力データを可変長符号化(VL
C)し、その出力を出力バッファ18に送ると共に、当
該可変長符号化処理により発生した符号量を示す情報
を、量子化ステップ制御器19に送る。量子化ステップ
制御器19は、可変長符号化回路17からの符号量を示
す情報に基づいて量子化器15の量子化ステップ幅を制
御する。また、上記出力バッファ18から出力されたデ
ータは圧縮符号化がなされた符号化出力として出力端子
2から出力される。
【0010】また、上記量子化器15からの出力は、逆
量子化器27によって逆量子化され、さらに逆DCT回
路26によって逆DCT処理される。当該逆DCT回路
26の出力は、加算器25に送られる。
【0011】この加算器25には、フレーム間予測符号
化のフレームのときにオンとなる切換スイッチ24を介
した動き補償器21からのフレーム間予測画像データも
供給され、当該データと上記逆DCT回路26の出力デ
ータとの加算が行われる。この加算器25の出力データ
は、フレームメモリ22に一時的に蓄えられた後、動き
補償器21に送られる。
【0012】当該動き補償器21は、上記動き検出器2
0によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。
【0013】以下、上記図5の従来の画像符号化装置の
具体的な動作について詳細に説明する。ここで、説明の
ために以下のように各フレームの呼び名を定義する。
【0014】先ず、表示順にフレームを並べたとき、そ
れぞれを I0,B1,B2,P3,B4,B5,P6,B7,B
8,I9,B10,B11,B12,・・・・・ と呼ぶこととする。これらのフレームのうち、I,P,
Bは、後に説明するが、圧縮方法の種類を示し、これら
I,P,Bの次の数字は、単純に表示順を示している。
【0015】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるMPEG(Moving Picture Exp
ert Group)のうちMPEG1では、この様な画像を圧縮
するために、以下のようにすることが規定されている。
【0016】先ず、I0の画像を圧縮する。
【0017】次に、P3の画像を圧縮するのだが、P3
そのものを圧縮するのではなく、P3とI0の画像との
差分データを圧縮する。
【0018】その次に、B1の画像を圧縮するのだが、
B1そのものを圧縮するのではなく、B1とI0或い
は、B1とP3との差分データ或いはI0とP3の平均
値との差分(いずれか情報の少ない方)を圧縮する。
【0019】その次に、B2の画像を圧縮するのだが、
B2そのものを圧縮するのではなく、B2とI0或い
は、B2とP3との差分データ或いはI0とP3の平均
値との差分(どちらか情報の少ない方を選んで)を圧縮
する。
【0020】次に、P6の画像を圧縮するのだが、P6
そのものを圧縮するのではなく、P6とP3の画像との
差分データを圧縮する。
【0021】上述したような処理を順番に並べて表す
と、 となる。このようにエンコード順は、 I0,P3,B1,B2,P6,B4,B5,P9,B
7,B8,I9,P12,B10,B11,・・・・ のように、表示順とは順番が入れ替わる。圧縮後のデー
タ(符号化データ)はこの順番に並ぶことになる。
【0022】以下、上述したことを図5の構成の動作と
共にさらに詳しく述べる。
【0023】1枚目の画像(すなわちI0)のエンコー
ドでは、先ず、上記フレームメモリ10から1枚目に圧
縮すべき画像のデータが、ブロック分割器11によって
ブロック化される。このブロック分割器11からは、前
記Y0,Y1,Y2,Y3,Cb,Crの順にブロック
毎のデータが出力され、被切換端子a側に切り換えられ
た切換スイッチ13を介してDCT回路14に送られ
る。このDCT回路14では、それぞれのブロックにつ
いて縦横2次元の離散コサイン変換処理を行う。これに
より、時間軸であったデータが周波数軸に変換される。
【0024】このDCT回路14からのDCT係数は、
量子化器15に送られ、当該量子化器15で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路16によって図8のようにジグザグ順に並べ変え
られる。このようにジグザグ順に並べると、後ろへ行く
ほど、その係数は周波数成分の高い係数となるから、一
般的に係数の値は後ろの方が小さくなる傾向にある。し
たがって、ある値Sで量子化すると、後ろへ行くほど、
その結果は0になる頻度が増し、結果的に高域の成分が
切り落とされることになる。
【0025】その後、この量子化後の係数は、可変長符
号化(VLC)回路17へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ18に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ18は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。
【0026】以上の様に1枚の画像だけ単独で圧縮する
ことをフレーム内(イントラ:Intra )符号化と言い、
この画像をIピクチャと呼ぶ。
【0027】したがって、デコーダが上記のIピクチャ
のビットストリームを受信した場合は、以上に述べたこ
とを逆にたどり、1枚目の画像を完成させる。
【0028】次に、2枚目の画像(すなわちP3)のエ
ンコードでは、以下のようになされる。
【0029】すなわち、この2枚目以降もIピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。
【0030】先ず、動き検出器20では、2枚目の画像
を構成するマクロブロック毎に、1枚目の画像(I0)
の中からそれに良く似たパターンを捜し出し、それを動
きベクトルという(x,y)の相対位置の座標として表
現する。
【0031】また、2枚目の画像ではそれぞれのブロッ
クを、上記Iピクチャの場合のようにそのままDCT回
路14に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ(差分器12による差分データ)を、D
CT回路14へ送るようにする。なお、動きベクトルの
検出方法としては、ISO/IEC 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。
【0032】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内(イントラ)符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。
【0033】このような圧縮方法を、フレーム間(イン
ター:Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄(画像内容)
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。
【0034】以上のことを図5の画像符号化装置(エン
コーダ)に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作って置く必要がある。
【0035】そのためにエンコーダ内には、デコーダと
同じ回路が存在する。その回路をローカルデコーダ(局
部復号器)と呼ぶ。図5の逆量子化器27と逆DCT回
路26と加算器25とフレームメモリ22と動き補償器
21が当該ローカルデコーダに対応し、フレームメモリ
22内に記憶される画像のことをローカルデコーデッド
ピクチャ(Local decoded picture)又はローカルデコー
デッドデータ(Local decoded data)と呼ぶ。これに対し
て、圧縮前の画像のデータは、オリジナルピクチャ(Ori
ginal picture)又はオリジナルデータ(Original data)
と呼ぶ。
【0036】なお、前述した1枚目のIピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された1
枚目の画像が、上記フレームメモリ22内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。
【0037】このような状態のエンコーダに2枚目の画
像(P3)のデータ(Original data)が入ってくるわけ
だが(この段階ですでに、動きベクトルは検出済でなけ
ればならない)、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器(MC:Motion Compensa
tion)21に与えられる。当該動き補償回路21は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ(動き補償データ:MC data:1マクロブロッ
ク)を上記フレーム間予測画像データとして出力する。
【0038】上記2枚目のオリジナルデータとこの動き
補償データ(フレーム間予測画像データ)のピクセル毎
の、差分器12による差分データが、上記DCT回路1
4に入力される。それからの後の圧縮方法は、基本的に
Iピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をPピクチャ(Predicted picture)と呼
ぶ。
【0039】さらに詳しく説明すると、Pピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。
【0040】すなわち、Pピクチャにおいても、マクロ
ブロック毎に、フレーム内符号化によるか(このマクロ
ブロックをイントラマクロブロックと呼ぶ)、又はフレ
ーム間予測符号化によるか(このマクロブロックをイン
ターマクロブロックと呼ぶ)のどちらかを選択して圧縮
を行う。
【0041】上述のように、上記ローカルデコーダで
は、量子化器15の出力が、逆量子化器27で逆量子化
され、さらに逆DCT回路26で逆DCT処理された
後、エンコード時に動き補償データ(MC data )と足さ
れ最終的なローカルデコーデッドピクチャとなる。
【0042】次に、3枚目の画像(すなわちB1)のエ
ンコードでは、以下のようになされる。
【0043】上記3枚目の画像(B1)のエンコードで
は、I0,P3の2枚の画像それぞれに対する動きベク
トルを探索する。ここで、I0に対する動きベクトルを
フォワードベクトル(forward Vector)MVf(x,y) と
呼び、P3に対する動きベクトルをバックワードベクト
ル(Backward Vector)MVb(x,y) と呼ぶ。
【0044】この3枚目の画像についても差分データを
圧縮するわけであるが、どのデータを圧縮するのかが、
問題である。この場合も一番情報量が少なくなるものと
の差分を取れば良い。このときの圧縮方法の選択肢とし
ては、 (1)フォワードベクトルMVf(x,y) の示すI0上の
データとの差分 (2)バックワードベクトルMVb(x,y) の示すP3上
のデータとの差分 (3)フォワードベクトルMVf(x,y) の示すI0上の
データとバックワードベクトルMVb(x,y) の示すP3
上のデータの平均値との差分 (4)差分データは使わない(フレーム内符号化) の4つである。マクロブロック毎にこの4種類の圧縮方
法から一つが選択される。上記圧縮方法の選択肢のうち
の(1),(2),(3)の場合は、それぞれの動きベ
クトルも動き補償器21に送られ、差分器21ではその
動き補償データとの差分をとり、これがDCT回路14
に送られる。上記圧縮方法の選択肢のうちの(4)の場
合は、そのままのデータがDCT回路14へ送られる。
【0045】上述した1枚目、2枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ22には、I0,P3の2枚のピクチャ
が、復元されているのでこのようなことが可能である。
【0046】次に、4枚目の画像(すなわちB2)のエ
ンコードでは、以下のようになされる。
【0047】上記4枚目の画像(B2)のエンコードで
は、上述した3枚目(B1)のエンコード方法のところ
の説明文で、B1をB2に置き換えたこと以外は、上記
3枚目のエンコードと同じ方法で圧縮する。
【0048】次に、5枚目の画像(すなわちP6)のエ
ンコードでは、以下のようになされる。
【0049】上記5枚目の画像(P6)のエンコードで
は、上述した2枚目(P3)のエンコード方法のところ
の説明文で、P3をP6に、I0をP3に置き換えただ
けで、他は同じ説明となる。
【0050】6枚目以降は、上述の繰り返しとなるので
説明は省略する。
【0051】また、MPEGにおいては、GOP(Grou
p Of Picture)と呼ばれるものが規定されている。
【0052】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ(GOP)と呼ばれており、当該G
OPは符号化データ(圧縮後のデータ)上で見て連続し
た画像の集まりでなくてはならないものである。また、
GOPはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てGOPの最初に来るピクチャ
は上記Iピクチャである必要がある。さらに、表示順
(ディスプレイ順)でGOPの最後は、I又はPピクチ
ャでなくてはならない。
【0053】図9には、最初が4枚のピクチャからなる
GOPで、それ以降が6枚のピクチャからなるGOPと
なる例を挙げる。なお、図9のAはディスプレイ順を示
し、図9のBは符号化データ順を示している。
【0054】この図9において、GOP2に注目する
と、B4,B5はP3,I6から形成されるため、例え
ばランダムアクセスでI6にアクセスされると、P3が
無いため、B4,B5は正しく復号化できない。このよ
うにGOP内だけで正しく復号化できないGOPは、ク
ローズドGOP(Closed GOP)でないという。
【0055】これに対し、もしB4,B5がI6だけし
か参照していないとしならば、例えばランダムアクセス
でI6にアクセスしても、P3は必要ないため、これら
B4,B5は正しく復号化できることになる。このよう
にGOP内だけの情報で、完全に復号化できるGOPを
クローズドGOP(Closed GOP)と呼ぶ。
【0056】以上のような圧縮方法の選択の中から一番
効率の良い方法で圧縮するわけであるが、その結果発生
する符号化データ(Coded data)の量は、入力画像にも
依存し、実際に圧縮してみないと判らない。
【0057】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
15に与える前記符号量を表す情報としての量子化ステ
ップ(又は量子化スケール:Q-scale )である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。
【0058】この量子化ステップの値は、次のようにし
て制御する。
【0059】エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ(出力
バッファ18)が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。
【0060】しかし、定められたビットレートを超える
ようなデータの発生が続けば、出力バッファ18の残量
が増加し、ついにはオーバーフローを起こすことにな
る。逆にビットレートを下回るデータの発生が続けば出
力バッファ18の残量は減少し、最後にはアンダーフロ
ーを引き起こすことになる。
【0061】したがって、エンコーダは、出力バッファ
18の残量をフィードバックすることにより、前記量子
化ステップ制御器19が量子化器15の量子化ステップ
をコントロールし、ここで出力バッファ18の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ18の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。
【0062】また、前述した圧縮方法(前記フレーム内
符号化やフレーム間予測符号化)によって発生する符号
化データ量の範囲には、大きな差がある。
【0063】特にフレーム内符号化方式で圧縮をすると
大量のデータが発生するため、出力バッフファ18の空
き容量が小さい場合には量子化ステップサイズを大きく
しなければならず、場合によっては量子化ステップサイ
ズを最大にしてもバッファ18のオーバーフローを招く
かもしれない。よしんばバッファ18に収まったとして
も量子化ステップが大きければフレーム内符号化の画像
は後のフレーム間予測符号化の画質に影響するので、フ
レーム内符号化での圧縮を行う前には出力バッファ18
に十分な空き容量が必要である。
【0064】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ18の空き容量を確保するように、量子化ステ
ップ制御器19は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。
【0065】以上のようにして一定レートの符号化デー
タに抑えることが可能となる。
【0066】
【発明が解決しようとする課題】ここで、フレーム内符
号化のピクチャは、圧縮後のデータサイズが大きく、一
般的にフレーム間予測符号化のピクチャが多いほうが平
均のビットレートに対して画質を向上させることができ
る。
【0067】しかし、通常はランダムアスセス性を考慮
して定期的にフレーム内符号化のピクチャを挿入し、こ
れによってGOPを区切ることが多い。
【0068】一方、上記フレーム間予測符号化のピクチ
ャのうち特にBピクチャでは、データサイズがかなり小
さくなり、また、フレーム内符号化のピクチャ1枚に対
してある程度の枚数のフレーム間予測符号化のピクチャ
(特にBピクチャ)を間に入れることにより、適度な画
質を確保しつつ出力バッファを介した平均ビットレート
も低く保つことができる。
【0069】ところが、シーンチェンジ等の前の画像と
の相関が極めて低い画像では、フレーム間予測符号化で
は効率良く圧縮できない。むしろフレーム内符号化の方
が効率良く圧縮できる。したがって、そのような画像の
場合はフレーム内符号化を行うべきである。
【0070】しかしそうするとGOPを区切るためのフ
レーム内符号化のピクチャとは異なる画像がフレーム内
符号化のピクチャとして挿入されることになり、結果と
してGOP内部でフレーム間予測符号化のピクチャに対
するフレーム内符号化のピクチャの比率が高くなる。し
たがって、出力されるデータを一定のビットレートに抑
えようとすると、画質が犠牲となる。
【0071】また、ランダムアクセスのためにGOPを
分けるのにシーンの変わり目とGOPの切れ目が一致し
ないのは不都合である。
【0072】さらに、あるシーケンスを所定のフレーム
で丁度終了するように符号化する場合、その最後の画像
がGOPの切れ目になることは稀であるし、最後のGO
Pの長さも短過ぎるものもできて最後に画質を損なう虞
がある。
【0073】このため例えば、一度符号化を試みてその
結果をフィードバックしてGOPの切りわけをやり直す
こともできるが、これでは効率が悪く、またリアルタイ
ムエンコーダには不向きである。
【0074】また、最後の画像がIピクチャ又はPピク
チャになるとは限らないが、GOPの最後はIピクチャ
又はPピクチャで終わらなければならないという制約が
ある。しかし、これもまた符号化を再度行うことは効率
が悪く、全ての組合せの符号化を行うことも装置の規模
を大きくする。
【0075】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、効率の良い画像圧縮が可能
で、全体的に画質を向上させることができる画像符号化
装置を提供することを目的とするものである。
【0076】
【課題を解決するための手段】本発明の画像符号化装置
は、上述した目的を達成するために提案されたものであ
り、入力画像データを複数枚蓄える画像データ蓄積手段
と、上記画像データ蓄積手段に蓄積された複数枚の画像
データから当該入力画像データの情報量を評価し、シー
ンチェンジを検出するシーンチェンジ検出手段と、上記
シーンチェンジ検出手段からのシーンチェンジ検出出力
の供給に基づいてフレーム内符号化による圧縮方法と複
数枚の画像で構成される所定単位の長さを選択する選択
手段と、上記選択手段により選択された圧縮方法に従っ
て上記入力画像データに所定の圧縮符号化処理を施す圧
縮符号化処理手段とを有することを特徴とするものであ
る。
【0077】ここで、上記選択手段は、上記シーンチェ
ンジ検出手段からのシーンチェンジ検出出力に応じて、
複数枚の画像で構成される所定単位内におけるフレーム
内符号化される画像の枚数とフレーム間予測符号化され
る画像の枚数を適応的に変更して当該所定単位の長さを
決定する単位長制御手段と、当該単位長制御手段からの
出力に基づいて上記所定単位内の各画像の圧縮方法を選
択する圧縮方法選択手段とからなる。
【0078】また、このときの上記選択手段は、フレー
ム内符号化される画像の枚数に対するフレーム間予測符
号化される画像の枚数の比率が、所定比率より大きいと
きのみ上記シーンチェンジ検出出力に応じた上記所定単
位の長さの決定を行う。言い換えれば、フレーム内符号
化される画像の枚数に対するフレーム間予測符号化され
る画像の枚数の比率が、所定比率より小さいときには、
上記所定単位の長さをシーンチェンジ検出出力に応じた
長さにせずに、例えば延ばすようにする。
【0079】
【作用】本発明によれば、入力画像データの情報量を評
価してシーンチェンジを検出し、このシーンチェンジの
検出に合わせて圧縮方法としてフレーム内符号化を選択
することで、前後の画像の相関が低くなるシーンチェン
ジ部分での圧縮効率を上げるようにしている。
【0080】また、本発明によれば、シーンチェンジ検
出に応じて、所定単位の長さを変更することで、シーン
の変わり目と所定単位の切れ目とを一致させている。
【0081】さらに、フレーム内符号化される画像の枚
数に対するフレーム間予測符号化される画像の枚数の比
率が、所定比率より小さいときには、所定単位の長さを
シーンチェンジ検出出力に応じた長さにせずに、例えば
延ばすようにすることで、出力されるデータを一定のビ
ットレートに抑え、画質のレベルを維持するようにして
いる。
【0082】
【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。
【0083】図1には本発明実施例の画像符号化装置の
概略構成を示す。なお、この図1において、前述した図
5と同じの構成については同一の指示符号を付してその
説明については省略する。
【0084】この図1の構成において、前記図5の構成
に追加された構成要素はシーンチェンジ検出回路31と
GOP長制御回路34と圧縮方法選択回路32であり、
また、フレームメモリ40と量子化ステップ制御器33
が変更されている。
【0085】すなわち、本発明実施例の画像符号化装置
は、入力画像データを複数フレーム蓄える画像データ蓄
積手段であるフレームメモリ40と、上記フレームメモ
リ40に蓄積された複数フレームの画像データから当該
入力画像データの情報量を評価し、シーンチェンジを検
出するシーンチェンジ検出回路31と、上記シーンチェ
ンジ検出回路31からのシーンチェンジ検出出力の供給
に基づいてフレーム内符号化による圧縮方法を選択する
選択手段と、上記選択手段により選択された圧縮方法に
従って上記入力画像データに所定の圧縮符号化処理を施
す圧縮符号化処理手段としての差分器12から可変長符
号化回路17まで、及びローカルデコードと動き検出器
20,動き補償器21等を有するものである。
【0086】ここで、上記選択手段は、上記シーンチェ
ンジ検出回路31からのシーンチェンジ検出出力に応じ
て、複数枚の画像で構成される所定単位(GOP)内に
おけるフレーム内符号化される画像の枚数とフレーム間
予測符号化される画像の枚数を適応的に変更して当該G
OP長さを決定する単位長制御手段としてのGOP長制
御回路34と、当該GOP長制御回路34からの出力に
基づいて上記GOP内の各画像の圧縮方法を選択する圧
縮方法選択回路32とからなる。
【0087】また、このときの上記選択手段は、フレー
ム内符号化される画像の枚数に対するフレーム間予測符
号化される画像の枚数の比率が、所定比率より大きいと
きのみ上記シーンチェンジ検出出力に応じた上記GOP
長さの決定を行う。言い換えれば、フレーム内符号化さ
れる画像の枚数に対するフレーム間予測符号化される画
像の枚数の比率が、所定比率より小さいときには、上記
GOP長さをシーンチェンジ検出出力に応じた長さにせ
ずに、例えば延ばすようにする。
【0088】この図1において、先ず、入力端子1から
入力された入力画像データは、フレームメモリ40に蓄
えられる。このフレームメモリ40は、図5のフレーム
メモリ10とは異なり、所定数のフレームを蓄積できる
ものである。このときの蓄積する所定数のフレームとし
ては、後述するように、フレーム内符号化のピクチャが
GOPに1枚だけとしたとき、それに対して適度な画質
が保証されるだけのフレーム間予測符号化のピクチャが
GOPに含まれたときの当該GOPの長さ分よりも多く
なければならない。言い換えれば、フレームメモリ40
に記憶されるフレーム数は、適度な画質が保証されるだ
けのフレーム内符号化ピクチャ1枚に対するフレーム間
予測符号化ピクチャの枚数以上、すなわち、今符号化し
ている画像をフレーム内符号化したとしてもそれによっ
て発生したデータ量を打ち消すだけのフレーム間予測符
号化ピクチャが連続して送出できるまで、フレーム内符
号化がなされないことを保証できるだけ必要である。
【0089】もちろん上記所定フレーム数はこれに限定
されることはなく様々な条件に合わせてもっと多くして
も良い。例えば、予めGOPが決まってからレートコン
トールを行うタイプの装置の場合、後述するようにGO
P長が決定して符号化が開始されるまで画像を蓄えるだ
けの容量のフレームメモリを必要とする。
【0090】上記フレームメモリ40に蓄積された画像
データは、適宜、シーンチェンジ検出回路31に送られ
る。
【0091】ここで、シーンチェンジは、前後の画像で
相関が著しく損なわれる所と言える。本実施例では、例
えば動きベクトル補償後の画像との差分値の画像全体の
総和を求めて、最後の値と比較することによってシーン
チェンジを検出することができる。
【0092】例えば、このシーンチェンジの検出の際に
は、先ず、画像情報の評価として大別して2通りのパラ
メータを算出する。
【0093】第1のパラメータは、フレーム内符号化で
圧縮を行った場合の圧縮後のデータ量を予測することが
可能なように、その画像自身の情報量を示すものであ
る。この第1のパラメータとしては、例えば、フレーム
メモリ40から供給された画像データに対して、DCT
処理をブロック毎に行い、そのDCT係数の和や統計を
とったものとしたり、また、それでは規模が大きくなる
場合には、平均自乗誤差のブロック毎の和を求めたもの
とする。いずれにしても、画像の情報量を表し、圧縮後
のデーター量を類推するに足るパラメータが用いられ
る。
【0094】第2のパラメータは、フレーム間予測符号
化で圧縮を行った場合の圧縮後のデータ量を予測するこ
とが可能な、画像の差分情報量を示すものである。この
場合のパラメータとしては、例えば、フレームメモリ4
0に格納された画像と動き補償後の画像との差分値のブ
ロック内の和を用いる。このパラメータ算出の際には、
一般的な動きベクトル検出回路(動き検出器20)で得
られる動きベクトルが検出された最小誤差を利用するこ
とができる。
【0095】次に、GOP長制御回路34では、上記シ
ーンチェンジ検出回路31からのシーンチェンジ検出出
力に基づいて、後述する図2及び図3のフローチャート
で説明するようにGOP長の制御を行う。
【0096】このGOP長制御回路34で決定されたG
OP長の情報が圧縮方法選択回路32に送られる。
【0097】ここで、フレーム内符号化方式による圧縮
では少なくともGOPの最初になければならない。GO
Pはランダムアクセスを考慮してある程度の間隔とする
ので、必然的にフレーム内符号化のピクチャはある程度
定期的に発生するし、シーンチェンジ等によっても発生
する。したがって、当該圧縮方法選択回路32には、上
記GOP長制御回路34からのGOP長を示す情報と共
に、上記GOP長制御回路34を介した画像のカウント
とシーンチェンジ検出回路31の出力が加えられるよう
になっている。
【0098】当該圧縮方法選択回路32は、上記シーン
チェンジ検出回路31からの出力に基づいて、フレーム
内符号化/フレーム間予測符号化(P,Bピクチャ)の
いずれの圧縮方式で圧縮を行うのかを選択すると共に、
上記GOP長を示す情報に基づいてフレーム内符号化の
ピクチャの挿入を行う。
【0099】また、量子化ステップ制御器33は、可変
長符号化回路17からの符号量を示す情報と、上記圧縮
方法選択回路32で選択した圧縮方式を示す情報とに基
づいて、量子化器15の量子化ステップを制御する。
【0100】次に本実施例の構成における処理の流れ
を、図2と図3のフローチャートに沿って説明する。
【0101】ここで、図2と図3のフローチャートの説
明に先立ち、これらフローチャートで述べる定数及び変
数を以下のように定める。
【0102】通常のGOPの長さを定数(DefaultLen)と
し、フレーム内符号化のピクチャがGOPに1枚だけと
したときにそれに対して適度な画質が保証されるだけの
フレーム間予測符号化のピクチャがGOPに含まれたと
きの当該GOPの長さを変数(MinLen)、GOPを区切れ
る最短の境界を変数(MinGOP)、ランダムアクセス保証の
ためのGOPの最長値を変数(MaxLen)、次のGOPの区
切りの目標値を変数(TargetLen) 、GOP先頭からの長
さを変数(CurLen)、符号化順序でのピクチャ番号を変数
(PicNo) 、n番目のGOPの先頭のピクチャ番号を保持
する変数(GOPbegin[n]) 、n番目のGOPの末尾のピク
チャ番号を保持する変数(GOPend[n]) とする。
【0103】また、フローチャートには示していない
が、下記の条件を前提とする。
【0104】先ず、前段で入力画像を順次フレームメモ
リ40に蓄え、シーンチェンジを検出する。当該シーン
チェンジの検出の目的は、前述のようにフレーム間予測
符号化で効率良く圧縮できない画像を検出することであ
るため、例えば動き補償後の差分の結果が前と比べて急
激に大きくなった場合を検出することでできる。
【0105】また、適応的にGOPを区切るためにフレ
ーム内符号化のピクチャを初めは設定せずMに応じて全
てPピクチャ,Bピクチャとして動き検出をする。GO
P決定時には符号化順序に並べ換えられているとする。
【0106】以下、図2のフローチャートから説明す
る。
【0107】ステップS151では、最初に各変数をリ
セットする。すなわち、 n =0 CurLen =1 PicNo =0 GOPbegin[n] =PicNo TargetLen =DefaultLen MinGOP =MinLen のようにリセットする。
【0108】次のステップS152では、GOPにおい
て最初のPピクチャか否かの判定を行う。このステップ
S152で最初のPピクチャでないと判定した場合には
ステップS157に進み、ここでピクチャタイプをPピ
クチャからIピクチャに変更する。また、ステップS1
52で最初のPピクチャであると判定した場合にはステ
ップS153に進む。
【0109】当該ステップS153では、現在のピクチ
ャ(Current picture) がシーケンス最後の画像かどうか
を判定する。このステップS153で現在のピクチャが
シーケンスの最後の画像であると判定した場合には、ス
テップS154に進み、ここで、その画像をGOP最後
とする。一方、ステップS153で最後の画像でないと
判定した場合にはステップS158に進む。
【0110】上記ステップS154の次のステップS1
55では、ディスプレイ表示順(Display order) でシー
ケンス(Sequence)の最後がPピクチャかどうかを判定す
る。当該ステップS155で最後のPピクチャでないと
判定した場合(Bピクチャであると判定した場合)に
は、ステップS156に進む。当該ステップS156で
は、Bピクチャでシーケンスを終えることはできないの
で、Pピクチャになるように変更する。また、ステップ
S155で最後がPピクチャであると判定した場合には
処理を終了する。
【0111】また、上記ステップS153で最後の画像
でないと判定した場合に進むステップS158では、シ
ーンチェンジされた(SceneChange) か否かを判定する。
当該ステップS158において、シーンチェンジと判定
した場合にはステップS159に進み、シーンチェンジ
でないと判定した場合にはステップS164に進む。
【0112】上記ステップS158でシーンチェンジと
判定した場合のステップS159では、上記変数(CurLe
n)と変数(MaxLen)とを比較し、 CurLen <MaxLenと判定
した場合にはステップS160に進み、それ以外である
と判定した場合にはステップS163に進む。
【0113】上記ステップS160では変数(CurLen)と
変数(MinGOP)とを比較し、CurLen<MinGOP と判定した
場合にはステップS161に進み、それ以外であると判
定した場合にはステップS163に進む。
【0114】ステップS161では、GOPが短く、I
ピクチャで発生するデータ量を分散できないため、シー
ンチェンジ後の最初のPピクチャをフレーム内符号化の
ピクチャとし、新たにシーンチェンジのために増えたI
ピクチャの分も考慮して、 MinGOP += MinLen TargetLen += MinLen とする。その後はステップS162に進む。
【0115】また、ステップS163では、変数(CurLe
n)と変数(MaxLen)との比較結果が CurLen ≧ MaxLen な
ら、GOPが長くなり過ぎるのを避けるため、シーンチ
ェンジを機にGOPを切り分ける。その後はステップS
162に進む。
【0116】一方、ステップS158で、シーンチェン
ジでないと判定した場合のステップS164では、変数
(CurLen)と変数(TargetLen) とを比較する。このステッ
プS164でCurLen=TargetLen と判定した場合にはス
テップS166に進む。
【0117】このステップS166では、次の画像のピ
クチャタイプがBピクチャかどうかを判定し、Bピクチ
ャであると判定した場合にはステップS167に進む。
このステップS167では、Bピクチャでシーケンスを
終わることはできないので、目標のGOPの長さを1伸
ばす。その後はステップS162に進む。
【0118】また、ステップS164でCurLen≠Target
Len と判定した場合にはステップS165に進む。この
ステップS165では、変数(CurLen)と、変数(TargetL
en)+変数(MinLen)とを比較する。当該ステップS16
5において、 CurLen ≦ TargetLen + MinLen と判定し
た場合にはステップS168に進み、 CurLen > Targe
tLen + MinLen と判定した場合にはステップS162に
進む。
【0119】当該ステップS168では、目標のGOP
の長さでGOPを区切っても次のGOPの先頭のIピク
チャで発生するデータ量を分散するに足る区間先までシ
ーンチェンジが存在しないので、変数(TargetLen) でG
OPを区切る。このステップS168の後は、ステップ
S162に進む。
【0120】ステップS162では、変数(CurLen),(Pi
cNo)をカウントアップし、ステップS152へ戻る。
【0121】次に、図3のフローチャートでは、ステッ
プS169において、GOPの長さを指定の長さに決
め、次のGOP長決定のため変数を初期化する。ステッ
プS170では、ディスプレイ表示順(Display order)
でGOPの最後がPピクチャかどうかを判定する。当該
ステップS170で最後のPピクチャでないと判定した
場合(Bピクチャであると判定した場合)には、ステッ
プS171に進む。当該ステップS171では、Bピク
チャでGOPを終えることはできないので、Pピクチャ
になるように変更する。また、ステップS170で最後
がPピクチャであると判定した場合には処理を終了す
る。
【0122】なお、上述した図2,図3のフローチャー
トにおいて、GOPの末尾のピクチャタイプを変更する
方法としては、以下のようなものを挙げることができ
る。
【0123】すなわち、GOPの最後はIピクチャかP
ピクチャでなければならないが、例えばシーンチェンジ
でGOPを区切る場合、M=2以上のシーケンスでは前
のGOPが必ずしもそうなるとは限らない。そこで、上
述のように、GOPの最後がBピクチャで終わっていた
場合、その最後のBピクチャをPピクチャに変えるよう
にしている。
【0124】この例として、例えば、ビットストリーム
の順番(Bitstream order) が図4の(c)のようになっ
ており、ディスプレイ表示順(Display order) が図4の
(a)のようになっているとして、上記図4の(a)の
ディスプレイ表示順の例えばB13とP14の間にシー
ンチェンジが発生しているような場合について説明す
る。この場合、図4の(a)のシーンチェンジ直前のB
13を図4の(b)に示すようにPピクチャ(例えばP
13)に変更し、また、図4の(a)のシーンチェンジ
直後のP14を図4の(b)に示すようにIピクチャ
(例えばP14)に変更する。
【0125】ここで、リアルタイムエンコーダの場合は
符号化を再度行うことは困難であるので、本実施例で
は、上記図4の(a)及び(b)に示すようにB13を
P13に変更する際に、P11からのフォワードベクト
ル(forward vector)のみを用いてPピクチャ(P13)
として符号化する。またこのとき、B12については、
P11からのフォワードベクトル(forward vector)のみ
を用いながらBピクチャ(B11)として符号化する。
【0126】上述したように、本発明実施例の画像符号
化装置においては、入力画像データの情報量を評価して
シーンチェンジを検出し、このシーンチェンジの検出に
合わせて圧縮方法としてフレーム内符号化を選択するこ
とで、前後の画像の相関が低くなるシーンチェンジ部分
での圧縮効率を上げることができる。
【0127】また、本実施例装置においては、シーンチ
ェンジ検出に応じて、GOP長さを変更することで、シ
ーンの変わり目とGOPの切れ目とを一致させることが
できる。
【0128】さらに、フレーム内符号化される画像の枚
数に対するフレーム間予測符号化される画像の枚数の比
率が、所定比率より小さいときには、GOP長さをシー
ンチェンジ検出出力に応じた長さにせずに、例えば延ば
すようにすることで、出力されるデータを一定のビット
レートに抑え、画質のレベルを維持することが可能とな
っている。
【0129】
【発明の効果】本発明の画像符号化装置においては、入
力画像データの情報量を評価してシーンチェンジを検出
し、このシーンチェンジの検出に合わせて圧縮方法とし
てフレーム内符号化を選択することで、前後の画像の相
関が低くなるシーンチェンジ部分での圧縮効率を上げる
ことができ、したがって、効率の良い画像圧縮が可能
で、全体的に画質を向上させることができる。
【0130】また、本発明においては、シーンチェンジ
検出に応じて、所定単位の長さを変更することで、シー
ンの変わり目と所定単位の切れ目とを一致させることが
可能となる。
【0131】また、本発明においては、フレーム内符号
化される画像の枚数に対するフレーム間予測符号化され
る画像の枚数の比率が、所定比率より小さいときには、
所定単位の長さをシーンチェンジ検出出力に応じた長さ
にせずに、例えば延ばすようにすることで、出力される
データを一定のビットレートに抑えることができ、した
がって、出力されるデータを一定のビットレートに抑え
ることができると共に、画質を犠牲にしなくても済む。
【図面の簡単な説明】
【図1】本発明実施例の画像符号化装置の概略構成を示
すブロック回路図である。
【図2】GOP決定のフローチャートである。
【図3】決定されたGOPに応じたピクチャタイプ決定
のフローチャートである。
【図4】GOP末尾のピクチャタイプの変更例を説明す
るための図である。
【図5】従来の画像符号化装置の概略構成を示すブロッ
ク回路図である。
【図6】画像の解像度と構成について説明するための図
である。
【図7】マクロブロックとブロックについて説明するた
めの図である。
【図8】ジグザグスキャンについて説明するための図で
ある。
【図9】GOPの一例について説明するための図であ
る。
【符号の説明】
11 ブロック分割器 12 差分器 13,24 スイッチ 14 DCT回路 15 量子化器 16 ジグザグスキャン回路 17 可変長符号化回路 18 出力バッファ 20 動き検出器 21 動き補償器 25 加算器 26 逆DCT回路 27 逆量子化器 31 シーンチェンジ検出回路 32 圧縮方法選択回路 33 量子化ステップ制御器 34 GOP長制御回路 40 フレームメモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H03M 7/36 9382−5K

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 入力画像データを複数枚蓄える画像デー
    タ蓄積手段と、 上記画像データ蓄積手段に蓄積された複数枚の画像デー
    タから、当該入力画像データの情報量を評価し、シーン
    チェンジを検出するシーンチェンジ検出手段と、 上記シーンチェンジ検出手段からのシーンチェンジ検出
    出力の供給に基づいてフレーム内符号化による圧縮方法
    と複数枚の画像で構成される所定単位の長さを選択する
    選択手段と、 上記選択手段により選択された圧縮方法に従って上記入
    力画像データに所定の圧縮符号化処理を施す圧縮符号化
    処理手段とを有することを特徴とする画像符号化装置。
  2. 【請求項2】 上記選択手段は、上記シーンチェンジ検
    出手段からのシーンチェンジ検出出力に応じて、複数枚
    の画像で構成される所定単位内におけるフレーム内符号
    化される画像の枚数とフレーム間予測符号化される画像
    の枚数を適応的に変更して当該所定単位の長さを決定す
    る単位長制御手段と、当該単位長制御手段からの出力に
    基づいて上記所定単位内の各画像の圧縮方法を選択する
    圧縮方法選択手段とからなることを特徴とする請求項1
    記載の画像符号化装置。
  3. 【請求項3】 上記選択手段は、フレーム内符号化され
    る画像の枚数に対するフレーム間予測符号化される画像
    の枚数の比率が、所定比率より大きいときのみ上記シー
    ンチェンジ検出出力に応じた上記所定単位の長さの決定
    を行うことを特徴とする請求項2記載の画像符号化装
    置。
JP23510294A 1994-09-27 1994-09-29 画像符号化装置及び画像符号化方法 Expired - Fee Related JP3711571B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP23510294A JP3711571B2 (ja) 1994-09-29 1994-09-29 画像符号化装置及び画像符号化方法
EP20010200071 EP1098530A3 (en) 1994-09-29 1995-09-22 Picture encoding
DE1995629137 DE69529137T2 (de) 1994-09-29 1995-09-22 Szenenänderungsadaptiver Bildkodierer
EP19950306709 EP0705041B1 (en) 1994-09-29 1995-09-22 Scene change adaptive video encoder
US08/534,659 US5757968A (en) 1994-09-29 1995-09-27 Method and apparatus for video data compression
KR1019950033801A KR100392970B1 (ko) 1994-09-29 1995-09-28 비디오데이터압축방법및장치
US08/899,958 US5832121A (en) 1994-09-27 1997-07-24 Method and apparatus for video data compression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23510294A JP3711571B2 (ja) 1994-09-29 1994-09-29 画像符号化装置及び画像符号化方法

Publications (2)

Publication Number Publication Date
JPH0898185A true JPH0898185A (ja) 1996-04-12
JP3711571B2 JP3711571B2 (ja) 2005-11-02

Family

ID=16981093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23510294A Expired - Fee Related JP3711571B2 (ja) 1994-09-27 1994-09-29 画像符号化装置及び画像符号化方法

Country Status (5)

Country Link
US (2) US5757968A (ja)
EP (2) EP1098530A3 (ja)
JP (1) JP3711571B2 (ja)
KR (1) KR100392970B1 (ja)
DE (1) DE69529137T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078577A (ja) * 1998-05-29 2000-03-14 Internatl Business Mach Corp <Ibm> ビデオ・フレ―ムの多重ストリ―ムを処理する方法及びシステム
JP2000102021A (ja) * 1998-09-15 2000-04-07 Thomson Multimedia Sa 画像圧縮方法及びこの方法を実施する装置
US7221409B2 (en) 2001-03-08 2007-05-22 Monolith Co., Ltd. Image coding method and apparatus and image decoding method and apparatus
JP2007259493A (ja) * 2007-06-04 2007-10-04 Sony Corp 符号化装置及び符号化方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293227B (ja) * 1994-11-24 1996-12-11 Victor Company Of Japan
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
GB9607645D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Processing of video signals prior to compression
US6094510A (en) * 1996-04-15 2000-07-25 Canon Kabushiki Kaisha Image processing apparatus and method for predicting a compression rate of image data processed to modify an image
JPH09322174A (ja) * 1996-05-30 1997-12-12 Hitachi Ltd 動画データの再生方法
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
WO1998026602A1 (en) * 1996-12-12 1998-06-18 Sony Corporation Equipment and method for compressing picture data
JPH10290464A (ja) * 1997-04-14 1998-10-27 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化モード判定装置
FR2764156B1 (fr) * 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
WO1999007157A1 (en) * 1997-07-28 1999-02-11 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for compressing video sequences
AR016812A1 (es) * 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6307886B1 (en) 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
US6563549B1 (en) 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
JP3129411B2 (ja) * 1998-05-28 2001-01-29 日本電気株式会社 動画像圧縮装置と動画像圧縮方法
US6351493B1 (en) * 1998-06-30 2002-02-26 Compaq Computer Corporation Coding an intra-frame upon detecting a scene change in a video sequence
US6532262B1 (en) * 1998-07-22 2003-03-11 Matsushita Electric Industrial Co., Ltd. Coding method and apparatus and recorder
EP0979011A1 (en) 1998-08-06 2000-02-09 STMicroelectronics S.r.l. Detection of a change of scene in a motion estimator of a video encoder
US6590607B1 (en) 1998-08-19 2003-07-08 Hewlett-Packard Development Company, L.P. Method and apparatus for storing an uninterrupted digital video stream
US6731684B1 (en) 1998-09-29 2004-05-04 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
EP1005233A1 (en) * 1998-10-12 2000-05-31 STMicroelectronics S.r.l. Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures
JP2000278692A (ja) * 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
JP3721867B2 (ja) * 1999-07-07 2005-11-30 日本電気株式会社 映像表示装置及び表示方法
US6731813B1 (en) 1999-10-07 2004-05-04 World Multicast.Com, Inc. Self adapting frame intervals
AU7868600A (en) * 1999-10-07 2001-05-10 World Multicast.Com, Inc. Self adapting frame intervals
GB2356509B (en) 1999-11-16 2004-02-11 Sony Uk Ltd Video data formatting and storage
KR100377190B1 (ko) * 1999-12-24 2003-03-26 한국전자통신연구원 블록별 생성 비트스트림 크기에 따른 채널 오류 발생가능성 예측에 의한 인트라 갱신 블록 결정 기법을 이용한 영상 부호화 방법
US7367042B1 (en) 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
JP2003533103A (ja) * 2000-04-27 2003-11-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ圧縮方法
GB2364459B (en) * 2000-06-30 2004-03-31 Nokia Mobile Phones Ltd Video error resilience
US20020021756A1 (en) * 2000-07-11 2002-02-21 Mediaflow, Llc. Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
EP1176833A3 (en) * 2000-07-25 2012-06-27 Panasonic Corporation Image decoding method, image decoding apparatus, and data storage medium
EP1317857A1 (en) * 2000-08-30 2003-06-11 Watchpoint Media Inc. A method and apparatus for hyperlinking in a television broadcast
US8369401B1 (en) 2000-10-06 2013-02-05 Stmicroelectronics Asia Pacific Pte Ltd. System and method of bit allocation in scene change situations
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
US6907071B2 (en) * 2001-05-24 2005-06-14 Telefonaktiebolaget Lm Ericsson (Publ) Selective prediction for intra-coding video data block
US6804301B2 (en) 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
EP1446955A2 (en) * 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
TWI247531B (en) * 2002-03-11 2006-01-11 Winbond Electronics Corp Digital data processing and storage method and device thereof
CN1826805A (zh) * 2003-07-24 2006-08-30 皇家飞利浦电子股份有限公司 对所存储的视频数据的优化
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
DE602005023997D1 (de) * 2004-06-21 2010-11-18 Mitsubishi Electric Corp Codierungseinrichtung für bewegliche bilder, aufzeichnungseinrichtung für bewegliche bilder und wiedergabeeinrichtung für bewegliche bilder
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
CN101577823B (zh) * 2008-05-08 2011-05-25 宏碁股份有限公司 视讯编码方法及编码***与具有视讯编码功能的摄影装置
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
JPWO2014054325A1 (ja) * 2012-10-05 2016-08-25 ソニー株式会社 符号化制御装置および符号化制御方法
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9906785B2 (en) * 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
JP2015005835A (ja) * 2013-06-19 2015-01-08 シャープ株式会社 画像処理装置、画像形成装置及び記録媒体
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
US20160360206A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Rate controller for real-time encoding and transmission
WO2024059998A1 (en) * 2022-09-20 2024-03-28 Qualcomm Incorporated Variable intra-frame (i-frame) time interval and group of picture (gop) length for video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04318785A (ja) * 1991-04-18 1992-11-10 Matsushita Electric Ind Co Ltd 映像信号の圧縮符号化処理方法及びその装置
JP3119888B2 (ja) * 1991-04-18 2000-12-25 松下電器産業株式会社 信号処理方法及び記録再生装置
JP3158370B2 (ja) * 1991-07-12 2001-04-23 ソニー株式会社 ディスクデータ再生装置
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
KR0121328B1 (ko) * 1991-12-13 1997-11-17 사또오 후미오 디지탈 신호 기록 재생 장치
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
EP1137280B1 (en) * 1992-01-29 2003-04-02 Mitsubishi Denki Kabushiki Kaisha Video information recording/reproducing apparatus and method
GB9206651D0 (en) * 1992-03-26 1992-05-06 Solid State Logic Ltd Video processing
US5440345A (en) * 1992-07-17 1995-08-08 Kabushiki Kaisha Toshiba High efficient encoding/decoding system
JP3465272B2 (ja) * 1992-08-28 2003-11-10 ソニー株式会社 デジタルデータ記録装置および記録方法
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
JPH0750839A (ja) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd 動画像の符号化方法
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078577A (ja) * 1998-05-29 2000-03-14 Internatl Business Mach Corp <Ibm> ビデオ・フレ―ムの多重ストリ―ムを処理する方法及びシステム
US6859496B1 (en) 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6956901B2 (en) 1998-05-29 2005-10-18 International Business Machines Corporation Control strategy for dynamically encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
JP2000102021A (ja) * 1998-09-15 2000-04-07 Thomson Multimedia Sa 画像圧縮方法及びこの方法を実施する装置
JP4733800B2 (ja) * 1998-09-15 2011-07-27 トムソン マルチメデイア 画像圧縮方法及びこの方法を実施する装置
US7221409B2 (en) 2001-03-08 2007-05-22 Monolith Co., Ltd. Image coding method and apparatus and image decoding method and apparatus
JP2007259493A (ja) * 2007-06-04 2007-10-04 Sony Corp 符号化装置及び符号化方法
JP4650454B2 (ja) * 2007-06-04 2011-03-16 ソニー株式会社 符号化装置及び符号化方法

Also Published As

Publication number Publication date
EP0705041A3 (en) 1997-09-24
DE69529137T2 (de) 2003-10-09
KR960013083A (ko) 1996-04-20
US5757968A (en) 1998-05-26
EP0705041B1 (en) 2002-12-11
US5832121A (en) 1998-11-03
EP1098530A3 (en) 2007-03-07
DE69529137D1 (de) 2003-01-23
JP3711571B2 (ja) 2005-11-02
KR100392970B1 (ko) 2003-11-14
EP0705041A2 (en) 1996-04-03
EP1098530A2 (en) 2001-05-09

Similar Documents

Publication Publication Date Title
JP3711571B2 (ja) 画像符号化装置及び画像符号化方法
JP3954656B2 (ja) 画像符号化装置及び方法
US7532764B2 (en) Prediction method, apparatus, and medium for video encoder
US6167088A (en) Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information
JP3224465B2 (ja) 画像符号化装置
JP2006157881A (ja) 可変長符号化装置及びその方法
US20060239347A1 (en) Method and system for scene change detection in a video encoder
US8189667B2 (en) Moving picture encoding apparatus
JP3755155B2 (ja) 画像符号化装置
JP5649296B2 (ja) 画像符号化装置
JP3480067B2 (ja) 画像符号化装置及び方法
JPH09294267A (ja) 画像圧縮符号化装置
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JP4806483B2 (ja) 画像圧縮方法
US6922490B2 (en) Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate
JPH07135657A (ja) 符号化方法と符号化装置
US20060146929A1 (en) Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks
JPH09200769A (ja) 動き補償フレーム間符号化方式
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JPH0898177A (ja) 画像符号化装置
JP4100067B2 (ja) 画像情報変換方法及び画像情報変換装置
JP4359273B2 (ja) 符号化モード選択方法
JP2000023155A (ja) 動画像符号化装置
JPH0898178A (ja) 画像符号化装置
JP4359274B2 (ja) 動画像圧縮符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050414

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080826

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees