JP2002335529A - 動画像符号化方法および装置 - Google Patents

動画像符号化方法および装置

Info

Publication number
JP2002335529A
JP2002335529A JP2001137840A JP2001137840A JP2002335529A JP 2002335529 A JP2002335529 A JP 2002335529A JP 2001137840 A JP2001137840 A JP 2001137840A JP 2001137840 A JP2001137840 A JP 2001137840A JP 2002335529 A JP2002335529 A JP 2002335529A
Authority
JP
Japan
Prior art keywords
frame
motion vector
search
frames
forward motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001137840A
Other languages
English (en)
Other versions
JP3674535B2 (ja
Inventor
Hiroyuki Ishikawa
裕之 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001137840A priority Critical patent/JP3674535B2/ja
Priority to US10/138,699 priority patent/US6975681B2/en
Publication of JP2002335529A publication Critical patent/JP2002335529A/ja
Application granted granted Critical
Publication of JP3674535B2 publication Critical patent/JP3674535B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 動き補償フレーム間予測符号化を行う動画像
符号化方法および装置において、圧縮効率を高めるこ
と。 【解決手段】 双方向動き補償フレーム間予測符号化を
施す各Bフレームに対し、Pフレームについての順方向
動きベクトル探索において導出された順方向動きベクト
ルを、当該各Bフレームと参照フレーム(IまたはPフ
レーム)とのフレーム距離に応じて大きさを縮小して順
方向動きベクトルとして配分し、また、Bフレームのう
ち、IまたはPフレームの次のフレームについてIまた
はPフレームを参照フレームとして逆方向動きベクトル
探索を行い、導出された逆方向動きベクトルを、当該各
Bフレームと参照フレーム(IまたはPフレーム)との
フレーム距離に応じて大きさを縮小して逆方向動きベク
トルとして配分し、上記順方向動きベクトルおよび逆方
向動きベクトルを用いて双方向動き補償フレーム間予測
符号化を施す。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像符号化方法
および装置に関し、特に、動き補償フレーム間予測符号
化を行う動画像符号化方法および装置に関する。
【0002】
【従来の技術】従来技術として、動画像信号を記録ある
いは伝送する際に、動き補償を用いたフレーム間予測符
号化により信号を圧縮符号化する技術がよく知られてい
る。
【0003】動画像符号化の標準規格としてはMPEG
がある。図2を参照してMPEG(特にMPEG1)の
フレーム構成について説明する。MPEGのフレームタ
イプには、フレーム内符号化のみ施すIピクチャ、時間
的に過去のフレームを用いて順方向予測(前方向予測)
を施すPピクチャ、時間的に過去・未来の両方のフレー
ムを用いて順方向予測または逆方向(後方向)予測また
は順逆の双方向予測を施すBピクチャの3種類がある。
Bピクチャの場合、順方向/逆方向/双方向のどのモー
ドを使用するかはブロックごとに選択できる(予測誤差
が最も小さくなるモードを選択する)。MPEG1で
は、Iピクチャと、Iピクチャ間に所定のフレーム間隔
で配置される複数個のPピクチャと、IピクチャとPピ
クチャの間、または、PピクチャとPピクチャの間に配
置される複数個のBピクチャとからなるピクチャグルー
プを処理単位としている。また、Bピクチャは未来のフ
レームを予測に用いるため、符号化時にはフレームの並
べ替えが行われる。例えば、図2に示すようなフレーム
構成の場合、処理の行われる順番はI0P3B1B2P
6B4B5…となる。
【0004】動き補償フレーム間予測処理を行う際の動
きベクトルの検出(探索)方法としては、ブロックマッ
チングと呼ばれる方法がある。これは、動き補償予測を
行う単位であるマクロブロックごとに、予測対象ブロッ
クに対応する参照フレーム内の同位置の参照ブロックに
ついて、所定の探索範囲で予測対象ブロックとの差分値
(=各画素の差分の絶対値和など)を演算して時間的相
関性を評価し、予測対象ブロックと最も相関性の高い
(=差分値が最小の)ブロックを最適予測ブロックとし
て決定する。最適予測ブロックと予測対象ブロックとの
位置差が動きベクトルとして検出される。
【0005】動き補償フレーム間予測では、動きベクト
ルの探索範囲が広ければ広いほど正確な動きベクトルを
得ることができるが、代わりに演算量は飛躍的に増加し
てしまう。高速な圧縮処理を要求される場合、この探索
範囲を適応的に狭くすることにより処理速度の低下を抑
える手法が一般的であり、このような手法は、例えば、
実開平5−43681号公報などに開示されている。
【0006】実開平5−43681号公報に開示されて
いる画像符号化装置は、動き補償予測を行う際に、前回
の動き補償予測処理で導出した動きベクトルを用いて、
今回の動き補償予測処理における動きベクトルの方向を
推測する。動きベクトルの向かう確率の低い領域では評
価計算を行わないようにすることにより、探索点の数を
減少させて処理速度を高める。
【0007】しかしこの方法では、動き補償予測を行う
対象となるフレーム、特に双方向予測を行う対象となる
フレームの数に応じて比例的に処理量が増加するという
問題がある。
【0008】特開平11−239350号公報では、探
索精度によって演算方法を変えて高速化を実現する方法
が開示されているが、前述の理由と同様で、処理量が増
加するという問題点がある。
【0009】また、特開平8−289301号公報に
は、参照フレームを適応的にサブサンプルしてブロック
マッチング処理の演算量を減らすことにより、動きベク
トル探索処理を高速化する方法が開示されている。しか
しこの手法では、動き補償予測を行う対象となるフレー
ム数が増加してブロックマッチング処理を行う必要のあ
るブロック数が増加した場合に、ブロックマッチング処
理の演算を省略しすぎることにより、正確な動きベクト
ルが求められなくなるという欠点がある。
【0010】また、特開2000−134629号公報
には、参照ブロックについて既に求められている動きベ
クトルを利用して次の動きベクトル探索範囲を決定する
ことにより、探索範囲を固定とした場合に比較して演算
量を削減することのできる動きベクトル検出方法が開示
されている。
【0011】また、特開2000−224593号公報
に開示されているフレーム補間方法は、動き補償予測符
号化・復号化における、復号化の際の補間フレームの生
成の方法に関する技術であり、ブロック単位より細かく
補間モードが設定できるものである。
【0012】
【発明が解決しようとする課題】本発明は、かかる問題
点に鑑みてなされたものであり、圧縮効率を高めるため
に、動きベクトルを高速に求めることのできる動画像符
号化方法および装置を提供することを目的とする。
【0013】
【課題を解決するための手段】かかる目的を達成するた
めに、請求項1記載の発明は、動画像信号に対し、所定
の大きさのブロック単位および所定のフレーム間隔で、
フレーム内符号化と、順方向動き補償フレーム間予測符
号化とを施し、フレーム内符号化が施されるIフレーム
および順方向動き補償フレーム間予測符号化が施される
Pフレームの間にある複数のBフレームに対して双方向
動き補償フレーム間予測符号化を施す動画像符号化方法
であって、各Bフレームに対し、Pフレームについての
順方向動きベクトル探索において導出された順方向動き
ベクトルを、当該各Bフレームと順方向動き補償フレー
ム間予測における参照フレーム(IまたはPフレーム)
とのフレーム距離に応じて大きさを縮小して順方向動き
ベクトルとして配分し、また、Bフレームのうち、Iま
たはPフレームの次のフレームについてIまたはPフレ
ームを参照フレームとして逆方向動きベクトル探索を行
い、動きベクトル探索において導出された逆方向動きベ
クトルを、当各Bフレームと逆方向動きベクトル探索に
おける参照フレーム(IまたはPフレーム)とのフレー
ム距離に応じて大きさを縮小して逆方向動きベクトルと
して配分し、各Bフレームに対し、配分された順方向動
きベクトルおよび逆方向動きベクトルを用いて双方向動
き補償フレーム間予測符号化を施すことを特徴としてい
る。
【0014】請求項2記載の発明は、動画像信号に対
し、所定の大きさのブロック単位および所定のフレーム
間隔で、フレーム内符号化と、順方向動き補償フレーム
間予測符号化とを施し、フレーム内符号化が施されるI
フレームおよび順方向動き補償フレーム間予測符号化が
施されるPフレームの間にある複数のBフレームに対し
て双方向動き補償フレーム間予測符号化を施す動画像符
号化方法であって、PフレームについてIまたはPフレ
ームを参照フレームとして順方向動きベクトル探索を行
って順方向動きベクトルを導出し、順方向動き補償フレ
ーム間予測符号化を施す順方向予測ステップと、各Bフ
レームに対し、順方向動きベクトルを用いて、動きベク
トルの大きさを順方向動きベクトル探索における参照フ
レームと当該各Bフレームとのフレーム距離に応じて縮
小したベクトルを順方向動きベクトルとして配分する順
方向ベクトル配分ステップと、BフレームのうちIまた
はPフレームの次のフレームについて、IまたはPフレ
ームを参照フレームとして逆方向動きベクトル探索を行
って逆方向動きベクトルを導出する逆方向予測ステップ
と、各Bフレームに対し、逆方向動きベクトルを用い
て、動きベクトルの大きさを逆方向動きベクトル探索に
おける参照フレームと当該各Bフレームとのフレーム距
離に応じて縮小したベクトルを逆方向動きベクトルとし
て配分する逆方向ベクトル配分ステップと、各Bフレー
ムに対し、順方向動きベクトルおよび逆方向動きベクト
ルを用いて双方向動き補償フレーム間予測符号化を施す
双方向予測符号化ステップと、を有することを特徴とし
ている。
【0015】請求項3記載の発明は、請求項2記載の発
明において、順方向動きベクトル探索の際、参照フレー
ムについての順方向動きベクトル探索において導出され
ている順方向動きベクトルを用いて、順方向動きベクト
ルの分だけ動きベクトル探索範囲を基準位置から移動し
て今回の探索範囲とする探索範囲変更ステップをさらに
有することを特徴としている。
【0016】請求項4記載の発明は、請求項3記載の発
明において、探索範囲変更ステップは、順方向動きベク
トルが所定の値より大きい場合、もとの探索基準位置を
含むように探索範囲を適応的に変更することを特徴とし
ている。
【0017】請求項5記載の発明は、請求項2から4の
いずれか1項に記載の発明において、各Bフレームにつ
いて、配分された双方向動きベクトルを用いて、双方向
動きベクトルに対応する参照フレーム内の位置を基準位
置として所定の探索範囲で動きベクトル探索を行って動
きベクトルを導出し、動きベクトルを当該各Bフレーム
についての動きベクトルとして決定する再探索ステップ
をさらに有することを特徴としている。
【0018】請求項6記載の発明は、動画像信号に対
し、所定の大きさのブロック単位および所定のフレーム
間隔で、フレーム内符号化と、順方向動き補償フレーム
間予測符号化とを施し、フレーム内符号化が施されるI
フレームおよび順方向動き補償フレーム間予測符号化が
施されるPフレームの間にある複数のBフレームに対し
て双方向動き補償フレーム間予測符号化を施す動画像符
号化装置であって、入力フレームを蓄積し、符号化を施
す順番に並べ替えるフレーム並べ替え手段と、Pフレー
ムと、参照フレーム(IまたはPフレーム)と、を入力
して順方向動きベクトル探索を行って順方向動きベクト
ルを導出し、また、BフレームのうちIまたはPフレー
ムの次のフレームと、参照フレーム(IまたはPフレー
ム)と、を入力して逆方向動きベクトル探索を行って逆
方向動きベクトルを導出する動き探索手段と、動き探索
手段において導出された各動きベクトルを保存する動き
ベクトル保存手段と、各Bフレームに対し、順方向動き
ベクトルと、逆方向動きベクトルとを用いて、各動きベ
クトルの大きさをIまたはPフレームとのフレーム間距
離に応じて縮小したベクトルを、IまたはPフレームを
参照フレームとした双方向動きベクトルとして配分する
ベクトル配分手段と、PまたはBフレームについて、各
動きベクトルと参照フレームとを用いた予測画像との差
分を演算して予測誤差信号を出力する予測誤差生成手段
と、Iフレームまたは予測誤差信号を入力して周波数変
換および量子化を行い、量子化データを出力する周波数
変換・量子化手段と、量子化データを入力して可変長符
号化を行い、符号化データを出力する可変長符号化手段
と、量子化データを入力して逆量子化および逆周波数変
換を行い、復元データを出力する逆量子化・逆周波数変
換手段と、復元データから動き補償フレーム間予測にお
ける参照フレームを生成する参照フレーム生成手段と、
参照フレームを記憶するフレーム記憶手段と、を有する
ことを特徴としている。
【0019】請求項7記載の発明は、請求項6記載の発
明において、動きベクトル探索手段は、順方向動きベク
トル探索における参照フレームについての順方向動きベ
クトル探索において導出されている順方向動きベクトル
を用いて、順方向動きベクトルの分だけ動きベクトル探
索範囲を基準位置から移動して今回の探索範囲とするこ
とを特徴としている。
【0020】請求項8記載の発明は、請求項7記載の発
明において、動きベクトル探索手段は、順方向動きベク
トルが所定の値より大きい場合、もとの探索基準位置を
含むように探索範囲を適応的に変更することを特徴とし
ている。
【0021】請求項9記載の発明は、請求項6から8の
いずれか1項に記載の発明において、動きベクトル探索
手段は、各Bフレームについて、双方向動きベクトルを
用いて、該双方向動きベクトルに対応する参照フレーム
内の位置を基準位置として所定の探索範囲で動きベクト
ル探索を行って動きベクトルを導出し、動きベクトルを
当該各Bフレームについての動きベクトルとして決定す
ることを特徴としている。
【0022】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。以下、説明の便宜
のために、フレーム内符号化を施すフレームを「フレー
ムI」、順方向動き補償フレーム間予測符号化を施すフ
レームを「フレームP」、それ以外の、フレーム間予測
における参照フレームとはならないフレームを「中間フ
レーム」あるいは「フレームM」、また、特に中間フレ
ームのうち逆方向動きベクトル探索が行われるフレーム
を「フレームR」、と呼ぶことにする。また、各動き補
償フレーム間予測における処理単位は所定の大きさのブ
ロック(例えば16×16画素のマクロブロック)であ
る。
【0023】図1は、本発明の実施の形態における動画
像圧縮符号化装置の構成を示すブロック図である。本実
施例は、画像入力部11と、フレームメモリ12と、動
き探索部13と、ベクトル情報保存部14と、切替部1
5と、周波数変換部17と、量子化部18と、切替部1
9と、逆量子化部20と、逆周波数変換部21と、切替
部(復元部)22と、フレームメモリ24と、可変長符
号化部25と、符号出力部26とを備えている。
【0024】各部の動作について説明する。画像入力部
11は、動画像信号をフレーム単位で入力する。フレー
ムメモリ12は、入力されたフレームを一旦蓄積する。
一回の符号化処理に必要なフレーム数が入力されると、
符号化対象フレームが出力される。
【0025】動き探索部13は、フレームI以外のフレ
ームについて動きベクトル探索を行って動きベクトルを
導出する。動きベクトル探索は、フレームメモリ12か
ら出力される対象フレーム(現フレーム)と、フレーム
メモリ24に記憶されている参照フレームとを入力して
行われる。各探索処理において導出された動きベクトル
は、動きベクトル保存部14に保存する。また、動き探
索部12では、各中間フレームに対して、順方向動き補
償フレーム間予測、逆方向動き補償フレーム間予測にお
いて導出された動きベクトルを配分する処理を行う(後
述)。
【0026】動きベクトル保存部14は、動き探索部1
3における動きベクトル探索処理において導出された各
動きベクトルを保存する。また、必要に応じて動きベク
トル情報を出力する。
【0027】切替部15は、フレームタイプに応じてス
イッチを切り替える。フレームP、フレームR、および
中間フレームについては、減算器16において、予測対
象ブロックと予測画像(=最適予測ブロック=参照フレ
ーム+動きベクトル情報)とを入力して予測誤差信号を
出力する。また、動き探索部13における動きベクトル
探索において導出された最適予測ブロックの評価値が所
定の閾値より大きい場合(つまり予測対象ブロックとの
相関性が低いと判断された場合)、このブロックについ
てはフレーム内符号化を施すようにスイッチを切り替え
る。
【0028】周波数変換部17は、フレームIについて
はそのままのデータを、フレームP・フレームR・中間
フレームについては予測誤差データを周波数変換して変
換係数を出力する。量子化部18は、変換係数を量子化
して量子化符号を出力する。
【0029】切替部19は、フレームタイプに応じてス
イッチを切り替える。フレームタイプが、参照フレーム
を生成する必要のあるIまたはPである場合、逆量子化
部20にも信号を出力するように制御する。
【0030】可変長符号化部25は、量子化符号を可変
長符号化して符号データを出力する。符号出力部26
は、符号データを外部に出力する。
【0031】逆量子化部20は、フレーム間予測におけ
る参照フレームの生成のために、量子化符号を入力して
逆量子化する。逆周波数変換部21は、逆量子化部20
より出力された変換係数を入力して逆周波数変換し、復
元データを出力する。
【0032】切替部22は、フレームタイプがPの場
合、逆周波数変換部21より出力された復元データ(予
測誤差)と、予測画像(=最適予測ブロック=参照フレ
ーム+動きベクトル)とを加算器23において加算して
新たな参照フレームを生成する。参照フレームはフレー
ムメモリ24に記憶される。フレームタイプがIの場
合、そのまま復元データを参照フレームとしてフレーム
メモリ24に出力する。
【0033】図3および図4を参照して、本発明におけ
る動画像符号化方法について説明する。図3に示すよう
に、例えば、フレームグループIMMMPについては、
まず、フレームIを参照フレームとしてフレームPにつ
いて順方向動きベクトル探索および動き補償フレーム間
予測符号化が行われ、順方向動きベクトルが導出され
る。次に、フレームPを参照フレームとしてフレームI
の次のフレームMについて逆方向動きベクトル探索が行
われ、逆方向動きベクトルが導出される。各中間フレー
ムMに対しては、上記順方向動きベクトルおよび逆方向
動きベクトルがフレーム間隔の比に応じた大きさでそれ
ぞれ配分される。
【0034】図3および図4を参照して、中間フレーム
に対する動きベクトル配分処理について説明する。ま
ず、フレームI(またはP)を参照フレームとしてフレ
ームPについて順方向動き補償フレーム間予測符号化
(=MCpとする)が行われ、動きベクトル(=MVp
とする)が導出される。なお、フレームIについて順方
向動き補償フレーム間予測を行うことはないので、この
場合、代わりに、参照フレームPから最も離れたフレー
ムMについて順方向動き補償フレーム間予測符号化を行
う(つまり、このフレームMはフレームPとなる)。
【0035】次に、フレームI(またはP)の次のフレ
ームM(=上記順方向動き補償フレーム間予測MCpが
行われたフレームPから最も離れた中間フレーム=フレ
ームR)について、上記フレームP(またはI)を参照
フレームとして逆方向動きベクトル探索(=MCrとす
る)が行われ、動きベクトル(=MVrとする)が導出
される。
【0036】動き探索部13内の動きベクトル配分処理
部は、各中間フレームに対して、上記順方向動き補償フ
レーム間予測MCpにおいて導出された動きベクトルM
Vpと、上記逆方向動きベクトル探索MCrにおいて導
出された動きベクトルMVrとを配分する処理を行う。
動きベクトル配分は、各フレーム内の対応する同位置ブ
ロックごとに行われる。各中間フレームには、上記動き
ベクトルMVpおよびMVrを当該フレームと参照フレ
ーム(IまたはP)とのフレーム距離に応じて縮小した
ベクトルが双方向動きベクトルとして配分される。
【0037】順方向予測における動きベクトル配分例に
ついて説明する。フレームI0を参照フレームとしたフ
レームP4についての順方向動き補償フレーム間予測M
Cp04において求められた動きベクトルMVp04が例え
ば(4,12)だったとする。フレームI0からP3ま
でのフレーム間距離(=フレーム数)は4で、フレーム
I0からM1までのフレーム間距離は1なので、フレー
ムI0を参照フレームとしたフレームM1についての順
方向予測における動きベクトルMVp01は、上記MVp
04の成分をフレーム間距離の比である1/4にした値で
ある(1,3)となる。また、同様に、フレームI0を
参照フレームとしたフレームM2についての順方向予測
における動きベクトルMVp02は、上記MVp04の成分
をフレーム間距離の比である2/4にした値である
(2,6)となり、フレームI0を参照フレームとした
フレームM3についての順方向予測における動きベクト
ルMVp03は、上記MVp04の成分をフレーム間距離の
比である3/4にした値である(3,9)となる。
【0038】次に逆方向予測における動きベクトル配分
例について説明する。フレームP4を参照フレームとし
たフレームM1についての逆方向動きベクトル探索MC
r41の結果、導出された動きベクトルMVr41が(−
3,−6)だったとする。フレームM1からP4までの
フレーム間距離は3で、フレームM2からP4までのフ
レーム間距離は2なので、フレームP4を参照フレーム
としたフレームM2についての逆方向予測における動き
ベクトルMVr42は、上記MVr41の成分をフレーム間
距離の比である2/3にした値(−2,−4)となる。
また、同様に、フレームP4を参照フレームとしたフレ
ームM3についての逆方向予測における動きベクトルは
MVr43は、上記MVr41の成分をフレーム間距離の比
である1/3にした値(−1,−2)となる。
【0039】以上の結果から、各中間フレームの各マク
ロブロック位置における動きベクトルは、M1が順方向
について(1,3)、逆方向について(−3,−6)、
M2が順方向について(2,6)、逆方向について(−
2,−4)、M3が順方向について(3,9)、逆方向
について(−1,−2)と決定される。中間フレームに
対しては、これらの動きベクトルを用いて双方向動き補
償フレーム間予測符号化が施される。
【0040】以下、図1を参照しながら、各フレームタ
イプごとの処理について順を追って説明する。まず、フ
レームタイプがIの場合について説明する。フレームI
は、フレーム内符号化のみ行われるため、周波数変換部
17、量子化部18、可変長符号化部25、符号出力部
26の順に処理される。また、参照フレームを作成する
ために、逆量子化部20、逆周波数変換部21の順に処
理されて参照フレームが作成され、切替部22を介して
フレームメモリ24に記憶される。
【0041】次に、フレームタイプがPの場合について
説明する。フレームPは、順方向動き補償予測が行われ
るので、まず、動き探索部13において、過去のフレー
ム(IまたはP)を参照フレームとして動き探索処理が
行われる。導出された動きベクトル情報は以降の予測処
理で使用するために動きベクトル保存部14に保存され
る。また、減算器16において、上記動き探索部13に
おいて導出された動きベクトルを用いて、予測対象フレ
ームと参照フレーム(予測画像)との予測誤差が演算さ
れる。
【0042】ブロックマッチング処理におけるブロック
評価値が所定の閾値より大きい場合は、フレーム内圧縮
を行うように制御を行う。そのため予測誤差は求めな
い。ブロック評価値が上記閾値以下である場合、フレー
ム間予測符号化を行う。
【0043】フレームPにおいて、フレーム間予測符号
化を行うと判断されたブロックは、周波数変換部17、
量子化部18、可変長符号化部25、符号出力部26の
順に処理が行われる。また、参照フレームを作成するた
めに、逆量子化部20、逆周波数変換部21により処理
が行われ、予測誤差が復元される。復元信号は、加算器
23において、フレームメモリ24より出力された参照
フレーム(=予測画像。動きベクトル情報を用いる)と
の加算が行われ、参照フレームが作成される。参照フレ
ームは、フレームメモリ24に書き込まれる。
【0044】また、フレームPにおいて、フレーム間予
測を行わないと判断されたブロックは、周波数変換部1
7、量子化部18、可変長符号化部25、符号出力部2
6の順でフレーム内符号化処理が行われる。また、参照
フレームを作成するために、逆量子化部20、逆周波数
変換部21により処理が行われて参照フレームが生成さ
れ、フレームメモリ24に書き込まれる。
【0045】次に、フレームが中間フレーム(Mまたは
R)の場合について説明する。最初の中間フレームの場
合、前述したように、まず逆方向動きベクトル探索MC
rが行われ、動きベクトルMVrが導出されて、動きベ
クトル保存部14にて保存される。その他の中間フレー
ムについては、既に利用できる動きベクトル情報が動き
ベクトル保存部14に保存されている場合、動き探索部
13で動き探索処理は行わずに、上記保存されている動
きベクトル情報を用いて、動きベクトル配分処理を行
う。配分された動きベクトルを用いて、切替部15の減
算器16において過去もしくは未来のフレームとの予測
誤差を求める。ここで予測誤差が所定の閾値より大きい
場合、フレーム間予測を行わずにフレーム内圧縮を行う
ように制御する。その場合、予測誤差は求めない。これ
らの処理で得たブロックデータは、周波数変換部17、
量子化部18、可変長符号化部25、符号出力部26の
順で符号化処理される。中間フレームについては参照フ
レームを作成する必要がないため、フレームメモリ24
の更新は行わない。
【0046】次に、図5を参照して動きベクトル探索範
囲の決定方法について説明する。まず、フレームI−P
1間の動き補償予測について説明する。例えば、フレー
ムPのブロック位置(16,16)について、フレーム
Iを参照フレームとして動きベクトルを探索するものと
する。また、探索範囲としては、所定の画素半径の円内
を探索するものとする。ブロックマッチング処理を行
い、フレームP1の(16,16)位置のブロックとの
間での評価値が最小になったブロックが(25,19)
位置のブロックだったとすると、この場合のブロック移
動量は、横方向に−9、縦方向に−3であるので、動き
ベクトルは(−9,−3)となる。
【0047】次に、フレームP1−P2間の動き補償予
測について説明する。前回の順方向予測処理(I→P
1)において、フレームP1の(16,16)位置のブ
ロックは、フレームIからフレームP1へ(−9,−
3)移動したと予測されたのだから、今回のP1からP
2への順方向予測処理における移動量も同等のものであ
ると予想すると、フレームP2の(16,16)位置の
ブロックには、フレームP1の(25,19)位置のブ
ロック部分が移動してくる可能性が高いと考えることが
できる。そこで、フレームP1の(25,19)位置を
中心とした所定範囲内を探索することにより、探索範囲
を固定とした場合に比して効果的な動きベクトル探索を
行うことができる。
【0048】もし、この探索範囲変更における移動量が
大きすぎて、もとの探索基準位置が探索範囲外になって
しまうと、今回の予測フレームにおいてオブジェクトの
動きがないあるいは小さい場合に、移動量ゼロの位置を
参照位置とすることができなくなり、予測誤差が大きく
なって画質劣化につながる。そのため、このような場合
は、もとの探索基準位置も探索対象として別に探索する
か、もとの探索基準位置が探索範囲内に入るように探索
範囲を適応的に広げるなどの処理を行うとよい。なお、
フレームIの後にくる最初のフレームPについての順方
向予測MCpは、前回の順方向予測処理における結果の
動きベクトル情報が存在しないため探索開始位置変更情
報は取得できない。この場合、参照ブロックの位置を基
準位置とした標準的な探索範囲を探索する。
【0049】図6は、本発明の実施の形態における動画
像圧縮符号化装置の動作を示すフローチャートである。
まず、画像入力部11に動画像データが入力され、圧縮
処理が可能かどうかを確認しながらフレームデータをフ
レームメモリ12に蓄積する(ステップS11)。
【0050】一回の予測符号化処理に必要なフレーム数
が揃い、また、動きベクトル探索についての探索開始位
置および探索範囲の変更情報がある場合(ステップS1
2/YES)、その情報に従い、探索開始位置および探
索範囲を変更する(ステップS13)。ここでは、前述
したように、探索開始位置変更情報として、参照フレー
ム内の参照ブロックについての過去の動き補償フレーム
間予測処理において既に求められている動きベクトル情
報を用いる。
【0051】次に、フレームグループについて、順方向
の動きベクトル探索および動き補償フレーム間予測符号
化を行う(ステップS14)。この探索処理において導
出された順方向動きベクトル情報は、後段のベクトル配
分処理および次回の順方向動き補償フレーム間予測処理
における開始位置変更情報として使用するために、ベク
トル情報保存部14に保存しておく(ステップS1
5)。
【0052】逆方向動きベクトル探索は、中間フレーム
のうち、参照フレームとなるフレームP(またはI)か
ら時間的に最も離れたフレームについて行われる(ステ
ップS16)。この探索処理において導出された逆方向
動きベクトルは、後段のベクトル配分処理において使用
するためにベクトル情報保存部14に保存する(ステッ
プS17)。
【0053】上記ステップにおいて導出された各順方向
および逆方向の動きベクトルは、各中間フレームに対
し、参照フレームとのフレーム距離に応じて比例的な大
きさでそれぞれ配分される(ステップS18)。
【0054】上記順方向動き補償フレーム間予測および
逆方向動きベクトル探索において導出された動きベクト
ルを使用して、各入力フレームの符号化処理が行われる
(ステップS19)。以上のような動作を全てのフレー
ムの圧縮処理が終了するまで繰り返す(ステップS1
0)。
【0055】以上により、本発明の動画像符号化方法お
よび装置について説明した。なお、各中間フレームにつ
いては、配分された各動きベクトルに対応する参照フレ
ーム内の位置を中心にして、所定の大きさの探索範囲で
周囲を再探索する構成にすることにより、さらに符号化
効率を高めることも可能である。
【0056】なお、上述した実施形態は、本発明の好適
な実施形態の一例を示すものであり、本発明はそれに限
定されるものではなく、その要旨を逸脱しない範囲内に
おいて、種々変形実施が可能である。
【0057】
【発明の効果】以上の説明から明らかなように、本発明
によれば、動きベクトル探索処理を行うフレームを減ら
し、全体の演算量を削減することができる。
【0058】また、過去の動き補償フレーム間予測処理
において導出されている動きベクトル情報を使用して次
の動きベクトル探索処理における探索範囲を決定するこ
とにより、移動量の大きいオブジェクトに対しても正確
な動きベクトル探索を行うことができる。
【0059】また、もとの探索基準位置を含むように探
索範囲を適応的に変更することにより、等速で移動しな
いオブジェクトに関しても探索範囲内に納めることがで
きる。
【0060】また、中間フレームについてのみ動きベク
トル探索処理を省略化し、フレーム間予測処理における
誤差が発生しても誤差が蓄積されないため、画質劣化の
少ない圧縮処理を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における動画像符号化装置
の構成を示すブロック図である。
【図2】MPEGのフレーム構成例を示す図である。
【図3】本発明の動画像符号化方法についての説明図で
ある。
【図4】中間フレームに対する動きベクトルの配分処理
についての説明図である。
【図5】順方向フレーム間予測における動きベクトル探
索および探索範囲変更についての説明図である。
【図6】本発明の実施の形態における動画像符号化装置
の動作を示すフローチャートである。
【符号の説明】
11 画像入力部 12 フレームメモリ 13 動き探索部 14 動きベクトル保存部 15 切替部 16 減算器(予測誤差生成部) 17 周波数変換部 18 量子化部 19 切替部 20 逆量子化部 21 逆周波数変換部 22 切替部 23 加算部(参照フレーム生成部) 24 フレームメモリ 25 可変長符号化部 26 符号出力部
フロントページの続き Fターム(参考) 5C059 KK19 MA00 MA05 MA14 MA21 MC11 MC38 ME01 NN03 NN21 NN28 PP05 PP06 PP07 TA63 TB07 TC12 TD11 UA02 UA33 5J064 AA01 BA09 BB03 BC01 BC08 BC16 BC25 BD01

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 動画像信号に対し、所定の大きさのブロ
    ック単位および所定のフレーム間隔で、フレーム内符号
    化と、順方向動き補償フレーム間予測符号化とを施し、
    前記フレーム内符号化が施されるIフレームおよび前記
    順方向動き補償フレーム間予測符号化が施されるPフレ
    ームの間にある複数のBフレームに対して双方向動き補
    償フレーム間予測符号化を施す動画像符号化方法であっ
    て、 前記各Bフレームに対し、前記Pフレームについての順
    方向動きベクトル探索において導出された順方向動きベ
    クトルを、当該各Bフレームと前記順方向動き補償フレ
    ーム間予測における参照フレーム(IまたはPフレー
    ム)とのフレーム距離に応じて大きさを縮小して順方向
    動きベクトルとして配分し、また、前記Bフレームのう
    ち、前記IまたはPフレームの次のフレームについて前
    記IまたはPフレームを参照フレームとして逆方向動き
    ベクトル探索を行い、該動きベクトル探索において導出
    された逆方向動きベクトルを、当該各Bフレームと前記
    逆方向動きベクトル探索における参照フレーム(Iまた
    はPフレーム)とのフレーム距離に応じて大きさを縮小
    して逆方向動きベクトルとして配分し、 前記各Bフレームに対し、前記配分された順方向動きベ
    クトルおよび逆方向動きベクトルを用いて双方向動き補
    償フレーム間予測符号化を施すことを特徴とする動画像
    符号化方法。
  2. 【請求項2】 動画像信号に対し、所定の大きさのブロ
    ック単位および所定のフレーム間隔で、フレーム内符号
    化と、順方向動き補償フレーム間予測符号化とを施し、
    前記フレーム内符号化が施されるIフレームおよび前記
    順方向動き補償フレーム間予測符号化が施されるPフレ
    ームの間にある複数のBフレームに対して双方向動き補
    償フレーム間予測符号化を施す動画像符号化方法であっ
    て、 前記Pフレームについて前記IまたはPフレームを参照
    フレームとして順方向動きベクトル探索を行って順方向
    動きベクトルを導出し、順方向動き補償フレーム間予測
    符号化を施す順方向予測ステップと、 前記各Bフレームに対し、前記順方向動きベクトルを用
    いて、該動きベクトルの大きさを前記順方向動きベクト
    ル探索における参照フレームと当該各Bフレームとのフ
    レーム距離に応じて縮小したベクトルを順方向動きベク
    トルとして配分する順方向ベクトル配分ステップと、 前記Bフレームのうち前記IまたはPフレームの次のフ
    レームについて、前記IまたはPフレームを参照フレー
    ムとして逆方向動きベクトル探索を行って逆方向動きベ
    クトルを導出する逆方向予測ステップと、 前記各Bフレームに対し、前記逆方向動きベクトルを用
    いて、該動きベクトルの大きさを前記逆方向動きベクト
    ル探索における参照フレームと当該各Bフレームとのフ
    レーム距離に応じて縮小したベクトルを逆方向動きベク
    トルとして配分する逆方向ベクトル配分ステップと、 前記各Bフレームに対し、前記順方向動きベクトルおよ
    び前記逆方向動きベクトルを用いて双方向動き補償フレ
    ーム間予測符号化を施す双方向予測符号化ステップと、 を有することを特徴とする動画像符号化方法。
  3. 【請求項3】 前記順方向動きベクトル探索の際、前記
    参照フレームについての順方向動きベクトル探索におい
    て導出されている順方向動きベクトルを用いて、該順方
    向動きベクトルの分だけ動きベクトル探索範囲を基準位
    置から移動して今回の探索範囲とする探索範囲変更ステ
    ップをさらに有することを特徴とする請求項2記載の動
    画像符号化方法。
  4. 【請求項4】 前記探索範囲変更ステップは、前記順方
    向動きベクトルが所定の値より大きい場合、もとの探索
    基準位置を含むように探索範囲を適応的に変更すること
    を特徴とする請求項3記載の動画像符号化方法。
  5. 【請求項5】 前記各Bフレームについて、前記配分さ
    れた双方向動きベクトルを用いて、該双方向動きベクト
    ルに対応する参照フレーム内の位置を基準位置として所
    定の探索範囲で動きベクトル探索を行って動きベクトル
    を導出し、該動きベクトルを当該各Bフレームについて
    の動きベクトルとして決定する再探索ステップをさらに
    有することを特徴とする請求項2から4のいずれか1項
    に記載の動画像符号化方法。
  6. 【請求項6】 動画像信号に対し、所定の大きさのブロ
    ック単位および所定のフレーム間隔で、フレーム内符号
    化と、順方向動き補償フレーム間予測符号化とを施し、
    前記フレーム内符号化が施されるIフレームおよび前記
    順方向動き補償フレーム間予測符号化が施されるPフレ
    ームの間にある複数のBフレームに対して双方向動き補
    償フレーム間予測符号化を施す動画像符号化装置であっ
    て、 入力フレームを蓄積し、符号化を施す順番に並べ替える
    フレーム並べ替え手段と、 前記Pフレームと、参照フレーム(前記IまたはPフレ
    ーム)と、を入力して順方向動きベクトル探索を行って
    順方向動きベクトルを導出し、また、前記Bフレームの
    うち前記IまたはPフレームの次のフレームと、参照フ
    レーム(前記IまたはPフレーム)と、を入力して逆方
    向動きベクトル探索を行って逆方向動きベクトルを導出
    する動き探索手段と、 該動き探索手段において導出された各動きベクトルを保
    存する動きベクトル保存手段と、 前記各Bフレームに対し、前記順方向動きベクトルと、
    前記逆方向動きベクトルとを用いて、該各動きベクトル
    の大きさを前記IまたはPフレームとのフレーム間距離
    に応じて縮小したベクトルを、前記IまたはPフレーム
    を参照フレームとした双方向動きベクトルとして配分す
    るベクトル配分手段と、 前記PまたはBフレームについて、前記各動きベクトル
    と前記参照フレームとを用いた予測画像との差分を演算
    して予測誤差信号を出力する予測誤差生成手段と、 前記Iフレームまたは前記予測誤差信号を入力して周波
    数変換および量子化を行い、量子化データを出力する周
    波数変換・量子化手段と、 前記量子化データを入力して可変長符号化を行い、符号
    化データを出力する可変長符号化手段と、 前記量子化データを入力して逆量子化および逆周波数変
    換を行い、復元データを出力する逆量子化・逆周波数変
    換手段と、 前記復元データから動き補償フレーム間予測における参
    照フレームを生成する参照フレーム生成手段と、 前記参照フレームを記憶するフレーム記憶手段と、 を有することを特徴とする動画像符号化装置。
  7. 【請求項7】 前記動きベクトル探索手段は、前記順方
    向動きベクトル探索における参照フレームについての順
    方向動きベクトル探索において導出されている順方向動
    きベクトルを用いて、該順方向動きベクトルの分だけ動
    きベクトル探索範囲を基準位置から移動して今回の探索
    範囲とすることを特徴とする請求項6記載の動画像符号
    化装置。
  8. 【請求項8】 前記動きベクトル探索手段は、前記順方
    向動きベクトルが所定の値より大きい場合、もとの探索
    基準位置を含むように探索範囲を適応的に変更すること
    を特徴とする請求項7記載の動画像符号化装置。
  9. 【請求項9】 前記動きベクトル探索手段は、前記各B
    フレームについて、前記双方向動きベクトルを用いて、
    該双方向動きベクトルに対応する参照フレーム内の位置
    を基準位置として所定の探索範囲で動きベクトル探索を
    行って動きベクトルを導出し、該動きベクトルを当該各
    Bフレームについての動きベクトルとして決定すること
    を特徴とする請求項6から8のいずれか1項に記載の動
    画像符号化装置。
JP2001137840A 2001-05-08 2001-05-08 動画像符号化方法および装置 Expired - Fee Related JP3674535B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001137840A JP3674535B2 (ja) 2001-05-08 2001-05-08 動画像符号化方法および装置
US10/138,699 US6975681B2 (en) 2001-05-08 2002-05-06 Method and apparatus for coding moving pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001137840A JP3674535B2 (ja) 2001-05-08 2001-05-08 動画像符号化方法および装置

Publications (2)

Publication Number Publication Date
JP2002335529A true JP2002335529A (ja) 2002-11-22
JP3674535B2 JP3674535B2 (ja) 2005-07-20

Family

ID=18984876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001137840A Expired - Fee Related JP3674535B2 (ja) 2001-05-08 2001-05-08 動画像符号化方法および装置

Country Status (2)

Country Link
US (1) US6975681B2 (ja)
JP (1) JP3674535B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007505529A (ja) * 2003-09-12 2007-03-08 中国科学院▲計▼算技▲術▼研究所 映像符号化の符号化側/復号化側に使用される双方向予測方法
JP2009044456A (ja) * 2007-08-08 2009-02-26 Panasonic Corp 画像符号化装置および画像符号化方法
US10104396B2 (en) 2014-09-17 2018-10-16 Socionext Inc. Encoder circuit and encoding method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 B-픽처의 움직임 보상 모드 결정방법 및 장치
DE60325954D1 (de) * 2003-07-07 2009-03-12 St Microelectronics Srl Graphisches System mit einer Graphikdatenpipeline, Verfahren zur Pipeline-Verarbeitung und Computerprogrammprodukt
CN1321534C (zh) * 2003-12-31 2007-06-13 中国科学院计算技术研究所 固定参考帧数编码方式下获取图像参考块的方法
CN100527843C (zh) * 2003-12-31 2009-08-12 中国科学院计算技术研究所 解码获取图像的方法
JP4616765B2 (ja) * 2005-12-15 2011-01-19 富士通株式会社 動画像符号化装置
EP2392142B1 (fr) * 2009-01-28 2018-10-24 Orange Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689305A (en) * 1994-05-24 1997-11-18 Kabushiki Kaisha Toshiba System for deinterlacing digitally compressed video and method
JPH08289301A (ja) 1995-04-11 1996-11-01 Hitachi Ltd 画像符号化装置
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
JPH11239350A (ja) 1998-02-23 1999-08-31 Oki Electric Ind Co Ltd 動画像信号の動きベクトル検出方法およびフレーム間符号化装置における動きベクトル検出回路
JP4078733B2 (ja) 1998-10-22 2008-04-23 ソニー株式会社 動きベクトル検出方法及び装置
JP2000224593A (ja) 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> フレーム補間方法および装置およびこの方法を記録した記録媒体
US6351545B1 (en) * 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007505529A (ja) * 2003-09-12 2007-03-08 中国科学院▲計▼算技▲術▼研究所 映像符号化の符号化側/復号化側に使用される双方向予測方法
JP4755095B2 (ja) * 2003-09-12 2011-08-24 中国科学院▲計▼算技▲術▼研究所 映像符号化の符号化側/復号化側に使用される双方向予測方法
JP2009044456A (ja) * 2007-08-08 2009-02-26 Panasonic Corp 画像符号化装置および画像符号化方法
JP4523024B2 (ja) * 2007-08-08 2010-08-11 パナソニック株式会社 画像符号化装置および画像符号化方法
US8184706B2 (en) 2007-08-08 2012-05-22 Panasonic Corporation Moving picture coding apparatus and method with decimation of pictures
US10104396B2 (en) 2014-09-17 2018-10-16 Socionext Inc. Encoder circuit and encoding method

Also Published As

Publication number Publication date
US20020168008A1 (en) 2002-11-14
US6975681B2 (en) 2005-12-13
JP3674535B2 (ja) 2005-07-20

Similar Documents

Publication Publication Date Title
JP4724351B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100897880B1 (ko) 비디오 코딩에 사용되는 코딩단/디코딩단의 양방향예측방법
KR100681370B1 (ko) 전방 예측된 인터레이스드 비디오 프레임의 필드에 대한모션 벡터의 예측
JP4198206B2 (ja) 動き依存予測を使用したビデオ情報の圧縮方法と装置
JPH1023423A (ja) 画像符号化装置および画像復号化装置
JP2007067731A (ja) 符号化方法
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2000270332A (ja) 動画像符号化方法および装置
JP2009027759A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP3866624B2 (ja) 動画像符号化方法,動画像復号方法,動画像符号化装置および動画像復号装置
KR20040070490A (ko) 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
JP3674535B2 (ja) 動画像符号化方法および装置
KR100221171B1 (ko) 조밀한 이동벡터필드를 재생하는 방법 및 장치
JPH10322705A (ja) 動き検出及び動き補償予測回路
WO2003056838A1 (en) Moving picture compression/coding apparatus and motion vector detection method
JPH09284777A (ja) 動きベクトルなしで動き補償を用いるビデオ符号化方法とその装置
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
Ratnottar et al. Comparative study of motion estimation & motion compensation for video compression
JP3700801B2 (ja) 画像符号化装置および画像符号化方法
JP2001251628A (ja) ディゾルブ画像の符号化装置
KR100382540B1 (ko) 움직임추정방법
JP4034180B2 (ja) 動画像圧縮符号化装置、及び動きベクトル検出方法
JP4561701B2 (ja) 動画像符号化装置
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
JPH0646411A (ja) 画像符号化装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050418

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees