JP2001036912A - 画像圧縮方法 - Google Patents
画像圧縮方法Info
- Publication number
- JP2001036912A JP2001036912A JP2000180146A JP2000180146A JP2001036912A JP 2001036912 A JP2001036912 A JP 2001036912A JP 2000180146 A JP2000180146 A JP 2000180146A JP 2000180146 A JP2000180146 A JP 2000180146A JP 2001036912 A JP2001036912 A JP 2001036912A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- macroblock
- mode
- image compression
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ックに対し複数の符号化方式の中から選択された符号化
が実時間的に行なわれる画像圧縮方法の提供を目的とす
る。 【解決手段】 特にMPEG2タイプの本発明の画像圧縮方
法は、複数の符号化タイプの中からマクロブロック毎に
選ばれた符号化が各ピクチャマクロブロック(10)に
適用される。マクロブロックに適用されるべき符号化を
選択するため、Qが量子化間隔を表わし、αが所定の係
数であり、MB_activが次式、 【数1】 で表わされるとき、パラメータMB_activ−αQが決定さ
れ、選択される符号化モードは上記パラメータMB_activ
−αQの値に依存する。
Description
クチャマクロブロックに対し数種類の符号化方式の中か
ら選択された符号化が行なわれる画像圧縮方法に関す
る。
本発明は、MPEGタイプの圧縮方法に限定されないが、以
下の説明では、主としてMPEGタイプを取り扱う。
と、各マクロブロックに対し選択されるべき符号化タイ
プについて説明する。
行に720点ずつで576行を含むピクチャから始める
ことができる。インタレースモードでは、ピクチャー
は、各行に720点ずつの288行を有する2枚のフレ
ームにより構成される。
各マクロブロックは16×16個のルミナンス点の矩形
により形成される。4.2.0フォーマットでは、4個
のルミナンス点毎に、2個のクロミナンスブロックが関
連付けられ、クロミナンスブロックは8×8個の点を含
み、一方のブロックは色差信号若しくは赤クロミナンス
信号Crを表わし、もう一方のブロックは色差信号若しく
は青クロミナンス信号Cbを表わす。4.2.2フォーマ
ットの場合、各ルミナンスブロックには、8×8形の4
個のマクロブロック、すなわち、青クロミナンス用の2
ブロック及び赤クロミナンス用の2ブロックが関連付け
られる。また、4.4.4フォーマットの場合、ルミナ
ンス成分及びクロミナンス成分はそれぞれ8×8形の4
ブロックにより構成される。
ック10と、青クロミナンス用の8×8形クロミナンス
ブロック12と、赤クロミナンス用の8×8形クロミナ
ンスブロック14とが示され、この組は4.2.0標準
形式のマクロブロックを表わす。
いて符号化される。離散コサイン変換はルミナンスブロ
ック若しくはクロミナンスブロックを空間周波数を表わ
す係数ブロックに変換することができる。図2からわか
るように、ソースブロック16は8×8個の係数のブロ
ック18に変換される。ブロック18の左上隅はゼロ空
間周波数(ブロックの平均ルミナンス値)に対応し、こ
の原点20から、水平周波数は矢印22で示されるよう
に右方向に増加し、垂直周波数は矢印24で示されるよ
うに上から下に向かって増加する。
ム内)若しくはインタ(フレーム間)の符号化タイプを
選択することが必要である。イントラ符号化はDCT変換
をピクチャーのソースブロックに適用し、インタ符号化
はDCT変換を、ソースブロックと、先行ピクチャ若しく
は後続ピクチャの予測ブロックとの差を表現するブロッ
クに適用する。
属するピクチャのタイプに依存する。ピクチャには3通
りのタイプがあり、第1のタイプは、いわゆるIタイプ
すなわちイントラタイプであり、符号化は全てのマクロ
ブロックに対し、イントラ(内部的)である。
イプであり、Pタイプのピクチャの場合、各マクロブロ
ックの符号化はイントラ若しくはインタである。Pタイ
プのピクチャのマクロブロックをイントラ符号化する場
合、DCT変換が、ピクチャPの現在マクロブロックと、
先行I若しくはPピクチャから得られた予測マクロブロ
ックとの差に適用される。
タイプである。このピクチャタイプの各マクロブロック
はイントラ符号化若しくはインタ符号化である。インタ
符号化は、このBピクチャの現在マクロブロックと予測
マクロブロックとの差に変換を適用する。予測マクロブ
ロックは、先行ピクチャ若しくは後続ピクチャから、又
は、同時に両方(双方向予測)から獲得され、いわゆる
先行若しくは後続予測ピクチャはIタイプ若しくはPタ
イプだけが許される。
・ピクチャ)と呼ばれるグループを編成するピクチャの
組が示されている。このピクチャの組は、1枚のIピク
チャと、それに続く11枚のBピクチャ及びPピクチャ
の系列:B,B,P,B,B,P,B,B,P,B,B
により構成された12枚のピクチャを含む。
から推定された画像の場合)、動き推定と、その後に続
いて動き補償が、符号化されるべきマクロブロックに適
用される。その理由は、2枚のピクチャの間で、マクロ
ブロックは、ピクチャ間移動及びピクチャ内移動のため
異なる場所に存在するからである。動き補償の効果は、
所定の補間モード(一般的に予測モードと称される)に
従って予測マクロブロックを計算することであり、この
マクロブロックは、所与の符号化モードの現在マクロブ
ロックに対する予測として実際に作用する。以下、この
予測マクロブロックと、同じように符号化モードは、符
号化モードを選択する計算の手続内のいて行なわれる判
定に依存して維持され、若しくは、拒絶される。
レームの2枚の連続したフレームにより構成されるイン
タレースモードの場合に、DCT変換を順番に適用する
か、若しくは、各フレーム毎に個別に適用するのかを決
める必要がある。なぜならば、ピクチャの動き又はピク
チャの構造に依存して、符号化の結果は、変換がピクチ
ャに関して行なわれるか、フレーム毎に行なわれるかに
応じて異なるからである。
される。図4の(a)には、奇数フレームの行301,
303、...、3015と偶数フレームの行302、30
4、...、3016とにより構成されたインタレース型
ピクチャのマクロブロック28が示されている。図4の
(a)は、ピクチャに関して行なわれるDCT変換に対応
し、マクロブロック29の中の4個の各ブロックは、行
を並べ替えること無く変換される。かくして、符号化
は、マクロブロック28を形成する4個のブロック28
1、282、283、284に関して行なわれ、変換はブロ
ック281及び282に対する行301乃至308とブロッ
ク283及び284に対する行309乃至301 6とに関し
て行なわれる。
ームと偶数フレームに別個に行なわれる変換が示されて
いる。ブロック321及び322は奇数フレームに対応
し、ブロック323及び324は偶数フレームに対応す
る。したがって、ブロック321は、行301、3
03、...、3015により構成され、ブロック323及
び324は、行302、304、...、3016により構
成される。
関して行なわれるべき種々の動作が機能的なブロック図
で示されている。デジタル化された各ピクチャは、8×
8形のブロックへの分割を行なうブロック化処理部40
の入力に供給され、これらの8×8形のブロックはイン
トラ符号化とインタ符号化の間で選択を行なう処理部4
2に伝達される。イントラ符号化が選択された場合、こ
のブロックはDCT変換処理部44に伝達される。インタ
符号化が選択された場合、ブロックは、このブロック自
体と、時間予測処理部48によって送出された予測ブロ
ックとの差を得る減算処理部46によって減算される。
0で量子化が行なわれ、かくして得られた量子化された
係数は、可変長若しくは固定長の可変長符号化処理部5
2で符号化される。符号化処理部52の出力で符号化さ
れた係数は、バッファメモリ54に送られ、このバッフ
ァメモリ54の出力が符号化出力56を構成する。バッ
ファメモリ54が一杯になること、及び、空になること
を防止するため、調節処理部60は量子化処理部50を
変更する。
化処理部50の出力は、逆量子化Q- 1処理部62の入力
に供給され、逆量子化処理部62の出力は逆離散コサイ
ン変換DCT-1処理部64に供給される。逆離散コサイン
変換処理部64の出力は、判定処理部68によって判定
されたブロックの符号化タイプがイントラ符号化である
とき、そのまま画像メモリ66に送られる。これに対
し、判定処理部68が符号化がインタ符号化であると判
定した場合、逆離散コサイン変換処理部64の出力は加
算器70を用いて、時間予測処理部48によって送出さ
れた予測マクロブロックに加算され、加算器70からの
出力が画像メモリ66に伝達される。メモリ66は復号
化された画像を保持する。
で画像メモリ66からの情報を受信し、他方でブロック
化処理部40からの出力を受信する動き推定処理部72
によって推定される。このように、時間予測処理48
は、一方で画像メモリ66に基づき、他方で動き推定処
理部72に基づいて行なわれることがわかる。
は、特に、動き推定処理機能部72からの動きベクトル
と、符号化されたDCT係数と、マクロブロックのヘッダ
と、MPEG2符号化情報処理部74から送出されるMPEG2符
号化情報とに基づく。この情報は、MPEG2シグナリング
キュー、すなわち、マクロブロック(若しくはスライ
ス)の行のヘッダと、GOPのピクチャのヘッダと、符号
化されるべきシーケンスのヘッダとに関係する。
フレーム形式のイントラ符号化又はピクチャ形式のイン
トラ符号化の間で選択される。この選択は、マクロブロ
ックに含まれる動きの解析に基づいて行なわれ、一般的
に優れた結果を与える。
に、判定すべき事項の数は実質的に増加する。
通りの基本モード ・イントラ、フレームDCT ・イントラ、ピクチャDCT ・動き補償無し(noMC)、フレームDCT ・動き補償無し(noMC)、フレームDCT ・動き補償あり、先行フレームによる予測、フレームDC
T ・動き補償あり、先行フレームによる予測、ピクチャDC
T ・動き補償あり、先行ピクチャによる予測、フレームDC
T ・動き補償あり、先行ピクチャによる予測、ピクチャDC
T に従って符号化される。
ントラ符号化モードと、Pタイプのピクチャに関して指
定された動き補償を伴う4種類のモードと、後方予測ピ
クチャに基づく以下の4種類の類似した符号化モード ・後方フレームによる予測、フレームDCT ・後方フレームによる予測、ピクチャDCT ・後方ピクチャによる予測、フレームDCT ・後方ピクチャによる予測、ピクチャDCT と、以下の4種類の双方向モード ・フレーム形式双方向予測、フレームDCT ・フレーム形式双方向予測、ピクチャDCT ・ピクチャ形式双方向予測、フレームDCT ・ピクチャ形式双方向予測、ピクチャDCT とを含む14通りの基本符号化モードが考えられる。
間で選択を行なうために使用される規準は、性質が変化
し得る結果を与えることに注意する必要がある。
って出願された先行の特許出願第98-10802号には、圧縮
方法が開示されている。考えられる全てのモード或いは
その中の一部のモードに従ってトライアル符号化が行な
われ、トライアル符号化毎に、符号化コスト及び/又は
クォリティファクタQが判定され、使用される符号化モ
ードは、符号化コストの値及び/又はクォリティファク
タの値の関数として選択される。
方法によれば、符号化モードはマクロブロックの内部解
析の関数としては選択されず、全て(又は一部)の符号
化の可能性を試行し、符号化コストを最小限に抑える
か、或いは、画質を最良にするか、符号化コストと画質
の間で最良の妥協点を与える点で最良の結果が得られる
モードを採用することによって選択された。
定のコスト/クォリティ規準が選択された場合に、各マ
クロブロックに対し最適な結果を与える。しかし、この
処理は、非常に長い計算時間を要し、この計算時間は特
に携帯型装置では削減することが難しいので、符号化を
実時間で実行しなければならないという観点で適用する
ことが困難である。
願による符号化方法は、実時間で計算でき、P及びBピ
クチャの場合に優れた結果を与える符号化のモードを選
択させることができるパラメータを決定するため使用さ
れる。
れば、P及び/又はBピクチャのマクロブロックを符号
化するモードを決定するため、インタ符号化モードの場
合にはピクチャ間エネルギーであり、イントラ符号化モ
ードの場合にはルミナンスの平均値に対する相対エネル
ギーであるエネルギーパラメータを符号化モード毎に計
算し、最小エネルギーパラメータを与える符号化モー
ド、又は、上記最小エネルギーパラメータの所定の倍率
k倍を超えないエネルギーパラメータを符号化モードを
採用する。一実施例において、倍率kは2.5である。
に、ピクチャ間エネルギーMBdfdは以下の値を有する。
ブロック内の行番号を表わし、jはマクロブロック内の
列番号を表わす。
ルギーは、8×8形のブロック毎に、ブロックの画素の
ルミナンスx(i,j)とブロックの輝度の平均値(bl.avr.lu
m.)の差の絶対値の和、すなわち、次式(2)を計算す
ることによって決定される。
符号化モードの両方で決定される。
間)の場合にパラメータMBdfdを使用することは公知の
事項である。しかし、上式(2)によって定義されたパ
ラメータMBdfdは、イントラ符号化モードでも利用でき
ることがわかった。すなわち、符号化モードを決定する
ために新しいパラメータが利用される。
CTモードかピクチャDCTモードを選択するため使用され
る。ピクチャDCTモードかフレームDCTモードを決定する
ため、マクロブロックの局部的な動き量がピクチャモー
ド及びフレームモードで比較され、最も小さい局所的な
動き量を与えるモードが選択される。本発明によれば、
ピクチャの局所的な動き量とフレームの局所的な動き量
が一致するときに、選択を最適化することが可能であ
る。この場合、上述のように定義されたエネルギーパラ
メータMBdfdが比較され、パラメータMBdfdが小さくなる
方のピクチャDCT符号化モード又はフレームDCT符号化モ
ードが選択される。
ームパラメータMBdfdが一致する場合、好ましくは、ピ
クチャDCT符号化が実行される。
に注意する必要がある。
る。しかし、予測モードの場合に、MB_activは、予測誤
差のあるマクロブロックについて計算される。
別の特徴によれば、Pピクチャ及びBピクチャを符号化
する全ての可能性のあるモードに対しパラメータ、すな
わち、 パラメータ:MB_activ−α.Q 決定され、このパラメータを最小限に抑える符号化モー
ドが選択される。
量であり、Qは量子化間隔を表わし、αは量子化マトリ
ックスに重み付けをするパラメータに依存した係数であ
る。一実施例において、このパラメータαは1である。
り得られる量(MB_activ−α.Q)は、着目しているマク
ロブロックの潜在的コストの推定量である。実際上、決
定されたMB_activに対し、量子化間隔Qが大きいほど、
量子化ルーチンで最小される係数が少なくなるので、マ
クロブロックのコストは小さくなる。
符号化標準は、量子化間隔Qと、一般的に、高周波係数
の振幅を減少させることが可能であるDCT係数のための
いわゆる加重マトリックス(DCTのサイズに対応した8
×8のサイズを有する)とを使用する。かくして、DCT
係数c(i,j)は、量子化間隔Qと加重マトリックス中の対
応した係数p(i,j)の値の積で振幅を割り算することによ
り量子化される。
ピクチャ内加重マトリックスは同じではない。また、こ
れらのマトリックスの内容は標準規格には指定されず、
符号化器の仕様に関係して変化する。
ックス及びインタ加重マトリックスの組の関係の範囲内
で値1が選択される。 イントラマトリックスm_intra_1 インタマトリックスm_inter_1 08 16 16 19 16 19 22 22 16 17 17 19 18 19 20 20 22 22 22 22 26 24 26 27 20 20 22 21 22 21 22 23 27 27 26 26 26 26 27 27 23 24 23 24 23 25 25 26 27 29 29 29 34 34 34 29 25 26 24 25 26 26 27 27 29 29 27 27 29 29 32 32 28 27 27 26 28 29 29 30 34 34 37 38 37 35 35 34 29 29 28 31 31 32 31 32 35 38 38 40 40 40 48 48 30 33 34 33 34 33 36 35 46 46 56 56 58 69 69 83 36 35 38 39 38 41 40 43 他方で、マトリックスは以下のようにも構成される。 イントラマトリックスm_intra_1 インタマトリックスm_inter_2 08 16 16 19 16 19 22 22 16 16 16 16 16 16 16 16 22 22 22 22 26 24 26 27 16 16 16 16 16 16 16 16 27 27 26 26 26 26 27 27 16 16 16 16 16 16 16 16 27 29 29 29 34 34 34 29 16 16 16 16 16 16 16 16 29 29 27 27 29 29 32 32 16 16 16 16 16 16 16 16 34 34 37 38 37 35 35 34 16 16 16 16 16 16 16 16 35 38 38 40 40 40 48 48 16 16 16 16 16 16 16 16 46 46 56 56 58 69 69 83 16 16 16 16 16 16 16 16 ピクチャ間符号化モードのため使用されるパラメータα
の値αとして、1未満、たとえば、0.875が選択され
る。その理由は、マトリックスm_inter_2がマトリック
スm_inter_1よりも多数のDCT係数を許容するからであ
る。この構成の場合には、 ・ピクチャ内モードで、α=α_intra=1 ・ピクチャ間モードで、α=α_inter=0.0875 であると考えられる。
の場合に、あるブロックに対して、パラメータblock_ac
tiv−αQが所定のレベル未満であるならば、このパラメ
ータblock_activ−αQは、たとえば、イントラ符号化マ
クロブロックの最小コストの4分の1に対応したデフォ
ルト値が与えられる。実際上、イントラモードで符号化
されたマクロブロックは、ピクチャ間モードの場合とは
異なり、ゼロコストにはなり得ない。実際のブロックの
最小コストは、ブロックの平均値(DC)とブロックの最
後を表現するコードの符号化コストに対応する。したが
って、 ・4.2.0符号化構造の場合に、ブロックの最小コス
トの推定量は、bl_intra_420_minになる(たとえば、bl
_intra_420_min=11)。 ・4.2.2符号化構造の場合に、ブロックの最小コス
トの推定量は、bl_intra_422_minになる(たとえば、bl
_intra_422_min=15)。
るため使用されるVLCテーブルの関数として実質的に変
化し、ブロックの最後のエンド・オブ・ブロックのコー
ドの長さも変化する。この方法の基本的な事項は、ゼロ
コストのイントラマクロブロックを有するとは考えられ
ないことである。
規準の組合せが使用され、Pピクチャ及びBピクチャに
対し以下の方法で進められる。
dfdminは、全ての起こり得る符号化モード(イントラ符
号化を含む)の中から各マクロブロックに対して決定さ
れ、その最小値に対する符号化モードが選択される。
る。
ャ)を決定するため、上記の処理が進められ、すなわ
ち、局所的動き量パラメータMB_activが考慮され、ピク
チャMB_activeパラメータ若しくはフレームMB_activパ
ラメータのどちらが小さいかに依存してピクチャDCT又
はフレームDCTが選択され、両方のパラメータが一致す
る場合には、ピクチャMBdfdパラメータとフレームMBdfd
パラメータのどちらが小さいかに依存してピクチャDCT
又はフレームDCTが選択される。両方のパラメータMBdf d
が一致する場合に、ピクチャDCTが選択される。
中から採用されるべき符号化モードを選択するため、以
下のパラメータ、 Val = (MB_activ−α.Q).MBdfd/MBdfdmin+Hdr_MB (3) が考慮され、このパラメータValの最小値を与える符号
化モードが選択される。
タCBP(符号化ブロックパターン)以外のマクロブロッ
クのヘッダの全てのパラメータの合計を表わす。パラメ
ータCBPは、インタピクチャ(ピクチャ間)モードにお
いてあるブロックが空である場合に、係数を含むブロッ
クの分布を復号器に示すことができる可変長符号であ
る。実際上、ヘッダの全てのパラメータは、パラメータ
CBPを除いて符号化の前に決定することができる。この
パラメータはHdr_MB内では所定の値で置換してもよい。
ンスブロックと2個のクロミナンスブロック)に対する
CBP符号の長さは、VLC符号のテーブルに従って、3ビッ
トから9ビットまで変化する。所定の値は、たとえば、
4である。4.2.2標準(4個のルミナンスブロック
と4個のクロミナンスブロック)の場合、この値は僅か
に大きくなる(たとえば、6)。
のヘッダに含まれるパラメータは、最後に符号化された
マクロブロックに対するマクロブロックの相対アドレス
を表わすMBAアドレス符号(マクロブロックアドレス)
と、符号化モードと、量子間間隔の値と、DCTのタイプ
(ピクチャ又はフレーム)と、ベクトルとであることを
記す。
コストは、一般的にピクチャモードよりもフレームモー
ドの方で高い点に注意する必要がある。その理由は、フ
レームモードでは、ピクチャモードよりも2倍多数のベ
クトルを準備しなければならないからである。しかし、
ベクトルの符号化は伝達された最新のベクトルに関して
別々に行なわれるので、フレームモードの符号化コスト
はピクチャモードの符号化コストよりも高い。
は重み係数thdが割り当てられる。重み係数thdは、イン
タ符号化モードの場合には1であり、イントラ符号化モ
ードでは1よりも大きく、Pピクチャ又はBピクチャの
いずれか処理されているかに依存して、経験的に決めら
れた異なる値を示す。
ブロックを符号化するコストがインタモードでマクロブ
ロックを符号化するコストよりも一般的に高いという事
実を示唆する。
ブロックは空であり、符号化されない。
_MBのコストに制限される。
り、符号化されていない(インタピクチャモードのまま
である)と推定される場合、マクロブロックの省略され
た構造(SKIPPED MACROBLOCK)が考慮される。この構
造は2通りの特別なケースに対応する。
ロブロックは空であり、符号化されず、符号化モードは
noMC、すなわち、いわゆる補償無しモードである(実際
にはこのベクトルはデフォルトでゼロである)。
ロブロックは空であり、符号化されず、動きベクトルは
先に伝達された動きベクトルと一致する。
ブロックに関する情報は伝達されない。
に、符号化されていないマクロブロック、或いは、省略
されたマクロブロックにさえ連動した空のブロックを最
良識別することが試みられる。これは、先験的なアプロ
ーチという状況の範囲内で合理的なコスト/クォリティ
比を実現し、すなわち、実時間でセットアップすること
ができる。
フレームDCT符号化とピクチャDCT符号化の間の選択しか
できなかった。この目的のため、パラメータMB_activが
利用され、フレームMB_activパラメータとピクチャMB_a
ctivパラメータのいずれが小さいかに依存してフレーム
符号化モード又はピクチャ符号化モードが選択される。
この画像圧縮方法は、先行技術の方法よりも、同じクォ
リティに対する符号化コストを削減することができ、一
定符号化コストに関してクォリティを高め得ることがわ
かった。
ブロック毎に数通りの符号化タイプから選択された符号
化がピクチャマクロブロック10毎に適用されるMPEG2
タイプの画像圧縮方法を提供する。マクロブロックに適
用されるべき符号化のタイプを選択するため、パラメー
タMB_activ−α.Qが決定される。MB_activの値は以下の
通りである。
あり、選択された符号化のモードは上記パラメータMB_a
ctiv−α.Qの最小値に対応する。
る。
理で使用された加重マトリックスの内容に依存させても
よい。
(又はインタ)ピクチャモードにおいてα=1であり、
インタ(又はイントラ)ピクチャモードで使用される加
重マトリックスは、イントラ(又はインタ)モードより
も小さい重み付けを実施し、インタ(又はイントラ)ピ
クチャモードで使用される係数αは1よりも小さい。
対し、イントラ符号化モードにおいて、パラメータbloc
k_activ−α.Qが所与の閾値よりも低下したとき、所定
の値がこのパラメータblock_activ−α.Qに与えられ
る。
の最小コストの4分の1に対応する。
的に空であると推定された場合に、計算された値valを
重み付けすることによって、スキップマクロブロック符
号化を優先することが可能である。これらの場合につい
ては、既にMB_activ−α.Q=0の場合についての説明と
共に以下の説明を参照のこと。
C、すなわち、いわゆる補償無しモードである(実際
に、このベクトルはデフォルトでゼロにされる)。
伝達された動きベクトル、すなわち、最後に符号化され
たマクロブロックによって使用された動きベクトルと同
じである。
式中のHdr_MBの値は変数Contextによって重み付けされ
る。
ある。 2)それ以外の場合には、 Context=1 である。
依存する。 ・ソースマクロブロックの平均動き量:この値は、符号
化されるべきマクロブロックの平均動き量を推定するこ
とによってコンテキストを考慮することが可能である。
このパラメータは次式に従って計算される。
量の場合と同様に、この情報は現在マクロブロックが存
在するコンテキストを推定し、判定規準を最適化するた
めに役立つ。この平均値はルミナンスブロックだけに関
して、次式に従って計算される。
ルミナンスに対応する。
付けは、ソースマクロブロックの平均ルミナンス値に比
例し、ソースマクロブロックの平均動き量に反比例す
る。このため、マクロブロックの動き量と、同じマクロ
ブロックの平均ルミナンス値とを考慮できるようにな
る。
MB_activの値が小さいか、或いは、量子化間隔が大きい
場合、式MB_activ−α.Qは、ヘッダのコストよりも小さ
い。したがって、このアルゴリズムは、先行ピクチャ若
しくはフレームに基づく予測モード、又は、より高いコ
ストHdr_MBを有するフレーム若しくはピクチャ双方向予
測モードに有害な後続ピクチャ若しくはフレームに基づ
く予測モードを優先する傾向がある。
主観的なクォリティを改善する。その理由は、ソースマ
クロブロックの平均動き量及び平均ルミナンス値が所定
の閾値よりも小さい場合に、このヘッダのコストの重み
付けによって、パラメータvalの値が双方向予測モード
の場合には減少し、このモードが優先される、すなわ
ち、DFDminが選択されるからである。
均ルミナンスが低い場合に、均一の暗いゾーンが現れる
ので、ブロックの効果は最も顕著である。重み付けは、
アーティファクトのタイプを制限することができる双方
向符号化を優先するように実行される。
若しくは、少なくとも所定の閾値よりも大きい場合に、
テクスチャ状ゾーンが現われ、ブロックの効果は良く見
分けることができず、双方向モード(Context=1)を
選択する必要がない。重み付けを考慮するのは、実際に
はマクロブロックの平均動き量であって、マクロブロッ
クの動き量ではないことに注意する必要がある。なぜな
らば、マクロブロックの動き量は、一部の画素だけがマ
クロブロック内の他の画素よりもルミナンスに大きい不
均衡を有する場合でも高くなるからである。
図である。
を示す図である。
CT変換を説明する図である。
機能的なブロック図である。
Claims (21)
- 【請求項1】 複数の符号化タイプの中からマクロブロ
ック毎に選ばれた符号化が各ピクチャマクロブロックに
適用される特にMPEG2タイプの画像圧縮方法であって、 上記マクロブロックに適用されるべき符号化を選択する
ため、MB_activがマクロブロックの動き量のエネルギー
であり、Qが所定の量子化間隔を表わし、αが所定の係
数であるときに、以下のパラメータ、すなわち、 MB_activ−αQ が決定され、選択される符号化モードは上記パラメータ MB_activ−αQ の値に依存することを特徴とする画像圧縮方法。 - 【請求項2】 上記マクロブロックの動き量は、x(i,j)
が各マクロブロック内のi行j列のポイントのルミナンス
を表わす場合に、以下の式、すなわち、 【数1】 によって定義されることを特徴とする請求項1記載の画
像圧縮方法。 - 【請求項3】 上記選択される符号化モードは、上記パ
ラメータ MB_activ−αQ の最小値に対応した符号化モードであることを特徴とす
る請求項1記載の画像圧縮方法。 - 【請求項4】 上記係数αの値は1であることを特徴と
する請求項3記載の画像圧縮方法。 - 【請求項5】 上記係数αの値は離散コサイン変換係数
を量子化する処理で使用される加重マトリックスの内容
に依存させられることを特徴とする請求項3記載の画像
圧縮方法。 - 【請求項6】 イントラ(又はインタ)ピクチャモード
でα=1であり、 インタ(又はイントラ)ピクチャモードで使用される加
重マトリックスは、イントラ(又はインタ)モードより
も小さい重み付けを実施し、インタ(又はイントラ)ピ
クチャモードで使用される係数αは1よりも小さくされ
ることを特徴とする請求項5記載の画像圧縮方法。 - 【請求項7】 各ブロックに対し、イントラ符号化モー
ドにおいて、パラメータblock_activ−α.Qが所与の閾
値よりも低下したとき、所定の値がこのパラメータbloc
k_activ−α.Qに与えられることを特徴とする請求項2
乃至6のうちいずれか一項記載の画像圧縮方法。 - 【請求項8】 上記所定の値はイントラ符号化マクロブ
ロックの最小コストの4分の1に対応することを特徴と
する請求項7記載の画像圧縮方法。 - 【請求項9】 上記符号化モードは、符号化に関連した
ヘッダHdr_MBを符号化するコストに依存して選択される
ことを特徴とする請求項1又は2記載の画像圧縮方法。 - 【請求項10】 上記ヘッダを符号化するコストはイン
タ符号化モードに対する符号化ブロックパラメータCBP
が考慮されていないことを特徴とする請求項9記載の画
像圧縮方法。 - 【請求項11】 上記符号化ブロックパラメータCBPは
符号化されるべきピクチャの標準に依存した所定の値に
よって置き換えられることを特徴とする請求項10記載
の画像圧縮方法。 - 【請求項12】 複数の符号化モードの中から選択され
た符号化モードは、次の式で表わされるパラメータva
l、すなわち、 Val = (MB_activ−α.Q).MBdfd/MBdfdmin+Hdr_MB が最小値になる符号化モードであり、式中、MB_activは
マクロブロックの動き量を表わし、Qは量子化間隔を表
わし、αは一定係数を表わし、Hdr_MBは符号化モードに
関連したヘッダを符号化するコストを表わし、MBdfdは
マクロブロックのエネルギーパラメータを表わすとき、
上記エネルギーパラメータMBdfdはインタ符号化の場合
に以下の値、すなわち、 【数2】 をとり、式中、i及びjは各ポイントの行番号及び列番号
を表わし、e(i,j)は対応したポイントに対するルミナン
ス予測誤差を表わし、上記エネルギーパラメータMBdfd
はイントラ符号化の場合に以下の値、すなわち、 【数3】 をとり、式中、x(i,j)は各ブロックのi行j列におけるポ
イントのルミナンスを表わし、bl.avr.lumは各ブロック
に関するルミナンスの平均値を表わすことを特徴とする
請求項9記載の画像圧縮方法。 - 【請求項13】 上記パラメータMBdfdはイントラ符号
化モードの場合にインタ符号化モードよりも大きい係数
が割り当てられることを特徴とする請求項9記載の画像
圧縮方法。 - 【請求項14】 上記パラメータMBdfdに割り当てられ
た値は、イントラモードの場合に、符号化されるべきピ
クチャがPピクチャであるか、或いは、Bピクチャであ
るかに依存することを特徴とする請求項13記載の画像
圧縮方法。 - 【請求項15】 値MB_activは、量MB_activ−α.Qが所
定の閾値よりも降下したとき、デフォルト値として上記
量MB_activ−α.Qに割り当てられることを特徴とする請
求項9乃至14のうちいずれか一項記載の画像圧縮方
法。 - 【請求項16】 上記デフォルト値はイントラ符号化マ
クロブロックを符号化する最小コストの4分の1に対応
することを特徴とする請求項15記載の画像圧縮方法。 - 【請求項17】 ピクチャ離散コサイン変換DCT符号化
モード又はフレーム離散コサイン変換DCT符号化モード
が局部的動き量の関数として選択され、選択された離散
コサイン変換DCT符号化モードは上記局部的動き量が小
さい方の符号化モードに対応し、 上記局部的動き量が一致する場合に、フレームエネルギ
ーパラメータとピクチャエネルギーパラメータが比較さ
れ、小さい方のエネルギーパラメータMBdfdに対応した
符号化モードが選択されることを特徴とする請求項9乃
至16のうちいずれか一項記載の画像圧縮方法。 - 【請求項18】 ピクチャ離散コサイン変換DCT符号化
モードは上記パラメータMBdfdが一致する場合に選択さ
れることを特徴とする請求項17記載の画像圧縮方法。 - 【請求項19】 上記値valは、省略されたマクロブロ
ックを符号化すべき確率が高い場合に、すなわち、Pタ
イプのピクチャに対し、補償無しの符号化モードにある
か、若しくは、Bタイプのピクチャに対し、動きベクト
ルが最後に符号化されたマクロブロックによって使用さ
れた動きベクトルと一致する場合に、所定の値によって
下限が定められることを特徴とする請求項12記載の画
像圧縮方法。 - 【請求項20】 MB_src(i,j)がマクロブロックMB内の
画素(i,j)のルミナンスに対応するとき、項Hdr_MBは、
ソースマクロブロックの平均動き量、すなわち、 【数4】 と、ソースマクロブロックの平均値、すなわち、 【数5】 とが所定の閾値に満たない場合に、双方向予測モードを
優先するよう値valに関する式に従って重み付けされる
ことを特徴とする請求項12記載の画像圧縮方法。 - 【請求項21】 重み付けは、上記ソースマクロブロッ
クの平均値に比例し、該ソースマクロブロックの平均動
き量に反比例することを特徴とする請求項20記載の画
像圧縮方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9907715A FR2795278B1 (fr) | 1999-06-18 | 1999-06-18 | Procede de compression d'images, notamment de type mpeg2 |
FR9907714A FR2795277B1 (fr) | 1999-06-18 | 1999-06-18 | Procede de compression d'images, notamment de type mpeg2 |
FR9907715 | 1999-06-18 | ||
FR9907714 | 1999-06-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001036912A true JP2001036912A (ja) | 2001-02-09 |
JP4806483B2 JP4806483B2 (ja) | 2011-11-02 |
Family
ID=26234995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000180146A Expired - Lifetime JP4806483B2 (ja) | 1999-06-18 | 2000-06-15 | 画像圧縮方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6661926B1 (ja) |
EP (1) | EP1061750A3 (ja) |
JP (1) | JP4806483B2 (ja) |
CN (1) | CN1155255C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003021971A1 (en) * | 2001-08-28 | 2003-03-13 | Ntt Docomo, Inc. | Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
WO2003054795A2 (en) * | 2001-12-21 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Image coding with block dropping |
JP4031455B2 (ja) * | 2004-03-29 | 2008-01-09 | 株式会社東芝 | 画像符号化装置 |
EP2187337A1 (en) * | 2008-11-12 | 2010-05-19 | Sony Corporation | Extracting a moving mean luminance variance from a sequence of video frames |
EP2299717A1 (en) * | 2009-09-10 | 2011-03-23 | Thomson Licensing | Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs |
WO2016154366A1 (en) * | 2015-03-23 | 2016-09-29 | Arris Enterprises, Inc. | System and method for selectively compressing images |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0678287A (ja) * | 1992-03-23 | 1994-03-18 | Canon Inc | 符号化方法及び装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3125451B2 (ja) * | 1991-11-05 | 2001-01-15 | ソニー株式会社 | 信号処理方法 |
DE4118571A1 (de) * | 1991-06-06 | 1992-12-10 | Philips Patentverwaltung | Vorrichtung zur steuerung des quantisierers eines hybrid-kodierers |
US5592302A (en) * | 1992-03-23 | 1997-01-07 | Canon Kabushiki Kaisha | Coding method for coding pixel blocks and apparatus therefor |
US5559722A (en) | 1993-11-24 | 1996-09-24 | Intel Corporation | Process, apparatus and system for transforming signals using pseudo-SIMD processing |
KR100213015B1 (ko) * | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
JPH0846971A (ja) * | 1994-07-29 | 1996-02-16 | Sharp Corp | 動画像符号化装置 |
DE4433819A1 (de) * | 1994-09-22 | 1996-03-28 | Philips Patentverwaltung | Coder zur segmentweisen Codierung eines Eingangssignales |
US5737537A (en) * | 1995-09-29 | 1998-04-07 | Intel Corporation | Two-measure block classification scheme for encoding video images |
KR100384327B1 (ko) * | 1995-10-26 | 2003-08-21 | 사르노프 코포레이션 | 블록-기반코딩시스템에서코딩모드를선택하기위한방법및장치 |
KR100355375B1 (ko) * | 1995-11-01 | 2002-12-26 | 삼성전자 주식회사 | 영상부호화장치에있어서양자화간격결정방법및회로 |
US5682204A (en) * | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
US5771316A (en) * | 1995-12-26 | 1998-06-23 | C-Cube Microsystems | Fade detection |
US5878166A (en) * | 1995-12-26 | 1999-03-02 | C-Cube Microsystems | Field frame macroblock encoding decision |
KR0170735B1 (ko) * | 1996-01-29 | 1999-03-20 | 김광호 | 정지영상 데이터의 압축장치 |
CA2208950A1 (en) * | 1996-07-03 | 1998-01-03 | Xuemin Chen | Rate control for stereoscopic digital video encoding |
FR2756399B1 (fr) * | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US6278735B1 (en) * | 1998-03-19 | 2001-08-21 | International Business Machines Corporation | Real-time single pass variable bit rate control strategy and encoder |
US7263127B1 (en) * | 1998-04-02 | 2007-08-28 | Intel Corporation | Method and apparatus for simplifying frame-based motion estimation |
-
2000
- 2000-06-14 EP EP00401671A patent/EP1061750A3/en not_active Withdrawn
- 2000-06-15 JP JP2000180146A patent/JP4806483B2/ja not_active Expired - Lifetime
- 2000-06-16 US US09/595,738 patent/US6661926B1/en not_active Expired - Lifetime
- 2000-06-19 CN CNB001096419A patent/CN1155255C/zh not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0678287A (ja) * | 1992-03-23 | 1994-03-18 | Canon Inc | 符号化方法及び装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003021971A1 (en) * | 2001-08-28 | 2003-03-13 | Ntt Docomo, Inc. | Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same |
US7474699B2 (en) | 2001-08-28 | 2009-01-06 | Ntt Docomo, Inc. | Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method decoding method and program usable for the same |
Also Published As
Publication number | Publication date |
---|---|
EP1061750A2 (en) | 2000-12-20 |
CN1278693A (zh) | 2001-01-03 |
EP1061750A3 (en) | 2010-05-05 |
US6661926B1 (en) | 2003-12-09 |
JP4806483B2 (ja) | 2011-11-02 |
CN1155255C (zh) | 2004-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3954656B2 (ja) | 画像符号化装置及び方法 | |
JP3711571B2 (ja) | 画像符号化装置及び画像符号化方法 | |
US7869523B2 (en) | Low complexity deblocking filter | |
US5347308A (en) | Adaptive coding method for interlaced scan digital video sequences | |
JP3369573B2 (ja) | 画像予測復号化方法及び装置 | |
JP4617644B2 (ja) | 符号化装置及び方法 | |
CA3044014C (en) | Adaptive filtering based upon boundary strength | |
US8379728B2 (en) | Adaptive real-time video prediction mode method and computer-readable medium and processor for storage and execution thereof | |
JP2004201298A (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
JPH08512188A (ja) | ビデオ・ブロックをイントラ・コーディングするかどうかを判定する方法 | |
JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
JP2008219205A (ja) | 画像情報符号化装置及び画像情報符号化方法 | |
JP4806483B2 (ja) | 画像圧縮方法 | |
JP4694664B2 (ja) | 画像圧縮方法 | |
JP2007531444A (ja) | ビデオデータのための動き予測及びセグメンテーション | |
US7113543B2 (en) | Video encoding | |
JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
KR100733991B1 (ko) | Mpeg2에서 h.264로의 트랜스코딩 방법 | |
JPH07131793A (ja) | 映像信号高能率符号化装置 | |
KR20010104058A (ko) | 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기 | |
JP4849441B2 (ja) | 動画像符号化装置 | |
JP4983908B2 (ja) | 復号装置及び方法 | |
Huang et al. | The enhanced intra prediction algorithm for H. 264 | |
JP4429516B2 (ja) | 画像符号化装置 | |
JPH05308629A (ja) | 動画像符号化方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100902 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100907 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4806483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140819 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |