JP2008154060A - 動画像符号化装置 - Google Patents

動画像符号化装置 Download PDF

Info

Publication number
JP2008154060A
JP2008154060A JP2006341235A JP2006341235A JP2008154060A JP 2008154060 A JP2008154060 A JP 2008154060A JP 2006341235 A JP2006341235 A JP 2006341235A JP 2006341235 A JP2006341235 A JP 2006341235A JP 2008154060 A JP2008154060 A JP 2008154060A
Authority
JP
Japan
Prior art keywords
prediction
block
quantization
dct
discrete cosine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006341235A
Other languages
English (en)
Other versions
JP4901450B2 (ja
Inventor
Shingo Suzuki
真吾 鈴木
Yoshihiro Kikuchi
義浩 菊池
Yuji Kawashima
裕司 川島
Tatsuro Fujisawa
達朗 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006341235A priority Critical patent/JP4901450B2/ja
Priority to US11/831,140 priority patent/US20080144721A1/en
Publication of JP2008154060A publication Critical patent/JP2008154060A/ja
Application granted granted Critical
Publication of JP4901450B2 publication Critical patent/JP4901450B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 DCTおよび量子化処理に伴う負荷の低減を図りつつ、画質の劣化を抑えることのできる動画像符号化装置を提供する。
【解決手段】 DCT/量子化省略判定部8は、評価値算出部7から出力されたSADと、制御部14に格納された符号化モード情報に従い、DCT/量子化処理を省略するかを示す切り替え信号を出力する。DCT/量子化部9は、DCT/量子化省略判定部8から出力された切り替え信号に応じてDCTおよび量子化処理を施す。このとき、通常のDCT・量子化処理9aと、DCT・量子化処理を省略又は簡略化したDCT・量子化処理9bとを切替える。
【選択図】 図2

Description

この発明は、動画像を符号化する動画像符号化装置に関する。
画像信号には、統計的な性質があること、すなわちフレーム内の画素間およびフレーム間の画素間に相関性があることが知られており、この性質を利用して高能率の符号化が行われる。動画像の帯域圧縮符号化の基本的な方式には、予測符号化方式と変換符号化方式とがある。予測符号化方式は、時間領域における相関を利用した方式である。これに対し変換符号化方式は、周波数領域における相関を利用した方式である。
予測符号化方式は、既に符号化された画像フレーム(以下、参照フレームと呼称する)から動き補償予測(以下、インター予測と呼称する)を行って予測画像を生成し、符号化対象の画像とこの予測画像との差分信号を符号化するものである。一方、変換符号化方式は、符号化対象の画像を画素ごとにブロック化したものを離散コサイン変換(Discrete Cosine Transform:DCT)により周波数領域に変換し、得られた係数(これを以後DCT係数と呼称する)を量子化して伝送するものである。そして、近年ではこの両者組み合わせた方式が一般的に採用されている。
例えば、国際電気通信連合電気通信標準化部門:ITU−T(International Telecommunication Union-Telecommunication Standardization Sector)勧告のH.261やH.263、また国際標準化機構:ISO(International Organization for Standardization)の下に設立された画像圧縮の標準化作業グループによるMPEG(Moving Picture Experts Group)においては例えば16×16の画素ブロック(以後マクロブロックと呼称する)単位で符号化が行われる。さらに最近では、圧縮率をさらに高めるためにH.264が標準化されている。H.264は、多様な符号化モードを使用することにより高能率な画像符号化を行うことのできる符号化方式である。
このような動画像の符号化は、処理量が非常に膨大となるため、装置の消費電力の増加や高価格化を招く原因となる。特にDCTと量子化の処理において全てのDCT係数が量子化されてしまう場合は、その処理自体が冗長である。そのため、処理量を低減するための様々な技術が考えられている。
例えば、特許文献1には、画像信号をブロックに分割して符号化を行う際に、ブロック毎に予測残差信号の評価量を求め、この評価量が閾値以上の場合は有効ブロック、評価値が閾値未満のときは無効ブロックと判定し、無効ブロックと判定されたブロックについては予測誤差情報を送らない技術が開示されている。
特許文献1に開示されている技術を用いることで、量子化処理を行った結果の係数が全てゼロとなる場合にDCTと量子化の処理を省略することが可能となる。
特開平10−210480号公報
先述の通りH.264では、符号化モードが非常に多いため処理量が膨大となり、装置の消費電力の増加や高価格化を招くことがあった。また、選択された符号化モードによって予測誤差信号の性質が変化する場合がある。そのため、特許文献1のように符号化モードによらず画一的な処理量削減手法を適用すると、画質の劣化につながり、処理量削減の観点からも好ましくない。
そこで本発明は、DCTおよび量子化処理に伴う負荷の低減を図りつつ、画質の劣化を抑えることのできる動画像符号化装置を提供することを目的とする。
上記の課題を解決するため、請求項1記載の動画像符号化装置では、動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置であって、前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として複数の予測を行い、それらの中から1の予測を選択する選択手段と、前記選択手段が選択した予測の性質や符号化モードに応じて、離散コサイン変換および量子化処理を加減する手段とを具備する。
請求項2記載の動画像符号化装置では、動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置であって、前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として時間方向の相関を利用した予測手法であるインター予測を行う第1予測手段と、前記ブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第2予測手段と、前記ブロックを更に分割したサブブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第3予測手段と、前記第1予測手段が予測した結果と、前記第2予測手段が予測した結果と、前記第3予測手段が予測した結果とを比較して、予測精度の高い予測手段を選択する手段と、前記第1予測手段または前記第3予測手段が選択された場合に、前記ブロックを分割したサブブロックと前記第1予測手段、または前記第3予測手段によって作成された予測画像ブロックを分割した予測画像サブブロックとの差を計算して差分画像サブブロックを作成する引算器と、該差分画像サブブロックから予測誤差を計算する評価値算出部と、該予測誤差と予め設定された閾値とを比較する離散コサイン変換・量子化処理判定部とを具備し、前記離散コサイン変換・量子化処理判定部での比較の結果、予測誤差が閾値を超える場合は、前記閾値判定を行った差分画像サブブロックに対して離散コサイン変換および量子化処理を行い、予測誤差が閾値以下である場合は、離散コサイン変換および量子化処理を行わずに、全ての離散コサイン係数にゼロを代入することを特徴とする。
請求項3記載の動画像符号化装置では、動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置において、前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として時間方向の相関を利用した予測手法であるインター予測を行う第1予測手段と、前記ブロック、あるいは前記ブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第2予測手段と、前記ブロックを更に分割したサブブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第3予測手段と、前記第1予測手段が予測した結果と、前記第2予測手段が予測した結果と、前記第3予測手段が予測した結果とを比較して、予測精度の高い予測手段を選択する手段と、前記第3予測手段が選択された場合に、前記ブロックと前記第3予測手段によって作成された予測画像ブロックを更に小さいサブブロックに分割し、それらサブブロックの差を計算して差分画像サブブロックを作成する引算器と、該分割された差分画像サブブロックから予測誤差を計算する評価値算出部と、該予測誤差と予め設定された閾値とを比較する離散コサイン変換・量子化処理判定部とを具備し、前記離散コサイン変換・量子化処理判定部の比較の結果、予測誤差が閾値を超える場合は、前記閾値判定を行った差分画像サブブロックに対して離散コサイン変換および量子化処理を行い、予測誤差が閾値以下である場合は、離散コサイン変換を行って直流成分のみを求めるとともに、交流成分にゼロを設定し、前記閾値判定後に求めた直流成分で直流ブロックを作成し、該直流ブロックに対して直交変換および量子化処理を行うことを特徴とする。
この発明によれば、DCTおよび量子化処理に伴う負荷の低減を図りつつ、画質の劣化を抑えることのできる動画像符号化装置を提供できる。
以下、図面を参照して本発明の一実施形態について説明する。
図1は、この発明の一実施形態に係わる動画像符号化装置の構成を示すものである。図1に示す動画像符号化装置は、入力部1と、インター予測部2と、イントラ予測部3と、フレームメモリ部4と、選択回路5と、引算器6と、評価値算出部7と、DCT/量子化省略判定部8と、DCT/量子化部9と、エントロピー符号化部10と、逆量子化/逆DCT部11と、加算器12と、デブロッキング・フィルタ部13と、制御部14と、出力部15とを備える。
入力部1は、入力された画像フレーム信号を複数のブロックに分割し出力する。
インター予測部2は、入力部1から出力された画像フレーム信号を構成する符号化対象ブロックを、フレームメモリ部4に記憶されている復元された過去の画像フレーム信号から予測し、インター予測での圧縮効率を示すインター予測評価値を求め、また、フレームメモリ部4に記憶されている画像フレーム信号から切り出した部分画像フレーム信号をインター予測信号として出力する。
イントラ予測部3は、入力部1から出力された画像フレーム信号を構成する符号化対象ブロックを符号化済みの隣接ブロックを利用して予測し、イントラ予測信号と、このイントラ予測での圧縮効率を示すイントラ予測評価値を出力する。
そして、選択回路5は、インター予測部2から出力されたインター予測評価値と、イントラ予測部3から出力されたイントラ予測評価値とを入力とし、その両者の大小に従い、上記入力信号である画像フレーム信号を構成するブロックに対し、インター予測を行わせるか、イントラ予測を行わせるかの切り替えを行い、選択結果を制御部14に格納する。
引算器6は、選択回路5から出力された予測信号と、入力部1を介して入力された画像フレーム信号との差分を求める演算を行う。そして、求められた差分は差分信号として後続する処理のために出力される。
評価値算出部7は、引算器6から出力された差分信号を複数個のブロックに分割し、それらブロック毎に予測誤差信号の大きさを表すSAD(Sum of Absolute Difference)値を計算する。
DCT/量子化省略判定部8は、評価値算出部7から出力されたSADと、制御部14に格納された符号化モード情報に従い、DCT/量子化処理を省略するかを示す切り替え信号を出力する。
DCT/量子化部9は、DCT/量子化省略判定部8から出力された切り替え信号に応じてDCTおよび量子化処理を施す。このとき、通常のDCT・量子化処理9aと、DCT・量子化処理を省略又は簡略化したDCT・量子化処理9bとを切替える。評価値算出部7、DCT/量子化省略判定部8、DCTおよび量子化部9の処理概要図を図2に示す。また詳細は後述する。
エントロピー符号化部10は、DCT/量子化部9から出力されたDCT係数に対してエントロピー符号化処理を施す。このエントロピー符号化としては、例えば、コンテキスト適応型可変長符号化方式やコンテキスト適応型2値算術符号化方式が用いられる。
出力部15は、エントロピー符号化された信号をビットストリームとして出力する。
一方、DCT/量子化部9から出力されたDCT係数は、逆量子化/逆DCT部11にも入力される。逆量子化/逆DCT部11では、入力されたDCT係数に対して逆量子化処理を行ってDCT係数を復元されるとともに、このDCT係数に対して逆DCT処理を行って差分信号を復元させる。
加算器12は、逆量子化/逆DCT部11から出力された復元された差分信号と選択回路5から出力された予測信号とを用いて符号化対象であった画像フレーム信号を復元する。そして、この復元された画像フレーム信号はデブロッキング・フィルタ部13を介してフレームメモリ部4に記憶され、後のインター予測に利用される。
デブロッキング・フィルタ部13は、加算器12の出力である復元された画像フレーム信号に対してフィルタリング処理を行い、符号化処理の単位であるブロック間に生じた歪を低減する処理を行う。
さて、H.264/AVCのイントラ符号化では、輝度信号に対して4×4画素単位で符号化を行う4×4画面内予測符号化と、8×8画素単位で符号化を行う8×8画面内予測符号化と、16×16画素単位で符号化を行う16×16画面内予測符号化の3つの予測モードと、色差信号に対する画面内予測符号化との4種類の符号化モードが存在している。つまり、インター符号化と合わせると合計5つの符号化処理(符号化モード)が存在することになる。
そこで、以下の各実施例では、各符号化モードに応じて離散コサイン変換および量子化の処理を適応的に制御することで画質の劣化を抑えながら、これらの処理の負荷を低減するようにしている。
以下、切り替え信号に応じた離散コサイン変換および量子化処理の処理内容について説明する。
(実施例1)
まず、選択回路5でインター予測モードを選択した場合について、図3を参照して説明する。
インター予測モードであり、DCTの処理単位が4×4画素であることが認識されると、制御部14による制御を受けて、引算器6は、インター予測部2から出力され選択回路5を介して入力されたインター予測信号と入力信号を分割して得た信号とを入力して差分を求め、差分画像を作成する(S11)。そして、この差分画像が求まると、制御部14は、差分画像から4×4画素で構成されるブロック毎に予測誤差を表すSAD(Sum of Absolute Difference)値を計算する(S12)。ここで、差分画像から分割された各々の4×4ブロックにはブロックインデックスと呼ばれる番号(0、1、2、・・・、N)を与える。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、4×4画素単位で求められたSAD値、即ち、予測誤差とを比較し、予測誤差が閾値以下であるか否かの判定を行う(S13)。
この判定の結果、予測誤差が閾値以下である場合は、DCT/量子化部9を制御して、全てのDCT係数にゼロ値を代入させる(S14)。
一方、S13の判定において予測誤差が閾値を超えている場合は、制御部14はDCT/量子化部9を制御して、4×4画素で構成されるブロック単位で整数精度のDCT処理を実行させるとともに(S15)、この整数精度のDCT処理で得られた係数に対して量子化処理を実行させる(S16)。
DCTおよび量子化処理が完了すると、制御部14は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し(S17)、最大値を示す場合は、インター予測による符号化処理を終了する。
一方、ブロックインデックスが最大値でない場合は、再びS13に戻り、次の4×4画素で構成されるブロックの予測誤差と閾値との比較処理以降を実行する。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
(実施例2)
次に、制御部14がインター予測モードであり、DCTの処理単位が8×8画素であると認識した場合について、図4を参照して説明する。
予測モードがインター予測モードであり、DCTの処理単位が8×8画素であることが認識されると、制御部14による制御を受けて、引算器6は、インター予測部2から出力され選択回路5を介して入力されたインター予測信号と入力信号を分割して得た信号とを入力して差分を求め、差分画像を作成する(S21)。そして、この差分画像が求まると、制御部14は、差分画像から8×8画素で構成されるブロック毎に予測誤差を表すSAD(Sum of Absolute Difference)値を計算する(S22)。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、8×8画素単位で求められたSAD値、即ち、予測誤差とを比較し、予測誤差が閾値以下であるか否かの判定を行う(S23)。
この判定の結果、予測誤差が閾値以下である場合は、DCT/量子化部9を制御して、全てのDCT係数にゼロ値を代入させる(S24)。
一方、S23の判定において予測誤差が閾値を超えている場合は、制御部14はDCT/量子化部9を制御して、8×8画素で構成されるブロック単位で整数精度のDCT処理を実行させるとともに(S25)、この整数精度のDCT処理で得られた係数に対して量子化処理を実行させる(S26)。
DCTおよび量子化処理が完了すると、制御部14は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し(S27)、最大値を示す場合は、インター予測による符号化処理を終了する。
一方、ブロックインデックスが最大値でない場合は、再びS23に戻り、次の8×8画素で構成されるブロックの予測誤差と閾値との比較処理以降を実行する。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
(実施例3)
次に、制御部14がイントラ4×4予測モードであると認識した場合について、図5を参照して説明する。
予測モードが、イントラ4×4予測モードであることが認識されると、制御部14による制御に基づいて4×4画素から構成されるブロックの予測画像を作成する(S31)。ここで、予測画像とは、符号化対象のブロック内の各画素をこのブロックに隣接するブロック内の画素を用いて予測を行い作成されたものである。
予測画像の作成が終わると、引算器6は、入力信号に含まれる符号化対象のブロックと上記予測画像とから4×4画素単位の差分画像を作成する(S32)。そして、この差分画像が作成されると、制御部14は、差分画像から4×4画素で構成されるブロックの予測誤差を表すSAD値を計算する(S33)。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、4×4画素単位で求められたSAD値、即ち、予測誤差とを比較し、予測誤差が閾値以下であるか否かの判定を行う(S34)。この判定の結果、予測誤差が閾値以下である場合は、DCT/量子化部9を制御して、全てのDCT係数にゼロ値を代入させる(S35)。
一方、S34の判定において予測誤差が閾値を超えている場合は、制御部14はDCT/量子化部9を制御して、4×4画素で構成されるブロック単位で整数精度のDCT処理を実行させるとともに(S36)、この整数精度のDCT処理で得られた係数に対して量子化処理を実行させる(S37)。
その後、S37で求めたDCT係数に対して逆量子化および逆DCTを施し、予測信号を復元する(S38)。
S38までの処理が完了すると、制御部14は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し(S39)、最大値を示す場合は、イントラ4×4予測による符号化処理を終了する。
一方、ブロックインデックスが最大値でない場合は、再びS31に戻り、次の4×4画素で構成されるブロックに対する処理を継続する。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
(実施例4)
次に、制御部14がイントラ8×8予測モードであると認識した場合について、図6を参照して説明する。
予測モードが、イントラ8×8予測モードであることが認識されると、制御部14による制御に基づいて8×8画素単位の予測画像を作成する(S41)。ここで、予測画像とは、符号化対象のブロック内の各画素をこのブロックに隣接するブロック内の画素を用いて予測を行い作成されたものである。
8×8画素ブロックの予測画像の作成が終わると、引算器6は、入力信号に含まれる符号化対象のブロックと上記予測画像とから8×8画素単位の差分画像を作成する(S42)。そして、この差分画像が作成されると、制御部14は、差分画像から4×4画素で構成されるブロックの予測誤差を表すSAD値を計算する(S43)。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、4×4画素単位で求められたSAD値、即ち、予測誤差とを比較し、予測誤差が閾値以下であるか否かの判定を行う(S44)。この判定の結果、予測誤差が閾値以下である場合は、DCT/量子化部9を制御して、全てのDCT係数にゼロ値を代入させる(S45)。
一方、S44の判定において予測誤差が閾値を超えている場合は、制御部14はDCT/量子化部9を制御して、4×4画素で構成されるブロック単位で整数精度のDCT処理を実行させるとともに(S46)、この整数精度のDCT処理で得られた係数に対して量子化処理を実行させる(S47)。
その後、S47で求めたDCT係数に対して逆量子化および逆DCTを施し、予測信号を復元する(S48)。
S48までの処理が完了すると、制御部14は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し(S49)、最大値を示す場合は、イントラ8×8予測による符号化処理を終了する。
一方、ブロックインデックスが最大値でない場合は、再びS41に戻り、次の8×8画素で構成されるブロックに対する処理を継続する。また最大値でない場合は、S24に戻り、次の4×4画素で構成されるブロックに対する処理を継続する。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
(実施例5)
次に、制御部14がイントラ16×16予測モードであると認識した場合について、図7を参照して説明する。
イントラ16×16予測モードであることが認識されると、制御部14による制御を受けて、引算器6は、イントラ予測部3から出力され選択回路5を介して入力されたイントラ16×16予測信号と入力信号を分割して得た信号とを入力して差分を求め、差分画像を作成する(S51)。差分画像が求まると、制御部14は、16×16画素で構成される差分画像を4×4画素で構成されるブロックに分割するとともに、この4×4画素のブロック単位で予測誤差を示すSAD値を計算する(S52)。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、4×4画素単位で求められたSAD値との比較を行い(S53)、SAD値が閾値以下である場合は、直流成分のみを求める離散コサイン変換を実行させるとともに(S54)、交流成分にゼロ値を代入させる(S55)。
なお、この直流成分のみを求める離散コサイン変換処理は、直流成分と交流成分とを求める通常の離散コサイン変換に比べて軽い処理で求めることが出来るという特徴と備えている。
一方、上記予測誤差が閾値を越えている場合は、DCT・量子化部を制御して、4×4画素で構成される差分画像に対して整数精度の離散コサイン変換を実行させ(S56)、そして、この離散コサイン変換で得た交流成分のみについて量子化処理を実行させる(S57)。
そして、上記S55、またはS56、S57の処理が終わると、符号化対象の4×4画素のブロックが示すブロックインデックスが最大値であるか確認し(S58)、最大値でない場合は、S53に戻って、次の4×4画素の差分画像に対して同様の処理を実行させる。
また、ブロックインデックスが最大値である場合は、先に分割された4×4画素単位のブロックの直流成分の係数で構成される直流成分ブロックを作成し、該直流成分ブロックに対してアダマール変換などの直行変換および量子化処理を行う(S59)。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
また、イントラ16×16予測モードを符号化するモードでは、直流成分の係数が残りやすいという特徴があることから、直流成分の係数に対する量子化は行うことも特徴としている。
(実施例6)
次に、制御部14が色差信号に対して符号化処理を行うと認識した場合について、図8を参照して説明する。
制御部14が色差信号に対して符号化を行うことを認識すると、入力信号中に含まれる符号化対象のブロックと、インター予測部2、またはイントラ予測部3を制御して、符号化対象のブロックの予測画像を求め、そして、引算器6を制御することで、符号化対象のブロックと作成された予測画像との差分を求め、差分画像を作成する(S61)。なお、色差信号を符号化する場合は、8×8画素で構成されるブロック単位で実行されるため、前記符号化対象のブロックは8×8画像で構成される。
差分画像が求まると、制御部14は、差分画像から4×4画素で構成されるブロック毎に予測誤差を表すSAD値を計算する(S62)。
続いて制御部14は、符号化モードに応じた予め定められた閾値を読み出し、該閾値と、4×4画素単位で求められたSAD値、即ち、予測誤差とを比較し、予測誤差が閾値以下であるか否かの判定を行う(S63)。
この判定の結果、予測誤差が閾値以下である場合は、DCT/量子化部9を制御して、全てのDCT係数にゼロ値を代入させる(S64)。
一方、S63の判定において予測誤差が閾値を超えている場合は、制御部14はDCT/量子化部9を制御して、4×4画素で構成されるブロック単位で整数精度のDCT処理を実行させるとともに(S65)、この整数精度のDCT処理で得られた係数に対して量子化処理を実行させる(S66)。
DCTおよび量子化処理が完了すると、制御部14は、処理を行ったブロックの示すブロックインデックスが最大値を示すか否かを確認し(S67)、最大値を示す場合は、先に分割された4×4画素単位のブロックの直流成分の係数で構成される直流成分ブロックを作成し、該直流成分ブロックに対してアダマール変換などの直行変換および量子化処理を行う(S68)。
一方、ブロックインデックスが最大値でない場合は、再びS53に戻り、次の4×4画素で構成されるブロックの予測誤差と閾値との比較処理以降を実行する。
そして、上記の処理が完了すると、DCT/量子化部9から出力されたDCT係数はエントロピー符号化部10で可変長符号化処理を施され、出力される。
このように、符号化モードなどの信号の性質に応じてDCTおよび量子化処理を変更させることで、画質の劣化を抑えながらDCTおよび量子化処理における処理量を削減することが可能となる。
また、色差信号を符号化するモードでは、直流成分の係数が残りやすいという特徴があることから、直流成分の係数に対する量子化は行うことも特徴としている。
なお、上記予測誤差と閾値との比較では、「予測誤差<閾値」を基準に判定を行っているが、これを「予測誤差>閾値」、「予測誤差<=閾値」、「予測誤差>=閾値」として判定しても良い。
動画像を符号化するための構成を示す図。 DCTおよび量子化処理を省略するための構成を示す図 本発明の実施例によるインター予測(DCT処理単位4×4画素)を実行する場合の処理を示す図。 本発明の実施例によるインター予測(DCT処理単位8×8画素)を実行する場合の処理を示す図。 本発明の実施例によるイントラ4×4予測を実行する場合の処理を示す図。 本発明の実施例によるイントラ8×8予測を実行する場合の処理を示す図。 本発明の実施例によるイントラ16×16予測を実行する場合の処理を示す図。 本発明の実施例における色差信号に対する符号化処理を示す図。
符号の説明
1・・・入力部
2・・・インター予測部
3・・・イントラ予測部
4・・・フレームメモリ部
5・・・選択回路部
6・・・引算器
7・・・評価値算出部
8・・・DCT/量子化省略判定部
9・・・DCT/量子化部
10・・・エントロピー符号化部
11・・・逆量子化/逆DCT部
12・・・加算器
13・・・デブロッキング・フィルタ部
14・・・制御部
15・・・出力部

Claims (5)

  1. 動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置であって、
    前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として複数の予測を行い、それらの中から1の予測を選択する選択手段と、
    前記選択手段が選択した予測の性質や符号化モードに応じて、離散コサイン変換および量子化処理を加減する手段とを具備する動画像符号化装置。
  2. 動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置であって、
    前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として時間方向の相関を利用した予測手法であるインター予測を行う第1予測手段と、
    前記ブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第2予測手段と、
    前記ブロックを更に分割したサブブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第3予測手段と、
    前記第1予測手段が予測した結果と、前記第2予測手段が予測した結果と、前記第3予測手段が予測した結果とを比較して、予測精度の高い予測手段を選択する手段と、
    前記第1予測手段または前記第3予測手段が選択された場合に、前記ブロックを分割したサブブロックと前記第1予測手段、または前記第3予測手段によって作成された予測画像ブロックを分割した予測画像サブブロックとの差を計算して差分画像サブブロックを作成する引算器と、
    該差分画像サブブロックから予測誤差を計算する評価値算出部と、
    該予測誤差と予め設定された閾値とを比較する離散コサイン変換・量子化処理判定部とを具備し、
    前記離散コサイン変換・量子化処理判定部での比較の結果、予測誤差が閾値を超える場合は、前記閾値判定を行った差分画像サブブロックに対して離散コサイン変換および量子化処理を行い、予測誤差が閾値以下である場合は、離散コサイン変換および量子化処理を行わずに、全ての離散コサイン係数にゼロを代入すること
    を特徴とする動画像符号化装置。
  3. 動画像を構成するフレームを複数に分割したブロックを入力とし、前記ブロック毎に予測、離散コサイン変換・量子化、符号化を行う動画像符号化装置において、
    前記ブロック、あるいは前記ブロックを更に分割したサブブロックを処理単位として時間方向の相関を利用した予測手法であるインター予測を行う第1予測手段と、
    前記ブロック、あるいは前記ブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第2予測手段と、
    前記ブロックを更に分割したサブブロックを処理単位として空間方向の相関を利用した予測手法であるイントラ予測を行う第3予測手段と、
    前記第1予測手段が予測した結果と、前記第2予測手段が予測した結果と、前記第3予測手段が予測した結果とを比較して、予測精度の高い予測手段を選択する手段と、
    前記第3予測手段が選択された場合に、前記ブロックと前記第3予測手段によって作成された予測画像ブロックを更に小さいサブブロックに分割し、それらサブブロックの差を計算して差分画像サブブロックを作成する引算器と、
    該分割された差分画像サブブロックから予測誤差を計算する評価値算出部と、
    該予測誤差と予め設定された閾値とを比較する離散コサイン変換・量子化処理判定部とを具備し、
    前記離散コサイン変換・量子化処理判定部の比較の結果、予測誤差が閾値を超える場合は、前記閾値判定を行った差分画像サブブロックに対して離散コサイン変換および量子化処理を行い、予測誤差が閾値以下である場合は、離散コサイン変換を行って直流成分のみを求めるとともに、交流成分にゼロを設定し、前記閾値判定後に求めた直流成分で直流ブロックを作成し、該直流ブロックに対して直交変換および量子化処理を行うことを特徴とする動画像符号化装置。
  4. 請求項2、請求項3に記載の動画像符号化装置において、
    前記閾値判定は、予測手段や符号化モード情報によって、判定に使用する閾値をすること切り替えることを特徴とする動画像符号化装置。
  5. 請求項2、請求項3に記載の動画像符号化装置において、
    前記離散コサイン変換および量子化処理を切り替える手段は、離散コサイン変換の処理単位によっても切り替えることを特徴とする動画像符号化装置。
JP2006341235A 2006-12-19 2006-12-19 動画像符号化装置 Expired - Fee Related JP4901450B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006341235A JP4901450B2 (ja) 2006-12-19 2006-12-19 動画像符号化装置
US11/831,140 US20080144721A1 (en) 2006-12-19 2007-07-31 Video coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006341235A JP4901450B2 (ja) 2006-12-19 2006-12-19 動画像符号化装置

Publications (2)

Publication Number Publication Date
JP2008154060A true JP2008154060A (ja) 2008-07-03
JP4901450B2 JP4901450B2 (ja) 2012-03-21

Family

ID=39527165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006341235A Expired - Fee Related JP4901450B2 (ja) 2006-12-19 2006-12-19 動画像符号化装置

Country Status (2)

Country Link
US (1) US20080144721A1 (ja)
JP (1) JP4901450B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031007A (ja) * 2011-07-28 2013-02-07 Fujitsu Ltd 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
EP2723082A2 (en) 2012-10-16 2014-04-23 Canon Kabushiki Kaisha Image encoding apparatus and image encoding method
JP2015149762A (ja) * 2015-04-13 2015-08-20 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2017513342A (ja) * 2014-03-17 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908180B2 (ja) * 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
US8483282B2 (en) * 2007-10-12 2013-07-09 Qualcomm, Incorporated Entropy coding of interleaved sub-blocks of a video block
CN102884794B (zh) * 2011-03-07 2016-08-10 松下知识产权经营株式会社 运动补偿装置、运动图像编码装置、运动图像解码装置、运动补偿方法、以及集成电路
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059767A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像符号化装置及び方法
JP2004007360A (ja) * 2002-03-29 2004-01-08 Seiko Epson Corp 動画像符号化方法、動画像符号化装置および動画像符号化処理プログラム
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5561529A (en) * 1992-12-22 1996-10-01 Canon Kabushiki Kaisha Image signal reproducing apparatus
US5940131A (en) * 1995-12-15 1999-08-17 Kokusai Denshin Denwa Co. Ltd. Method and apparatus for coding moving pictures
JP3840020B2 (ja) * 1999-12-14 2006-11-01 株式会社東芝 動画像符号化装置
US6650707B2 (en) * 2001-03-02 2003-11-18 Industrial Technology Research Institute Transcoding apparatus and method
AU2002356326A1 (en) * 2002-01-07 2003-07-24 British Telecommunications Public Limited Company Method and apparatus for extracting pixel values
US7209266B2 (en) * 2002-12-06 2007-04-24 Kabushiki Kaisha Toshiba Image processing apparatus
DE602005015067D1 (de) * 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059767A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像符号化装置及び方法
JP2004007360A (ja) * 2002-03-29 2004-01-08 Seiko Epson Corp 動画像符号化方法、動画像符号化装置および動画像符号化処理プログラム
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031007A (ja) * 2011-07-28 2013-02-07 Fujitsu Ltd 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
EP2723082A2 (en) 2012-10-16 2014-04-23 Canon Kabushiki Kaisha Image encoding apparatus and image encoding method
JP2017513342A (ja) * 2014-03-17 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ゼロアウトされた係数を使用した低複雑な順変換のためのシステムおよび方法
JP2015149762A (ja) * 2015-04-13 2015-08-20 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Also Published As

Publication number Publication date
US20080144721A1 (en) 2008-06-19
JP4901450B2 (ja) 2012-03-21

Similar Documents

Publication Publication Date Title
AU2007351295B2 (en) Time-varying image encoding method and device, and time-varying image decoding device
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100949917B1 (ko) 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
KR101362590B1 (ko) 화상 처리 장치 및 방법
KR101814259B1 (ko) 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법 및 영상 복호 방법
JP4901450B2 (ja) 動画像符号化装置
US20100118945A1 (en) Method and apparatus for video encoding and decoding
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
EP2150061A1 (en) Video encoding device, video encoding method, and video encoding program
JP2010251952A (ja) 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP2010263301A (ja) 画像データの生成方法
KR101615643B1 (ko) 픽처들의 압축
JP4829019B2 (ja) 通信端末装置
JP2007013298A (ja) 画像符号化装置
JP5649296B2 (ja) 画像符号化装置
JP5800077B2 (ja) 動画像復号方法
JP5598199B2 (ja) 動画像符号化装置
JP5388977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
CA2895855C (en) Video encoding and decoding apparatus and method using quantization in sub-blocks
JP2009017127A (ja) 符号化装置および符号化方法
JP4926912B2 (ja) 映像符号化装置及び方法
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2008092137A (ja) 画像符号化装置及び画像符号化方法
JP5790722B2 (ja) 動画像符号化方法
JP2007184846A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091001

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101227

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees