JP5326828B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents
動画像符号化装置及び動画像符号化方法 Download PDFInfo
- Publication number
- JP5326828B2 JP5326828B2 JP2009133897A JP2009133897A JP5326828B2 JP 5326828 B2 JP5326828 B2 JP 5326828B2 JP 2009133897 A JP2009133897 A JP 2009133897A JP 2009133897 A JP2009133897 A JP 2009133897A JP 5326828 B2 JP5326828 B2 JP 5326828B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- evaluation value
- sub
- value
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は動画像圧縮符号化技術に関する。
Ｈ．２６４／ＭＰＥＧ−４Ｐａｒｔ１０(ＩＳＯ／ＩＥＣ 14496-10)において、フレーム内予測は輝度成分について、４×４ブロックに対して９種類の予測モード、８×８ブロックに対して９種類の予測モードが決められている。また、１６×１６ブロックに対して４種類の予測モードが決められている。色差成分についても、８×８ブロックに対して４種類の予測モードが決められている。
Ｈ．２６４の標準化団体が配布している参照ソフトウェアＪＭ(Joint Model)では、フレーム内予測の予測モードを選択する評価尺度として、ＳＡＤ（Sum of Absolute Difference）とＳＡＴＤ（Sum of Absolute Transformed Difference）が採用されている。しかしながら、予測モード選択時のコスト値は、ＳＡＤとＳＡＴＤの一方で求められている。
ＳＡＤとは、原画像信号と予測信号との差分値の絶対値和であり、ＳＡＴＤとは、原画像信号と予測信号との差分信号についてのアダマール変換係数の絶対値和である。アダマール変換はＳＡＤ演算と比較すると計算量が非常に多くなる。
特許文献１には次のことが記載されている。ＪＭにおけるＳＡＴＤの計算量を抑えるために、ブロックサイズ毎に、予測方向をＳＡＤ演算で仮決定し、仮決定した予測方向で生成した差分画像に対して、ブロックサイズ毎にＳＡＴＤ演算を行う。そして、その演算結果を用いてブロックサイズを決定することでＳＡＴＤ演算の演算回数を減らす。
特許文献２は、符号化効率を示すコスト関数から得られるコスト値により、複数のイントラ予測モードと複数のインター予測モードの内から最適な予測モードを選択して符号化を行う符号化装置に関するものである。特許文献２には、画像の平坦度を示すアクティビティを計算し、コスト値を算出したアクティビティにより補正して最適な予測モードを決めることが記載されている。
予測方向をＳＡＤ演算で仮決定する方法は、予測方向を仮決定した後にブロックサイズを決めるためのＳＡＴＤ演算を行う必要がある。そのため、ＳＡＤ演算とアダマール変換を逐次的に処理する必要があり、処理速度が遅くなるという問題点がある。
Ｈ．２６４では、隣接ブロックの復号画像を用いてフレーム内予測信号を生成しているので、隣接ブロックの復号画像生成処理が終了しなければ、フレーム内予測信号を生成することができない。そのため、Ｈ．２６４におけるイントラ予測モードでは、一般に各ブロック間での並列化処理が困難である。
また、Ｈ．２６４では、直交変換のサイズと、フレーム内予測を行うサブブロックのサイズとは等しいが、本来、直交変換のサイズの方が小さい範囲で、フレーム内予測のサブブロックサイズと異なるサイズを選択することも可能である。この場合、差分画像毎に、複数の異なるサイズのアダマール変換を行ってＳＡＴＤを計算する必要があるので処理量が多くなってしまう。その理由は、最適な予測モードを選択する場合、すべての予測方向に対して差分情報毎に複数のサイズの周波数変換した値を算出する必要があるためである。
本発明の課題は、動画像符号化装置において、処理量を増やさずに最適なブロックサイズを選択できるようにすることである。
１つの態様の動画像符号化装置は、２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化装置において、前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成する予測画像生成手段と、前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出する第1の評価値計算手段と、前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累計した値を第２の評価値として計算する第２の評価値計算手段と、前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズと、前記複数の予測モードの内の１つの予測モードを選択する選択手段とを備える。
１つの態様の動画像符号化装置は、２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化装置において、前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成する予測画像生成手段と、前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出する第1の評価値計算手段と、前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累計した値を第２の評価値として計算する第２の評価値計算手段と、前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズと、前記複数の予測モードの内の１つの予測モードを選択する選択手段とを備える。
動画像符号化装置によれば、適切なブロックサイズを選択してノイズを抑制することができる。
以下、本発明の好適な実施の形態について説明する。図１は、実施の形態の動画像符号化装置１１の構成を示す図である。この動画像符号化装置１１の機能の一部又は全部は、例えば、ＬＳＩ等のハードウェア回路により実現される。
原画像は、マクロブロック（ＭＢ）単位で、予測誤差信号生成部１２とフレーム内予測部１３と動きベクトル判定部２２に入力される。
予測誤差信号生成部１２は、原画像からフレーム内予測部１３で生成される予測画像を減算して予測誤差信号を生成し、生成した予測誤差信号を直交変換部１４に出力する。予測誤差信号生成部１２は、例えば、減算器で実現できる。
予測誤差信号生成部１２は、原画像からフレーム内予測部１３で生成される予測画像を減算して予測誤差信号を生成し、生成した予測誤差信号を直交変換部１４に出力する。予測誤差信号生成部１２は、例えば、減算器で実現できる。
直交変換部１４は、予測誤差信号を所定のブロックサイズ単位で直交変換（例えば、ＤＣＴ：Discrete Cosine Transform）して量子化部１５に出力する。量子化部１５は、直交変換された予測誤差信号の直交変換係数を量子化パラメータを用いて量子化する。可変長符号化部１６は、量子化されたデータを可変長符号化を行う。
フレーム内予測部１３は、４×４，８×８又は１６×１６の所定のブロックサイズ単位で複数の予測モードの予測画像と原画像の差分絶対値和を計算し、各サブブロックの差分絶対値和の最小値をマクロブロック単位で累積した値を第１の評価値として算出する。また、原画像の周波数特性を示す値を第２の評価値として算出する。例えば、原画像の周波数特性を示す値として、原画像に直交変換を施し、変換後の各サブブロックの直交変換係数の絶対値和を計算し、それらをマクロブロック単位で累積した値を第２の評価値として算出する。さらに、第１の評価値と第２の評価値に基づいて符号化効率の高い予測モード、ブロックサイズを判定してフレーム内予測を行う。
逆量子化部１７と逆直交変換部１８は、それぞれ量子化部１５及び直交変換部１４の逆の処理を行う。復号画像生成部１９は、逆直交変換部１８で逆変換された画像データと予測画像を加算して原画像を復号する。デブロッキングフィルタ２０は、ブロック境界の歪みを除去するフィルタである。デブロッキングフィルタ２０でブロック歪みが除去された画像は、復号画像記憶部２１に記憶される。
動きベクトル判定部２２は、現在の画像と復号画像記憶部２１から出力される参照画像に基づいて動きベクトルを算出し、算出した動きベクトルをフレーム間予測部２３に出力する。なお、動きベクトル判定部２２で算出される動きベクトルは、可変長符号化部１６にも出力されている。
フレーム間予測部２３は、動きベクトルと参照画像に基づいてフレーム間予測画像を生成し、生成したフレーム間予測画像をスイッチ２４を介して予測誤差信号生成部１２及び復号画像生成部１９に出力する。スイッチ２４は、フレーム内予測部１３で生成されるフレーム内予測符号と、フレーム間フレーム内予測部１３で生成されるフレーム間予測符号の一方を参照画像として選択して予測誤差信号生成部１２に出力する。
ここで、Ｈ．２６４のフレーム内予測モードについて、図２を参照して説明する。
４×４画素単位のフレーム内予測モードとして予測モード０〜８の９種類の予測モードが決められている。図２の矢印に付されている数字は予測モード番号を示している。予測モード２は、ＤＣ予測であり予測方向はないので図２には示していない。
４×４画素単位のフレーム内予測モードとして予測モード０〜８の９種類の予測モードが決められている。図２の矢印に付されている数字は予測モード番号を示している。予測モード２は、ＤＣ予測であり予測方向はないので図２には示していない。
予測モード０は、図２に数字「０」で示す矢印の方向が予測方向であり、上ブロックの隣接する４画素の符号化した画素値から４×４画素の画素値を予測する。この予測モード０では、上側のブロックの隣接する４画素の画素値を同じ列の画素の予測値とする。
予測モード１は、図２に数字「１」で示す矢印の方向が予測方向であり、左ブロックの隣接する４画素の符号化した画素値から、４×４画素の画素値を予測する。
以下、予測モード３〜６についても同様に、図２に矢印で示す方向を予測方向として、隣接するブロックの画素から４×４画素の画素値を予測する。
以下、予測モード３〜６についても同様に、図２に矢印で示す方向を予測方向として、隣接するブロックの画素から４×４画素の画素値を予測する。
図３は、フレーム内予測部１３の構成を示す図である。Ｈ．２６４では、４×４画素のサブブロックの予測モードとして９種類、８×８画素のサブブロックの予測モードとして９種類、１６×１６画素のブロックの予測モードとして４種類が決められている。図３は、４×４、８×８、１６×１６のブロックサイズに対して、複数の予測モードに対応する予測画像生成部を設けた場合の例を示している。
図３において、４×４予測モード０〜８の予測画像生成部３１−０〜３１−８は、４×４画素のサブブロック単位で９種類のフレーム内予測モードの予測画像を生成する。例えば、予測モード０の予測画像生成部３１−０は、上ブロックの隣接する４画素の符号化した画素値を、４×４画素の予測値として生成する。また、予測モード１の予測画像生成部３１−１は、左ブロックの隣接する４画素の符号化した画素値を、４×４画素の予測値として生成する。
イントラ（画面内）４×４の第1の評価値計算部３２は、予測モード０〜８の予測画像生成部３１−０〜３１−８から出力される４×４のサブブロック単位の各予測モードの予測画像と原画像の差分絶対値和ＳＡＤを計算する。そして、各予測モードの差分絶対値和ＳＡＤの中の最小値の予測モードを最適な予測モードと判定し、その予測モード番号と差分絶対値和ＳＡＤを記憶する。さらに、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累計した値をイントラ４×４の第１の評価値として算出する。
４×４直交変換の第２の評価値計算部３３は、入力動画像（原画像）に対して４×４のサブブロック単位で直交変換を施し、直交変換係数の絶対値を加算した値を算出する。さらに、各サブブロックの直交変換係数の絶対値和ＳＡＴ（Sum of Absolute Transform）をマクロブロック単位で累計した値をイントラ４×４の第２の評価値として算出する。
イントラ４×４の第３の評価値計算部３４は、イントラ４×４の第１の評価値と第２の評価値にそれぞれ所望の重み係数を乗算した値の和を、イントラ４×４の第３の評価値として算出する。
８×８予測モード０〜８の予測画像生成部３５−０〜３５−８は、８×８画素のサブブロック単位で９種類の予測モードに対応する予測画像を生成する。
イントラ８×８の第１の評価値計算部３６は、８×８予測モード０〜８の予測画像生成部３５−０〜３５−８から出力される８×８のサブブロック単位の複数の予測画像と原画像の差分絶対値和ＳＡＤを計算する。そして、各予測モードの差分絶対値和ＳＡＤの中の最小値の予測モードを最適な予測モードと判定し、その予測モード番号と差分絶対値和ＳＡＤを記憶する。さらに、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累積した値をイントラ８×８の第１の評価値として算出する。
イントラ８×８の第１の評価値計算部３６は、８×８予測モード０〜８の予測画像生成部３５−０〜３５−８から出力される８×８のサブブロック単位の複数の予測画像と原画像の差分絶対値和ＳＡＤを計算する。そして、各予測モードの差分絶対値和ＳＡＤの中の最小値の予測モードを最適な予測モードと判定し、その予測モード番号と差分絶対値和ＳＡＤを記憶する。さらに、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累積した値をイントラ８×８の第１の評価値として算出する。
８×８直交変換の第２の評価値計算部３７は、入力動画像（原画像）に対して８×８のブブロック単位で直交変換を施し、直交変換係数の絶対値を加算した値ＳＡＴを求める。そして、各サブブロックの直交変換係数の絶対値和ＳＡＴをマクロブロック単位で累計した値を第２の評価値として算出する。
イントラ８×８の第３の評価値計算部３８は、イントラ８×８の第１の評価値と第２の評価値に所望の重み係数を乗算した値の和を、イントラ８×８の第３の評価値として算出する。
１６×１６予測モード０〜３の予測画像生成部３９−０〜３９−３は、１６×１６画素のブロック単位で４種類のフレーム内予測モードの予測画像を生成する。
イントラ１６×１６の第1の評価値計算部４０は、１６×１６予測モード０〜３の予測画像生成部３９−０〜３９−３から出力される１６×１６の複数の予測画像と原画像の差分絶対値和（ＳＡＤ）を計算する。そして、各予測モードの差分絶対値和ＳＡＤの最小値の予測モードを最適な予測モードと判定し、その予測モード番号と差分絶対値和ＳＡＤを記憶する。さらに、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累計した値をイントラ１６×１６の第１の評価値として算出する。
イントラ１６×１６の第1の評価値計算部４０は、１６×１６予測モード０〜３の予測画像生成部３９−０〜３９−３から出力される１６×１６の複数の予測画像と原画像の差分絶対値和（ＳＡＤ）を計算する。そして、各予測モードの差分絶対値和ＳＡＤの最小値の予測モードを最適な予測モードと判定し、その予測モード番号と差分絶対値和ＳＡＤを記憶する。さらに、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累計した値をイントラ１６×１６の第１の評価値として算出する。
１６×１６直交変換の第２の評価値計算部４１は、原画像に対して１６×１６のブロック単位で直交変換を施し、変換後の直交変換係数の絶対値を加算した値を第２の評価値として算出する。
イントラ１６×１６の第３の評価値計算部４２は、イントラ１６×１６の第１の評価値と第２の評価値にそれぞれ所望の重み係数を乗算した値の和を、イントラ１６×１６の第３の評価値として算出する。
４×４／８×８／１６×１６判定部４３は、イントラ４×４の第３の評価値と、イントラ８×８の第３の評価値と、イントラ１６×１６の第３の評価値の中で評価値が最小となるブロックサイズを判定してブロックサイズの選択を行う。
なお、図３には、説明を分かり易くするために全てのブロックサイズ、全ての予測モードに対応する予測画像生成部、各ブロックサイズの第1の評価値計算部、各ブロックサイズの第２の評価値計算部等を示してあるが、必ずしもこれら全てを備える必要はない。例えば、４×４のサブブロックに分割した場合の評価値と、８×８のサブブロックに分割した場合の評価値のみで十分な場合には、４×４のサブブロックと８×８のサブブロックに関係する回路のみを有すれば良い。また、４×４の予測画像生成部３１−０〜３１−８の生成画像を利用して８×８の予測画像を生成しても良い。さらに、４×４（又は８×８）の予測モード毎に予測画像生成部を設けるのでなく、１つの予測画像生成部が、複数の予測モードの予測画像を生成する機能を有するようにしても良い。
フレーム内予測部１３の機能をソフトウェアで実現する場合には、各ブロックサイズの複数の予測モードの予測画像生成処理の一部又は全部を並列に実行できるようにしても良い。
図４（Ａ）、（Ｂ）は、イントラ４×４の第１の評価値計算部３２と第２の評価値計算部３３の構成の一例を示す図である。
図４（Ａ）に示すイントラ４×４の第１の評価値計算部３２は、差分画像生成部４５とＳＡＤ計算部４６と補正算出部４７を有する。差分画像生成部４５は、４×４予測モード０〜８の予測画像生成部３１−０〜３１−８から出力される各予測方向の予測画像と原画像の差分画像を生成する。
図４（Ａ）に示すイントラ４×４の第１の評価値計算部３２は、差分画像生成部４５とＳＡＤ計算部４６と補正算出部４７を有する。差分画像生成部４５は、４×４予測モード０〜８の予測画像生成部３１−０〜３１−８から出力される各予測方向の予測画像と原画像の差分画像を生成する。
ＳＡＤ計算部４６は、４×４のサブブロックについて原画像と各予測モードの予測画像の差分絶対値和ＳＡＤを算出し、それらの中の最小値を最適の予測モードと判定する。さらに、ＳＡＤ計算部４６は、各サブブロックの差分絶対値和ＳＡＤの最小値をマクロブロック単位で累積した値を第１の評価値として算出する。
補正値算出部４７は、第１の評価値に所望の補正係数（１を含む）を乗算した値を出力する。なお、補正が不要な場合は、補正値算出部４７はなくとも良い。
図４（Ｂ）に示す第２の評価値計算部３３は、アダマール変換部４８と係数累積部４９を有する。アダマール変換部４８は、原画像の４×４、８×８又は１６×１６のサブブロックに対してアダマール変換を施して、変換後のアダマール変換係数を出力する。係数累積部４９は、アダマール変換係数の累積値を計算する。この変換係数の累積値が第２の評価値となる。
図４（Ｂ）に示す第２の評価値計算部３３は、アダマール変換部４８と係数累積部４９を有する。アダマール変換部４８は、原画像の４×４、８×８又は１６×１６のサブブロックに対してアダマール変換を施して、変換後のアダマール変換係数を出力する。係数累積部４９は、アダマール変換係数の累積値を計算する。この変換係数の累積値が第２の評価値となる。
なお、イントラ８×８の第１の評価値計算部３６、８×８直交変換の第２の評価値計算部３７、イントラ１６×１６の第１の評価値計算部４０、１６×１６直交変換の第２の評価値計算部４１も図４と同じ構成を有する。
図５は、第１の評価値計算処理のフローチャートである。この第１の評価値計算処理は、イントラ４×４の第１の評価値計算部３２、イントラ８×８の第１の評価値計算部３６及びイントラ１６×１６の第１の評価値計算部４０の処理動作を示すものである。
１６×１６画素のマクロブロックの内のサブブロックを指定する変数をブロックインデックスblk_idx、予測モード（予測方向）を指定する変数をディレクションインデックスdir_idxとする。
図５のステップＳ１１において、ブロックインデックスblk_idxに初期値「０」を設定する。同様に、ステップＳ１２において、予測方向を指定するディレクションインデックスdir_idxに初期値「０」を設定する。
次のステップＳ１３において、ブロックインデックスblk_idxで指定されるサブブロックについて、ディレクションインデックスdir_idxで指定される予測方向の予測画像と原画像の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）を計算する。
なお、ブロックインデックスblk_idxで指定されるサブブロックのディレクションインデックスdir_idxで指定される予測方向の差分絶対値和は、以下の式で計算できる。
ＳＡＤＮ×Ｎ（blk_idx, dir_idx）＝Σ（i,j）｜Ｏｒｇ(i,j)−Ｐｒｅｄ(i,j)｜
上記の式で、Ｏｒｇ(i,j)は、原画像のｉ行、ｊ列の画素値を示し、Ｐｒｅｄ(i,j)は、予測画像のｉ行、ｊ列の画素値を示す。上記の式は、原画像Ｏｒｇ(i,j)と予測画像Ｐｒｅｄ(i,j)の差分絶対値和を示している。
ＳＡＤＮ×Ｎ（blk_idx, dir_idx）＝Σ（i,j）｜Ｏｒｇ(i,j)−Ｐｒｅｄ(i,j)｜
上記の式で、Ｏｒｇ(i,j)は、原画像のｉ行、ｊ列の画素値を示し、Ｐｒｅｄ(i,j)は、予測画像のｉ行、ｊ列の画素値を示す。上記の式は、原画像Ｏｒｇ(i,j)と予測画像Ｐｒｅｄ(i,j)の差分絶対値和を示している。
なお、量子化部１５において量子化値ｑｐで量子化し、予測モード情報を可変長符号化するのに必要と推測される仮想的なビット量をｂ(dir_idx)で表したときに、予測モード情報のビット量を考慮して、以下の式で計算しても良い。lambda(qp)は、量子化値ｑｐに比例するパラメータを示す。
ＳＡＤＮ×Ｎ（blk_idx, dir_idx）＝Σ（i,j）｜Ｏｒｇ(i,j)−Ｐｒｅｄ(i,j)｜
+lambda(qp)×ｂ(dir_idx)
上記の式は、予測モード情報のビット量を考慮した差分絶対値和ＳＡＤである。
+lambda(qp)×ｂ(dir_idx)
上記の式は、予測モード情報のビット量を考慮した差分絶対値和ＳＡＤである。
次のステップＳ１４において、ディレクションインデックスdir_idxに「１」を加算してステップＳ１３に戻る。ステップＳ１４の処理は、次の予測モード（予測方向）を指定する処理である。
予測方向が指定されたなら、ステップＳ１３において、新たに指定された予測方向の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）を計算する。
次のステップＳ１５において、ディレクションインデックスdir_idxの値が、予測モード番号の最大値ｍを超えたか否かを判定する。例えば、ブロックサイズが４×４又は８×８の場合には、予測モード番号の最大値ｍは「８」となるので、ステップＳ１５においては、dir_idx＞８か否かを判定する。
次のステップＳ１５において、ディレクションインデックスdir_idxの値が、予測モード番号の最大値ｍを超えたか否かを判定する。例えば、ブロックサイズが４×４又は８×８の場合には、予測モード番号の最大値ｍは「８」となるので、ステップＳ１５においては、dir_idx＞８か否かを判定する。
ディレクションインデックスdir_idxが最大値ｍを超えていなければ（Ｓ１５、ＮＯ）、ステップＳ１３に戻り、指定された予測方向の差分絶対値和ＳＡＤの計算を行う。
ディレクションインデックスdir_idxが最大値ｍを超えているときには（Ｓ１５、ＹＥＳ）、ステップＳ１６に進む。ステップＳ１６では、各予測方向の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）の中の最小値を最適な予測方向と判定し、その予測モード番号を保存し、その差分絶対値和ＳＡＤＮ×Ｎ(blk_idx)をＣｏｓｔ１＿Ｎ×Ｎに加算する。
ディレクションインデックスdir_idxが最大値ｍを超えているときには（Ｓ１５、ＹＥＳ）、ステップＳ１６に進む。ステップＳ１６では、各予測方向の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）の中の最小値を最適な予測方向と判定し、その予測モード番号を保存し、その差分絶対値和ＳＡＤＮ×Ｎ(blk_idx)をＣｏｓｔ１＿Ｎ×Ｎに加算する。
上記のステップＳ１２〜Ｓ１６の処理により、Ｎ×Ｎの１つのサブブロックについて、最適な予測方向（予測モード）と、その予測方向の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）が求まる。
Ｎ×Ｎの１つのサブブロックの全ての予測モードについての差分絶対値和ＳＡＤの計算が終了したなら、ステップＳ１７に進み、ブロックインデックスblk_idxに「１」を加算する。このステップＳ１７の処理より次のサブブロックが指定される。
次のステップＳ１８において「１」を加算したブロックインデックスblk_idxの値が、ブロックの分割数の最大値ｋを超えたか否か（blk_idx＞ｋ）を判定する。ブロックの分割数の最大値ｋは、例えば、ブロックサイズが４×４画素であれば分割数の最大値ｋは「１６」となり、８×８画素であれば分割数の最大値ｋは「４」となる。
ブロックインデックスblk_idxの値が最大値ｋを超えていなければ（Ｓ１８、ＮＯ）、ステップＳ１２に戻り、ディレクションインデックスdir_idxに初期値「０」を設定して上述した処理を繰り返す。
ブロックインデックスblk_idxで指定されるサブブロックついて各予測方向の差分絶対値和ＳＡＤＮ×Ｎ（blk_idx, dir_idx）を算出したなら、それらの中の最小値を求める。そして、差分絶対値和の最小値ＳＡＤＮ×Ｎ(blk_idx)をコスト値Ｃｏｓｔ１＿Ｎ×Ｎに加算する。
上記の処理を最大ブロック数に達するまで行うことで、各サブブロックの差分絶対値和の最小値ＳＡＤＮ×Ｎ(blk_idx)を、マクロブロック単位で累積した値をコスト値Ｃｏｓｔ１＿Ｎ×Ｎとして求めることができる。各サブブロックの原画像と予測画像の差分絶対値和ＳＡＤの最小値をマクロブロック単位で累積したコスト値Ｃｏｓｔ１＿Ｎ×Ｎが、Ｎ×Ｎの第１の評価値である。
次に、第２の評価値算出処理について説明する。この実施の形態では、原画像にアダマール変換を施し、各サブブロックのアダマール変換係数の絶対値和ＳＡＴをマクロブロック単位で累積した値を第２の評価値として算出している。
例えば、原画像Ｏｒｇの１６×１６画素のマクロブロックを、４×４画素単位の１６個のサブブロックに分割したときの各サブブロックのアダマール変換係数Ａ4×4，blk_idxは、行列式を用いて以下のように表せる。
Ａ4×4，blk_idx＝Ｈ４・Ｏｒｇ・Ｈ４ Ｔ
行列式Ｈ４は、図６（Ａ）に示すような値である。Ｈ４ Ｔは、行列式Ｈ４の転置行列である。
行列式Ｈ４は、図６（Ａ）に示すような値である。Ｈ４ Ｔは、行列式Ｈ４の転置行列である。
４×４の任意のサブブロックのアダマール変換係数Ａ4×4，blk_idxの直流成分を除いた絶対値和ＳＡＴ４（blk_idx）は、以下の式（数１）で表せる。
係数毎に重み付けした場合には、以下の式（数２）で表すこともできる。
同様に、原画像のマクロブロックを８×８画素単位の４個のサブブロックに分割したときの各サブブロックのアダマール変換係数Ａ８×８，blk_idxは、行列式を用いて以下のように表せる。
Ａ８×８，blk_idx＝Ｈ8・Ｏｒｇ・Ｈ8 Ｔ
行列式Ｈ8は、図６（Ｂ）に示すような値である。
８×８の任意のサブブロックのアダマール変換係数の直流成分を除いた絶対値和ＳＡＴ８（blk_idx）は、以下の式（数３）で表せる。
行列式Ｈ8は、図６（Ｂ）に示すような値である。
８×８の任意のサブブロックのアダマール変換係数の直流成分を除いた絶対値和ＳＡＴ８（blk_idx）は、以下の式（数３）で表せる。
また、係数毎に重み付けした場合には、以下の式（数４）で表すことができる。
また、８×８のサブロックのアダマール変換係数Ａ８×８，blk_idxは、４×４のサブブロックをラスタスキャン順にblkidx０〜blkidx３とすると、以下の式（数５）から算出できる。
以上のことを前提にして、第２の評価値算出処理について、図７のフローチャートを参照して説明する。
この第２の評価値算出処理は、図３の４×４直交変換の第２の評価値計算部３３、８×８直交変換の第２の評価値計算部３７及び１６×１６の直交変換の第２の評価値計算部４１の処理動作を示すものである。
この第２の評価値算出処理は、図３の４×４直交変換の第２の評価値計算部３３、８×８直交変換の第２の評価値計算部３７及び１６×１６の直交変換の第２の評価値計算部４１の処理動作を示すものである。
ステップＳ２１において、ブロックインデックスblk_idxで指定されるＮ×Ｎのサブブロックのアダマール変換係数の絶対値和ＳＡＴＮ×Ｎ（blk_idx）を計算する。ステップＳ２１の処理では、例えば、原画像の４×４、８×８又は１６×１６の各サブブロックにアダマール変換を施し、変換後の画像のアダマール変換係数の絶対値和を計算する。このとき、直流成分を除いたアダマール変換係数の絶対値和を求めても良い。
次に、ステップＳ２２において、計算により得られたサブブロック（blk_idxで指定されるサブブロック）のアダマール係数の絶対値和ＳＡＴＮ×Ｎ（blk_idx）を第２の評価値Ｃｏｓｔ２＿Ｎ×Ｎに加算する。
次に、ステップＳ２３において、ブロックインデックスblk_idxに「１」を加算して次ぎのサブブロックを指定する。
次に、ステップＳ２４において、ブロックインデックスblk_idxの値が、ブロックの分割数の最大値ｋを超えたか否かを判別する。
次に、ステップＳ２４において、ブロックインデックスblk_idxの値が、ブロックの分割数の最大値ｋを超えたか否かを判別する。
ブロックインデックスblk_idxの値が最大値ｋを超えていないときには（Ｓ２４，ＮＯ）、ステップＳ２１に戻り、次のサブブロックのアダマール係数の絶対値和ＳＡＴＮ×Ｎ（blk_idx）を計算する。
上記のステップＳ２１〜Ｓ２３の処理を繰り返すことで、各サブブロックのアダマール係数の絶対値和の累積値を求めることができる。
ブロックインデックスblk_idxの値が最大値ｋを超えたときには（Ｓ２４，ＹＥＳ）、全てのサブブロックについての計算が終了したので処理を終了する。
ブロックインデックスblk_idxの値が最大値ｋを超えたときには（Ｓ２４，ＹＥＳ）、全てのサブブロックについての計算が終了したので処理を終了する。
図８は、４×４と８×８のサブブロックの第２の評価値の説明図である。図８（Ｂ）、（Ｃ）に点線で示すサブブロックは、コスト値（第２の評価値）が高いブロックを示している。また、点線の無いブロックはコスト値が低いブロックを示している。
図８（Ｂ）は、図８（Ａ）に示すエッジを含む原画像を、４×４画素単位のサブブロックに分割した場合の各サブブロックの第２の評価値を模式的に表している。
エッジを含む原画像をアダマール変換した場合、エッジを含むブロックのアダマール変換係数の絶対値和ＳＡＴは、エッジを含まないブロックより大きな値となる。図８（Ｂ）の例では、１６個のサブブロックの内の６個のサブブロックのアダマール変換係数の絶対値和が大きな値（コスト高）となっている。
エッジを含む原画像をアダマール変換した場合、エッジを含むブロックのアダマール変換係数の絶対値和ＳＡＴは、エッジを含まないブロックより大きな値となる。図８（Ｂ）の例では、１６個のサブブロックの内の６個のサブブロックのアダマール変換係数の絶対値和が大きな値（コスト高）となっている。
図８（Ｃ）は、図８（Ａ）の画像を８×８画素単位のサブブロックに分割した場合の各サブブロックのアダマール変換係数の絶対値和（コスト）を模式的に示している。図８（Ｃ）の例では、４個のサブブロックの内の３個のサブブロックにエッジが含まれているので、それらのブロックのアダマール変換係数の絶対値和は大きな値となっている。
上記の例で、４×４画素単位に分割した場合のアダマール変換係数の絶対値和の累積値（４×４の第２の評価値）は、８×８画素単位に分割した場合のアダマール変換係数の絶対値和の累積値（８×８の第２の評価値）より小さくなる。
今、４×４画素単位のサブブロックと８×８画素単位のサブブロックの第１の評価値に有意な差が無いとする。この場合、図８（Ａ）に示すエッジを含む画像を符号化するときには、第２の評価値の小さい４×４のブロックサイズを選択することで、符号化効率が高くなり、エッジによるノイズも目立たなくなる。
図９は、ブロックサイズ判定処理のフローチャートである。ステップＳ３１の４×４画素単位のサブブロックの第１の評価値の算出処理（図５の処理）と、ステップＳ３２の４×４画素単位のサブブロックの第２の評価値算出処理（図７の処理）は並列に実行される。
さらに、ステップＳ３３の８×８画素単位のサブブロックの第１の評価値算出処理（図５の処理）と、８×８画素単位のサブブロックの第２の評価値算出処理（図７の処理）も並列に実行される。
次のステップＳ３５において、Ｎ×Ｎ画素単位のサブブロックの第１の評価値Ｃｏｓｔ１＿Ｎ×Ｎにαを乗算した値と、第２の評価値Ｃｏｓｔ２＿Ｎ×Ｎにβを乗算した値の和を、第３の評価値Ｃｏｓｔ３＿Ｎ×Ｎとして算出する。
ステップＳ３６において、イントラ４×４の第３の評価値Ｃｏｓｔ３＿４×４と、イントラ８×８の第３の評価値Ｃｏｓｔ３＿８×８の何れの値が小さいかを判定し、第３の評価値の小さい方のブロックサイズを選択する。
図１０（Ａ）は、８×８のアダマール変換を４×４のアダマール変換の計算結果を利用して計算する場合の第２の評価値計算部５１の構成を示す図である。
第２の評価値計算部５１は、４×４アダマール変換部５２と、係数累積部５３と、８×８アダマール変換部５４と、係数累積部５５を有する。
第２の評価値計算部５１は、４×４アダマール変換部５２と、係数累積部５３と、８×８アダマール変換部５４と、係数累積部５５を有する。
４×４アダマール変換部５２は、原画像の４×４画素単位のサブブロックに対してアダマール変換を施し、４×４のサブブロックのアダマール変換係数を係数累積部５３と８×８アダマール変換部５４に出力する。係数累積部５３は、４×４の各サブブロックのアダマール変換係数の絶対値和の累積値を計算する。
係数累積部５３で累積された４×４のアダマール変換係数の絶対値和の累積値は、４×４の第２の評価値として出力される。
８×８アダマール変換部５４は、４×４アダマール変換部５２で算出された４×４のアダマール変換係数の絶対値和を用いて、８×８の各サブブロックのアダマール変換係数の絶対値和を算出する。
８×８アダマール変換部５４は、４×４アダマール変換部５２で算出された４×４のアダマール変換係数の絶対値和を用いて、８×８の各サブブロックのアダマール変換係数の絶対値和を算出する。
係数累積部５５は、８×８の各サブブロックのアダマール変換係数の絶対値和をマクロブロック単位で累積する。係数累積部５５で得られたアダマール変換係数の絶対値和の累積値は、８×８の第２の評価値として出力される。
図１０（Ａ）の第２の評価値計算部６１は、図４に示す４×４直交変換の第２の評価値計算部３３と８×８直交変換の第２の評価値計算部３７の２つの機能を、１つの第２の評価値計算部５１で実現したものである。この場合、４×４のアダマール変換係数の絶対値和の計算結果を利用して８×８のアダマール変換係数の絶対値和を計算しているので、８×８のサブブロックのアダマール変換の計算時間を短縮することができる。
図１０（Ｂ）は、ＤＣ予測のみをアダマール変換の前に施す場合の第２の評価値計算部６１の構成を示す図である。
第２の評価値計算部６１は、ＤＣ予測部６２とアダマール変換部６３と、係数累積部６４を有する。
第２の評価値計算部６１は、ＤＣ予測部６２とアダマール変換部６３と、係数累積部６４を有する。
ＤＣ予測部６２は、ＤＣ予測画像を生成し、原画像とＤＣ予測画像の差分画像をアダマール変換部６３に出力する。アダマール変換部６３は、ＤＣ成分の予測値の差分を含む画像に対してアダマール変換を行い、直流成分を含むアダマール変換係数の絶対値和を計算する。係数累積部６４は、各サブブロックのアダマール変換係数の絶対値和の累計値を算出する。
図１０（Ｂ）の第２の評価値計算部６１は、直流成分を含む原画像の第２の評価値を計算することができるので、直流成分を考慮して最適なブロックサイズを選択することができる。これにより符号化効率をより高めることが期待できる。
上述した実施の形態は、原画像を直交変換（例えば、アダマール変換）したときの変換係数の累積値を第２の評価値として求めているが、直交変換以外の他の方法で第２の評価値を算出しても良い。
例えば、１６×１６画素の画像を４×４画素単位で１６個のサブブロックに分割し、各サブブロックの画素の平均値を算出し、さらに、各サブブロックの分散n（blk_idx）を算出する。そして、各サブブロックの分散n（blk_idx）をマクロブロッ単位で累積した値を第２の評価値として求めても良い。
４×４画素単位のサブブロックの平均値aveと、分散n（blk_idx）は、以下の式（数６）で表すことができる。
ここで、図１１に示す１６×１６画素の画像を例に取り、第１の評価値と第２の評価値とブロックサイズの決定方法について説明する。
説明を簡単にするために、周辺画素の画素値が「１２８」であるとする。この場合、４×４画素のサブブロックの原画像と予測画像の差分絶対値和ＳＡＤと、８×８画素のサブブロックの差分絶対値和ＳＡＤはともに「３８２４」となる。
説明を簡単にするために、周辺画素の画素値が「１２８」であるとする。この場合、４×４画素のサブブロックの原画像と予測画像の差分絶対値和ＳＡＤと、８×８画素のサブブロックの差分絶対値和ＳＡＤはともに「３８２４」となる。
例えば、ＪＭ（Joint Model）では、予測モードを選択するときに使用されるビット数を符号化効率を評価するコスト値に加える。量子化値に比例する係数をλとすると、ＪＭにおけるＮ×Ｎ画素のサブブロックのコスト値は、Ｃｏｓｔ１＿Ｎ×Ｎ＝ＳＡＤ＋λ×ビット数、で表せる。
図１１の例では、４×４画素のコスト値Ｃｏｓｔ１＿４×４の値の方が、８×８画素の第１の評価値Ｃｏｓｔ１＿８×８の値より大きくなる。ここでは、説明を簡単にするために、Ｃｏｓｔ１＿４×４＝４０００，Ｃｏｓｔ１＿８×８＝３９００とする。
従って、上記の評価値のみからサブブロックサイズを選択すると、８×８のブロックサイズが選択される。
図１１に示す画像の４×４の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ４（blk_idx）を計算すると、図１２（Ａ）に示す値となる。
図１１に示す画像の４×４の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ４（blk_idx）を計算すると、図１２（Ａ）に示す値となる。
図１２（Ａ）に示す４×４の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ４（blk_idx）をマクロブロック単位で累積すると、その累積値である第２の評価値Ｃｏｓｔ２＿４×４は「７４１６」となる。
同様に、図１１に示す画像の８×８の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ８（blk_idx）を計算すると、図１２（Ｂ）に示す値となる。
図１２（Ｂ）に示す８×８の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ８（blk_idx）をマクロブロック単位で累積すると、その累積値である第２の評価値Ｃｏｓｔ２＿８×８は「１１８４４」となる。
図１２（Ｂ）に示す８×８の各サブブロックのアダマール変換係数の絶対値和ＳＡＴ８（blk_idx）をマクロブロック単位で累積すると、その累積値である第２の評価値Ｃｏｓｔ２＿８×８は「１１８４４」となる。
第１及び第２の評価値の重み係数をそれぞれα＝１，β＝０．５とすると、4×４と８×８の第３の評価値は以下の値となる。
Ｃｏｓｔ３＿４×４＝４０００＋０．５×７４１６＝７７０８
Ｃｏｓｔ３＿８×８＝３９００＋０．５×１１８４４＝９８２２
この場合、４×４のサブブロックの第3の評価値Ｃｏｓｔ３＿４×４の方が小さいので、符号化効率の高いブロックサイズとして４×４のブロックサイズが選択される。
Ｃｏｓｔ３＿４×４＝４０００＋０．５×７４１６＝７７０８
Ｃｏｓｔ３＿８×８＝３９００＋０．５×１１８４４＝９８２２
この場合、４×４のサブブロックの第3の評価値Ｃｏｓｔ３＿４×４の方が小さいので、符号化効率の高いブロックサイズとして４×４のブロックサイズが選択される。
上述した実施の形態は、所定のブロックサイズ（４×４，８×８又は１６×１６）の複数の予測モードの予測画像と原画像の差分絶対値和ＳＡＤを計算する。そして、各サブブロックの差分絶対値和の最小値をマクロブロック単位で累積した値を第1の評価値Ｃｏｓｔ１＿Ｎ×Ｎとして算出する。さらに、原画像の所定のブロックサイズに直交変換を施し、変換後の直交変換係数（又は分散）の絶対値和を算出し、各サブブロックの絶対値和をマクロブロック単位で累積した値を第２の評価値として算出する。そして、各ブロックサイズの第１の評価値と第２の評価値を加算した値（又は重み係数を乗算して加算した値）に基づいて、最適なブロックサイズ、予測方向を選択する。これにより、符号化効率の高いブロックサイズと予測方向で予測画像を生成することができる。また、エッジ画像が目立たなくなるブロックサイズを選択することができる。第２の評価値の計算は、例えば、各サブブロックのアダマール変換係数の絶対値和から求めることができるので、演算に要する処理時間を短くし処理の高速化を図れる。
上述した実施の形態は、原画像のサブブロックのアダマール変換係数の絶対値和を算出する場合について説明したが、アダマール変換以外の他の直交変換にも適用できる。また、原画像の周波数特性を表すことのできるものであれば、直交変換係数又は分散以外の他の値でも良い。
（付記１）
２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化装置において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成する予測画像生成手段と、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出する第1の評価値計算手段と、
前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累計した値を第２の評価値として計算する第２の評価値計算手段と、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する選択手段とを備える動画像符号化装置。
（付記２）
前記第２の評価値計算手段は、原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、前記各サブブロックの前記直交変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記３）
前記第１の評価値計算手段は、前記原画像と前記サブブロックの予測画像の差分絶対値和を算出し、各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を前記第１の評価値として算出する付記１記載の動画像符号化装置。
（付記４）
前記第２の評価値計算手段は、原画像にサブブロック単位でアダマール変換を施し、直流成分を除いた、サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記５）
前記予測画像生成手段は、
４×４のサブブロックの複数の予測モードの予測画像を生成する複数の４×４予測画像生成手段と、
８×８のサブブロックの複数の予測モードの予測画像を生成する複数の８×８予測画像生成手段を有し、
前記第１の評価値計算手段は、
前記原画像と４×４の前記複数の予測モードの前記予測画像との差分絶対値和を計算し、４×４の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、４×４の前記第１の評価値として算出する４×４第１の評価値計算手段と、
前記原画像と８×８の前記複数の予測モードの前記予測画像との差分絶対値和を算出し、８×８の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、８×８の前記第１の評価値として算出する８×８第１の評価値計算手段とを有し、
前記第２の評価値計算手段は、
前記原画像の４×４のサブブロックの直交変換係数の絶対値和を算出し、４×４の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、４×４の前記第２の評価値として算出する４×４第２の評価値計算手段と、
前記原画像の８×８のサブブロックの直交変換係数の絶対値和を算出し、８×８の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、８×８の前記第２の評価値として算出する８×８第２の評価値計算手段とを有し、
前記選択手段は、前記４×４の第１の評価値と前記４×４の第２の評価値を加算した値と、前記８×８の第１の評価値と前記８×８の第２の評価値を加算した値を比較し、加算した値の小さい方のブロックサイズを、フレーム内予測に用いるブロックサイズとして選択する付記２記載の動画像符号化装置。
（付記６）
前記第２の評価値計算手段は、前記原画像とＤＣ成分の予測画像の差分のＤＣ予測差分画像を生成するＤＣ予測手段と、
前記ＤＣ予測差分画像に対してアダマール変換を施して、各サブブロックのアダマール変換係数の絶対値和を算出するアダマール変換手段と、
前記各サブブロックのアダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する係数累積手段とを備える付記１記載の動画像符号化装置。
（付記７）
前記第２の評価値計算手段は、前記原画像の各サブブロックの画素の分散を計算し、前記各サブブロックの分散をマクロブロック単位で累計した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記８）
前記選択手段は、前記第１の評価値と前記第２の評価値にそれぞれ重み係数を乗算した値に、直交変換の量子化値に比例した値と予測モード情報のビット量を乗算した値をオフセット値として加算した値に基づいてブロックサイズを選択する付記１記載の動画像符号化装置。
（付記９）
２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化方法において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成し、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出し、
前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累積した値を第２の評価値として算出し、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する動画像符号化方法。
（付記１０）
前記原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
（付記１１）
前記原画像と前記サブブロックの予測画像の差分絶対値和を算出し、各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を前記第１の評価値として算出する付記９記載の動画像符号化方法。
（付記１２）
原画像に前記サブブロック単位でアダマール変換を施し、直流成分を除いた、前記サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の前記絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
（付記１３）
前記原画像とＤＣ成分の予測画像の差分のＤＣ予測差分画像を生成し、
前記ＤＣ予測差分画像に対してアダマール変換を施して、各サブブロックのアダマール変換係数の絶対値和を算出し、
前記各サブブロックのアダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化装置において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成する予測画像生成手段と、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出する第1の評価値計算手段と、
前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累計した値を第２の評価値として計算する第２の評価値計算手段と、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する選択手段とを備える動画像符号化装置。
（付記２）
前記第２の評価値計算手段は、原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、前記各サブブロックの前記直交変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記３）
前記第１の評価値計算手段は、前記原画像と前記サブブロックの予測画像の差分絶対値和を算出し、各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を前記第１の評価値として算出する付記１記載の動画像符号化装置。
（付記４）
前記第２の評価値計算手段は、原画像にサブブロック単位でアダマール変換を施し、直流成分を除いた、サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記５）
前記予測画像生成手段は、
４×４のサブブロックの複数の予測モードの予測画像を生成する複数の４×４予測画像生成手段と、
８×８のサブブロックの複数の予測モードの予測画像を生成する複数の８×８予測画像生成手段を有し、
前記第１の評価値計算手段は、
前記原画像と４×４の前記複数の予測モードの前記予測画像との差分絶対値和を計算し、４×４の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、４×４の前記第１の評価値として算出する４×４第１の評価値計算手段と、
前記原画像と８×８の前記複数の予測モードの前記予測画像との差分絶対値和を算出し、８×８の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、８×８の前記第１の評価値として算出する８×８第１の評価値計算手段とを有し、
前記第２の評価値計算手段は、
前記原画像の４×４のサブブロックの直交変換係数の絶対値和を算出し、４×４の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、４×４の前記第２の評価値として算出する４×４第２の評価値計算手段と、
前記原画像の８×８のサブブロックの直交変換係数の絶対値和を算出し、８×８の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、８×８の前記第２の評価値として算出する８×８第２の評価値計算手段とを有し、
前記選択手段は、前記４×４の第１の評価値と前記４×４の第２の評価値を加算した値と、前記８×８の第１の評価値と前記８×８の第２の評価値を加算した値を比較し、加算した値の小さい方のブロックサイズを、フレーム内予測に用いるブロックサイズとして選択する付記２記載の動画像符号化装置。
（付記６）
前記第２の評価値計算手段は、前記原画像とＤＣ成分の予測画像の差分のＤＣ予測差分画像を生成するＤＣ予測手段と、
前記ＤＣ予測差分画像に対してアダマール変換を施して、各サブブロックのアダマール変換係数の絶対値和を算出するアダマール変換手段と、
前記各サブブロックのアダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する係数累積手段とを備える付記１記載の動画像符号化装置。
（付記７）
前記第２の評価値計算手段は、前記原画像の各サブブロックの画素の分散を計算し、前記各サブブロックの分散をマクロブロック単位で累計した値を前記第２の評価値として算出する付記１記載の動画像符号化装置。
（付記８）
前記選択手段は、前記第１の評価値と前記第２の評価値にそれぞれ重み係数を乗算した値に、直交変換の量子化値に比例した値と予測モード情報のビット量を乗算した値をオフセット値として加算した値に基づいてブロックサイズを選択する付記１記載の動画像符号化装置。
（付記９）
２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化方法において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成し、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出し、
前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累積した値を第２の評価値として算出し、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する動画像符号化方法。
（付記１０）
前記原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
（付記１１）
前記原画像と前記サブブロックの予測画像の差分絶対値和を算出し、各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を前記第１の評価値として算出する付記９記載の動画像符号化方法。
（付記１２）
原画像に前記サブブロック単位でアダマール変換を施し、直流成分を除いた、前記サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の前記絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
（付記１３）
前記原画像とＤＣ成分の予測画像の差分のＤＣ予測差分画像を生成し、
前記ＤＣ予測差分画像に対してアダマール変換を施して、各サブブロックのアダマール変換係数の絶対値和を算出し、
前記各サブブロックのアダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する付記９記載の動画像符号化方法。
１１ 動画像符号化装置
１２ 予測誤差信号生成部
１３ フレーム内予測部
１４ 直交変換部
１５ 量子化部
１６ 可変長符号化部
１７ 逆量子化部
１８ 逆直交変換部
１９ 復号画像生成部
２０ デブロッキングフィルタ
２１ 復号画像記憶部
２２ 動きベクトル判定部
２３ フレーム間予測部
２４ スイッチ
３１−０〜３１−８ ４×４予測モード０の予測画像生成部
３２ イントラ４×４の第1の評価値計算部
３３ ４×４直交変換の第２の評価値計算部
３４ イントラ４×４の第３の評価値計算部
３５−０〜３５−８ ８×８予測モード０の予測画像生成部
３６ イントラ８×８の第１の評価値計算部
３７ ８×８直交変換の第２の評価値計算部
３８ イントラ８×８の第３の評価値計算部
３９ １６×１６予測モード０の予測画像生成部
４０ イントラ１６×１６の第１の評価値計算部
４１ １６×１６直交変換の第２の評価値計算部
４２ イントラ１６×１６の第３の評価値計算部
４３ ４×４／８×８／１６×１６判定部
４５ 差分画像生成部
４６ ＳＡＤ計算部
４７ 補正値算出部
４８ アダマール変換部
４９ 係数累積部
５１ 第２の評価値計算部
５２ ４×４アダマール変換部
５３ 係数累積部
５４ ８×８アダマール変換部
５５ 係数累積部
６１ 第２の評価値計算部
６２ ＤＣ予測部
１２ 予測誤差信号生成部
１３ フレーム内予測部
１４ 直交変換部
１５ 量子化部
１６ 可変長符号化部
１７ 逆量子化部
１８ 逆直交変換部
１９ 復号画像生成部
２０ デブロッキングフィルタ
２１ 復号画像記憶部
２２ 動きベクトル判定部
２３ フレーム間予測部
２４ スイッチ
３１−０〜３１−８ ４×４予測モード０の予測画像生成部
３２ イントラ４×４の第1の評価値計算部
３３ ４×４直交変換の第２の評価値計算部
３４ イントラ４×４の第３の評価値計算部
３５−０〜３５−８ ８×８予測モード０の予測画像生成部
３６ イントラ８×８の第１の評価値計算部
３７ ８×８直交変換の第２の評価値計算部
３８ イントラ８×８の第３の評価値計算部
３９ １６×１６予測モード０の予測画像生成部
４０ イントラ１６×１６の第１の評価値計算部
４１ １６×１６直交変換の第２の評価値計算部
４２ イントラ１６×１６の第３の評価値計算部
４３ ４×４／８×８／１６×１６判定部
４５ 差分画像生成部
４６ ＳＡＤ計算部
４７ 補正値算出部
４８ アダマール変換部
４９ 係数累積部
５１ 第２の評価値計算部
５２ ４×４アダマール変換部
５３ 係数累積部
５４ ８×８アダマール変換部
５５ 係数累積部
６１ 第２の評価値計算部
６２ ＤＣ予測部
Claims (8)
- ２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化装置において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成する予測画像生成手段と、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出する第1の評価値計算手段と、
前記原画像の各サブブロックの周波数特性を示す値をマクロブロック単位で累計した値を第２の評価値として計算する第２の評価値計算手段と、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する選択手段とを備える動画像符号化装置。 - 前記第２の評価値計算手段は、原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、前記各サブブロックの前記直交変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する請求項１記載の動画像符号化装置。
- 前記第２の評価値計算手段は、原画像にサブブロック単位でアダマール変換を施し、直流成分を除いた、サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する請求項１記載の動画像符号化装置。
- 前記予測画像生成手段は、
４×４のサブブロックの複数の予測モードの予測画像を生成する４×４予測画像生成手段と、
８×８のサブブロックの複数の予測モードの予測画像を生成する８×８予測画像生成手段を有し、
前記第１の評価値計算手段は、
前記原画像と４×４の前記複数の予測モードの前記予測画像との差分絶対値和を計算し、４×４の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、４×４の前記第１の評価値として算出する４×４第１の評価値計算手段と、
前記原画像と８×８の前記複数の予測モードの前記予測画像との差分絶対値和を算出し、８×８の各サブブロックの前記差分絶対値和をマクロブロック単位で累積した値を、８×８の前記第１の評価値として算出する８×８第１の評価値計算手段とを有し、
前記第２の評価値計算手段は、
前記原画像の４×４のサブブロックの直交変換係数の絶対値和を算出し、４×４の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、４×４の前記第２の評価値として算出する４×４第２の評価値計算手段と、
前記原画像の８×８のサブブロックの直交変換係数の絶対値和を算出し、８×８の各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を、８×８の前記第２の評価値として算出する８×８第２の評価値計算手段とを有し、
前記選択手段は、前記４×４の第１の評価値と前記４×４の第２の評価値を加算した値と、前記８×８の第１の評価値と前記８×８の第２の評価値を加算した値を比較し、加算した値の小さい方のブロックサイズをフレーム内予測に用いるブロックサイズとして選択する請求項２記載の動画像符号化装置。 - 前記第２の評価値計算手段は、前記原画像の各サブブロックの画素の分散を計算し、前記各サブブロックの分散をマクロブロック単位で累計した値を前記第２の評価値として算出する請求項１又は２記載の動画像符号化装置。
- ２以上のブロックサイズの内の任意のブロックサイズで定まるサブブロック単位でフレーム内予測を行う動画像符号化方法において、
前記サブブロック単位で複数のフレーム内予測モードの予測画像を生成し、
前記サブブロック単位の各フレーム内予測モードの前記予測画像と原画像の差分画像に基づいて第1の評価値を算出し、
前記原画像の各サブブロックの周波数特性を示す値を、マクロブロック単位で累積した値を第２の評価値として算出し、
前記第１の評価値と前記第２の評価値に基づいて、前記２以上のブロックサイズの内の１つのブロックサイズを選択する動画像符号化方法。 - 前記原画像に直交変換を施し、各サブブロックの直交変換係数の絶対値和を算出し、各サブブロックの前記直交変換係数の前記絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する請求項６記載の動画像符号化方法。
- 原画像にサブブロック単位でアダマール変換を施し、直流成分を除いた、前記サブブロックのアダマール変換係数の絶対値和を算出し、各サブブロックの前記アダマール変換係数の絶対値和をマクロブロック単位で累積した値を前記第２の評価値として算出する請求項６記載の動画像符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009133897A JP5326828B2 (ja) | 2009-06-03 | 2009-06-03 | 動画像符号化装置及び動画像符号化方法 |
| US12/791,205 US9106917B2 (en) | 2009-06-03 | 2010-06-01 | Video encoding apparatus and video encoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009133897A JP5326828B2 (ja) | 2009-06-03 | 2009-06-03 | 動画像符号化装置及び動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010283495A JP2010283495A (ja) | 2010-12-16 |
| JP5326828B2 true JP5326828B2 (ja) | 2013-10-30 |
Family
ID=43300731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009133897A Expired - Fee Related JP5326828B2 (ja) | 2009-06-03 | 2009-06-03 | 動画像符号化装置及び動画像符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9106917B2 (ja) |
| JP (1) | JP5326828B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG189076A1 (en) * | 2010-09-30 | 2013-05-31 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method |
| JP5552078B2 (ja) * | 2011-02-28 | 2014-07-16 | 株式会社メガチップス | 符号化装置 |
| CN103222266B (zh) * | 2011-11-21 | 2018-02-23 | 松下知识产权经营株式会社 | 图像处理装置以及图像处理方法 |
| JP6145084B2 (ja) * | 2014-12-11 | 2017-06-07 | 日本電信電話株式会社 | サイズ判定方法、サイズ判定装置及びコンピュータプログラム |
| JP7147145B2 (ja) | 2017-09-26 | 2022-10-05 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
| WO2020263472A1 (en) * | 2019-06-24 | 2020-12-30 | Alibaba Group Holding Limited | Method and apparatus for motion vector refinement |
| US20220207120A1 (en) * | 2020-12-30 | 2022-06-30 | Inka Entworks, Inc | Apparatus and method for embedding plurality of forensic marks |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4529615B2 (ja) | 2004-09-24 | 2010-08-25 | ソニー株式会社 | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| JP4501675B2 (ja) * | 2004-12-22 | 2010-07-14 | 日本電気株式会社 | 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム |
| JP4609670B2 (ja) * | 2004-12-28 | 2011-01-12 | 日本電気株式会社 | 画像符号化装置、画像符号化方法及びそのプログラム |
| KR100977101B1 (ko) * | 2005-11-30 | 2010-08-23 | 가부시끼가이샤 도시바 | 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치 |
| JP4875894B2 (ja) * | 2006-01-05 | 2012-02-15 | 株式会社日立国際電気 | 画像符号化装置および画像符号化方法 |
| JP2008172581A (ja) * | 2007-01-12 | 2008-07-24 | Matsushita Electric Ind Co Ltd | 画像符号化装置及び画像符号化プログラム |
| US8369411B2 (en) * | 2007-03-29 | 2013-02-05 | James Au | Intra-macroblock video processing |
| US8634456B2 (en) * | 2008-10-03 | 2014-01-21 | Qualcomm Incorporated | Video coding with large macroblocks |
-
2009
- 2009-06-03 JP JP2009133897A patent/JP5326828B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-01 US US12/791,205 patent/US9106917B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20100309978A1 (en) | 2010-12-09 |
| JP2010283495A (ja) | 2010-12-16 |
| US9106917B2 (en) | 2015-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6974516B2 (ja) | 復元ブロック生成方法、予測情報符号化方法、ビットストリーム、コンピュータ可読媒体 | |
| KR101984764B1 (ko) | 영상 부호화/복호화 장치 및 방법 | |
| JP5846674B2 (ja) | イントラ予測モード復号化方法及び装置 | |
| JP5905613B2 (ja) | 映像復号化装置 | |
| EP1675403B1 (en) | Moving-picture compression encoding method, apparatus and program | |
| JP2020018024A (ja) | ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ | |
| JP5326828B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4937224B2 (ja) | 画像符号化装置 | |
| KR100727990B1 (ko) | 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치 | |
| US8780994B2 (en) | Apparatus, method, and computer program for image encoding with intra-mode prediction | |
| KR101394209B1 (ko) | 영상의 인트라 예측 부호화 방법 | |
| JP2007074050A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
| US8189667B2 (en) | Moving picture encoding apparatus | |
| US20090161757A1 (en) | Method and Apparatus for Selecting a Coding Mode for a Block | |
| KR101623064B1 (ko) | 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램 | |
| US20080008240A1 (en) | Communication terminal | |
| JP2010041191A (ja) | 画像符号化方法及び画像符号化装置 | |
| JP2009049969A (ja) | 動画像符号化装置及び方法並びに動画像復号化装置及び方法 | |
| JP6992825B2 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
| JP5513333B2 (ja) | 動画像符号化装置、動画像符号化方法、およびプログラム | |
| JP2010035025A (ja) | 符号化装置およびその方法 | |
| JP2007266861A (ja) | 画像符号化装置 | |
| JP4902553B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2008092137A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2007184846A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |