JP4369857B2 - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
JP4369857B2
JP4369857B2 JP2004332655A JP2004332655A JP4369857B2 JP 4369857 B2 JP4369857 B2 JP 4369857B2 JP 2004332655 A JP2004332655 A JP 2004332655A JP 2004332655 A JP2004332655 A JP 2004332655A JP 4369857 B2 JP4369857 B2 JP 4369857B2
Authority
JP
Japan
Prior art keywords
predictive
encoding
image
predictive coding
operation status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004332655A
Other languages
English (en)
Other versions
JP2005204280A (ja
Inventor
臣二 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004332655A priority Critical patent/JP4369857B2/ja
Priority to US11/001,078 priority patent/US7440629B2/en
Priority to CNB2004100971789A priority patent/CN1310520C/zh
Priority to KR1020040108374A priority patent/KR20050062454A/ko
Publication of JP2005204280A publication Critical patent/JP2005204280A/ja
Application granted granted Critical
Publication of JP4369857B2 publication Critical patent/JP4369857B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像を符号化する画像符号化装置および画像符号化方法に関し、特に、復号化した動画像の画質を向上させる技術に関する。
近年、インターネットや携帯電話を利用した動画像通信やデジタルビデオカメラによる動画像データの保存を目的として、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）といった動画像データを圧縮符号化する技術の開発や標準規格化が盛んに進められている。
動画像データを圧縮符号化する方法には、動画像中で連続するフレーム間の相関性を利用するフレーム間予測符号化と、フレーム中で隣接する画素間の相関性を利用するフレーム内予測符号化とがある。このうち、フレーム内予測符号化には離散コサイン変換（DCT: Discrete Cosine Transform）が広く用いられている。
離散コサイン変換を用いた圧縮符号化においては、従来、ＤＣＴ係数のＤＣ（Direct Current）成分が用いられていたが、近年では、ＤＣ成分に加えて、ＡＣ（Alternative Current）成分が用いられるようになってきた（例えば、非特許文献１、２を参照されたい。）。以下、ＤＣ成分を用いる圧縮符号化を「ＤＣ予測符号化」といい、ＤＣ成分及びＡＣ成分を用いる圧縮符号化を「ＡＣ予測符号化」ということとする。
さて、ＡＣ予測符号化によれば、ＤＣ予測符号化する場合と比べて、符号化効率の向上が図れ、復号化した動画像の画質を飛躍的に向上させることができる。しかしながら、ＡＣ予測符号化の処理には多大のメモリ容量を要し、処理負荷が高いという問題がある。このため、ＡＣ係数の予測符号化は専らデータ量の小さい小画像に用いられ、大画像はＤＣ係数の予測符号化によって圧縮符号化されているのが現状である。
ISO/IEC 14496-1 Information technology - coding of audio visual objects - Part 1: Systems. ISO/IEC 14496-2 Information technology - coding of audio visual objects - Part 2: Visual.
しかしながら、携帯電話機やデジタルカメラを含む様々な機種で高画素数化が進んできていることからも明らかなように、画像の高画質化に対しては非常に高い需要がある。このため、従来はＤＣ予測符号化が行われていた大画像についても何らかの方策によって画質を高めてゆく必要がある。
また、ＡＣ予測符号化については、処理負荷が高いために、リアルタイム性が要求されるような場合にはその使用が制限され、結果的に画質の向上が図れないという問題や、逆に画質を優先するあまりむやみに使用すればリアルタイム性が損なわれる（フレーム落ち等）といった問題があり、やはり、何らかの方策によって画質を高めてゆく必要がある。
本発明は、上述のような課題に鑑みて為されたものであって、フレーム内予測符号化された画像の画質を向上させることを目的とする。
上記目的を達成するため、本発明に係る画像符号化装置は、ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、自己の動作状況を監視する動作状況監視手段と、他の処理と共用されるメモリを備え、前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択することを特徴とする。
このようにすれば、動画像データ処理のリアルタイム性が達成されているか否かを示す動作状況に応じて符号化方式を切り替えるので、フレーム落ち等の画質の劣化が発生するのを回避することができる。
本発明に係る画像符号化装置は、前記動作状況監視手段は、前記ＤＣ予測符号化手段と前記ＡＣ予測符号化手段とによって発生した符号量の多寡を監視し、前記予測符号化方式選択手段は、前記動作状況監視手段にて前記符号量が多いと判定された場合には前記ＡＣ予測符号化手段を、前記符号量が少ないと判定された場合には前記ＤＣ予測符号化手段を選択することもできることを特徴とする。
ＡＣ予測符号化によれば、ＤＣ予測符号化によるよりも高い圧縮効率が期待できるところ、本発明によれば、発生符号量が多い場合にはＡＣ予測符号化を行って発生符号量を抑えた高画質化を図り、発生符号量が少ない場合にはＤＣ符号化を行ってリアルタイム性を重視した符号化（フレーム落ちの回避）を行うことができる。
本発明に係る画像符号化装置は、前記動作状況監視手段は、符号化に要する処理サイクルの長短を監視し、前記予測符号化方式選択手段は、前記動作状況監視手段にて前記処理サイクルが長いと判定された場合にはＤＣ予測符号化方式で、前記処理サイクルが短いと判定された場合にはＡＣ予測符号化方式で、予測符号化を行うこともできることを特徴とする。
ＤＣ予測符号化によれば、ＡＣ予測符号化よりも処理量が少ないので処理サイクルの短縮を期待できるところ、本発明によれば、処理サイクルが長い場合にはＤＣ予測符号化を行って処理サイクルを短縮しフレーム落ちを回避することができる。また、処理サイクルが短い場合にはＡＣ予測符号化を行って高画質化を図ることができる。
以上の場合において、前記動作状況監視手段は、１フレーム時間毎の動作状況を監視するとしても良いし、１ブロックライン時間毎の動作状況を監視するとしても良い。
また、前記予測符号化方式選択手段は、１フレーム毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択するとしても良いし、１ブロックライン毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択するとしても良い。或いは、１マクロブロック毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択するとしても良い。
本発明に係る画像符号化装置は、ＤＣ予測符号化手段のみによって使用されるＤＣ予測符号化専用メモリを備え、前記ＤＣ予測符号化手段は、前記ＤＣ予測符号化専用メモリに記憶されているＤＣ係数を用いてＤＣ予測符号化を行うことを特徴とする。
このようにすれば、ＤＣ予測符号化を行う際には前記メモリに対するアクセスを全く無くすることができるので、上述のような効果を更に完全なものとすることができる。なお、このような専用メモリはＤＣ予測符号化に必要なＤＣ係数のみを記憶することができればよいので、記憶容量が比較的小さいもので良く、コストメリットが高い。
本発明に係る画像符号化方法は、画像符号化装置が実行する画像符号化方法であって、前記画像符号化装置の動作状況を監視する動作状況監視ステップと、ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択ステップと、ＤＣ予測符号化が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化ステップと、ＡＣ予測符号化が選択された場合に、画像データを構成するブロック毎にＡＣ予測符号化を行うＡＣ予測符号化ステップとを含み、前記ＡＣ予測符号化手段は、他の処理と共用されるメモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、前記動作状況監視ステップは、前記メモリに対するアクセス量の多寡を監視し、前記予測符号化方式選択ステップは、前記動作状況監視ステップにて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化ステップを、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化ステップを選択することを特徴とする。
このようにすれば、自己の動作状況に起因して、フレーム落ち等の画質の劣化が発生するのを回避することができる。
本発明に係る撮像システムは、被写体の像を結像する結像手段と、前記被写体の像を光電変換したアナログ画像信号を出力する光電変換手段と、前記アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換（analogue to digital conversion）手段と、前記デジタル画像信号を処理する画像処理手段とを備え、前記画像処理手段は、ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、自己の動作状況を監視する動作状況監視手段と、他の処理と共用されるメモリを備え、前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択することを特徴とする。
本発明に係る画像処理システムは、アナログ画像信号を受け付けて、デジタル画像信号に変換するＡ／Ｄ変換手段と、前記デジタル画像信号を処理する画像処理手段とを備え、前記画像処理手段は、ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、自己の動作状況を監視する動作状況監視手段と、他の処理と共用されるメモリを備え、前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択することを特徴とする。
以下、本発明に係る画像符号化装置の実施の形態について、図面を参照しながら説明する。
［１］ 第１の実施の形態
本実施の形態に係る画像符号化装置は、装置内部のメモリアクセスの競合によってフレーム落ち等の画質の劣化が生じるのを防止する。
［１−１］ 装置構成
図１は、本願実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。図１に示されるように、画像符号化装置１は、画像入力端子１００、ＤＣＴ部１０１、第１の量子化部１０２、予測符号化部１０３、符号出力端子１０４、ＤＣ予測部１０５、予測選択器１０６、第２の量子化部１０７、ＡＣ予測部１０８、逆量子化部１０９、バストラフィック監視部１１０、メモリバス１１１、プロセス群１１２及びメモリ部１１３を備えている。
画像入力端子１００は、縦横８画素のブロック単位で画像信号の入力を受け付ける。
ＤＣＴ部１０１は、画像入力端子１００にて受け付けたブロック画像に対して離散コサイン変換を行い、ＤＣＴ係数（周波数成分）を出力する。
第１の量子化部１０２は、ＤＣＴ部１０１が出力するＤＣＴ係数を量子化して、量子化ＤＣＴ係数を出力する。
メモリバス１１１は、ＤＣ予測部１０５、ＡＣ予測部、プロセス群１１２等がメモリ部１１３にアクセスするためのバスである。
逆量子化部１０９は、第１の量子化部１０２が出力する量子化ＤＣＴ係数を逆量子化してＤＣＴ係数を生成し、メモリバス１１１を介して、これをメモリ部１１２に格納する。
メモリ部１１３は、逆量子化部１０９が生成するＤＣＴ係数等を保持する。本実施の形態においては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられている。
ＤＣ予測部１０５は、メモリ部１１３に保持されているＤＣＴ係数を、メモリバス１１１を介して参照してＤＣ予測係数を生成し、これを予測選択器１０６へ出力する。
ＡＣ予測部１０８は、メモリ部１１３に保持されているＤＣＴ係数を、メモリバス１１１を介して参照してＡＣ予測係数を生成し、これを予測選択器１０６へ出力する。
プロセス群１１２は、画像の圧縮符号化以外の処理を実行する機能ブロックであって、メモリバス１１１を介して、メモリ部１１３にアクセスする。すなわち、メモリ部１１３に対して相互に競合するアクセスが発生することになる。
バストラフィック監視部１１０は、メモリバス１１１を介したメモリ部１１３へのアクセス状況を監視する。本実施の形態においては、バストラフィック監視部１１０は、プロセス群１１２に含まれている各プロセスのチップセレクト信号を参照することによってアクセス状況を監視し、メモリバス１１１が混んでいるか否かを判定して、選択信号を予測選択器１０６へ出力する。
予測選択器１０６は、バストラフィック監視部１１０が出力した選択信号に応じてＤＣ予測係数とＡＣ予測係数との何れかを選択し、第２の量子化部１０７へ出力する。
第２の量子化部１０７は、予測選択器１０６からＤＣ予測係数またはＡＣ予測係数を受け付けて量子化し、これを予測符号化部１０３へ出力する。
予測符号化部１０３は、量子化されたＤＣ予測係数またはＡＣ予測係数を受け付けて予測符号化し、ＤＣ予測符号またはＡＣ予測符号を生成する。
符号出力端子１０４は、予測符号化部１０３が生成したＤＣ予測符号またはＡＣ予測符号を出力する。
［１−２］ ＤＣ予測部１０５の動作
本実施の形態に係るＤＣ予測部１０５の動作について説明する。ＤＣ予測部１０５はＭＰＥＧ−４規格に準拠してＤＣ予測係数を生成する。図２は、ＤＣ予測部１０５によるＤＣ予測係数の生成の仕方を示す模式図である。
図２（１）において、ＭＢＸはＤＣ予測部１０５が処理対象とするマクロブロックのＤＣＴ係数（１６×１６個）である。また、ＭＢ１、ＭＢ２、ＭＢ３は、それぞれＭＢＸに係るマクロブロックに隣接するマクロブロックのＤＣＴ係数である。
まず、ＤＣ予測部１０５がＭＢＸに含まれているブロックＸのＤＣ係数ＤＣ（Ｘ）の予測係数σPを生成する場合について説明する。予測係数σPの生成に当たって、ＤＣ予測部１０５は、ブロックＸに隣接するブロックＡ、Ｂ、ＣのＤＣ係数σA、σB、σCを参照する。予測係数σPは、ＤＣ係数σA、σB、σCの勾配に応じて決定される。すなわち、
｜σA−σB｜＜｜σB−σC｜
である場合には、σPの値をσCとし、
｜σA−σB｜≧｜σB−σC｜
である場合には、σPの値をσAとする。
このようにして決定された予測係数σPとブロックＸのＤＣ係数ＤＣ（Ｘ）から、予測符号化部１０３は、これらの差分ΔＸを次式に従って可変長符号化する。
ΔＸ＝（ＤＣ（Ｘ）−σP）／ｄｃ＿ｓｃａｌｅｒ
ここで、ｄｃ＿ｓｃａｌｅｒは、マクロブロックＭＢＸの量子化パラメータである。
なお、予測係数σPを生成すべきブロックＸの位置によって、参照すべきブロックの位置が異なる。図２（２）から（３）には、ブロックＸのＭＢＸ中の位置毎に参照すべきブロックＡ、Ｂ、Ｃの位置が示されている。また、ＭＢＸの位置によっては、参照すべきＤＣ係数の数が異なる。
上述のように、ＤＣ予測符号化の実行に当たっては、予測符号化を終えたマクロブロックのＤＣ係数が必要となる。このため、予測符号化を終えたマクロブロックのＤＣ係数が、メモリ部１１３に一時的に保持される。
このように、ＤＣ予測符号化を行うためには、他のブロックのＤＣ係数を参照する必要があり、これらＤＣ係数をメモリ部１１３に保持しておかなければならない。図３は、Ｍ×Ｎ個のマクロブロックで構成される画像をＤＣ予測符号化するために、保持すべきＤＣ係数を示す図である。
以下、画像の始点から走査方向にｍ番目、副走査方向にｎ番目の位置にあるマクロブロックをＭＢ（ｍ、ｎ）と表すこととする。
図３に示されるように、Ｍ×Ｎ個のマクロブロックで構成される画像において、網掛け部分のマクロブロックＭＢ（ｍ、ｎ）についてＤＣ予測符号化を行うためには、隣接するマクロブロックＭＢ（ｍ−１、ｎ−１）、ＭＢ（ｍ、ｎ−１）、ＭＢ（ｍ−１、ｎ）のＤＣ係数が必要となる。
また、マクロブロックＭＢ（ｍ＋１、ｎ）についてＤＣ予測符号化を行うためには、マクロブロックＭＢ（ｍ、ｎ−１）、ＭＢ（ｍ＋１、ｎ−１）、ＭＢ（ｍ、ｎ−１）のＤＣ係数が必要となる。
すなわち、ＤＣ予測符号化を順次行ってゆくためには、図３の斜線部分で示されるＭ＋１個のマクロブロックに係る２×（Ｍ＋１）＋１個のＤＣ係数をメモリ部１１３に保持しておく必要がある。
［１−３］ ＡＣ予測部１０８の動作
本実施の形態に係るＡＣ予測部１０８の動作について説明する。ＡＣ予測部１０８はＭＰＥＧ−４規格に準拠してＡＣ予測係数を生成する。図４は、ＡＣ予測部１０８によるＡＣ予測係数の生成の仕方を示す模式図である。
図４（１）において、ＭＢＸはＡＣ予測部１０５が処理対象とするマクロブロックのＤＣＴ係数（１６×１６個）である。また、ＭＢ１、ＭＢ２、ＭＢ３は、それぞれＭＢＸに係るマクロブロックに隣接するマクロブロックのＤＣＴ係数である。ブロックＸは、マクロブロックＭＢＸに含まれているブロックである。また、ブロックＡ、Ｂ、Ｃは、それぞれマクロブロックＭＢ３、ＭＢ１、ＭＢ２に含まれている。
ＡＣ予測部１０５は、ブロックＣのＡＣ係数ＡＣ（Ｃ）とブロックＡのＡＣ係数ＡＣ（Ａ）とをブロックＸのＡＣ係数ＡＣ（Ｘ）の予測値として、ブロックＸのＡＣ係数ＡＣ（Ｘ）と予測値との差分（予測誤差）を可変長符号化する。
なお、ＡＣ予測符号化の対象となるブロックＸの位置によって、参照すべきブロックの位置が異なる。図４（２）から（３）には、ブロックＸのＭＢＸ中の位置毎に参照すべきブロックＡ、Ｂ、Ｃの位置が示されている。また、ＭＢＸの位置によっては、参照すべきＡＣ係数の数が異なる。
このように、ＡＣ予測符号化を行うためには、他のブロックのＡＣ係数を参照する必要があり、これらＡＣ係数をメモリ部１１３に保持しておかなければならない。例えば、Ｍ×Ｎ個のマクロブロックで構成される画像をＡＣ予測符号化するためには、１６×（Ｍ＋１）＋１６個のＡＣ係数をメモリ部１１３に保持しておく必要がある。このように、必要なＡＣ係数を保持するためには、ＤＣ予測符号化の場合と比較して、非常に大きな記憶領域が必要となる。
［１−４］ 画像符号化装置１の動作
ここでは、画像符号化装置１の動作について説明する。
図５は、本実施の形態に係る画像符号化装置１が実行する処理の流れを示すフローチャートである。
図５に示されるように、画像符号化装置１は、予測符号化を行うのに先立って、バストラフィック監視部１１０にてメモリバス１１１の混雑の程度を判断する。そして、メモリバス１１１が混雑していると判断された場合には（ステップＳ１００：ＹＥＳ）、ＤＣ予測部１０５からの信号を選択するように、バストラフィック監視部１１０にて選択信号を予測選択器１０６に入力する（ステップＳ１０１）。
すなわち、プロセス群１１２からのメモリアクセスによってメモリバス１１１が混雑していると判断される場合には、かかるメモリアクセスをできるだけ妨げないように、ＤＣ予測符号化処理を行う（Ｓ１０２）。上述のようにＤＣ予測符号化を行う場合には、より少数のＤＣ係数をメモリ部１１３に記録するだけでよいからである。
ＤＣ予測符号化処理は、前述のように、ブロック単位で行い、最終ブロックの処理が完了するまでは（ステップＳ１０３：ＮＯ）、ＤＣ予測符号化処理を繰り返す。最終ブロックの処理が完了したら（ステップＳ１０３：ＹＥＳ）、ステップＳ１００に戻って、メモリバスの混雑状況を判断する。
さて、バストラフィック監視部１１０にて、メモリバス１１１が混雑していないと判断された場合には（ステップＳ１００：ＮＯ）、ＡＣ予測部１０８からの信号を選択するように、バストラフィック監視部１１０が選択信号を予測選択器１０６に入力する（ステップＳ１０４）。
そして、ブロック単位でＡＣ予測符号化処理を実行し（ステップＳ１０５）、最終ブロックの処理が完了しなければ（ステップＳ１０６：ＮＯ）、当該処理を繰り返す。最終ブロックの処理が完了した場合には（ステップＳ１０６：ＹＥＳ）、ステップＳ１００に戻って、メモリバスの混雑状況を判断する。
さて、図６は、画像符号化装置１が実行するＤＣ予測符号化処理（ステップＳ１０２）の流れを示すフローチャートである。図６に示されるように、画像符号化装置１は、ＤＣ予測符号化処理において、先ず、予測に必要となる隣接ブロックのＤＣ係数をメモリ部１１３から読み出す（ステップＳ２００）。
次に、画像符号化装置１は、メモリ部１１３から読み出したＤＣ係数を用いて、ＤＣ係数の勾配により決定された予測ブロックのＤＣ係数との差分（予測誤差）を符号化するＤＣ予測符号化を実行し（ステップＳ２０１）、以後のブロックの予測符号化を実施するために必要となる符号化対象ブロックのＤＣ係数をメモリ部１１３に格納する（ステップＳ２０２）。
図７は、画像符号化装置１が実行するＡＣ予測符号化処理（ステップＳ１０５）の流れを示すフローチャートである。図７に示されるように、画像符号化装置１は、ＡＣ予測符号化処理において、先ず、予測に必要となる隣接ブロックのＤＣ係数およびＡＣ係数をメモリ部１１３から読み出す（ステップＳ３００）。
次に、画像符号化装置１は、メモリ部１１３から読み出したＤＣ係数とＡＣ係数を用いて、ＤＣ係数の勾配により決定された予測ブロックのＤＣ係数およびＡＣ係数との差分（予測誤差）を符号化するＡＣ予測符号化を実行し（ステップＳ３０１）、以後のブロックの予測符号化を実施するために必要となる符号化対象ブロックのＤＣ係数およびＡＣ係数をメモリ部１１３に格納する（ステップＳ３０２）。
［１−５］ バストラフィック監視部１１０の動作
次に、バストラフィック監視部１１０の動作について説明する。
毎秒ｎフレームの動画像を画像符号化装置１にて処理する場合、バストラフィック監視部１１０は、以下のようにして、メモリバス１１１の混雑状況を判断する。
まず、バストラフィック監視部１１０は、次に処理すべき１フレーム当りの期間に発生するメモリバス１１１を介したメモリ部１１３への総アクセス量Ｓ（bytes / frame）を次式によって算出する。
Ｓ＝ＸAC＋Ｘothers＋Ｘoffset
ここで、ＸACは１フレーム当りの期間に発生するＡＣ予測符号化のためのアクセス量であり、Ｘothersは１フレーム当りの期間に発生するプロセス群１１２からのアクセス量であり、また、Ｘoffsetはマージンを持たせておくためのオフセットである。
本実施の形態においては、ＸACとして固定値を使用する。また、Ｘothersとしては、直前の１フレーム当りの期間に発生したプロセス群１１２からのアクセス量を、前述したように、チップセレクト信号を観測することによって計測し、これをＸothersとする。直前の１フレーム当りの期間のＸothersとその次の期間のＸothersとは必ずしも一致しないので、その変動分を見込んでＸoffsetの値が決定される。
バストラフィック監視部１１０は、また、１フレーム当りの期間に許容できるメモリ部１１３へのアクセス量Ｂを、メモリバス１１１の帯域幅（bytes / second）と処理すべき動画像のフレームレートｎ（frames / second）から次式よって算出する。
Ｂ＝帯域幅／フレームレートｎ
バストラフィック監視部１１０は、Ｓ≧Ｂである場合には、メモリバスは混雑していると判定する。また、Ｓ＜Ｂである場合には、メモリバスは混雑していないと判定する。
［１−６］ 変形例
本実施の形態については、以下のような変形例を実施することもできる。
（１） 上記においては、バストラフィック監視部１１０は、チップセレクト信号を参照することによって、各プロセス１１２の動作モードのオン／オフを監視し、メモリバス１１１の混雑状況を判定するとしたが、本発明がこれに限定されないのは言うまでも無く、これに代えて次のようにしても良い。
すなわち、バストラフィック監視部１１０は、メモリ部１１３のチップセレクト信号を参照してメモリバス１１１の混雑状況を判定するとしても良い。バストラフィック監視部１１０がメモリバスの混雑状況を判定する方法の如何に関わらず、上記実施の形態によれば、フレーム落ち、その他メモリバスの混雑に起因する画質の劣化を防止することができる。
（２） バストラフィック監視部１１０は、メモリ部１１３への総アクセス量Ｓを評価するに当たって、次式を用いるとしても良い。
Ｓ＝ＸAC＋Ｋ×Ｘothers＋Ｘoffset
ここで、Ｋは定数であって、画像符号化装置１がプロセス群１１２の処理よりも画像符号化処理を優先して実行する場合には１よりも小さい値とする。逆に、プロセス群１１２の処理を画像符号化処理よりも優先して実行する場合には１よりも大きい値とする。
例えば、画像符号化処理と平行して、ファイルのバックアップ等、大量ではあっても急ぎではない処理を実行する場合にはＫを１よりも小さい値とすれば有効である。また、画像符号化処理と平行して、音声符号化処理等、少量ではあってもリアルタイム性を要求される処理を実行する場合にはＫを１よりも大きい値とすれば有効である。
（３） 本実施の形態においては予測符号化の手段をフレーム単位で切り替えるとしてが、これに代えて、ブロックライン単位で切り替えるとしても良い。
この場合において、バストラフィック監視部１１０は、直前の１ブロックライン分に相当する期間のメモリバス１１１の混雑状況に応じて予測符号化手段を切り替えるとしても良いし、直前の１フレーム分に相当する期間のメモリバス１１１の混雑状況に応じて予測符号化手段を切り替えるとしても良い。
フレーム単位で予測符号化手段を切り替える場合には、１フレームに相当する期間、同一の予測符号化手段を用いることとなるので、その期間中にメモリバス１１１の混雑状況が変化しても、適切な予測符号化手段に切り替えることができない。
これに対して、ブロックライン単位で切り替えれば、同一の予測符号化手段を用い続ける期間を短縮することができるので、当該期間中にメモリバス１１１の混雑状況が変化して、不適切な予測符号化手段を使用する確率を低減することができる。
［２］ 第２の実施の形態
本実施の形態に係る画像符号化装置は、前記第１の実施の形態に係る画像符号化装置と概ね同様の構成を備えているが、前記予測選択器を切り替える条件が相違している。すなわち、前記第１の実施の形態では、メモリバスの混雑状況に応じて何れの予測符号化を行うかを選択したが、本実施の形態では、予測符号化によって発生する符号量に応じて選択する。以下、本実施の形態に係る画像符号化装置について図面を参照しながら説明する。
［２−１］ 装置構成
図８は、本実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。図８に示されるように、画像符号化装置２は、画像入力端子２００、ＤＣＴ部２０１、第１の量子化部２０２、予測符号化部２０３、符号出力端子２０４、ＤＣ予測部２０５、予測選択器２０６、第２の量子化部２０７、ＡＣ予測部２０８、逆量子化部２０９、発生符号量監視部２１０、メモリバス２１１、プロセス群２１２、メモリ部２１３及びビットレート設定端子２１４を備えている。
ビットレート設定端子２１４は、ビットレートの目標値の設定を受け付ける。
発生符号量監視部２１０は、前記ビットレート設定端子２１４にて受け付けたビットレートの目標値に対応する１フレーム当りの符号量（以下、「基準符号量」という。）と、予測符号化によって発生した１フレーム当りの符号量（以下、「発生符号量」という。）を比較する。
発生符号量が基準符号量を上回る場合には、発生符号量監視部２１０は、予測選択器２０６に対してＡＣ予測部２０８の出力を選択するように指示する選択信号を出力する。ＡＣ予測符号化によれば圧縮率を高めることができるので、ビットレートを下げることができる。従って、設定されたビットレートの目標値を達成できるか、またはビットレートを当該目標値に近づけることができる。
逆に、発生符号量が基準符号量を下回る場合には、発生符号量監視部２１０は、予測選択器２０６に対してＤＣ予測部２０５の出力を選択するように指示する選択信号を出力する。このようにすれば、予測符号化処理のためにメモリバス２１１が占有される期間を削減することができる。従って、プロセス群２１２に属するプロセスとの間でのメモリバスアクセスが競合するの確率を下げることができる。
このようにすれば、システムへの負荷が大きいＡＣ予測手段を必要最小限に利用するように適応的に制御することにより、システムの状態に適応した最適な予測符号化の実現を図ることができる。
［２−２］ 画像符号化装置２の動作
本実施の形態に係る画像符号化装置２の動作について説明する。図９は、本実施の形態に係る画像符号化装置２が実行する処理の流れを示すフローチャートである。
図９に示されるように、画像符号化装置２は、先ず、直前に処理したフレームに係る発生符号量と基準符号量を比較して、発生符号量が基準符号量よりも多いと判断した場合には（ステップＳ４００：ＹＥＳ）、発生符号量監視部２１０から選択信号を出力して、予測選択器２０６にＡＣ予測部２０８からの出力を選択させる（ステップＳ４０４）。
そして、画像符号化装置２は、前記第１の実施の形態に係る画像符号化装置１と同様にして、フレームを構成するブロック毎にＡＣ予測符号化処理を実行する（ステップＳ４０５）。そして、１ブロックを処理し終えるごとに、当該ブロックが当該フレーム中の最終ブロックであるか否かを確認する。
当該確認の結果、当該ブロックは最終ブロックではないと判定された場合には（ステップＳ４０６：Ｎｏ）、画像符号化装置２はステップＳ４０５に進み、次のブロックについてＡＣ予測符号化処理を実行する。また、当該ブロックは最終ブロックであると判定された場合には（ステップＳ４０６：ＹＥＳ）、画像符号化装置２はステップＳ４００に進み、次のフレームを処理する。
また、画像符号化装置は、発生符号量が基準符号量以下であると判断した場合には（ステップＳ４００：ＮＯ）、発生符号量監視部２１０から選択信号を出力して、予測選択器２０６にＤＣ予測部２０５からの出力を選択させる（ステップＳ４０１）。
この場合には、画像符号化装置２は、前記第１の実施の形態に係る画像符号化装置１と同様にして、フレームを構成するブロック毎にＤＣ予測符号化処理を実行し（ステップＳ４０２）、１ブロック終えるごとに、最終ブロックか否か確認する。最終ブロックではなければ（ステップＳ４０３：Ｎｏ）、画像符号化装置２はステップＳ４０２に進み、最終ブロックならば（ステップＳ４０３：ＹＥＳ）、ステップＳ４００に進む。
以上に説明したように、本実施の形態においては、直前に予測符号化したフレームの発生符号量を参照することにより、次のフレームに対して何れの予測符号化方式を適用するか選択するので、システムへの負荷が大きいＡＣ予測符号化の適用を必要最小限に止めることができる。これにより、システムの状態に適応した最適な予測符号化の実現を図ることができる。
［２−３］ 変形例
本実施の形態について次のような変形例も実施することができる。
（１） 本実施の形態においては、発生符号量が基準符号量を上回るか否かによって予測符号化手段を選択するとしたが、これに代えて次のようにしても良い。
すなわち、発生符号量が基準符号量に所定量を加えた符号量を超過した場合にはＤＣ予測符号化を選択するとしても良い。また、発生符号量が基準符号量から所定量を差し引いた符号量を下回った場合にはＡＣ予測符号化を選択するとしても良い。このようにすれば、予測符号化方式が頻繁に切り替えられるのを回避して、安定的に予測符号化を実行することができる。
（２） 本実施の形態においては、１フレームを処理する毎に予測符号化手段を選択するとしたが、これに代えて、１ブロックラインを処理する毎に選択するとしても良い。このようにすれば、より適切な予測符号化手段を使用することができる。
図１０は、本変形例に係る画像符号化装置が実行する処理の流れを示すフローチャートである。図１０に示されるように、画像符号化装置は、直前に処理した１ブロックライン（以下、「上段ブロックライン」という。）に係る発生符号量と基準符号量を比較して、いずれが多いかを確認する。
当該確認の結果、発生符号量が基準符号量を下回る場合には（ステップＳ５００：ＮＯ）、発生符号量監視部からＤＣ予測部を選択せよとの旨の選択信号を出力する（ステップＳ５０１）。
そして、ブロック単位でＤＣ予測符号化処理を実行し（ステップＳ５０２）、処理が完了するたびに当該ブロックが当該ブロックライン中の最終ブロックであるか確認する。当該確認の結果、最終ブロックでない場合には（ステップＳ５０３：ＮＯ）、当該ブロックライン中の次のブロックについてＤＣ予測符号化処理を実行する（ステップＳ５０２）。
処理したブロックが最終ブロックである場合には（ステップＳ５０３：ＹＥＳ）、ステップＳ５００に進み、発生符号量と基準符号量を比較する。
発生符号量が基準符号量を上回っている場合には（ステップＳ５００：ＹＥＳ）、選択信号を出力して予測選択器にＡＣ予測部の出力を選択させる（ステップＳ５０４）。その後、画像符号化装置は、ブロック単位でＡＣ予測符号化処理を実行して（ステップＳ０５）、最終ブロックの処理が終わったら（ステップＳ５０６：ＹＥＳ）、発生符号量と基準符号量を比較する。
このようにすれば、フレーム単位で予測符号化を使い分けるよりも、さらに発生符号量の変動を抑え、適正なビットレートで動画像を予測符号化することができる。従って、動画像を送信するための帯域幅に制限がある場合においても、良好な画質を達成することができる。また、符号量に余裕がある場合には、ＡＣ予測符号化を行うことによって更に画質を高めることができる。
［３］ 第３の実施の形態
本実施の形態に係る画像符号化装置は、前記第１の実施の形態に係る画像符号化装置と概ね同様の構成を備えているが、前記予測選択器を切り替える条件が相違している。すなわち、前記第１の実施の形態では、メモリバスの混雑状況に応じて何れの予測符号化を行うかを選択したが、本実施の形態では、予測符号化に要する処理サイクルに応じて選択する。以下、本実施の形態に係る画像符号化装置について図面を参照しながら説明する。
［３−１］ 装置構成
図１１は、本実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。図１１に示されるように、画像符号化装置３は、画像入力端子３００、ＤＣＴ部３０１、第１の量子化部３０２、予測符号化部３０３、符号出力端子３０４、ＤＣ予測部３０５、予測選択器３０６、第２の量子化部３０７、ＡＣ予測部３０８、逆量子化部３０９、処理サイクル監視部３１０、メモリバス３１１、プロセス群３１２、メモリ部３１３及び処理サイクル設定端子３１４を備えている。
処理サイクル設定端子３１４は、処理サイクルの上限値の設定を受け付ける。ここで、処理サイクルとは、１フレームの処理に要する時間である。処理サイクルの上限値は、予測符号化の対象となる画像のサイズとフレームレート等によって異なる値が指定される。
例えば、ＱＣＩＦ（１７６×１４４）やＣＩＦ（３５２×２８８）等のような比較的低解像度の画像をリアルタイムに予測符号化する場合には、前記上限値は比較的大きな値となる。一方、ＶＧＡ（６４０×４８０）以上の画像をリアルタイムに予測符号化する場合には、前記上限値は小さくなる。
処理サイクル監視部３１０は、１フレームの予測符号化が完了する毎に、その処理に要した時間と前記処理サイクル設定端子３１４にて受け付けた処理サイクルの上限値とを比較して、予測符号化方式を指定する選択信号を出力する。
［３−２］ 画像符号化装置３の動作
図１２は、本実施の形態に係るに係る画像符号化装置３が実行する処理の流れを示すフローチャートである。図１２に示されるように、画像符号化装置は、処理サイクルの上限値と直前に処理したフレームの処理サイクルとを比較して、上限が遵守されているかを確認する。
当該確認の結果、上限値が遵守されていない場合には（ステップＳ６００：ＮＯ）、処理サイクル監視部からＤＣ予測部を選択せよと選択信号を出力する（ステップＳ６０１）。
そして、当該フレームの最終ブロックまでブロック単位でＤＣ予測符号化処理を実行し（ステップＳ６０２）、処理を終えたら（ステップＳ６０３：ＹＥＳ）、ステップＳ６００に進み、次のフレームの処理を開始する。
上限値が遵守されている場合には（ステップＳ６００：ＹＥＳ）、予測選択器にＡＣ予測部の出力を選択させる選択信号を出力する（ステップＳ６０４）。そして、ＡＣ予測符号化処理を実行して（ステップＳ６０５）、処理が終わったら（ステップＳ６０６：ＹＥＳ）、ステップＳ６００に進む。
このようにすれば、処理サイクルの超過を抑えて、適正なビットレートを遵守することができる。動画像を転送するための帯域幅に制限がある場合であっても、フレーム落ち等に起因する画質の劣化を防止することができる。また、処理サイクルに余裕がある場合には、ＡＣ予測符号化を行うので、更に画質を良好なものとすることができる。
［３−３］ 変形例
本実施の形態においては、１フレームを処理する毎に予測符号化手段を選択するとしたが、これに代えて、１ブロックラインを処理する毎に選択するとしても良い。前者は、連続するフレーム間の相関性に着目して予測符号化手段を選択するものとなっているのに対して、後者はひとつのフレーム内の連続するブロックライン間の相関性に着目したものとなっている。何れによっても、適切に予測符号化手段を選択することができる。
［４］ 第４の実施の形態
本実施の形態に係る画像符号化装置は、前記第１の実施の形態に係る画像符号化装置と概ね同様の構成を備えているが、ＤＣ予測符号化を行うための構成において相違している。すなわち、前記第１の実施の形態では、ＤＣ予測部１０５はメモリバス１１１を介してメモリ部１１３に記憶されているＤＣ係数を参照したが、本実施の形態に係るＤＣ予測部は専用のメモリを使用する。以下、本実施の形態に係る画像符号化装置について図面を参照しながら説明する。
［４−１］ 装置構成
図１３は、本実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。図１３に示されるように、画像符号化装置４は、画像入力端子４００、ＤＣＴ部４０１、第１の量子化部４０２、予測符号化部４０３、符号出力端子４０４、ＤＣ予測部４０５、予測選択器４０６、第２の量子化部４０７、ＡＣ予測部４０８、逆量子化部４０９、発生符号量監視部４１０、メモリバス４１１、プロセス群４１２、共用メモリ部４１３、ビットレート設定端子４１４及び専用メモリ部４１５を備えている。
専用メモリ部４１５には、ＤＣ係数が格納されており、ＤＣ予測部４０５は、専用メモリ部４１５に格納されているＤＣ係数を参照して、ＤＣ予測符号化を行う。
［４−２］ 画像符号化装置４の動作
次に、ブロックライン毎に予測符号化方式を選択する場合を例にとり、画像符号化装置４の動作について説明する。
図１４は、画像符号化装置４が実行する処理の流れを示すフローチャートである。図１４に示されるように、画像符号化装置４は、直前に処理した１ブロックライン（以下、「上段ブロックライン」という。）に係る発生符号量と基準符号量を比較して、いずれが多いかを確認する。
当該確認の結果、バストラフィック監視部４１０にて、メモリバス４１１が混雑していると判断された場合には（ステップＳ７００：ＹＥＳ）、上段ブロックラインをＤＣ予測符号化したか否かを確認する。そして、上段ブロックラインをＤＣ予測符号化した場合には（ステップＳ７０１：ＹＥＳ）、バストラフィック監視部４１０からＤＣ予測部を選択せよとの旨の選択信号を出力する（ステップＳ７０２）。
そして、ブロック単位でＤＣ予測符号化処理を実行し（ステップＳ７０３）、処理が完了するたびに当該ブロックが当該ブロックライン中の最終ブロックであるか確認する。当該確認の結果、最終ブロックでない場合には（ステップＳ７０４：ＮＯ）、当該ブロックライン中の次のブロックについてＤＣ予測符号化処理を実行する（ステップＳ７０３）。
処理したブロックが最終ブロックである場合には（ステップＳ７０４：ＹＥＳ）、ステップＳ７００に進み、メモリバス４１１の混雑の度合いを判定する。
さて、上段ブロックラインをＤＣ予測符号化しなかった場合には（ステップＳ７０１：ＮＯ）、バストラフィック監視部４１０からＡＣ予測部４０８を選択せよとの旨の選択信号を出力する（ステップＳ７０５）。
そして、ブロック単位でＡＣ予測符号化処理を実行し（ステップＳ７０６）、処理が完了するたびに当該ブロックが当該ブロックライン中の最終ブロックであるか確認する。当該確認の結果、最終ブロックでない場合には（ステップＳ７０７：ＮＯ）、当該ブロックライン中の次のブロックについてＤＣ予測符号化処理を実行する（ステップＳ７０６）。
処理したブロックが最終ブロックである場合には（ステップＳ７０７：ＹＥＳ）、ステップＳ７００に進み、発生符号量と基準符号量を比較する。
バストラフィック監視部４１０にて、メモリバス４１１が混雑していると判断された場合には（ステップＳ７００：ＮＯ）、上段ブロックラインをＡＣ予測符号化したか否かを確認する。当該確認の結果、ＡＣ予測符号化していた場合には（ステップＳ７０８：ＹＥＳ）、選択信号を出力して予測選択器４０６にＤＣ予測部の出力を選択させる（ステップＳ７０９）。
その後、画像符号化装置４は、ブロック単位でＡＣ予測符号化処理を実行して（ステップＳ７１０）、最終ブロックの処理が終わったら（ステップＳ７１１：ＹＥＳ）、メモリバス４１１の混雑の度合いを判定する。
上段ブロックラインをＡＣ予測符号化していなかった場合には（ステップＳ７０８：ＮＯ）、選択信号を出力して予測選択器４０６にＤＣ予測部４０５の出力を選択させ（ステップＳ７１２）、ＤＣ予測符号化処理を実行して（ステップＳ７１３）、最終ブロックの処理が終わったら（ステップＳ７１４：ＹＥＳ）、発生符号量と基準符号量を比較する。
以上のようにすれば、ＤＣ予測符号化を行う際には、メモリバス４１１を介した共用メモリ部４１３へのアクセスをまったく行わないので、他のプロセスによるメモリアクセスによって処理が遅延したり、或いは、他のプロセスの処理を遅延させたりするのを回避することができる。
なお、専用メモリ部４１５を設ける構成は、バストラフィック監視部４１０によってメモリバス４１１の混雑を監視する場合のみならず、発生符号量や処理サイクルを監視して予測符号化を切り替える場合にも適用することができ、また、その効果を得ることができる。
［５］ 変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（１） 上記においては、特に言及しなかったが、上記のようにして予測符号化手段を選択するのと併せて以下のようにして予測符号化手段を選択するとしても良い。
すなわち、ＡＣ係数の予測誤差がＡＣ係数そのものよりも大きい場合にはＤＣ予測符号化を用いることとし、そうでない場合にはＡＣ予測符号化を用いるとしても良い。このようにすれば、符号化効率を向上させることができる。
この予測符号化方式は、適応ＡＣ係数予測（adaptive AC coefficient prediction）と呼ばれ、ＭＰＥＧ−４規格にて規定されている。すなわち、本発明はＭＰＥＧ−４規格に準拠して圧縮符号化される動画像の画質を向上させることができる。
例えば、個々のマクロブロックについて、そのマクロブロックに係るＡＣ係数の絶対値の総和と、当該マクロブロックに係る差分の絶対値の総和とを比較する。
そして、ＡＣ係数の絶対値の総和の方が大きい場合には、当該差分を用いて予測符号化を行う。また、ＡＣ係数の絶対値の総和の方が小さい場合には、ＤＣ予測符号化を行う。このようにすることによって、フレーム内予測符号化の符号化効率を向上させることができる。
（２） 予測符号化方式の切り替えの変形例について、更に説明する。予測符号化方式を切り替えるか否かの判定は、例えば、１フレームを処理する毎に行うとしても良いし、１ブロックライン、或いは、１マクロブロックを処理する毎に行うとしても良い。
一般に、切り替え条件の判定をする頻度が高いほど、より適切な予測符号化方式を選択することができるが、これに伴って判定のための処理負荷が高くなるので、両者のトレードオフを考慮して当該頻度を決定すべきである。
（３） 予測符号化方式の切り替え条件の監視について、上記実施の形態においては特に言及しなかったが、例えば、１フレーム時間毎に監視するとしても良いし、或いは、１ブロックライン時間毎に監視するとしても良い。
一般に、切り替え条件を監視する期間が短いほど、予測符号化方式のより好適な切り替えを実現できると期待されるが、これに伴って監視のための処理負荷が高くなるので、両者のトレードオフを考慮して当該期間を決定すべきである。
なお、当該期間は、上述した切り替え条件を判定する頻度に一致させる必要はなく、本発明を適用する画像符号化装置毎に適当な値を選択すべきである。
［６］ 適用例
本発明に係る画像符号化装置は、ＤＳＣ（digital still camera）、ＤＶＣ（digital video camera）、カメラ付き携帯電話機、やテレビ会議システム等に適用され得る。
以上のうち、ＤＳＣやＤＶＣにあっては、本発明を適用することによって、画像符号化処理による負荷によって他の処理が遅延する等の不都合を解消することができる。
特に、ハイビジョンＴＶのような高解像度な映像を扱う画像処理システムなどにおいては、画像圧縮以外のさまざまな処理の処理量も膨大になり、それらの処理だけでもシステム負荷は大きくなることは必至であり、他の処理への影響を極力低減した符号化を実現する本発明は非常に有用である。
また、カメラ付き携帯電話機やテレビ会議システムにあっては、発明を適用することによって、動画像を転送する際に使用する通信帯域幅を遵守することができるので、フレーム落ち等による画質の劣化を回避することができる。
本発明の適用例として、本発明に係る画像符号化装置を備えた撮像システムについて説明する。
図１５は、本適用例に係る撮像システムの構成を例示する図である。図１５に示されるように、撮像システム５は、光学系５０１、センサー５０２、Ａ／Ｄ変換回路５０３、画像処理回路５０４、記録・転送系５０５、再生系５０６、タイミング制御回路５０７及びシステム制御回路５０８を備えている。また、画像処理回路５０４は、本発明に係る画像符号化装置５０４ａを備えている。
光学系５０１は、被写体からの入射光をセンサー５０２上に結像させる。センサー５０２は入射光をアナログ画像信号に変換する。Ａ／Ｄ変換回路５０３は前記アナログ画像信号をデジタル画像信号に変換する。画像処理回路５０４は、前記デジタル画像信号にて表わされたデジタル画像にＹ／Ｃ処理やエッジ処理、画像の拡大縮小、或いはＪＰＥＧやＭＰＥＧ等の画像処理を施す。記録・転送系５０５は処理されたデジタル画像信号をメディアに記録し、或いは転送する。再生系５０６は記録または転送されたデジタル画像信号を再生する。
タイミング制御回路５０７はセンサー５０２及び画像処理回路５０４の動作タイミングを制御する。システム制御回路５０８は、光学系５０１、記録・転送系５０５、再生系５０６及びタイミング制御回路５０７を制御する。
このような撮像システムの他、ハイビジョンＴＶように光学系やセンサーに代えて、外部から画像信号を受け付けて処理するシステムに本発明を適用しても良い。この場合において、アナログ画像信号を受け付けるシステムではこれをデジタル画像信号に変換して処理すれば良いし、ＩＴＵ−Ｒ Ｒｅｃ.６０１やＩＴＵ−Ｒ Ｒｅｃ.６５６といった規格に準拠したデジタル画像信号を受け付けるシステムではＡ／Ｄ変換を要せず直ちに画像処理すれば良い。
このように、本発明によれば、静止画像を予測符号化する場合であっても動画像を予測符号化する場合であっても、他の処理の遅延を防止すると共に画質の向上を図ることができる。
また、本発明によれば、目標ビットレートを実現するために、電力消費率の高いＡＣ予測符号化を必要最低限に抑えることができるので、低消費電力化が要求されるモバイルカメラ等の機器に有用である。
本発明に係る画像符号化装置及び画像符号化方法は、画質の向上を図ることができる画像符号化技術として有用である。
本発明の第１の実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。 第１の実施の形態に係るＤＣ予測部１０５によるＤＣ予測係数の生成の仕方を示す模式図である。 Ｍ×Ｎ個のマクロブロックで構成される画像をＤＣ予測符号化するために、保持すべきＤＣ係数を示す図である。 第１の実施の形態に係るＡＣ予測部１０８によるＡＣ予測係数の生成の仕方を示す模式図である。 第１の実施の形態に係る画像符号化装置１が実行する処理の流れを示すフローチャートである。 第１の実施の形態に係る画像符号化装置１が実行するＤＣ予測符号化処理（ステップＳ１０２）の流れを示すフローチャートである。 第１の実施の形態に係る画像符号化装置１が実行するＡＣ予測符号化処理（ステップＳ１０５）の流れを示すフローチャートである。 第２の実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。 第２の実施の形態に係る画像符号化装置２が実行する処理の流れを示すフローチャートである。 第２の実施の形態の変形例（２）に係る画像符号化装置が実行する処理の流れを示すフローチャートである。 第３の実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。 第３の実施の形態に係るに係る画像符号化装置３が実行する処理の流れを示すフローチャートである。 第４の実施の形態に係る画像符号化装置の主要な機能構成を示すブロック図である。 第４の実施の形態に係るに係る画像符号化装置４が実行する処理の流れを示すフローチャートである。 本発明に係る画像符号化装置を適用した撮像システムの構成を例示する図である。
符号の説明
１、２、３、４、５０４ａ…画像符号化装置
５…撮像システム
１００、２００、３００、４００…画像入力端子
１０１、２０１、３０１、４０１…ＤＣＴ部
１０２、２０２、３０２、４０２…第１の量子化部
１０３、２０３、３０３、４０３…予測符号化部
１０４、２０４、３０４、４０４…符号出力端子
１０５、２０５、３０５、４０５…ＤＣ予測部
１０６、２０６、３０６、４０６…予測選択器
１０７、２０７、３０７、４０７…第２の量子化部
１０８、２０８、３０８、４０８…ＡＣ予測部
１０９、２０９、３０９、４０９…逆量子化部
１１０、４１０…バストラフィック監視部
１１１、２１１、３１１、４１１…メモリバス
１１２、２１２、３１２、４１２…プロセス群
１１３、２１３、３１３、４１３…メモリ部
１１４、４１４…閾値設定端子
２１０…発生符号量監視部
２１４…ビットレート設定端子
３１０…処理サイクル監視部
３１４…処理サイクル設定端子
４１５…専用メモリ部
５０１…光学系
５０２…センサー
５０３…Ａ／Ｄ変換回路
５０４…画像処理回路
５０５…記録・転送系
５０６…再生系
５０７…タイミング制御回路
５０８…システム制御回路

Claims (12)

  1. ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、
    ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、
    ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、
    自己の動作状況を監視する動作状況監視手段と、
    他の処理と共用されるメモリを備え、
    前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、
    前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、
    前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択する
    ことを特徴とする画像符号化装置。
  2. 前記動作状況監視手段は、前記ＤＣ予測符号化手段と前記ＡＣ予測符号化手段とによって発生した符号量の多寡を監視し、
    前記予測符号化方式選択手段は、前記動作状況監視手段にて前記符号量が多いと判定された場合には前記ＡＣ予測符号化手段を、前記符号量が少ないと判定された場合には前記ＤＣ予測符号化手段を選択する
    こともできることを特徴とする請求項１に記載の画像符号化装置。
  3. 前記動作状況監視手段は、符号化に要する処理サイクルの長短を監視し、
    前記予測符号化方式選択手段は、前記動作状況監視手段にて前記処理サイクルが長いと判定された場合にはＤＣ予測符号化方式で、前記処理サイクルが短いと判定された場合にはＡＣ予測符号化方式で、予測符号化を行う
    こともできることを特徴とする請求項１に記載の画像符号化装置。
  4. 前記動作状況監視手段は、１フレーム時間毎の動作状況を監視する
    ことを特徴とする請求項１に記載の画像符号化装置。
  5. 前記動作状況監視手段は、１ブロックライン時間毎の動作状況を監視する
    ことを特徴とする請求項１に記載の画像符号化装置。
  6. 前記予測符号化方式選択手段は、１フレーム毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択する
    ことを特徴とする請求項１に記載の画像符号化装置。
  7. 前記予測符号化方式選択手段は、１ブロックライン毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択する
    ことを特徴とする請求項１に記載の画像符号化装置。
  8. 前記予測符号化方式選択手段は、１マクロブロック毎にＤＣ予測符号化手段とＡＣ予測符号化手段との何れかを選択する
    ことを特徴とする請求項１に記載の画像符号化装置。
  9. ＤＣ予測符号化手段のみによって使用されるＤＣ予測符号化専用メモリを備え、
    前記ＤＣ予測符号化手段は、前記ＤＣ予測符号化専用メモリに記憶されているＤＣ係数を用いてＤＣ予測符号化を行う
    ことを特徴とする請求項１に記載の画像符号化装置。
  10. 画像符号化装置が実行する画像符号化方法であって、
    前記画像符号化装置の動作状況を監視する動作状況監視ステップと、
    ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択ステップと、
    ＤＣ予測符号化が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化ステップと、
    ＡＣ予測符号化が選択された場合に、画像データを構成するブロック毎にＡＣ予測符号化を行うＡＣ予測符号化ステップとを含み、
    前記ＡＣ予測符号化手段は、他の処理と共用されるメモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、
    前記動作状況監視ステップは、前記メモリに対するアクセス量の多寡を監視し、
    前記予測符号化方式選択ステップは、前記動作状況監視ステップにて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化ステップを、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化ステップを選択する
    ことを特徴とする画像符号化方法。
  11. 被写体の像を結像する結像手段と、
    前記被写体の像を光電変換したアナログ画像信号を出力する光電変換手段と、
    前記アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換手段と、
    前記デジタル画像信号を処理する画像処理手段とを備え、
    前記画像処理手段は、
    ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、
    ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、
    ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、
    自己の動作状況を監視する動作状況監視手段と、
    他の処理と共用されるメモリを備え、
    前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、
    前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、
    前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択する
    ことを特徴とする撮像システム。
  12. アナログ画像信号を受け付けて、デジタル画像信号に変換するＡ／Ｄ変換手段と、
    前記デジタル画像信号を処理する画像処理手段とを備え、
    前記画像処理手段は、
    ＤＣ予測符号化方式とＡＣ予測符号化方式との何れかを選択する予測符号化方式選択手段と、
    ＤＣ予測符号化方式が選択された場合に、画像データを構成するブロック毎にＤＣ予測符号化を行うＤＣ予測符号化手段と、
    ＡＣ予測符号化方式が選択された場合に、前記ブロック毎にＡＣ予測符号化を行うＡＣ予測符号化手段と、
    自己の動作状況を監視する動作状況監視手段と、
    他の処理と共用されるメモリを備え、
    前記ＡＣ予測符号化手段は、前記メモリに記憶されているＡＣ係数を用いてＡＣ予測符号化を行い、
    前記動作状況監視手段は、前記メモリに対するアクセス量の多寡を監視し、
    前記予測符号化方式選択手段は、前記動作状況監視手段にて前記アクセスが多いと判定された場合には前記ＤＣ予測符号化手段を、前記アクセスが少ないと判定された場合には前記ＡＣ予測符号化手段を選択する
    ことを特徴とする画像処理システム。
JP2004332655A 2003-12-19 2004-11-17 画像符号化装置および画像符号化方法 Expired - Fee Related JP4369857B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004332655A JP4369857B2 (ja) 2003-12-19 2004-11-17 画像符号化装置および画像符号化方法
US11/001,078 US7440629B2 (en) 2003-12-19 2004-12-02 Image encoding apparatus and image encoding method
CNB2004100971789A CN1310520C (zh) 2003-12-19 2004-12-13 图像编码装置以及图像编码方法
KR1020040108374A KR20050062454A (ko) 2003-12-19 2004-12-18 화상 부호화 장치 및 화상 부호화 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003423803 2003-12-19
JP2004332655A JP4369857B2 (ja) 2003-12-19 2004-11-17 画像符号化装置および画像符号化方法

Publications (2)

Publication Number Publication Date
JP2005204280A JP2005204280A (ja) 2005-07-28
JP4369857B2 true JP4369857B2 (ja) 2009-11-25

Family

ID=34712961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004332655A Expired - Fee Related JP4369857B2 (ja) 2003-12-19 2004-11-17 画像符号化装置および画像符号化方法

Country Status (4)

Country Link
US (1) US7440629B2 (ja)
JP (1) JP4369857B2 (ja)
KR (1) KR20050062454A (ja)
CN (1) CN1310520C (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232350A1 (en) * 2004-03-30 2005-10-20 Mana Hamada Inverse prediction apparatus and decoding apparatus using the same
JP4590337B2 (ja) * 2005-10-27 2010-12-01 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5074820B2 (ja) * 2007-05-22 2012-11-14 ルネサスエレクトロニクス株式会社 画像処理装置および画像処理方法
US20090060039A1 (en) * 2007-09-05 2009-03-05 Yasuharu Tanaka Method and apparatus for compression-encoding moving image
JP5187062B2 (ja) * 2008-08-15 2013-04-24 富士通株式会社 動画像符号化装置および動画像符号化方法
US8995356B2 (en) * 2009-10-14 2015-03-31 Qualcomm Incorporated Coding methods and apparatus for broadcast channels
KR101331093B1 (ko) * 2009-12-10 2013-11-20 한국전자통신연구원 프레임 메모리의 단일뱅크 내 참조 영상의 픽셀 인터리빙 방법 및 장치, 이를 포함하는 영상코덱 시스템
US8977543B2 (en) 2011-04-21 2015-03-10 Samsung Electronics Co., Ltd. Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefore
CN105513602B (zh) 2011-04-21 2019-08-06 三星电子株式会社 用于语音信号或音频信号的解码设备和方法及量化设备
US9449359B2 (en) * 2012-09-13 2016-09-20 Ati Technologies Ulc Rendering settings in a multi-graphics processing unit system
CN107526688B (zh) * 2017-09-12 2020-05-29 上海兆芯集成电路有限公司 储存装置以及配置方法
CN116158079A (zh) * 2020-07-27 2023-05-23 北京达佳互联信息技术有限公司 用于视频编解码的加权ac预测

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5503758A (en) 1993-03-02 1996-04-02 Mobile Oil Corporation Antiwear and antioxidant additives
US6005622A (en) * 1996-09-20 1999-12-21 At&T Corp Video coder providing implicit or explicit prediction for image coding and intra coding of video
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
KR20010032337A (ko) * 1998-09-22 2001-04-16 마츠시타 덴끼 산교 가부시키가이샤 영상신호 부호화방법, 영상신호 부호화장치 및 프로그램기록매체
JP2001078188A (ja) * 1999-09-01 2001-03-23 Casio Comput Co Ltd 画像圧縮符号化装置、及び記憶媒体
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4

Also Published As

Publication number Publication date
KR20050062454A (ko) 2005-06-23
JP2005204280A (ja) 2005-07-28
US7440629B2 (en) 2008-10-21
CN1310520C (zh) 2007-04-11
CN1630376A (zh) 2005-06-22
US20050147307A1 (en) 2005-07-07

Similar Documents

Publication Publication Date Title
KR100850705B1 (ko) 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
US9357222B2 (en) Video device finishing encoding within the desired length of time
JP3856262B2 (ja) 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
CN100380982C (zh) 图像编码方法和装置
US20070165716A1 (en) Signal processing device, image capturing device, network camera system and video system
JP2011045128A (ja) ビデオ符号化／復号化用の動き補償装置及びその方法
JP2008527933A (ja) 内部予測ビデオ符号化のためのモード選択技術
JP4369857B2 (ja) 画像符号化装置および画像符号化方法
KR20030090308A (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP6875821B2 (ja) 画像符号化装置、撮像装置、画像符号化方法およびプログラム
JP2009089332A (ja) 動き予測方法及び動き予測装置
KR20170045013A (ko) 데이터 인코딩 장치 및 데이터 인코딩 방법
EP1838108A1 (en) Processing video data at a target rate
WO2012046366A1 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
JPH06237454A (ja) 可変長符号化を考慮した動作推定装置
JP5130245B2 (ja) 撮影解像度予測型動画像符号化装置および復号装置
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR20040079084A (ko) 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
US20080025401A1 (en) Method for measuring real-time image complexity
JP4073541B2 (ja) 動画像再符号化装置
JP3947316B2 (ja) 動きベクトル検出装置及びこれを用いた動画像符号化装置
JP2005151344A (ja) データ処理装置およびその方法と符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090828

R150 Certificate of patent or registration of utility model

Ref document number: 4369857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees