JPWO2010050089A1 - 動画像圧縮符号化における符号化処理方法及び符号化処理装置 - Google Patents
動画像圧縮符号化における符号化処理方法及び符号化処理装置 Download PDFInfo
- Publication number
- JPWO2010050089A1 JPWO2010050089A1 JP2010535615A JP2010535615A JPWO2010050089A1 JP WO2010050089 A1 JPWO2010050089 A1 JP WO2010050089A1 JP 2010535615 A JP2010535615 A JP 2010535615A JP 2010535615 A JP2010535615 A JP 2010535615A JP WO2010050089 A1 JPWO2010050089 A1 JP WO2010050089A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- blocks
- movement amount
- encoding
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
動画像符号化部(200)の前段に停止ブロック検出部(100)を設ける。停止ブロック検出部(100)は、処理対象フレームを複数のブロックに分割し、当該フレーム内のブロックを移動量が少ない順にソートし、移動量の少ない方から、符号化処理装置(300)の外部から入力される「該当ブロック設定数」で指定された数のブロックを「停止ブロック」として設定する。動画像符号化部(200)は、停止ブロックに該当するブロックに関しては、動き探索を実行せずに強制的に「動きベクトル=0」に、またDCT処理及び量子化処理を実行せずに強制的に「DCT係数=0」と置き換えて動画像のインター符号化処理を実行する。
Description
本発明は、デジタルカメラ、カメラ付き携帯電話等の動画撮影機能を持つ機器や、画像コンテンツを作成又は使用する際の動画像圧縮符号化技術に関するものである。
近年、高能率符号化を行うMPEG(moving picture experts group)等の動画像圧縮符号化技術の実用化が急速に進み、ビデオカメラや携帯電話等に普及している。
MPEG等の符号化技術においては、様々な符号化モードが規格において定義されている。例えば、MPEG−4においては、符号化対象となるフレームの画面内の画像(以後、対象画像)のみを使用し符号化する「イントラ符号化モード」、また、既に符号化が完了したフレーム(以後、参照フレーム)内から対象画像と相関の強い画像領域を検出(以後、動き探索)し、その動き探索後の画像(以後、動き補償画像)と対象画像との差分値のみを符号化する「インター符号化モード」がある。
後者のインター符号化モードについては、参照フレーム内の参照する画像の位置を表す動きベクトルと、入力画像と動き補償画像との差分画像に対しDCT(discrete cosine transform)処理及び量子化処理を施した後のデータであるDCT係数との組み合わせを可変長符号化してストリームを生成する方法がMPEG−4規格の中で示されている。
インター符号化モードについてもう少し詳しく説明すると、入力画像と動き補償画像とが一致して差分画像が0の場合は、DCT処理及び量子化処理に対して0を入力し、結果を0として出力することになる。また、差分画像が0でなくとも大きな差分がない場合は、量子化により、結果を0として出力することもある。このように出力結果が0である場合は、DCT処理及び量子化処理を実行せずにスキップし、結果を0に置き換えて出力させることで、高速化を実現することができる(特許文献1参照)。
しかし、差分画像が0であるか否か、すなわちDCT処理及び量子化処理をスキップさせることができるか否かを判断するには、実際に各マクロブロックに対して動き探索を実行して差分画像を生成する必要があるため、DCT処理及び量子化処理をスキップできるマクロブロックの数をフレーム処理開始前に把握することができない。このため、処理の高速化度合いをフレーム処理開始前に測ることができないといった問題があった。例えば、1フレーム内の全てのマクロブロックに対してDCT処理及び量子化処理のスキップが選択されて高速化に繋がる場合がある反面、1フレーム内の全てのマクロブロックに対してDCT処理及び量子化処理のスキップが一切選択されず全く高速化に繋がらない場合もあったのである。
本発明の目的は、フレーム処理において必ず一定以上の高速化を実現し、以て符号化処理システムの小型化及び省電力化を達成することにある。
上記目的を達成するため、本発明に係る第1の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上の動き探索処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第2の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上のDCT処理及び量子化処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第3の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴としている。
これにより、前フレーム処理時に移動量検出を同時に実行させることで、処理の更なる高速化を実現できる。
本発明に係る第4の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴としている。
これにより、前フレーム処理時に移動量検出を同時に実行させることで、処理の更なる高速化を実現できる。
本発明に係る第1の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、前記選択されたS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上の動き探索処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第2の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、前記選択されたS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上のDCT処理及び量子化処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明によれば、移動量の少ないブロックに対し強制的に「動きベクトル=0」、「差分画像=0」として符号化するようにし、それに該当するブロックをフレーム内で一定個数以上挿入させることで、該当するブロックは動き探索処理、DCT処理及び量子化処理を実施する必要がなくなるため、高速に動画像符号化処理を完了させることができる。また、より高速に処理が完了することで、低消費電力効果も期待できる。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
《実施の形態1》
図1は、本発明の実施の形態1に係る符号化処理装置の構成を示すブロック図である。図1のように、符号化処理装置300は、入力画像縮小部110、参照画像縮小部111、停止ブロック検出部100、動画像符号化部200、参照フレーム記憶部213から構成されている。
図1は、本発明の実施の形態1に係る符号化処理装置の構成を示すブロック図である。図1のように、符号化処理装置300は、入力画像縮小部110、参照画像縮小部111、停止ブロック検出部100、動画像符号化部200、参照フレーム記憶部213から構成されている。
〈各要素の機能〉
入力画像縮小部110は、符号化対象となる入力画像を入力し、n分の1倍(nは1以上の整数)にフレーム画像を縮小し、停止ブロック検出部100に出力する。同じく参照画像縮小部111も、既に符号化処理が完了したフレーム(参照フレーム)が格納されている参照フレーム記憶部213から参照フレームを入力し、n分の1倍にフレーム画像を縮小し、停止ブロック検出部100に出力する。停止ブロック検出部100では、入力画像縮小部110から入力した入力画像と、参照画像縮小部111から入力した参照画像とを用いてm×m画素(mは1以上の整数)で構成されるブロック単位で画像の移動量を検出する。この移動量検出については後ほど説明する。
入力画像縮小部110は、符号化対象となる入力画像を入力し、n分の1倍(nは1以上の整数)にフレーム画像を縮小し、停止ブロック検出部100に出力する。同じく参照画像縮小部111も、既に符号化処理が完了したフレーム(参照フレーム)が格納されている参照フレーム記憶部213から参照フレームを入力し、n分の1倍にフレーム画像を縮小し、停止ブロック検出部100に出力する。停止ブロック検出部100では、入力画像縮小部110から入力した入力画像と、参照画像縮小部111から入力した参照画像とを用いてm×m画素(mは1以上の整数)で構成されるブロック単位で画像の移動量を検出する。この移動量検出については後ほど説明する。
画像の移動量検出が完了すると、フレーム内のブロックを移動量が少ない順にソートし、移動量の少ない方から、符号化処理装置300の外部から入力される「該当ブロック設定数」で指定された数のブロックを「停止ブロック」として設定する。
動画像符号化部200では、停止ブロック検出部100から入力される停止ブロック情報と、前記入力画像と、参照フレーム記憶部213から入力される参照画像とを受け、動画像符号化規格に則り符号化処理を実行する。その符号化処理(インター符号化処理)を実行する際、停止ブロックに該当するブロックに関しては、動き探索を実行せずに強制的に「動きベクトル=0」に、また、DCT処理及び量子化処理を実行せずに強制的に「DCT係数=0」と置き換えて動画像符号化処理を実行するようにする。
これにより、停止ブロックに該当するブロックにおいては、動き探索処理、DCT処理及び量子化処理をスキップさせることができ、処理を高速化できる。
〈停止ブロック検出について〉
図2は、図1中の停止ブロック検出部100の詳細構成を示す。図2によれば、停止ブロック検出部100は、移動量検出部101と、移動量記憶部102と、停止ブロック選択部103とから構成される。
図2は、図1中の停止ブロック検出部100の詳細構成を示す。図2によれば、停止ブロック検出部100は、移動量検出部101と、移動量記憶部102と、停止ブロック選択部103とから構成される。
停止ブロック検出部100にて行われる画像の移動量検出について図2を用いて説明する。入力画像は入力画像縮小部110によりn分の1に縮小される。また、参照画像も参照画像縮小部111により1/nに縮小される。それがp×p(pは1以上の整数)画素のブロック単位で移動量検出部101に入力される。
移動量検出部101では、その入力されたp×p画素の入力画像と、p×p画素の参照画像とについて、
移動量=ΣΣ|入力画像(i,j)−参照画像(i,j)| …(1)
で表される画素単位の差分の総和を計算する。ここに、i及びjは各々1からpまでの整数である。
移動量=ΣΣ|入力画像(i,j)−参照画像(i,j)| …(1)
で表される画素単位の差分の総和を計算する。ここに、i及びjは各々1からpまでの整数である。
p×p画素毎に上記移動量を計算し、その結果を移動量記憶部102に記憶させる。1フレーム分の移動量検出が完了すると、移動量記憶部102には1フレーム分の移動量情報が記憶されていることになる。この移動量を少ない順にソートし、そのソートした移動量を少ない方から順に停止ブロック選択部103に送る。停止ブロック選択部103は、移動量記憶部102から送られてくる移動量情報と、外部から入力された該当ブロック設定数とを利用し、元のサイズの1フレーム画像において、どのブロック(m×m画素)が停止ブロックに該当するかを決定する。
この停止ブロックの決定に関しては、フレームをn分の1に縮小した画像に対してp×p画素単位に計算される情報を、フレームの等倍画像に対するm×m画素単位に変換する必要がある。これを容易にするために、「p=m/n(縮小画像のブロックサイズp×pは、等倍画像のブロックサイズm×mをn分の1した値)」にする、もしくは、「p=m(縮小画像、等倍画像での処理単位を同じ)」にすることで、変換を簡単にすることができる。
前者の「p=m/n」である場合、縮小画像を用いて処理を実行する1ブロックは、そのまま等倍画像の1ブロックに1対1で変換することができる。ここで、「p=8、m=16、n=2」の例を、図3に示す。
後者の「p=m」である場合、縮小画像を用いて処理を実行する1ブロックは、等倍画像のn×nブロック分の領域に変換すればよい。ここで、「p=16、m=16、n=2」の例を、図4に示す。
前者の利点としては、縮小画像においても入力画像と同じブロック数で停止ブロック判定を行うことになるため、最小ブロック単位での判定を行うことができる。後者の利点としては、入力画像に対して縮小画像のブロック数を少なくすることができるため、縮小画像内の全ブロックの移動量情報を格納する必要がある移動量記憶部102のメモリ容量を削減することができる。
停止ブロック選択部103は、上記のp、m、nの関係を利用し、移動量記憶部102から出力される縮小画像1ブロックが入力画像のどのブロックに対応しているかを判断し、停止ブロックに該当する入力画像のブロック数が、少なくとも該当ブロック設定数以上の個数になるように制御を行う。具体的な処理フローを図5を用いて説明する。
まず、入力画像1フレーム内の全ブロックを「移動ブロック」と設定する。この移動ブロックは停止ブロックでないことを表し、移動ブロックに該当するブロックにおいては、通常の符号化処理である動き探索、DCT処理及び量子化処理を実行することになる(S100)。
次いで、移動量記憶部102に記憶している移動量情報を移動量が少ない方から1つずつ情報を取得する(S101)。そして、その情報を元に、図3、図4に示したp、m、nの関係で、どの入力画像のブロックが該当しているかを判定し(S102)、該当しているブロックに関しては、停止ブロックと設定する(S103)。この停止ブロックと設定されたブロックに関しては、後の符号化処理において動き探索、DCT処理及び量子化処理をスキップさせることになる。
最後にS103で設定された停止ブロックの総数を数え、その値が該当ブロック設定数を超えているかを調べる(S104)。停止ブロックの総数が該当ブロック設定数を超えている場合には、停止ブロック決定処理を終了させる。超えていない場合には、S101の処理に戻り、停止ブロックの追加を行う。
なお、上記にてp、m、nの関係につき2通りの関係を説明したが、一例として取り上げたもので、必ずしもその関係にある必要はない。
また、本例では移動量記憶部102内には1フレーム内の全ブロックの移動量情報を記憶させるような説明を行ったが、停止ブロック選択部103にて停止ブロックを選択する際に必要な情報のみが記憶されているだけでもよい。
具体例を挙げて説明すると、該当ブロック設定数により停止ブロック選択部103が2ブロックの移動量情報を移動量記憶部102から読み出す場合、移動量記憶部102には2ブロック分の移動量情報のみを記憶できていればよい。例えば、移動量検出部101から「100」、「10」、「20」、「5」という順に計4ブロックの移動量が移動量記憶部102に書き込まれ、そのうちの2ブロックの情報「5」、「10」が停止ブロック選択部103に渡される場合、移動量記憶部102には、「5」、「10」を移動量として持つ2ブロックの情報さえ記憶されておればよい。この場合、移動量検出部101から移動量記憶部102に書き込まれる際に、まず「100」を入力し「100」を記憶する。次に「10」が入力され、「10」と「100」とを持つ。次に「20」が入力され、「100」を消して、「10」と、「100」より少ない「20」とを持つ。最後に「5」が入力され、「20」を消して、「5」と「10」とを持つ。というように、常に移動量が少ないブロックを2ブロック分だけ持つようにして記憶すれば、移動量記憶部102の容量を、より小さく構成することができる。
〈停止ブロックに該当するブロックの処理について〉
停止ブロック選択部103から出力される停止ブロック情報と、符号化の対象画像となる入力画像とを受けて実行する動画像符号化処理を、図6を用いて説明する。なお、本発明はインター符号化処理において効果を発揮するものであるため、主にインター符号化の例を説明することにする。
停止ブロック選択部103から出力される停止ブロック情報と、符号化の対象画像となる入力画像とを受けて実行する動画像符号化処理を、図6を用いて説明する。なお、本発明はインター符号化処理において効果を発揮するものであるため、主にインター符号化の例を説明することにする。
通常のインター符号化処理では、入力画像は、まず動き探索部201に入力される。そこには、既に処理が完了しているフレーム画像(参照画像)も入力され、入力画像及び参照画像を用いて動き探索処理が実行される。その動き探索結果を動き補償画像生成部202に渡し、参照画像から動き補償画像を生成する。その後、入力画像と動き補償画像との差分画像を減算器203を用いて生成し、セレクタ204に渡す。セレクタ204はイントラ符号化の時は入力画像を選択し、インター符号化の時は減算器203から出力される差分画像を選択する。本例ではインター符号化を示すためセレクタ204では差分画像が選択されることになる。その差分画像はDCT処理部205に入力されDCT処理が実施された後、量子化部206に渡り量子化処理が実施されDCT係数を生成する。そのDCT係数は、可変長符号化部209に渡し可変長符号化が実行される。その可変長符号化部209には動き探索部201から動きベクトル情報も渡り、動きベクトル情報も符号化される。可変長符号化部209は、動きベクトル情報及びDCT係数の双方を含む可変長符号化情報を生成する。可変長符号化部209で生成された可変長符号化情報は、生成ストリームとして外部に出力される。
また、量子化処理部206で生成されたDCT係数は、逆量子化処理部207にも渡され逆量子化処理が実施された後、逆DCT処理部208に渡され逆DCT処理が実施される。その結果のデータと、動き補償画像生成部202からスイッチ211を経由して供給される動き補償画像とを加算器212にて加算することで参照画像を生成し、参照フレーム記憶部213に記憶する。
以上の通常のインター符号化処理に対して、停止ブロックと判断されたブロックにおける処理を以下に説明する。インター符号化処理は、ブロック単位で実行されるが、その実行するブロックが移動ブロックか停止ブロックかは、停止ブロック情報としてブロック単位で動画像符号化部200に通知される。
停止ブロックとして通知されたブロックに関しては、動き探索部201にて行う動き探索処理を実行せず、実行結果(動きベクトル)を0として動き補償画像生成部202及び可変長符号化部209に出力する。また、DCT処理部205にて行うDCT処理、量子化処理部206にて行う量子化処理も実行せず、量子化処理結果(DCT係数)も0として可変長符号化部209及び逆量子化部207に出力する。当然、逆量子化部207、逆DCT処理部208も処理を実行せず、逆DCT処理部208からは0を加算器212に対して出力することになる。このように停止ブロックとして設定されたブロックにおいては、動き探索処理、DCT処理、量子化処理、逆量子化処理、逆DCT処理の実行をスキップさせることができる。
上記に示したとおり、各フレーム内のブロックに対し、一定の個数以上のブロックを意図的に停止ブロックと設定し、その停止ブロックに対しては、必ず処理をスキップさせるようにすることで、全てのブロックに対し通常の符号化処理を実施することに比べ、一定以上の高速化を実現することができる。この機能を利用することで、高速処理が求められる高解像度処理又は高フレームレート処理を、より小さな実装規模にて実現することができる。また、高速に処理が実行されることから早く処理が完了させることができるため低消費電力化にも繋がる。
なお、本実施の形態ではp×pもしくはm×mといった正方ブロックを用いたが、px×py、mx×my(px、py、mx、myは1以上の整数)といった長方ブロックとしてもよい。また、縮小率を表すnにおいても水平nx、垂直ny(nx,nyは1以上の整数)といった方向別の縮小率を用意し、それに応じた縮小処理を行うことも可能である。
また、本実施の形態では、停止ブロックとして設定されたブロックに関しては、動きベクトルとDCT係数とを共に0に設定することを説明したが、一方のみ(動きベクトルのみ0、又は、DCT係数のみ0)として、動き探索処理のみを実行しない、又は、DCT処理、量子化処理、逆量子化処理及び逆DCT処理を実行しないといった方法でも十分高速化を図ることができるのは言うまでもない。
《実施の形態2》
実施の形態2においては、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態2においては、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態1においては、フレーム毎に一定個数以上の停止ブロックを作成することで、一定の高速化、低消費電力化を図ることができたが、図7の例に示すように、あるブロックが数フレームに渡り停止ブロックと指定され続けた場合、強制的に「動きベクトル=0」、「差分画像=0」として符号化されることから、数フレームに渡り、常に前フレームと同じ画像を出力し続けることになる。1画素も移動することなく画像が停止している場合には問題ないが、数画素ずつ移動しているにも拘わらず、他のブロックより式1で計算される移動量が少なく、そのことで停止ブロックに指定されている場合、数フレームに1回しか画像が更新されない(移動ブロックとして指定されない)ことは、動画像として画質の劣化にも繋がりかねないことである。本実施の形態2では、この問題を解決する実施内容について説明する。
各フレームにおいて停止ブロックとするブロック数を規定する該当ブロック設定数が停止ブロック検出部100に入力されることは、実施の形態1で既に説明している。この該当ブロック設定数の値をフレーム毎に切り替えることで、上記問題を解決する。
あるフレーム(qフレーム目)においては、該当ブロック設定数を非0に設定し、高速化効果を得るようにする。次のフレーム(q+1フレーム目)においては、該当ブロック設定数を0に設定し、全てのブロックを移動ブロックとして符号化する。また、次のフレーム(q+2フレーム目)においては、該当ブロック設定数を非0に設定し、qフレーム目と同様に高速化効果を得るようにする。
このように、該当ブロック設定数を0に設定するフレームと非0に設定するフレームとをフレーム単位で切り替えるようにすることで、必ず一定個数の停止ブロックを埋め込むことで高速化効果を得ることができると共に、図7を用いて説明した同一ブロックが数フレームに渡り停止ブロックと指定され続けることを抑制できる。
上記では、2フレームに1回、該当ブロック設定数を0にするフレームを設けることを例に挙げ説明したが、rフレーム(rは2以上の整数)に1回、該当ブロック設定数を0にし、それ以外のフレームは非0とすることも当然、可能である。
また、上記のようにフレーム単位で該当ブロック設定数を切り替えて符号化処理を実行した場合、図8に示すとおり、フレームの符号量が大きく増減してしまう。当然、該当ブロック設定数が0の時は符号量が増加し、非0の時は符号量が減少する。このことで、例えば、前フレームの符号量と前フレームの量子化パラメータとをビットレート制御に用いている場合、次のような問題が発生する。
一般的に、前フレームで符号量が少ない場合、次フレームで符号量を増やす方向に制御する。逆に、前フレームで符号量が多い場合、次フレームで符号量を減らす方向に制御する。ところが、図8のように増減が繰り返されると、安定したビットレート制御が行えない。言い換えると、同じ量子化パラメータを設定しても符号量が多いフレームもあれば、少ないフレームもあり、ビットレート制御が困難になる。
この問題には、図9に示す方法で対処する。図9の例では、「フレーム内のブロック総数=100」とし、該当ブロック設定数が0とするフレームと、フレーム内の半分のブロック(=50)とするフレームとを毎フレーム切り替えて符号化している。後者の「該当ブロック設定数=50」としているフレームにおいては、当該フレームのうち約1/2のブロックしか符号化されていないため、フレームの符号量も約1/2になる。これに対し、フレーム内の全ブロックを移動ブロックとして符号化した場合の推定符号量を、「符号量×フレーム内ブロック総数/該当ブロック設定数(=符号量×100/50=符号量×2)」として算出する。図9の例では、実際の符号量に係数「2」が掛けられる。このようにして得られた推定符号量の値をビットレート制御に用いることで、同一量子化パラメータに対してみかけ上、同等の符号量が出力されたことになるため、より安定したビットレート制御を実現することができる。
上記は、次フレームの量子化パラメータを決定する際に用いる、前フレームの符号量を暫定的に規定した内容であり、目標符号量に対する差分符号量においては、上記係数を掛ける前の符号量を使用する必要があるのは言うまでもない。
《実施の形態3》
実施の形態3においても、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態3においても、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態1においては、停止ブロック検出部100にて符号化フレームにおける停止ブロックの位置を設定し、次の動画像符号化部200にて符号化する際に、停止ブロックとして設定されたブロックに関しては、符号化処理の一部をスキップさせることについて説明した。
しかし、この構成の場合、図1中の停止ブロック検出部100での処理と、動画像符号化部200での処理とをシーケンシャルに実行することとなる(図10参照)。本実施の形態3においては、更に高速化を実現する方法について説明する。
実施の形態1では、図1を用いて、停止ブロックの設定を行う停止ブロック検出部100と、符号化処理を実行する動画像符号化部200とが別々の手段で構成されている例を示した。これに対し、本実施の形態の符号化処理装置300bにおいては、図11に示すように停止ブロックの設定と符号化処理とを同一の手段、すなわち動画像符号化部200bで実行し、sを整数とするとき、sフレーム目の符号化処理を行う際に動き探索部201で実行する動き探索処理にて、s+1フレーム目の停止ブロックの設定を行うようにするものである(図12参照)。
具体的に説明する。図12における動き探索部201bに対して入力画像と参照画像とが入力され、動き探索が実行される。その際に、前述の式1に示した移動量も同時に計算し、その結果を移動量記憶部102bに記憶しておく。1フレーム分の処理(移動量検出処理)が完了すると、移動量記憶部102bに記憶されている移動量情報を移動量の少ない順にソートし、少ない順から停止ブロック選択部103bに出力する。停止ブロック選択部103bにおいては、該当ブロック設定数個分の停止ブロックを設定し、その停止ブロック情報を動画像符号化部200bに出力する。
停止ブロック選択部103bにおいて停止ブロックを設定する際のp、m、nの関係は、縮小画像を用いて停止ブロック検出を行うわけではないため、「p=m、n=1」という関係になることは言うまでもない。
このように、本発明の実施の形態3によれば、停止ブロック選択部103bで設定した停止ブロック情報は、次のフレームを処理する際の停止ブロック位置情報として使用される。つまり、停止ブロック検出処理と動画像符号化処理とを並列実行することにより、更に高速に処理を完了させることができる(図13参照)。
以上、本発明の実施の形態1〜3に係る符号化処理装置300,300bを説明した。次に、これらの符号化処理装置300,300bの応用例を説明する。
図14は、本発明に係る符号化処理装置を用いた撮像システム601、例えばデジタルスチルカメラ(DSC)の構成ブロック図である。図14中の信号処理装置606は、上記本発明の実施の形態1〜3に係る符号化処理装置300,300bのいずれかである。
図14によれば、光学系602を通って入射した画像光はセンサ603上に結像される。センサ603はタイミング制御回路609によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ603から読み出された電気信号は、アナログ・デジタル変換器(ADC)604によってデジタル信号へと変換された後に、当該信号処理装置606を含む画像処理回路605に入力される。この画像処理回路605においては、Y/C処理、エッジ処理、画像の拡大縮小処理、及び本発明を用いた画像圧縮伸張処理等の画像処理が行われる。画像処理された信号は、記録転送回路607においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路608により再生される。この撮像システム601の全体は、システム制御回路610によって制御されている。
なお、本発明に係る信号処理装置606における画像処理は必ずしも光学系602を介してセンサ603に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。
以上説明してきたとおり、本発明に係る符号化処理方法及び符号化処理装置は、高速に符号化処理を完了させることができるため、高フレームレート、高解像度等のハイスペックな撮像システム等に有用である。
100 停止ブロック検出部
101 移動量検出部
102,102b 移動量記憶部
103,103b 停止ブロック選択部
110 入力画像縮小部
111 参照画像縮小部
200,200b 動画像符号化部
201,201b 動き探索部
202 動き補償画像生成部
203 減算器
204 セレクタ
205 DCT処理部
206 量子化処理部
207 逆量子化処理部
208 逆DCT処理部
209 可変長符号化部
211 スイッチ
212 加算器
213 参照フレーム記憶部
300,300b 符号化処理装置
601 撮像システム
605 画像処理回路
606 信号処理装置(符号化処理装置)
101 移動量検出部
102,102b 移動量記憶部
103,103b 停止ブロック選択部
110 入力画像縮小部
111 参照画像縮小部
200,200b 動画像符号化部
201,201b 動き探索部
202 動き補償画像生成部
203 減算器
204 セレクタ
205 DCT処理部
206 量子化処理部
207 逆量子化処理部
208 逆DCT処理部
209 可変長符号化部
211 スイッチ
212 加算器
213 参照フレーム記憶部
300,300b 符号化処理装置
601 撮像システム
605 画像処理回路
606 信号処理装置(符号化処理装置)
本発明は、デジタルカメラ、カメラ付き携帯電話等の動画撮影機能を持つ機器や、画像コンテンツを作成又は使用する際の動画像圧縮符号化技術に関するものである。
近年、高能率符号化を行うMPEG(moving picture experts group)等の動画像圧縮符号化技術の実用化が急速に進み、ビデオカメラや携帯電話等に普及している。
MPEG等の符号化技術においては、様々な符号化モードが規格において定義されている。例えば、MPEG−4においては、符号化対象となるフレームの画面内の画像(以後、対象画像)のみを使用し符号化する「イントラ符号化モード」、また、既に符号化が完了したフレーム(以後、参照フレーム)内から対象画像と相関の強い画像領域を検出(以後、動き探索)し、その動き探索後の画像(以後、動き補償画像)と対象画像との差分値のみを符号化する「インター符号化モード」がある。
後者のインター符号化モードについては、参照フレーム内の参照する画像の位置を表す動きベクトルと、入力画像と動き補償画像との差分画像に対しDCT(discrete cosine transform)処理及び量子化処理を施した後のデータであるDCT係数との組み合わせを可変長符号化してストリームを生成する方法がMPEG−4規格の中で示されている。
インター符号化モードについてもう少し詳しく説明すると、入力画像と動き補償画像とが一致して差分画像が0の場合は、DCT処理及び量子化処理に対して0を入力し、結果を0として出力することになる。また、差分画像が0でなくとも大きな差分がない場合は、量子化により、結果を0として出力することもある。このように出力結果が0である場合は、DCT処理及び量子化処理を実行せずにスキップし、結果を0に置き換えて出力させることで、高速化を実現することができる(特許文献1参照)。
しかし、差分画像が0であるか否か、すなわちDCT処理及び量子化処理をスキップさせることができるか否かを判断するには、実際に各マクロブロックに対して動き探索を実行して差分画像を生成する必要があるため、DCT処理及び量子化処理をスキップできるマクロブロックの数をフレーム処理開始前に把握することができない。このため、処理の高速化度合いをフレーム処理開始前に測ることができないといった問題があった。例えば、1フレーム内の全てのマクロブロックに対してDCT処理及び量子化処理のスキップが選択されて高速化に繋がる場合がある反面、1フレーム内の全てのマクロブロックに対してDCT処理及び量子化処理のスキップが一切選択されず全く高速化に繋がらない場合もあったのである。
本発明の目的は、フレーム処理において必ず一定以上の高速化を実現し、以て符号化処理システムの小型化及び省電力化を達成することにある。
上記目的を達成するため、本発明に係る第1の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上の動き探索処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第2の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法において、フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上のDCT処理及び量子化処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第3の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴としている。
これにより、前フレーム処理時に移動量検出を同時に実行させることで、処理の更なる高速化を実現できる。
本発明に係る第4の符号化処理方法は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法において、画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴としている。
これにより、前フレーム処理時に移動量検出を同時に実行させることで、処理の更なる高速化を実現できる。
本発明に係る第1の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、前記選択されたS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上の動き探索処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明に係る第2の符号化処理装置は、処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理装置において、符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、前記選択されたS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴としている。
これにより、符号化フレームにおいて必ず一定個数以上のDCT処理及び量子化処理を実行しなくともよいブロックを作り出すことができ、処理の高速化を実現できる。
本発明によれば、移動量の少ないブロックに対し強制的に「動きベクトル=0」、「差分画像=0」として符号化するようにし、それに該当するブロックをフレーム内で一定個数以上挿入させることで、該当するブロックは動き探索処理、DCT処理及び量子化処理を実施する必要がなくなるため、高速に動画像符号化処理を完了させることができる。また、より高速に処理が完了することで、低消費電力効果も期待できる。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
《実施の形態1》
図1は、本発明の実施の形態1に係る符号化処理装置の構成を示すブロック図である。図1のように、符号化処理装置300は、入力画像縮小部110、参照画像縮小部111、停止ブロック検出部100、動画像符号化部200、参照フレーム記憶部213から構成されている。
図1は、本発明の実施の形態1に係る符号化処理装置の構成を示すブロック図である。図1のように、符号化処理装置300は、入力画像縮小部110、参照画像縮小部111、停止ブロック検出部100、動画像符号化部200、参照フレーム記憶部213から構成されている。
〈各要素の機能〉
入力画像縮小部110は、符号化対象となる入力画像を入力し、n分の1倍(nは1以上の整数)にフレーム画像を縮小し、停止ブロック検出部100に出力する。同じく参照画像縮小部111も、既に符号化処理が完了したフレーム(参照フレーム)が格納されている参照フレーム記憶部213から参照フレームを入力し、n分の1倍にフレーム画像を縮小し、停止ブロック検出部100に出力する。停止ブロック検出部100では、入力画像縮小部110から入力した入力画像と、参照画像縮小部111から入力した参照画像とを用いてm×m画素(mは1以上の整数)で構成されるブロック単位で画像の移動量を検出する。この移動量検出については後ほど説明する。
入力画像縮小部110は、符号化対象となる入力画像を入力し、n分の1倍(nは1以上の整数)にフレーム画像を縮小し、停止ブロック検出部100に出力する。同じく参照画像縮小部111も、既に符号化処理が完了したフレーム(参照フレーム)が格納されている参照フレーム記憶部213から参照フレームを入力し、n分の1倍にフレーム画像を縮小し、停止ブロック検出部100に出力する。停止ブロック検出部100では、入力画像縮小部110から入力した入力画像と、参照画像縮小部111から入力した参照画像とを用いてm×m画素(mは1以上の整数)で構成されるブロック単位で画像の移動量を検出する。この移動量検出については後ほど説明する。
画像の移動量検出が完了すると、フレーム内のブロックを移動量が少ない順にソートし、移動量の少ない方から、符号化処理装置300の外部から入力される「該当ブロック設定数」で指定された数のブロックを「停止ブロック」として設定する。
動画像符号化部200では、停止ブロック検出部100から入力される停止ブロック情報と、前記入力画像と、参照フレーム記憶部213から入力される参照画像とを受け、動画像符号化規格に則り符号化処理を実行する。その符号化処理(インター符号化処理)を実行する際、停止ブロックに該当するブロックに関しては、動き探索を実行せずに強制的に「動きベクトル=0」に、また、DCT処理及び量子化処理を実行せずに強制的に「DCT係数=0」と置き換えて動画像符号化処理を実行するようにする。
これにより、停止ブロックに該当するブロックにおいては、動き探索処理、DCT処理及び量子化処理をスキップさせることができ、処理を高速化できる。
〈停止ブロック検出について〉
図2は、図1中の停止ブロック検出部100の詳細構成を示す。図2によれば、停止ブロック検出部100は、移動量検出部101と、移動量記憶部102と、停止ブロック選択部103とから構成される。
図2は、図1中の停止ブロック検出部100の詳細構成を示す。図2によれば、停止ブロック検出部100は、移動量検出部101と、移動量記憶部102と、停止ブロック選択部103とから構成される。
停止ブロック検出部100にて行われる画像の移動量検出について図2を用いて説明する。入力画像は入力画像縮小部110によりn分の1に縮小される。また、参照画像も参照画像縮小部111により1/nに縮小される。それがp×p(pは1以上の整数)画素のブロック単位で移動量検出部101に入力される。
移動量検出部101では、その入力されたp×p画素の入力画像と、p×p画素の参照画像とについて、
移動量=ΣΣ|入力画像(i,j)−参照画像(i,j)| …(1)
で表される画素単位の差分の総和を計算する。ここに、i及びjは各々1からpまでの整数である。
移動量=ΣΣ|入力画像(i,j)−参照画像(i,j)| …(1)
で表される画素単位の差分の総和を計算する。ここに、i及びjは各々1からpまでの整数である。
p×p画素毎に上記移動量を計算し、その結果を移動量記憶部102に記憶させる。1フレーム分の移動量検出が完了すると、移動量記憶部102には1フレーム分の移動量情報が記憶されていることになる。この移動量を少ない順にソートし、そのソートした移動量を少ない方から順に停止ブロック選択部103に送る。停止ブロック選択部103は、移動量記憶部102から送られてくる移動量情報と、外部から入力された該当ブロック設定数とを利用し、元のサイズの1フレーム画像において、どのブロック(m×m画素)が停止ブロックに該当するかを決定する。
この停止ブロックの決定に関しては、フレームをn分の1に縮小した画像に対してp×p画素単位に計算される情報を、フレームの等倍画像に対するm×m画素単位に変換する必要がある。これを容易にするために、「p=m/n(縮小画像のブロックサイズp×pは、等倍画像のブロックサイズm×mをn分の1した値)」にする、もしくは、「p=m(縮小画像、等倍画像での処理単位を同じ)」にすることで、変換を簡単にすることができる。
前者の「p=m/n」である場合、縮小画像を用いて処理を実行する1ブロックは、そのまま等倍画像の1ブロックに1対1で変換することができる。ここで、「p=8、m=16、n=2」の例を、図3に示す。
後者の「p=m」である場合、縮小画像を用いて処理を実行する1ブロックは、等倍画像のn×nブロック分の領域に変換すればよい。ここで、「p=16、m=16、n=2」の例を、図4に示す。
前者の利点としては、縮小画像においても入力画像と同じブロック数で停止ブロック判定を行うことになるため、最小ブロック単位での判定を行うことができる。後者の利点としては、入力画像に対して縮小画像のブロック数を少なくすることができるため、縮小画像内の全ブロックの移動量情報を格納する必要がある移動量記憶部102のメモリ容量を削減することができる。
停止ブロック選択部103は、上記のp、m、nの関係を利用し、移動量記憶部102から出力される縮小画像1ブロックが入力画像のどのブロックに対応しているかを判断し、停止ブロックに該当する入力画像のブロック数が、少なくとも該当ブロック設定数以上の個数になるように制御を行う。具体的な処理フローを図5を用いて説明する。
まず、入力画像1フレーム内の全ブロックを「移動ブロック」と設定する。この移動ブロックは停止ブロックでないことを表し、移動ブロックに該当するブロックにおいては、通常の符号化処理である動き探索、DCT処理及び量子化処理を実行することになる(S100)。
次いで、移動量記憶部102に記憶している移動量情報を移動量が少ない方から1つずつ情報を取得する(S101)。そして、その情報を元に、図3、図4に示したp、m、nの関係で、どの入力画像のブロックが該当しているかを判定し(S102)、該当しているブロックに関しては、停止ブロックと設定する(S103)。この停止ブロックと設定されたブロックに関しては、後の符号化処理において動き探索、DCT処理及び量子化処理をスキップさせることになる。
最後にS103で設定された停止ブロックの総数を数え、その値が該当ブロック設定数を超えているかを調べる(S104)。停止ブロックの総数が該当ブロック設定数を超えている場合には、停止ブロック決定処理を終了させる。超えていない場合には、S101の処理に戻り、停止ブロックの追加を行う。
なお、上記にてp、m、nの関係につき2通りの関係を説明したが、一例として取り上げたもので、必ずしもその関係にある必要はない。
また、本例では移動量記憶部102内には1フレーム内の全ブロックの移動量情報を記憶させるような説明を行ったが、停止ブロック選択部103にて停止ブロックを選択する際に必要な情報のみが記憶されているだけでもよい。
具体例を挙げて説明すると、該当ブロック設定数により停止ブロック選択部103が2ブロックの移動量情報を移動量記憶部102から読み出す場合、移動量記憶部102には2ブロック分の移動量情報のみを記憶できていればよい。例えば、移動量検出部101から「100」、「10」、「20」、「5」という順に計4ブロックの移動量が移動量記憶部102に書き込まれ、そのうちの2ブロックの情報「5」、「10」が停止ブロック選択部103に渡される場合、移動量記憶部102には、「5」、「10」を移動量として持つ2ブロックの情報さえ記憶されておればよい。この場合、移動量検出部101から移動量記憶部102に書き込まれる際に、まず「100」を入力し「100」を記憶する。次に「10」が入力され、「10」と「100」とを持つ。次に「20」が入力され、「100」を消して、「10」と、「100」より少ない「20」とを持つ。最後に「5」が入力され、「20」を消して、「5」と「10」とを持つ。というように、常に移動量が少ないブロックを2ブロック分だけ持つようにして記憶すれば、移動量記憶部102の容量を、より小さく構成することができる。
〈停止ブロックに該当するブロックの処理について〉
停止ブロック選択部103から出力される停止ブロック情報と、符号化の対象画像となる入力画像とを受けて実行する動画像符号化処理を、図6を用いて説明する。なお、本発明はインター符号化処理において効果を発揮するものであるため、主にインター符号化の例を説明することにする。
停止ブロック選択部103から出力される停止ブロック情報と、符号化の対象画像となる入力画像とを受けて実行する動画像符号化処理を、図6を用いて説明する。なお、本発明はインター符号化処理において効果を発揮するものであるため、主にインター符号化の例を説明することにする。
通常のインター符号化処理では、入力画像は、まず動き探索部201に入力される。そこには、既に処理が完了しているフレーム画像(参照画像)も入力され、入力画像及び参照画像を用いて動き探索処理が実行される。その動き探索結果を動き補償画像生成部202に渡し、参照画像から動き補償画像を生成する。その後、入力画像と動き補償画像との差分画像を減算器203を用いて生成し、セレクタ204に渡す。セレクタ204はイントラ符号化の時は入力画像を選択し、インター符号化の時は減算器203から出力される差分画像を選択する。本例ではインター符号化を示すためセレクタ204では差分画像が選択されることになる。その差分画像はDCT処理部205に入力されDCT処理が実施された後、量子化部206に渡り量子化処理が実施されDCT係数を生成する。そのDCT係数は、可変長符号化部209に渡し可変長符号化が実行される。その可変長符号化部209には動き探索部201から動きベクトル情報も渡り、動きベクトル情報も符号化される。可変長符号化部209は、動きベクトル情報及びDCT係数の双方を含む可変長符号化情報を生成する。可変長符号化部209で生成された可変長符号化情報は、生成ストリームとして外部に出力される。
また、量子化処理部206で生成されたDCT係数は、逆量子化処理部207にも渡され逆量子化処理が実施された後、逆DCT処理部208に渡され逆DCT処理が実施される。その結果のデータと、動き補償画像生成部202からスイッチ211を経由して供給される動き補償画像とを加算器212にて加算することで参照画像を生成し、参照フレーム記憶部213に記憶する。
以上の通常のインター符号化処理に対して、停止ブロックと判断されたブロックにおける処理を以下に説明する。インター符号化処理は、ブロック単位で実行されるが、その実行するブロックが移動ブロックか停止ブロックかは、停止ブロック情報としてブロック単位で動画像符号化部200に通知される。
停止ブロックとして通知されたブロックに関しては、動き探索部201にて行う動き探索処理を実行せず、実行結果(動きベクトル)を0として動き補償画像生成部202及び可変長符号化部209に出力する。また、DCT処理部205にて行うDCT処理、量子化処理部206にて行う量子化処理も実行せず、量子化処理結果(DCT係数)も0として可変長符号化部209及び逆量子化部207に出力する。当然、逆量子化部207、逆DCT処理部208も処理を実行せず、逆DCT処理部208からは0を加算器212に対して出力することになる。このように停止ブロックとして設定されたブロックにおいては、動き探索処理、DCT処理、量子化処理、逆量子化処理、逆DCT処理の実行をスキップさせることができる。
上記に示したとおり、各フレーム内のブロックに対し、一定の個数以上のブロックを意図的に停止ブロックと設定し、その停止ブロックに対しては、必ず処理をスキップさせるようにすることで、全てのブロックに対し通常の符号化処理を実施することに比べ、一定以上の高速化を実現することができる。この機能を利用することで、高速処理が求められる高解像度処理又は高フレームレート処理を、より小さな実装規模にて実現することができる。また、高速に処理が実行されることから早く処理が完了させることができるため低消費電力化にも繋がる。
なお、本実施の形態ではp×pもしくはm×mといった正方ブロックを用いたが、px×py、mx×my(px、py、mx、myは1以上の整数)といった長方ブロックとしてもよい。また、縮小率を表すnにおいても水平nx、垂直ny(nx,nyは1以上の整数)といった方向別の縮小率を用意し、それに応じた縮小処理を行うことも可能である。
また、本実施の形態では、停止ブロックとして設定されたブロックに関しては、動きベクトルとDCT係数とを共に0に設定することを説明したが、一方のみ(動きベクトルのみ0、又は、DCT係数のみ0)として、動き探索処理のみを実行しない、又は、DCT処理、量子化処理、逆量子化処理及び逆DCT処理を実行しないといった方法でも十分高速化を図ることができるのは言うまでもない。
《実施の形態2》
実施の形態2においては、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態2においては、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態1においては、フレーム毎に一定個数以上の停止ブロックを作成することで、一定の高速化、低消費電力化を図ることができたが、図7の例に示すように、あるブロックが数フレームに渡り停止ブロックと指定され続けた場合、強制的に「動きベクトル=0」、「差分画像=0」として符号化されることから、数フレームに渡り、常に前フレームと同じ画像を出力し続けることになる。1画素も移動することなく画像が停止している場合には問題ないが、数画素ずつ移動しているにも拘わらず、他のブロックより式1で計算される移動量が少なく、そのことで停止ブロックに指定されている場合、数フレームに1回しか画像が更新されない(移動ブロックとして指定されない)ことは、動画像として画質の劣化にも繋がりかねないことである。本実施の形態2では、この問題を解決する実施内容について説明する。
各フレームにおいて停止ブロックとするブロック数を規定する該当ブロック設定数が停止ブロック検出部100に入力されることは、実施の形態1で既に説明している。この該当ブロック設定数の値をフレーム毎に切り替えることで、上記問題を解決する。
あるフレーム(qフレーム目)においては、該当ブロック設定数を非0に設定し、高速化効果を得るようにする。次のフレーム(q+1フレーム目)においては、該当ブロック設定数を0に設定し、全てのブロックを移動ブロックとして符号化する。また、次のフレーム(q+2フレーム目)においては、該当ブロック設定数を非0に設定し、qフレーム目と同様に高速化効果を得るようにする。
このように、該当ブロック設定数を0に設定するフレームと非0に設定するフレームとをフレーム単位で切り替えるようにすることで、必ず一定個数の停止ブロックを埋め込むことで高速化効果を得ることができると共に、図7を用いて説明した同一ブロックが数フレームに渡り停止ブロックと指定され続けることを抑制できる。
上記では、2フレームに1回、該当ブロック設定数を0にするフレームを設けることを例に挙げ説明したが、rフレーム(rは2以上の整数)に1回、該当ブロック設定数を0にし、それ以外のフレームは非0とすることも当然、可能である。
また、上記のようにフレーム単位で該当ブロック設定数を切り替えて符号化処理を実行した場合、図8に示すとおり、フレームの符号量が大きく増減してしまう。当然、該当ブロック設定数が0の時は符号量が増加し、非0の時は符号量が減少する。このことで、例えば、前フレームの符号量と前フレームの量子化パラメータとをビットレート制御に用いている場合、次のような問題が発生する。
一般的に、前フレームで符号量が少ない場合、次フレームで符号量を増やす方向に制御する。逆に、前フレームで符号量が多い場合、次フレームで符号量を減らす方向に制御する。ところが、図8のように増減が繰り返されると、安定したビットレート制御が行えない。言い換えると、同じ量子化パラメータを設定しても符号量が多いフレームもあれば、少ないフレームもあり、ビットレート制御が困難になる。
この問題には、図9に示す方法で対処する。図9の例では、「フレーム内のブロック総数=100」とし、該当ブロック設定数が0とするフレームと、フレーム内の半分のブロック(=50)とするフレームとを毎フレーム切り替えて符号化している。後者の「該当ブロック設定数=50」としているフレームにおいては、当該フレームのうち約1/2のブロックしか符号化されていないため、フレームの符号量も約1/2になる。これに対し、フレーム内の全ブロックを移動ブロックとして符号化した場合の推定符号量を、「符号量×フレーム内ブロック総数/該当ブロック設定数(=符号量×100/50=符号量×2)」として算出する。図9の例では、実際の符号量に係数「2」が掛けられる。このようにして得られた推定符号量の値をビットレート制御に用いることで、同一量子化パラメータに対してみかけ上、同等の符号量が出力されたことになるため、より安定したビットレート制御を実現することができる。
上記は、次フレームの量子化パラメータを決定する際に用いる、前フレームの符号量を暫定的に規定した内容であり、目標符号量に対する差分符号量においては、上記係数を掛ける前の符号量を使用する必要があるのは言うまでもない。
《実施の形態3》
実施の形態3においても、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態3においても、実施の形態1で説明した内容を、更に発展させた実施内容を説明する。
実施の形態1においては、停止ブロック検出部100にて符号化フレームにおける停止ブロックの位置を設定し、次の動画像符号化部200にて符号化する際に、停止ブロックとして設定されたブロックに関しては、符号化処理の一部をスキップさせることについて説明した。
しかし、この構成の場合、図1中の停止ブロック検出部100での処理と、動画像符号化部200での処理とをシーケンシャルに実行することとなる(図10参照)。本実施の形態3においては、更に高速化を実現する方法について説明する。
実施の形態1では、図1を用いて、停止ブロックの設定を行う停止ブロック検出部100と、符号化処理を実行する動画像符号化部200とが別々の手段で構成されている例を示した。これに対し、本実施の形態の符号化処理装置300bにおいては、図11に示すように停止ブロックの設定と符号化処理とを同一の手段、すなわち動画像符号化部200bで実行し、sを整数とするとき、sフレーム目の符号化処理を行う際に動き探索部201で実行する動き探索処理にて、s+1フレーム目の停止ブロックの設定を行うようにするものである(図12参照)。
具体的に説明する。図12における動き探索部201bに対して入力画像と参照画像とが入力され、動き探索が実行される。その際に、前述の式1に示した移動量も同時に計算し、その結果を移動量記憶部102bに記憶しておく。1フレーム分の処理(移動量検出処理)が完了すると、移動量記憶部102bに記憶されている移動量情報を移動量の少ない順にソートし、少ない順から停止ブロック選択部103bに出力する。停止ブロック選択部103bにおいては、該当ブロック設定数個分の停止ブロックを設定し、その停止ブロック情報を動画像符号化部200bに出力する。
停止ブロック選択部103bにおいて停止ブロックを設定する際のp、m、nの関係は、縮小画像を用いて停止ブロック検出を行うわけではないため、「p=m、n=1」という関係になることは言うまでもない。
このように、本発明の実施の形態3によれば、停止ブロック選択部103bで設定した停止ブロック情報は、次のフレームを処理する際の停止ブロック位置情報として使用される。つまり、停止ブロック検出処理と動画像符号化処理とを並列実行することにより、更に高速に処理を完了させることができる(図13参照)。
以上、本発明の実施の形態1〜3に係る符号化処理装置300,300bを説明した。次に、これらの符号化処理装置300,300bの応用例を説明する。
図14は、本発明に係る符号化処理装置を用いた撮像システム601、例えばデジタルスチルカメラ(DSC)の構成ブロック図である。図14中の信号処理装置606は、上記本発明の実施の形態1〜3に係る符号化処理装置300,300bのいずれかである。
図14によれば、光学系602を通って入射した画像光はセンサ603上に結像される。センサ603はタイミング制御回路609によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ603から読み出された電気信号は、アナログ・デジタル変換器(ADC)604によってデジタル信号へと変換された後に、当該信号処理装置606を含む画像処理回路605に入力される。この画像処理回路605においては、Y/C処理、エッジ処理、画像の拡大縮小処理、及び本発明を用いた画像圧縮伸張処理等の画像処理が行われる。画像処理された信号は、記録転送回路607においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路608により再生される。この撮像システム601の全体は、システム制御回路610によって制御されている。
なお、本発明に係る信号処理装置606における画像処理は必ずしも光学系602を介してセンサ603に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。
以上説明してきたとおり、本発明に係る符号化処理方法及び符号化処理装置は、高速に符号化処理を完了させることができるため、高フレームレート、高解像度等のハイスペックな撮像システム等に有用である。
100 停止ブロック検出部
101 移動量検出部
102,102b 移動量記憶部
103,103b 停止ブロック選択部
110 入力画像縮小部
111 参照画像縮小部
200,200b 動画像符号化部
201,201b 動き探索部
202 動き補償画像生成部
203 減算器
204 セレクタ
205 DCT処理部
206 量子化処理部
207 逆量子化処理部
208 逆DCT処理部
209 可変長符号化部
211 スイッチ
212 加算器
213 参照フレーム記憶部
300,300b 符号化処理装置
601 撮像システム
605 画像処理回路
606 信号処理装置(符号化処理装置)
101 移動量検出部
102,102b 移動量記憶部
103,103b 停止ブロック選択部
110 入力画像縮小部
111 参照画像縮小部
200,200b 動画像符号化部
201,201b 動き探索部
202 動き補償画像生成部
203 減算器
204 セレクタ
205 DCT処理部
206 量子化処理部
207 逆量子化処理部
208 逆DCT処理部
209 可変長符号化部
211 スイッチ
212 加算器
213 参照フレーム記憶部
300,300b 符号化処理装置
601 撮像システム
605 画像処理回路
606 信号処理装置(符号化処理装置)
Claims (15)
- 処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法であって、
フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、
前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴とする符号化処理方法。 - 処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法であって、
フレーム内のブロックの中からS個(Sは1以上の整数)のブロックを選択するステップと、
前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行うステップとを備えたことを特徴とする符号化処理方法。 - 請求項1又は2に記載の符号化処理方法において、
前記フレーム内の全部又は一部のブロックに対し、画像の移動量を検出するステップを更に備え、
前記全部又は一部のブロックの移動量を比較し、移動量の少ない方からS個のブロックを選択することを特徴とする符号化処理方法。 - 請求項3記載の符号化処理方法において、
フレーム画像をn分の1(nは2以上の整数)に縮小するステップを更に備え、
その縮小画像を用いて、前記画像の移動量の検出を行うことを特徴とする符号化処理方法。 - 請求項1又は2に記載の符号化処理方法において、
rフレーム(rは2以上の整数)にr−1回のみ、DCT係数を強制的に0に置き換えて動画像符号化処理を行うステップを実行することを特徴とする符号化処理方法。 - 請求項5記載の符号化処理方法において、
前フレームの符号量に総ブロック数/Sを掛けて符号量を補正するステップと、
前記補正した符号量を基にビットレート制御を行うステップとを更に備えたことを特徴とする符号化処理方法。 - 処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理方法であって、
画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、
前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、
前記選択したS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、
あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴とする符号化処理方法。 - 処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理方法であって、
画像の移動量を検出し、移動量記憶部に記憶する第1ステップと、
前記移動量記憶部の中の移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する第2ステップと、
前記選択したS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を行う第3ステップとを備え、
あるフレームの前記第3ステップを実行すると同時に、次フレームの前記第3ステップの処理で使用する移動量を前記第1及び第2ステップにて求めることを特徴とする符号化処理方法。 - 請求項7又は8に記載の符号化処理方法において、
前記移動量記憶部には前記S個分の移動量情報のみを記憶でき、
前記移動量を検出した結果を記憶する際に、その移動量と前記移動量記憶部に既に記憶されている移動量とを比較して、より少ない値であれば前記移動量記憶部に更新記憶し、大きい値であれば、更新記憶しないことを特徴とする符号化処理方法。 - 処理対象フレームを複数のブロックに分割して、そのブロック毎に、入力画像と既に符号化処理済みの参照画像とから動き探索を実行して動きベクトルを生成し、その動きベクトルを使用して動画像符号化処理を行う符号化処理装置であって、
符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、
既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、
前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、
前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、
前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、
前記選択されたS個のブロックに対しては、前記動き探索を実行せず、動きベクトルを強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴とする符号化処理装置。 - 処理対象フレームを複数のブロックに分割して、そのブロック毎に、DCT処理及び量子化処理を実行してDCT係数を生成し、そのDCT係数を使用して動画像符号化処理を行う符号化処理装置であって、
符号化対象となる入力画像に対し、n分の1(nは1以上の整数)に縮小した画像を生成する入力画像縮小部と、
既に符号化処理済みの参照画像に対し、n分の1に縮小した画像を生成する参照画像縮小部と、
前記入力画像縮小部及び前記参照画像縮小部から縮小した入力画像及び参照画像を入力し、ブロック毎に移動量を検出する移動量検出部と、
前記移動量検出部にて検出した移動量を記憶する移動量記憶部と、
前記移動量記憶部に記憶されている移動量を比較し、移動量の少ない方からS個(Sは1以上の整数)のブロックを選択する停止ブロック選択部と、
前記選択されたS個のブロックに対しては、前記DCT処理及び前記量子化処理を実行せず、DCT係数を強制的に0に置き換えて動画像符号化処理を実行する動画像符号化部とを備えたことを特徴とする符号化処理装置。 - 請求項10又は11に記載の符号化処理装置において、
rフレーム(rは2以上の整数)にr−1回のみ、DCT係数を強制的に0に置き換える動画像符号化処理を実行することを特徴とする符号化処理装置。 - 請求項12記載の符号化処理装置において、
前フレームの符号量に総ブロック数/Sを掛けて符号量を補正し、その補正した符号量を基にビットレート制御を行う手段を更に備えたことを特徴とする符号化処理装置。 - 請求項10又は11に記載の符号化処理装置を有する画像処理回路と、
画像光を画像信号に変換するセンサと、
入射された画像光を前記センサ上に結像させる光学系と、
前記画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする撮像システム。 - 請求項10又は11に記載の符号化処理装置を有する画像処理回路と、
入力されたアナログ値の画像信号をデジタルデータに変換して前記画像処理回路に出力する変換器とを備えたことを特徴とする信号処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008278247 | 2008-10-29 | ||
JP2008278247 | 2008-10-29 | ||
PCT/JP2009/002867 WO2010050089A1 (ja) | 2008-10-29 | 2009-06-23 | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010050089A1 true JPWO2010050089A1 (ja) | 2012-03-29 |
Family
ID=42128463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010535615A Withdrawn JPWO2010050089A1 (ja) | 2008-10-29 | 2009-06-23 | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8705628B2 (ja) |
JP (1) | JPWO2010050089A1 (ja) |
CN (1) | CN102187678A (ja) |
WO (1) | WO2010050089A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9055304B2 (en) * | 2011-07-01 | 2015-06-09 | Qualcomm Incorporated | Reduced resolution pixel interpolation |
US9013549B2 (en) * | 2012-05-24 | 2015-04-21 | Silicon Integrated Systems Corp. | Depth map generation for conversion of two-dimensional image data into three-dimensional image data |
CN103916583B (zh) * | 2013-01-08 | 2017-11-14 | 聚晶半导体股份有限公司 | 图像噪声消除方法及其产生移动向量数据结构的方法 |
US9729938B2 (en) | 2015-01-24 | 2017-08-08 | Valens Semiconductor Ltd. | Low latency visually lossless switching between different compression ratios |
KR102192488B1 (ko) * | 2015-11-25 | 2020-12-17 | 삼성전자주식회사 | 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법 |
CN107509081A (zh) * | 2017-08-22 | 2017-12-22 | 姚静洁 | 一种用于人脸识别的图像压缩编码方法 |
CN111542858B (zh) * | 2018-01-04 | 2023-09-08 | 株式会社索思未来 | 动态图像解析装置、***、方法、以及存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03147488A (ja) * | 1989-11-01 | 1991-06-24 | Olympus Optical Co Ltd | 画像フリーズ用信号処理装置 |
JP3354691B2 (ja) * | 1994-03-15 | 2002-12-09 | 富士通株式会社 | 動画像ブロック判定回路 |
WO2000064187A1 (en) * | 1999-04-19 | 2000-10-26 | Sony Corporation | Image encoding device and its method |
JP4289727B2 (ja) * | 1999-07-06 | 2009-07-01 | キヤノン株式会社 | 画像符号化装置、方法及びコンピュータ読み取り可能な記憶媒体 |
JP2001036908A (ja) * | 1999-07-15 | 2001-02-09 | Oki Electric Ind Co Ltd | 動画像圧縮装置 |
JP4682410B2 (ja) * | 2000-10-12 | 2011-05-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
JP2004328799A (ja) | 2004-08-09 | 2004-11-18 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
JP2007006390A (ja) * | 2005-06-27 | 2007-01-11 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2007124408A (ja) | 2005-10-28 | 2007-05-17 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法 |
US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
JP4793070B2 (ja) | 2006-04-12 | 2011-10-12 | ソニー株式会社 | 動きベクトル探索方法及び装置 |
JP4181592B2 (ja) * | 2006-09-20 | 2008-11-19 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP2008160359A (ja) | 2006-12-22 | 2008-07-10 | Victor Co Of Japan Ltd | 動画像符号化装置、動画像符号化方法、および動画像符号化用プログラム |
US20080247466A1 (en) * | 2007-04-09 | 2008-10-09 | Jian Wang | Method and system for skip mode detection |
US7957600B2 (en) * | 2007-05-08 | 2011-06-07 | Arris Group, Inc. | Methods and systems for rate-distortion optimized quantization of transform blocks in block transform video coding |
JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
JP4882956B2 (ja) * | 2007-10-22 | 2012-02-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20090161982A1 (en) * | 2007-12-19 | 2009-06-25 | Nokia Corporation | Restoring images |
JP4469904B2 (ja) * | 2008-05-30 | 2010-06-02 | 株式会社東芝 | 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体 |
US8300696B2 (en) * | 2008-07-25 | 2012-10-30 | Cisco Technology, Inc. | Transcoding for systems operating under plural video coding specifications |
US9078007B2 (en) * | 2008-10-03 | 2015-07-07 | Qualcomm Incorporated | Digital video coding with interpolation filters and offsets |
US9179161B2 (en) * | 2009-05-20 | 2015-11-03 | Nissim Nissimyan | Video encoding |
-
2009
- 2009-06-23 WO PCT/JP2009/002867 patent/WO2010050089A1/ja active Application Filing
- 2009-06-23 CN CN2009801409200A patent/CN102187678A/zh active Pending
- 2009-06-23 JP JP2010535615A patent/JPWO2010050089A1/ja not_active Withdrawn
-
2011
- 2011-03-30 US US13/076,085 patent/US8705628B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110176027A1 (en) | 2011-07-21 |
WO2010050089A1 (ja) | 2010-05-06 |
CN102187678A (zh) | 2011-09-14 |
US8705628B2 (en) | 2014-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4682990B2 (ja) | カメラ画像圧縮処理装置及び圧縮処理方法 | |
WO2010050089A1 (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
JP2009182623A (ja) | 画像符号化方法 | |
CN102986211A (zh) | 视频编码中的速率控制 | |
WO2009139123A1 (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
JP5156704B2 (ja) | 画像符号化装置、画像符号化方法、集積回路及びカメラ | |
JP2009130562A (ja) | 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム | |
WO2014010224A1 (ja) | 動画像圧縮装置、動画像復号装置、画像圧縮装置、画像復号装置、撮像装置およびプログラム | |
JP2007221697A (ja) | 画像復号化装置及び画像復号化方法 | |
JP2007013298A (ja) | 画像符号化装置 | |
JP2008182527A (ja) | 画像符号化装置及び方法、並びに撮像システム | |
JP4875008B2 (ja) | 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置 | |
JP4724639B2 (ja) | 撮像装置 | |
US20040066976A1 (en) | Picture coding method and picture coding apparatus | |
JP2009081830A (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
JP6086619B2 (ja) | 符号化装置および符号化方法 | |
JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
JP2012019288A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP6152642B2 (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
JP4700992B2 (ja) | 画像処理装置 | |
JP4533089B2 (ja) | 動画データ生成装置 | |
JP2011055023A (ja) | 画像符号化装置及び画像復号化装置 | |
JP2017200199A (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP2019036992A (ja) | 圧縮装置、復号装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |