JP2006020095A - 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 - Google Patents
動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 Download PDFInfo
- Publication number
- JP2006020095A JP2006020095A JP2004196140A JP2004196140A JP2006020095A JP 2006020095 A JP2006020095 A JP 2006020095A JP 2004196140 A JP2004196140 A JP 2004196140A JP 2004196140 A JP2004196140 A JP 2004196140A JP 2006020095 A JP2006020095 A JP 2006020095A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector
- block
- motion
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 動画像符号化時の動き検出において、動きベクトル検出の対象となるブロックの周辺ブロックにイントラモードで符号化されたものがある場合に、精度良く動きベクトルを検出する。
【解決手段】 イントラモードで符号化されるブロックについてもベクトル検出部105によって動きベクトルを検出し、参考ベクトル格納部106bに保存しておく。初期ベクトル算出部104では、階層的ブロックマッチングによる動きベクトル検出の初期点として、イントラモードで符号化されたブロックについても参考ベクトルを用いて初期点を算出することによって、動きベクトル検出の対象となるブロック周辺の動き情報を用いて精度が高い初期点算出が可能となる。
【選択図】 図1
【解決手段】 イントラモードで符号化されるブロックについてもベクトル検出部105によって動きベクトルを検出し、参考ベクトル格納部106bに保存しておく。初期ベクトル算出部104では、階層的ブロックマッチングによる動きベクトル検出の初期点として、イントラモードで符号化されたブロックについても参考ベクトルを用いて初期点を算出することによって、動きベクトル検出の対象となるブロック周辺の動き情報を用いて精度が高い初期点算出が可能となる。
【選択図】 図1
Description
本発明は、例えば3ステップ法や階層サーチ法などを用いて動きベクトルを検出する動きベクトル検出回路、これを用いた画像符号化回路、動きベクトル検出方法およびこれを用いた画像符号化方法に関する。
従来、静止画像において、符号化に用いられる参照画素は、その画像内で既に符号化されている画素であり、この符号化はイントラモード(フレーム内予測符号化)と呼ばれている。また、動画像の場合には、1フレーム前またはそれ以前のフレーム中の画素を参照画素として用いることができ、この符号化はインターモード(フレーム間予測符号化)と呼ばれている。この符号化の際には、参照画像と符号化対象画像との差分が取られるが、インターモードにおいて、単純にフレーム間の差分を取った場合、前後のフレーム画像で対応する点(例えば動いている物体の位置)が大きくずれると、符号化の効率が大幅に低下する。
そこで、前後のフレームを比較して画像の動き(動きベクトル)を検出し、前フレーム(参照画像)が検出された動きに対応させてシフト(シフト量とシフト方向;動きベクトル)させることにより、フレーム間で生じた動き(例えば動いている物体の位置)を補正する。これによって、差分のデータ量を減少させてより効率的な符号化を行うことができる。
動画像の高効率符号化において、動きベクトル検出は最も重要であり、この動きベクトル検出の精度によって、符号化効率が大きく後退することがよく知られている。また、動きベクトル検出に必要な演算量の低減化も非常に重要であり、精度向上と合わせた演算量削減方法が従来から多数提案されてきている。
このような手法として、3ステップサーチ法および階層サーチ法などが提案されている。これらの手法では、動きベクトルの探索範囲を全て総当りして検索するフルサーチ法とは異なり、所定の評価値によって決定された初期ベクトルの位置を探索開始点として、その初期ベクトル位置の周辺に限定してブロックマッチングを行うことによって、演算量の削減と動きベクトル検出の精度向上を図っている。
これらの手法においては、初期ベクトルの算出方法が重要である。一般的には、動きベクトル検出の対象であるブロック(対象ブロック)の周辺に存在するブロック(周辺ブロック)に対して既に検出された動きベクトル(既検出動きベクトル)から、対象ブロックの初期ベクトルを算出する方法が用いられる。
図6は、従来の画像符号化回路の構成例を示すブロック図である。
図6に示すように、画像符号化回路60は、動きベクトル検出回路600と、動き補償部606と、符号化処理部607とを有している。
動きベクトル検出回路600は、ブロック分割部601と、予測ベクトル算出部602と、動きベクトル検出部603と、動きベクトル格納部604と、動きベクトル出力部605とを有している。
ブロック分割部601では、画像を、例えば16ピクセル×16ピクセルまたは8ピクセル×8ピクセルを単位として複数のブロックに分割する。
予測ベクトル算出部602では、周辺ブロックの既検出動きベクトルから、例えばそれらの中間値が対象ブロックの予測ベクトルとして算出される。
動きベクトル検出部603では、予測ベクトルが初期ベクトルとして用いられ、その初期ベクトルの位置を探索開始点として、階層的ブロックマッチングや3ステップブロックマッチングにより動きベクトルが検出される。
動きベクトル格納部604では、検出された動きベクトルがメモリに格納される。
動きベクトル出力部605では、検出された動きベクトルと予想ベクトルとの差分が差分動きベクトルとして出力される。
動き補償部606では、検出された動きベクトルから参照画像が生成されて符号化対象画像との差分が算出される。
符号化処理部607では、算出された差分に対して、離散コサイン変換(DCT)、量子化、VLCなどの符号化処理が行われる。
これに対して、例えば特許文献1には、周辺ブロックの既検出動きベクトルのばらつきなどを考慮して初期ベクトルを算出することによって、精度良く初期ベクトルを算出し、ひいては精度が高い動きベクトル検出を行う方法が提案されている。
特開2000−253407号公報
ところで、符号化されたデータを転送中に転送経路で誤りが混入し、復号化された際に画像の乱れがフレーム間にまたがって伝播されることを抑制するために、意図的にフレーム内の一定ブロックをイントラモード(フレーム内予測符号化モード)にリフレッシュする、イントラリフレッシュと言う技術が知られている。このイントラリフレッシュ技術を上記動きベクトル検出と合わせて適用した場合に、従来技術では、適切な初期ベクトルを算出することができないという問題がある。
この場合、イントラリフレッシュされたブロックについては動きベクトル検出が行われないため、動きベクトルが0ベクトルとして取り扱われ、または元々ベクトルがないものとして取り扱われる。
しかしながら、イントラリフレッシュされたブロックは、実際には復号化された際の誤り伝播を低減するためにイントラモードに強制的に設定されただけであり、そのブロックが有する動きベクトル情報を用いないことによって、より適切な初期ベクトルを算出することができない。
本発明は、上記従来の課題に鑑みて為されたもので、イントラリフレッシュされたブロックが存在する場合であっても、より適切な初期ベクトルの算出を行って高能率符号化を行うことができる動きベクトル検出回路、これを用いた画像符号化回路、動きベクトル検出方法およびこれを用いた画像符号化回路方法を提供することを目的とする。
本発明の動きベクトル検出回路は、動画像から動きベクトルを検出する動きベクトル検出回路において、画像を複数のブロックに分割するブロック分割部と、該ブロック分割部で分割された各ブロックをイントラモードおよびインターモードのいずれによって符号化するかを所定方法に基づいて決定する符号化モード決定部と、予測ベクトル算出の対象ブロックに対する周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、0ベクトルに設定したデータから、該対象ブロックの予測ベクトルを算出する予測ベクトル算出部と、該周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、少なくとも該イントラモードで符号化されたブロックを含む周辺ブロックの既検出動きベクトルから、該対象ブロックの初期ベクトルを算出する初期ベクトル算出部と、該初期ベクトルの位置を探索開始点として該動きベクトルを検出する動きベクトル検出部と、該対象ブロックが該インターモードで符号化される場合には正規ベクトル値とし、該対象ブロックが該イントラモードで符号化される場合には参考ベクトル値として、該動きベクトルをメモリに格納する動きベクトル格納部と、該動きベクトル検出部で検出された該動きベクトルと該予測ベクトルとの差分を差分動きベクトルとして出力する動きベクトル出力部とを備えており、そのことにより上記目的が達成される。
また、好ましくは、本発明の動きベクトル検出回路におけるブロック分割部は、前記画像がMPEG(Moving Picture Experts Group)−4により符号化される場合に、該画像を16ピクセル×16ピクセルまたは8ピクセル×8ピクセルを単位として複数のブロックに分割する。
さらに、好ましくは、本発明の動きベクトル検出回路における符号化モード決定部は、フレーム内でランダムに符号化モードを決定するか、または前フレームで動きが大きかったブロックをイントラモードに決定する。
さらに、好ましくは、本発明の動きベクトル検出回路における予測ベクトル算出部は、前記周辺ブロックの動きベクトルの中間値を前記対象ブロックの予測ベクトルとして算出する。
さらに、好ましくは、本発明の動きベクトル検出回路における初期ベクトル算出部は、前記周辺ブロックの動きベクトルの中間値を前記対象ブロックの初期ベクトルとして算出する。
さらに、好ましくは、本発明の動きベクトル検出回路における動きベクトル検出部は、3ステップサーチ法または階層サーチ法によりブロックマッチングを行って前記動きベクトルを検出する。
本発明の画像符号化回路は、請求項1〜6のいずれかに記載の動きベクトル検出回路と、 前記動きベクトル出力部からの差分動きベクトルに基づいて参照画像を生成し、該参照画像と符号化対象画像の差分を算出する動き補償部と、該動き補償部で算出された差分に対して符号化処理を行う符号化処理部とを備えており、そのことにより上記目的が達成される。
また、好ましくは、本発明の画像符号化回路における符号化処理部は、離散コサイン変換(DCT)、量子化、可変長符号化(VLC;VariableLength Coding)を用いた符号化処理を行う。
本発明の動きベクトル検出方法は、動画像から動きベクトルを検出する動きベクトル検出方法において、画像を複数のブロックに分割するブロック分割ステップと、該ブロック分割ステップで分割された各ブロックをイントラモードおよびインターモードのいずれによって符号化するかを所定方法に基づいて決定する符号化モード決定ステップと、予測ベクトル算出の対象ブロックに対する周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、0ベクトルと設定したデータから、該対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、該周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、少なくとも該イントラモードで符号化されたブロックを含む周辺ブロックの既検出動きベクトルから、該対象ブロックの初期ベクトルを算出する初期ベクトル算出ステップと、該初期ベクトルの位置を探索開始点として該動きベクトルを検出する動きベクトル検出ステップと、 該対象ブロックが該インターモードで符号化される場合には正規ベクトル値とし、該対象ブロックが該イントラモードで符号化される場合には参考ベクトル値として、該動きベクトルをメモリに格納する動きベクトル格納ステップと、該動きベクトル検出ステップで検出された該動きベクトルと該予測ベクトルとの差分を差分動きベクトルとして出力する動きベクトル出力ステップとを有しており、そのことにより上記目的が達成される。
本発明の画像符号化方法は、請求項9に記載の動きベクトル検出方法の各ステップと、 前記動きベクトル出力ステップからの差分動きベクトルに基づいて参照画像を生成し、該参照画像と符号化対象画像との差分を算出する動き補償ステップと、該動き補償ステップで算出された差分に対して符号化処理を行う符号化処理ステップとを有し、そのことにより上記目的が達成される。
上記構成により、以下に、本発明の作用について説明する。
本発明にあっては、動画像から動きベクトルを検出する際に、探索開始点(初期点)となる初期ベクトルを、インターモードおよびイントラモードで符号化された周辺ブロックの既検出動きベクトルを用いて算出する。
このように、イントラモードで符号化されたブロックの動きベクトル情報をも用いるため、イントラリフレッシュされたブロックが存在する場合であっても、より適切な初期ベクトル算出を行って、高能率符号化を行うための動きベクトル検出を高精度で行うことが可能となる。
以上に説明したように、本発明によれば、動きベクトル検出のための探索開始点となる初期ベクトルを、周辺ブロックの符号化モードに関係なく検出された動きベクトル情報を用いて算出するため、例えばイントラリフレッシュされたブロックが存在する場合であっても、動きベクトル検出のための探索開始点を高精度で設定することができる。これによって、高精度に動きベクトルを検出して画像の高能率符号化を行うことができる。
以下に、本発明の画像符号化回路の実施形態について、図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態である画像符号化回路の構成例を示すブロック図である。
図1に示すように、画像符号化回路10は、動きベクトル検出回路100と、動き補償部108と、符号化処理部109とを有している。
動きベクトル検出回路100は、ブロック分割部101と、符号化モード決定部102と、予測ベクトル算出部103と、初期ベクトル算出部104と、動きベクトル検出部105と、ベクトル格納部としての正規ベクトル格納部106aおよび参考ベクトル格納部106bと、動きベクトル出力部107とを有している。
ブロック分割部101では、入力された画像が所定のブロックサイズに分割されて、それぞれのブロックにID番号が振られる。ブロックのサイズは、符号化の種別によって異なるが、例えばMPEG(Moving Picture Experts Group)−4により符号化される場合には、例えば16ピクセル×16ピクセル、または8ピクセル×8ピクセルを単位として複数のブロックに分割される。
符号化モード決定部102では、ブロック分割部101で分割された各ブロックに対して、符号化をイントラモードまたはインターモードのいずれによって行うかが決定される。モード決定方法に制約はないが、例えばフレーム内でランダムに決定する方法、前フレームでの動きが大きかったブロックをイントラモードに決定する方法などの所定方法が考えられる。
予測ベクトル算出部103では、画像符号化装置の規格に基づいて、符号化対象ブロックの予測ベクトルが算出される。ここで、図2および図3を用いて予測ベクトルの算出方法の各例について説明する。
図2は、図1の予測ベクトル算出部103で、MPEG−4により符号化される場合について、予測ベクトルの算出例を示す図である。
図2において、予測ベクトルの算出対象ブロック(動きベクトル検出の対象ブロック)を200とした場合、既に検出された周辺ブロック201〜203の動きベクトルMV(ベクトルMV1、ベクトルMV2、ベクトルMV3)から、XおよびYのそれぞれの中間値を取ったものがベクトルPMVとして算出される。
ベクトルMV1=(MV1x,MV1y)、
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3=(MV3x,MV3y)
PMVx=Median(MV1x,MV2x,MV3x)
PMVy=Median(MV1y,MV2y,MV3y)
ベクトルPMV=(PMVx,PMVy)
図3は、図1の予測ベクトル算出部103で、周辺ブロックの中にイントラモードで符号化されたブロックがあった場合について、予測ベクトルの算出例を示す図である。
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3=(MV3x,MV3y)
PMVx=Median(MV1x,MV2x,MV3x)
PMVy=Median(MV1y,MV2y,MV3y)
ベクトルPMV=(PMVx,PMVy)
図3は、図1の予測ベクトル算出部103で、周辺ブロックの中にイントラモードで符号化されたブロックがあった場合について、予測ベクトルの算出例を示す図である。
図3において、予測ベクトルの算出対象ブロックを300とし、周辺ブロック301および303はイントラモードで符号化されたブロック、周辺ブロック302はインターモードで符号化されたブロックとする。
周辺ブロック302はインターモードで符号化されており、ベクトルMV2という動きベクトルを有している。
また、周辺ブロック301および303はイントラモードで符号化されており、動きベクトルを有していないため、動きベクトルは0ベクトルであると認識される。
この場合、予想ベクトル算出部103では、対象ブロック300の予想ベクトルPMVとして周辺ブロック301〜303の動きベクトルの中間値が計算されることから、下記のように対象ブロック300の予測ベクトルとして0ベクトルが出力される。
ベクトルMV1=(0,0)、
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3=(0,0)
PMVx=Median(0,MV2x,0)=0
PMVy=Median(0,MV2y,0)=0
ベクトルPMV=(0,0)=0(→)
次に、図1のブロック図の説明に戻る。
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3=(0,0)
PMVx=Median(0,MV2x,0)=0
PMVy=Median(0,MV2y,0)=0
ベクトルPMV=(0,0)=0(→)
次に、図1のブロック図の説明に戻る。
初期ベクトル算出部104では、予測ベクトル算出部103とは異なり、周辺ブロックの符号化モードに関係なく検出された動きベクトルを元にして、動きベクトル検出部105による動き検出の初期点(探索開始点)となる初期ベクトルが算出される。
例えば図3の周辺ブロック301および303のように、イントラモードとして符号化されたブロックに対しても、動きベクトル検出部105によって予めインターモードと仮定して動きベクトルが検出される。このイントラモードとして符号化されたブロックの動きベクトルは、ベクトル格納部としての参考ベクトル格納部106bによって、参考ベクトルとしてメモリに格納される。
上記予想ベクトル算出部103では、この参考ベクトルは動きベクトルとして扱われないが、初期ベクトル算出部104では参考ベクトルが動きベクトルとして扱われ、初期ベクトル算出のために参考ベクトル格納部106bから初期ベクトル算出部104に参考ベクトルが入力される。
図4は、図1の初期ベクトル算出部104における初期ベクトルの算出例を示す図である。
図4において、初期ベクトルの算出対象ブロックを400とし、周辺ブロック401および403はイントラモードで符号化されたブロック、周辺ブロック402はインターモードで符号化されたブロックとする。
周辺ブロック401および403はイントラモードで符号化されており、本来動きベクトルは有していないが、本実施形態ではイントラモードで符号化されるブロック401および403についても動き検出が行われて、ベクトルMV1’およびベクトルMV3’という参考ベクトルが算出され、これらが参考ベクトル格納部106bに格納される。
周辺ブロック302はインターモードで符号化されており、ベクトルMV2という動きベクトルを有している。
これらのベクトルから対象ブロック400の初期ベクトルIMVを算出する一例として、予測ベクトルと同様に周辺ブロック401〜403の動きベクトルの中間値を取る方法を用いた場合、以下のような結果が得られる。
ベクトルMV1’=(MV1x’,MV1y’)、
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3’=(MV3x’,MV3y’)
IMVx=Median(MV1x’,MV2x,MV3x’)
IMVy=Median(MV1y’,MV2y,MV3y’)
初期ベクトルIMV=(IMVx,IMVy)
動きベクトル検出部105では、初期ベクトル算出部104によって求められた初期ベクトルを初期点(探索開始点)として、対象ブロックの動きベクトルが検出される。
ベクトルMV2=(MV2x,MV2y)、
ベクトルMV3’=(MV3x’,MV3y’)
IMVx=Median(MV1x’,MV2x,MV3x’)
IMVy=Median(MV1y’,MV2y,MV3y’)
初期ベクトルIMV=(IMVx,IMVy)
動きベクトル検出部105では、初期ベクトル算出部104によって求められた初期ベクトルを初期点(探索開始点)として、対象ブロックの動きベクトルが検出される。
動きベクトルの検出方法については、ここでは、詳細な説明を省略し簡単に説明するが、例えば階層サーチ法や3ステップサーチ法によりブロックマッチングを行うことなどによって動きベクトルを検出することができる。
即ち、3ステップサーチ法とは、ブロックマッチングでの予測誤差が小さい点を中心に周囲何点か(一般的には4もしくは8点)選び、それらの中からさらに予測誤差の小さい点を探す、ということを3回繰り返して最適なベクトルを探す方法(Three StepSearchからTSSと書かれる文献も多い)である。また、階層サーチ法とは、はじめに縮小した画面に対して大まかなベクトル検出を行い、大まかなベクトルの近辺で縮小前の画像で詳細にベクトルサーチする方法である。
ベクトル格納部として、対象ブロックがインターモードで符号化される場合には正規ベクトル値として動きベクトルが正規ベクトル格納部106aのメモリに格納され、対象ブロックがイントラモードで符号化される場合には参考ベクトル値として動きベクトルが参考ベクトル格納部106bに格納される。なお、参考ベクトル格納部106bには、インターモードで得られた正規ベクトルも、イントラモードで得られた参考ベクトルも両方入っている。この場合には、これを認識するために符号化モード決定部102から参考ベクトル格納部106bへの作用線がある。したがって、正規ベクトル格納部106aから初期ベクトル演算部104への作用線はなくてもよい。
動きベクトル出力部107では、ベクトル検出部105によって求められた動きベクトルMVと、予測ベクトル算出部103によって算出された予測ベクトルPMVとの差分が算出され、差分動きベクトルDMVが出力される。
動き補償部108では、検出された動きベクトルと前のフレームの画像データとから参照画像の生成が行われ、符号化対象画像との差分が差分データとして算出される。
符号化処理部109では、動き補償部108によって得られた画像(差分データ)に対してDCT、量子化、VLCなどの符号化処理が行われる。
従来技術では、予測ベクトルが動きベクトル検出の初期点となる初期ベクトルとして用いられているために、図3に示すように周辺ブロックにイントラモードで符号化されるブロック301および303が存在する場合には、対象ブロック300の初期ベクトルが0ベクトルとなる。このため、例えば図5に示す原点501を中心としたブロックマッチングが行われる。
しかしながら、周辺ブロックの動きベクトルの情報から、対象ブロックにも動きがある可能性が高いということは容易に推測される。
これに対して、本実施形態では、図4に示すようにイントラモードで符号化された周辺ブロック401および403の既検出動きベクトルも用いて対象ブロック400の初期ベクトルIMVが算出される。このため、周辺ブロックの動き情報(動きベクトル)を利用して、より現実に即した初期点502が得られ、この初期点502を探索開始点としてブロックマッチングが行われる。
差分動きベクトルDMVについては、従来技術と比較して大きくなる場合があるが、動きベクトルIMVの精度が高くなるため、動きベクトル出力部107において出力される画像の差分データを少なくすることができ、全体的な圧縮効率の向上を図ることが可能となる。
以上により、本実施形態によれば、イントラモードで符号化されるブロックについても動きベクトル検出部105によって動きベクトルを検出し、この検出された動きベクトルを参考ベクトル格納部106bに保存しておく。初期ベクトル算出部104では、階層的ブロックマッチングによる動きベクトル検出の初期点として、イントラモードで符号化されたブロックについても参考ベクトルを用いて初期点を算出することによって、動きベクトル検出の対象となるブロック周辺の動き情報を用いて精度が高い初期点算出を行うことができる。これによって、動画像符号化時の動き検出において、動きベクトル検出の対象となるブロックの周辺ブロックにイントラモードで符号化されたものがある場合にも、精度良く動きベクトルを検出することができる。
なお、以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明は、例えば3ステップ法や階層サーチ法などを用いて動きベクトルを検出する動きベクトル検出回路、これを用いた画像符号化回路、動きベクトル検出方法およびこれを用いた画像符号化方法の分野において、動きベクトル検出のための探索開始点となる初期ベクトルを、周辺ブロックの符号化モードに関係なく検出された動きベクトル情報を用いて算出することによって、動きベクトル検出のための探索開始点を高精度で設定することができる。これによって、例えば3ステップ法や階層サーチ法などを用いた動きベクトルの検出において、高精度に動きベクトルを検出して、画像の高能率符号化を行うことができる。
10 画像符号化回路
100 動き検出回路
101 ブロック分割部
102 符号化モード決定部
103 予測ベクトル算出部
104 初期ベクトル算出部
105 動きベクトル検出部
106a 正規ベクトル格納部
106b 参考ベクトル格納部
107 動きベクトル出力部
108 動き補償部
109 符号化処理部
200 予測ベクトル算出の対象ブロック
201〜203 周辺ブロック
300 予測ベクトル算出の対象ブロック
301、303 イントラモードで符号化された周辺ブロック
302 インターモードで符号化された周辺ブロック
400 初期ベクトル算出の対象ブロック
401 参考ベクトルMV1’を有するイントラモードで符号化された周辺ブロック
402 動きベクトルMV2を有するインターモードで符号化された周辺ブロック
403 参考ベクトルMV3’を有するイントラモードで符号化された周辺ブロック
501 初期ベクトル(0ベクトル)の位置
502 初期ベクトルIMVの位置
100 動き検出回路
101 ブロック分割部
102 符号化モード決定部
103 予測ベクトル算出部
104 初期ベクトル算出部
105 動きベクトル検出部
106a 正規ベクトル格納部
106b 参考ベクトル格納部
107 動きベクトル出力部
108 動き補償部
109 符号化処理部
200 予測ベクトル算出の対象ブロック
201〜203 周辺ブロック
300 予測ベクトル算出の対象ブロック
301、303 イントラモードで符号化された周辺ブロック
302 インターモードで符号化された周辺ブロック
400 初期ベクトル算出の対象ブロック
401 参考ベクトルMV1’を有するイントラモードで符号化された周辺ブロック
402 動きベクトルMV2を有するインターモードで符号化された周辺ブロック
403 参考ベクトルMV3’を有するイントラモードで符号化された周辺ブロック
501 初期ベクトル(0ベクトル)の位置
502 初期ベクトルIMVの位置
Claims (10)
- 動画像から動きベクトルを検出する動きベクトル検出回路において、
画像を複数のブロックに分割するブロック分割部と、
該ブロック分割部で分割された各ブロックをイントラモードおよびインターモードのいずれによって符号化するかを所定方法に基づいて決定する符号化モード決定部と、
予測ベクトル算出の対象ブロックに対する周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、0ベクトルに設定したデータから、該対象ブロックの予測ベクトルを算出する予測ベクトル算出部と、
該周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、少なくとも該イントラモードで符号化されたブロックを含む周辺ブロックの既検出動きベクトルから、該対象ブロックの初期ベクトルを算出する初期ベクトル算出部と、
該初期ベクトルの位置を探索開始点として該動きベクトルを検出する動きベクトル検出部と、
該対象ブロックが該インターモードで符号化される場合には正規ベクトル値とし、該対象ブロックが該イントラモードで符号化される場合には参考ベクトル値として、該動きベクトルをメモリに格納する動きベクトル格納部と、
該動きベクトル検出部で検出された該動きベクトルと該予測ベクトルとの差分を差分動きベクトルとして出力する動きベクトル出力部とを備えた動きベクトル検出回路。 - 前記ブロック分割部は、前記画像がMPEG(Moving Picture Experts Group)−4により符号化される場合に、該画像を16ピクセル×16ピクセルまたは8ピクセル×8ピクセルを単位として複数のブロックに分割する請求項1に記載の動きベクトル検出回路。
- 前記符号化モード決定部は、フレーム内でランダムに符号化モードを決定するか、または前フレームで動きが大きかったブロックをイントラモードに決定する請求項1または2に記載の動きベクトル検出回路。
- 前記予測ベクトル算出部は、前記周辺ブロックの動きベクトルの中間値を前記対象ブロックの予測ベクトルとして算出する請求項1〜3のいずれかに記載の動きベクトル検出回路。
- 前記初期ベクトル算出部は、前記周辺ブロックの動きベクトルの中間値を前記対象ブロックの初期ベクトルとして算出する請求項1〜4のいずれかに記載の動きベクトル検出回路。
- 前記動きベクトル検出部は、3ステップサーチ法または階層サーチ法によりブロックマッチングを行って前記動きベクトルを検出する請求項1〜5のいずれかに記載の動きベクトル検出回路。
- 請求項1〜6のいずれかに記載の動きベクトル検出回路と、
前記動きベクトル出力部からの差分動きベクトルに基づいて参照画像を生成し、該参照画像と符号化対象画像の差分を算出する動き補償部と、
該動き補償部で算出された差分に対して符号化処理を行う符号化処理部とを備えた画像符号化回路。 - 前記符号化処理部は、離散コサイン変換(DCT)、量子化、可変長符号化(VLC)を用いた符号化処理を行う請求項7に記載の画像符号化回路。
- 動画像から動きベクトルを検出する動きベクトル検出方法において、
画像を複数のブロックに分割するブロック分割ステップと、
該ブロック分割ステップで分割された各ブロックをイントラモードおよびインターモードのいずれによって符号化するかを所定方法に基づいて決定する符号化モード決定ステップと、
予測ベクトル算出の対象ブロックに対する周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、0ベクトルと設定したデータから、該対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
該周辺ブロックが、該インターモードで符号化されたブロックおよび、該イントラモードで符号化されたブロックのうち、少なくとも該イントラモードで符号化されたブロックを含む場合に、少なくとも該イントラモードで符号化されたブロックを含む周辺ブロックの既検出動きベクトルから、該対象ブロックの初期ベクトルを算出する初期ベクトル算出ステップと、
該初期ベクトルの位置を探索開始点として該動きベクトルを検出する動きベクトル検出ステップと、
該対象ブロックが該インターモードで符号化される場合には正規ベクトル値とし、該対象ブロックが該イントラモードで符号化される場合には参考ベクトル値として、該動きベクトルをメモリに格納する動きベクトル格納ステップと、
該動きベクトル検出ステップで検出された該動きベクトルと該予測ベクトルとの差分を差分動きベクトルとして出力する動きベクトル出力ステップとを有する動きベクトル検出方法。 - 請求項9に記載の動きベクトル検出方法の各ステップと、
前記動きベクトル出力ステップからの差分動きベクトルに基づいて参照画像を生成し、該参照画像と符号化対象画像との差分を算出する動き補償ステップと、
該動き補償ステップで算出された差分に対して符号化処理を行う符号化処理ステップとを有する画像符号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004196140A JP2006020095A (ja) | 2004-07-01 | 2004-07-01 | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 |
US11/171,358 US20060002470A1 (en) | 2004-07-01 | 2005-07-01 | Motion vector detection circuit, image encoding circuit, motion vector detection method and image encoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004196140A JP2006020095A (ja) | 2004-07-01 | 2004-07-01 | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006020095A true JP2006020095A (ja) | 2006-01-19 |
Family
ID=35513894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004196140A Pending JP2006020095A (ja) | 2004-07-01 | 2004-07-01 | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20060002470A1 (ja) |
JP (1) | JP2006020095A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009525683A (ja) * | 2006-02-02 | 2009-07-09 | トムソン ライセンシング | 組合せ参照双方向予測を用いて動き推定を行う方法および装置 |
WO2010001917A1 (ja) * | 2008-07-01 | 2010-01-07 | ソニー株式会社 | 画像処理装置および方法 |
JP2010517405A (ja) * | 2007-01-29 | 2010-05-20 | サムスン エレクトロニクス カンパニー リミテッド | 映像符号化方法及び装置、映像復号化方法及び装置 |
JP2011061302A (ja) * | 2009-09-07 | 2011-03-24 | Hitachi Kokusai Electric Inc | 動画像符号化装置 |
JP2013030838A (ja) * | 2011-07-26 | 2013-02-07 | Jvc Kenwood Corp | 動きベクトル導出装置および方法 |
WO2023284694A1 (en) * | 2021-07-15 | 2023-01-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2586386B1 (en) | 2005-01-25 | 2018-10-31 | Covidien LP | Structure for permanent occlusion of a hollow anatomical structure |
US20100302451A1 (en) * | 2007-12-04 | 2010-12-02 | Panasonic Corporation | Video signal processing device |
JP2010035137A (ja) * | 2008-07-01 | 2010-02-12 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2010016453A (ja) * | 2008-07-01 | 2010-01-21 | Sony Corp | 画像符号化装置および方法、画像復号装置および方法、並びにプログラム |
CN102160382A (zh) * | 2008-09-24 | 2011-08-17 | 索尼公司 | 图像处理设备和图像处理方法 |
WO2010035733A1 (ja) * | 2008-09-24 | 2010-04-01 | ソニー株式会社 | 画像処理装置および方法 |
BRPI0918028A2 (pt) * | 2008-09-24 | 2015-12-01 | Sony Corp | dispositivo e método de processamento de imagem. |
KR20100095992A (ko) * | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
JP5321426B2 (ja) * | 2009-11-26 | 2013-10-23 | 株式会社Jvcケンウッド | 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 |
US9282338B2 (en) * | 2011-06-20 | 2016-03-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
US9930360B2 (en) * | 2011-11-08 | 2018-03-27 | Texas Instruments Incorporated | Method, system and apparatus for intra-refresh in video signal processing |
JP6649212B2 (ja) * | 2016-09-06 | 2020-02-19 | 株式会社東芝 | 符号化装置、復号装置、および画像処理システム |
CN109729352B (zh) * | 2017-10-27 | 2020-07-21 | 华为技术有限公司 | 确定仿射编码块的运动矢量的方法和装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308622A (ja) * | 1992-04-28 | 1993-11-19 | Mitsubishi Electric Corp | 画像符号化・復号化装置 |
US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
US6987805B1 (en) * | 1999-09-24 | 2006-01-17 | Lsi Logic Corporation | Macroblock level intrarefresh technique for encoded video |
US7295614B1 (en) * | 2000-09-08 | 2007-11-13 | Cisco Technology, Inc. | Methods and apparatus for encoding a video signal |
US6842483B1 (en) * | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
US20030161400A1 (en) * | 2002-02-27 | 2003-08-28 | Dinerstein Jonathan J. | Method and system for improved diamond motion search |
JP4130783B2 (ja) * | 2002-04-23 | 2008-08-06 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
US7239721B1 (en) * | 2002-07-14 | 2007-07-03 | Apple Inc. | Adaptive motion estimation |
US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
-
2004
- 2004-07-01 JP JP2004196140A patent/JP2006020095A/ja active Pending
-
2005
- 2005-07-01 US US11/171,358 patent/US20060002470A1/en not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009525683A (ja) * | 2006-02-02 | 2009-07-09 | トムソン ライセンシング | 組合せ参照双方向予測を用いて動き推定を行う方法および装置 |
JP2010517405A (ja) * | 2007-01-29 | 2010-05-20 | サムスン エレクトロニクス カンパニー リミテッド | 映像符号化方法及び装置、映像復号化方法及び装置 |
WO2010001917A1 (ja) * | 2008-07-01 | 2010-01-07 | ソニー株式会社 | 画像処理装置および方法 |
JP2011061302A (ja) * | 2009-09-07 | 2011-03-24 | Hitachi Kokusai Electric Inc | 動画像符号化装置 |
JP2013030838A (ja) * | 2011-07-26 | 2013-02-07 | Jvc Kenwood Corp | 動きベクトル導出装置および方法 |
WO2023284694A1 (en) * | 2021-07-15 | 2023-01-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
Also Published As
Publication number | Publication date |
---|---|
US20060002470A1 (en) | 2006-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006020095A (ja) | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 | |
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
TWI565306B (zh) | 視訊解碼裝置、視訊編碼裝置、視訊解碼方法、視訊編碼方法、及儲存媒體(四) | |
US8804828B2 (en) | Method for direct mode encoding and decoding | |
JP4166781B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2007124408A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
WO2001010135A1 (en) | Moving vector detecting method | |
JP2005303984A (ja) | 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置 | |
KR100800772B1 (ko) | 움직임 벡터 부호화 장치, 방법, 프로그램 및 매체 | |
JP2008011158A (ja) | 動きベクトル探索方法及び動きベクトル探索装置 | |
JP3880985B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2008219141A (ja) | 動きベクトル検出装置、それを用いた画像符号化装置および撮像装置 | |
US20050105620A1 (en) | Motion vector detecting device and motion vector detecting program | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
US6975681B2 (en) | Method and apparatus for coding moving pictures | |
JP2007158855A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2005244749A (ja) | 動画像符号化装置 | |
JP4429996B2 (ja) | 動画像符号化プログラム、動画像符号化方法および動画像符号化装置 | |
US6788741B1 (en) | Device and method of retrieving high-speed motion | |
JP5281597B2 (ja) | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム | |
JP2008236096A (ja) | 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US9521417B2 (en) | Video encoding device using predicted motion vector for blocks of different size | |
JP2005167852A (ja) | 動きベクトル検出方法、及び動きベクトル検出装置 | |
JP2000165883A (ja) | 動きベクトル検出装置 | |
JP2002290977A (ja) | 動きベクトル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080215 |