JP2011004051A - 動画像符号化方法，動画像符号化装置および動画像符号化プログラム - Google Patents

Abstract

【課題】高ビット深度映像信号を低演算コストで符号化する。
【解決手段】ビット深度Ｎ（Ｎ＞８）の被予測信号および参照信号を，ビット深度変換部１７１で８ビット以下のビット深度Ｎ−Δに変換し，そのビット深度低減後の被予測信号および参照信号を用いて，第一動き推定部１７２により動き推定を行う。次に，算出された動きベクトルを探索中心として，第二動き推定部１７３によりビット深度変換前の被予測信号および参照信号に対して動き推定を行い，フレーム間予測に用いる動きベクトルを算出する。
【選択図】図１

Description

本発明は，高能率画像信号符号化における動画像符号化装置，動画像符号化方法および動画像符号化プログラムに関する。

近年，臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて，映像の高画質化に関する研究が精力的に行われている。超高画質映像の実現には，特に次の四要素が重要である。すなわち，空間解像度，画素値深度，色再現性，時間解像度である。

このうち，画素値深度の向上に関する取り組みは，画像の広ダイナミックレンジ化と密接に関係している。撮像機器・表示機器のダイナミックレンジを視角系のそれに近づけることで，忠実な画像表現を行うアプローチは，広ダイナミックレンジ化と呼ばれる。この広ダイナミックレンジ化においては，取得・表示する信号のビット深度を現行の８ビット／チャネルから１０ビット／チャネル以上へと拡張する必要がある。

こうした高ビット深度映像向けの符号化方式として，映像符号化の国際標準規格Ｈ．２６４／ＡＶＣでは，Ｙ，Ｃｂ，Ｃｒ成分を各々，１０ビット／チャネルおよび１４ビット／チャネルまで拡張したビット深度をサポートしている。しかし，Ｈ．２６４／ＡＶＣにおける高ビット深度映像への対応は，入力信号として，１０ビット／チャネルへの対応を実現したのみであり，符号化の要素技術は，従来の８ビット／チャネルの映像フォーマットに対する方式を転用したものとなっている（非特許文献１参照）。

K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006.

映像の高ビット深度化に伴い，映像のデータ量が増大することで，符号化処理の演算コストも増大する。例えば，動き補償フレーム間予測を行う場合，予測フレームを格納するためのフレームバッファ容量が増大し，演算コストの増大を招く。しかし，前述のような８ビット／チャネルの符号化方式の単純な転用では，処理速度の向上に改良の余地を残す。

本発明はかかる事情に鑑みてなされたものであって，高ビット深度映像信号に対して，低演算コストで実現可能な動画像符号化処理方法を確立することを目的とする。

本発明は，上記課題を解決するため，次のような処理を行う。動き補償を伴うフレーム間予測において，被予測信号，参照信号に対して，ビット深度変換処理を行い，ビット深度をＮ−Δとした両信号を出力する（Ｎはオリジナルビット深度，Δはビット深度削減量）。このビット深度がＮ−Δの信号によって動き推定を行う。さらに求めた動きベクトルを探索中心として，ビット深度変換前のビット深度Ｎの信号に対して動き推定を行い，動き補償に用いる動きベクトルを算出する。上記ビット変換処理では，例えば１０ビットの信号を８ビットにビットシフトする。これにより，一画素をバイト単位で処理可能となるため，メモリ消費を抑えることができ，演算時間の低減につながる。

すなわち，本発明では，入力された映像信号（ビット深度Ｎ＞８）に対して，ビット深度変換処理によりビット深度を低減し，ビット深度低減後の映像信号（ビット深度Ｎ−Δ≦８）によって動き推定を行い，動きベクトルを求める。その求めた動きベクトルを探索中心として，ビット深度変換前の映像信号に対して動き推定を行い，動きベクトルを求める多段階の動き推定を行う。

また，上記発明において，ビット深度低減後の映像信号によって動き推定を行い，動きベクトルを求める際に，動き推定の精度を整数画素精度に限定し，ビット深度変換前の映像信号に対して動き推定を行う際に，小数画素精度で動きベクトルを求めることを特徴とする。

本発明により，高ビット深度映像信号に対して，低演算コストで動画像符号化処理を実現することが可能となる。

本発明の実施形態に係る動画像符号化装置の構成例を示す図である。 ビット深度変換を伴う動き推定処理のフローチャートである。 本発明をソフトウェアプログラムを用いて実施する場合のハードウェア構成例を示す図である。

動画像符号化においては，動き補償を伴うフレーム間予測（ＭＣ予測と呼ぶ）が行われる。なお，ここでは，簡単のため１次元信号を例に取り説明する。

時刻ｔの位置ｘにおける信号ｆ_t （ｘ）に対して，区間Ｂを単位として動き推定を行い，動きベクトル＾ｄ（＾はｄの上に付く記号。以下同様）を求める。

ここで，arg min は，min 以下のコストを最小化するパラメータである。また，Ｒは動き推定の探索範囲を定める値である。ｆ′_t-1 （ｘ＋ｄ）は，ｆ_t-1 （ｘ＋ｄ）に対して符号化・復号処理を施して得られる復号信号である。

上記の予測を行うためには，被予測信号ｆ_t （ｘ），参照信号ｆ′_t-1 （ｘ）を格納する必要がある。入力信号として，Ｙ信号，Ｃｂ信号，Ｃｒ信号の各ビット深度がＮビット／チャネルであるＹＣｂＣｒフォーマットの信号を考える。なお，ここでは，ＹＣｂＣｒフォーマットの例について説明するが，本発明は，同フォーマットに限定されるものではない。

このとき，一枚のフレームを格納するために必要なメモリ容量は，フレーム内の画素数をＸとすると，３ＮＸビットとなる。バイト単位で格納される場合には，３［Ｎ／８］Ｘバイトとなる。ここで，［ｙ］の表記は実数ｙを超えない最大の整数を表す。

動画像信号のビット深度が高い場合，必要なメモリ容量は増大し，処理速度の低下を招く。そこで，動き推定処理の高速化として，以下のような粗密探索を行う。

〔ｓｔｅｐ１〕
まず，入力信号ｆ_t （ｘ）および参照信号ｆ_t-1 （ｘ）のビット深度をＮビット／チャネルからＮ−Δビット／チャネルへ変換する。ここで，Ｎ，Δをオリジナルビット深度，ビット深度削減量と呼ぶ。変換方法は，外部から与えられるものとする。例えば，最も単純な方法としては，ビットシフトがある。ビット深度変換後の入力信号および参照信号を各々，ｆ^* _t （ｘ）およびｆ^* ′_t-1 （ｘ）と表す。

〔ｓｔｅｐ２〕
次に，ｆ^* _t （ｘ）およびｆ^* ′_t-1 （ｘ）を用いて，次式に従い，動きベクトルを求める。

ただし，動きベクトルｄ^* は，ビット深度を低減した信号に対して求めているため，式（１）で求まる動きベクトルとは，乖離している可能性がある。

〔ｓｔｅｐ３（その１）〕
そこで，最後に，式（２）で求めた動きベクトルｄ^* を探索中心として，ｆ_t （ｘ）およびｆ′_t-1 （ｘ）を用いて，次式に従い，＾ｄの近似値としての動きベクトルを求める。

〔ｓｔｅｐ３（その２）〕
動き推定では，小数画素精度で動きベクトルを求める場合もある。そこで，ｆ′_t-1 （ｘ）に対して，１／ｎ画素精度で補間位置の画素値を生成した参照信号をg ′_t-1 （ｘ）として，式（３）の代わりに，次式に従い，小数画素精度の動きベクトルを求める。

〔ビット深度〕
入力信号のビット深度としては，Ｙ，Ｃｂ，Ｃｒが各１０ビット／チャネルの場合，Ｙ，Ｃｂ，Ｃｒを各８ビット／チャネルに変換することで，いずれも１画素をバイト単位で処理可能となる。あるいは，Ｙ信号のみを用いて動き推定を行う場合には，Ｙ信号のみ８ビット／チャネルに変換することで，不要な変換処理を省略することもできる。

なお，上記は一例として，入力信号のビット深度，変換後の信号のビット深度を示したが，本発明は，このビット深度の組み合わせに限るものではない。

〔動画像符号化装置〕
図１は，本発明の実施形態に係る動画像符号化装置の構成例を示す図である。図１に示す動画像符号化装置は，例えばＹ，Ｃｂ，Ｃｒが各１０ビット／チャネルのＹＣｂＣｒフォーマットの画像信号を入力する。動き検出部１７を除く各部の処理機能は，従来の動画像符号化装置と同様である。

符号化対象の画像信号が入力されると，減算器１０では，入力画像信号（被予測信号）と，予測信号との差分が算出される。変換・量子化部１１では，算出された差分信号に対して，ＤＣＴ変換等の直交変換と，その変換係数に対する量子化が行われる。量子化された変換係数は，エントロピー符号化部１９へ出力され，また逆量子化・逆変換部１２へ送られる。

逆量子化・逆変換部１２では，量子化された変換係数に対する逆量子化および逆変換が行われ，その出力と予測信号とが加算器１３により加算されて復号信号が求められる。復号信号に対し，デブロックフィルタ１４によりブロックノイズを低減するフィルタ処理が施され，結果の信号が，後のインター予測（フレーム間予測）における参照信号としてフレームメモリ１５に格納される。

イントラ予測部１６では，他の符号化済みフレームを参照しないフレーム内予測により，予測信号が生成される。一方，インター予測部１８では，動き検出部１７によって検出された動きベクトルに従って，フレームメモリ１５に格納されている他の符号化・復号済みの信号を用いて，予測信号が生成される。

エントロピー符号化部１９は，量子化された変換係数，動きベクトルその他の符号化情報をエントロピー符号化し，符号化ストリームを出力する。符号化制御部１００は，発生符号量の制御その他の全体の符号化の制御を行う。

特に，本実施形態における動き検出部１７は，ビット深度変換部１７１と第一動き推定部１７２と第二動き推定部１７３とを備える。

ビット深度変換部１７１は，被予測信号である入力画像信号と，フレームメモリ１５に格納されている参照信号を，右方向へビットシフトすることにより，ビット深度がＮビット／チャネル（Ｎ＞８）からＮ−Δビット／チャネル（Ｎ−Δ≦８）となるように，ビット深度の変換を行う。

第一動き推定部１７２は，ビット深度変換によりビット深度を８ビット以下に低減した信号を用いて動き推定を行い，動きベクトルを算出する。ここでは，例えば整数画素精度で動き探索を行う。

次に，第二動き推定部１７３は，第一動き推定部１７２が算出した動きベクトルを探索中心として所定の大きさの探索範囲を定め，ビット深度変換前のビット深度がＮビット／チャネルの信号に対して動き推定を行い，インター予測部１８が用いる動きベクトルを算出する。ここでは，例えば１／２，１／４画素精度というような小数画素精度で動き探索を行い，予測誤差が小さくなる動きベクトルを求める。

〔ビット深度変換を伴う動き推定処理の流れ〕
図２は，本実施形態に係るビット深度変換を伴う動き推定処理のフローチャートである。以下，図２に従って，動き検出部１７が行う動き推定処理の流れについて説明する。

まず，被予測信号と参照信号を読み込む（ステップＳ１０）。また，あらかじめ指定されたオリジナルビット深度Ｎと，ビット深度削減量Δを読み込み，必要に応じて外部から与えられるビット深度変換アルゴリズムを設定する（ステップＳ１１）。

次に，被予測信号および参照信号に対して，ビット深度変換処理を行い，ビット深度をＮ−Δとした両信号を出力する（ステップＳ１２）。このビット深度変換後の被予測信号，参照信号を用いて，第一動き推定部１７２により動き推定を行い，動きベクトルを求める。具体的には，上述した式（２）に従い，動きベクトルを算出する（ステップＳ１３）。

次に，第二動き推定部１７３は，ステップＳ１３で算出された動きベクトルと，ビット深度変換前の被予測信号，参照信号を入力として，求めた動きベクトルを探索中心とする動き推定を行い，インター予測部１８で用いる動きベクトルを求める。具体的には，上述した式（３）または式（４）に従って，動きベクトルを算出する（ステップＳ１４）。

以上の動き推定処理を含む動画像符号化処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

図３に，本システムのハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ２０と，ＣＰＵ２０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ２１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部２２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，図１および図２で説明した処理をＣＰＵ２０に実行させるソフトウェアプログラムである動画像符号化プログラム２４が格納されたプログラム記憶装置２３と，ＣＰＵ２０がメモリ２１にロードされた動画像符号化プログラム２４を実行することにより生成された符号化ストリームを，例えばネットワークを介して出力する符号化ストリーム出力部２５（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

１０ 減算器
１１ 変換・量子化部
１２ 逆量子化・逆変換部
１３ 加算器
１４ デブロックフィルタ
１５ フレームメモリ
１６ イントラ予測部
１７ 動き検出部
１８ インター予測部
１９ エントロピー符号化部
１００ 符号化制御部
１７１ ビット深度変換部
１７２ 第一動き推定部
１７３ 第二動き推定部

Claims (5)

1. ビット深度が８ビットより大きい入力映像信号に対して，動き補償を伴うフレーム間予測を用いた符号化を行う動画像符号化方法において，
   入力された映像信号に対して，ビット深度変換処理によりビット深度を８ビット以下に低減した映像信号を用いて動き推定を行い，動きベクトルを算出する第１の過程と，
   該動きベクトルを探索中心として，ビット深度変換前の映像信号に対して動き推定を行い，フレーム間予測に用いる動きベクトルを算出する第２の過程とを有する
   ことを特徴とする動画像符号化方法。
2. 請求項１記載の動画像符号化方法において，
   前記第１の過程では，動き推定の精度を整数画素精度に限定し，
   前記第２の過程では，動き推定の精度を小数画素精度として動きベクトルを算出する
   ことを特徴とする動画像符号化方法。
3. ビット深度が８ビットより大きい入力映像信号に対して，動き補償を伴うフレーム間予測を用いた符号化を行う動画像符号化装置において，
   入力された映像信号に対して，ビット深度変換処理によりビット深度を８ビット以下に低減した映像信号を用いて動き推定を行い，動きベクトルを算出する第１の動き推定手段と，
   該動きベクトルを探索中心として，ビット深度変換前の映像信号に対して動き推定を行い，フレーム間予測に用いる動きベクトルを算出する第２の動き推定手段とを備える
   ことを特徴とする動画像符号化装置。
4. 請求項３記載の動画像符号化装置において，
   前記第１の動き推定手段は，動き推定の精度を整数画素精度に限定し，
   前記第２の動き推定手段は，動き推定の精度を小数画素精度として動きベクトルを算出する
   ことを特徴とする動画像符号化装置。
5. 請求項１または請求項２に記載された動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。

Images