JP4930409B2 - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents

Description

本発明は、複数の画像フレームを符号化する画像符号化装置、画像符号化方法、画像符号化プログラムに関し、特に入力される映像フレームを間引いて、符号化すべきフレーム数を減少させることで、符号化データ量を抑制する画像符号化装置、画像符号化方法及び画像符号化プログラムに関する。

従来、動画像符号化装置において、符号化データ量を所定ビットレートに抑える手段として、入力映像のフレームを間引くことで、符号化データ量を抑制する制御方法がある（図９）。この場合、フレーム間引きを行わない場合に比べて、各フレームに割り当てられるビット数が多くなるため、フレーム毎の画品質は比較的高いが、フレーム間の時間が空くため動きが不自然になることが知られている。

そこで、間引きを行うフレームを少なくすべく、符号化の難易度に基づいて間引きの量を制御する技術が用いられてきた。図１０は、符号化処理部からの符号化難易度に基づく、駒落ち（フレーム間引き）制御の具体例であり、符号化の難易度に応じて、フレーム間引き量を制御する。

図１０に示した例では、符号化難易度は、符号化処理部にて、目標ビットレートに対する実際の符号化発生情報量を比較することで決定し、符号化制御におけるフレーム間引きの緊急度に応じて、「低、中、高」の３つのレベルに区分している。

一方、フレーム間引きや、表示パネル（液晶パネルなど）の特性に起因した動きの不自然さを、表示装置（あるいは、復号装置）で改善するための手段として、前後のフレームから、中間フレームを生成して、動きを滑らかに表示するフレーム補間方法が知られている（図１１）。

また、符号化装置にて間引いたフレームを符号化・復号処理と関連付け、復号装置にてフレーム補間する従来技術としては、特許文献１、特許文献２が開示されている。

特許文献１は、動画像符号化装置に、符号化手段とは別に、符号化で間引かれたフレームの動きベクトルを符号化する補間用符号化手段を持たせ、動画像復号装置が補間用符号化データを用いて間引かれたフレームを合成する技術を開示している。また、特許文献２は、動画像復号装置が、間引かれた映像フレームを前後のフレームの動きベクトルを用いて補間する方法を開示している。

特開２００６−２７０２９４号公報 特開平１０−２１５４５８号公報

しかしながら、特許文献１が開示するように、間引かれたフレームを補間するためのデータを付加することとすると、フレームの間引きによって符号化データ量を抑制したにも関わらず、補間用の符号化データを付加する必要があり、結果として符号化で使えるビット数が削減され、フレーム毎の画質が低下するという問題点があった。

また、特許文献２が開示する技術では、動画像符号化装置でのフレーム間引きは復号装置にてフレーム補間が有効に働くか否かを考慮することなくフレームの間引きを制御していたため、復号時に必ずしも補間が有効に作用するとは限らないという課題があった。

本発明は上述した従来技術にかかる問題点を解消し、課題を解決するためになされたものであり、補間用の符号化データを別途付加することによる符号化ビット数の削減を回避し、復号装置のみでフレーム補間を行う場合にもフレーム補間を有効に作用させることで動画像の符号化を効率化する画像符号化装置、画像符号化方法および画像符号化プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の画像フレームを符号化する場合に、複数の画像フレームの中から間引き対象候補となる画像フレームを選択し、間引き対象候補の前後の画像フレームの動きベクトルを検出し、動きベクトルに基づいて、前記画像フレームに対する間引きの実行可否を制御する。

さらに、本発明では、間引き対象候補の画像フレームに対する間引きが有効であるか否かを判定し、間引きの実行可否を制御する。

間引きが有効であるか否かの判定は、動きベクトルのばらつきに基づいて判定することができる。また、動きベクトルから補間フレームを生成し、補間フレームと間引き対象候補の画像フレームとの補間誤差を計算して、補間誤差に基づいてフレーム補間が有効か否かを判定することもできる。

さらに、間引きの実行可否の制御には、間引きの有効性の判定結果に加え、符号化処理部による符号化の難易度とを用いて前記画像フレームに対する間引きの実行可否を制御することもできる。

本発明によれば、補間用の符号化データを別途付加することによる符号化ビット数の削減を回避し、復号装置のみでフレーム補間を行う場合にもフレーム補間を有効に作用させることで動画像の符号化を効率化する画像符号化装置、画像符号化方法および画像符号化プログラムを得ることができるという効果を奏する。

以下に、本発明にかかる画像符号化装置、画像符号化方法および画像符号化プログラムの実施例を図面に基づいて詳細に説明する。

図１は、本発明に係る符号化装置の概要構成を示す概要構成図である。同図に示した符号化装置１は、図２に示すように送信側システムの一部であり、デジタル映像受信装置２が外部から受信したデジタル映像を受け取って符号化する処理を行う。符号化された映像データは、ネットワーク送信装置３によって送信される。

受信側システムでは、ネットワーク受信装置４が符号化された映像データを受け取った後、復号装置５によって復号し、フレームレート変換装置６がフレームレートを変換して表示装置７に表示する。

図１に示したように、符号化装置１は、その内部に遅延部１１、符号化フレーム間引き部１２、符号化処理部１３、間引き制御部１４および補間判定部１５を有する。遅延部１１は、入力された映像データ、すなわち連続する複数の画像フレームを一時的に蓄積するメモリであり、後述する補間判定部１５および間引き制御部１４の処理に要する時間分、画像フレームの間引きと符号化を遅延させる。

符号化フレーム間引き部１２は、連続する画像フレームの間引きを行なってフレーム数を減少させる処理部であり、間引きを実行するか否かについては後述する間引き制御部１４の制御を受ける。符号化フレーム間引き部１２は、間引きを実行する場合は間引き対象の画像フレームを削除した連続画像フレームを後段に出力し、間引きを実行しない場合には元々の連続画像フレームをそのまま後段に出力する。

符号化処理部１３は、符号化フレーム間引き部１２が出力する連続画像フレームを符号化して出力する処理部である。また、符号化処理部１３は、目標ビットレートに対する実際の符号化発生情報量を符号化難易度として間引き制御部１４に出力する。

補間判定部１５は、入力された連続画像フレームに間引きを行った後、間引き後の連続画像フレームに対する補間処理が有効に作用するか否かを判定し、判定結果を補間有効性情報として出力する判定部である。

間引き制御部１４は、補間判定部１５による判定結果と、符号化処理部１３における符号化難易度とを用いて間引きを実行するか否かを指示する信号を作成し、符号化フレーム間引き部１２に出力することでフレーム間引きを制御する。

補間判定部１５は、その内部にフレーム間引き部２１、動きベクトル検出部２２および判定部２３を有する。フレーム間引き部２１は、入力された連続画像フレームに対して、フレームの間引き処理を実行する処理部であり、動きベクトル検出部２２は、間引き後の映像フレームから動きベクトルを検出する処理を行う。判定部２３は、得られた動きベクトルを用いて復号時にフレーム補間が有効に作用するか否かを判定し、判定結果を間引き制御部１４に出力する。

換言するならば、補間判定部１５は、フレーム間引き部２１によってフレーム間引きを実行することで、符号化フレーム間引き部１２がフレーム間引き行ったと仮定した場合に復号装置が受け取るであろう連続画像フレームを作成し、作成した連続画像フレーム間の動きベクトルに基づいて、復号装置における補間処理が有効に作用するか否かを評価する。

つぎに、図３を参照し、符号化装置１の処理動作を説明する。まず、符号化装置１は、１フレーム分の映像データを入力し、遅延部１１のメモリとフレーム間引き部２１のメモリに格納する（ステップＳ１０１）。

つぎに、動きベクトル検出部２２が、フレーム間引き部２１の間引き用メモリから、現フレームの画像データと２フレーム前の画像データを読み出して、画像データ間の動きベクトルを検出する（ステップＳ１０２）。

その後、判定部２３は、検出された動きベクトルの情報を用いて、１フレーム前の画像データ（間引き対象候補のフレームの画像データ）を間引いた場合に、フレーム補間が有効に作用する映像か否かを判定し（ステップＳ１０３）、間引き制御部１４がフレーム補間の有効／無効と、符号化難易度とに基づいて、間引きを行うか否かを決定する（ステップＳ１０４）。

その結果、間引き対象候補のフレームを間引かないことに決定した場合（ステップＳ１０５，Ｎｏ）には、符号化フレーム間引き部１２は、遅延部１１のメモリから１フレーム分の画像データ（１フレーム前のデータ）を読み出し（ステップＳ１０７）、符号化処理部１３が符号化処理を行ったうえで符号化難易度を更新して（ステップＳ１０８）、１フレーム分の処理を終了する。

一方、間引き対象候補のフレームを間引くことに決定した場合（ステップＳ１０５，Ｙｅｓ）、そのフレームについては符号化を実行せず、符号化難易度のみを更新して（ステップＳ１０６）１フレームの処理を終了する。具体的には、間引くことに決定されたフレームは、遅延部１１のメモリから読み出されること無く、最終的には後続のフレームによって上書きされ、消失する。

このように、復号装置での復号フレームに対する動きベクトル探索と、それに基づく間引きフレームの補間処理が有効に働くか否か（補間有効性）を考慮した上で、動画像符号化装置でのフレーム間引きを制御することが本発明の主たる特徴である。

そして、かかる特徴により、表示装置（復号装置）でのフレーム補間処理が有効に働くフレームを予測し、優先的に間引いて符号化することが可能となり、補間用の符号化データを別途付加することによる符号化ビット数の削減を回避するとともに、復号装置のみでフレーム補間を行う場合にも、フレーム補間が有効に作用しやすい符号化データの生成が実現できる。

つぎに図４を参照し、補間判定部１５の具体的な構成例について説明する。図４に示した構成例では、フレームメモリ２１ａ，２１ｂ，２１ｃによってフレーム間引き部２１を構成し、ばらつき計算部２３ａ、平均計算部２３ｂ、ばらつき判定部２３ｃによって判定部２３を構成している。

かかる構成では、フレームメモリ２１ａに最新の画像フレームのデータであるフレームｔが保持され、フレームメモリ２１ｂに一つ前の画像フレームのデータであるフレームｔ−１が、フレームメモリ２１ｃに２つ前の画像フレームのデータであるフレームｔ−２がそれぞれ保持される。

動きベクトル検出部２２は、フレームｔ−1を間引いた場合に符号化対象となる、フレームｔとフレームｔ−２の映像から、所定の画素単位に動きベクトルを検出する。平均計算部２３ｂは、検出された動きベクトルを入力とし、１画面分の動きベクトルの平均値を計算する。

ばらつき計算部２３ａは、平均ベクトルに対する各ベクトルのばらつき（誤差）を計算し、ばらつき判定部２３ｃはばらつきの大きさから、画面内の動きベクトルのばらつきを判定する。

より具体的には、ばらつき計算部２３ａでは、例えば、図５に示したように、平均の水平・垂直ベクトルに対して、所定画素単位に計算した、水平・垂直ベクトルの、それぞれの差分二乗和を計算する。

また、ばらつき判定部２３ｃでは、例えば、前記差分二乗和が、あらかじめ定められた閾値以内である発生確率を算出し、発生確率が一定以上であれば、補間有効を出力し、それ以外では補間無効を出力する。

このように図４に示した構成では、表示装置（復号装置）で復号フレームに対して補間処理を行った場合に、フレーム補間が有効に作用する映像か否かの予測を、比較的フレーム補間処理が実現しやすい、画面全体の縦横斜めスクロール映像を対象として、画面内の動きベクトルのばらつきをもとに判定している。

図６は、補間判定部１５の他の構成例である。図６に示した構成例では、フレームメモリ２１ａ，２１ｂ，２１ｃによってフレーム間引き部２１を構成し、補間フレーム生成部２３ｄ、補間誤差算出部２３ｅ、補間誤差判定部２３ｆによって判定部２３を構成している。

この構成では、フレームｔ−１を間引いた場合に符号化対象となる、フレームｔとフレームｔ−２の映像から、動きベクトル検出部２２が所定の画素単位に動きベクトルを検出した後、補間フレーム生成部２３ｄが図７に示すように動きベクトルを用いて、補間フレームｔ−１´を生成する。

そして、補間誤差算出部２３ｅが間引き対象のフレームｔ−１と、補間フレームｔ−１´との補間誤差を計算し、誤差判定部２３ｆが補間誤差の大きさから、補間有効を判定する。

補間誤差算出部２３ｅでは、例えば、補間フレームと間引きフレームとの間の、同一位置の差分二乗和を計算する。また、補間誤差判定部２３ｆでは、例えば、前記差分二乗和が、あらかじめ定められた、しきい値以内であれば、補間有効を出力し、それ以外では補間無効を出力する。

このように図６に示した構成では、表示装置（復号装置）で復号フレームに対して補間処理を行った場合に、フレーム補間が有効に作用する映像か否かの予測を、符号化装置にて前後のフレームから、間引きフレームの補間を行った場合の補間誤差を求め、この補間誤差をもとに判定している。

つぎに、図８を参照し、間引き制御部１４による制御動作について説明する。間引き制御部１４は、符号化処理部１３から間引き制御用の情報として符号化難易度を、また、補間判定部１５から補間有効／無効情報を入力され、図８に示したテーブルに従って、フレーム間引き制御情報として、フレーム間引きフレーム数を出力する。

同図に示した符号化難易度は、符号化処理部１３にて、目標ビットレートに対する実際の符号化発生情報量を比較することで決定し、符号化制御におけるフレーム間引きの緊急度に応じて、「低、中、高」の３つのレベルからなる。また、補間有効／無効情報は、例えば図４，図６を参照して説明した方法で生成される。

符号化難易度が「低」の場合には、このまま符号化を継続しても、目標ビットレートを満たしているため、補間有効／無効に関わらず、フレーム間引きは行わない。

また、符号化難易度が「高」の場合には、符号化を継続できない（目標ビットレートに、符号化発生情報量を抑えることができない）可能性があるため、補間有効／無効に関わらず、フレーム間引きを行う。

一方、符号化難易度が中で、かつ、フレーム補間が有効に作用すると予測される場合には、フレーム間引きを積極的に行うことで、結果として符号化発生情報量を抑制し、以降のシーンへの割り当て情報量を確保するように作用する。

上述してきたように、本実施例にかかる符号化装置は、表示装置（復号装置）で復号フレームに対して補間処理を行った場合にフレーム補間が有効に作用する映像フレームを予測し、動画像符号化装置で優先的に間引いて符号化することで、補間用の符号化データを別途付加することによる符号化ビット数の削減を回避可能であるとともに、復号装置のみでフレーム補間を行う場合にも、フレーム補間が有効に作用しやすい符号化データの生成が可能となる。

なお、本実施例に示した構成及び動作はあくまで一例であって本発明を限定するものではなく、適宜変形して実施することができる。

以上のように、本発明は、動画像の符号化に有用であり、特に画質の維持とビットレートの抑制の両立に適している。

本発明にかかる符号化装置の概要構成を示す概要構成図である。 本発明にかかる符号化装置を適用するシステムについて説明する説明図である。 本発明にかかる符号化装置の処理動作を説明するフローチャートである。 動きベクトルのばらつきから補間有効性を判定する構成について説明する説明図である。 動きベクトルのばらつきからの補間有効性判定について説明する説明図である。 間引いたフレームと補間フレームとを比較して補間有効性を判定する構成について説明する説明図である。 間引いたフレームと補間フレームとの比較による補間有効性判定について説明する説明図である。 間引き制御の制御動作について説明する説明図である。 従来の符号化装置について説明するフローチャートである。 従来のフレーム間引き制御について説明する説明図である。 従来のフレーム補間について説明する説明図である。

符号の説明

１ 符号化装置
２ デジタル映像受信装置
３ ネットワーク送信装置
４ ネットワーク受信装置
５ 復号装置
６ フレームレート変換装置
７ 表示装置
１１ 遅延部
１２ 符号化フレーム間引き部
１３ 符号化処理部
１４ 間引き制御部
１５ 補間判定部
２１ フレーム間引き部
２１ａ，２１ｂ，２１ｃ フレームメモリ
２２ 動きベクトル検出部
２３ 判定部
２３ａ ばらつき計算部
２３ｂ 平均計算部
２３ｃ ばらつき判定部
２３ｄ 補間フレーム生成部
２３ｅ 補間誤差算出部
２３ｆ 補間誤差判定部

Claims (4)

1. 複数の画像フレームを符号化する画像符号化装置において、
   前記複数の画像フレームの中から間引き対象候補となる画像フレームを選択する候補選択部と、
   前記候補選択部が選択した間引き対象候補の前後の画像フレームの動きベクトルを検出するベクトル検出部と、
   前記ベクトル検出部が検出した動きベクトルの水平成分及び垂直成分それぞれの１画面分の平均値を計算し、前記水平成分及び前記垂直成分ごとに、各平均値に対する各動きベクトルの差分二乗和を計算し、前記差分二乗和が閾値以下である発生確率を計算し、前記発生確率が所定値以上である場合に、前記候補選択部が選択した間引き対象候補の画像フレームに対するフレーム補間が有効に作用すると判定する判定部と、
   前記判定部による判定結果を用いて、前記画像フレームに対する間引きの実行可否を制御する制御部と、
   前記制御部による制御を受けて画像フレームの間引きを実行する間引き処理部と、
   間引き処理を施された複数の画像フレームを符号化する符号化処理部と、
   を備えたことを特徴とする画像符号化装置。
2. 前記制御部は、前記判定部による判定結果と、前記符号化処理部による符号化の難易度とを用いて前記画像フレームに対する間引きの実行可否を制御することを特徴とする請求項１に記載の画像符号化装置。
3. 複数の画像フレームを符号化する画像符号化方法において、
   前記複数の画像フレームの中から間引き対象候補となる画像フレームを選択する候補選択ステップと、
   前記候補選択ステップによって選択した間引き対象候補の前後の画像フレームの動きベクトルを検出するベクトル検出ステップと、
   前記ベクトル検出部ステップにおいて検出された動きベクトルの水平成分及び垂直成分それぞれの１画面分の平均値を計算し、前記水平成分及び前記垂直成分ごとに、各平均値に対する各動きベクトルの差分二乗和を計算し、前記差分二乗和が閾値以下である発生確率を計算し、前記発生確率が所定値以上である場合に、前記候補選択ステップにおいて選択された間引き対象候補の画像フレームに対するフレーム補間が有効に作用すると判定する判定ステップと、
   前記判定ステップにおける判定結果を用いて、前記画像フレームに対する間引きの実行可否を制御する制御ステップと、
   前記制御ステップによる制御を受けて画像フレームの間引きを実行する間引き処理ステップと、
   間引き処理を施された複数の画像フレームを符号化する符号化処理ステップと、
   を含んだことを特徴とする画像符号化方法。
4. コンピュータに複数の画像フレームを符号化する画像符号化処理を実行させる画像符号化プログラムにおいて、
   前記複数の画像フレームの中から間引き対象候補となる画像フレームを選択する候補選択ステップと、
   前記候補選択ステップによって選択した間引き対象候補の前後の画像フレームの動きベクトルを検出するベクトル検出ステップと、
   前記ベクトル検出部ステップにおいて検出された動きベクトルの水平成分及び垂直成分それぞれの１画面分の平均値を計算し、前記水平成分及び前記垂直成分ごとに、各平均値に対する各動きベクトルの差分二乗和を計算し、前記差分二乗和が閾値以下である発生確率を計算し、前記発生確率が所定値以上である場合に、前記候補選択ステップにおいて選択された間引き対象候補の画像フレームに対するフレーム補間が有効に作用すると判定する判定ステップと、
   前記判定ステップにおける判定結果を用いて、前記画像フレームに対する間引きの実行可否を制御する制御ステップと、
   前記制御ステップによる制御を受けて画像フレームの間引きを実行する間引き処理ステップと、
   間引き処理を施された複数の画像フレームを符号化する符号化処理ステップと、
   をコンピュータに実行させることを特徴とする画像符号化プログラム。

Images