JP4393341B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

Description

本発明は動画像符号化装置及び動画像符号化方法に関し、特に、動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化するために用いて好適な技術に関する。

従来、新しい動画像の符号化方式として、Ｈ.２６４符号化方式が注目されている。本符号化方式は、ＩＴＵ−ＴとＩＳＯが共同で開発した符号化方式である。

この新しい符号化方式の特徴は、従来のＭＰＥＧ−１、２、４符号化方式と異なり、４×４整数変換を用い、イントラ予測も複数用意されている。また、ループ内フィルタが用いられ、動き補償も７種類のサブブロックで行われている。また、その動き補償の画素精度もＭＰＥＧ−４符号化方式と同様に、１／４画素精度の動き補償を行うことができる。更に、エントロピー符号化としてユニバーサル可変長符号化やコンテキスト適応可変長符号化が用いられている。

さらに大きな特徴として、ＭＰＥＧ−１、２、４符号化方式では、符号化対象のフレームの前後２枚の参照画像（フレーム）を用いて動き補償を行っていたが、より多くの参照画像を用いることが可能になっている。ビットストリームの先頭のヘッダに含まれるｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ符号は、最大１６の値をとることができる。

すなわち、動き補償において、符号化対象フレームの前後１６枚のフレームを参照画像として参照することが可能である。符号化対象となるマクロブロックは、前述のとおり、最大１６フレームの画像に対して、７種類のサブブロックについて１／４画素精度で予測誤差を算出し、予測誤差が最小になるマクロブロックを選択することで符号化効率を大幅に改善することが可能となる。

ここで、Ｈ．２６４符号化方式の従来の動画像符号化装置の構成について、図１１を用いて説明する。
図１１は、従来の動画像符号化装置の構成例を示すブロック図である。
動画像符号化装置には、画像データがマクロブロック単位で入力される。セレクタ１０００は、イントラ符号化するか否かを切り替え、イントラ符号化の場合はイントラ予測器１００１に画像データが入力される。イントラ予測器１００１では、９つのモードで予測を行い、予測誤差を算出する。

一方、イントラ符号化以外の場合は、差分器１００２に入力され、予測画像との差分を算出して、予測誤差とする。

変換／量子化器１００３は、算出された予測誤差を４×４画素ブロックの整数変換を実行し、得られる係数を量子化する。量子化結果である量子化係数は、エントロピー符号化器１００４で可変長符号化されて出力器１０１４に出力される。同時に、量子化結果は逆量子化／逆変換器１００５に入力され、予測誤差を復元し、加算器１００６で予測画像に加算する。その結果は、復号画像として、フレームメモリ１００７〜１０１０に適宜格納される。

動き推定器１０１１は、フレームメモリ１００７〜１０１０に格納された復号画像と入力画像を比較し、各サブブロック単位で１／４画素精度で動きベクトルを算出する。動きベクトルと選択したフレーム番号は、動き補償器１０１２に入力され、該当するフレームメモリから参照画像を読み込み、予測誤差の最も小さい参照画像を選択して予測画像として差分器１００２に出力する。

また、動きベクトルと選択されたフレーム番号は、動き符号化器１０１３に入力されて符号化され、出力器１０１４に出力される。出力器１０１４は、符号化データを書式に従って整形して出力する（例えば、非特許文献１、非特許文献２を参照）。

一方、動画像の撮影などで使用されるカムコーダにおいては、自動で焦点を合わせるオートフォーカス機能が搭載されている。特許文献１に記載の「テレビレンズのフォーカス操作装置」では、その請求項１で被写体の先鋭度を示す焦点評価値を求める評価値算出手段で算出された評価値が最大になるフォーカスポジションを求めてモータを制御してフォーカスを操作するテレビレンズが開示されている。

「Overview of the H.264/AVC video Coding Standard」（IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,JULY 2003） 「もたつくＭＰＥＧ−４を尻目にＨ.２６４がいざ発進」（日経エレクトロニクス ２００３．７．７号 ｐｐ．６５〜７４） 特開平１１−１０３４０９号公報

しかしながら、上述のＨ．２６４符号化方式のように、複数のフレームを参照する符号化方式では、動き補償を実行するために動きベクトルの探索を実行するが、その計算量は参照画像の枚数が増えるにつれて膨大な計算量が必要になるという課題が生じていた。

本発明は上記の課題に鑑みてなされたものであり、動画像符号化に使用する参照フレームを好適に選択することができるようにして、動きベクトル探索を効率良く行うことができるようにすることを目的とする。

本発明の動画像符号化装置は、動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化装置であって、フレームデータを入力する入力手段と、前記入力手段によって入力されたフレームデータから先鋭度を検出する先鋭度検出手段と、前記先鋭度検出手段によって検出された先鋭度が高い上位所定フレーム数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして、前記入力手段によって入力されたフレームデータの中から選択する選択手段と、前記選択手段によって選択された参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償手段と、
前記動き補償手段により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化手段と、前記符号化手段で符号化されたフレームデータを出力する出力手段とを有することを特徴とする。

本発明の動画像符号化方法は、動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化方法であって、フレームデータを入力する入力工程と、前記入力工程によって入力されたフレームデータから先鋭度を検出する先鋭度検出工程と、前記先鋭度検出工程によって検出された先鋭度が高い上位所定数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして前記入力工程によって入力されたフレームデータの中から選択する選択工程と、前記選択工程によって選択された参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償工程と、前記動き補償工程により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化工程と、前記符号化工程で符号化されたフレームデータを出力する出力工程とを有することを特徴とする。

本発明のプログラムは、動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化方法をコンピュータに実行させるプログラムであって、フレームデータを入力する入力工程と、
前記入力工程によって入力されたフレームデータから先鋭度を検出する先鋭度検出工程と、前記先鋭度検出工程によって検出された先鋭度が高い上位所定フレーム数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして、前記入力手段によって入力されたフレームデータの中から選択する選択工程と、前記選択工程によって選択された格納媒体に格納されている参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償工程と、前記動き補償工程により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化工程と、前記符号化工程で符号化されたフレームデータを出力する出力工程とをコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。

本発明によれば、先鋭度を指標にして参照フレームの選択を行うようにしたので、少ないフレーム数を参照するだけで、高画質な符号化を行うことが可能になる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を、図面を用いて詳細に説明する。
図１は本発明の第１の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。なお、第１の実施の形態では、動画像符号化装置が使用する符号化方式として、Ｈ．２６４符号化方式を例にとって説明するが、これに限定されない。また、説明を容易にするため、過去のフレームを参照する前方向予測を例にしている。また、説明を容易にするため、参照フレーム数を最大１６フレームとして説明するが、これに限定されない。

図１において、１はセレクタであり、フレーム内符号化／フレーム間符号化の符号化モードに応じて、出力を選択する。２はＨ．２６４符号化方式によるイントラ予測を実行するイントラ予測器であり、３は動き予測誤差を算出する差分器である。４は整数型直交変換を実行し、得られる係数を量子化する変換／量子化器である。６は量子化係数を逆量子化し、整数型逆直交変換を実行する逆量子化／逆変換器である。

５は変換／量子化器４の量子化結果を符号化するエントロピー符号化器である。１６は出力器であり、生成された符号をＨ．２６４符号化方式の書式に従って整形して出力する。７は加算器であり、逆量子化／逆変換器６より得られた予測誤差と予測値（予測画像）を加算する。

８＿１〜８＿１６はフレームメモリであり、局所復号された画像データをフレーム単位で格納する。９は入出力を制御するセレクタである。
１０は動き推定器であり、入力画像と復号画像に基づいて、最適な動きベクトルを該当するフレームから抽出する。１３は動き補償器であり、動き推定器１０で算出された動きベクトルと該当するフレーム情報から予測画像を生成する。１４は動き符号化器であり、算出された動きベクトルと該当するフレーム情報に基づいて、動きの情報を符号化する。

１１は入力された画像データの先鋭度を検出する先鋭度検出器であり、１２は参照フレームを決定し参照情報として出力する参照フレーム決定器である。１５は参照情報を符号化する参照情報符号化器である。

なお、図１の動画像符号化装置は、更に、当該装置全体を制御するＣＰＵ、装置を制御するための各種制御プログラムを記憶するＲＯＭ、各種制御を実行するための各種データの作業領域及び一時待避領域として機能するＲＡＭを有している。

次に、図１の動画像符号化装置の動画像符号化動作について、以下に説明する。
符号化に先立ち、参照に用いることができるフレーム数等を含むヘッダ情報をエントロピー符号化器５が生成し、出力器１６から出力する。

画像データは、フレーム単位で入力され、セレクタ１に入力される。セレクタ１では、一定間隔でフレーム内符号化を実行し、それ以外はフレーム間符号化を実行するように、その選択動作が制御される。

最初に、先頭の第１フレームに対してフレーム内符号化を実行する場合について説明する。
入力されたフレームデータは、マクロブロック単位でイントラ予測器２に入力され、イントラ予測器２において、ブロック毎にイントラ予測を実行する。その予測結果は、変換／量子化器４に入力され、変換／量子化器４において整数型直交変換を実行し、得られる係数を量子化する。その量子化結果である量子化係数は、エントロピー符号化器５と逆量子化／逆変換器６に入力される。

エントロピー符号化器５は、入力された量子化結果をエントロピー符号化し、符号化データは出力器１６に入力される。逆量子化／逆変換器６では、入力された量子化結果から復号画像を得て、加算器７に入力する。フレーム内符号化では、予測画像はないので、予測値「０」を加算する。

一方、先鋭度検出器１１は画像データから先鋭度を検出する。先鋭度は画像のエッジの強度によって表されるエッジの強度に関しては画像の１次微分をとってもかまわない。説明のために、画素x(i、j)に対して１次微分値Δx(i、j)は、
Δx(i、j)＝4x(i、j)−x(i−1、j)−x(i、j−1)−x(i+1、j)−x(i、j+1)・・・（１）
であり、Δx(i、j)の絶対値が閾値以上のデータの総和を閾値以上であったがその数で割ったものを先鋭度Ｅｋ（ｋはフレームの番号）と定義する。

算出された先鋭度Ｅｋは参照フレーム決定器１２に入力される。
図２に、参照フレーム決定器１２の詳細なブロック図を示す。図２において、１００は入力された先鋭度Ｅｋを一旦蓄積しておく先鋭度バッファであり、１０１＿１〜１０１＿１６は先鋭度Ｅｋを格納しておく先鋭度メモリであり、それぞれ、図１のフレームメモリ８＿１〜８＿１６に対応する。

１０２は先鋭度比較器であり、先鋭度メモリ１０１＿１〜１０１＿１６に格納されている先鋭度Ｅｋを比較し、上位Ｎ個を選択し、該当するフレーム番号を決定したり、先鋭度Ｅｋが最小のものを選択したりする。決定されたフレーム番号は先鋭度選択フレーム情報メモリ１０５に格納される。１０３はフレームカウンタであり、１フレームを処理するごとに１ずつ内容を増加させる。

１０４は、時間的に近傍のフレームの番号を格納しておく時間選択フレーム情報メモリである。１０５は先鋭度Ｅｋに基づいて選択されたフレームの番号を格納しておく先鋭度選択フレーム情報メモリである。１０６は先鋭度メモリ制御器であり、先鋭度メモリ１０１＿１〜１０１＿１６を制御する。

入力された先鋭度Ｅｋは先鋭度バッファ１００に蓄積される。
先鋭度メモリ制御器１０６は、先鋭度メモリ１０１＿１〜１０１＿１６にデータが格納されていないものがあれば、該当する先鋭度メモリに先鋭度バッファ１００の内容を格納する。先鋭度メモリ１０１＿１〜１０１＿１６の全てにデータが格納されている場合は、格納する先鋭度メモリを選択する。フレームカウンタ１０３はこの時、ｋの値を出力している。

時間選択フレーム情報メモリ１０４は値ｋから、（ｋ−１）番のフレーム、（ｋ―2）番のフレームと、（ｋ―３）番のフレームを選択するように、（ｋ−１）、（ｋ−２）、（ｋ−３）を格納する。該当するフレームが存在しない場合は存在するもののみを蓄積する。

その後、先鋭度比較器１０２は先鋭度メモリ１０１＿１〜１０１＿１６のうち、ｋ番のフレーム、および、時間選択フレーム情報メモリ１０４に格納された（ｋ−１）番のフレーム、（ｋ−２）番のフレーム、（ｋ−３）番のフレームを除いたフレームの先鋭度Ｅｋを先鋭度メモリ１０１＿１〜１０１＿１６から読み出し、その最小のものを選択し、その番号を先鋭度メモリ制御器１０６に入力する。

先鋭度メモリ制御器１０６は、選択された先鋭度Ｅｋに対応するフレーム番号を決定し、先鋭度メモリ１０１＿１〜１０１＿１６の内、対応するフレームの先鋭度メモリに先鋭度バッファ１００の内容を格納する。先鋭度メモリ制御器１０６の出力はフレームメモリ８＿１〜８＿１６にも入力される。

図１に戻り、時間的に長い参照フレームを更新するので、参照情報を参照情報符号化器１５はＨ．２６４符号化方式の書式に従って、参照フレームの更新情報符号化する。加算器７から出力された復号画像データは、図２の先鋭度メモリ制御器１０６からの出力に基づき、フレームメモリ８＿１〜８＿１６のいずれかに格納される。

続いて、後続の第２フレーム以降のフレームに対してフレーム間符号化を実行する場合について説明する。
先鋭度検出器１１は、画像データから先鋭度Ｅｋを検出する。算出された先鋭度Ｅｋは参照フレーム決定器１２に入力される。参照フレーム決定器１２は、参照するフレームを５フレーム選択する場合を例に取るが選択されるフレーム数はこれに限定されない。

図２に移り、入力された先鋭度Ｅｋは先鋭度バッファ１００に蓄積される。
フレームカウンタ１０３はこの時、ｋのカウント値を出力している。時間選択フレーム情報メモリ１０４はカウント値ｋから、（ｋ−１）番のフレーム、（ｋ―２）番のフレームと、（ｋ―３）番のフレームを選択するように、（ｋ−１）、（ｋ−２）、（ｋ−３）を格納する。該当するフレームが存在しない場合は存在するもののみを蓄積する。

その後、先鋭度比較器１０２は先鋭度メモリ１０１＿１〜１０１＿１６のうち、ｋ番のフレーム、及び時間選択フレーム情報メモリ１０４に格納された（ｋ−１）番のフレーム、（ｋ−２）番のフレーム、（ｋ−３）番のフレームを除いたフレームの先鋭度Ｅｋを先鋭度メモリ１０１＿１〜１０１＿１６から読み出し、先鋭度Ｅｋの高いものから２つと最小のものを選択する。先鋭度Ｅｋの高いものは該当する番号を先鋭度選択フレーム情報メモリ１０５に格納される。

最小のものの番号は、先鋭度メモリ制御器１０６に入力される。先鋭度メモリ制御器１０６は選択された先鋭度Ｅｋに対応するフレーム番号を決定し、先鋭度メモリ１０１＿１〜１０１＿１６の内、対応するフレームの先鋭度メモリに先鋭度バッファ１００の内容を格納する。先鋭度メモリ制御器１０６の出力はフレームメモリ８＿１〜８＿１６にも入力される。

図１に戻り、セレクタ９は、図２の時間選択フレーム情報メモリ１０４と先鋭度選択フレーム情報メモリ１０５に格納された番号に該当する選択されたフレームメモリの内容を読み出し、動き推定器１０に入力する。動き推定器１０は、これらのフレームメモリの内容と入力画像データから、動きベクトルを算出し、動き補償器１３で予測画像を生成し、差分器３に入力する。セレクタ１は出力に差分器３を選択する。

差分器３は予測誤差を算出し、その算出結果は変換／量子化器４に入力され、整数型直交変換を実行し、得られる係数を量子化する。その量子化結果である量子化係数は、エントロピー符号化器５と逆量子化／逆変換器６に入力される。また、動き推定器１０で算出された動きベクトルは動き符号化器１４で符号化され、符号化データは出力器１６に入力される。

エントロピー符号化器５では、入力された量子化結果をエントロピー符号化し、符号化データは出力器１６に入力される。
逆量子化／逆変換器６では、入力された量子化結果から予測誤差を得て、加算器７に入力する。予測誤差に動き補償器１３からの予測画像（予測値）を加算する。加算器７から出力された復号画像データは、図２の先鋭度メモリ制御器１０６からの出力に基づき、フレームメモリに格納される。

次に、第１の実施の形態の動画像符号化装置における動画像符号化処理の処理手順について、図３のフローチャートを用いて説明する。
まず、ステップＳ１にて、ヘッダ情報を生成して出力する。次に、ステップＳ２にて、全てのフレームの符号化が終了したか否かを判定する。この判定の結果、符号化が終了している場合（ステップＳ２でＹＥＳ）、処理を終了する。一方、符号化が終了していない場合（ステップＳ２でＮＯ）には、ステップＳ３に進む。

ステップＳ３においては、符号化対象のフレームデータを入力する。次に、ステップＳ４にて、フレームデータから先鋭度Ｅｋを算出する。その後、ステップＳ５に進み、時間的に近傍のＭ（この場合は、「３」）フレームを参照フレームとして選択する。

次に、ステップＳ６に進み、上記選択したＭフレームを除いたフレームで、先鋭度Ｅｋの高いＮフレームを参照フレーム（この場合は、「２」）として選択する。
次に、ステップＳ７にて、フレーム内符号化の場合は、フレーム内のデータを用いて符号化する。また、フレーム間符号化の場合は、上記の参照フレームを参照して、フレームデータを符号化する。

次に、ステップＳ８にて、先鋭度Ｅｋの最も低いフレームを選択する。
次に、ステップＳ９にて、符号化データから復号画像を再生し、前記ステップＳ８で選択されたフレームを削除して格納する。先鋭度Ｅｋも同様に格納される。その後、次のフレームを処理するために、ステップＳ２に戻る。

以上説明したように、第１の実施の形態によれば、先鋭度Ｅｋが高いことにより、重要な情報が多く含まれていると思われるフレームを参照するようにしたので、動き補償を効率よく行うことができる。これにより、符号化効率の向上と画質の向上を図ることができる。

なお、第１の実施の形態においては、参照フレーム数を最大５フレームとしたが、これに限定されず、フレームメモリを必要数揃えることで、その他の枚数の参照にも対応できることは明らかである。また、蓄積しておく最大のフレーム数を１６としたが、これに限定されない。

また、第１の実施の形態においては、時間的に近傍のフレーム数や先鋭度Ｅｋで選択されるフレーム数はこれに限定されない。さらに、これらのフレーム数を可変にしても構わない。

また、第１の実施の形態においては、前方向予測のみを例にとって説明したが、後方向予測や両方向予測を用いた場合も、フレームメモリを必要数揃えることで対応できることは明らかである。また、第１の実施の形態の動画像符号化装置の各種構成要素の一部または全部の機能を、ソフトウェアで記述し、ＣＰＵ等の演算装置によって処理を実行する構成としても勿論構わない。

（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る動画像符号化装置の構成を示すブロック図である。なお、第２の実施の形態では、動画像符号化装置として、カムコーダを例に挙げて説明する。

図４において、４０１は撮像部であり、ピント調節が可能なレンズ等で構成される光学部と、光電変換によって画像のアナログ電気信号を生成する電子回路部とにより構成されている。４０２は画像データの先鋭度Ｅｋを検出する先鋭度検出器である。また、４０３は合焦度判定器であり、先鋭度Ｅｋからピントの合っている度合いを判定し、ピントの制御のための信号を生成する。４０４は合焦度判定器４０３の出力に基づいて、ピントを調節するためのレンズのピント調節器である。ピント調節器４０４はレンズの位置を調整するモータ等で構成されている。

４０５はアナログ電気信号をデジタル信号に変換するＡ／Ｄ変換器であり、４０６はデジタル信号を記憶するフレームメモリである。４０７は先鋭度検出器４０２の出力に基づいて、参照するフレームを選択する参照フレーム決定器である。なお、本実施の形態においては説明を容易にするために、参照フレーム数を最大５フレームとして説明するが、これに限定されない。

４０９は復号画像を格納するフレームメモリ群であり、４０８はそれを制御するフレームメモリ制御器である。４１０は参照フレーム決定器４０７の出力に応じて、フレームメモリ群４０９の復号画像を参照して動き補償を行う動き補償器であり、４１１は符号化する符号化器である。符号化方式はＨ．２６４符号化方式を例にとって説明するが、これに限定されない。

４１２は記録メディア４１３に符号化データを記録するための記録器である。４１３は符号化データを記録する記録メディアである。４１４は参照のための復号画像を生成する復号器である。

撮像部４０１による撮影フレームのアナログ電気信号はＡ／Ｄ変換器４０５と先鋭度検出器４０２に入力される。先鋭度検出器４０２はアナログ信号に高域通過フィルタ（ＨＰＦ）を施し、その値をデジタル化し、１フレーム分加算する。

加算された値は、合焦度判定器４０３に入力される。合焦度判定器４０３は求められた先鋭度Ｅｋが最大値になるようにピント調節器４０４に信号を出力する。合焦度の判定に関しては従来技術を用いても構わない。例えば、前述の特許文献１に記載の判定を用いても構わない。ピント調節器４０４は入力された信号に従って、モータを駆動してレンズの位置を調節する。

先鋭度Ｅｋは参照フレーム決定器４０７にも入力される。参照フレーム決定器４０７では図１の参照フレーム決定器１２と同様に、先鋭度Ｅｋから参照するフレームを決定する。フレームメモリ制御器４０８はフレームメモリ群４０９から該当するフレームデータを読み出し可能にする。

一方、Ａ／Ｄ変換器４０５に入力されたアナログ電気信号はデジタル化され、フレームメモリ４０６に格納される。動き補償器４１０は参照フレーム決定器４０７で決定されたフレームをフレームメモリ群４０９から入力し、第１の実施の形態と同様にフレームメモリ４０６の内容と参照フレームを比較して、動き補償を行い、予測誤差や入力画像のデータを出力する。符号化器４１１はこれらのデータをフレーム内符号化及びフレーム間符号化を行い、符号化データを生成する。符号化データは記録器４１２を介して記録メディア４１３に記録される。

復号器４１４は生成された符号化データを復号して、復号画像を生成し、参照フレーム決定器４０７が指示するフレームのデータが入っているフレームメモリ群４０９内のメモリにフレームメモリ制御器４０８の指示に従って、格納する。

次に、第２の実施の形態の動画像符号化装置の動画像符号化処理の処理フローについて、図５を用いて説明する。
図５は本発明の第２の実施の形態に係る動画像符号化装置における動画像符号化処理を示すフローチャートである。なお、図５において、第１の実施の形態の図３と同様の機能を果たす部分に関しては同じステップ番号を付与し、説明を省略する。

第１の実施の形態と同様に、ステップＳ１〜ステップＳ２の処理後、ステップＳ５００にて、フレームデータを撮像する。次に、ステップＳ４の処理後、ステップＳ５０１にて、先鋭度Ｅｋに基づいて焦点の調節を行う。

その後、ステップＳ７にて、フレーム内符号化の場合は、フレーム内のデータを用いて、フレーム間符号化の場合は、時間的に近傍のＭフレームと先鋭度Ｅｋに基づいて選択されたＮフレームを参照して、フレームデータを符号化する。

次に、ステップＳ５０２にて、符号化データを記録メディア４１３に記録する。
次に、ステップＳ５０３にて、前のフレームの先鋭度Ｅｋと比較して先鋭度Ｅｋが向上していれば、ステップＳ５０６に進み、そうでなければ、ステップＳ５０４に進む。ステップＳ５０４においては、時間的に選択されているＭフレームのうち、最も時間が経過しているフレームを選択する。次に、ステップＳ５０５にて、符号化データを復号して、生成したフレームデータをステップＳ５０４で選択されたフレームに格納する。

一方、ステップＳ５０３の判定の結果、ステップＳ５０６に進んだ場合には、「Ｍフレーム」前まで遡って先鋭度Ｅｋが単調増加か否かを判定する。この判定の結果、単調増加であれば、ステップＳ５０７に進み、そうでなければ、ステップＳ５０８に進む。

ステップＳ５０７においては、先鋭度Ｅｋに基づいて決められたＮフレームの参照フレームから「（Ｍ＋１）フレーム」前のフレームを外す。これは、先鋭度Ｅｋが単調増加しているので、「（Ｍ＋１）フレーム」前のフレームがＮフレームに含まれているので、これを除去対象とするのである。また、ステップＳ５０８に進んだ場合には、先鋭度Ｅｋに基づいて決められたＮフレームの参照フレームの中で最も先鋭度Ｅｋの低いフレームを外す。

次に、ステップＳ５０９にて、入力したフレームの復号画像のフレームデータを、ステップＳ５０７またはステップＳ５０８で除外されたフレームの代わりとすることを選択する。

次に、ステップＳ５１０にて、符号化データを復号して、生成したフレームデータをステップＳ５０９で決定されたフレームに格納する。その後、次のフレームを処理するためにステップＳ２に戻る。

以上説明したように、第２の実施の形態によれば、ピント調節の機能と併用することで、ピントが合ったフレームを参照することにより、先鋭度Ｅｋが高い、重要な情報が多く含まれていると思われるフレームを用いて動き補償を行うことができ、動き補償を効率よく行うことができる。特に、本実施の形態においては、ピントを調節している最中に、ピントが合いにくい画像において、ピント調節中に先鋭度Ｅｋの高い画像を参照画像とするようにしたので、ピントが合ったときにピンぼけの画像から参照するのではなく、先鋭度Ｅｋの高い画像を参照することができるので、ピントの合った画像の先頭から動き補償を行うことができる。

なお、第２の実施の形態においては、先鋭度Ｅｋの検出をアナログ電気信号に対するＨＰＦで求めた高周波成分の和としたが、これに限定されず、デジタル信号に対するＨＰＦ演算や、直交変換を行ったときの高周波成分でも対応できることは明らかである。
また、第２の実施の形態の動画像符号化装置の各種構成要素の一部または全部の機能を、ソフトウェアで記述し、ＣＰＵ等の演算装置によって処理を実行する構成としても勿論構わない。

また、第２の実施形態においては、先鋭度Ｅｋに基づいて参照フレームを決定したが、図６のように、別な方式で合焦度を測定して、これを参照フレーム決定器での先鋭度として入力しても構わない。

図６において、４２０は被写体との距離を測定する距離測定器であり、超音波等で距離を測定する。４２１はピント調節器であり、焦点距離をも出力する。４２２は合焦度判定器であり、距離測定器４２０の距離とピント調節器４２１の焦点距離を比較し、その差Ｄから、１／Ｄを合焦度Ｆとする。この値Ｄが十分に小さい場合に合焦度が大きいと判定する。４２３は参照フレーム決定器であり、合焦度Ｆを先鋭度Ｅｋの変わりとして参照フレームを決定する。

これにより、ピントを調節している最中に、ピントが合いにくい画像において、ピントが合ったときにピンぼけの画像から参照するのではなく、ピントの合った画像の先頭から動き補償を行うことができる。

また、第２の実施の形態としてカムコーダを例にとったがこれに限定されず、記録器４１２の代わりに通信インターフェースを、記録メディア４１３の代わりに通信回線を用いることで、動画像伝送装置としても勿論構わない。

（第３の実施の形態）
図７は、本発明の第３の実施の形態に係る動画像符号化装置の構成を示すブロック図である。図７において、３００は装置全体の制御、及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。３０２は動画像符号化装置を構成する各種構成要素を相互に接続し、データ及び制御信号を転送するバスである。

３０３は装置の起動、各種条件の設定、再生の指示を行うための端末である。３０４はソフトウェアを蓄積する記憶装置である。３０５は符号化ストリームを蓄積する記憶装置である。記憶装置３０４及び記憶装置３０５は、動画像符号化装置から切り離して移動できる可搬性記憶媒体で構成することもできる。

３０６は動画像を１フレームずつ撮影できるカメラ（撮像部）である。３０７は画像を表示するモニタであり、３０９は通信回路であり、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０８は通信回路３０９を介してストリームを送受信する通信インターフェース（Ｉ／Ｆ）である。

メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアが格納され、これに加えて、画像データを格納する画像エリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際のパラメータ等を格納するワーキングエリアが存在する。

このような構成において、カメラ３０６から撮影した動画像を符号化し、通信回線３０９を介してその外部端末に送信する処理について説明する。ここでは、符号化方式としてＨ．２６４符号化方式を例にとって説明するが、これに限定されず、２フレーム以上の複数フレームを参照して符号化する符号化方式であれば、どのような符号化方式でも構わない。また、説明を容易にするために、符号化対象のフレームとして前５フレームを参照することとするが、これに限定されない。

処理に先立ち、端末３０３から装置全体に対して起動が指示され、各構成要素が初期化される。これにより、記憶装置３０４に格納されているソフトウェアが、バス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。

ここで、メモリ３０１のデータ構成について、図１０を用いて説明する。図１０は、本発明の第３の実施の形態に係るメモリのデータ構成を示す図である。
図１０に示すように、メモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ３０１ａ、Ｈ．２６４符号化方式を実行する動画像符号化ソフトウェア３０１ｂ、動画像符号化ソフトウェア３０１ｂで参照するフレームを決定する参照フレーム決定ソフトウェア３０１ｃ、通信を制御する通信ソフトウェア３０１ｄが格納される。また、画像データを記憶する画像エリア３０１ｅ、符号化データを記憶する符号エリア３０１ｆ、ワーキングエリア３０１ｇが構成されている。

このような構成において、ＣＰＵ３００による動画像符号化装置の制御手順について、図８を用いて説明する。
図８は、本実施の形態に係る動画像符号化装置が実行する処理を示すフローチャートである。

ステップＳ７００にて、通信ソフトウェアを起動し、通信回線３０９を介して符号化データを出力するための準備を実行する。通信ソフトウェアは、符号エリアに符号化データが格納されたら、通信インターフェース３０８を介して通信回線３０９に送出し、送出後、符号エリアの該当する領域をクリアする。以後、特に、符号エリアの符号化データの送信については言及しない。

次に、ステップＳ７０１にて、参照フレーム決定ソフトウェアを起動し、各部の初期化を実行し、動画像の撮影を開始する。この時、フレームのカウンタの変数Ｇを０クリアする。

次に、第１の実施の形態と同様に、ステップＳ１〜Ｓ４にて、ヘッダ情報を生成し、メモリ３０１上の符号エリア３０１ｆに格納する。ステップＳ３にて、符号化対象のフレームデータを入力し、メモリ３０１上の画像エリア３０１ｅに格納する。ステップＳ４にて、フレームデータから先鋭度Ｅｋを算出しメモリ３０１上のワーキングエリア３０１ｇにフレーム単位で格納する。続いて、ステップＳ７０２に進み、参照フレーム決定ソフトウェアを動作させる。

次に、ステップＳ７０２の参照フレーム選択処理の詳細について、図９を用いて説明する。
図９は本発明の第３の実施の形態に係るステップＳ７０２の処理の詳細を示すフローチャートである。
まず、ステップＳ８０１にて、図８のステップＳ４で算出した先鋭度Ｅｋと第１の先鋭度閾値Ｔと比較し、第１の先鋭度閾値Ｔよりも大きければステップＳ８０２に進み、そうでなければステップＳ８０５に進む。

次に、ステップＳ８０２にて、先鋭度Ｅｋと第２の先鋭度閾値Ｚを比較する。第２の先鋭度閾値Ｚは第１の先鋭度閾値Ｔに比べて十分の大きく、砂嵐状のノイズのようなものから抽出された先鋭度Ｅｋをこの値とする。第２の先鋭度閾値Ｚよりも大きければステップＳ８０５に進む。そうでなければステップＳ８０３に進む。

ステップＳ８０３にて、第１の先鋭度閾値Ｔ以上の参照フレームとの類似度Ｒｉを算出する。ここでは、説明のために各画素値について（１）式で求めた先鋭度Ｅｋを平均値で２値化した画像同士で動き補償を行って、生じた予測誤差を求めるものとするが、これに限定されない。類似度Ｒｉは各画素値の差分絶対値和や動き補償をしたときの予測誤差の和でも比較できる。

ステップＳ８０４にて、類似度Ｒｉを第３の閾値ρと比較し、第３の閾値ρよりも大きければステップＳ８０５に進み、そうでなければステップＳ８１０に進む。
次に、ステップＳ８０５にて、フレームカウンタＧと閾値Ｇｍａｘを比較する。閾値Ｇｍａｘよりも小さければステップＳ８０６に進む。そうでなければステップＳ８０８に進む。

次に、ステップＳ８０６にて、フレームカウンタＧに１を加算する。その後、ステップＳ８０７にて、時間近傍の参照フレーム（Ｍフレーム）の中で最も古いものを除去候補として選択して、図１のステップＳ５に進む。

次に、ステップＳ８０８にて、先鋭度Ｅｋで選択された参照フレーム（Ｎフレーム）の中でメモリ３０１上のワーキングエリア３０１ｇに格納されている先鋭度Ｅｋが最も低いものを除去候補として選択する。

次に、ステップＳ８０９にて、先鋭度Ｅｋによって選択される「フレーム数Ｎ」を１つ減じた「Ｎ'」を求め、時間的に近傍の「フレーム数Ｍ」を１つ増した「Ｍ'」を求め、フレームカウンタＧを「０」にリセットして、図８のステップＳ５に進む。

次に、ステップＳ８１０にて、先鋭度Ｅｋによって選択されるフレーム数Ｎがその最大値Ｎｍａｘより小さいか否かを判定し、小さければステップＳ８１１に進み、そうでなければステップＳ８１３に進む。Ｎｍａｘは例えば最大参照フレーム数から２を引いた値とすることができる。本実施の形態の場合はこの例に拠ればＮｍａｘは３である。

次に、ステップＳ８１１にて、時間近傍の参照フレーム（Ｍフレーム）の中でメモリ３０１上の最も古いものを除去候補として選択する。
次に、ステップＳ８１２にて、先鋭度Ｅｋによって選択される「フレーム数Ｎ」を１つ増した「Ｎ'」を求め、時間的に近傍の「フレーム数Ｍ」を１つ減じた「Ｍ'」を求める。次に、ステップＳ８１３にて、先鋭度Ｅｋで選択された参照フレーム（Ｎフレーム）の中でメモリ３０１上のワーキングエリア３０１ｇに格納されている先鋭度Ｅｋが最も低いものを除去候補として選択する。

その後、ステップＳ８１４にて、フレームカウンタＧを「０」にリセットして、図８のステップＳ５に進む。そして、前述した第１の実施の形態と同様にステップＳ５〜Ｓ７にて、参照フレームを選択して符号化する。

その後、ステップＳ７０３にて、符号化データから復号画像を再生し、ステップＳ７０２で選択された除去候補のフレームを削除して格納する。先鋭度Ｅｋも同様に格納される。また、「フレーム数Ｎ'」、「フレーム数Ｍ'」の値が求められていれば、その値を新しい「フレーム数Ｎ」、「フレーム数Ｍ」とする。その後、次のフレームを処理するために、ステップＳ２に戻る。

以上説明したように、第３の実施の形態によれば、先鋭度Ｅｋが高い、重要な情報が多く含まれていると思われるフレームを参照することにより、動き補償を効率よく行うことができる。さらに、先鋭度Ｅｋに従って参照フレーム内の時間近傍のフレーム数と先鋭度Ｅｋによって選択されるフレーム数を可変にすることにより、最適なフレームを参照することが可能になる。さらに、先鋭度Ｅｋが高いが重要でないフレームデータを参照フレームから外すことによって、重要なフレームデータを参照できるようにすることができる。

なお、第３の実施の形態においては、参照フレームを、符号化対象のフレームの前５フレームとしたが、これに限定されず、参照フレームを格納するための画像エリアを必要量確保することでその他の枚数の参照にも対応できることは明らかである。なお、第３の実施の形態においては、先鋭度Ｅｋによる参照フレーム数の最大値を設けたが、これに限定されず、設けなくても構わない。また、時間近傍のフレーム数については最大値を設けていないが、これも限定されず、例えばＭｍａｘを定義してこれを超えないように制限することも可能である。

さらに、第３の実施の形態では符号エリア３０１ｆ内の符号化データを、通信インターフェース３０８を介して通信回線３０９に送信する例について説明したが、符号化データを記憶装置３０５に格納してもよい。

また、入力画像もカメラからの撮影画像に限定されず、記憶装置３０５に格納されている動画像データを用いることも可能である。さらには、シーンチェンジ等を検出した場合、その参照フレーム数Ｎ、Ｍをリセットすることも可能である。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態における動画像符号化装置を構成する各手段、並びに動画像符号化方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図３、図５、図８及び図９に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の第１の実施の形態を示し、本発明に係る動画像符号化装置の構成を示すブロック図である。 本発明の第１の実施の形態を示し、参照フレーム決定器の詳細な構成例を示すブロック図である。 本発明の第１の実施の形態を示し、動画像符号化動作例を示すフローチャートである。 本発明の第２の実施の形態を示し、本発明にかかる動画像符号化装置の構成例を示すブロック図である。 本発明の第２の実施の形態を示し、動画像符号化動作例を示すフローチャートである。 本発明の第２の実施の形態を示し、本発明にかかる動画像符号化装置の別な構成例を示すブロック図である。 本発明の第３の実施の形態を示し、本発明にかかる動画像符号化装置の構成例を示すブロック図である。 本発明の第３の実施の形態を示し、動画像符号化動作例を示すフローチャートである。 本発明の第３の実施の形態を示し、参照フレームの決定動作例を示すフローチャートである。 本発明の第３の実施の形態を示し、メモリのデータ構成を示す図である。 従来例を示し、動画像符号化装置の構成例を示すブロック図である。

符号の説明

１、９ セレクタ
２ イントラ予測器
３ 差分器
４ 変換／量子化器
５ エントロピー符号化器
６ 逆量子化／逆変換器
７ 加算器
８＿１〜８＿１６ フレームメモリ
１０ 動き推定器
１１ 先鋭度検出器
１２ 参照フレーム決定器
１３ 動き補償器
１４ 動き符号化器
１５ 参照情報符号化器
１６ 出力器

Claims (8)

1. 動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化装置であって、
   フレームデータを入力する入力手段と、
   前記入力手段によって入力されたフレームデータから先鋭度を検出する先鋭度検出手段と、
   前記先鋭度検出手段によって検出された先鋭度が高い上位所定フレーム数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして、前記入力手段によって入力されたフレームデータの中から選択する選択手段と、
   前記選択手段によって選択された参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償手段と、
   前記動き補償手段により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化手段と、
   前記符号化手段で符号化されたフレームデータを出力する出力手段とを有することを特徴とする動画像符号化装置。
2. 前記入力手段は更に、被写体を撮像する撮像手段を有し、前記先鋭度検出手段がピントの合焦度を検出する合焦度検出手段を有することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記選択手段は、前記先鋭度検出手段によって検出された先鋭度が高い上位所定フレーム数のフレームデータと、前記符号化対象のフレームデータと時間近傍にある所定フレーム数のフレームデータとを参照フレームデータとして選択することを特徴とする請求項１または２に記載の動画像符号化装置。
4. 動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化方法であって、
   フレームデータを入力する入力工程と、
   前記入力工程によって入力されたフレームデータから先鋭度を検出する先鋭度検出工程と、
   前記先鋭度検出工程によって検出された先鋭度が高い上位所定数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして前記入力工程によって入力されたフレームデータの中から選択する選択工程と、
   前記選択工程によって選択された参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償工程と、
   前記動き補償工程により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化工程と、
   前記符号化工程で符号化されたフレームデータを出力する出力工程とを有することを特徴とする動画像符号化方法。
5. 前記入力工程は更に、被写体を撮像する撮像工程を有し、前記先鋭度検出工程がピントの合焦度を検出する合焦度検出工程を有することを特徴とする請求項４に記載の動画像符号化方法。
6. 前記選択工程は、前記先鋭度検出工程によって検出された先鋭度が高い上位所定フレーム数のフレームデータと、前記符号化対象のフレームデータと時間近傍にある所定フレーム数のフレームデータとを参照フレームデータとして選択することを特徴とする請求項４または５に記載の動画像符号化方法。
7. 動画像中の複数のフレームデータを参照して、符号化対象のフレームデータに対する動き補償を実行し、前記動画像を符号化する動画像符号化方法をコンピュータに実行させるプログラムであって、
   フレームデータを入力する入力工程と、
   前記入力工程によって入力されたフレームデータから先鋭度を検出する先鋭度検出工程と、
   前記先鋭度検出工程によって検出された先鋭度が高い上位所定フレーム数のフレームデータを、前記符号化対象のフレームデータを符号化する場合に参照する参照フレームデータとして、前記入力手段によって入力されたフレームデータの中から選択する選択工程と、
   前記選択工程によって選択された格納媒体に格納されている参照フレームデータと、前記符号化対象のフレームデータとに基づいて動き補償を行う動き補償工程と、
   前記動き補償工程により行われた動き補償の結果を用いて、前記符号化対象のフレームデータを符号化する符号化工程と、
   前記符号化工程で符号化されたフレームデータを出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。