JP4695115B2 - 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法およびその装置と、その動画像符号化方法の実現に用いられる動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、高効率な動画像符号化方式の１つとして、図５に示すような符号化構成を採るＨ.264／ＡＶＣが用いられている。

Ｈ.264／ＡＶＣでは、この図に示す符号化部２００の構成に従い、動きベクトル検出部１００で検出した動きベクトルに基づいて、予測部２０１で、逆量子化部２０５、逆直交変換部２０６および加算部２０７により作成された復号画像から動き予測を行って現画像を予測すると、減算部２０２で、現画像とその予測画像との予測誤差を算出し、ＤＣＴ変換部２０３で、その予測誤差に対してＤＣＴ変換を施した後、量子化部２０４で、ＤＣＴ変換係数を量子化し、可変長符号化部２０８で、その量子化値に対して可変長符号化を行い、多重化部２０９で、多重化を行ってから、制御部２１１の制御処理に従って、バッファ部２１０を介して一定の転送レートで符号化データを出力するようにしている。

このように構成されるＨ.264／ＡＶＣでは、より高効率的な符号化を実現するために、
（１）１ピクチャを１フレームとみなして符号化を行うフレーム符号化
（２）１ピクチャをトップフィールドとボトムフィールドとに分けて符号化を行うフィ ールド符号化
（３）ピクチャごとに、フィールド符号化とフレーム符号化とを切り替えて符号化を行 うピクチャレベルフィールドフレーム適応符号化
（４）マクロブロックペア単位で、フィールド符号化とフレーム符号化とを切り替えて 符号化を行うマクロブロックレベルフィールドフレーム適応符号化
という４つの符号化方式を採用している。

（１）のフレーム符号化方式は動きの少ない動画像を符号化するのに適し、（２）のフィールド符号化方式は動きのある動画像を符号化するのに適しているが、１つの動画像シーケンスの中にも、動きの少ないシーン、動きのあるシーンが混在している。

そのため、（３）のピクチャレベルでフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。

また、１つのピクチャ内にも動きの少ない領域と動きのある領域とが混在しており、これに対処するために、（４）の決まった領域レベル（マクロブロックレベル）でフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。

一般的に（３）や（４）の適応的な切替制御方式を用い、ピクチャまたはマクロブロックごとに符号化効率が高くなる方式を選択することにより、符号化を改善することができる。

この点に関し、従来技術として、図５における動きベクトル検出部１００を、図６に示すフィールド／フレーム符号化決定部３００に置き換えることで構成される、動き情報を用いたフィールド／フレーム符号化の切替方法が知られている（例えば、特許文献１，２参照）。

この従来技術では、フィールド分割部３０１で、フレーム画像をフィールド画像に分割して、動きベクトル検出部３０２で、フレーム画像用の動きベクトルとフィールド画像用の動きベクトルとを検出し、評価関数算出部３０３で、その動きベクトルの検出の際に用いた算出値に基づいて評価関数値を算出して、フィールド／フレーム符号化判定部３０４で、その評価関数値に従って、フィールド画像で符号化を行うのかフレーム画像で符号化を行うのかを判定し、判定結果出力部３０５で、その判定結果を符号化部２００に出力するようにしている。
特開平５−３０８６２７号公報 特開平５−９５５４５号公報

しかしながら、特許文献１，２に記載される従来技術では、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するために、フィールドとフレームの２つのパターンに対して動き情報の導出すなわち動きベクトルの検出の処理を行う必要があることから、演算量が大きくなるという問題がある。

また、従来技術では、動きベクトルの検出処理とフィールド／フレーム符号化の切替処理とが密接不可分であることから、その切替精度が動きベクトルの検出精度に依存し、動きベクトルの検出精度が低い場合には、その影響を受けて切替精度が低下するという問題がある。

以上の観点から、できる限り軽い演算量で、かつ、フィールド／フレーム符号化の切替処理で用いる情報の精度によってその切替精度が影響を受けないようにする新たなフィールド／フレーム符号化の切替技術を実現する必要がある。

本発明はかかる事情に鑑みてなされたものであって、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に切り替えるときに、少ない演算量で、かつ、その切り替えの精度が動きベクトルの検出精度などの影響を受けないようにする新たな動画像符号化技術の提供を目的とする。

〔ｉ〕第１の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、（１）入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、（２）入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、（３）フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第１の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、（４）フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第２の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、（５）第１の誤差情報と第２の誤差情報との大小関係に基づいて、第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。

続いて、その生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、その生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。

続いて、その算出した２つの誤差情報に基づいて、入力画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。

例えば、２つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、入力画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、入力画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。

このようにして、本発明の動画像符号化装置では、入力画像を単位にして符号化を行うときに、動きベクトルの検出処理を行わずに、入力画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。

〔ii〕第２の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、（１）入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、（２）入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、（３）入力画像を所定の画素単位で構成される画素群に分割する分割手段と、（４）分割手段の分割した分割画素群ごとに、フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第１の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、（５）分割手段の分割した分割画素群ごとに、フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第２の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、（６）分割手段の分割した分割画素群ごとに、第１の誤差情報と第２の誤差情報との大小関係に基づいて、第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。

続いて、入力画像を所定の画素単位で構成される画素群に分割することで、分割画素群を生成する。

続いて、分割画素群ごとに、生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。

続いて、分割画素群ごとに、その算出した２つの誤差情報に基づいて、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。

例えば、分割画素群ごとに、２つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、分割画素群の画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、分割画素群の画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。

このようにして、本発明の動画像符号化装置では、分割画素群の画像を単位として符号化を行うときに、動きベクトルの検出処理を行わずに、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。

本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、動きベクトルの検出処理を行わずに、符号化対象の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。

これから、本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する動画像符号化装置１の一実施形態例を図示する。

ここで、図中に示す動きベクトル検出部１００は、図５に示した動きベクトル検出部１００に相当し、図中に示す符号化部２００は、図５に示した符号化部２００に相当するものである。

本発明の動画像符号化装置１は、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に選択して符号化を行うものであって、入力される原画像を記憶する原画像記憶部４００と動きベクトル検出部１００との間に、本発明を実現すべく構成されて、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するフィールド／フレーム符号化決定部１０を備える。

このフィールド／フレーム符号化決定部１０は、フィールド分割部１１と、フィルタ処理部１２と、フィルタ画像記憶部１３と、誤差情報算出部１４と、誤差情報記憶部１５と、フィールド／フレーム符号化判定部１６と、判定結果出力部１７とを備える。

フィールド分割部１１は、原画像記憶部４００から読み出した原画像データＢ＿ｏを、トップフィールド画像データＢ＿tfl とボトムフィールド画像データＢ＿bfl とに分割する。

フィルタ処理部１２は、原画像データＢ＿ｏであるフレーム画像データＢ＿frに対して、所定の帯域幅ｒでフィルタ処理を行うことでフレームフィルタ画像データＢ＿fr＿fil を生成してフィルタ画像記憶部１３に格納し、フィールド分割部１１の分割したトップフィールド画像データＢ＿tfl に対して、その帯域幅ｒでフィルタ処理を行うことでトップフィールドフィルタ画像データＢ＿tfl ＿fil を生成してフィルタ画像記憶部１３に格納し、フィールド分割部１１の分割したボトムフィールド画像データＢ＿bfl に対して、その帯域幅ｒでフィルタ処理を行うことでボトムフィールドフィルタ画像データＢ＿bfl ＿fil を生成してフィルタ画像記憶部１３に格納する。

誤差情報算出部１４は、ＰＳＮＲ（Peak Signal to Noise Ratio) などに従って、フィルタ処理部１２の生成したフレームフィルタ画像データＢ＿fr＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿frを算出して誤差情報記憶部１５に格納し、フィルタ処理部１２の生成したトップフィールドフィルタ画像データＢ＿tfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿tfl を算出して誤差情報記憶部１５に格納し、フィルタ処理部１２の生成したボトムフィールドフィルタ画像データＢ＿bfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿bfl を算出して誤差情報記憶部１５に格納する。

ここで、誤差情報算出部１４は、ＰＳＮＲ以外の定義に従って誤差情報を算出することもあるが、以下では、説明の便宜上、ＰＳＮＲに従って誤差情報を算出することを想定する。

フィールド／フレーム符号化判定部１６は、誤差情報算出部１４の算出した誤差情報Ｐ＿fr, Ｐ＿tfl,Ｐ＿bfl に基づいて、これらの誤差情報が、
（Ｐ＿tfl ＋Ｐ＿bfl ）／２＞Ｐ＿fr＋ａ ・・・・・ 数式（１）
という条件を満たすのか否かを判断して、この条件式を満たす場合には、入力画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、入力画像をフレーム符号化で符号化を行うことを判定する。

ここで、数式（１）におけるａは定数であり、画像サイズや使用するフィルタの特性などにより設定されることになる。

判定結果出力部１７は、フィールド／フレーム符号化判定部１６の判定結果を動きベクトル検出部１００に出力する。

図２に、図１のように構成されるフィールド／フレーム符号化決定部１０の実行するフローチャートを図示する。

次に、このフローチャートに従って、図１のように構成されるフィールド／フレーム符号化決定部１０の実行する処理について詳細に説明する。

フィールド／フレーム符号化決定部１０は、まず最初に、ステップＳ１０１で、原画像データＢ＿ｏを入力すると、続いて、ステップＳ１０２で、その入力した原画像データＢ＿ｏを、トップフィールド画像データＢ＿tfl とボトムフィールド画像データＢ＿bfl とに分割する。

続いて、ステップＳ１０３で、原画像データＢ＿ｏであるフレーム画像データＢ＿frに対して、所定の帯域幅ｒでフィルタ処理を行うことでフレームフィルタ画像データＢ＿fr＿fil を生成する。

続いて、ステップＳ１０４で、ステップＳ１０２の処理で得たトップフィールド画像データＢ＿tfl に対して、前記の帯域幅ｒでフィルタ処理を行うことでトップフィールドフィルタ画像データＢ＿tfl ＿fil を生成する。

続いて、ステップＳ１０５で、ステップＳ１０２の処理で得たボトムフィールド画像データＢ＿bfl に対して、前記の帯域幅ｒでフィルタ処理を行うことでボトムフィールドフィルタ画像データＢ＿bfl ＿fil を生成する。

続いて、ステップＳ１０６で、ステップＳ１０３の処理で生成したフレームフィルタ画像データＢ＿fr＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿frを算出する。

続いて、ステップＳ１０７で、ステップＳ１０４の処理で生成したトップフィールドフィルタ画像データＢ＿tfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿tfl を算出する。

続いて、ステップＳ１０８で、ステップＳ１０５の処理で生成したボトムフィールドフィルタ画像データＢ＿bfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿bfl を算出する。

ここで、ステップＳ１０６〜ステップＳ１０８では、ＰＳＮＲに従って誤差情報を算出することになる。

ＰＳＮＲに従って誤差情報を算出する場合、フィルタ画像データが原画像データに近くなるほど（画質がよくなるほど）、フィルタ画像データと原画像データとの誤差情報であるＰＳＮＲは大きな値を示すことになる。一方、画像の動きが大きい場合には、トップフィールドとボトムフィールドとで画像のズレが大きくなるので、サンプリング時間間隔の長いフレーム画像データの方がフィールド画像データよりも隣接画素との相関が小さくなり（高周波成分を多く含み）、したがって、フレームフィルタ画像データの方がフィールドフィルタ画像データよりも画質が低下してＰＳＮＲは小さな値を示すことなる。

これから、続いて、ステップＳ１０９で、
（Ｐ＿tfl ＋Ｐ＿bfl ）／２＞Ｐ＿fr＋ａ ・・・・・ 数式（１）
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。ここで、ａは上述したように定数である。

この判断処理に従って、数式（１）が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップＳ１１０に進んで、入力画像をフィールド符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。

一方、この判断処理に従って、数式（１）が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップＳ１１１に進んで、入力画像をフレーム符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。

次に、図１のように構成されるフィールド／フレーム符号化決定部１０の実行する処理について具体例を用いて説明する。

原画像データの画像サイズを１９２０×１０８０とし、フィルタの帯域幅をｒ＝０．５（水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ）とし、定数ａをａ＝２とする。

まず、フィールド分割部１１において、原画像データをトップフィールド画像データＢ＿tfl とボトムフィールド画像データＢ＿bfl とに分割し、フィールドピクチャ（１９２０×５４０）を生成する。これらをフィルタ処理部１２へ入力し、０．５の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データＢ＿tfl ＿fil とボトムフィールドフィルタ画像データＢ＿bfl ＿fil とを生成する。

一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部１２へ入力し、０．５の帯域幅でフィルタ処理を行い、フレームフィルタ画像データＢ＿fr＿fil を生成する。

続いて、誤差情報算出部１４において、各フィルタ画像データの原画像データに対するＰＳＮＲを測定し、これにより、例えば、Ｐ＿fr＝２０〔ｄＢ〕、Ｐ＿tfl ＝２６〔ｄＢ〕、Ｐ＿bfl ＝２４〔ｄＢ〕を得る。

続いて、フィールド／フレーム符号化判定部１６において、これらのＰＳＮＲの値に従って数式（１）が成立するのか否かを判断する。これらのＰＳＮＲの値の場合には、数式（１）が成立するので、フィールド／フレーム符号化判定部１６はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部１７は、フィールド符号化で符号化を行うことを動きベクトル検出部１００に出力する。

一方、誤差情報算出部１４において、例えば、Ｐ＿fr＝３０〔ｄＢ〕、Ｐ＿tfl ＝２６〔ｄＢ〕、Ｐ＿bfl ＝２４〔ｄＢ〕を得た場合には、フィールド／フレーム符号化判定部１６において、これらのＰＳＮＲの値に従って数式（１）が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部１７は、フレーム符号化で符号化を行うことを動きベクトル検出部１００に出力する。

このようにして、フィールド／フレーム符号化決定部１０は、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。

図３に、本発明を具備する動画像符号化装置１の他の実施形態例を図示する。ここで、図１に示すものと同じものについては同一の記号で示してある。

この実施形態例に従う場合、本発明の動画像符号化装置１は、新たに画素群分割部１８および分割画像記憶部１９を備えるとともに、誤差情報算出部１４、誤差情報記憶部１５、フィールド／フレーム符号化判定部１６および判定結果出力部１７がそれに応じた処理を実行するという構成を採る。

画素群分割部１８は、原画像記憶部４００から原画像データＢ＿ｏを読み出して所定の画素単位で構成される画素群に分割して分割画像記憶部１９に格納し、フィルタ画像記憶部１３からフレームフィルタ画像データＢ＿fr＿fil を読み出してそれらの画素群に分割して分割画像記憶部１９に格納し、フィルタ画像記憶部１３からトップフィールドフィルタ画像データＢ＿tfl ＿fil を読み出してそれらの画素群に分割して分割画像記憶部１９に格納し、フィルタ画像記憶部１３からボトムフィールドフィルタ画像データＢ＿bfl ＿fil を読み出してそれらの画素群に分割して分割画像記憶部１９に格納する。

これを受けて、誤差情報算出部１４は、ＰＳＮＲに従って、画素群分割部１８の分割した分割画素群ごとに、フレームフィルタ画像データＢ＿fr＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿frを算出して誤差情報記憶部１５に格納し、トップフィールドフィルタ画像データＢ＿tfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿tfl を算出して誤差情報記憶部１５に格納し、ボトムフィールドフィルタ画像データＢ＿bfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿bfl を算出して誤差情報記憶部１５に格納する。

そして、これを受けて、フィールド／フレーム符号化判定部１６は、画素群分割部１８の分割した分割画素群ごとに、誤差情報Ｐ＿fr, Ｐ＿tfl,Ｐ＿bfl が、
（Ｐ＿tfl ＋Ｐ＿bfl ）／２＞Ｐ＿fr＋ａ ・・・・・ 数式（１）
という条件を満たすのか否かを判断して、この条件式を満たす場合には、その分割画素群の画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、その分割画素群の画像をフレーム符号化で符号化を行うことを判定する。

そして、これを受けて、判定結果出力部１７は、フィールド／フレーム符号化判定部１６の判定結果を動きベクトル検出部１００に出力する。

図４に、図３のように構成されるフィールド／フレーム符号化決定部１０の実行するフローチャートを図示する。

次に、このフローチャートに従って、図３のように構成されるフィールド／フレーム符号化決定部１０の実行する処理について詳細に説明する。

フィールド／フレーム符号化決定部１０は、まず最初に、ステップＳ２０１で、原画像データＢ＿ｏを入力すると、続いて、ステップＳ２０２で、その入力した原画像データＢ＿ｏを、トップフィールド画像データＢ＿tfl とボトムフィールド画像データＢ＿bfl とに分割する。

続いて、ステップＳ２０３で、原画像データＢ＿ｏであるフレーム画像データＢ＿frに対して、所定の帯域幅ｒでフィルタ処理を行うことでフレームフィルタ画像データＢ＿fr＿fil を生成する。

続いて、ステップＳ２０４で、ステップＳ２０２の処理で得たトップフィールド画像データＢ＿tfl に対して、前記の帯域幅ｒでフィルタ処理を行うことでトップフィールドフィルタ画像データＢ＿tfl ＿fil を生成する。

続いて、ステップＳ２０５で、ステップＳ２０２の処理で得たボトムフィールド画像データＢ＿bfl に対して、前記の帯域幅ｒでフィルタ処理を行うことでボトムフィールドフィルタ画像データＢ＿bfl ＿fil を生成する。

続いて、ステップＳ２０６で、原画像データＢ＿ｏを所定の画素単位で構成される画素群に分割し、フレームフィルタ画像データＢ＿fr＿fil をそれらの画素群に分割し、トップフィールドフィルタ画像データＢ＿tfl ＿fil をそれらの画素群に分割し、ボトムフィールドフィルタ画像データＢ＿bfl ＿fil をそれらの画素群に分割する。

続いて、ステップＳ２０７で、未処理の分割画素群があるのか否かを判断して、未処理の分割画素群があることを判断する場合には、ステップＳ２０８に進んで、未処理の分割画素群を１つ選択する。

続いて、ステップＳ２０９で、ＰＳＮＲに従って、選択した分割画素群について、ステップＳ２０３の処理で生成したフレームフィルタ画像データＢ＿fr＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿frを算出し、ステップＳ２０４の処理で生成したトップフィールドフィルタ画像データＢ＿tfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿tfl を算出し、ステップＳ２０５の処理で生成したボトムフィールドフィルタ画像データＢ＿bfl ＿fil と原画像データＢ＿ｏとの誤差情報Ｐ＿bfl を算出する。

続いて、ステップＳ２１０で、選択した分割画素群について、
（Ｐ＿tfl ＋Ｐ＿bfl ）／２＞Ｐ＿fr＋ａ ・・・・・ 数式（１）
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。

この判断処理に従って、数式（１）が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップＳ２１１に進んで、選択した分割画素群の画像をフィールド符号化で符号化することを決定して、ステップＳ２０７の処理に戻る。

一方、この判断処理に従って、数式（１）が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップＳ２１２に進んで、選択した分割画素群の画像をフレーム符号化で符号化することを決定して、ステップＳ２０７の処理に戻る。

このようにしてステップＳ２０７〜ステップＳ２１２の処理を繰り返していくことで、ステップＳ２０７で、全ての分割画素群を選択したことを判断するときには、ステップＳ２１３に進んで、各分割画素群の画像についてどちらの符号化を用いるのかを通知しつつ、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。

次に、図３のように構成されるフィールド／フレーム符号化決定部１０の実行する処理について具体例を用いて説明する。

原画像データの画像サイズを１９２０×１０８０とし、フィルタの帯域幅をｒ＝０．５（水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ）とし、定数ａをａ＝２とし、分割画素群は矩形ブロックとしてそのサイズを１６×１６とする。

まず、フィールド分割部１１において、原画像データをトップフィールド画像データＢ＿tfl とボトムフィールド画像データＢ＿bfl とに分割し、フィールドピクチャ（１９２０×５４０）を生成する。これらをフィルタ処理部１２へ入力し、０．５の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データＢ＿tfl ＿fil とボトムフィールドフィルタ画像データＢ＿bfl ＿fil とを生成する。

一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部１２へ入力し、０．５の帯域幅でフィルタ処理を行い、フレームフィルタ画像データＢ＿fr＿fil を生成する。

続いて、画素群分割部１８において、原画像データＢ＿ｏとフレームフィルタ画像データＢ＿fr＿fil とを１６×１６サイズのブロック単位に分割するとともに、トップフィールドフィルタ画像データＢ＿tfl ＿fil とボトムフィールドフィルタ画像データＢ＿bfl ＿fil とを１６×８サイズのブロック単位に分割する。

続いて、誤差情報算出部１４において、各ブロック単位フィルタ画像データの原画像データに対するＰＳＮＲを測定し、これにより、例えば、Ｐ＿fr＝２０〔ｄＢ〕、Ｐ＿tfl ＝２６〔ｄＢ〕、Ｐ＿bfl ＝２４〔ｄＢ〕を得る。

続いて、フィールド／フレーム符号化判定部１６において、これらのＰＳＮＲの値に従って数式（１）が成立するのか否かを判断する。これらのＰＳＮＲの値の場合には、数式（１）が成立するので、フィールド／フレーム符号化判定部１６はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部１７は、フィールド符号化で符号化を行うことを動きベクトル検出部１００に出力する。

一方、誤差情報算出部１４において、例えば、Ｐ＿fr＝３０〔ｄＢ〕、Ｐ＿tfl ＝２６〔ｄＢ〕、Ｐ＿bfl ＝２４〔ｄＢ〕を得た場合には、フィールド／フレーム符号化判定部１６において、これらのＰＳＮＲの値に従って数式（１）が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部１７は、フレーム符号化で符号化を行うことを動きベクトル検出部１００に出力する。

このようにして、フィールド／フレーム符号化決定部１０は、動きベクトルの検出処理を行わずに、分割画素群に、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。

例えば、実施形態例では、数式（１）の左辺において、トップフィールドフィルタ画像データとボトムフィールドフィルタ画像データの平均誤差情報値を用いているが、フィールド間での相関が高いことから、どちらか一方の誤差情報値を用いても同様の効果を奏することができる。

また、定数ａの値については、誤差情報の種類（ＰＳＮＲ，二乗平均誤差など）により異なる値となるが、各誤差情報値に対応させた値を用いることで、同様の効果を奏することができる。

また、帯域幅ｒについては０＜ｒ＜１の値をとることができ、その値によってフィルタ特性が異なり、定数ａもそれに応じて異なるものとなるが、同様の効果を奏することができる。

本発明は、インターレース映像の動画像符号化を実行するときに適用できるものであり、ピクチャの持つ周波数特性に基づいて、動画像符号化におけるフィールド／フレーム符号化を適応的に切り替えることができるようになることから、少ない処理演算量で、かつ高精度に、その切り替えを実行することができるようになる。

しかも、フィルタ処理部１２におけるフィルタ処理をノイズ除去や符号化効率の改善を目的としたプレフィルタ処理とすることにより、プレフィルタ処理とフィールド／フレーム判定処理とを一括して行うことができるようになることから、演算量を増やすことなく本発明による高機能化を実現することができるようになる。

本発明の動画像符号化装置の一実施形態例である。 フィールド／フレーム符号化決定部の実行するフローチャートである。 本発明の動画像符号化装置の他の実施形態例である。 フィールド／フレーム符号化決定部の実行するフローチャートである。 Ｈ.264／ＡＶＣの説明図である。 従来技術の説明図である。

符号の説明

１ 動画像符号化装置
１０ フィールド／フレーム符号化決定部
１１ フィールド分割部
１２ フィルタ処理部
１３ フィルタ画像記憶部
１４ 誤差情報算出部
１５ 誤差情報記憶部
１６ フィールド／フレーム符号化判定部
１７ 判定結果出力部
１００ 動きベクトル検出部
２００ 符号化部
４００ 原画像記憶部

Claims (8)

1. インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法であって、
   入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
   入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
   前記フレームフィルタ画像と入力画像との第１の誤差情報を算出する段階と、
   前記フィールドフィルタ画像と入力画像との第２の誤差情報を算出する段階と、
   前記算出した２つの誤差情報の大小関係に基づいて、前記第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する段階とを備えることを、
   特徴とする動画像符号化方法。
2. インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法であって、
   入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
   入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
   入力画像を所定の画素単位で構成される画素群に分割する段階と、
   前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第１の誤差情報を算出する段階と、
   前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第２の誤差情報を算出する段階と、
   前記分割した分割画素群ごとに、前記算出した２つの誤差情報の大小関係に基づいて、前記第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する段階とを備えることを、
   特徴とする動画像符号化方法。
3. 請求項１または請求項２に記載の動画像符号化方法において、
   前記第２の誤差情報は、トップフィールドフィルタ画像もしくはボトムフィールドフィルタ画像のいずれか一方と入力画像との誤差情報、または、トップフィールドフィルタ画像と入力画像との誤差情報と、ボトムフィールドフィルタ画像と入力画像との誤差情報の平均値であることを、
   特徴とする動画像符号化方法。
4. 請求項１、請求項２又は請求項３に記載の動画像符号化方法において、
   前記決定する段階では、前記算出した２つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値を前記大小関係の比較に用いることを、
   特徴とする動画像符号化方法。
5. インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化装置であって、
   入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
   入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
   前記フレームフィルタ画像と入力画像との第１の誤差情報を算出する手段と、
   前記フィールドフィルタ画像と入力画像との第２の誤差情報を算出する手段と、
   前記算出した２つの誤差情報の大小関係に基づいて、前記第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する手段とを備えることを、
   特徴とする動画像符号化装置。
6. インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化装置であって、
   入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
   入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
   入力画像を所定の画素単位で構成される画素群に分割する手段と、
   前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第１の誤差情報を算出する手段と、
   前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第２の誤差情報を算出する手段と、
   前記分割した分割画素群ごとに、前記算出した２つの誤差情報に基づいて、フレーム符号化で符号化を実行するのかフィールド符号化で符号化を実行するのかを決定する手段とを備えることを、
   前記分割した分割画素群ごとに、前記算出した２つの誤差情報の大小関係に基づいて、前記第１の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第２の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する手段とを備えることを、
   特徴とする動画像符号化装置。
7. 請求項１ないし請求項４のいずれか１項に記載の動画像符号化方法の実現に用いられる処理をコンピュータに実行させるための動画像符号化プログラム。
8. 請求項１ないし請求項４のいずれか１項に記載の動画像符号化方法の実現に用いられる処理をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images