JP5488719B2 - 映像信号符号化装置、映像信号符号化方法およびプログラム - Google Patents

Description

本発明は、映像信号符号化装置、映像信号符号化方法、および映像信号符号化方法を実行するプログラムに関する。

輝度信号と２つの色差信号とを含む映像信号として、例えばＨｉｇｈ Ｄｉｆｆｉｎｉｔｉｏｎ−Ｓｉｇｎａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（ＨＤ−ＳＤＩ）等で伝送されるＹＵＶ４２２形式およびＹＵＶ４２０形式の映像信号が存在する。ＹＵＶ４２２形式とＹＵＶ４２０形式の映像信号では、色差信号の解像度が異なる。ＹＵＶ４２２形式とは、垂直方向の色差サンプル数は輝度サンプル数と同じであるが、水平方向の輝度サンプルに対して色差サンプルが２対１に間引かれている形式である。ＹＵＶ４２０形式とは、垂直方向、水平方向とも輝度サンプルに対して色差サンプルが２対１に間引かれている形式である。

放送局内で使用される機器の入出力系はＹＵＶ４２２形式の映像信号をＨＤ−ＳＤＩで伝送するかたちで統一されている。一方、符号化／復号化装置がＹＵＶ４２０形式のみにしか対応していない場合が多い。このため、映像の中継や編集のため繰り返し映像信号の符号化および復号化が行われる際には、装置内部で、ＹＵＶ４２２とＹＵＶ４２０との間の変換が繰り返し行われる。従来、このように、ＹＵＶ４２２とＹＵＶ４２０との間の変換が繰り返されることにより、色差信号が大きく劣化してしまい色が滲んでしまう、という問題があった。

しかし、このような問題は、ＹＵＶ４２２とＹＵＶ４２０との間の変換のときに用いるダウンサンプル用の第１のローパスフィルタとアップサンプル用の第２のローパスフィルタの選択により解決できることが知られている。すなわち、第１および第２のローパスフィルタとしてそれぞれ所定の条件を満たすフィルタを常に採用することにより、上記変換を繰り返しても、色差画素の位置ずれが生じるのを最小限に止めることが可能となる。

特開２００９−２４６９２９号公報

ところが、上記のように繰り返し符号化および復号化が行なわれる場合には、必ずしも上記のような、色差画素の位置ずれが生じるのを最小限に止めることが可能な完全再構成フィルタであるという条件を満たすフィルタが使用されているとは限らない。常に同一の上記条件を満たす一対のフィルタよりなるフィルタセットを使用すれば、映像の色の劣化は問題にならないが、繰り返し符号化および復号化の途中で上記条件を満たさないフィルタを使用した場合は、そのフィルタにより色の劣化が発生してしまう。しかし、映像信号に色の劣化が発生した場所の特定は、劣化が発生した場所の映像信号を、人が目で確認することにより行うほかなく、自動的には判別できない。また、このとき、映像のみから上記条件を満たすフィルタを使用して変換された映像かどうかを自動的に判別する手段もない。

そこで本発明は、映像が上記条件を満たすフィルタでない別のフィルタを使用して変換された映像か否か、別のフィルタを使用して変換された場合にはどこで使用されたかを自動的に判別することのできる映像信号符号化装置、映像信号符号化方法およびプログラムを提供することを目的とする。

上記課題を解決するため、ひとつの態様である映像信号符号化装置は、輝度成分および二つの色差成分を有する映像信号を、第１の形式と、前記第１の形式より色差成分の解像度の低い第２の形式との間で変換する一対のフィルタであって、規定の条件を満たす第１のフィルタおよび第２のフィルタを有し、前記第１のフィルタを介して前記第１の形式の入力映像信号を前記第２の形式の映像信号に変換し、さらに前記第２の形式の映像信号を前記第２のフィルタを介して前記第１の形式に変換した判別用映像信号を出力する判別映像出力部と、前記入力映像信号と前記判別用映像信号との一致度を算出する一致度計算部と、前記一致度に応じて、前記入力映像信号が前段の前記第２の形式から前記第１の形式への変換において前記規定の条件を満たすフィルタを用いて変換されているか否かを判別し、判別結果を出力するフィルタ判別部と、前記第１のフィルタを介して変換した前記第２の形式の映像信号と前記判別結果とを符号化して符号化列を生成する動画像符号化部と、を備え、前記規定の条件は、輝度成分および二つの色差成分を有する映像信号を、前記第１の形式と前記第２の形式との間で繰り返し変換しても、色差画素の位置ずれを所定の誤差範囲内とすることが可能な完全再構成フィルタであることを特徴としている。

また、別の態様である映像信号符号化方法は、第１のフィルタおよび第２のフィルタは、規定の条件を満たすフィルタであり、前記第１のフィルタを用いて輝度成分および二つの色差成分を有する第１の形式の入力映像信号を前記第１の形式の映像信号よりも色差成分の解像度の低い第２の形式の映像信号に変換し、さらに前記第２の形式の映像信号を前記第２のフィルタを用いて前記第１の形式へ変換することにより判別用映像信号を出力し、前記入力映像信号と前記判別用映像信号との一致度を算出し、前記一致度に応じて、前記入力映像信号が前記規定の条件を満たすフィルタを用いて変換されているか否かを判別して判別結果を出力し、前記第２の形式の映像信号と前記判別結果とを符号化して、符号化列を生成する、ここで、前記規定の条件は、輝度成分および二つの色差成分を有する映像信号を、前記第１の形式と前記第２の形式との間で繰り返し変換しても、色差画素の位置ずれを所定の誤差範囲内とすることが可能な完全再構成フィルタであることを特徴としている。

なお、上述した映像符号化方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した態様の方法と同様の作用・効果を奏するので、前述した課題が解決される。

上述した態様の映像信号符号化装置、映像信号符号化方法およびプログラムによれば、規定のフィルタでない別のフィルタを使用して変換された映像か否か、別のフィルタを使用して変換された場合にはどこで使用されたかを自動的に判別することができる。

第１の実施の形態による映像符号化装置の構成を示すブロック図である。 第１の実施の形態によるインタレーストップフィールド用の規定のフィルタのフィルタ係数の一例を示す表である。 第１の実施の形態によるインタレースボトムフィールド用の規定のフィルタのフィルタ係数の一例を示す表である。 第１の実施の形態によるプログレッシブ用の規定のフィルタのフィルタ係数の一例を示す表である。 第１の実施の形態による映像符号化装置における映像信号の判別および符号化の動作を示すフローチャートである。 第１の実施の形態による映像符号化装置における映像信号の判別の動作を示すフローチャートである。 第１の実施の形態による規定の低周波分析フィルタＡ（ｚ）を介したＹＵＶ４２２形式からＹＵＶ４２０形式への映像信号の変換について説明する図である。 第１の実施の形態による規定の低周波合成フィルタＰ（ｚ）を介したＹＵＶ４２０形式からＹＵＶ４２２形式への映像信号の変換について説明する図である。 第１の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 第１の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 第１の実施の形態による繰り返し符号化系における映像信号のＹＵＶ４２２形式とＹＵＶ４２０形式との間の変換の様子を示す図である。 第１の実施の形態による映像スイッチング系における映像信号の利用法について説明する図である。 第２の実施の形態による映像符号化装置の構成を示すブロック図である。 第２の実施の形態による映像符号化装置による映像信号の判別および符号化の動作を示すフローチャートである。 第３の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 第３の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 第４の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 第４の実施の形態による判別結果の符号化に関するシンタックスを示す表である。 映像符号化装置の動作をプログラムにより実行するためのコンピュータの一例を示す図である。

(第１の実施の形態)
以下、第１の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムについて、図面に基づいて説明する。図１は、第１の実施の形態による映像符号化装置１の構成を示すブロック図である。映像符号化装置１は、符号化部３および映像判別部５の機能を有している。

符号化部３は、４２２／４２０変換部７および動画像符号化部９を備えている。４２２／４２０変換部７は、低周波分析フィルタＡ（ｚ）２１およびダウンサンプリング部２３を有し、フィルタリングおよびダウンサンプリングによりＹＵＶ４２２形式の映像信号をＹＵＶ４２０形式の映像信号に変換する。４２２／４２０変換は、映像信号の中の色差成分の信号の縮小処理である。

低周波分析フィルタＡ（ｚ）２１は、入力されたＹＵＶ４２２形式の映像信号を所定の条件でフィルタリングする。低周波分析フィルタＡ（ｚ）２１の詳細は後述する。ダウンサンプリング部２３は、フィルタリングされた入力映像の色差成分を垂直方向に２：１にダウンサンプリングする。動画像符号化部９は、ＹＵＶ４２０形式に変換された画像を、後述の判別結果とともに、例えばＩｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｕｎｉｃａｔｉｏｎ ｓｔａｎｄａｒｉｚａｔｉｏｎ ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）、Ｈ．２６４に従い符号化する。

映像判別部５は、符号化部３と共通の４２２／４２０変換部７、および４２０／４２２変換部１３、一致度計算部１５、フィルタ判別部１９を備えている。４２０／４２２変換部１３は、アップサンプリング部２５と低周波合成フィルタＰ（ｚ）２７とを有している。この４２０／４２２変換は、映像信号の中の色差成分の信号の拡大処理である。

アップサンプリング部２５は、４２２／４２０変換部７で変換されたＹＵＶ４２０形式の映像信号の色差成分を垂直方向に１：２にアップサンプリングする。低周波合成フィルタＰ（ｚ）２７は、アップサンプリングされた映像信号を所定の条件でフィルタリングすることにより、ＹＵＶ４２２形式の映像信号を生成する。このとき生成された映像信号を判別用映像信号ということにする。

一致度計算部１５は、入力映像信号と判別用映像信号との対応する画素の色差成分の画素値の差の絶対値に基づいて、一致度を計算する。一致度の詳細は後述する。フィルタ判別部１９は、一致度計算部１５で計算された一致度から、入力映像信号と判別用映像信号との差異が所定範囲であるか否かを判別することにより、入力映像が前段に規定のフィルタを用いて変換されているか否かを判別する。

ここで、低周波分析フィルタＡ（ｚ）２１および低周波合成フィルタＰ（ｚ）２７の詳細について説明する。低周波分析フィルタＡ（ｚ）２１および低周波合成フィルタＰ（ｚ）２７は、これらのフィルタを介してＹＵＶ４２２形式とＹＵＶ４２０形式との間の変換を繰り返しても、色差画素の位置ずれが生じるのを最小限に止めることが可能な一対の完全再構成フィルタである。ここで、低周波分析フィルタＡ（ｚ）２１のｚ変換をＡ（ｚ）、低周波合成フィルタＰ（ｚ）２７のｚ変換をＰ（ｚ）とする。このとき、インタレーストップフィールド用の低周波分析フィルタＡ（ｚ）２１および低周波合成フィルタＰ（ｚ）２７は、少なくとも以下の条件１〜３を同時に満たすフィルタである。

(条件１)
以下の完全再構成条件である式１ａ、式１ｂ、および式１ｃを満たす。
Ｐ（１）＝２ ・・・(式１ａ)
Ａ（１）＝１ ・・・(式１ｂ)
Ａ（ｚ）・Ｐ（ｚ）＋Ａ（−ｚ）・Ｐ（−ｚ）＝２・ｚ^−２Ｎ ・・・(式１ｃ)
ここで、Ｎは任意の整数である。

(条件２)
ダウンサンプル用の低周波分析フィルタＡ（ｚ）が各画素をほぼ１：３に内分した位置の画素値を算出する。すなわち、低周波分析フィルタＡ（ｚ）の係数は、周波数ω＝０での群遅延を１で剰余した値が０．２５に近い値(例えば、±０．０５)である。

(条件３)
アップサンプル用の低周波合成フィルタＰ（ｚ）を、各係数の和が１となるよう、各係数を０．５倍して正規化したフィルタＰ'（ｚ）の群遅延と、Ａ（ｚ）の群遅延の和は、ω＝０あるいはその近傍において、ほぼ整数に近い値である。

ここで、「各画素値をほぼ１：３に内分した位置の画素値を算出する」とは、低周波分析フィルタＡ（ｚ）により変換を行った後の色差成分を、変換前の垂直方向に並びあう２つの画素の位置に対して１：３に内分した位置の画素値として算出することである。また、「１で剰余する」とは、整数を足して、その結果が０以上１未満となったとき、その値を採用することをいう。なお、ボトムフィールドの低周波分析フィルタおよび低周波合成フィルタは、それぞれ上記低周波分析フィルタＡ（ｚ）、低周波合成フィルタＰ（ｚ）の高次と低次の係数を入れ替えたフィルタとなる。

以下、上記条件１〜３を同時に満たすことを規定の条件の一例とし、例えば低周波分析フィルタＡ（ｚ）２１および低周波合成フィルタＰ（ｚ）２７など、規定の条件を満たすフィルタを、規定のフィルタと称する。

図２および図３は、インタレース方式において用いられる規定のフィルタのフィルタ係数の一例を示す表である。図２に示すように、インタレーストップフィールド用の低周波分析フィルタＡ（ｚ）２１としては、例えば表４１、低周波合成フィルタＰ（ｚ）２７としては例えば表４３に示した例を用いることができる。また、図３に示すように、インタレースボトムフィールド用の低周波分析フィルタＡ（ｚ）２１としては、例えば表４５、低周波合成フィルタＰ（ｚ）２７としては例えば表４７に示した例を用いることができる。インタレース方式の映像信号を扱う際には、トップフィールド用とボトムフィールド用のフィルタをそれぞれ別個に設けるとともに、例えばスイッチを設けて、トップフィールド用とボトムフィールド用のフィルタを切り換えるようにしてもよい。

プログレッシブ方式用の規定のフィルタとしては、図４に示す例がある。図４に示すように、プログレッシブ用の低周波分析フィルタＡ（ｚ）２１としては、例えば表４９、低周波合成フィルタＰ（ｚ）２７としては、例えば表５１の例を用いることができる。なお、図２〜図４において、フィルタ係数は全て１０２４倍して表している。

次に、図５から図１０を参照しながら、第１の実施の形態による映像符号化装置１における映像信号の判別および符号化の動作について説明する。図５は、第１の実施の形態による映像符号化装置１における映像信号の判別および符号化の動作を示すフローチャートである。図６は、第１の実施の形態による映像符号化装置１における映像信号判別の動作を示すフローチャートである。

図５に示すように、第１の実施の形態による映像符号化装置１における映像信号の判別および符号化においては、まず、入力映像信号が前段の４２０／４２２変換において、規定のフィルタを用いて４２０／４２２変換されたか否かを判別する映像判別処理を行う（Ｓ６１）。映像判別部５が判別結果を出力すると、符号化部３の動画像符号化部９は、入力画像を４２２／４２０変換した映像信号と、映像判別部５から入力された判別結果とを符号化する（Ｓ６２）。

次に、図６を参照しながら、第１の実施の形態によるＳ６１の映像判別処理の詳細な動作について説明する。図６に示すように、まず、映像符号化装置１は、入力端１１を介して入力映像信号を取得する（Ｓ７１）。ここで入力信号は、前段において４２０／４２２変換されたものであるとする。符号化部３および映像判別部５に共通の４２２／４２０変換部７は、取得したＹＵＶ４２２形式の入力映像信号をＹＵＶ４２０形式の映像信号に変換する（Ｓ７２）。

ここで、図７を参照しながら、４２２／４２０変換部７による４２２／４２０変換について説明する。図７は、規定の低周波分析フィルタＡ（ｚ）２１を介したＹＵＶ４２２形式からＹＵＶ４２０形式への映像信号の変換について説明する図である。図７に示すように、４２２／４２０変換部７は、例えば、ＹＵＶ４２２形式の映像信号のライン１、ライン２、・・・、ライン２Ｎに相当する映像信号の色差成分２９に対し、低周波分析フィルタＡ（ｚ）２１をかける。低周波分析フィルタＡ（ｚ）２１は、フィルタリングされたライン１’、ライン２’、・・・、ライン(２Ｎ)’に相当する色差成分３１を出力する。ダウンサンプリング部２３は、色差成分３１を垂直方向に１ラインおきにライン間引きを行うことにより垂直方向に２：１にダウンサンプリングし、ライン１’、ライン３’、・・・、ライン(２Ｎ−１)’に相当する色差成分３３を取得する。以上のようにして、４２２／４２０変換部７は、ＹＵＶ４２２形式の入力映像信号をＹＵＶ４２０形式の映像信号に変換する。４２２／４２０変換部７は、ＹＵＶ４２０形式に変換した映像信号を、動画像符号化部９および４２０／４２２変換部１３に送る。

図６に戻って、映像判別部５において、４２０／４２２変換部１３は、Ｓ７２で変換されたＹＵＶ４２０形式の映像信号をＹＵＶ４２２形式の信号に変換する（Ｓ７３）。ここで、図８を参照しながら、４２０／４２２変換部１３による４２０／４２２変換について説明する。図８は、規定の低周波合成フィルタＰ（ｚ）２７を介したＹＵＶ４２０形式からＹＵＶ４２２形式への映像信号の変換について説明する図である。図８に示すように、４２０／４２２変換部１３のアップサンプリング部２５は、４２２／４２０変換部７が変換した色差成分３３に対し、垂直方向に１：２にアップサンプリングを行う。すなわち、アップサンプリング部２５は、ＹＵＶ４２０形式の映像信号のライン１’、ライン２’、・・・、ライン(２Ｎ)’に相当する色差成分３３のライン間に、画素値が「０」のラインを１ライン補間することにより、色差成分３５を生成する。さらに、アップサンプリングした色差成分３５に垂直方向に規定の低周波合成フィルタＰ（ｚ）２７をかけて、ライン１、ライン２、・・・、ライン２Ｎに相当する色差成分３７を生成する。以上のようにして、４２０／４２２変換部１３は、入力映像信号から判別用映像信号を生成し、一致度計算部１５に送る。

図６に戻って、映像判別部５において一致度計算部１５は、Ｓ７１で取得されたＹＵＶ４２２形式の入力映像信号と、Ｓ７３で変換されたＹＵＶ４２２形式の判別用映像信号とのそれぞれの色差成分から、一致度を算出する（Ｓ７４）。一致度の計算方法は、例えば以下の３つの計算方法のいずれかを用いる。
一致度１）一致度１＝１０ｌｏｇ（ＭＡＸ＾２／ＭＳＥ）
ここで、ＭＳＥ＝ΣΣ｜ａ（ｉ、ｊ）−ｂ（ｉ、ｊ）｜＾２／（ｍ・ｎ）
一致度２）一致度２=１／（ΣΣ｜ａ（ｉ、ｊ）−ｂ（ｉ、ｊ）｜＾２／（ｍ・ｎ））
一致度３）一致度３=１／（ΣΣ｜ａ（ｉ、ｊ）−ｂ（ｉ、ｊ）｜）
ここで、ａ（ｉ、ｊ）は、入力映像の画素（ｉ、ｊ）における色差成分の画素値、ｂ（i、ｊ）は、判別用映像の画素（ｉ、ｊ）における色差成分の画素値である。ｍは、入力映像および判別用映像の水平方向画素数、ｎは、入力映像および判別用映像の垂直方向画素数である。ＭＡＸは、色差成分の画素値の最大階調値であり、例えば色差成分が８ビットで表されるときは、ＭＡＸ＝２５５となる。また、ΣΣは、ｉについて１からｍ、ｊについて１からｎの総和を示す。

なお、一致度１は、画素値のピーク信号対ノイズ比Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ−Ｒａｔｉｏ（ＰＳＮＲ)を表す値である。一致度２は、平均二乗誤差Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ（ＭＳＥ）の逆数である。また、一致度３は、画素値の差分絶対値和Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ（ＳＡＤ）の逆数である。

一致度１〜３（まとめて一致度ともいう）は、いずれも入力映像と判別用映像との互いに対応する画素の色差成分の差の絶対値に基づく値であり、入力映像と判別用映像との相違が少ないほど一致度は高くなる。一致度計算部１５は、算出した一致度をフィルタ判別部１９に送出する。

フィルタ判別部１９は、一致度計算部１５で計算される一致度について、それぞれ閾値を設けている。一致度が閾値以上とは、入力映像が符号化装置１に入力される前段の４２０／４２２変換による色差成分の劣化および色差画素のずれが、ある程度以下に抑止されていることを示している。フィルタ判別部１９は、一致度が閾値以上であるときには、入力映像が前段の４２０／４２２変換で規定のフィルタである低周波合成フィルタＰ（ｚ）によりＹＵＶ４２０形式からＹＵＶ４２２形式に変換されたと判別する（Ｓ７５、Ｙｅｓ）。そしてフィルタ判別部１９は、判別結果として出力信号「１」を出力する（Ｓ７６）。Ｓ７５で、一致度が閾値未満である場合には、フィルタ判別部１９は、入力映像が前段の変換で規定のフィルタ以外のフィルタを介して変換されたと判別し（Ｓ７５、Ｎｏ）、判別結果として出力信号「０」を出力する（Ｓ７７）。

以上のように、映像判別部５は、ＹＵＶ４２２形式の入力映像のみから、その入力映像信号が前段で規定のフィルタである低周波合成フィルタＰ（ｚ）でＹＵＶ４２０形式からＹＵＶ４２２形式へと変換された映像か否かを判別する。映像判別部５は、符号化部３に判別結果を送る。

次に、第１の実施の形態による映像符号化装置１における映像信号符号化の動作について説明する。映像符号化装置１においては、図１のように符号化部３に映像判別部５の結果を入力し、符号化列中に映像判別部５の判別結果を含ませるようにする。判別結果の符号化は、例えば以下の方法により行うことができる。

第１の実施の形態による符号化では、入力映像信号はＩＴＵ−ＴのＨ.２６４に準拠して符号化されているとする。このとき、動画像符号化部９は、フィルタ判別部１９による判別結果を、非登録ユーザデータ（ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ）ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）により符号化する。非登録ユーザデータＳＥＩは、任意のデータを符号化可能とする付加情報であり、そのシンタックスはＩＴＵ−ＴのＨ.２６４の標準文書において、図９に示す表６３のように規定されている。

表６３において、一列目には、表６３が表す項目が記載されている。２列目は、カテゴリを表している。カテゴリは各シンタックス要素に関連する数であり、シンタックス要素のＮＡＬユニットへの割り付けを規定するために使用される。例えば、「５」はＳＥＩ(付加拡張情報)に含まれるシンタックス要素であることを表す。３列目は「ディスクリプタ」であり識別子を表し、シンタックス要素の構文解析処理を規定する。

表６３の左から１列目、上から２行目に記載された、ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８は、ＩＳＯ／ＩＥＣ １１５７８：１９９６ Ａｎｎｅｘ Ａの手順に従って、ＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ Ｉｄｅｎｔｉｆｉｅｒ）として規定された値を持たなければならない。表６３の１列目、上から４行目に記載されたｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅは、ＵＵＩＤ生成者によって規定されたシンタックスと意味を持つデータを含む１バイトでなければならない。動画像符号化部９では、このｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅに、フィルタ判別部１９が出力した判別結果を入れる。判別結果をｐｒｆ＿ｕｓｅｄ＿ｆｌａｇにより示すとすると、非登録ユーザデータＳＥＩのシンタックスは、図１０の表６４のようになる。表６４に示すように、ｐｒｆ＿ｕｓｅｄ＿ｆｌａｇは、映像判別部５の判別結果を表すフラグとすることができる。フラグの値は、フィルタ判別部１９による判別結果が「１」であれば「１」、判別結果が「０」であれば「０」となる。

例えば、判別結果を示す記号列の例を、１６進数のバイトデータで示す。例えば、ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８のデータを「００ １１ ２２ ３３ ４４ ５５ ６６ ７７ ８８ ９９ ＡＡ ＢＢ ＣＣ ＤＤ ＥＥ ＦＦ」とすると以下のように符号化される。
（１）判別結果が「１」の場合
第１の符号化列：００ １１ ２２ ３３ ４４ ５５ ６６ ７７ ８８ ９９ ＡＡ ＢＢ ＣＣ ＤＤ ＥＥ ＦＦ ０１
（２）判別結果が「０」の場合
第２の符号化列：００ １１ ２２ ３３ ４４ ５５ ６６ ７７ ８８ ９９ ＡＡ ＢＢ ＣＣ ＤＤ ＥＥ ＦＦ ００
以上により、判別結果を符号化列中に含ませることが可能になる。

このように、符号化部３の動画像符号化部９において、判別結果を符号化して例えば上記のような第１の符号化列または第２の符号化列として、ＹＵＶ４２０形式の映像信号を符号化した符号化列とともに出力端２８から出力する。

次に、図１１、図１２を参照しながら、映像符号化装置１が出力する判別結果を含む符号列の利用例について説明する。図１１は、繰り返し符号化系１００による映像信号のＹＵＶ４２２形式とＹＵＶ４２０形式との間の変換の様子を示す図である。繰り返し符号化系１００は、映像の中継や編集等で行われる映像信号の繰り返し符号化系の一例である。図１１に示すように、繰り返し符号化系１００は、符号化装置１０２、復号化装置１０８、符号化装置１１２、復号化装置１１８、・・・・、符号化装置１２４、復号化装置１３４が順次ｎ段接続された系である。

符号化装置１０２は、４２２／４２０変換フィルタ１０４、ダウンサンプリング部２３、および符号化部１０６を有しており、カメラで撮影された入力映像Ｘを、４２２／４２０変換するとともに符号化して出力する。復号化装置１０８は、復号化部１０９、アップサンプリング部２５および４２０／４２２フィルタ１１０を有し、符号化装置１０２で変換された映像を復号化し、アップサンプリングして４２０／４２２変換し、ＹＵＶ４２２形式の出力映像Ｙ１として出力する。各符号化装置１１２、１２４等は、同様に、４２２／４２０変換フィルタ１１４、１２６、ダウンサンプリング部２３、符号化部１１６、１２８等を有している。各復号化装置１１８、１３０等は、復号化部１２０、１３２、アップサンプリング部２５、４２０／４２２変換フィルタ１２２、１３４等を有している。繰り返し符号化系１００は、入力された入力映像Ｘに対し４２２／４２０変換および４２０／４２２変換部を繰り返し、出力映像Ｙｎを出力する。

繰り返し符号化系１００において、４２２／４２０変換フィルタ１０４、１１４、・・・、１２６が規定の低周波分析フィルタＡ(ｚ)、４２０／４２２変換フィルタ１１０、１２２、・・・、１３４が規定の低周波合成フィルタＰ(ｚ)である場合を考える。この場合、上述のように出力信号Ｙ１〜Ｙｎの４２２／４２０変換および４２０／４２２変換の繰り返しによる色差の劣化を最小にすることができる。一方で、繰り返し符号化系１００のどこかで低周波分析フィルタＡ（ｚ）、低周波合成フィルタＰ（ｚ）以外の規定の条件を満たさないフィルタが使用されると、そこで色差が大きく劣化することになる。

このような繰り返し符号化系１００において、例えば符号化装置１１２を第１の実施の形態による映像符号化装置１に置き換えた場合を考える。このとき映像符号化装置１からは、第１の符号化列または第２の符号化列を含む符号化列が出力される。出力された符号化列が復号化装置１１８で復号化され、第１の符号化列が含まれていることが分かると、映像符号化装置１の前段の復号化装置１０８において、規定のフィルタで変換されたと判別される。出力された符号化列に第２の符号化列が含まれていることが分かると、映像符号化装置１の前段の復号化装置１０８において、規定のフィルタ以外のフィルタで変換されたと判別される。

繰り返し符号化系１００において、例えば、符号化装置１１２の後段に記憶装置を接続し、符号化装置１１２から出力された符号化列を蓄積し、蓄積された符号化列を後に読み出して利用することもある。この様な場合、記憶装置の直前の符号化装置１１２を、第１の実施の形態による映像符号化装置１に置き換えると、出力される符号化列に上記のように第１の符号化列または第２の符号化列が含まれることになる。すなわち、蓄積された符号化列は、その符号化列が復号化装置１０８において規定のフィルタを用いて変換されたか否かを示す情報を含むことになる。

図１２は、映像スイッチング系２００における映像信号の利用法について説明する図である。映像スイッチング系２００は、符号化列のスイッチングを行う系の一例である。図１２に示すように、映像スイッチング系２００は、複数のカメラ２３０、２４０、・・・、２５０および放送局２６０を備えている。複数のカメラ２３０、２４０、・・・、２５０は、多数の符号化装置２３２、２４２、・・・、２５２、復号化装置２３４、２４４、・・・、２５４を介して放送局２６０に接続されている。放送局２６０は、スイッチャ２６２、復号化装置２６４、２７０、編集装置２６６、モニタ２７２、ストレージ２７４、符号化装置２６８を有している。

映像スイッチング系２００において、複数のカメラ２３０、２４０、・・・、２５０が撮影した映像は、多数の符号化装置２３２、２４２、・・・、２５２、復号化装置２３４、２４４、・・・、２５４を介して放送局２６０に伝送されている。例えば、映像中継時には、スイッチャ２６２が複数のカメラ２３０〜２５０からの映像の系をスイッチングすることがある。また、伝送されてきた映像をストレージ２７４に蓄積し、後に編集装置２６６やモニタ２７２などにより用いることがある。

映像スイッチング系２００において、例えば符号化装置２３６、２４６、・・・、２５６等を第１の実施の形態による映像符号化装置１に置き換えると、スイッチャ２６２に入力される符号化列に、全て上記第１の符号化列または第２の符号化列が含まれることになる。すなわち、スイッチャ２６２に入力される符号化列は、復号化装置２３４、２４４、・・・、２５４において、規定のフィルタを用いて変換が行われたか否かを示す判別結果を含む。また、このとき、復号化装置２６４、２７０、ストレージ２７４等に入力される符号化列も、判別結果を含むことになる。

以上詳細に説明したように、第１の実施の形態による映像信号符号化装置によれば、入力映像信号を４２２／４２０変換部７において規定のフィルタ低周波分析フィルタＡ（ｚ）２１を用いて４２２／４２０変換する。４２０／４２２変換部１３は、ＹＵＶ４２０形式に変換された映像信号を規定のフィルタ低周波合成フィルタＰ（ｚ）２７を用いて４２０／４２２変換し、判別用映像信号を生成する。一致度計算部１５は、入力映像信号と判別用映像信号との一致度を計算する。フィルタ判別部１９は、一致度が閾値以上の場合に、入力映像信号が前段で規定のフィルタである低周波合成フィルタＰ（ｚ）を用いて変換されたと判別する。フィルタ判別部１９は、一致度が閾値未満の場合に、入力映像信号が前段で規定のフィルタ以外のフィルタを用いて変換されたと判別する。符号化部３は、４２２／４２０変換部７で変換されたＹＵＶ４２２形式の映像信号と、判別結果とを符号化して出力端２８から符号化列として出力する。なお、映像符号化装置１は、図１の構成をハードウエアにより実現してもよいし、コンピュータにおいて実行されるプログラムとして実現してもよい。

繰り返し符号化系１００、映像スイッチング系２００等において、各符号化装置１１２、１２４、２３２、・・・、２３６、・・・、２５６、２６８等に代えて映像符号化装置１を用いることができる。このような構成により、規定のフィルタで変換された映像であるか否かを示す符号化列を含む映像信号の符号化列を、繰り返し符号化系１００および映像スイッチング系２００などにおいて利用する。例えば、上記のような、繰り返し符号化列１００や映像スイッチング系２００などにおいて、蓄積された符号化列を後に利用する際に、映像判別部５による判別結果を認識する。映像符号化装置１から出力された符号化列に第２の符号化列が含まれている場合には、映像符号化装置１の直前の４２０／４２２変換フィルタを、規定のフィルタ以外のフィルタであると特定する。また、第２の符号化列を含む符号化列を、前段において規定のフィルタ以外のフィルタにより変換された映像信号による符号化列であると判別する。

以上のように、第１の実施の形態による映像符号化装置１、映像信号符号化方法およびプログラムによれば、映像符号化装置１に入力された入力映像信号が、前段の４２０／４２２変換で規定のフィルタを用いて変換されたか否かを判別することが可能になる。また、映像符号化装置１は、繰り返し符号化系１００または映像スイッチング系２００などにおいて符号化装置１０８、１１８、１３０、２３６、２４６、２５６等に変えて用いることができる。第１の実施の形態による映像符号化装置１により、映像符号化装置１に入力される映像が、規定のフィルタを使用して変換された映像かどうかを判別できれば、その判別結果を符号化装置で符号化することで、復号化装置でも判別結果を知ることができる。これにより、符号化装置と復号化装置のそれぞれの場所で、規定のフィルタが使用されているか否かが判るので、規定のフィルタ以外のフィルタを用いた低周波合成フィルタの場所を特定することが可能になる。

繰り返し符号化系１００または映像スイッチング系２００などにおいて、蓄積された符号化列が長期間保存された後であっても、規定のフィルタにより変換されているかどうかが判る。蓄積された符号化列が規定のフィルタにより変換されているかどうかが判れば、色差の劣化を気にすることなく、後段の復号化装置などに符号化列を流すことができる。また、判別の結果、映像信号が規定のフィルタ以外のフィルタを用いて変換されたものであると判明した場合には、色差信号の劣化や画素ずれを補う高画質化処理(フィルタ係数を考慮した色差に対する強調処理など)を施すことも可能となる。また、蓄積された符号化列を復号化して映像表示するときに、最適な高画質化処理を施した後に表示することが可能となる。

映像スイッチング系２００などにおいて、スイッチャ２６２などにより符号化列の切り替わりが発生する際には、切り替わり後の符号化列が規定のフィルタにより変換された符号化列であるか否かが判別できる。よって、その判別結果を符号化列の品質チェックの指標のひとつにすることが可能となる。
なお、一致度は、上記３種類に限定されず、一致度が表せる値であれば、他の式による値でもよい。

(第２の実施の形態)
以下、第２の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムについて、図面に基づいて説明する。第１の実施の形態と同一の構成については同一番号を付し、重複説明を省略する。図１３は、第２の実施の形態による映像符号化装置９０の構成を示すブロック図である。映像符号化装置９０は、符号化部３および映像判別部５０の機能を有している。第２の実施の形態による映像符号化装置９０は、第１の実施の形態による映像符号化装置１において、映像判別部５を映像判別部５０に置き換えた装置である。

映像判別部５０は、映像判別部５と同様に、符号化部３と共通の４２２／４２０変換部７、および４２０／４２２変換部１３、一致度計算部１５を備えている。さらに、映像判別部５０は、第１の実施の形態によるフィルタ判別部１９に代えてフィルタ判別部２０を備え、さらに平坦度計算部１７を有している。

平坦度計算部１７は、入力映像信号の平坦度を算出し、フィルタ判別部２０に送出する。フィルタ判別部２０は、一致度計算部１５により計算された一致度および平坦度計算部１７により計算された平坦度に応じて、入力映像信号が前段で規定のフィルタにより変換されたか否かを判別する。

次に、図１４を参照しながら、第２の実施の形態による映像符号化装置９０における映像信号の判別および符号化の動作について説明する。図１４は、第２の実施の形態による映像符号化装置９０における映像信号の判別および符号化の動作を示すフローチャートである。図１４のＳ８１〜Ｓ８４は、図５のＳ７１〜Ｓ７４の動作と同様であるため、説明を省略する。

図１４のＳ８５において、映像判別部５０の平坦度計算部１７は、Ｓ８１で取得されたＹＵＶ４２２形式の入力映像信号の色差成分を用いて平坦度を計算する（Ｓ８５）。平坦度の計算方法は、例えば以下の３つの計算方法のいずれかを用いる。
平坦度１） 平坦度１＝１／ΣΣ（平均画素値−a（ｉ、ｊ））＾２

ここで、平均画素値＝１／（ｍ・ｎ）ΣΣａ（ｉ、ｊ）、ａ（ｉ、ｊ）は、入力映像の画素（ｉ、ｊ）における色差成分の画素値、ｍは、入力映像の水平方向画素数、ｎは、入力映像の垂直方向画素数である。また、ΣΣは、ｉについて１からｍ、ｊについて１からｎの総和を示す。

平坦度２） 平坦度２＝入力映像信号の色差成分にカットオフ周波数が低い、例えばπ／１６のハイパスフィルタを掛けた後の映像の画素値和の逆数
平坦度３） （Ｃ０＋Ｃ１＋・・・＋Ｃ１５）／（Ｃ１＋Ｃ２＋・・・＋Ｃ１５）
ここで、Ｃ０〜Ｃ１５は、離散コサイン変換の係数である。

平坦度１は、色差成分の画素値の平均値からの二乗誤差和の逆数を表し、平坦度２は、カットオフ周波数以上の画素値の和の逆数、平坦度３は、入力映像に離散コサイン変換を施したときの各係数の和に対する直流成分以外の係数の割合の逆数を表す。いずれの値も、入力映像信号において色素成分が一様であればあるほど、平坦度は高くなる。平坦度計算部１７は、以上のように計算した平坦度１〜３（まとめて平坦度ともいう）のいずれかを、フィルタ判別部１９に送出する。

フィルタ判別部２０は、第１の実施の形態によるフィルタ判別部１９と同様に、一致度計算部１５で計算される一致度について、それぞれ閾値を設けている。また、平坦度計算部１７で計算される平坦度についても、フィルタ判別部２０は、それぞれ閾値を設けている。平坦度が閾値未満とは、入力映像の色合いがある程度複雑であることを示している。例えば、平坦度が増大していくと終いには一色のみの映像となるが、一色のみの映像からは、一致度によって色差成分の劣化が正確に検出することが困難な場合があるため、フィルタ判別部２０では、一致度に加えて平坦度を判別に用いる。

フィルタ判別部２０は、一致度が閾値以上であり、かつ平坦度が閾値よりも小さいとき、入力映像が前段で規定のフィルタである低周波合成フィルタＰ（ｚ）によりＹＵＶ４２０形式からＹＵＶ４２２形式に変換されたと判別する（Ｓ８６、のＹｅｓ）。そして、フィルタ判別部２０は、判別結果として出力信号「１」を出力する（Ｓ８７）。Ｓ８６で、一致度が閾値未満であるか、または平坦度が閾値以上である場合には、入力映像が前段で規定のフィルタ以外のフィルタを介して変換されたと判別し（Ｓ８６、Ｎｏ）、判別結果として出力信号「０」を出力し（Ｓ５８）、図５のＳ６２に戻る。

以上により、ＹＵＶ４２２形式の入力映像のみから、その入力映像信号が前段で規定のフィルタである低周波合成フィルタＰ（ｚ）でＹＵＶ４２０形式からＹＵＶ４２２形式へと変換された映像かどうかを判別可能とする。

映像判別部５０は、符号化部３に判別結果を送る。符号化部３の動画像符号化部９は、所定の形式で入力画像を４２２／４２０変換した映像信号とともに、映像判別部５０から入力された判別結果を符号化する（Ｓ６２）。符号化については、例えば第１の実施の形態における図９、図１０に示した方法を適用できる。よって、符号化部３の動画像符号化部９において、判別結果を符号化して第１の実施の形態による映像符号化装置１と同様、入力映像信号を符号化した符号化列とともに出力端２８から出力する。

また、第１の実施の形態による映像符号化装置１と同様に、第２の実施の形態による映像符号化装置９０を、繰り返し符号化系１００または映像スイッチング系２００において符号化装置に代えて利用することができる。

以上説明したように、第２の実施の形態による映像信号符号化装置によれば、平坦度計算部１７が、入力映像信号を用いて平坦度を計算する。フィルタ判別部２０は、一致度が閾値以上であって、平坦度が閾値未満の場合に、入力映像信号が前段で規定のフィルタである低周波合成フィルタＰ（ｚ）を用いて変換されたと判別する。フィルタ判別部２０は、一致度が閾値未満、または平坦度が閾値以上の場合に、入力映像信号が前段で規定のフィルタ以外のフィルタを用いて変換されたと判別する。符号化部３の動画像符号化部９は、４２２／４２０変換部７で変換されたＹＵＶ４２２形式の映像信号と、判別結果とを符号化して出力端２８から符号化列として出力する。

以上のように、第２の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムは、第１の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムと同様の作用効果を奏する。さらに、入力映像の平坦度を算出することにより、入力映像信号の色差成分が一様に近い場合には、一致度のみで判別を行なう場合に比べてさらに正確に判定を行うことが可能になる。

なお、第１の実施の形態において例示の一致度３種類と、第２の実施の形態において例示の平坦度３種類については、任意の組み合わせが可能である。例えば一致度１と平坦度３、一致度２と平坦度１など、９種類の組み合わせが可能である。また、一致度および平坦度は、それぞれ上記３種類に限定されず、一致度、平坦度が表せる値であれば、他の式による値でもよい。このとき、他の一致度、平坦度の値とも任意の組み合わせが可能である。

（第３の実施の形態）
以下、図１５、図１６を参照しながら、第３の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムについて説明する。図１５、図１６は、第３の実施の形態による判別結果の符号化に関するシンタックスを示す表である。第３の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムは、第１および第２の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムにおける、符号化方法の別の形態である。

第３の実施の形態においても、映像信号をＨ.２６４符号化しているものとする。第３の実施の形態においては、映像符号化装置１または映像符号化装置９０は、シーケンスパラメータセットのＶｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＶＵＩ）パラメータとして判別結果を送る。ＩＴＵ−ＴのＨ.２６４の標準文書において、シーケンスパラメータセットのシンタックスは、図１５の表６６のように規定されている。

表６６の一列目には、表６６が表す項目が記載されている。２列目は、カテゴリを表している。カテゴリは各シンタックス要素に関連する数であり、例えば、「０」はシーケンスパラメータセットに含まれるシンタックス要素であることを表す。３列目は「ディスクリプタ」であり識別子を表し、シンタックス要素の構文解析処理を規定する。例えば、ｕ（ｎ）はnビットを使った符合無し整数であり、ｂ（８）は任意のパターンのビット記号列を持つバイト、を表す。

表６６の上から３行目に記載のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、「１」であればｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）が存在することを表し、「０」であればｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）が存在しないことを表す。表６６の５行目に記載のｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）は、ＶＵＩパラメータシンタックスを満たすデータである。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）の部分にはＶＵＩパラメータシンタックスを満たさない任意のデータを入れることが可能であるので、この部分に映像の判別結果を入れる。ここで、判別結果をｐｒｆ＿ｕｓｅｄ＿ｆｌａｇとすると、シーケンスパラメータセットのシンタックスは、図１６の表６７のようになる。このように、ｐｒｆ＿ｕｓｅｄ＿ｆｌａｇは、映像判別部５または映像判別部５０の判別結果を表すフラグであり、フラグの値は、判別結果が「１」であれば「１」、「０」であれば「０」となる。

以下第３の実施の形態による符号列の例を２進数のビット列データで示す。シーケンスパラメータセットをビット列で記述すると複雑になるので、ＶＵＩパラメータ前後は省略して示す。この例のビット列データの最初の「１」はｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである。
（１）判別結果が「１」の場合
第３の符号列：・・・１１・・・
（２）判別結果が「０」の場合
第４の符号列：・・・１０・・・
以上により、判別結果を符号化列中に含ませることが可能となる。

以上説明したように、第３の実施の形態による映像信号符号化方法およびプログラムによれば、上記のように判別結果を符号化することができる。なお、第３の実施の形態による映像信号符号化方法およびプログラムは、第１の実施の形態による映像符号化装置１および第２の実施の形態による映像符号化装置９０のいずれによっても実現可能である。よって、第３の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムは、第１または第２の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムと同様の作用効果を奏する。

（第４の実施の形態）
以下、図１７、図１８を参照しながら、第４の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムについて説明する。図１７、図１８は、第４の実施の形態による判別結果の符号化に関するシンタックスを示す表である。第４の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムは、第１〜第３の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムにおける、符号化方法の別の形態である。

第４の実施の形態は、映像の符号化データをＴＳ(Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ：トランスポートストリーム)で多重化している場合の符号化の例である。この場合には、新たにｄｅｓｃｒｉｐｔｏｒ（ディスクリプタ）を定義し、それにより判別結果を送る。ＩＴＵ−Ｔ Ｈ.２２２の標準文書において、ＴＳでは、任意のデータをｐｒｏｇｒａｍ＿ｍａｐ＿ｓｅｃｔｉｏｎのｄｅｓｃｒｉｐｔｏｒとして送信可能なことが規定されている。ｐｒｏｇｒａｍ＿ｍａｐ＿ｓｅｃｔｉｏｎのシンタックスは、図１７の表６８のようになる。

表６８の一列目には、シンタックスが記載されている。２列目は、ビット数であり、シンタックス要素のビット数を表す。３列目は「ニーモニック」であり、シンタックス要素のデータタイプを表す。例えば、ｂｓｌｂｆはシンタックス要素がビット列(例えば‘１０００ ０００１’)であることを表し、ｕｉｍｓｂｆはシンタックス要素が符号無し整数であることを表す。

表６８の上から５行目に記載のｄｅｓｃｒｉｐｔｏｒ（）はユーザ定義可能なので、それを図１８の表６９のように定義して、映像の判別結果を入れる。表６９の上から３行目に記載のdｅｓｃｒｉｐｔｏｒ＿tａｇは、8ビットのフィールドであり、各ディスクリプタを識別する。ｐｒｆ＿ｕｓｅｄ＿ｆｌａｇ＿ｄｅｓｃｒｉｐｔｏｒ（）ではユーザ定義の値である６４から２５５の間の値を使う。例えば６４とすることができる。

表６９の上から４行目に記載のｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは、８ビットのフィールドであり、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈフィールドの直後に続くデータのバイト数を規定する。データのバイト数は、ｐｒｆ＿ｕｓｅｄ＿ｆｌａｇ＿ｄｅｓｃｒｉｐｔｏｒ（）では「１」とする。表６９の上から５行目に記載のｐｒｆ＿ｕｓｅｄ＿ｆｌａｇは、1ビットのフィールドであり、映像判別部５または映像判別部５０の判別結果を表すフラグである。フラグの値は、判別結果が「１」であれば「１」、「０」であれば「０」となる。ｒｅｓｅｒｖｅｄは、現在未使用のフィールドである。値は２進数で’１１１ １１１１’とする。

例えば、ディスクリプタの記号列の例を１６進数のバイトデータで示す。例では、ｄｅｓｃｒｉｐｔｏｒ＿ｔａｇは１６進数で「４０」、ｄｅｓｃｒｉｐｔｏｒ＿ｌｅｎｇｔｈは１６進数で「１」としている。
（１）判別結果が「１」の場合
第５の符号化列：４０ ０１ ＦＦ
（２）判別結果が「０」の場合
第６の符号化列：４０ ０１ ７Ｆ

このディスクリプタのバイトデータは、ＴＳ＿ｐｒｏｇｒａｍ＿ｍａｐ＿ｓｅｃｔｉｏｎシンタックス中のｄｅｓｃｒｉｐｔｏｒ（）の部分に挿入されて、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）として送られる。以上により、判別結果を符号化列中に含ませることが可能となる。

以上説明したように、第４の実施の形態による映像信号符号化方法およびプログラムによれば、上記のように判別結果を符号化することができる。なお、第４の実施の形態による映像信号符号化方法およびプログラムは、第１の実施の形態による映像符号化装置１および第２の実施の形態による映像符号化装置９０のいずれによっても実現可能である。よって、第４の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムは、第１または第２の実施の形態による映像信号符号化装置、映像信号符号化方法およびプログラムと同様の作用効果を奏する。

ここで、上記第１から第４の実施の形態による映像符号化方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１９は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１９に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第１から第４の実施の形態による映像符号化方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に映像符号化の動作を行なわせる。このとき、まず、映像符号化の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

上記実施の形態において、４２２／４２０変換部７および４２０／４２２変換部１３は、判別映像出力部の一例であり、映像符号化装置１、９０は、映像信号符号化装置の一例である。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。例えば、規定のフィルタは、図２〜図４に例示のものに限定されず、上記の条件１〜３を満たすものであれば適用可能である。

上記実施の形態は、互いに適宜組み合わせることができる。例えば、第１の実施の形態における符号化を第３の実施の形態による符号化方法で行う形態、第２の実施の形態による映像信号符号化装置５０を、第１の実施の形態による繰り返し変換系１００における符号化装置１２４に置き換える形態、などの変形が可能である。

１ 映像符号化装置
３ 符号化部
５ 映像判別部
７ ４２２／４２０変換部
９ 動画像符号化部
１１ 入力端
１３ ４２０／４２２変換部
１５ 一致度計算部
１７ 平坦度計算部
１９ フィルタ判別部
２１ 低周波分析フィルタＡ（ｚ）
２３ ダウンサンプリング部
２５ アップサンプリング部
２７ 低周波合成フィルタＰ（ｚ）
２８ 出力端

Claims (10)

1. 輝度成分および二つの色差成分を有する映像信号を、第１の形式と、前記第１の形式より色差成分の解像度の低い第２の形式との間で変換する一対のフィルタであって、規定の条件を満たす第１のフィルタおよび第２のフィルタを有し、前記第１のフィルタを介して前記第１の形式の入力映像信号を前記第２の形式の映像信号に変換し、さらに前記第２の形式の映像信号を前記第２のフィルタを介して前記第１の形式に変換した判別用映像信号を出力する判別映像出力部と、
   前記入力映像信号と前記判別用映像信号との一致度を算出する一致度計算部と、
   前記一致度に応じて、前記入力映像信号が前段の前記第２の形式から前記第１の形式への変換において前記規定の条件を満たすフィルタを用いて変換されているか否かを判別し、判別結果を出力するフィルタ判別部と、
   前記第１のフィルタを介して変換した前記第２の形式の映像信号と前記判別結果とを符号化して符号化列を生成する動画像符号化部と、
   を備え、
   前記規定の条件は、輝度成分および二つの色差成分を有する映像信号を、前記第１の形式と前記第２の形式との間で繰り返し変換しても、色差画素の位置ずれを所定の誤差範囲内とすることが可能な完全再構成フィルタである
   ことを特徴とする映像信号符号化装置。
2. 前記入力映像信号の平坦度を算出する平坦度計算部、をさらに有し、
   前記フィルタ判別部は、前記一致度および前記平坦度に応じて、前記入力映像信号が前段の変換において前記規定の条件を満たすフィルタを用いて変換されているか否かを判別することを特徴とする請求項1に記載の映像信号符号化装置。
3. 前記フィルタ判別部は、前記一致度が所定値以上の場合には、前記入力映像信号が前段の変換において前記規定の条件を満たすフィルタを用いて変換されていると判別することを特徴とする請求項1または請求項２に記載の映像信号符号化装置。
4. 前記フィルタ判別部は、前記一致度が所定値以上であって、かつ前記平坦度が所定値未満である場合に、前記入力映像信号が前段の変換において前記規定の条件を満たすフィルタを用いて変換されていると判別し、
   前記一致度が所定値未満、または前記平坦度が所定値以上である場合に、前記入力映像信号が前段の変換において前記規定の条件を満たすフィルタ以外のフィルタを用いて変換されていると判別することを特徴とする請求項２または請求項３に記載の映像信号符号化装置。
5. 前記一致度は、前記入力映像信号と前記判別用映像信号との対応する画素同士の色差成分の画素値の差の絶対値に基づいて計算された値であることを特徴とする請求項１から請求項４のいずれか一項に記載の映像信号符号化装置。
6. 前記平坦度は、前記入力映像信号の色差成分の平均画素値と各画素値との差に基づいて計算された値であることを特徴とする請求項２から請求項５のいずれか一項に記載の映像信号符号化装置。
7. 前記平坦度は、前記入力映像信号の色差成分の所定周波数以上の成分に基づいて計算された値であることを特徴とする請求項２から請求項５のいずれか一項に記載の映像信号符号化装置。
8. 前記平坦度は、前記入力映像信号の色差成分を離散コサイン変換した際の係数に基づいて計算された値であることを特徴とする請求項２から請求項５のいずれか一項に記載の映像信号符号化装置。
9. 第１のフィルタおよび第２のフィルタは、規定の条件を満たすフィルタであり、前記第１のフィルタを用いて輝度成分および二つの色差成分を有する第１の形式の入力映像信号を前記第１の形式の映像信号よりも色差成分の解像度の低い第２の形式の映像信号に変換し、さらに前記第２の形式の映像信号を前記第２のフィルタを用いて前記第１の形式へ変換することにより判別用映像信号を出力し、
   前記入力映像信号と前記判別用映像信号との一致度を算出し、
   前記一致度に応じて、前記入力映像信号が前記規定の条件を満たすフィルタを用いて変換されているか否かを判別して判別結果を出力し、
   前記第２の形式の映像信号と前記判別結果とを符号化して、符号化列を生成する、
   ここで、前記規定の条件は、輝度成分および二つの色差成分を有する映像信号を、前記第１の形式と前記第２の形式との間で繰り返し変換しても、色差画素の位置ずれを所定の誤差範囲内とすることが可能な完全再構成フィルタである
   ことを特徴とする映像信号符号化方法。
10. コンピュータに、
    規定の条件を満たす第１のフィルタおよび第２のフィルタであって、前記第１のフィルタを用いて輝度成分および二つの色差成分を有する第１の形式の入力映像信号を前記第１の形式の映像信号よりも色差成分の解像度の低い第２の形式の映像信号に変換し、さらに前記第２の形式の映像信号を前記第２のフィルタを用いて前記第１の形式へ変換することにより判別用映像信号を出力し、
    ここで、前記規定の条件は、輝度成分および二つの色差成分を有する映像信号を、前記第１の形式と前記第２の形式との間で繰り返し変換しても、色差画素の位置ずれを所定の誤差範囲内とすることが可能な完全再構成フィルタであり、
    前記入力映像信号と前記判別用映像信号との一致度を算出し、
    前記一致度に応じて、前記入力映像信号が完全再構成フィルタを用いて変換されているか否かを判別して判別結果を出力し、
    前記第２の形式の映像信号と前記判別結果とを符号化して、符号化列を生成する処理を行わせることを特徴とする映像信号符号化プログラム。