JP3626406B2 - 映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 - Google Patents
映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 Download PDFInfo
- Publication number
- JP3626406B2 JP3626406B2 JP2000342094A JP2000342094A JP3626406B2 JP 3626406 B2 JP3626406 B2 JP 3626406B2 JP 2000342094 A JP2000342094 A JP 2000342094A JP 2000342094 A JP2000342094 A JP 2000342094A JP 3626406 B2 JP3626406 B2 JP 3626406B2
- Authority
- JP
- Japan
- Prior art keywords
- sprite
- threshold
- image
- shot
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，入力映像をスプライト符号化するスプライトモードと，通常符号化する通常モードとの符号化方式が混在するマルチモード符号化におけるモードを判定する映像符号化の技術であって，特に編集映像中のショットもしくはショット中に含まれるフレーム間において，スプライト符号化が適しているか否かを高速かつ高精度に判定するための映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体に関する。
【０００２】
【従来の技術】
映像符号化の次世代標準であるＭＰＥＧ−４の Ｖｅｒｓｉｏｎ １ Ｍａｉｎ Ｐｒｏｆｉｌｅ で映像をビデオオブジェクト毎に符号化する「オブジェクト符号化」において，特に，カメラの動きを抽出することによって背景オブジェクトを背景パノラマ画像（以下，スプライト画像という）で表現する「スプライト符号化」は，全画面を１つのビデオオブジェクトとして符号化する通常符号化と比較して，劇的な符号化効率の向上を実現する方法である。
【０００３】
なお，「スプライト符号化」，「オブジェクト符号化」については，下記の文献などに記載されている。
・文献１：“ＭＰＥＧ−４のすべて”，ｐｐ．５３−５６，三木弼一著，工業調査会
・文献２：“Ａ Ｌａｙｅｒｅｄ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ Ｕｓｉｎｇ Ｓｐｒｉｔｅ ａｎｄ Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｍｏｄｅｌ ”，Ｍｉｎｇ−Ｃｈｉｅｈ Ｌｅｅ， Ｗｅｉ−ｇｅ Ｃｈｅｎ ａｎｄ Ｃｈｉｈ−ｌｕｎｇ 他，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１３０−１４５， Ｆｅｂｒｕａｒｙ １９９７
このスプライト符号化は，映像の映り変わりであるカット点を持たない，連続したフレーム列であるショットに対し，そのショット中の基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し，そのグローバルモーションを用いてフレームを幾何変換し，繋ぎ合わせてスプライト画像を生成する。さらに，生成したスプライトから該当フレームの背景画像を切り出し，該背景画像と各フレームの差分をもとに得られる移動物体等の前景画像を抽出し，スプライト画像，前景画像をそれぞれオブジェクト符号化することによって実現する符号化方法である。
【０００４】
しかしながら，スプライト符号化は限られたショットにのみ有効な符号化方式であるために，入力映像のショットに対して，スプライト符号化に適しているか否かを判定する必要がある。
【０００５】
図４に，従来のモード判定方法の例を示す。図中，６０は従来のモード判定部，６１はフレーム数判定手段，６２はカメラパラメータ判定手段，６３は前景比率判定手段，４０は通常符号化部，５０はスプライト符号化部を表す。
【０００６】
図４に示すような従来の判定方法では，１つのショットに対し，フレーム数判定手段６１において，フレーム数と第一の閾値との比較によりフレーム数が十分であるかどうかを判定する（ステップＳ４１）。十分でなければ，通常符号化部４０による通常の符号化を行う（ステップＳ４９）。
【０００７】
フレーム数が十分であれば，次にカメラパラメータ判定手段６２において，カメラパラメータとしてズーム値，ローテート値，パン値，チルト値を算出し（ステップＳ４２），これらと第二の閾値群の対応閾値とを比較することにより，カメラの動きが存在するかどうかを判定する（ステップＳ４３）。カメラの動きが存在しない場合，通常符号化部４０による通常の符号化を行う（ステップＳ４９）。
【０００８】
カメラの動きが存在する場合，前景比率判定手段６３において，フレームを１枚ずつ重ねることにより仮スプライト画像を生成し（ステップＳ４４），仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像について所定の閾値を用いた二値化処理を行い（ステップＳ４５），それを用いて前景比率を算出し（ステップＳ４６），前景比率を第三の閾値と比較することにより，前景比率が十分に小さいかどうかを判定し（ステップＳ４７），その結果，前景比率が十分に小さい場合にのみ，スプライト符号化部５０によりスプライト符号化を行い（ステップＳ４８），それ以外の場合には，通常符号化部４０により通常の符号化を行う（ステップＳ４９）。
【０００９】
従来技術では，以上のフレーム数判定手段６１，カメラパラメータ判定手段６２，前景比率判定手段６３の３つの判定手段によってスプライト符号化に適していると判定したショットをスプライト符号化（以下，スプライトモードという）し，その他はＭＰＥＧ−４通常符号化（以下，通常モードという）することによって，スプライトモードと通常モードの符号化が混在するマルチモード符号化を実現していた。なお，３つの判定手段では，適当な閾値を設定して比較することのみによって行っていた。
【００１０】
一方，ＭＰＥＧ−４ Ｍａｉｎ Ｐｒｏｆｉｌｅ では，スプライト符号化データを効率よく伝送する手法として，スプライト画像データを複数のマクロブロック単位で分割して伝送し，受信側では現フレームの復号に最低限必要なスプライト画像データが受信でき次第，復号する低遅延スプライト（Ｌｏｗ−ｌａｔｅｎｃｙ ｓｐｒｉｔｅ）というモードが用意されている。このモードはスプライト画像データを効率よく伝送し，また余白の部分を伝送する必要がないために符号量を抑えることができる。
【００１１】
しかしながら，カメラパラメータがＸ軸に対し負の方向に進行するスプライト画像を伝送する際には，伝送するマクロブロックにＭＰＥＧ−４のＡＣ／ＤＣ予測が適用できず，低遅延スプライトモードを利用しないときよりも符号量が増大してしまうことがある。この際には，スプライト画像をあらかじめ１８０度回転させて生成し，カメラパラメータがＸ軸に対して正の方向に進行するように変換し，伝送させる方法（以下，逆走スプライト方式という）を適用する必要があるが，いつ逆走スプライト方式を適用するかの判定は，従来方法では自動的に行うことはできなかった。
【００１２】
図５に，逆走スプライト方式を適用する場合の例を示す。図５において，Ｆｓは入力映像中の映り変わりがない一連のフレーム列であるショットの開始フレーム，Ｆｅはその終了フレーム，Ｓはそれらのフレーム列を繋ぎ合わせることで生成されたスプライト画像を表す。
【００１３】
図５（Ａ）は，カメラパラメータがＸ軸に正の方向で進行する場合を示しており，図５（Ｂ）は，カメラパラメータがＸ軸に負の方向で進行する場合を示している。カメラパラメータがＸ軸に負の方向で進行する場合には，図５（Ｂ）に示すように，スプライト画像を１８０度回転させて生成することにより，カメラパラメータを図５（Ａ）と同様な動きとなるように変換し，低遅延スプライトモードにおける発生符号量の増加を抑える。
【００１４】
なお，「低遅延スプライトモード」，「ＡＣ／ＤＣ予測」については，上述した文献１「“ＭＰＥＧ−４のすべて”，ｐｐ．５３−５６，三木弼一著，工業調査会」に記載されている。
【００１５】
【発明が解決しようとする課題】
ショットのモード判定処理には，前記のような過程を踏むために，以下に述べる点で冗長性があった。
【００１６】
カメラパラメータ判定では，入力ショット全体に対して，閾値を超えるカメラパラメータがあるか否かのみの判定を行っていたために，ショット内のスプライト符号化に適していないフレーム列を含む場合にもスプライトモードと判定とすることがあった。もしくは，スプライト符号化に適しているフレーム列を含むショットを通常モードと判定することがあった。
【００１７】
また，カメラパラメータが第四の閾値を超える，もしくは第四の閾値以上の連続したフレーム列において，常に第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上のズーム値を含むズーム区間（以下，連続ズーム区間という）を有するモーションフレーム列では，連続ズーム区間の前後に生じる解像度の違いから，生成したスプライト画像の画質の劣化に問題があった。
【００１８】
また，前景比率判定における仮スプライト生成では，フレームを１枚ずつ重ねて仮スプライト画像を生成していたために，フレーム貼り付け処理に時間がかかっていた。
【００１９】
また，低遅延スプライトモードにおいて，逆走スプライト方式は，カメラパラメータがＸ軸に対し負の方向に進行するスプライト画像を伝送する際に有効な手段であるが，いつ適用すべきかの判定方法がなかったために，実際のシステムには採用されていなかった。
【００２０】
本発明の目的は，ショットが前記スプライト符号化，前記通常符号化のいずれに適しているかのモード判定を，従来の判定方法と比較して格段に高精度，かつ高速に処理することにある。また，低遅延スプライトモードにおいて符号量が増加してしまう場合に，逆走スプライト方式を適用するか否かの判定を自動的に行うことにある。
【００２１】
【課題を解決するための手段】
映像の映り変わりであるカット点を持たない連続したフレームをショットと呼ぶ。本発明は，このショットをカメラパラメータに基づき分割し，分割されたモーションフレーム列ごとに，通常モードかスプライトモードかを判定する。
【００２２】
また，前景比率を算出するための仮スプライト画像の生成では，数フレームを省略したフレーム列を用いて，仮スプライト画像を生成する。例えばフレーム列の総数が３０フレームであったとき，１番目，４番目，７番目，１０番目，…というように，ある間隔で抜き出したフレームのみを用いて仮フレーム画像を生成する。
【００２３】
また，スプライトモードと判定されたモーションフレーム列のカメラパラメータのパン値が，Ｘ軸に対して負の方向に進行する値だけであった場合には，逆走スプライト方式，すなわちスプライト画像をあらかじめ１８０度回転させて生成し，カメラパラメータがＸ軸に対し，正の方向に進行するように変換して伝送させる方式を適用すると判定する。
【００２４】
具体的には，以下のとおりである。本発明の第１の態様は，映像符号化における，入力映像をスプライト符号化するスプライトモードと，ＭＰＥＧ−４通常符号化する通常モードの二通りの符号化方式が混在するマルチモード符号化のモード判定方法において，以下のステップを有する。
【００２５】
（１）入力映像中の映り変わりがないフレーム列であるショットに対し，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出し，第一の閾値以上のフレームを超える，もしくは第一の閾値以上の連続したフレーム列にわたって，ショット中で該カメラパラメータのいずれかが，常にそれぞれに対応した第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔ以上であるモーションフレーム列を，スプライトモードが適用できる可能性があるモーションフレーム列であると判定し，それ以外のフレーム列を通常モードと判定する。
【００２６】
（２）前記カメラパラメータによってスプライトモードが適用できる可能性があると判定したモーションフレーム列に対し，第四の閾値を超える，もしくは第四の閾値以上のフレーム数にわたって，常に該ズーム値が第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上である連続ズーム区間が存在し，かつ，該連続ズーム区間のズーム終了フレームによって，該モーションフレーム列を分割したときに，分割後のそれぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上のフレーム数を有する場合，該ズーム終了フレームにおいて該モーションフレーム列を分割する。
【００２７】
（３）前記連続ズーム区間によって，分割したモーションフレーム列それぞれに対し，第五の閾値を下回る，もしくは第五の閾値以下のフレーム数を有するという条件を満たすまで，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数でさらにモーションフレーム列を分割する。
【００２８】
（４）前記フレーム数によって分割したモーションフレーム列に対し，前記カメラパラメータに合わせて，フレームを繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像より，所定の閾値において二値化処理した画像を生成し，前景部分の全体部分に占める割合である前景比率を算出し，前記算出した前景比率が第三の閾値未満もしくは第三の閾値以下であるモーションフレーム列をスプライトモードと判定する。
【００２９】
また，本発明の第２の態様は，前記前景比率を算出するステップにおいて，仮スプライト画像を生成する際に，数フレームを省略することを特徴とする。
【００３０】
また，本発明の第３の態様は，前記カメラパラメータにおいて，スプライトモードに適している可能性があると判定されたモーションフレーム列に対して，もし低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆走スプライト方式を適用するか否かを判定する方法であって，該モーションフレーム列中のフレーム間の前記カメラパラメータのうち，該パン値が常に第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，逆走スプライト方式を適用し，それ以外の場合には採用しないと判定するステップを有する。
【００３１】
本発明の作用は，以下のとおりである。まず静止フレーム列を抜き出し，通常モードと判定し，残りのモーションフレーム列をスプライトモード候補ショットとする。このモーションフレーム列が連続ズーム区間を含む場合には，さらに連続ズーム区間の終了フレーム（以下，ズーム終了フレームという）においてモーションフレーム列を分割したときに，それぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上であったときは分割する。さらに分割したそれぞれのモーションフレーム列が，第五の閾値を超える，もしくは第五の閾値以上のフレーム数を有する場合に，第一の閾値以上の適当なフレーム数によって再分割する。以上のように，カメラパラメータの傾向によってショットを適応的に分割することにより，モード判定精度を格段に高めることができる。また，連続ズーム区間でショットを分割することによって，前景比率判定の際にスプライト符号化に適用できる範囲を広げることができる。
【００３２】
また，前景比率判定の際には，数フレームを省略したフレーム列において仮スプライト画像を生成する。この画像において二値化判定を行う。これによって，スプライト符号化の判定処理を高速化することが可能になる。
【００３３】
また，スプライトモードと判定したモーションフレーム列に対し，もし低遅延スプライトモードを適用している場合には，逆走スプライト方式を適用するか否かを判定する。具体的には，分割したスプライトモードの前記モーションフレーム列のカメラパラメータのパン値がＸ軸に対して負の方向に進行する値のみだった場合には，逆走スプライト方式を適用するモーションフレーム列であると判定する。これによって，逆走スプライト方式を適用するモーションフレーム列を自動的に抽出することが可能になる。
【００３４】
以上の処理をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記憶媒体に格納することができる。
【００３５】
【発明の実施の形態】
以下，図面により本発明の実施の形態を詳細に説明する。図１は本発明の構成例を示すブロック図，図２はショット再分割手段の構成例，図３は本発明の実施の形態に係る処理フローチャートである。
【００３６】
映像符号化装置１００は，入力映像をスプライト符号化部５０によりスプライト符号化するスプライトモードと，通常符号化部４０よりＭＰＥＧ−４通常符号化する通常モードの二通りの符号化方式が混在するマルチモード符号化機能を持つ装置であり，マルチモード符号化のモード判定手段として，フレーム数判定手段１０，カメラパラメータ判定手段２０，前景比率判定手段３０を持つ。
【００３７】
カメラパラメータ判定手段２０は，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出するカメラパラメータ算出手段２１と，カメラパラメータ全傾向によるショット分割手段２２と，スプライトモード候補のショットを再分割するショット再分割手段２３と，逆走スプライト方式を適用するか否かを判定する逆走スプライト判定手段２４からなる。
【００３８】
前景比率判定手段３０は，フレームを省略して仮スプライト画像を生成する仮スプライト生成手段３１と，仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像を二値化処理した画像を生成しする差分・二値化処理手段３２と，前景部分の全体部分に占める割合である前景比率を算出する前景比率算出手段３３と，算出した前景比率を所定の閾値と比較することによってモーションフレーム列をスプライトモードとするか否かを判定する前景比率対閾値判定手段３４からなる。
【００３９】
フレーム数判定手段１０は，入力映像中の映り変わりがないフレーム列であるショットに対し，フレーム数が十分であるかどうかを判定し，フレーム数が十分でない場合には通常モードと判定する。
【００４０】
カメラパラメータ算出手段２１は，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出する。ショット分割手段２２は，第一の閾値以上のフレームを超える，もしくは第一の閾値以上の連続したフレーム列にわたって，ショット中で該カメラパラメータのいずれかが，常にそれぞれに対応した第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値以上であるモーションフレーム列を抜き出して分割し，そのモーションフレーム列をスプライトモードが適用できる可能性があるモーションフレーム列であると判定し，それ以外のフレーム列を通常モードと判定する。
【００４１】
ショット再分割手段２３は，図２に示すように，ズーム値による再分割手段２３１と最大フレーム数によるショット再分割手段２３２とからなる。ズーム値による再分割手段２３１は，カメラパラメータによってスプライトモードが適用できる可能性があると判定したモーションフレーム列に対し，第四の閾値を超える，もしくは第四の閾値以上のフレーム数にわたって，常に該ズーム値が第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上である連続ズーム区間が存在し，かつ，該連続ズーム区間のズーム終了フレームによって，該モーションフレーム列を分割したときに，分割後のそれぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上のフレーム数を有する場合，該ズーム終了フレームにおいて該モーションフレーム列を分割する。
【００４２】
また，最大フレーム数によるショット再分割手段２３２は，連続ズーム区間によって，分割したモーションフレーム列のそれぞれに対し，第五の閾値を下回る，もしくは第五の閾値以下のフレーム数を有するという条件を満たすまで，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数でさらにモーションフレーム列を分割する。
【００４３】
逆走スプライト判定手段２４は，前記カメラパラメータにおいて，スプライトモードに適している可能性があると判定されたモーションフレーム列に対して，もし低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆走スプライト方式を適用するか否かを判定するために，該モーションフレーム列中のフレーム間の前記カメラパラメータのうち，該パン値が常に第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，逆走スプライト方式を適用し，それ以外の場合には採用しないと判定する。
【００４４】
前景比率判定手段３０における仮スプライト生成手段３１は，前記フレーム数によって分割したモーションフレーム列に対し，前記カメラパラメータに合わせて，フレームを繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成する。この仮スプライト画像の生成では，数フレームを省略したモーションフレーム列から仮スプライト画像を生成することにより，高速化を図る。
【００４５】
差分・二値化処理手段３２は，生成された仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像より，所定の閾値において二値化処理した画像を生成する。前景比率算出手段３３は，前景部分の全体部分に占める割合である前景比率を算出し，前景比率対閾値判定手段３４は，算出した前景比率が第三の閾値未満もしくは第三の閾値以下であるモーションフレーム列をスプライトモードと判定し，スプライト符号化部５０によりそのモーションフレーム列を符号化させ，それ以外のモーションフレーム列は，通常符号化部４０に対しＭＰＥＧ−４通常符号化を行わせる。
【００４６】
以下，図３に示すフローチャートに従って，図１に示す映像符号化装置１００の動作を説明する。フレーム数判定手段１０では，図４の従来の判定方法のうちのフレーム数判定手段６１と同様，入力されたショットのフレーム数が第一の閾値を超える，もしくは第一の閾値以上であるか否かを判定する（ステップＳ１）。すなわち，フレーム数が第一の閾値未満，もしくは第一の閾値以下の場合には，スプライト符号化に適さないと判定し，通常モードと判定する。第一の閾値を超える，もしくは第一の閾値以上の場合には，スプライト符号化に適している可能性があるスプライトモード候補ショット１として判定し，次のカメラパラメータ判定手段２０へ処理を引き渡す。
【００４７】
カメラパラメータ判定手段２０では，まずカメラパラメータ算出手段２１において，フレーム数判定手段１０から引き渡されたスプライトモード候補ショット１から，フレーム間のカメラの動きであるカメラパラメータとしてズーム値，ローテート値，パン値，チルト値を算出する（ステップＳ２）。次に，カメラパラメータの全傾向によるショット分割手段２２において，第一の閾値を超える，もしくは第一の閾値以上の連続したフレーム列において，常に前記各パラメータのいずれかがそれぞれに対応する第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔ以上であるフレーム列を抜き出し（ステップＳ３），スプライトモード候補ショット２とし，スプライトモード候補ショット再分割手段２３に処理を引き渡す。残りのフレーム列は通常モードと判定する。
【００４８】
スプライトモード候補ショット再分割手段２３は，入力のスプライトモード候補ショット２を，図２のズーム値による再分割手段２３１において，前記連続ズーム区間のズーム終了フレームによってショットを分割し，分割後のショットは最大フレーム数によるショット再分割手段２３２において，フレーム数が第五の閾値を超える，もしくは第五の閾値以上であった場合には，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数で再分割する。このとき，もし各分割手段において，分割後のショットが，第一の閾値未満，もしくは第一の閾値以下のときは，これを分割しないものとする（ステップＳ４）。
【００４９】
スプライトモード候補ショット再分割手段２３から引き渡された，スプライトモード候補ショット３は，逆走スプライト判定手段２４において，前記カメラパラメータのパン値がショットを通して第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上であり，かつ，該パン値がＸ軸に対して負の方向に進行するものであったら，そのスプライトモード候補ショット３に対し逆走スプライト方式を採用するショットであると判定し，それ以外のスプライトモード候補ショット３に対しては，逆走スプライト方式を採用しないと判定する（ステップＳ５）。
【００５０】
カメラパラメータ判定手段２０から引き渡されたスプライトモード候補ショット３は，仮スプライト生成手段３１において，数フレームを省略したショットによって，前記カメラパラメータに合わせてフレームを貼り合せて仮スプライト画像を生成し（ステップＳ６），差分・二値化処理手段３２において，原画像と仮スプライト画像との差分画像を所定の閾値によって二値化処理する（ステップＳ７）。その結果から，前景比率算出手段３３において，全体における前景部分の比率を算出し（ステップＳ８），前景比率対閾値判定手段３４において，その比率を第三の閾値によって，ショットの前景が大きくないことを判定する（ステップＳ９）。前景比率が第三の閾値を超える，もしくは第三の閾値以上であるショットは，通常モードと判定し，通常符号化部４０へと処理を引き渡す。それ以外の場合にはスプライトモードと判定し，スプライト符号化部５０へ処理を引き渡す。
【００５１】
【発明の効果】
本発明は，カメラパラメータの傾向によってショットを適応的に分割するために，モード判定精度を格段に高めることができる点で効果がある。また，連続ズーム区間の前後のフレームでは前景比率が大きく変化しやすいという特徴があるために，連続ズーム区間でショットを分割することによって，前景比率判定の際にスプライト符号化に適用できる範囲を広げる効果がある点で効果がある。
【００５２】
数フレームを省略して，仮スプライト画像を生成し，前景比率を算出する判定によって，フレームを１枚ずつ重ね合わせる従来方法と比較して，数倍以上の処理時間を軽減できる点で効果がある。また，このときのモード判定の精度にはほとんど変化がない。
【００５３】
また，本発明は，逆走スプライト判定を自動的に行うことによって，低遅延スプライトモードにおける発生符号量を，人手を介さずに定常的に削減できるという点で効果がある。
【図面の簡単な説明】
【図１】本発明の構成例を示すブロック図である。
【図２】ショット再分割手段の構成例を示す図である。
【図３】本発明の実施の形態に係る処理フローチャートである。
【図４】従来のモード判定方法の例を示す図である。
【図５】逆走スプライト方式を適用する場合の例を示す図である。
【符号の説明】
１００ 映像符号化装置
１０ フレーム数判定手段
２０ カメラパラメータ判定手段
２１ カメラパラメータ算出手段
２２ ショット分割手段
２３ ショット再分割手段
２４ 逆走スプライト判定手段
３０ 前景比率判定手段
３１ 仮スプライト生成手段
３２ 差分・二値化処理手段
３３ 前景比率算出手段
３４ 前景比率対閾値判定手段
４０ 通常符号化部
５０ スプライト符号化部
【発明の属する技術分野】
本発明は，入力映像をスプライト符号化するスプライトモードと，通常符号化する通常モードとの符号化方式が混在するマルチモード符号化におけるモードを判定する映像符号化の技術であって，特に編集映像中のショットもしくはショット中に含まれるフレーム間において，スプライト符号化が適しているか否かを高速かつ高精度に判定するための映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体に関する。
【０００２】
【従来の技術】
映像符号化の次世代標準であるＭＰＥＧ−４の Ｖｅｒｓｉｏｎ １ Ｍａｉｎ Ｐｒｏｆｉｌｅ で映像をビデオオブジェクト毎に符号化する「オブジェクト符号化」において，特に，カメラの動きを抽出することによって背景オブジェクトを背景パノラマ画像（以下，スプライト画像という）で表現する「スプライト符号化」は，全画面を１つのビデオオブジェクトとして符号化する通常符号化と比較して，劇的な符号化効率の向上を実現する方法である。
【０００３】
なお，「スプライト符号化」，「オブジェクト符号化」については，下記の文献などに記載されている。
・文献１：“ＭＰＥＧ−４のすべて”，ｐｐ．５３−５６，三木弼一著，工業調査会
・文献２：“Ａ Ｌａｙｅｒｅｄ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ Ｕｓｉｎｇ Ｓｐｒｉｔｅ ａｎｄ Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｍｏｄｅｌ ”，Ｍｉｎｇ−Ｃｈｉｅｈ Ｌｅｅ， Ｗｅｉ−ｇｅ Ｃｈｅｎ ａｎｄ Ｃｈｉｈ−ｌｕｎｇ 他，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１３０−１４５， Ｆｅｂｒｕａｒｙ １９９７
このスプライト符号化は，映像の映り変わりであるカット点を持たない，連続したフレーム列であるショットに対し，そのショット中の基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し，そのグローバルモーションを用いてフレームを幾何変換し，繋ぎ合わせてスプライト画像を生成する。さらに，生成したスプライトから該当フレームの背景画像を切り出し，該背景画像と各フレームの差分をもとに得られる移動物体等の前景画像を抽出し，スプライト画像，前景画像をそれぞれオブジェクト符号化することによって実現する符号化方法である。
【０００４】
しかしながら，スプライト符号化は限られたショットにのみ有効な符号化方式であるために，入力映像のショットに対して，スプライト符号化に適しているか否かを判定する必要がある。
【０００５】
図４に，従来のモード判定方法の例を示す。図中，６０は従来のモード判定部，６１はフレーム数判定手段，６２はカメラパラメータ判定手段，６３は前景比率判定手段，４０は通常符号化部，５０はスプライト符号化部を表す。
【０００６】
図４に示すような従来の判定方法では，１つのショットに対し，フレーム数判定手段６１において，フレーム数と第一の閾値との比較によりフレーム数が十分であるかどうかを判定する（ステップＳ４１）。十分でなければ，通常符号化部４０による通常の符号化を行う（ステップＳ４９）。
【０００７】
フレーム数が十分であれば，次にカメラパラメータ判定手段６２において，カメラパラメータとしてズーム値，ローテート値，パン値，チルト値を算出し（ステップＳ４２），これらと第二の閾値群の対応閾値とを比較することにより，カメラの動きが存在するかどうかを判定する（ステップＳ４３）。カメラの動きが存在しない場合，通常符号化部４０による通常の符号化を行う（ステップＳ４９）。
【０００８】
カメラの動きが存在する場合，前景比率判定手段６３において，フレームを１枚ずつ重ねることにより仮スプライト画像を生成し（ステップＳ４４），仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像について所定の閾値を用いた二値化処理を行い（ステップＳ４５），それを用いて前景比率を算出し（ステップＳ４６），前景比率を第三の閾値と比較することにより，前景比率が十分に小さいかどうかを判定し（ステップＳ４７），その結果，前景比率が十分に小さい場合にのみ，スプライト符号化部５０によりスプライト符号化を行い（ステップＳ４８），それ以外の場合には，通常符号化部４０により通常の符号化を行う（ステップＳ４９）。
【０００９】
従来技術では，以上のフレーム数判定手段６１，カメラパラメータ判定手段６２，前景比率判定手段６３の３つの判定手段によってスプライト符号化に適していると判定したショットをスプライト符号化（以下，スプライトモードという）し，その他はＭＰＥＧ−４通常符号化（以下，通常モードという）することによって，スプライトモードと通常モードの符号化が混在するマルチモード符号化を実現していた。なお，３つの判定手段では，適当な閾値を設定して比較することのみによって行っていた。
【００１０】
一方，ＭＰＥＧ−４ Ｍａｉｎ Ｐｒｏｆｉｌｅ では，スプライト符号化データを効率よく伝送する手法として，スプライト画像データを複数のマクロブロック単位で分割して伝送し，受信側では現フレームの復号に最低限必要なスプライト画像データが受信でき次第，復号する低遅延スプライト（Ｌｏｗ−ｌａｔｅｎｃｙ ｓｐｒｉｔｅ）というモードが用意されている。このモードはスプライト画像データを効率よく伝送し，また余白の部分を伝送する必要がないために符号量を抑えることができる。
【００１１】
しかしながら，カメラパラメータがＸ軸に対し負の方向に進行するスプライト画像を伝送する際には，伝送するマクロブロックにＭＰＥＧ−４のＡＣ／ＤＣ予測が適用できず，低遅延スプライトモードを利用しないときよりも符号量が増大してしまうことがある。この際には，スプライト画像をあらかじめ１８０度回転させて生成し，カメラパラメータがＸ軸に対して正の方向に進行するように変換し，伝送させる方法（以下，逆走スプライト方式という）を適用する必要があるが，いつ逆走スプライト方式を適用するかの判定は，従来方法では自動的に行うことはできなかった。
【００１２】
図５に，逆走スプライト方式を適用する場合の例を示す。図５において，Ｆｓは入力映像中の映り変わりがない一連のフレーム列であるショットの開始フレーム，Ｆｅはその終了フレーム，Ｓはそれらのフレーム列を繋ぎ合わせることで生成されたスプライト画像を表す。
【００１３】
図５（Ａ）は，カメラパラメータがＸ軸に正の方向で進行する場合を示しており，図５（Ｂ）は，カメラパラメータがＸ軸に負の方向で進行する場合を示している。カメラパラメータがＸ軸に負の方向で進行する場合には，図５（Ｂ）に示すように，スプライト画像を１８０度回転させて生成することにより，カメラパラメータを図５（Ａ）と同様な動きとなるように変換し，低遅延スプライトモードにおける発生符号量の増加を抑える。
【００１４】
なお，「低遅延スプライトモード」，「ＡＣ／ＤＣ予測」については，上述した文献１「“ＭＰＥＧ−４のすべて”，ｐｐ．５３−５６，三木弼一著，工業調査会」に記載されている。
【００１５】
【発明が解決しようとする課題】
ショットのモード判定処理には，前記のような過程を踏むために，以下に述べる点で冗長性があった。
【００１６】
カメラパラメータ判定では，入力ショット全体に対して，閾値を超えるカメラパラメータがあるか否かのみの判定を行っていたために，ショット内のスプライト符号化に適していないフレーム列を含む場合にもスプライトモードと判定とすることがあった。もしくは，スプライト符号化に適しているフレーム列を含むショットを通常モードと判定することがあった。
【００１７】
また，カメラパラメータが第四の閾値を超える，もしくは第四の閾値以上の連続したフレーム列において，常に第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上のズーム値を含むズーム区間（以下，連続ズーム区間という）を有するモーションフレーム列では，連続ズーム区間の前後に生じる解像度の違いから，生成したスプライト画像の画質の劣化に問題があった。
【００１８】
また，前景比率判定における仮スプライト生成では，フレームを１枚ずつ重ねて仮スプライト画像を生成していたために，フレーム貼り付け処理に時間がかかっていた。
【００１９】
また，低遅延スプライトモードにおいて，逆走スプライト方式は，カメラパラメータがＸ軸に対し負の方向に進行するスプライト画像を伝送する際に有効な手段であるが，いつ適用すべきかの判定方法がなかったために，実際のシステムには採用されていなかった。
【００２０】
本発明の目的は，ショットが前記スプライト符号化，前記通常符号化のいずれに適しているかのモード判定を，従来の判定方法と比較して格段に高精度，かつ高速に処理することにある。また，低遅延スプライトモードにおいて符号量が増加してしまう場合に，逆走スプライト方式を適用するか否かの判定を自動的に行うことにある。
【００２１】
【課題を解決するための手段】
映像の映り変わりであるカット点を持たない連続したフレームをショットと呼ぶ。本発明は，このショットをカメラパラメータに基づき分割し，分割されたモーションフレーム列ごとに，通常モードかスプライトモードかを判定する。
【００２２】
また，前景比率を算出するための仮スプライト画像の生成では，数フレームを省略したフレーム列を用いて，仮スプライト画像を生成する。例えばフレーム列の総数が３０フレームであったとき，１番目，４番目，７番目，１０番目，…というように，ある間隔で抜き出したフレームのみを用いて仮フレーム画像を生成する。
【００２３】
また，スプライトモードと判定されたモーションフレーム列のカメラパラメータのパン値が，Ｘ軸に対して負の方向に進行する値だけであった場合には，逆走スプライト方式，すなわちスプライト画像をあらかじめ１８０度回転させて生成し，カメラパラメータがＸ軸に対し，正の方向に進行するように変換して伝送させる方式を適用すると判定する。
【００２４】
具体的には，以下のとおりである。本発明の第１の態様は，映像符号化における，入力映像をスプライト符号化するスプライトモードと，ＭＰＥＧ−４通常符号化する通常モードの二通りの符号化方式が混在するマルチモード符号化のモード判定方法において，以下のステップを有する。
【００２５】
（１）入力映像中の映り変わりがないフレーム列であるショットに対し，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出し，第一の閾値以上のフレームを超える，もしくは第一の閾値以上の連続したフレーム列にわたって，ショット中で該カメラパラメータのいずれかが，常にそれぞれに対応した第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔ以上であるモーションフレーム列を，スプライトモードが適用できる可能性があるモーションフレーム列であると判定し，それ以外のフレーム列を通常モードと判定する。
【００２６】
（２）前記カメラパラメータによってスプライトモードが適用できる可能性があると判定したモーションフレーム列に対し，第四の閾値を超える，もしくは第四の閾値以上のフレーム数にわたって，常に該ズーム値が第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上である連続ズーム区間が存在し，かつ，該連続ズーム区間のズーム終了フレームによって，該モーションフレーム列を分割したときに，分割後のそれぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上のフレーム数を有する場合，該ズーム終了フレームにおいて該モーションフレーム列を分割する。
【００２７】
（３）前記連続ズーム区間によって，分割したモーションフレーム列それぞれに対し，第五の閾値を下回る，もしくは第五の閾値以下のフレーム数を有するという条件を満たすまで，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数でさらにモーションフレーム列を分割する。
【００２８】
（４）前記フレーム数によって分割したモーションフレーム列に対し，前記カメラパラメータに合わせて，フレームを繋ぎ合わせることで生成される背景パノラマ画像である仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像より，所定の閾値において二値化処理した画像を生成し，前景部分の全体部分に占める割合である前景比率を算出し，前記算出した前景比率が第三の閾値未満もしくは第三の閾値以下であるモーションフレーム列をスプライトモードと判定する。
【００２９】
また，本発明の第２の態様は，前記前景比率を算出するステップにおいて，仮スプライト画像を生成する際に，数フレームを省略することを特徴とする。
【００３０】
また，本発明の第３の態様は，前記カメラパラメータにおいて，スプライトモードに適している可能性があると判定されたモーションフレーム列に対して，もし低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆走スプライト方式を適用するか否かを判定する方法であって，該モーションフレーム列中のフレーム間の前記カメラパラメータのうち，該パン値が常に第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，逆走スプライト方式を適用し，それ以外の場合には採用しないと判定するステップを有する。
【００３１】
本発明の作用は，以下のとおりである。まず静止フレーム列を抜き出し，通常モードと判定し，残りのモーションフレーム列をスプライトモード候補ショットとする。このモーションフレーム列が連続ズーム区間を含む場合には，さらに連続ズーム区間の終了フレーム（以下，ズーム終了フレームという）においてモーションフレーム列を分割したときに，それぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上であったときは分割する。さらに分割したそれぞれのモーションフレーム列が，第五の閾値を超える，もしくは第五の閾値以上のフレーム数を有する場合に，第一の閾値以上の適当なフレーム数によって再分割する。以上のように，カメラパラメータの傾向によってショットを適応的に分割することにより，モード判定精度を格段に高めることができる。また，連続ズーム区間でショットを分割することによって，前景比率判定の際にスプライト符号化に適用できる範囲を広げることができる。
【００３２】
また，前景比率判定の際には，数フレームを省略したフレーム列において仮スプライト画像を生成する。この画像において二値化判定を行う。これによって，スプライト符号化の判定処理を高速化することが可能になる。
【００３３】
また，スプライトモードと判定したモーションフレーム列に対し，もし低遅延スプライトモードを適用している場合には，逆走スプライト方式を適用するか否かを判定する。具体的には，分割したスプライトモードの前記モーションフレーム列のカメラパラメータのパン値がＸ軸に対して負の方向に進行する値のみだった場合には，逆走スプライト方式を適用するモーションフレーム列であると判定する。これによって，逆走スプライト方式を適用するモーションフレーム列を自動的に抽出することが可能になる。
【００３４】
以上の処理をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記憶媒体に格納することができる。
【００３５】
【発明の実施の形態】
以下，図面により本発明の実施の形態を詳細に説明する。図１は本発明の構成例を示すブロック図，図２はショット再分割手段の構成例，図３は本発明の実施の形態に係る処理フローチャートである。
【００３６】
映像符号化装置１００は，入力映像をスプライト符号化部５０によりスプライト符号化するスプライトモードと，通常符号化部４０よりＭＰＥＧ−４通常符号化する通常モードの二通りの符号化方式が混在するマルチモード符号化機能を持つ装置であり，マルチモード符号化のモード判定手段として，フレーム数判定手段１０，カメラパラメータ判定手段２０，前景比率判定手段３０を持つ。
【００３７】
カメラパラメータ判定手段２０は，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出するカメラパラメータ算出手段２１と，カメラパラメータ全傾向によるショット分割手段２２と，スプライトモード候補のショットを再分割するショット再分割手段２３と，逆走スプライト方式を適用するか否かを判定する逆走スプライト判定手段２４からなる。
【００３８】
前景比率判定手段３０は，フレームを省略して仮スプライト画像を生成する仮スプライト生成手段３１と，仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像を二値化処理した画像を生成しする差分・二値化処理手段３２と，前景部分の全体部分に占める割合である前景比率を算出する前景比率算出手段３３と，算出した前景比率を所定の閾値と比較することによってモーションフレーム列をスプライトモードとするか否かを判定する前景比率対閾値判定手段３４からなる。
【００３９】
フレーム数判定手段１０は，入力映像中の映り変わりがないフレーム列であるショットに対し，フレーム数が十分であるかどうかを判定し，フレーム数が十分でない場合には通常モードと判定する。
【００４０】
カメラパラメータ算出手段２１は，各フレーム間のカメラの動きであるカメラパラメータとして，ズーム値，ローテート値，パン値，チルト値を算出する。ショット分割手段２２は，第一の閾値以上のフレームを超える，もしくは第一の閾値以上の連続したフレーム列にわたって，ショット中で該カメラパラメータのいずれかが，常にそれぞれに対応した第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値以上であるモーションフレーム列を抜き出して分割し，そのモーションフレーム列をスプライトモードが適用できる可能性があるモーションフレーム列であると判定し，それ以外のフレーム列を通常モードと判定する。
【００４１】
ショット再分割手段２３は，図２に示すように，ズーム値による再分割手段２３１と最大フレーム数によるショット再分割手段２３２とからなる。ズーム値による再分割手段２３１は，カメラパラメータによってスプライトモードが適用できる可能性があると判定したモーションフレーム列に対し，第四の閾値を超える，もしくは第四の閾値以上のフレーム数にわたって，常に該ズーム値が第二の閾値群の閾値Ｔｚｏｏｍを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ以上である連続ズーム区間が存在し，かつ，該連続ズーム区間のズーム終了フレームによって，該モーションフレーム列を分割したときに，分割後のそれぞれのモーションフレーム列が第一の閾値を超える，もしくは第一の閾値以上のフレーム数を有する場合，該ズーム終了フレームにおいて該モーションフレーム列を分割する。
【００４２】
また，最大フレーム数によるショット再分割手段２３２は，連続ズーム区間によって，分割したモーションフレーム列のそれぞれに対し，第五の閾値を下回る，もしくは第五の閾値以下のフレーム数を有するという条件を満たすまで，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数でさらにモーションフレーム列を分割する。
【００４３】
逆走スプライト判定手段２４は，前記カメラパラメータにおいて，スプライトモードに適している可能性があると判定されたモーションフレーム列に対して，もし低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆走スプライト方式を適用するか否かを判定するために，該モーションフレーム列中のフレーム間の前記カメラパラメータのうち，該パン値が常に第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，逆走スプライト方式を適用し，それ以外の場合には採用しないと判定する。
【００４４】
前景比率判定手段３０における仮スプライト生成手段３１は，前記フレーム数によって分割したモーションフレーム列に対し，前記カメラパラメータに合わせて，フレームを繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成する。この仮スプライト画像の生成では，数フレームを省略したモーションフレーム列から仮スプライト画像を生成することにより，高速化を図る。
【００４５】
差分・二値化処理手段３２は，生成された仮スプライト画像から抜き出した各フレームにおける予測背景画像と原画像との差分画像より，所定の閾値において二値化処理した画像を生成する。前景比率算出手段３３は，前景部分の全体部分に占める割合である前景比率を算出し，前景比率対閾値判定手段３４は，算出した前景比率が第三の閾値未満もしくは第三の閾値以下であるモーションフレーム列をスプライトモードと判定し，スプライト符号化部５０によりそのモーションフレーム列を符号化させ，それ以外のモーションフレーム列は，通常符号化部４０に対しＭＰＥＧ−４通常符号化を行わせる。
【００４６】
以下，図３に示すフローチャートに従って，図１に示す映像符号化装置１００の動作を説明する。フレーム数判定手段１０では，図４の従来の判定方法のうちのフレーム数判定手段６１と同様，入力されたショットのフレーム数が第一の閾値を超える，もしくは第一の閾値以上であるか否かを判定する（ステップＳ１）。すなわち，フレーム数が第一の閾値未満，もしくは第一の閾値以下の場合には，スプライト符号化に適さないと判定し，通常モードと判定する。第一の閾値を超える，もしくは第一の閾値以上の場合には，スプライト符号化に適している可能性があるスプライトモード候補ショット１として判定し，次のカメラパラメータ判定手段２０へ処理を引き渡す。
【００４７】
カメラパラメータ判定手段２０では，まずカメラパラメータ算出手段２１において，フレーム数判定手段１０から引き渡されたスプライトモード候補ショット１から，フレーム間のカメラの動きであるカメラパラメータとしてズーム値，ローテート値，パン値，チルト値を算出する（ステップＳ２）。次に，カメラパラメータの全傾向によるショット分割手段２２において，第一の閾値を超える，もしくは第一の閾値以上の連続したフレーム列において，常に前記各パラメータのいずれかがそれぞれに対応する第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔを超える，もしくは第二の閾値群の閾値Ｔｚｏｏｍ，Ｔｒｏｔａｔｅ，Ｔｐａｎ ，Ｔｔｉｌｔ以上であるフレーム列を抜き出し（ステップＳ３），スプライトモード候補ショット２とし，スプライトモード候補ショット再分割手段２３に処理を引き渡す。残りのフレーム列は通常モードと判定する。
【００４８】
スプライトモード候補ショット再分割手段２３は，入力のスプライトモード候補ショット２を，図２のズーム値による再分割手段２３１において，前記連続ズーム区間のズーム終了フレームによってショットを分割し，分割後のショットは最大フレーム数によるショット再分割手段２３２において，フレーム数が第五の閾値を超える，もしくは第五の閾値以上であった場合には，第一の閾値を超える，もしくは第一の閾値以上の適当なフレーム数で再分割する。このとき，もし各分割手段において，分割後のショットが，第一の閾値未満，もしくは第一の閾値以下のときは，これを分割しないものとする（ステップＳ４）。
【００４９】
スプライトモード候補ショット再分割手段２３から引き渡された，スプライトモード候補ショット３は，逆走スプライト判定手段２４において，前記カメラパラメータのパン値がショットを通して第二の閾値群の閾値Ｔｐａｎ を超える，もしくは第二の閾値群の閾値Ｔｐａｎ 以上であり，かつ，該パン値がＸ軸に対して負の方向に進行するものであったら，そのスプライトモード候補ショット３に対し逆走スプライト方式を採用するショットであると判定し，それ以外のスプライトモード候補ショット３に対しては，逆走スプライト方式を採用しないと判定する（ステップＳ５）。
【００５０】
カメラパラメータ判定手段２０から引き渡されたスプライトモード候補ショット３は，仮スプライト生成手段３１において，数フレームを省略したショットによって，前記カメラパラメータに合わせてフレームを貼り合せて仮スプライト画像を生成し（ステップＳ６），差分・二値化処理手段３２において，原画像と仮スプライト画像との差分画像を所定の閾値によって二値化処理する（ステップＳ７）。その結果から，前景比率算出手段３３において，全体における前景部分の比率を算出し（ステップＳ８），前景比率対閾値判定手段３４において，その比率を第三の閾値によって，ショットの前景が大きくないことを判定する（ステップＳ９）。前景比率が第三の閾値を超える，もしくは第三の閾値以上であるショットは，通常モードと判定し，通常符号化部４０へと処理を引き渡す。それ以外の場合にはスプライトモードと判定し，スプライト符号化部５０へ処理を引き渡す。
【００５１】
【発明の効果】
本発明は，カメラパラメータの傾向によってショットを適応的に分割するために，モード判定精度を格段に高めることができる点で効果がある。また，連続ズーム区間の前後のフレームでは前景比率が大きく変化しやすいという特徴があるために，連続ズーム区間でショットを分割することによって，前景比率判定の際にスプライト符号化に適用できる範囲を広げる効果がある点で効果がある。
【００５２】
数フレームを省略して，仮スプライト画像を生成し，前景比率を算出する判定によって，フレームを１枚ずつ重ね合わせる従来方法と比較して，数倍以上の処理時間を軽減できる点で効果がある。また，このときのモード判定の精度にはほとんど変化がない。
【００５３】
また，本発明は，逆走スプライト判定を自動的に行うことによって，低遅延スプライトモードにおける発生符号量を，人手を介さずに定常的に削減できるという点で効果がある。
【図面の簡単な説明】
【図１】本発明の構成例を示すブロック図である。
【図２】ショット再分割手段の構成例を示す図である。
【図３】本発明の実施の形態に係る処理フローチャートである。
【図４】従来のモード判定方法の例を示す図である。
【図５】逆走スプライト方式を適用する場合の例を示す図である。
【符号の説明】
１００ 映像符号化装置
１０ フレーム数判定手段
２０ カメラパラメータ判定手段
２１ カメラパラメータ算出手段
２２ ショット分割手段
２３ ショット再分割手段
２４ 逆走スプライト判定手段
３０ 前景比率判定手段
３１ 仮スプライト生成手段
３２ 差分・二値化処理手段
３３ 前景比率算出手段
３４ 前景比率対閾値判定手段
４０ 通常符号化部
５０ スプライト符号化部
Claims (7)
- 入力映像をスプライト符号化するスプライトモードと，通常符号化する通常モードとの符号化方式が混在するマルチモード符号化におけるモードを判定する方法であって，
入力映像中の映り変わりがないフレーム列であるショットについて，フレーム数が第一の閾値を超える，または第一の閾値以上のショットを，スプライト符号化に適している可能性がある第一のスプライトモード候補ショットと判定するステップと，
前記第一のスプライトモード候補ショットから，各フレーム間のカメラの動きであるカメラパラメータを算出し，前記第一の閾値を超える，または第一の閾値以上の連続したフレーム列にわたって，該カメラパラメータのいずれかが各カメラパラメータのそれぞれに対応する第二の閾値群の閾値を超える，または第二の閾値群の閾値以上であるフレーム列を抜き出して第二のスプライトモード候補ショットと判定するステップと，
前記第二のスプライトモード候補ショットについて，第四の閾値を超える，または第四の閾値以上のフレーム数にわたって，カメラパラメータのズーム値が前記第二の閾値群の閾値を超える，または第二の閾値群の閾値以上である連続ズーム区間が存在するとき，その連続ズーム区間のズーム終了フレームによって前記第二のスプライトモード候補ショットを分割するステップと，
前記分割した第二のスプライトモード候補ショットのそれぞれが，第五の閾値を下回る，または第五の閾値以下のフレーム数になるまで，前記第一の閾値を超える，または第一の閾値以上のフレーム数で前記分割した第二のスプライトモード候補ショットをさらに分割して第三のスプライトモード候補ショットとするステップと，
前記第三のスプライトモード候補ショットについて，前記カメラパラメータに合わせてフレームを繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成し，原画像と仮スプライト画像との差分画像を二値化処理した画像を生成し，それをもとに前景部分の全体部分に占める割合である前景比率を算出し，前記算出した前景比率が第三の閾値未満または以下であるショットをスプライトモードと判定し，それ以外のフレーム列を通常モードと判定するステップとを有する
ことを特徴とする映像のスプライト符号化判定方法。 - 請求項１に記載の映像のスプライト符号化判定方法において，
前記仮スプライト画像を生成する際に，対象フレーム列の数フレームを省略したフレームを用いて仮スプライト画像を生成する
ことを特徴とする映像のスプライト符号化判定方法。 - 請求項１または請求項２に記載の映像のスプライト符号化判定方法において，さらに，前記第三のスプライトモード候補ショットに対して，低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆送スプライト方式を適用するか否かを判定するステップを有し，
前記逆送スプライト方式を適用するか否かを判定するステップは，前記第三のスプライトモード候補ショット中のフレーム間のカメラパラメータのうち，パン値が前記第二の閾値群の閾値を超える，または第二の閾値群の閾値以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，その第三のスプライトモード候補ショットに対し逆走スプライト方式を適用するショットであると判定する
ことを特徴とする映像のスプライト符号化判定方法。 - スプライトモードのときに入力映像をスプライト符号化するスプライト符号化部と，通常モードのときに入力映像を通常符号化する通常符号化部とを備え，マルチモード符号化を行う映像符号化装置において，
入力映像中の映り変わりがないフレーム列であるショットについて，フレーム数が第一の閾値を超える，または第一の閾値以上のショットを，スプライト符号化に適している可能性がある第一のスプライトモード候補ショットと判定する手段と，
前記第一のスプライトモード候補ショットから，各フレーム間のカメラの動きであるカメラパラメータを算出し，前記第一の閾値を超える，または第一の閾値以上の連続したフレーム列にわたって，該カメラパラメータのいずれかが各カメラパラメータのそれぞれに対応する第二の閾値群の閾値を超える，または第二の閾値群の閾値以上であるフレーム列を抜き出して第二のスプライトモード候補ショットと判定する手段と，
前記第二のスプライトモード候補ショットについて，第四の閾値を超える，または第四の閾値以上のフレーム数にわたって，カメラパラメータのズーム値が前記第二の閾値群の閾値を超える，または第二の閾値群の閾値以上である連続ズーム区間が存在するとき，その連続ズーム区間のズーム終了フレームによって前記第二のスプライトモード候補ショットを分割する手段と，
前記分割した第二のスプライトモード候補ショットのそれぞれが，第五の閾値を下回る，または第五の閾値以下のフレーム数になるまで，第一の閾値を超える，または第一の閾値以上のフレーム数で前記分割した第二のスプライトモード候補ショットをさらに分割して第三のスプライトモード候補ショットとする手段と，
前記第三のスプライトモード候補ショットについて，前記カメラパラメータに合わせてフレームを繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成し，原画像と仮スプライト画像との差分画像を二値化処理した画像を生成し，それをもとに前景部分の全体部分に占める割合である前景比率を算出し，前記算出した前景比率が第三の閾値未満または以下であるショットをスプライトモードと判定し，それ以外のフレーム列を通常モードと判定する手段とを備える
ことを特徴とする映像符号化装置。 - 請求項４に記載の映像符号化装置において，更に，前記第三のスプライトモード候補ショットに対して，低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆送スプライト方式を適用するか否かを判定する手段を有し，
前記逆送スプライト方式を適用するか否かを判定する手段は，前記第三のスプライトモード候補ショット中のフレーム間のカメラパラメータのうち，パン値が第二の閾値群の閾値を超える，または第二の閾値群の閾値以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，その第三のスプライトモード候補ショットに対し逆走スプライト方式を適用するショットであると判定する
ことを特徴とする映像符号化装置。 - 入力映像をスプライト符号化するスプライトモードと，通常符号化する通常モードとの符号化方式が混在するマルチモード符号化のモードを判定するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体であって，
入力映像中の映り変わりがないフレーム列であるショットについて，フレーム数が第一の閾値を超える，または第一の閾値以上のショットを，スプライト符号化に適している可能性がある第一のスプライトモード候補ショットと判定する処理と，
前記第一のスプライトモード候補ショットから，各フレーム間のカメラの動きであるカメラパラメータを算出し，前記第一の閾値を超える，または第一の閾値以上の連続したフレーム列にわたって，該カメラパラメータのいずれかが各カメラパラメータのそれぞれに対応する第二の閾値群の閾値を超える，または第二の閾値群の閾値以上であるフレーム列を抜き出して第二のスプライトモード候補ショットと判定する処理と，
前記第二のスプライトモード候補ショットについて，第四の閾値を超える，または第四の閾値以上のフレーム数にわたって，カメラパラメータのズーム値が前記第二の閾値群の閾値を超える，または第二の閾値群の閾値以上である連続ズーム区間が存在するとき，その連続ズーム区間のズーム終了フレームによって前記第二のスプライトモード候補ショットを分割する処理と，
前記分割した第二のスプライトモード候補ショットのそれぞれが，第五の閾値を下回る，または第五の閾値以下のフレーム数になるまで，前記第一の閾値を超える，または第一の閾値以上のフレーム数で前記分割した第二のスプライトモード候補ショットをさらに分割して第三のスプライトモード候補ショットとする処理と，
前記第三のスプライトモード候補ショットについて，前記カメラパラメータに合わせてフレームを繋ぎ合わせることで背景パノラマ画像である仮スプライト画像を生成し，原画像と仮スプライト画像との差分画像を二値化処理した画像を生成し，それをもとに前景部分の全体部分に占める割合である前景比率を算出し，前記算出した前景比率が第三の閾値未満または以下であるショットをスプライトモードと判定し，それ以外のフレーム列を通常モードと判定する処理とを，
コンピュータに実行させるためのプログラムを格納した
ことを特徴とする映像符号化プログラムの記憶媒体。 - 請求項６に記載の映像符号化プログラムの記憶媒体において，さらに，
前記第三のスプライトモード候補ショットに対して，低遅延スプライトモードを採用している場合に，元のスプライト画像を１８０度回転してスプライト画像を生成する逆送スプライト方式を適用するか否かを判定する処理であって，前記第三のスプライトモード候補ショット中のフレーム間のカメラパラメータのうち，パン値が第二の閾値群の閾値を超える，または第二の閾値群の閾値以上で，かつ，該パン値がＸ軸に対して負の方向であった場合には，その第三のスプライトモード候補ショットに対し逆走スプライト方式を適用するショットであると判定する処理を，
コンピュータに実行させるためのプログラムを格納した
ことを特徴とする映像符号化プログラムの記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342094A JP3626406B2 (ja) | 2000-11-09 | 2000-11-09 | 映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342094A JP3626406B2 (ja) | 2000-11-09 | 2000-11-09 | 映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152748A JP2002152748A (ja) | 2002-05-24 |
| JP3626406B2 true JP3626406B2 (ja) | 2005-03-09 |
Family
ID=18816715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000342094A Expired - Fee Related JP3626406B2 (ja) | 2000-11-09 | 2000-11-09 | 映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626406B2 (ja) |
-
2000
- 2000-11-09 JP JP2000342094A patent/JP3626406B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002152748A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134001B2 (ja) | 下層のフィルタリングを備えたスケーラブルビデオ符号化 | |
| CN101978698B (zh) | 用于对图像进行编码和解码的方法及设备 | |
| EP2063644A2 (en) | Image encoding device and encoding method, and image decoding device and decoding method | |
| US20150264396A1 (en) | Method of Video Coding Using Symmetric Intra Block Copy | |
| US6757330B1 (en) | Efficient implementation of half-pixel motion prediction | |
| JP5068265B2 (ja) | 動きベクトルの選択 | |
| JP2022130647A (ja) | 双方向オプティカル・フローに対するビット幅制御方法およびデバイス | |
| US20080172384A1 (en) | Epipolar geometry-based motion estimation for multi-view image and video coding | |
| JP2009147807A (ja) | 画像処理装置 | |
| US6317460B1 (en) | Motion vector generation by temporal interpolation | |
| WO2014166423A1 (en) | Method and apparatus for direct simplified depth coding | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| US5787207A (en) | Method and apparatus for minimizing blockiness in reconstructed images | |
| US20050089232A1 (en) | Method of video compression that accommodates scene changes | |
| US20170201767A1 (en) | Video encoding device and video encoding method | |
| JP3626406B2 (ja) | 映像のスプライト符号化判定方法，映像符号化装置および映像符号化プログラムの記憶媒体 | |
| JP5913929B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP4510701B2 (ja) | 動画像符号化装置 | |
| US11202082B2 (en) | Image processing apparatus and method | |
| JPH07240924A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3150627B2 (ja) | 復号信号の再符号化方法 | |
| JP2022513492A (ja) | 構築されたアフィンマージ候補を導出する方法 | |
| JP3607848B2 (ja) | 映像のスプライト符号化判定方法及び装置及びスプライト符号化判定プログラムを格納した記憶媒体 | |
| JPH04277982A (ja) | 映像信号の高能率符号化装置 | |
| JP7310919B2 (ja) | フィルタ生成方法、フィルタ生成装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041202 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |