JP5654414B2 - 映像符号化装置、映像符号化方法、プログラム - Google Patents

Description

本発明は、映像を符号化する映像符号化装置、映像符号化方法、プログラムに関する。

近年、スーパーハイビジョンシステムや、４ｋデジタルシネマなどハイビジョンを遥かに越える超高精細映像システムの研究開発が盛んである。視聴の形態として、高精細なディスプレイでそのまま表示する形態と、その一部を切り出して表示する形態がある。
一部を切り出して表示する形態については、現在普及しているハイビジョンテレビとネットワークを利用して、超高精細パノラマ映像を分割した一部を高画質に視聴可能とするためのシステム開発が進められている。
このシステムを利用することにより、例えば、一般家庭にあるハイビジョンテレビで、サッカースタジアムやコンサートホール等の広い会場内を撮影した画像から、ユーザが希望する人物や会場の一部を拡大して表示することができる。これにより、サッカースタジアムやコンサートホールのＳ席の臨場感を家庭に届けることも可能となる。

このシステムに利用可能な一般的な配信方法として、超高精細映像をフレームごとに小さな分割画像に分割し、すべての分割画像を伝送する方法と、例えば、ユーザが指定した表示対象領域を含む分割部分のみを伝送する方法とがある。
この表示対象領域を含む分割画像を伝送する方法として、例えば、非特許文献１に記載されている技術が提案されている。
しかしながら、このような方法では、表示対象領域に含まれる被写体によらず、一様なビットレートで符号化されるため、動物体を含む分割画像と背景などの静止領域のみの分割画像では符号化後の画像品質が大きく異なるという問題があった。この問題に対処するため、各分割画像の内容に応じて異なるビットレートにより各分割画像を符号化・多重化することにより作成するデータフォーマットとユーザの表示対象領域の主観画像品質を最大化する部分配信方式が提案されている（非特許文献２参照）。

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics （ISCE) 2009, 2009. 井上雅之、木全英明、深澤勝彦、松浦宣彦、"インタラクティブ・パノラマ映像配信システムにおける配信方式の検討"、研究報告−オーディオビジュアル複合情報処理（AVM）、Vol.2010-AVM-69 No.9,2010.

しかし、非特許文献２により提案されている技術では、配信側にて複数の解像度と複数の符号化量の組み合わせによる複数の分割画像の符号化を行う必要がある。つまり、解像度のパターン数をｎ、解像度ｎのフレーム画像における分割画像の数をα_ｎ、符号化量（符号化レート）のパターン数をβ_ｎとすれば（α_n×β_ｎ）個の分割画像を符号化する必要が生じる。これは、圧縮符号化すべき分割画像の数が大幅に増加することを意味する。よって、圧縮符号化には相当の時間を要するために、分割画像の数の増加は、圧縮符号化の著しい長時間化を招くことになる。

本発明は、このような事情を考慮してなされたものであり、その目的は、元画像を分割した分割画像に基づき、符号化データを作成する際の処理時間を短縮できる映像符号化装置、映像符号化方法、プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明の一態様による映像符号化装置は、予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換部と、予め決められた分割数に応じて前記解像度変換部から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割部と、予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化部と、前記符号化データを前記入力画像ごとに多重化する多重化部と、前記入力画像に対する解像度変換処理を前記解像度変換部に実行させ、前記解像度変換データに対する分割処理を前記領域分割部に実行させ、前記分割データに対する符号化処理を前記符号化部に実行させ、前記符号化データに対する多重化処理を前記多重化部に実行させる制御部とを備え、前記解像度変換部は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換部に時間サイクル的に入力され、ｎ個の各解像度変換部は入力されたフレームをいずれも同じ解像度に変換し、前記領域分割部も同じくｎ個あり、ｎ個の各領域分割部は１対１に対応する解像度変換部から入力された解像度変換データをいずれも同じ分割数ｍに分割し、前記符号化部は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化部はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理部を含み、各符号化部のバッファには前記ｎ個の領域分割部からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理部がバッファからの分割データを決められた符号化レートで並列して符号化する。

本発明の一態様は、上述の映像符号化装置であって、前記符号化部のバッファは、当該複数のサブ符号化処理部が共通して利用するバッファである。

本発明の一態様による映像符号化方法は、解像度変換部が、予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換ステップと、領域分割部が、予め決められた分割数に応じて前記解像度変換部から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割ステップと、前記入力画像において指定される表示対象領域を示す領域情報を入力し、当該表示対象領域を含む前記分割データに対する符号化処理を符号化部に実行させるように制御する制御ステップと、前記符号化部が、予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化ステップと、前記符号化データを前記入力画像ごとに多重化する多重化ステップと、前記解像度変換部は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換部に時間サイクル的に入力され、ｎ個の各解像度変換部は入力されたフレームをいずれも同じ解像度に変換するステップと、前記領域分割部も同じくｎ個あり、ｎ個の各領域分割部は１対１に対応する解像度変換部から入力された解像度変換データをいずれも同じ分割数ｍに分割するステップと、前記符号化部は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化部はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理部を含み、各符号化部のバッファには前記ｎ個の領域分割部からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理部がバッファからの分割データを決められた符号化レートで並列して符号化するステップと、を備える。

この発明は上述した課題を解決するためになされたもので、本発明の一態様によるプログラムは、コンピュータを、予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換手段、予め決められた分割数に応じて前記解像度変換手段から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割手段、予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化手段、前記符号化データを前記入力画像ごとに多重化する多重化手段、予め決められた符号化パラメータに従い、前記入力画像に対する解像度変換処理を前記解像度変換手段に実行させ、前記解像度変換データに対する分割処理を前記領域分割手段に実行させ、前記分割データに対する符号化処理を前記符号化手段に実行させ、前記符号化データに対する多重化処理を前記多重化手段に実行させる制御手段、前記解像度変換手段は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換手段に時間サイクル的に入力され、ｎ個の各解像度変換手段に入力されたフレームをいずれも同じ解像度に変換させる手段、前記領域分割手段も同じくｎ個あり、ｎ個の各領域分割手段に１対１に対応する解像度変換手段から入力された解像度変換データをいずれも同じ分割数ｍに分割させる手段、前記符号化手段は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化手段はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理手段を含み、各符号化手段のバッファには前記ｎ個の領域分割手段からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理手段にバッファからの分割データを決められた符号化レートで並列して符号化させる手段、として機能させるためのプログラムである。

本発明によれば、元画像を分割した分割画像に基づき、表示対象領域の符号化データを作成する際の処理時間を短縮できる。

本発明の第１の実施の形態における映像符号化装置１００の構成例を示す図である。 本発明の各実施の形態において想定するファイル３００の構造例を示す図である。 本発明の第１の実施の形態における映像符号化装置１００が実行する圧縮符号化処理を示すタイミングチャートである。 本発明の第１の実施の形態における映像符号化装置１００が実行する圧縮符号化の処理手順例を示すフローチャートである。 本発明の第２の実施の形態における映像符号化装置１００の構成例を示す図である。 本発明の第２の実施の形態における映像符号化装置１００が実行する圧縮符号化処理を示すタイミングチャートである。 本発明の第２の実施の形態における映像符号化装置１００が実行する圧縮符号化の処理手順例を示すフローチャートである。 本発明の第３の実施の形態における映像符号化装置１００の構成例を示す図である。 本発明の第３の実施の形態における映像符号化装置１００が実行する圧縮符号化処理を示すタイミングチャートである。 本発明の第３の実施の形態における映像符号化装置１００が実行する圧縮符号化の処理手順例を示すフローチャートである。 本発明の第３の実施の形態における符号化部１３０についての他の構成例を示す図である。 本発明の実施の形態における解像度変換部１１０、領域分割部１２０および符号化部１３０の各並列数を設定するための処理手順例（第１例、第２例）を示すフローチャートである。 本発明の実施の形態における解像度変換部１１０、領域分割部１２０および符号化部１３２の各並列数を設定するための処理手順例（第３例）を示すフローチャートである。 図１３におけるリソース数増加（ステップＳ６０５）のための処理手順例を示すフローチャートである。 解像度変換部１１０と領域分割部１２０の対応関係についての変形例を示す図である。 超高解像度映像の圧縮符号化を模式的に示す図である。 圧縮符号化された超高解像度映像の再生処理を模式的に示す図である。 圧縮符号化された超高解像度映像の配信態様例を模式的に示す図である。 圧縮符号化された超高解像度映像の配信態様例を模式的に示す図である。

［映像分割配信について］
はじめに、図１６〜１９を参照して、本発明の前提となる映像分割配信システムについて説明する。映像分割配信システムとは、元画像を複数の分割画像に分割して、指定される表示対象領域を含む分割画像を再生装置側に送信するシステムである。
図１６は、この映像分配配信システムにおける超高解像度映像の圧縮符号化の一例を模式的に示している。
図１６（ａ）に示されるフレーム画像２００は、パノラマによる超高解像度映像としての１フレームを示している。このフレーム画像２００の圧縮符号化にあたっては、図１６（ｂ）に示すように、フレーム画像２００の全領域を所定の水平／垂直画素数による分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝により分割する。一例として、ここでは、３２個（４行×８列）の分割領域２１０−１，２１０−２，・・・２１０−３２により分割することとしている。

そして、上記分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝のそれぞれを圧縮符号化し、分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝の各符号化データを生成する。そして、図１６（ｃ）に示すように、これらの分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝の符号化データを、１つのファイル３００として管理する。このファイル３００は、１フレームに対応した符号化映像となる。このフレーム単位のファイル３００が順次に配列されることで、１ファイルの映像のストリームデータが形成される。

図１７は、上記図１６（ｃ）に示すファイル３００の再生処理を模式的に示している。図１７（ａ）には、図１６（ｃ）と同様のファイル３００が示されている。ここでは、ファイル３００から、図１７（ｂ）のフレーム画像２００における表示対象領域４００を再生表示させる場合を想定する。この場合において、図１７（ｂ）に示される表示対象領域４００は、６つの分割領域２１０−１１、２１０−１２、２１０−１９、２１０−２０、２１０−２７および２１０−２８における各一部の領域を含んでいる。そこで、再生処理としては、ファイル３００からこれら分割領域２１０−１１、２１０−１２、２１０−１９、２１０−２０、２１０−２７および２１０−２８を読み出して、伸張処理を実行する。そして、これらの復号された分割領域２１０−１１、２１０−１２、２１０−１９、２１０−２０、２１０−２７および２１０−２８の画像を同期させ、表示対象領域４００の画像部分を表示出力させる。この再生処理をフレームごとに順次実行することで動画の再生が行われる。

ここで、上記ファイル３００から成る映像ストリームデータをネットワーク経由でサーバから再生装置に転送し、この再生装置により上記図１７により説明したように再生させるという映像配信システムを想定してみる。この場合、配信される映像ストリームデータは、例えばフレームごとに応じたファイル３００が配列された構造を有するために、単位再生時間あたりのデータ量は相当なものとなるため、伝送に際しては相当に高いデータレートが要求される。ネットワークの帯域に制限がある現状において、このようにデータレートが非常に高い映像ストリームデータを伝送することは困難である。

そこで、非特許文献２に記載されるように、再生装置側で必要な分割領域の符号化データのみを映像ストリームデータから部分的に取り出して転送するようにした技術が提案されている。図１８および図１９は、この技術による映像配信の一例を模式的に示している。

図１８（ａ）は、１つのフレーム画像２００に対応するファイル３００の構造を示す。まず、フレーム画像２００は、複数の解像度による解像度変換が施される。これにより、フレーム画像２００を元として、それぞれが異なる所定の解像度による複数のフレーム画像が生成される。つまり、図１８（ａ）における横軸として示すように、ファイル３００は、同じ画像内容のフレーム画像２００として、解像度が異なる複数が配列される構造を有する。

次に、上記のように解像度変換されたフレーム画像２００は、それぞれ、先に図１６（ａ）および図１６（ｂ）により説明したのと同様に、複数の分割領域２１０に分割される。この図１８（ａ）の例では、図１６および図１７と同様に、１つのフレーム画像２００を３２個の分割領域２１０−１〜２１０−３２に分割している。

そして、これらの分割領域２１０は、それぞれが異なる複数の符号化量（ビットレート）ごとによる圧縮符号化を行う。これにより、図１８（ａ）の縦軸として示すように、１つの解像度に対応して、それぞれが異なる符号量により符号化された分割領域２１０−１〜２１０−３２から成る、複数のフレーム画像が配列されることになる。つまり、図１８（ａ）に示されるファイル３００において、１つの分割領域２１０の位置の映像は、α個の符号化量と同じ数であるα個が備えられる。配信サーバ（図示は省略）は、この図１８（ａ）に示す構造のファイル３００がフレームごとに配列された映像ストリームデータを記憶している。

ここでは、上記図１７（ａ）に示すファイル３００から、図１８（ｂ）における表示対象領域４００の画像を再生表示する場合を想定する。図１８（ｃ）は、図１８（ｂ）の表示対象領域４００を再生した表示映像５００の例を示している。

上記図１８（ｂ）に示される表示対象領域４００は、フレーム画像２００における８個の分割領域２１０−１０、２１０−１１、２１０−１２、２１０−１３、２１０−１８、２１０−１９、２１０−２０および２１０−２１の各画像部分を含んで形成されている。限られた帯域の中で、表示対象領域の映像品質をあげるためには、品質の低い分割領域に対して高い符号化量を割振る必要がある。映像品質を判断するために、全ての分割領域の全てのフレームに対して品質評価情報(例えばＰＳＮＲ情報)が存在している。帯域として許容される間は、一番品質が低い分割領域から符号化量を順にあげていく。図１８の例では、割領域２１０−１１、２１０−１２、２１０−１９および２１０−２０の４個が一番高い符号化量まで、残りの分割領域が２番目の符号化量まで向上した例を示している。

また、超高解像度のパノラマ画像を表示するにあたっては、フレーム画像２００における一部領域をズームイン（拡大）して再生表示させたり、ズームアウト（縮小）して再生表示させたりすることも想定されている。図１９は、ズームアウトによる再生に対応したデータ配信の態様例を模式的に示している。

図１９（ａ）は、上記図１８（ａ）と同様のファイル３００の構造が示されている。ここでは、図１９（ｃ）の表示映像５００に示すように、フレーム画像２００をズームアウト）縮小して再生表示させることを想定している。この表示映像５００に対応する表示対象領域４００は、図１９（ｂ）に示されるように、解像度は低い方の４個の分割領域２１０−２１、２１０−２２、２１０−２４および２１０−２５の各画像部分により形成される。ズームアウト表示の場合、図１８の場合と比較すれば、例えば同じ４つの分割領域により表示すべき画像範囲は広くなるので、より低い解像度のフレームから分割領域を選択することになる。そこで、配信サーバは、図１９（ａ）に示すように、解像度の低い方のフレーム画像２００から上記分割領域２１０−２１、２１０−２２、２１０−２４および２１０−２５を読み出して再生装置に転送する。

一方、図示は省略するが、ズームアウト（縮小）して広範囲を表示させる場合には、逆に一定以上の高解像度は過剰になる。そこで、この場合の配信サーバは、複数の解像度のうちから低い方の解像度のフレーム画像２００から、表示対象領域４００の再生に必要な分割領域２１０を読み出して再生装置に転送する。

上記の図１８および図１９に示す態様の映像配信では、再生装置が再生しようとする領域に対応して必要とされる分割領域２１０を選択して転送することとしている。さらに、表示対象領域４００における映像部分の占有率に応じて、転送すべき分割領域２１０の符号化量を適宜選択することとしている。また、表示映像５００の表示倍率に応じて、転送すべき分割領域２１０の解像度を適宜選択することとしている。これにより、配信データのデータレートを抑制して、帯域制限のあるネットワーク環境において超高解像度映像を配信することが可能になる。
説明の簡易化のため、本発明の前提となる映像分割配信システムについてフレーム単位で配信することを前提として記載したが、Ｈ．２６４などの符号化方式で符号化した場合は、フレーム単位ではなくＧＯＰ単位となることは言うまでもない。

＜第１実施形態＞
次に、本発明に係る一実施形態にかかる映像符号化装置の一例について説明する。図１は、本実施形態にかかる映像符号化装置の構成の一例を示す図である。以下説明する第１実施形態に係る映像符号化装置は、上述した映像分割配信システムにおいて利用される装置の一例である。

［映像符号化装置の構成］
図１は、本発明の第１の実施の形態としての映像符号化装置１００の構成例を示している。この図に示す映像符号化装置１００は、解像度変換部１１０と、領域分割部１２０と、符号化部１３０と、多重化部１４０と、制御部１５０と備える。解像度変換部１１０は、複数の解像度変換部を含み、例えば、第１解像度変換部１１０−１〜第３解像度変換部１１０−３を含む。領域分割部１２０は、複数の領域分割部を含み、例えば、第１領域分割部１２０−１〜第３領域分割部１２０−３を含む。符号化部１３０は、同一のデータに対して異なる符号化レートで並行して符号化可能な複数の符号化部を備え、例えば、第１符号化部１３０−１〜第４符号化部１３０−４を含む。なお、本実施形態において、各第１符号化部１３０−１〜第４符号化部１３０−４は、それぞれが別個の装置を構成している。

バッファ１１１−１〜１１１−３は、それぞれ、第１解像度変換部１１０−１〜第３解像度変換部１１０−３に対応して設けられる。このバッファ１１１−１〜１１１−３は、それぞれ、第１解像度変換部１１０−１〜第３解像度変換部１１０−３が処理すべきデータを保持する。

バッファ１２１−１〜１２１−３は、それぞれ、第１領域分割部１２０−１〜第３領域分割部１２０−３に対応して設けられる。このバッファ１２１−１〜１２１−３は、それぞれ、第１領域分割部１２０−１〜第３領域分割部１２０−３が処理すべきデータを保持する。

バッファ１３１−１〜１３１−４は、それぞれ、第１符号化部１３０−１〜第４符号化部１３０−４に対応して設けられる。このバッファ１３１−１〜１３１−４は、それぞれ、第１符号化部１３０−１〜第４符号化部１３０−４が処理すべきデータを保持する。
バッファ１４１は、多重化部１４０が処理すべきデータを保持する。

入力映像は、例えば４ｋ解像度や８ｋ解像度などと称される、超高解像度による所定形式の映像信号データである。ここでは、説明の便宜上、フレーム画像単位で入力されるものとする。この入力映像としてのフレーム画像のデータは、バッファ１１１−１〜１１１−３に分岐して、フレーム毎に、異なるフレーム画像が供給される。バッファ１１１−１〜１１１−３は、供給されたフレーム画像を保持する。

第１解像度変換部１１０−１〜第３解像度変換部１１０−３は、それぞれ、バッファ１１１−１〜１１１−３からフレーム画像を入力して、予め決められた１つ又は複数の解像度ごとによるフレーム画像を生成するための解像度変換処理を行う。例えば、第１解像度変換部１１０−１〜第３解像度変換部１１０−３には、それぞれ、予め決められた複数の解像度が設定されている。これら第１解像度変換部１１０−１〜第３解像度変換部１１０−３に設定されている複数の解像度は、同一の解像度である。第１解像度変換部１１０−１〜第３解像度変換部１１０−３は、入力するフレーム画像を、設定されている解像度に変換して、各解像度に対応するフレーム画像を出力する。これにより、１つの解像度変換部１１０により、それぞれが異なる解像度に変換された複数のフレーム画像が生成される。なお、解像度のパターン数と、各解像度パターンにおける解像度の値は、予め定められており、１フレーム画像がパターン数分の解像度に変換される。本実施形態では、説明便宜のため、同一の１つの解像度が第１解像度変換部１１０−１〜第３解像度変換部１１０−３に設定されているとする。第１解像度変換部１１０−１〜第３解像度変換部１１０−３は、それぞれ、設定されている解像度に変換したフレーム画像を出力する。

バッファ１２１−１〜１２１−３には、それぞれ、上記第１解像度変換部１１０−１〜第３解像度変換部１１０−３により生成された、複数の解像度パターンに応じた複数のフレーム画像のデータが入力される。

第１領域分割部１２０−１〜第３領域分割部１２０−３は、それぞれ、バッファ１２１−１〜１２１−３に保持されたフレーム画像のデータを入力し、このフレーム画像を所定の大きさ（解像度）の分割領域に分割するように領域分割処理を実行する。つまり、領域分割部１２０が入力する１つのフレーム画像２００が図１６（ａ）に示されるものであるとすると、領域分割部１２０は、このフレーム画像２００を、図１６（ｂ）に示すように、所定の水平／垂直画素数により分割することで、３２個の分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝から成る形式に変換する。なお、第１領域分割部１２０−１〜第３領域分割部１２０−３は、同一のフレーム画像について設定された解像度に変換したフレーム画像を、それぞれ３２個の分割領域２１０｛２１０−１，２１０−２，・・・２１０−３２｝に分割する。

第１領域分割部１２０−１〜第３領域分割部１２０−３から出力された分割領域２１０のデータは、バッファ１３１−１〜１３１−４のいずれか１つに対して適宜入力される。バッファ１３１−１〜１３１−４は、入力された分割領域２１０のデータを保持する。

第１符号化部１３０−１〜第４符号化部１３０−４は、それぞれ、バッファ１３１−１〜１３１−４にて保持されたデータを入力して圧縮符号化処理を実行する。ここでの圧縮符号化の方式については特に限定されるものではないが、一例として、多視点映像符号化方式（ＭＶＣ：ＭｕｌｔｉＶｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)を採用することができる。また、以降においては、圧縮符号化について単に符号化と称する。

第１符号化部１３０−１〜第４符号化部１３０−４により分割領域２１０を符号化して得られた符号化分割領域のデータは、バッファ１４１に対して入力され、ここで保持される。

多重化部１４０は、バッファ１４１にて保持されている符号化分割領域のデータを入力し、符号化分割領域のデータをフレーム単位で多重化して１つのファイルとするための多重化処理を実行する。なおこのフレーム単位のフレーム数は符号化方式に依存する。多視点映像符号化方式（ＭＶＣ：ＭｕｌｔｉＶｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)を採用した場合は、フレーム数はGOP単位となる。これにより、図１６（ａ）に示すように、１つのフレーム画像２００に対応するファイル３００として、複数解像度と複数の符号化量の組み合わせに応じた数の分割領域２１０から成る構造が得られる。そして、多重化部１４０は、このフレーム単位に対応するファイル３００を、順次、出力映像として出力する。このように順次出力されるファイル３００の連結により映像ストリームデータが形成される。

なお、上記図１に示される解像度変換部１１０、領域分割部１２０および符号化部１３０に含まれる各構成の並列数は、後述する映像符号化装置１００の符号化処理の具体例に対応させたものであり、あくまでも一例となるものである。

制御部１５０は、解像度変換部１１０、領域分割部１２０、符号化部１３０および多重化部１４０に対する制御を実行する。

解像度変換部１１０、領域分割部１２０、符号化部１３０および多重化部１４０は、例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）により実現されるもので、制御部１５０は、このＤＳＰに対する制御によって、解像度変換部１１０、領域分割部１２０、符号化部１３０の各並列数を変更して信号処理回路を形成することができる。
また、制御部１５０は、設定された信号処理回路の構成に応じて、解像度変換部１１０、領域分割部１２０、符号化部１３０および多重化部１４０に対するデータの振り分けや処理タイミングを指示する。

上記構成の映像符号化装置１００により生成される映像ストリームデータを例えばネットワーク経由で配信するのであれば、ネットワーク上に配信サーバ（図示は省略する）を設け、上記のように形成される映像ストリームデータを記憶させることになる。そして、配信サーバが映像配信を行う際には、例えば図１８および図１９にて説明したようにフレーム画像２００において再生装置が表示させようとする部分の画像に対応する分割領域２１０のデータのみを配信する。また、配信サーバは、表示対象領域４００における映像部分の占有率に応じて、転送すべき分割領域２１０の符号化量を適宜選択して配信するものであってもよい。また、表示映像５００の表示倍率に応じて、転送すべき分割領域２１０の解像度を適宜選択して配信するものであってもよい。これにより、限られた帯域のネットワークを経由して超高解像度映像を配信することが可能になる。

［符号化処理タイミング例］
次に、上記図１に示す構成の映像符号化装置１００が実行する符号化処理の実行タイミング例について説明する。以降の説明においては、図２に示すファイル３００の構造を前提とする。ここでは、説明簡略化のため、１つのフレーム画像２００は第１分割領域２１０−１と第２分割領域２１０−２の２つの領域に分割されるものとする。また、符号化量については第１符号化量と第２符号化量との２つの符号化レートγ１、γ２により符号化されるものとする。なお、解像度は、αとする。図２のファイル３００は、（分割数「２」×符号化レートのパターン数「２」）で表される数の分割領域２１０を有することになる。なお、実際には、解像度のパターン数、分割数、符号化レートのパターン数が非常に多く、ファイル３００における分割領域２１０の数は膨大である。一般的には、解像度ｎの時の分割数をα_ｎ、解像度nの時の符号化レートをβ_ｎとすると、ファイル３００における分割領域数は
Σ(α_n×β_n)
と表わすことができる。
なお、このファイル３００に相当するデータのうち、第１符号化部１３２−１が符号化する分割領域はバッファ１３１−１に格納されている。同様に符号化部１３２−２〜１３２−４が符号化する分割領域は、バッファ１３１−２〜１３１−４にそれぞれ格納されている。なお分割領域数と符号化部数が同数とは限らず、また１対1で割り当てられるとは限らない。分割領域と符号化の割振りは制御部１５０によってなされる。
例えば、第1符号化部１３２−１が、第1分割領域を第1符号化量で符号化し、第２符号化部１３２−２が、第２分割領域を第1符号化量で符号化し、第３符号化部１３２−３が、第1分割領域を第２符号化量で符号化し、第４符号化部１３２−４が、第２分割領域を第２符号化量で符号化する場合の一例について説明する。この場合、制御部１５０は、予め設定される符号化パラメータ(例えば、入力映像の解像度、領域分割の解像度、解像度のパターン数、符号化量のパターン数など)に応じて、バッファ１３１−１には、第1分割領域を、バッファ１３１−２には、第２分割領域を、バッファ１３１−３には、第1分割領域を、バッファ１３１−４には、第２分割領域を、それぞれ格納される。
また、第1符号化部１３２−１が、第1分割領域を第1符号化量と第２符号化量で符号化し、第２符号化部１３２−２が、第２分割領域を第1符号化量と第２符号化量で符号化する場合は、以下のように制御する。つまり、制御部１５０は、バッファ１３１−１には、第1分割領域を、バッファ１３１−２には、第２分割領域をそれぞれ格納させる。よって、バッファ１３１−３およびバッファ１３１−４にはデータが格納されないことになる。

図３のタイミングチャートは、図１に示す第１の実施の形態の映像符号化装置１００が実行する符号化処理の一例を時間経過にしたがって示している。まず、入力映像は、図示するように、フレーム１、２、３、４・・・のように、例えばフレーム周期に応じたタイミングで順次入力される。

解像度変換処理に対応するバッファ１１１−１〜１１１−３は、上記のように入力されるフレーム１、２、３、４・・・を、図示するタイミングにより順次保持する。具体的にバッファ１１１−１はフレーム１を保持し、バッファ１１１−２はフレーム２を保持し、バッファ１１１−３はフレーム３を保持する。このように、バッファ１１１−１〜１１１−３によるデータの保持が一巡すると、また、バッファ１１１−１がフレーム４を保持し、以降、同様にしてバッファ１１１−１〜１１１−３によるフレームの保持が繰り返される。

第１解像度変換部１１０−１は、バッファ１１１−１に保持されたフレーム１のデータを入力して解像度変換処理を実行する。つまり、フレーム１のデータから、異なる解像度α１のフレーム画像（以下、解像度変換データという）を生成する。なお、異なる解像度を作らない場合は、この処理はスルーすることもできる。例えば、第１解像度については入力映像と同じ解像度としてもよい。

次に、第２解像度変換部１１０−２は、バッファ１１１−２に保持されたフレーム２を入力して解像度変換処理を実行し、解像度α１の解像度変換データを生成する。次に、第３解像度変換部１１０−３は、バッファ１１１−３に保持されたフレーム３を入力して解像度変換処理を実行し、解像度α１の解像度変換データを生成する。次に、フレーム４はバッファ１１１−１に保持されているので、第１解像度変換部１１０−１がフレーム４を入力して解像度変換処理を実行し、解像度α１の解像度変換データを生成する。このように、第１〜第３解像度変換部１１０−１〜１１０−３は、フレームのデータを順次入力して巡回的に解像度変換処理を実行する。

上記のように第１解像度変換部１１０−１により生成された複数解像度によるフレーム１の解像度変換データは、領域分割処理に対応するバッファ１２１−１に出力され、ここで保持される。次に、第２解像度変換部１１０−２により生成された複数解像度によるフレーム２の解像度変換データはバッファ１２１−２に出力され、ここで保持される。次に、第３解像度変換部１１０−３により生成された複数解像度によるフレーム３の解像度変換データはバッファ１２１−３に出力され、ここで保持される。次に、第１解像度変換部１１０−１により生成された複数解像度によるフレーム４の解像度変換データはバッファ１２１−１に出力され、ここで保持される。

第１領域分割部１２０−１は、バッファ１２１−１から複数解像度によるフレーム１の解像度変換データを入力し、領域分割処理として、第１分割領域２１０−１と第２分割領域２１０−２に分割する。図では、フレーム１の第１分割領域２１０−１のデータを、分割領域１−１として表記し、フレーム１の第２分割領域２１０−２のデータを、分割領域１−２として表記している。

次に、第２領域分割部１２０−２は、バッファ１２１−２から複数解像度によるフレーム２の解像度変換データを入力し、同様に、第１分割領域（分割領域２−１）と第２分割領域（分割領域２−２）に分割する。次に、第３領域分割部１２０−３は、バッファ１２１−３から複数解像度によるフレーム３の解像度変換データを入力し、第１分割領域（分割領域３−１）と第２分割領域（分割領域３−２）に分割する。次に、第１領域分割部１２０−１は、バッファ１２１−１から複数解像度によるフレーム４の解像度変換データを入力し、第１分割領域（分割領域４−１）と第２分割領域（分割領域４−２）に分割する。このように、第１領域分割部１２０−１〜第３領域分割部１２０−３も、巡回的に複数解像度によるフレームのデータを順次入力して領域分割処理を実行する。なお、以降において図３に示されるデータを説明するにあたり、同図と同じ表記を用いる。

第１領域分割部１２０−１により生成された分割領域１−１および１−２のうち、分割領域１−１は、第１符号化部１３２−１に対応するバッファ１３１−１および第２符号化部１３２−２に対応するバッファ１３１−２に対して並列に入力され、ここで保持される。一方、分割領域１−２は、第３符号化部１３２−３に対応するバッファ１３１−３および第４符号化部１３２−４に対応するバッファ１３１−４に対して並列に入力され、ここで保持される。

次に、第２領域分割部１２０−２により生成された分割領域２−１および２−２のうち、分割領域２−１は、第１符号化部１３０−１に対応するバッファ１３１−１および第２符号化部１３０−２に対応するバッファ１３１−２に対して並列に入力され、ここで保持される。分割領域２−２は、第３符号化部１３０−３に対応するバッファ１３１−３および第４符号化部１３０−４に対応するバッファ１３１−４に対して並列に入力され、ここで保持される。

次に、第３領域分割部１２０−３により生成された分割領域３−１および３−２のうち、分割領域３−１は、第１符号化部１３０−１に対応するバッファ１３１−１および第２符号化部１３２−２に対応するバッファ１３１−２に対して並列に入力され、ここで保持される。分割領域３−２は、第３符号化部１３２−３に対応するバッファ１３１−３および第４符号化部１３２−４に対応するバッファ１３１−４に対して並列に入力され、ここで保持される。

次に、第４領域分割部１２０−３により生成された分割領域４−１および４−２のうち、分割領域４−１は、第１符号化部１３０−１に対応するバッファ１３１−１および第２符号化部１３２−２に対応するバッファ１３１−２に対して並列に入力され、ここで保持される。分割領域４−２は、第３符号化部１３２−３に対応するバッファ１３１−３および第４符号化部１３２−４に対応するバッファ１３１−４に対して並列に入力され、ここで保持される。

これにより、第１符号化部１３２−１および第２符号化部１３２−２の各々に対応するバッファ１３１−１および１３１−２は、それぞれ、分割領域１−１、２−１、３−１および４−１を順次保持していく。また、第３符号化部１３２−３および第４符号化部１３２−４の各々に対応するバッファ１３１−３および１３１−４は、それぞれ、分割領域１−２、２−２、３−２および４−２を順次保持していく。

図２にて説明したように、ここでは第１符号化量と第２符号化量による２つの符号化量による符号化を行う場合を想定している。第１符号化部１３２−１〜第４符号化部１３２−４のうち、第１符号化部１３２−１および第２符号化部１３２−２は、第１分割領域のデータについて、それぞれ第１符号化量と第２符号化量による符号化を行う。第３符号化部１３２−３および第４符号化部１３２−４は、第２分割領域のデータについて、それぞれ第１符号化量と第２符号化量による符号化を行う。

第１符号化部１３２−１は、バッファ１３１−１にて保持されている分割領域１−１、２−１、３−１および４−１のデータのうち、まず、フレーム１の分割領域１−１を入力して第１符号化量による符号化を行って、符号化分割領域１−１−１を生成する。以降、第１符号化部１３２−１は、順次、フレーム２、３、４の分割領域２−１、３−１および４−１を入力し、符号化分割領域２−１−１、３−１−１および４−１−１を生成する。

第２符号化部１３２−２は、バッファ１３１−２にて保持されている分割領域１−１、２−１、３−１および４−１のデータのうち、まず、分割領域１−１を入力して第２符号化量による符号化を行って、符号化分割領域１−１−２を生成する。以降、第２符号化部１３２−２は、順次、分割領域２−１、３−１および４−１を入力し、符号化分割領域２−１−２、３−１−２および４−１−２を生成する。

第３符号化部１３２−３は、バッファ１３１−３にて保持されている分割領域１−２、２−２、３−２および４−２のデータのうち、まず、分割領域１−２を入力して第１符号化量による符号化を行って、符号化分割領域１−２−１を生成する。以降、第３符号化部１３２−３は、順次、分割領域２−２、３−２および４−２を入力し、符号化分割領域２−２−１、３−２−１および４−２−１を生成する。

第４符号化部１３２−４は、バッファ１３１−４にて保持されている分割領域１−２、２−２、３−２および４−２のデータのうち、まず、分割領域１−２を入力して第２符号化量による符号化を行って、符号化分割領域１−２−２を生成する。以降、第３符号化部１３２−３は、順次、分割領域２−２、３−２および４−２を入力し、符号化分割領域２−２−２、３−２−２および４−２−２を生成する。

上記のように第１符号化部１３２−１〜第４符号化部１３２−４が符号化処理を実行することで、１フレームにおける２つの第１分割領域と第２分割領域は、それぞれ、第１符号化量による符号化と、第２符号化量による符号化が施される。つまり、１フレームにおいて、第１符号化量による第１分割領域と、第２符号化量による第１分割領域と、第２符号化量による第１分割領域と、第２符号化量による第２分割領域との４パターンの符号化分割領域が得られる。そして、この１フレームにおける４パターンの符号化分割領域が、時間経過にしたがって、順次、フレームごとに形成されていく。なお、これらの符号化分割領域のデータの各々は、複数の解像度に応じた複数の分割領域から成る。

第１符号化部１３２−１は、上記のように符号化分割領域１−１−１、２−１−１、３−１−１および４−１−１のデータを順次生成していくごとに、これらのデータを多重化部１４０に対応するバッファ１４１に転送する。同様に、第２符号化部１３２−２は、符号化分割領域１−１−２、２−１−２、３−１−２および４−１−２のデータを順次生成していくごとに、バッファ１４１に転送する。第３符号化部１３２−３は、符号化分割領域１−２−１、２−２−１、３−２−１および４−２−１のデータを順次生成していくごとに、バッファ１４１に転送する。第４符号化部１３２−４は、符号化分割領域１−２−２、２−２−２、３−２−２および４−２−２のデータを順次生成していくごとに、バッファ１４１に転送する。これにより、バッファ１４１には、図３に示すタイミングで、順次、上記のように転送されたデータが保持されていく。

多重化部１４０は、フレーム１に対応する４つの符号化分割領域１−１−１、１−１−２、１−２−１、１−２−２のすべてがバッファ１４１に保持されたタイミングで、これらの符号化分割領域を入力して多重化処理を実行し、図示するようにフレーム１に対応するファイルを生成する。次いで、多重化部１４０は、フレーム２に対応する４つの符号化分割領域２−１−１、２−１−２、２−２−１、２−２−２のすべてがバッファ１４１に保持されたタイミングで、これらの符号化分割領域を入力して多重化処理を実行し、フレーム２に対応するファイルを生成する。

以降、多重化部１４０は、フレーム３、４・・・ごとに、対応の符号化分割領域がすべてバッファ１４１に保持されたタイミングで多重化処理を実行し、順次、フレーム３、４・・・のファイルを生成していく。このように、フレーム単位のファイルが順次生成されることで、出力映像としてのストリームデータが得られる。もしくはフレーム単位のファイルを順次1つのファイルとして結合し、出力映像ファイルを得る。

上記図３の処理タイミングとして示されるように、第１符号化部１３２−１〜第４符号化部１３２−４により順次フレームを符号化する処理は、図３にも示されているように、同時並行して実行される。つまり、本実施の形態は、複数の符号化部１３０を並列に設け、これらに符号化処理を同時並行して実行させることにより、符号化処理に要する時間について、領域分割を行わない場合と同等としているものである。これにより、本実施の形態では、フレーム画像２００を分割領域２１０により分割しているのに係わらず、符号化処理に要する時間を大幅に短縮することが可能となる。

なお、実際のフレームごとの処理時間にはばらつきが生じる。例えば、解像度変換部１１０および領域分割部１２０は、処理対象とするデータの解像度に応じてフレーム単位の処理時間が異なる。また、符号化部１３０による符号化処理では、例えばＩ（Ｉｎｔｒａ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャおよびＢピクチャ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ）ごとに処理時間が異なる。そこで、解像度変換部１１０、領域分割部１２０、符号化部１３０および多重化部１４０に対して、それぞれ、バッファ１１１、１２１、１３１および１４１を設けている。これにより、上記処理時間の相違を吸収して処理タイミングを同期させることができる。

［符号化処理手順例］
図４のフローチャートは、第１の実施の形態における映像符号化装置１００が実行する処理手順例を示している。この図は、上記図３に示した処理タイミングにおいて、１つのフレームを処理する手順を示している。この図に示す処理は、図１に示した各部が適宜実行するものとしてみることができる。

ステップＳ１０１において、制御部１５０は、フレームの番号を示す変数ｎについて初期値である「１」を代入する。次に、制御部１５０は、ステップＳ１０２において、入力映像として供給されるフレームｎを、第（（ｎ・ｍｏｄ・ｍ））解像度変換部１１０−（ｎ・ｍｏｄ・ｍ））に対応するバッファ１１１−（ｎ・ｍｏｄ・ｍ）に転送する。ｍは解像度変換部１１０の数であり、ここでは「３」となる。また、（ｎ・ｍｏｄ・ｍ）は、ｎをｍで除算したときの余りを示す。ただし、ｍが「３」の場合の（ｎ・ｍｏｄ・ｍ）は、「０」、「１」、「２」のいずれかを取り得るが、「０」の場合には、「ｍ」の値を取るものとする。これにより、図３に示したように、フレーム１、２、３、４・・・は、順次巡回するように、第１〜第３解像度変換部１１０−１〜１１０−３に対応するバッファ１１１−１〜１１１−３にて保持される。なお、表記を簡単にするために、以降において、（ｎ・ｍｏｄ・ｍ）は、「Ｎ」で置き換えて表記する。

次に、第Ｎ解像度変換部１１０−Ｎは、ステップＳ１０３において、解像度変換処理を実行する。つまり、フレームｎから第１〜第ｉ解像度によるフレームｎのデータを生成する。そして、第Ｎ解像度変換部１１０−Ｎは、ステップＳ１０４において、この第１〜第ｉ解像度によるフレームｎのデータを、第Ｎ領域分割部１２０−Ｎに対応するバッファ１２１−Ｎに転送して保持させる。

次に、第Ｎ領域分割部１２０−Ｎは、ステップＳ１０５において、バッファ１２１−Ｎに保持されている第１〜第ｉ解像度によるフレームｎのデータを入力して領域分割処理を実行する。つまり、フレームｎのデータについて、第１分割領域２１０−１と第２分割領域２１０−２に分割する。図３の表記との対応では、分割領域ｎ−１と分割領域ｎ−２に分割することになる。以降の図４の説明においては、この図３の表記を用いる。

そして、第Ｎ領域分割部１２０−Ｎは、ステップＳ１０６において、分割領域ｎ−１のデータを第１符号化部１３２−１に対応するバッファ１３１−１に転送して保持させる。また、第Ｎ領域分割部１２０−Ｎは、ステップＳ１０７において、分割領域ｎ−１のデータを第２符号化部１３２−２に対応するバッファ１３１−２に転送して保持させる。

また、第Ｎ領域分割部１２０−Ｎは、ステップＳ１０８において、分割領域ｎ−２のデータを第３符号化部１３２−３に対応するバッファ１３１−３に転送して保持させる。また、第Ｎ領域分割部１２０−Ｎは、ステップＳ１０９において、分割領域ｎ−２のデータを第４符号化部１３２−４に対応するバッファ１３１−４に転送して保持させる。

次に、第１符号化部１３２−１は、ステップＳ１１０において、バッファ１３１−１に保持されている分割領域ｎ−１のデータを入力して、第１符号化量により符号化して符号化分割領域ｎ−１−１のデータを生成する。そして、第１符号化部１３２−１は、この符号化分割領域ｎ−１−１のデータを、多重化部１４０に対応するバッファ１４１に転送して保持させる。

また、第２符号化部１３２−２は、ステップＳ１１１において、バッファ１３１−２に保持されている分割領域ｎ−１のデータを入力して、第２符号化量により符号化して符号化分割領域ｎ−１−２のデータを生成する。そして、第２符号化部１３２−２は、この符号化分割領域ｎ−１−２のデータをバッファ１４１に転送して保持させる。

また、第３符号化部１３２−３は、ステップＳ１１２において、バッファ１３１−３に保持されている分割領域ｎ−２のデータを入力して、第１符号化量により符号化して符号化分割領域ｎ−２−１のデータを生成する。そして、第３符号化部１３２−３は、この符号化分割領域ｎ−２−１のデータをバッファ１４１に転送して保持させる。

また、第４符号化部１３２−４は、ステップＳ１１３において、バッファ１３１−４に保持されている分割領域ｎ−２のデータを入力して、第２符号化量により符号化して符号化分割領域ｎ−２−２のデータを生成する。そして、第４符号化部１３２−４は、この符号化分割領域ｎ−２−２のデータをバッファ１４１に転送して保持させる。なお、図３にて説明したように、ステップＳ１１０〜Ｓ１１３による符号化処理は、同時に並行して実行されるものである。

そして、多重化部１４０は、上記ステップＳ１１０〜Ｓ１１３により得られた４つの符号化分割領域ｎ−１−１、ｎ−１−２、ｎ−２−１およびｎ−２−２のデータが保持されると、ステップＳ１１４において、これらを多重化する処理を実行する。これにより、フレームｎに対応するファイルが形成される。ステップＳ１１４までの処理が終了すると、制御部１５０は、ステップＳ１１５において変数ｎをインクリメントしてステップＳ１０２の処理に戻る。このように処理が実行されることで、フレーム単位で順次ファイル３００を形成していくことができる。

なお、映像符号化装置１００により生成された映像ストリームデータを配信するにあたっては、図１８および図１９に準じた配信態様を想定することができる。つまり、再生装置での再生に必要な分割領域のうちから、さらに再生に必要な符号化量および解像度のデータを選択して配信するというものである。これは、例えばユーザが視聴領域を指定操作するのではなく、配信側で入力映像の一部を適宜拡大または縮小するように編集したものを配信するというサービスに適用できる。このような配信の態様に対応する映像符号化装置１００の処理として、１つには、次のようなものを考えることができる。

まず、図１に示す映像符号化装置１００において、解像度変換部１１０と領域分割部１２０は、それぞれ、これまでの説明のように予め設定された所定数の解像度パターンによる解像度変換処理と分割領域２１０に分割する分割領域処理を実行する。そして、これらの分割領域２１０のデータを、例えば図３にて示したように、符号化部１３０におけるバッファ１３１に保持させる。この段階までは、これまでに図３および図４により説明した処理手順と同様となる。

そのうえで、制御部１５０は、再生装置からの再生データ要求に応じて、再生装置に送信すべき分割領域と、これらの分割領域のデータの符号化量と解像度パターンの組み合わせを判定する。そして、制御部１５０は、すべての符号化部１３０のうちから、判定した分割領域と符号化量の組み合わせに応じて符号化処理を実行する符号化部１３０に対して符号化処理を指示する。また、この際、制御部１５０は、符号化処理を指示した符号化部１３０に対して、符号化すべき解像度パターンを指定する。これに応じて、符号化処理の指示を受けた符号化部１３０は、対応のバッファ１３１に保持されている複数の解像度パターンごとに応じたフレームのデータのうちから、指定された解像度パターンのフレームのデータのみを入力して符号化処理を実行する。

一具体例として、分割領域および符号化量については、図２に示した場合を想定し、解像度変換部１１０は全部で解像度α１、α２の２パターンによる解像度変換処理を行うものとする。そのうえで、再生に必要なデータとしては、分割領域２１０−１であり、解像度はα１であり、第２符号化量により符号化されたものであるとする。この場合、図１の符号化部１３２−１〜１３２−４のうち、分割領域２１０−１を処理対象とし、かつ、第２符号化量による処理を実行する符号化部１３２−２のみが符号化処理を実行することになる。そのうえで、符号化部１３２−２は、バッファ１３１−２からデータを入力するにあたり、解像度α１と解像度α２のフレームのうち、解像度α１のフレームのデータのみを入力して符号化処理を実行することになる。これに応じて、図４のフローチャートについては、ステップＳ１１０、Ｓ１１２およびＳ１１３が省略される。また、この場合、多重化されたフレームごとのファイルは、符号化部１３２−２により符号化された圧縮分割領域のデータにより形成されることになる。

上記のような処理とすることで、再生に必要な分割領域２１０と符号化量の組み合わせに対応する一部の符号化部１３０のみが符号化処理を行い、さらに、符号化処理を実行する符号化部１３０は、再生に必要な解像度パターンのフレームのみを対象に符号化処理を実行すればよい。これにより、符号化処理の並行数が削減されて処理負荷が軽減されるとともに、１つの符号化部１３２が処理するフレーム数も削減されることとなって処理時間の短縮も図られる。なお、解像度変換処理に関しては、例えば、解像度変換部１１０に対して、再生に必要な解像度パターンのみによる解像度変換処理を実行させるように制御部１５０が制御するように構成してもよい。さらに、リアルタイムに符号化処理を実行する必要がない配信システムの場合であれば、映像符号化装置１００としては、すべての解像度パターンと符号化量パターンの組み合わせにより、すべての分割領域の符号化処理を行えばよい。そして、このように生成した映像ストリームデータを記憶装置に記憶させておく。配信サーバは、再生装置からの要求に応じて、再生に必要な解像度パターンと符号化量パターンの組み合わせによる分割領域２１０のデータを、記憶装置に記憶された映像ストリームデータから読み出し、これを所定形式のコンテンツデータとして再生装置に送信する。

＜第２の実施の形態＞
［映像符号化装置の構成］
図５は、第２の実施の形態における映像符号化装置１００の構成例を示している。この図において、図１と同一部分には同一符号を付して説明を省略する。この図に示す映像符号化装置１００は、符号化処理を実行する部位として２つの第１符号化部１３０−１と第２符号化部１３０−２を備える。

そのうえで、第１符号化部１３０−１は、その内部に、第１サブ符号化部１３２−１、バッファ１３１−１、第２サブ符号化部１３２−２およびバッファ１３１−２を備える。また、第２符号化部１３０−２は、その内部に、第３サブ符号化部１３２−３、バッファ１３１−３、第４サブ符号化部１３２−４およびバッファ１３１−４を備える。

第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４は、それぞれ、図１における第１符号化部１３２−１〜第４符号化部１３２−４に相当し、同等の処理を実行する。つまり、第１符号化部１３０−１において、第１サブ符号化部１３２−１は、バッファ１３１−１にて保持された第１分割領域２１０−１のデータを入力して第１符号化量による符号化処理を実行する。第２サブ符号化部１３２−２は、バッファ１３１−２にて保持された第１分割領域２１０−１のデータを入力して第２符号化量による符号化処理を実行する。したがって、第１符号化部１３０−１は、第１分割領域に対応した符号化処理を実行する部位となる。

一方、第２符号化部１３０−２は、第２分割領域に対応した符号化処理を実行する部位となる。つまり、第３サブ符号化部１３２−３は、バッファ１３１−３にて保持された第２分割領域２１０−２のデータを入力して第１符号化量による符号化処理を実行する。第４サブ符号化部１３２−４は、バッファ１３１−４にて保持された第２分割領域２１０−２のデータを入力して第２符号化量による符号化処理を実行する。

［符号化処理タイミング例］
図６のタイミングチャートは、上記図５に示す第２の実施の形態としての映像符号化装置１００が実行する符号化処理の実行タイミング例を示している。この図において、先の図３と同様となる処理については説明を省略する。

図６における符号化処理は、先に図３に示した第１符号化部１３２−１〜第４符号化部１３２−４に代えて、第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４が実行する。ここで、第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４が実行する符号化処理タイミングは、図３の第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４が実行する符号化処理と同様となる。したがって、図６に示される各処理の実行タイミングは、図３と同様となっている。

ただし、先の図３においては、例えば第１領域分割部１２０−１は、分割処理により得た分割領域１−１のデータを第１符号化部１３２−１に転送し、さらに第２符号化部１３２−２に転送するようにされていた。また、第１領域分割部１２０−１は、分割領域１−２のデータを第３符号化部１３２−３と第４符号化部１３２−４のそれぞれに転送するようにされていた。つまり、第１の実施の形態では、第１領域分割部１２０−１が分割領域のデータを転送するにあたり、符号化量のパターン数と同じ回数の転送を行っている。つまり、同じデータを複数回転送する動作を実行していることになり、データ伝送量は増加する。

これに対して、第２の実施の形態の第１領域分割部１２０−１は、分割領域１−１のデータを第１符号化部１３０−１に転送する。第１符号化部１３０−１は、このように転送されたデータを、図６に示すように第１サブ符号化部１３２−１に対応するバッファ１３１−１に格納して保持させる。次に、第１符号化部１３０−１は、上記のようにバッファ１３１−１に保持させた分割領域１−１のデータを、第２サブ符号化部１３２−２に対応するバッファ１３１−２にコピーして保持させる。これにより、第１領域分割部１２０−１は、分割領域１−１のデータを第１サブ符号化部１３２−１と第２サブ符号化部１３２−２のそれぞれに対して個別に転送する必要はなくなる。つまり、分割領域１−１のデータを転送する動作は、符号化量のパターン数に係わらず１回でよいことになる。

また、第１領域分割部１２０−１は、分割領域１−２のデータを第２符号化部１３０−２に転送する。そして、第２符号化部１３０−２においても、転送されたデータを第３サブ符号化部１３２−３に対応するバッファ１３１−３に格納して保持させ、次に、このバッファ１３１−３に保持させたデータを、第４サブ符号化部１３２−４に対応するバッファ１３１−４にコピーして保持させる。これにより、第１領域分割部１２０−１が分割領域ｎ−２のデータを転送する動作も符号化量のパターン数に係わらず１回でよいことになる。

このように、本実施の形態において領域分割部１２０が分割領域のデータを後段のバッファに保持させるための転送動作は、１回で済むようになっている。これにより、データ転送量の増加はなくなり、例えば処理負荷の軽減や符号化処理のさらなる高速化が図られる。

［符号化処理手順例］
図７のフローチャートは、第２の実施の形態における映像符号化装置１００が実行する処理手順例を示している。この図は、上記図６に示した処理タイミングにおいて、１つのフレームを処理する手順を示している。

図７において、ステップＳ２０１〜Ｓ２０５の処理は、図４のステップＳ１０１〜Ｓ１０５と同様となる。そして、ステップＳ２０６において、第Ｎ領域分割部１２０−Ｎは、分割領域ｎ−１のデータを第１符号化部１３０−１に対して転送する。これに応じて、第１符号化部１３０−１は、ステップＳ２０７において、第Ｎ領域分割部１２０−Ｎから転送されたデータを第１サブ符号化部１３２−１に対応するバッファ１３１−１に格納して保持させる。また、同じステップＳ２０７において、第１符号化部１３０−１は、上記のようにバッファ１３１−１に格納したデータを、第２サブ符号化部１３２−２に対応するバッファ１３１−２にコピーして保持させる。

次に、第Ｎ領域分割部１２０−Ｎは、ステップＳ２０８において、分割領域ｎ−２のデータを第２符号化部１３０−２に対して転送する。これに応じて、第２符号化部１３０−２は、ステップＳ２０９において、転送されたデータを、第３サブ符号化部１３２−３に対応するバッファ１３１−３に格納して保持させる。また、第２符号化部１３０−２は、バッファ１３１−３に格納したデータを、第４サブ符号化部１３２−４に対応するバッファ１３１−４にコピーして保持させる。以降のステップＳ２１０〜Ｓ２１５の処理は、図４のステップＳ１１０〜Ｓ１１５と同様となる。

上記図７の処理手順とすることにより、第Ｎ領域分割部１２０−Ｎによる分割領域ｎ−１とｎ−２のデータ転送は、ステップＳ２０６およびＳ２０８により各１回ずつ行われる。つまり、領域分割部１２０による１つの分割領域の転送は、符号化パターン数に係わらず各１回となるようにされている。

＜第３の実施の形態＞
［映像符号化装置の構成］
図８は、第３の実施の形態における映像符号化装置１００の構成例を示している。なお、この図において、図１および図５と同一部分には同一符号を付して説明を省略する。

図８に示す映像符号化装置１００は、符号化処理に対応する構成として、第１符号化部１３０−１および第２符号化部１３０−２を備える。また、第１符号化部１３０−１は、その内部に、第１サブ符号化部１３２−１と第２サブ符号化部１３２−２を備え、第２符号化部１３０−２は、その内部に、第３サブ符号化部１３２−３と第２サブ符号化部１３２−３を備える。この点については、図５と同様である。

ただし、図８の第１符号化部１３０−１は、１つのバッファ１３１Ａ−１のみを備え、第１サブ符号化部１３２−１および第２サブ符号化部１３２−２は、いずれもバッファ１３１Ａ−１からデータを入力する。同様に、第２符号化部１３０−２は、１つのバッファ１３１Ａ−２のみを備え、第３サブ符号化部１３２−３および第４サブ符号化部１３２−４は、バッファ１３１Ａ−２からデータを入力する。つまり、第３の実施の形態において、１つの符号化部１３０におけるバッファ１３１Ａは、複数のサブ符号化部１３０により共有される。

［符号化処理タイミング例］
図９のタイミングチャートは、上記図８に示す第３の実施の形態としての映像符号化装置１００が実行する符号化処理の実行タイミング例を示している。この図において、図３および図５と同様となる処理については説明を省略する。

第１領域分割部１２０−１は、領域分割処理により生成した分割領域１−１および１０２のデータを、それぞれ、第１符号化部１３０−１内のバッファ１３１Ａ−１に転送し、第２符号化部１３０−２内のバッファ１３１Ａ−２に転送する。これにより、バッファ１３１Ａ−１は分割領域ｎ−１のデータを保持し、バッファ１３１Ａ−２は分割領域ｎ−２のデータを保持する。

そして、第１符号化部１３０−１における第１サブ符号化部１３２−１は、バッファ１３１Ａ−１から分割領域ｎ−１のデータを入力して第１の符号化量に対応する符号化処理を実行する。また、同じ第１符号化部１３０−１における第２サブ符号化部１３２−２も、バッファ１３１Ａ−１から分割領域ｎ−１のデータを入力して第２の符号化量に対応する符号化処理を実行する。

また、第２符号化部１３０−２において、第３サブ符号化部１３２−３は、バッファ１３１Ａ−２から分割領域ｎ−２のデータを入力して第１の符号化量に対応する符号化処理を実行する。また、同じ第２符号化部１３０−１における第４サブ符号化部１３２−４も、バッファ１３１Ａ−２から分割領域ｎ−２のデータを入力して第２の符号化量に対応する符号化処理を実行する。そして、第１〜第３領域分割部１２０−１〜第３領域分割部１２０−３は、フレーム順にしたがって巡回的に上記と同様の処理を、順次実行していく。

上記のように分割領域のデータが処理されることにより、第３の実施の形態においては、１つの符号化部１３０において、複数のバッファ１３１の間で分割領域のデータをコピーする処理は行う必要がなくなる。これにより、バッファ１３１間のデータコピーに要する時間が削減されることとなる結果、映像符号化装置１００としての符号化処理の時間をさらに短縮することが可能になる。

［符号化処理手順例］
図１０は、フローチャートは、第３の実施の形態における映像符号化装置１００が実行する処理手順例を示している。この図は、上記図９に示した処理タイミングにおいて、１つのフレームを処理する手順を示している。

図１０におけるステップＳ３０１〜Ｓ３０５の処理は、図７におけるステップＳ２０１〜Ｓ２０５と同様である。そして、ステップＳ３０６において、第Ｎ領域分割部１２０−Ｎは、領域分割処理により生成した分割領域ｎ−１とｎ−２のうち、分割領域ｎ−１のデータを第１符号化部１３０−１に対応するバッファ１３１Ａ−１に転送する。また、第Ｎ領域分割部１２０−Ｎは、ステップＳ３０７において、分割領域ｎ−２のデータを第２符号化部１３０−２に対応するバッファ１３１Ａ−２に転送する。

ステップＳ３０８〜Ｓ３１３は、図７におけるステップＳ２１０〜Ｓ２１５と同様となる。ただし、ステップＳ３０８とＳ３０９の処理にあたり、第１サブ符号化部１３２−１と第２サブ符号化部１３２−２の両者は、バッファ１３１Ａ−１にて保持された分割領域ｎ−１のデータを入力する。同様に、ステップＳ３１０とＳ３１１の処理にあたり、第３サブ符号化部１３２−３と第４サブ符号化部１３２−４の両者は、バッファ１３１Ａ−２にて保持された分割領域ｎ−２のデータを入力する。このようにな手順とされることで、バッファ間で分割領域のデータをコピーすることなく、サブ符号化部１３２に分割領域のデータを受け渡すことができる。

［符号化部の他の構成例］
図１１は、第３の実施の形態において符号化処理に対応する部位についての他の構成例を示している。図１１は、第１符号化部１３０−１において４つの第１〜第４サブ符号化部１３２−１〜１３２−４を備え、第２符号化部１３０−２において同じく４つの第５〜第８サブ符号化部１３２−５〜１３２−８を備えた例が示されている。

この構成は、第１符号化部１３０−１と第２符号化部１３０−２がそれぞれ分割領域ｎ−１とｎ−２に対応するものとしたうえで、１つの分割領域について第１〜第４符号化量の４パターンにより符号化する場合に対応するものとなる。

第１符号化部１３０−１は、４つの第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４と、これらのサブ符号化部１３２に共通に対応する１つのバッファ１３１Ａ−１を備える。同様に、第２符号化部１３０−２は、４つの第５サブ符号化部１３２−５〜第３サブ符号化部１３２−８と、これらのサブ符号化部１３２に共通に対応する１つのバッファ１３１Ａ−２を備える。

第１符号化部１３０−１に転送されてきた第１分割領域のデータは、バッファ１３１Ａ−１にて保持される。そして、第１サブ符号化部１３２−１〜第４サブ符号化部１３２−４は、バッファ１３１Ａ−ａから第１分割領域のデータを入力して、それぞれ、第１符号化量〜第４符号化量による符号化処理を実行する。

第２符号化部１３０−２においても、上記と同様に、第２分割領域のデータがバッファ１３１Ａ−２により保持される。そして、第５サブ符号化部１３２−５〜第８サブ符号化部１３２−８により、それぞれ、第１〜第４符号化量による符号化処理が実行される。

図８においては、１つのバッファ１３１Ａに２つのサブ符号化部１３２が対応する構成となっていた。しかし、バッファ１３１Ａを共有するサブ符号化部１３２はこれに限定されるものではなく、上記図１１に示すように、１つのバッファ１３１Ａに対して、例えば符号化量のパターンに応じた数のサブ符号化部を対応させる構成とすることができる。

＜解像度変換部、領域分割部および符号化部の並列数設定＞
本実施の形態において、解像度変換部１１０、領域分割部１２０およびサブ符号化部１３０の並列数の組み合わせは１つのパターンに限定されるものではなく、適宜変更が可能である。また、例えば映像符号化装置１００がＤＳＰにより実現される場合には、その設定を適宜変更することも可能である。

上記並列数をどのように設定するのかについては多様に考えられるが、その第１例および第２例について、それぞれ、図１２（ａ）と図１２（ｂ）のフローチャートにより説明する。なお、これら図１２（ａ）と図１２（ｂ）に示す処理は、制御部１５０が実行するものとしてみることができる。

図１２（ａ）の第１例について説明する。図１２（ａ）において、制御部１５０は、ステップＳ４０１において、映像符号化装置１００のリソース量に基づいて、同時並行で解像度変換処理および領域分割処理が可能なフレーム数ｉ１を判定する。次に、制御部１５０は、ステップＳ４０２において、ｉ１個の解像度変換部１１０と、同じｉ１個の領域分割部１２０を形成する。

また、制御部１５０は、ステップＳ４０３において、映像符号化装置１００としてのリソース量に基づいて、同時並行で処理が可能な符号化処理部の数ｊ１を判定する。次に、制御部１５０は、ステップＳ４０４において、ｊ１個のサブ符号化部１３０を形成する。これにより、第１〜第ｉ１解像度変換部１１０−１〜１１０−ｉ１、第１〜第ｉ１領域分割部１２０−１〜１２０−ｉ１、第１〜第ｊ１サブ符号化部１３０−１〜１３０−ｊ１を備える映像符号化装置１００が形成される。

次に、図１２（ｂ）の第２例について説明する。第２例では、入力元の映像ソースが分割されている場合を前提とする。４Kや８Kなど、高解像度映像を入力する場合、映像信号が分割されていることがある。実際に４Kカメラの出力としてHD-SDIを４本使って映像ソース４本として出力するものが存在する。制御部１５０は、ステップＳ５０１において、解像度変換部１１０および領域分割部１２０の並列数ｉ２について、入力映像ソース数ｒと所定の自然数ａを利用して（ｒ×ａ）の演算により求める。そして、ステップＳ５０２において、ｉ２個の解像度変換部１１０とｉ２個の領域分割部１２０を形成する。このように、入力ソース数ｒの整数倍による数の解像度変換部１１０を並列に設けることで、この並列に応じた数のフレームの解像度変換処理を同時に実行させることが可能になり、単位フレーム数あたりの解像度変換処理に要する時間が短縮される。

次に、制御部１５０は、ステップＳ５０３において、予め定められている解像度パターンごとの解像度の値に基づいて１フレーム画像における分割領域数を判定する。このことき解像度nにおける分割領域数をｆ_nとする。次に、制御部１５０は、ステップＳ５０４において、サブ符号化部１３０の並列数ｊ２について、上記分割領域数ｆ_nと、解像度ｎの符号化量パターンの数ｇ_ｎとを利用してΣ（ｆ_n×ｇ_n）の演算により求めるようにする。そして、制御部１５０は、ステップＳ５０５において、ｊ２個のサブ符号化部１３０を形成する。これにより、映像符号化装置１００は、第１〜第ｉ２解像度変換部１１０−１〜１１０−ｉ２、第１〜第ｉ２領域分割部１２０−１〜１２０−ｉ２、第１〜第ｊ２サブ符号化部１３０−１〜１３０−ｊ２を備える構成を有することになる。

次に、図１３のフローチャートを参照して、並列数設定の第３例について説明する。この第３例では、解像度変換部１１０、領域分割部１２０および符号化部１３２の並列数をリソース（資源）の数として扱う。ここでのリソースとは、解像度変換部１１０、領域分割部１２０および符号化部１３２に対して割り当て可能な演算器に相当する。以降の説明から理解されるように、第３例の並列数設定によっては、入力映像を圧縮符号化して出力するまでの処理時間が最短となるように動的にリソースの割り当てを行う。なお、制御部１５０および多重化部１４０には固定数によるリソースが予め割り当てられる。

制御部１５０は、ステップＳ６０１において、初期設定として、解像度変換、領域分割および符号化の各処理に割り当てるべきリソース数を示す変数ｉについて「１」を代入する。そのうえで、制御部１５０は、ステップＳ６０２において、事前評価のために、所定単位の映像を入力して、現在のリソース数（ｉ＝１）に対応する各１つの解像度変換部１１０−１、領域分割部１２０−１および符号化部１３２−１により圧縮符号化処理を実行させる。この際に入力する映像の単位は、例えばＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位であるとすれば、１ＧＯＰから数ＧＯＰ程度でよい。

次に、制御部１５０は、ステップＳ６０３において、上記ステップＳ６０２による処理の結果から、解像度変換処理、領域分割処理および符号化処理ごとに、１フレームの処理に１つのリソースが要する処理時間を算出する。ここで算出された１フレームあたりの解像度変換処理の処理時間をｘ１として表し、１フレームあたりの領域分割処理の処理時間をｘ２として表す。また、１フレームにおける１分割領域の符号化処理の処理時間をｘ３として表す。

また１フレームあたりの符号化処理の速度は、ｓ３として表す。

符号化に割り当てたリソース数（符号化処理部１３２の数に相当）が「１」である場合の１フレームあたりの符号化処理に要する処理時間は、１フレームにおける分割領域数をｆとして、（ｘ３×ｆ）により表すことができる。そして、例えば符号化に割り当てるリソース数「ｉ」を割り当てたとした場合、１フレームあたりの符号化処理の処理時間は（ｘ３×（ｆ／ｉ））として表すことができる。

このことは、符号化処理に関して、１フレームあたりの処理時間が最短となる（処理速度が最も高くなる）のは、リソース数ｉに分割領域数ｆを設定した場合であることを意味している。この場合、１フレームにおけるｆ個の分割領域を、ｆ個の符号化部１３２により同時並行して符号化ができるからである。ただし、分割領域数ｆより大きなリソース数を与えた場合には、処理時間はこれ以上高速になることはないが、複数フレームを同時に処理可能になるために、スループット（単位時間あたりに処理可能なデータ量）を向上させることができる。符号化処理において、フレーム数ｙを同時に符号化する場合のスループットは、例えば（ｓ３・ｙ）で表される値に相当する。この際、符号化処理のリソース数ｉは、（ｆ×ｙ）である。

制御部１５０は、ステップＳ６０４において、解像度変換処理、領域分割処理および符号化処理のうち、現在割り当てられているリソース数に応じて求められる処理時間が最長またはスループットの値が最小の処理を、リソース割当対象として選択する。つまり、処理能力が最低のものを選択する。なお、ステップＳ６０３に続いて実行される最初のステップＳ６０４においては、例えば変数ｉが「１」であることに応じて、ステップＳ６０２において求められた１フレームあたりの解像度変換処理の処理時間ｘ１と、１フレームあたりの領域分割処理の処理時間ｓ２と、１フレームあたりの符号化処理の処理時間（ｘ３×ｆ）とを比較する。そして、その値が最大の処理を選択すればよい。

次に、制御部１５０は、ステップＳ６０５において、上記ステップＳ６０４によりリソース割当対象として選択された処理に割り当てるべきリソース数ｉを所定の処理手順にしたがった設定数により増加させる。なお、このステップＳ６０５の処理手順については後述する。そして、制御部１５０は、上記ステップＳ６０５によりリソース数ｉが増加された場合のリソース割当対象処理の処理時間またはスループットを算出し、ステップＳ６０５において、この算出された処理時間またはスループット（処理能力）が、他の２つの処理よりも低い（最低）か否かについて判定する。処理時間については、他の２つよりも多ければ処理能力は最低であることになり、スループットについては、他の２つよりも小さければ処理能力は最低であることになる。

ステップＳ６０７において処理能力が最低であると判定した場合、制御部１５０は、ステップＳ６０５の処理に戻り、さらにリソース数ｉを増加させる。そして、ステップＳ６０７において処理能力が最低ではないと判定すると、制御部１５０は、ステップＳ６０８に進む。

ステップＳ６０８において、制御部１５０は、解像度変換処理、領域分割処理および符号化処理に対して割り当て可能なリソースが残っているか否かについて判定する。ここで、割り当て可能なリソースが残っていると判定した場合には、ステップＳ６０４に戻る。これにより、リソース割当対象は、これまでのリソース数の割り当てによって処理能力が最低ではなくなった処理に代えて、現在において最も処理能力が低い処理が選択されることになる。このようにステップＳ６０４〜Ｓ６０８の処理が繰り返されることで、順次、解像度変換処理、領域分割処理および符号化処理の各処理に対して与えるリソース数が逐次増加されるように設定されていく。そして、ステップＳ６０８において割り当て可能なリソース数が残っていないと判定した段階で、リソース数の設定を完了する。

図１４は、上記図１３のステップＳ６０５としてのリソース割当対象の処理に対するリソース数増加のための処理手順例を示している。先ず、制御部１５０は、ステップＳ７０１において、現在選択されているリソース割当対象の処理は、符号化処理であるか否かについて判定する。ここで、符号化処理ではないと判定した場合、リソース割当対象の処理は、解像度変換処理と領域分割処理のいずれかであることになる。そこで、制御部１５０は、ステップＳ７０２により、現在リソース割当対象となっている解像度変換処理または領域分割処理について、リソース数ｉをインクリメントする。つまり、割り当てるべきリソースを１つ増加する。なお、例えばインクリメントするのに代えて、２以上の一定数を加算していくようにすることも考えられる。

一方、ステップＳ７０１において符号化処理がリソース割当対象であると判定した場合、制御部１５０は、ステップＳ７０３に進む。ステップＳ７０４において、制御部１５０は、符号化処理に対して現在割り当てられているリソース数ｉが、分割領域数ｆより大きいか否かについて判定する。ここで、リソース数ｉが分割領域数ｆ以下であると判定した場合、制御部１５０は、ステップＳ７０２により、リソース数ｉをインクリメントする。この段階では、同時並行で処理が可能な符号化部１３２の数が分割領域数ｆ以下であるので、リソース数ｉが増加されるのに応じて、符号化処理の処理速度が高くなっていく。

これに対して、リソース数ｉが分割領域数ｆを越えていると判定した場合、制御部１５０は、ステップＳ７０４により、割り当て可能なリソース数の残りが、分割領域ｆに所定の自然数αを乗算した（ｆ×α）以上であるか否かについて判定する。ここで、割り当て可能なリソース数の残りが（ｆ×α）以上であると判定した場合、制御部１５０は、ステップＳ７０５において、リソース数ｉに（ｆ×α）を加算する。つまり、符号化部１３２の並列数が分割領域ｆ以上となった段階では、これ以上、処理速度は高くすることはできないが、同時並行処理可能なフレーム数を増加させることでスループットが向上する。そこで、ステップＳ７０５において、分割領域ｆの整数倍によりリソース数ｉを増加させるものである。

一方、ステップＳ７０４において、割り当て可能なリソース数の残りが（ｆ×α）未満であると判定された場合、制御部１５０は、ステップＳ７０６に進む。ステップＳ７０６において、制御部１５０は、リソース数ｉに現在の残っているすべてのリソース数βを加算する。このように処理が行われることで、解像度変換処理、領域分割処理および符号化処理の間で、最も効率の高い圧縮符号化処理が行われるように、リソースの分配が行われる。また、特に符号化処理に関しては、まず処理速度を高く（処理時間を短く）していき、リソース数が分割領域数と同じになった段階で、スループットを高くしていくようにリソース数を増加させていくことができる。

＜解像度変換部と領域分割部の対応関係についての変形例＞
これまでの実施の形態の構成では、解像度変換部１１０と領域分割部１２０は同じ並列数とされたうえで１対１の関係により対応させていた。しかし、１つの解像度変換部１１０に対して２以上の領域分割部１２０を対応させた構成とすることもできる。図１５は、このような構成の例として、第１解像度変換部１１０−１に対して、第１Ａ領域分割部１２０Ａ−１および第１Ｂ領域分割部１２０Ｂ−１の２つが対応する構成が示されている。

ここでは具体例として、第１解像度変換部１１０−１は、解像度変換処理として、４パターンの解像度に応じた第１〜第４解像度フレームのデータを生成するものとする。そして、第１解像度変換部１１０−１は、例えば第１〜第４解像度フレームのうち、第１解像度フレームと第２解像度フレームのデータをバッファ１２１Ａ−１に転送して保持させる。また、第３解像度フレームと第４解像度フレームのデータをバッファ１２１Ｂ−１に転送して保持させる。

第１Ａ領域分割部１２０Ａ−１は、バッファ１２１Ａ−１から第１解像度フレームと第２解像度フレームのデータを入力して領域分割処理を実行する。また、第１Ｂ領域分割部１２０Ｂ−１は、バッファ１２１Ｂ−１から第３解像度フレームと第４解像度フレームのデータを入力して領域分割処理を実行する。このように、１つの解像度変換部１１０に複数の領域分割部１２０を割り当てた構造とすることで、１つの領域分割部１２０が入力する解像度フレームの数を分散させることができる。これにより、例えば１つの領域分割部１２０の処理負荷を軽減させて処理速度の低下を防ぐことができる。

なお、図３などに示した処理タイミングでは、複数の解像度変換部１１０による解像度変換処理と複数の領域分割部１２０による領域分割処理は、それぞれ、入力映像のフレーム周期に応じたタイミングで順次実行されている。しかし、複数の解像度変換部１１０は同時並行で解像度変換処理が可能であり、同じく複数の領域分割部１２０も同時並行で領域分割処理が可能である。したがって、例えば解像度変換処理の処理時間が１フレーム周期よりも長くなる場合には、解像度変換部１１０の間で処理期間が重複するように解像度変換処理を実行していくことができる。領域分割部１２０も同様に、処理時間が１フレーム周期よりも長くなる場合には、領域分割部１２０の間で処理期間が重複するように解像度変換処理を実行していくことができる。このように、解像度変換処理または領域分割処理の処理時間が１フレーム周期よりも長くなる条件では、解像度変換部１１０と領域分割部１２０とで並行処理が行われることで、処理時間の短縮が図られる。

なお、これまでの実施の形態においては、フレーム単位で処理を行うようにしているが、これに限定されるものではなく、例えばＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位で処理を行うようにする場合にも本実施の形態の構成を適用することができる。

また、本実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えることができる。また、これら一連の手順をコンピュータに実行させるためのプログラムまたはそのプログラムを記憶する記録媒体として捉えることができる。この記録媒体としては、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤＤ（ハードディスク）、メモリカード等を挙げることができる。

なお、上述の装置は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００ 映像符号化装置
１１０ 解像度変換部
１１１、１２１、１３１、１４１ バッファ
１２０ 領域分割部
１３０ 符号化部
１４０ 多重化部
１５０ 制御部
２００ フレーム画像
２１０ 分割領域
３００ ファイル
４００ 表示対象領域
５００ 表示映像

Claims (4)

1. 予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換部と、
   予め決められた分割数に応じて前記解像度変換部から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割部と、
   予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化部と、
   前記符号化データを前記入力画像ごとに多重化する多重化部と、
   前記入力画像に対する解像度変換処理を前記解像度変換部に実行させ、前記解像度変換データに対する分割処理を前記領域分割部に実行させ、前記分割データに対する符号化処理を前記符号化部に実行させ、前記符号化データに対する多重化処理を前記多重化部に実行させる制御部とを備え、
   前記解像度変換部は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換部に時間サイクル的に入力され、ｎ個の各解像度変換部は入力されたフレームをいずれも同じ解像度に変換し、
   前記領域分割部も同じくｎ個あり、ｎ個の各領域分割部は１対１に対応する解像度変換部から入力された解像度変換データをいずれも同じ分割数ｍに分割し、
   前記符号化部は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化部はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理部を含み、各符号化部のバッファには前記ｎ個の領域分割部からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理部がバッファからの分割データを決められた符号化レートで並列して符号化する
   ことを特徴とする映像符号化装置。
2. 前記符号化部のバッファは、
   当該複数のサブ符号化処理部が共通して利用するバッファであることを特徴とする請求項１に記載の映像符号化装置。
3. 解像度変換部が、予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換ステップと、
   領域分割部が、予め決められた分割数に応じて前記解像度変換部から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割ステップと、
   前記入力画像において指定される表示対象領域を示す領域情報を入力し、当該表示対象領域を含む前記分割データに対する符号化処理を符号化部に実行させるように制御する制御ステップと、
   前記符号化部が、予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化ステップと、
   前記符号化データを前記入力画像ごとに多重化する多重化ステップと、
   前記解像度変換部は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換部に時間サイクル的に入力され、ｎ個の各解像度変換部は入力されたフレームをいずれも同じ解像度に変換するステップと、
   前記領域分割部も同じくｎ個あり、ｎ個の各領域分割部は１対１に対応する解像度変換部から入力された解像度変換データをいずれも同じ分割数ｍに分割するステップと、
   前記符号化部は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化部はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理部を含み、各符号化部のバッファには前記ｎ個の領域分割部からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理部がバッファからの分割データを決められた符号化レートで並列して符号化するステップと、
   を備えることを特徴とする映像符号化方法。
4. コンピュータを、
   予め決められた解像度に応じて入力画像の解像度を変換し、解像度が変換された解像度変換データを出力する解像度変換手段、
   予め決められた分割数に応じて前記解像度変換手段から入力する前記解像度変換データを分割し、分割された複数の分割データを出力する領域分割手段、
   予め決められた異なる複数の符号化レートに応じた符号化を前記分割データに対して並行して実行し、符号化した前記符号化レートごとの符号化データを出力する符号化手段、
   前記符号化データを前記入力画像ごとに多重化する多重化手段、
   予め決められた符号化パラメータに従い、前記入力画像に対する解像度変換処理を前記解像度変換手段に実行させ、前記解像度変換データに対する分割処理を前記領域分割手段に実行させ、前記分割データに対する符号化処理を前記符号化手段に実行させ、前記符号化データに対する多重化処理を前記多重化手段に実行させる制御手段、
   前記解像度変換手段は複数（ｎ個）あり、前記入力画像はフレーム単位に時刻順に、ｎ個の中のいずれか１つの解像度変換手段に時間サイクル的に入力され、ｎ個の各解像度変換手段に入力されたフレームをいずれも同じ解像度に変換させる手段、
   前記領域分割手段も同じくｎ個あり、ｎ個の各領域分割手段に１対１に対応する解像度変換手段から入力された解像度変換データをいずれも同じ分割数ｍに分割させる手段、
   前記符号化手段は領域の分割数ｍに応じてｍ個あり、ｍ個の各符号化手段はいずれも同じ複数の符号化レートを扱い、扱う符号化レートに応じた符号化をそれぞれ実行する複数のサブ符号化処理手段を含み、各符号化手段のバッファには前記ｎ個の領域分割手段からの同じ領域の分割データが前記入力画像の入力順に対応するよう入力され、各サブ符号化処理手段にバッファからの分割データを決められた符号化レートで並列して符号化させる手段、
   として機能させるためのプログラム。

Images