JP5685682B2 - 映像信号の符号化システム及び符号化方法 - Google Patents

Description

本発明は、映像信号の符号化システム及び符号化方法に関するものである。特に、本発明は、複数のタイルストリームにおける各MBラインを、各MBラインの単位で任意に接続して、単一の結合ビットストリームを構成するために好適な符号化技術に関するものである。

動画像情報の高解像度化、広視野化、高機能化に対して、数多くの研究開発が行われてきた。例えば、下記非特許文献１は、複数のビデオカメラや全方位カメラから取得される映像をタイル上に分割、符号化し、ユーザが要求する視点位置のタイル映像だけを復号、表示するシステムを提案している。さらに、下記非特許文献２は、H.264/AVCの拡張規格であるMulti-View Codingに基づき、複数のビデオカメラから得られた高解像度パノラマ映像へのアクセスを実現するシステムを提案している。この技術においても、送信側（サーバ側）では、入力映像を分割して符号化を行い、ユーザ（クライアント端末）が要求する視聴領域に応じて複数の符号化ストリームを伝送する。ユーザ側（つまりクライアント端末）では、この符号化ストリームを復号して、パノラマ映像の表示を行うことができる。なお、以下では、クライアント端末のことを単にクライアントと称することがある。

しかしながら、前記した非特許文献１及び２の技術では、いずれも、クライアントにおいて、複数ストリームを同時復号及び同期表示する必要がある。非特許文献１では伝送方式については言及していないものの、非特許文献２においては、複数ストリームの同時取得のための複数セッション制御も必要となる。これらは、クライアントにおける処理の複雑性を増加させるため、特にスマートフォン等の計算資源の限られた環境においては、マルチビジョンサービスの利用が困難になると考えられる。

そこで、複数ストリームの伝送を行わず、サーバ側で複数ストリームを結合して単一ストリームを生成した後、この単一ストリームの伝送を行うシステム（下記非特許文献３及び特許文献１）が提案されている。以降、結合前の複数ストリームをタイルストリームと呼び、結合後の単一ストリームを結合ストリームと呼ぶものとする。

非特許文献３及び特許文献１の技術では、配信サーバから取得した結合ストリームのみをクライアントで復号及び表示する。このため、この技術では、複数ストリームの同時復号、復号された映像信号の同期表示というような複雑な処理を、クライアント側において回避することが可能となる。これにより、クライアントシステムでは、従来からの映像再生システムを利用して、複数タイルの映像を同時再生することが可能となる。

MPEG-２あるいはMPEG-４の規格を前提とすると、結合ストリーム生成は、あるタイルストリームのフレームのMB（マクロブロック）ラインの右端と、別のタイルストリームのフレームのMBラインの左端とを結合していくことにより達成できる。このような結合をしても、MPEG-２あるいはMPEG-４の規格であれば、特段の矛盾は生じない。

しかしながら、符号化方式によっては、前記のような単純な結合を行うと、各々のMB（あるいはMBに含まれるブロックやパーティション）で参照している情報の不一致により、画質劣化（いわゆる誤差）が発生する場合がある。

以下、標準符号化規格であるH.264/AVCベースラインプロファイルに準拠した符号化の例を示す。H.264/AVCでは、イントラ（画面内）予測符号化として、「４ｘ４画素ブロック単位で隣接画素を参照する４ｘ４画面内予測符号化」と「１６ｘ１６画素ブロック単位で隣接画素を参照する１６ｘ１６画面内予測符号化」のいずれかを選択することができる。例えば「４ｘ４画面内予測符号化」では、当該４ｘ４画素ブロックの符号化のために、隣接する４ｘ４画素ブロックを参照するモードが存在する。そのようなモードを用いてタイルストリームが符号化されることを想定すると、タイルストリーム結合時において、タイルストリーム符号化時と異なるブロックどうしが隣接してしまうと、画素の参照情報不一致に起因する画質劣化が発生することになる。このような不整合は、符号化における他の場面（例えばDCT後の非ゼロ係数の個数についての可変長符号化時など）でも発生しうる。

非特許文献３では、この問題を回避するために、予測差分情報の修正を行う方法を提案している。具体的には、不一致が生じる一部のMBを画素領域まで復号し、画素信号の修正（当該MBの可変長復号、係数の逆量子化、逆DCT、隣接画素値からの再予測による残差信号の再生成、DCT、量子化）及び隣接MBからの予測情報の修正を行っている。

[1] S.Heymann, A. Smolic, K. Muller, Y. Guo, J. Rurainski, P. Eisert, and T. Wiegand,"Representaion, Coding and Interactive Rendering or High-Resolution PanoramicImages and Video using MPEG-4," Proc. Panoramic Photogrammetry Workshop,Berlin, Germany, Feb. 2005. [2] H.Kimata, S. Shimizu, Y. Kunita, M. Isogai and Y. Ohtani, "Panorama video codingfor user-driven interactive video application," IEEE International Symposium onConsumer Electronics (ISCE2009), Kyoto, 2009. [3] N.Uchihara and H. Kasai, "Fast H.264/AVC stream joiner for interactive freeview-area multivision video," IEEE Transactions on Consumer Electronics,vol.57, no.3, pp.1311-1319, August 2011. [4]E.Kaminsky, D.Grois, O.Hadar, "Efficient real-time video-in-video insertioninto a pre-encoded video stream for the H.264/AVC," IEEE InternationalConference on Imaging Systems and Techniques (IST), pp.436-441, 1-2 July 2010.

[5] 特開２０１１−２４０１８号公報

実環境におけるサービス提供を想定した場合、配信サーバは多数のクライアントからの要求を処理する必要があることから、配信サーバの負荷を減らして、高速化を図る必要がある。しかしながら、非特許文献３における前記した予測差分情報の修正処理は、複数ストリームの一部復号処理を伴うため、サーバでの処理量が増加する。また非特許文献４は、概略、1つの映像の画面内に1つの異なる映像を重ねるVideo-in-Videoに関する技術である。この技術では、これら二つの映像の重ね合わせ処理において、二つの符号化ビットストリームの復号処理を極力抑制するために、符号化モードの制御や符号化に関わる様々な情報を別ファイルに保存する方法を採用している。しかしながら、前記重ね合わせ処理において動きベクトルや非ゼロ係数の再計算処理及び再符号化処理を想定しているため、これによるサーバでの処理が増加するという課題がある。

本発明は、前記の状況に鑑みてなされたものである。本発明の目的の一つは、映像タイルストリームの符号化方式を工夫することにより、結合ストリームを、サーバへの負荷を抑えつつ、生成することができる技術を提供することである。本発明の他の目的は、映像タイルストリームにおけるMBラインを任意に接続して単一ビットストリームを構成する技術を提供することである。

前記した課題を解決する手段は、以下の項目のように記載できる。

（項目１）
複数の映像タイルストリームにおける各MBラインを、前記各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、前記映像タイルストリームの符号化を行うための符号化システムであって、
映像信号受付部と、符号化処理部と、映像タイルストリーム出力部とを備えており、
前記映像信号受付部は、符号化対象となる映像信号を受け付けるものであり、
前記符号化処理部は、適宜の予測参照情報を用いて、前記映像信号を符号化することによって、映像タイルストリームを生成する構成となっており、
かつ、前記符号化処理部は、前記符号化において、前記映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる構成とされており、
前記ストリーム出力部は、前記符号化処理部での符号化によって得られた前記映像タイルストリームを出力する構成となっている
ことを特徴とする符号化システム。

（項目２）
前記予測参照情報制限方式とは、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている
項目１に記載の符号化システム。

（項目３）
前記予測参照情報制限方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）前記映像信号を構成するフレームを、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードのうちのいずれかで符号化する処理；
（２）フレーム内予測符号化されるフレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する処理。

（項目４）
前記予測参照情報固定方式は、予め設定した値に固定された予測情報を用いる方式である
項目１に記載の符号化システム。

（項目５）
前記予測参照情報固定方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）前記映像タイルストリームを構成するMBであって、かつ、前記映像タイルストリームのフレームの周縁部分に位置するものうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数を、予め設定した固定値として符号化する処理；
（２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの前記ゼロでない係数の個数を参照するMBの場合には、前記固定値の前記ゼロでない係数の個数を持つ隣接MBが存在すると仮定して、符号化する処理。

（項目６）
前記予測参照情報固定方式は、以下の処理を備える、項目１に記載の符号化システム：
（１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
（２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、前記既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。

（項目７）
前記符号化処理部は、MBライン符号量挿入部を備えており、このMBライン符号量挿入部は、前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、前記符号化時において生成する構成となっている
項目１〜６のいずれか１項に記載の符号化システム。

前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、MBラインの結合時に利用することができる。

（項目８）
項目１〜６のいずれか１項に記載のシステムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムであって、
映像タイルストリーム受付部と、結合処理部と、結合ストリーム出力部とを備えており、
前記映像タイルストリーム受付部は、前記映像タイルストリームを受け取る構成となっており、
前記結合処理部は、以下の処理を行うことで、結合ストリームを生成する構成となっており：
（１）前記映像タイルストリームにおいて、前記MBラインの端部を検出し、かつ、前記MBラインに相当するストリームを取得する処理；
（２）前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBを挿入する処理、ただし、ここで、一部の前記周縁調整用MBは、項目１〜７のいずれか１項に記載の符号化システムで符号化されているものとする；
前記結合ストリーム出力部は、前記結合処理部で生成された前記結合ストリームを出力する構成となっている
結合システム。

ここで、MBラインの端部の検出とは、項目７記載のMBライン符号量挿入部により生成及び埋め込まれたMBラインの符号量を読み取ることによりMBラインの端部を検出する処理を含む。

（項目９）
複数の映像タイルストリームにおける各MBラインを、前記各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うための符号化方法であって、
（１）符号化対象となる映像信号を受け付けるステップと、
（２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
（３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えており、
前記映像情報の符号化においては、前記映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように前記予測参照情報制限方式又は前記予測参照情報固定方式を用いる構成とされている
ことを特徴とする符号化方法。

（項目１０）
項目９に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。

（項目１１）
項目１〜７のいずれか１項に記載のシステムによって符号化されたタイルストリームを構成するMBラインに相当するストリームを結合して生成されたデータ構造であって
前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBが挿入されており、
少なくとも一部の前記周縁調整用MBは、項目１〜７のいずれか１項に記載の符号化システムで符号化されている
データ構造。

本発明によれば、結合ストリームを生成するサーバなどの処理器の負荷を抑えることができる。また、本発明によれば、映像タイルストリームにおけるMBラインを任意に接続して単一ビットストリームを構成することができる。

本発明の一実施形態における符号化システム及び結合システムを組み込んだ映像提供システムの概略的な構成を示すブロック図である。 本発明の一実施形態におけるタイルストリーム符号化部の概略的な構成を示すブロック図である。 本発明の一実施例における符号化処理部の概略的な構成を示すブロック図である。 本発明の一実施例における結合ストリーム生成部の概略的な構成を示すブロック図である。 図１の映像提供システムの全体的な動作を説明するためのフローチャートである。 本実施形態における符号化処理を説明するためのフローチャートである。 本実施形態における符号化モード決定処理を説明するためのフローチャートである。 本実施形態における動き探索・補償の処理を説明するためのフローチャートである。 パーティションのサイズを説明するための説明図である。 パーティションにおける動きベクトルの符号化を説明するための説明図である。 本実施形態におけるイントラ予測モード決定の処理を説明するための説明図である。 図１１の処理において採用されるイントラ予測モードを説明するための説明図である。 本実施形態における係数調整の処理を説明するためのフローチャートである。 本実施形態における可変長符号化の処理を説明するためのフローチャートである。 タイルストリームのフレームの集合によって結合ストリームのフレームが形成される様子を説明するための説明図である。 本実施形態における結合ストリームの生成処理を説明するためのフローチャートである。 結合ストリームのフレームの周囲に周縁調整用MBを挿入する様子を説明するための説明図である。 周縁調整用MBの符号化条件を説明するための説明図である。 周縁調整用MBが挿入された結合ストリームのデータ構造を説明するための説明図である。 MBライン符号量を挿入する手順を説明するためのフローチャートである。

以下、添付図面を参照しながら、本発明の実施形態に係る符号化システムについて説明する。

（本実施形態の構成）
まず、本実施形態の符号化システムが使用される映像信号提供システム全体の概略的構成を、図１を参照しながら説明する。

このシステムは、映像入力部１と、サーバ２と、クライアント端末３と、ネットワーク４とから構成されている。

（映像入力部）
映像入力部１は、カメラ１１あるいは外部映像配信サーバ１２を備えている。カメラ１１としては、高精細の動画像を取得できるものが好ましい。外部映像配信サーバ１２には、既に符号化された映像ビットストリームが蓄積されており、サーバ２は要求に応じてサーバ１２から映像ビットストリームを取得できるものである。映像入力部１としては既存のカメラあるいは映像配信サーバを利用できるので、これ以上詳しい説明は省略する。

（サーバ）
サーバ２は、タイルストリーム符号化部２１と、ビットストリーム群蓄積部２２と、結合ストリーム生成部２３と、クライアントステータス管理サーバ２４と、結合ストリーム送信部２５と、映像ストリーム復号部２６とを備えている。

映像ストリーム復号部２６は、外部映像配信サーバ１２から送られた映像ビットストリームを復号して映像信号を生成し、この映像信号をタイルストリーム符号化部２１に送るものである。なお、ここで映像信号とは、未圧縮の信号を意味する。

タイルストリーム符号化部２１は、本発明の符号化システムの一例に対応する機能要素である。タイルストリーム符号化部２１は、カメラ１１あるいは映像ストリーム復号部２６から、符号化対象である映像信号を受け取るようになっている。本実施形態のタイルストリーム符号化部２１は、後述するように、複数の映像タイルストリームにおける各MBラインを、各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うようになっている。なお、本明細書においてMBとはマクロブロックの意味である。

タイルストリーム符号化部２１は、図２に示すように、映像信号受付部２１１と、符号化処理部２１２と、映像タイルストリーム出力部２１３とを備えている。

映像信号受付部２１１は、映像入力部１のカメラ又は映像ストリーム復号部２６から送られた、符号化対象となる映像信号を受け付けるものである。

符号化処理部２１２は、適宜の予測参照情報を用いて、映像信号を符号化することによって、映像タイルストリームを生成する構成となっている。さらに、符号化処理部２１２は、符号化において、映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報制限方式又は予測参照情報固定方式を用いる構成とされている。予測参照情報制限方式又は予測参照情報固定方式については後述する。さらに、符号化処理部２１２は、符号化において、MBライン符号量挿入方式を用いる構成とされている。MBライン符号量挿入方式とは、各々の映像タイルストリームの結合処理を高速に実行するために、全てのフレームにおける各々のMBライン符号列のビット量（この明細書ではMBライン符号量と称する）をストリーム中に保持する方式である。但し、前記MBライン符号量は、タイルストリーム中に保持せず、別のファイルや情報として保持することも可能である。

ここで、本実施形態における予測参照情報制限方式とは、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている。

より具体的には、本実施形態における予測参照情報制限方式は、以下の処理を備える：
（１）映像信号を、フレーム毎に、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードで符号化し、フレーム内予測フレームは周期的あるいは非周期的に挿入する；
（２）かつ、フレーム内予測フレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する。

予測参照情報制限方式の具体例は後述する。

本実施形態における予測参照情報固定方式は、予め設定した値に固定された予測情報を用いる方式である。

より具体的には、予測参照情報固定方式は、以下の処理を備える：
（１）映像タイルストリームを構成するMBであって、かつ、映像タイルストリームのフレームの周縁部分に位置するものうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数（後述の非ゼロ係数個数）を、予め設定した固定値として符号化する処理；
（２）映像タイルストリームのフレームの周縁部分に隣接すべきMBのゼロでない係数の個数を参照するMBの場合には、固定値の「ゼロでない係数の個数」を持つ隣接MBが存在すると仮定して、符号化する処理。

さらに、本実施形態の予測参照情報固定方式は、以下の処理を備える：
（１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
（２）映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。予測参照情報固定方式の具体例は後述する。

符号化処理部２１２は、図３に示されるように、直交変換部２１２１ａ、量子化部２１２１ｂ、係数調整部２１２２、可変長符号化部２１２３、逆量子化部２１２４ａ、逆直交変換部２１２４ｂ、フレームメモリ２１２５、フレーム位置及びMB位置管理部２１２６、符号化モード決定部２１２７、動き探索・補償部２１２８、イントラ予測モード決定部２１２９、MBライン符号量挿入部２１２９１を備えている。これらのうち、直交変換部２１２１ａ、量子化部２１２１ｂ、逆量子化部２１２４ａ、逆直交変換部２１２４ｂ、フレームメモリ２１２５の構成及び動作は、従来の（例えばH.264における）ものと同様でよいので、詳しい説明は省略する。残る各機能要素の動作については、後述の符号化処理方法の説明において詳しく述べる。

タイルストリーム出力部２１３は、符号化処理部２１２での符号化によって得られた映像タイルストリームを、ビットストリーム群蓄積部２２に出力する構成となっている。

ビットストリーム群蓄積部２２は、タイルストリーム符号化部２１で生成された映像タイルストリームを蓄積する部分である。ビットストリーム群蓄積部２２は、結合ストリーム生成部２３からの要求に応じて、映像タイルストリームの一部である所定のMBビットストリーム列（映像タイルストリーム）を、結合ストリーム生成部２３に送ることができるようになっている。

結合ストリーム生成部２３は、タイルストリーム符号化部２１によって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムの一例である。結合ストリーム生成部２３は、図４に示すように、映像タイルストリーム受付部２３１と、結合処理部２３２と、結合ストリーム出力部２３３とを備えている。

映像タイルストリーム受付部２３１は、ビットストリーム群蓄積部２２から映像タイルストリームを受け取る構成となっている。

結合処理部２３２は、周縁調整用MB情報挿入部２３２１と、MBライン符号量読み取り部２３２２と、MBライン抽出部２３２３と、結合ストリームヘッダ情報生成／挿入部２３２４とを備えている。

周縁調整用MB情報挿入部２３２１は、結合ストリームを生成するために、以下の処理を行う：
・映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、少なくともMBラインの端部に、周縁調整用MBを挿入する処理。ただし、ここで、周縁調整用MBは、前記した符号化システムで符号化されている。

MBライン符号量読み取り部２３２２は、符号化処理部２１２のMBライン符号量挿入部２１２９１により挿入されたMBライン符号量を読み込む部分である。MBライン符号量を読み込むことにより、MBラインの端部を高速に検出することができる。

MBライン抽出部２３２３は、MBライン符号量読み取り部２３２２により取得されたMBライン符号列のビット量の分だけ、タイルストリームから符号列の抽出を行う処理を行う。それにより、MBライン符号列ビット量を得るのに本来必要な可変長復号処理を回避することが可能となる。但し、当然ながら可変長復号処理を行なうことで前記MBライン符号列のビット量を用いずに符号列を抽出することも可能である。

結合ストリームヘッダ情報生成／挿入部２３２４は、結合ストリームのためのヘッダ情報を生成して挿入するものである。結合ストリームヘッダの生成や挿入についても、従来の処理と同様でよいので、詳しい説明は省略する。

結合ストリーム出力部２３３は、結合処理部２３２で生成された結合ストリームを出力する構成となっている。生成された結合ストリームの例は後述する。

クライアントステータス管理サーバ２４は、クライアント端末３から送られた要求、例えば、ユーザが視聴を求める映像領域の情報（具体例は後述）を受け取るものである。

結合ストリーム送信部２５は、結合ストリーム生成部２３で生成された結合ストリームを、ネットワーク４を介してクライアント端末３に送るものである。

（クライアント端末）
クライアント端末３は、ユーザがサーバ２に対して必要な指令を送り、あるいは、サーバ２から送られた情報を受信するための端末である。クライアント端末３は、通常、ユーザによって操作されるが、ユーザ操作を必要とせずに自動的に動作するものであってもよい。クライアント端末３としては、例えば、携帯電話（いわゆるスマートフォンを含む）、モバイル・コンピュータ、デスクトップ・コンピュータなどを用いることができる。

（ネットワーク）
ネットワーク４は、サーバ２とクライアント端末３との間での情報の送受信を行うためのものである。ネットワーク４としては、通常は、インターネットであるが、LANやWANなどのネットワークであっても良い。ネットワークとしては、必要な情報の送受信を行えるものであればよく、使用されるプロトコルや物理的な媒体は特に制約されない。

（本実施形態の動作）
次に、図５を主に参照しながら、本実施形態のシステムにおける符号化方法を説明する。

（図５のステップＳＡ−１〜２）
まず、映像入力部１から、サーバ２の符号化処理部２１に映像信号を取り込む。符号化処理部２１での符号化処理の詳細を図６に基づいて説明する。なお、以降の符号化処理は、基本的には、全てMB単位の処理となる。ここで、非特許文献３及び特許文献１で説明されているように、MBによりMBラインが構成され、MBラインによりタイルストリームのフレームが構成され、タイルストリームのフレームにより結合ストリームのフレームが構成される。

（図６のステップＳＢ−１）
符号化処理部２１では、まず、MB毎の符号化モードを決定する。符号化モードとは、フレーム内符号化（いわゆるイントラ符号化）か、フレーム間予測符号化（いわゆるインター符号化）のいずれかである。

符号化モード決定処理アルゴリズムの一例を図７に示す。

（図７のステップＳＣ−１）
まず、処理対象MBが属するフレームがリフレッシュフレームであるか否かを判定する。本判定は、フレーム位置及びMB位置管理部２１２６から得られる処理フレーム数を利用する。すなわち、フレーム位置及びMB位置管理部２１２６は、その内部にフレーム数及びMB数を処理毎にカウントする変数を保持しており、この変数を参照することにより、処理対象のフレーム数とMB数とを取得できるようになっている。そして、どのタイミングのフレームをリフレッシュフレームとすべきかについては、符号化処理部２１において予め把握しているので、処理対象のフレーム数と既定のタイミング情報とを用いて、リフレッシュフレームの判定を行うことができる。また、リフレッシュフレームは、通常、周期的に（つまり所定の時間間隔毎に）挿入されるが、周期性は必須ではない。

（図７のステップＳＣ−２）
ステップＳＣ−１での判定がYesであったとき（つまりリフレッシュフレームの場合）、当該MBはフレーム内符号化すべきものと決定する。

（図７のステップＳＣ−３）
ステップＳＣ−１での判定がNoであったときは、当該MBについてはフレーム間予測符号化すべきものと決定する。

以上のアルゴリズムにより、各MBの符号化モードを決定することができる。

（図６のステップＳＢ−２）
ついで、動き探索・補償部２１２８による、動き探索・補償の手法を、図８を主に参照しながら説明する。

ここでの説明の前提として、H.264における動き探索・補償の概要を説明する。H.264では、MBの中の「パーティション」と呼ばれる画素の区切りを単位として、動き探索・補償を行っている。H.264において、パーティションの画素サイズは、１６×１６、８×１６、１６×８、８×８、４×８、８×４、４×４がある（図９参照）。

そして、H.264において、図１０（ａ）に示すパーティションＥが保持する動きベクトル情報は、隣接するパーティションＡ、Ｂ、Ｃが保持する動きベクトルの中央値との差分値として符号化される。また、図１０（ｂ）に示すように、隣接するパーティションのサイズが異なっていてもよく、この場合の符号化方法も前記と同様である。

（図８のステップＳＤ−１）
初期化処理としてフラグを０とする。以降の処理では、フレーム位置及びMB位置管理部２１２６から得られたMB位置を基に処理MBがフレームのどの位置に属するかを判定する。

（図８のステップＳＤ−１−１〜ＳＤ−１−３）
ついで、処理対象であるパーティションが属するMBが、フレームの左端のものかどうかを判定する。

判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）左端のものかどうかを判定する。結果がYesであればフラグを１とする。

（図８のステップＳＤ−２〜４）
ステップＳＤ−１−１での判定結果がNoであったとき、処理対象であるパーティションが属するMBが、フレームの右端のものかどうかを判定する。

判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）右端のものかどうかを判定する。結果がYesであればフラグを１とする。

（図８のステップＳＤ−５〜７）
ステップＳＤ−２での判定結果がNoであったとき、処理対象であるパーティションが属するMBが、フレームの下端のものかどうかを判定する。

判定結果がYesであれば、次に、当該パーティションが、MB中において（すなわちフレームにおいて）下端のものかどうかを判定する。結果がYesであればフラグを１とする。

（図８のステップＳＤ−８〜９）
MBに付されたフラグが１ではない（つまり０のままである）ときは、フレーム内のブロック情報を参照するよう予測参照情報の制限を行い、フレームメモリから得られた前フレームの画素値を基に動き探索を行う。本手法は予測参照情報制限方式の一例である。

具体的に、「フレーム内のブロック情報を参照するよう予測情報の制限を行うこと」とは、動きベクトルの探索範囲をフレーム内とするという制限を設けることで実現される。なお、動きベクトルの探索範囲の制限は文献（特開２０１１−５５２１９号公報の００７４〜００８４段落）でも指摘されている。しかし、この文献では、エラーの伝搬を抑制することを目的に、エラー修正を行ったMBラインのみを動きベクトル探索制限範囲とすることで、それ以外のエラーの含有している可能性のある領域において参照しないよう制御している。これに対して、本実施形態では、動きベクトル探索制限範囲を、対象MBライン内ではなく、フレーム内としている。

（図８のステップＳＤ−１０）
ステップＳＤ−８での判定結果がYesであれば、固定動きベクトル値を設定する。すなわち、システム側に保存されている固定値を取り出す。固定動きベクトル値の設定は、予測参照情報固定方式の一例に対応する。具体的には、前フレームの同じ箇所を参照することとする（動きベクトルが(0、0)として固定する場合）。

（図８のステップＳＤ−１１）
ついで、動き探索・補償部２１２８は、探索された動きベクトル値又は固定された動きベクトル値を用いて、動き補償処理を行う。この動き補償処理自体は、H.264での通常処理と同様で良いので、詳しい説明は省略する。

前記したアルゴリズムでは、「タイルストリームのフレームの右端、左端又は下端にあるために、隣接するパーティションから参照される可能性のあるパーティションの動きベクトル値」を固定値とすることができる。このようにすれば、隣接するMBが符号化時と結合時とで異なる場合でも、隣接するMBの内容に影響されずに、正しい復号を行うことが可能となる。

（図６のステップＳＢ−３）
つぎに、イントラ予測モード決定部２１２９での処理アルゴリズムを、図１１を参照しながら説明する。

（図１１のステップＳＥ−１）
まず、イントラ予測モード決定部２１２９は、MBの位置に応じて、図１２に示す予測モードを設定する。図１２に示すように、このモードでは、映像タイルストリーム内左端の複数のMBにおいては、各MBの上に接するMBの画素値を参照する予測モードを用い、上端の複数のMBにおいては、各MBの左に接するMBの画素値を参照する予測モードを用いる。また右端MBにおいては、「右上のMBから予測を行う二つのモード（図１２参照）以外の予測モード」を用いる、さらに、同フレーム内の左上端のMBにおいては、他のどのMBも参照しない予測モード（IPCMモード）を用いる。このような予測モードの制限は、予測参照情報制限方式の一例に対応する。このように設定することで、隣接するフレームのMBの値を参照せずに符号化できるので、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が異なったとしても、正しい復号が可能となる。

（図１１のステップＳＥ−２）
ステップＳＥ−１で設定された予測モードに従って「すでに符号化及び復号の行われた隣接画素信号」及び「フレームメモリから取得される前のフレームの画素信号」のいずれかから予測参照画素値を生成し予測参照画素値を出力する。この処理は、通常のH.264での処理と同様で良いので、詳しい説明は省略する。

（図６のステップＳＢ−４及びＳＢ−５）
ついで、前記したステップＳＢ−２及びＳＢ−３の処理の結果を利用して、入力信号との予測差分信号を生成する。さらに、直交変換及び量子化を行う。予測差分信号の生成、直交変換及び量子化の手法は、通常のH.264での処理と同様で良いので、詳しい説明は省略する。

（図６のステップＳＢ−６）
ついで、係数調整部２１２２及び可変長符号化部２１２３（図３参照）により、可変長符号化を行う。この可変長符号化においては、通常の可変長符号化処理の前に、係数調整のための処理を行う。そこで、以下の説明では、まず、図１３に基づいて係数調整処理を説明し、その後に、図１４に基づいて可変長符号化処理を説明する。

（図１３のステップＳＦ−１）
係数調整対象ブロックをMB位置及びその中のブロック位置に基づき判定するため、そのフラグを０とする。ここで、MBの位置情報は、フレーム位置及びMB位置管理部２１２６から取得するものとする。なお、係数調整及び可変長符号化の処理は、MB内の変換係数の集合であるブロック単位で行われる。ブロック単位で処理する点は、H.264での通常の処理と同様なので詳しい説明は省略する。

（図１３のステップＳＦ−２〜ＳＦ−４）
処理対象であるMBがフレームの右端にある場合は、処理ブロックがブロックの右端（つまりフレームの右端）にあるかどうかを判定し、Yesであればフラグを１とする。

（図１３のステップＳＦ−５〜ＳＦ−７）
ステップＳＦ−５での判定がNoであったときは、ステップＳＦ−５に進む。ここで、処理対象であるMBがフレームの下端にある場合は、処理ブロックがブロックの下端（つまりフレームの下端）にあるかどうかを判定し、Yesであればフラグを１とする。

（図１３のステップＳＦ−８）
その後、当該MBにおけるフラグが１であるかを判定し、Noであれば可変長符号化処理に移る。

（図１３のステップＳＦ−９〜１０）
ステップＳＦ−８での判定結果がYesであれば、当該ブロックにおける非ゼロ係数個数と、予め設定されている（すなわちシステム側で保持している）非ゼロ係数個数とを比較する。なお、予め設定される非ゼロ係数個数は、YUV信号における輝度空間（Y）と色差空間（UV）とで異なっていてもよい。当該ブロックにおける非ゼロ係数個数が、予め設定されている非ゼロ係数個数より小さいときは、非ゼロ係数個数の高周波成分側から、値０以外を有する係数を挿入する。これにより、非ゼロ係数個数を既定値に合わせることができる。高周波成分側に値０以外を有する係数を挿入しても、画質への影響は小さい。

（図１３のステップＳＦ−１１〜１２）
当該ブロックにおける非ゼロ係数個数が、予め設定されている非ゼロ係数個数より大きいときは、非ゼロ係数個数の高周波成分側から、値０以外を有する係数に代えて、値０を有する係数を挿入する。これにより、非ゼロ係数個数を既定値に合わせることができる。高周波成分側において、値０以外を有する係数に代えて値０を有する係数を挿入しても、画質への影響は小さい。なお、固定の非ゼロ係数個数を用いることは、予測参照情報固定方式の一例に対応する。

（図１４のステップＳＧ−１）
以下、可変長符号化処理の具体例を、図１４を参照しながら説明する。ここで、係数調整済みのMBが、フレーム位置及びMB位置管理部２１２６からの指令により、可変長符号化の対象とされる。まず、対象となるMBの処理の判定に用いるためのフラグ１とフラグ２の値をいずれも０とすることで初期化を行う。

（図１４のステップＳＧ−１−１〜ＳＧ−１−３）
処理対象であるMBがフレームの右端であり、かつ、MB中の処理対象となるパーティションがMBの右端であるときは、フラグ１を１とする。

（図１４のステップＳＧ−２〜６）
処理対象であるMBがフレームの左端であり、かつ、MB中の処理対象となるブロックがMBの左端であるときは、フラグ１を１とする。さらに、処理対象となるパーティションが左端であるときはフラグ２を１とする。

（図１４のステップＳＧ−７〜１１）
処理対象であるMBがフレームの上端であり、かつ、MB中の処理対象となるブロックがMBの上端であるときは、当該フラグ１を１とする。さらに、処理対象となるパーティションが上端であるときは当該MBのフラグ２を１とする。ここで、ステップＳＧ−７での判定結果がNoのときは、通常の可変長符号化処理が行われるので、図示を省略してある。SG-10の判定がNoである場合、ステップSG-12に処理を移す。

（図１４のステップＳＧ−１２）
ついで、スキップ情報及びMB符号化モード等の符号化を行う。この処理は従来のH.264における処理と同様でよいので、詳しい説明は省略する。

（図１４のステップＳＧ−１３〜１５）
ついで、フラグ２が１でなく、かつ、当該MBがフレーム間予測符号化のものである場合は、処理対象のパーティションが保持する動きベクトルを、通常の手法で符号化する。当該MBがフレーム内符号化であるものである場合は、処理をSG-17に移す。

（図１４のステップＳＧ−１６）
ステップＳＧ−１３での判定結果がYesであれば、処理対象であるパーティションの左、上または右上の隣接パーティションを仮定する。そして、そのパーティションが保持する動きベクトルが既定の固定値である前提で、処理対象であるパーティションの動きベクトルを符号化する。ここで、当該パーティションが保持する動きベクトルの符号化時に、図１０記載のように、左、上、及び右上の隣接パーティションから予測参照情報を生成し、それとの差分値が符号化される。そのため、結合時における予測参照情報不一致を抑制するには、これらのパーティションが存在することを仮定し動きベクトルの符号化を行う。

（図１４のステップＳＧ−１７）
ついで、その他のMB情報を符号化する。

（図１４のステップＳＧ−１８〜１９）
ついで、処理対象であるMBのフラグ１が１でなければ、左又は上に隣接するブロックにおける非ゼロ係数個数の平均値に基づいて、可変長テーブルを選択する。この処理は、通常のH.264での処理と同様なので、詳しい説明は省略する。

（図１４のステップＳＧ−２０）
処理対象であるMBのフラグ１が１であれば、存在しない左又は上隣接ブロックを仮定する。その上で、これらの左又は上隣接ブロックの非ゼロ係数個数が固定値である前提で、可変長テーブルを選択する。これにより、タイルストリームのフレームが符号化時と結合時で異なっても、正しい可変長テーブルを選択することができ、正常に可変長復号することができる。

（図１４のステップＳＧ−２１〜２２）
ステップＳＧ−１９又はステップＳＧ−２０の後、可変長符号化処理を行う。但し、出力されるMBラインの最終ブロックの係数列を符号化して得られるビットストリームがバイト単位に区切られるように、ブロック係数列を調整することが好ましい。これ以外の可変長符号化処理は、H.264での通常の処理と同様でよいので、詳しい説明は省略する。このようにして、可変長符号化されたビットストリームを生成することができる。

（図６のステップＳＢ−６−１）
次に、MBライン符号量挿入部２１２９１によるMBライン符号量の挿入手順を、図２０をさらに参照しながら説明する。

（図２０のステップＳＪ−１）
まず、可変長符号化部２１２３により処理されたMBのビット量（以下CurrentMBBitとする）を取得する。

（図２０のステップＳＪ−２〜４）
ついで、当該MBの位置がフレーム左端であれば、処理対象であるMBラインに含まれる全MBのビット量（MBLinebitとする）を０とする。そうでなければ、それまでのMBLinebitにCurrentMBBitを加え、新たなMBLinebitとする。

（図２０のステップＳＪ−５〜６）
処理対象であるMB位置がフレームの右端に達すると、それまでの合算で得られたMBLinebitを、MBライン符号列のヘッダに挿入して、ビットストリームとする。右端に達しない間は、新たなMBを取得する度に、前記したステップＳＪ−１の処理から繰り返す。

（図６のステップＳＢ−７〜９）
ついで、符号化されたビットストリームを、予測のために逆変換し、フレームメモリに格納する。これらの処理は、通常のH.264での処理と同様でよいので、詳しい説明は省略する。ついで、処理手順は、ステップＳＢ−１に戻る。その後、処理すべきMBがなくなれば、処理を終了する。

（図５のステップＳＡ−３）
ついで、タイルストリーム符号化部２１は、前記の手順により生成されたビットストリームを、ビットストリーム群蓄積部２２に蓄積する。

（図５のステップＳＡ−４）
その後、ユーザは、クライアント端末３を利用して、映像領域を指定する。ここで、映像領域の指定について、図１５を参照しながら説明する。前提として、映像を構成するフレームのそれぞれは、タイルストリームのフレーム（分割領域ということがある）Ａｐ００〜Ａｐｍｎから構成される。タイルストリームのフレームＡｐ００〜Ａｐｍｎで構成される映像フレーム全体については、結合ストリームのフレームあるいは全体領域Ａｗと称する。

各タイルストリームのフレームＡｐ００〜Ａｐｍｎは、ＭＢ００〜ＭＢｐｑで表されるMBの組で構成されている。これらの構成は、本発明者らによる前記非特許文献３や特許文献１に記載されているものと同様でよいので、詳しい説明は省略する。

ユーザは、クライアント端末３により、視聴を希望する領域を指定する。例えば、図１５の例では、タイルストリームのフレームＡｐ００と、フレームＡｐ０１とで示される映像領域が指定されたとする。なお、本実施形態では、タイルストリームのフレームのMBのラインの単位で、結合が行われる。ここで、ユーザからの指定は、クライアントステータス管理サーバ２４を介して、結合ストリーム生成部２３に送られる。なお、ユーザによる映像領域の指定方法は、本発明者らによる前記非特許文献３や特許文献１と同様で良いので、これ以上詳しい説明は省略する。例えば、本実施形態では、タイルストリームのフレームのMBのラインの単位で結合が行われるが、視聴領域の指定は、それより狭い範囲であってもよい。

（図５のステップＳＡ−５）
ついで、結合ストリーム生成部２３は、MBラインを結合して結合ストリームを生成する。この生成の手順を、図４及び図１６を主に参照しながら説明する。

（図１６のステップＳＨ−１）
結合ストリーム生成部２３のタイルストリーム受付部２３１は、既に説明した手順で符号化されたビットストリーム群を蓄積しているビットストリーム群蓄積部２２から、ユーザに送信すべきタイルストリーム（本例では、Ａｐ００とＡｐ０１のストリーム）を受け取る。

（図１６のステップＳＨ−２）
ついで、結合処理部２３２の周縁調整用MB情報挿入部２３２１は、結合すべきタイルストリームのフレームの周囲に、周縁調整用MB情報を挿入する。具体的な一例を、図１７に示す。この例では、四つのタイルストリームのフレームを結合する前提となっている。この場合、その下辺を除く三辺に、周縁調整用MB情報を挿入する。ここで、周縁調整用MB情報とは、符号化の整合性を保つためのMBであり、そのデータ内容及び符号化方法は、結合処理部２３２において既知となっている。すなわち、前記したとおり、各タイルストリームのフレームの符号化においては、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が異なったとしても、適切に復号できるアルゴリズムを採用している。その符号化条件と整合するように、タイルストリームのフレームの周囲に周縁調整用MBを挿入する。

本実施形態では、周縁調整用MBの画素値は全て黒色とされている。ただし、他の画素値を採用することは可能である。

また、本実施形態の周縁調整用MBにおける具体的な符号化条件を図１８に示す。図示されているように、周縁調整用MBについての符号化条件は、以下のようになる。

●: intra_16x16のMB モードで、かつ、下端ブロックが固定非ゼロ係数個数となるよう、フレーム内符号化（リフレッシュフレームの場合）；
●: 下端ブロックが固定非ゼロ係数個数でかつ固定動きベクトルとなるようフレーム間符号化（リフレッシュフレーム以外の場合）；
△: 符号化制限なし；
×: Intra_16x16のMB モードで、右端ブロックが固定非ゼロ係数個数となるようフレーム内符号化（リフレッシュフレームの場合）；
×: 右端ブロックが固定非ゼロ係数個数でかつ固定動きベクトルとなるようフレーム間符号化（リフレッシュフレーム以外の場合）；
■: 当該MBの左側に隣接する境界ブロックの非ゼロ係数個数が固定値であることを仮定してフレーム内符号化（リフレッシュフレームの場合）；
■: 当該MBの左側に隣接する境界ブロックの非ゼロ係数個数が固定値であり、かつ境界パーティションが保持する動きベクトルが固定動きベクトルであることを仮定して、当該MB自身も固定動きベクトルをもつようフレーム間符号化（リフレッシュフレーム以外の場合）。

（図１６のステップＳＨ−３〜４）
ついで、ビットストリームのヘッダに書きこまれているMBライン符号量を読取り、このMBライン符号量に基づいて、MBラインを抽出する。このように、予めMBライン符号量をヘッダに書きこんでおくことにより、可変長復号を行わずに、MBラインの端部を検出することができる。このことは、システムへの負荷を減らす上で、実装上重要である。

（図１６のステップＳＨ−５）
ついで、結合ストリームヘッダ情報生成／挿入部２３２４において、結合ストリームについてのヘッダ情報を生成する。生成されたヘッダ情報は、抽出されたMBライン符号列に挿入される。ヘッダが挿入された結合ストリームの概念図を図１９に示す。この例では、先頭から、ＳＰＳ、ＰＰＳヘッダ、スライスヘッダ、上端（第０行目）の周縁調整用MB符号列、第１行目の左端のMB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第１行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第１行目）、第１行目右端の周縁調整用MB符号列、第２行目左端の周縁調整用MB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第２行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第２行目）…第ｍ行目の左端の周縁調整用MB符号列、結合すべきタイルストリームＡｐ００のMBライン符号列（第ｍ行目）、結合すべきタイルストリームＡｐ０１のMBライン符号列（第ｍ行目）、第ｍ行目右端の周縁調整用MB符号列…という構成となる。

ＳＰＳ、ＰＰＳヘッダやスライスヘッダについては、従来と同様の構成とすることができるので、詳しい説明は省略する。

（図１６のステップＳＨ−６）
ついで、生成された結合ストリームを、結合ストリーム出力部２３３から結合ストリーム送信部２５に送る。

以上の処理により、本実施形態の符号化方法は、複数の映像タイルストリームにおける各MBラインを、各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うものとなっている。そしてこの方法は、
（１）符号化対象となる映像信号を受け付けるステップと、
（２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
（３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えたものとなっている。

映像情報の符号化においては、映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように予測参照情報制限方式又は予測参照情報固定方式を用いるものとなっている。

また、本実施形態の結合方法は、前記した本実施形態の符号化システムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合方法となっている。そして、この方法は、
（１）映像タイルストリームにおいて、MBラインの端部を検出し、かつ、MBラインに相当するストリームを取得するステップと；
（２）映像タイルストリームが結合された状態である結合映像ストリームにおけるフレームの周縁となる位置に隣接するように、MBラインの端部に、周縁調整用MBを挿入するステップとを有する。

ここで、一部の周縁調整用MBは、前記した符号化方法で符号化されており、結合映像ストリーム出力部２５は、結合処理部２３２で生成された結合ストリームを出力する構成となっている。

また、図１９に示すデータ構造は、前記した符号化システムによって符号化されたタイルストリームを構成するMBラインに相当するストリームを結合して生成されたデータ構造の一例である。そして、このデータ構造では、映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、MBラインの端部に、周縁調整用MBが挿入されている。さらに、少なくとも一部の周縁調整用MBは、前記した符号化システムで符号化されている。

（図５のステップＳＡ−６）
結合ストリーム送信部２５は、ネットワーク４を介して、クライアント端末３に結合ストリームを送信する。

クライアント端末３においては、結合ストリームを複合して、画像を表示することができる。この復号処理は、通常のH.264の場合と同様で良いので、詳しい説明は省略する。

本実施形態の手法で結合されたストリームは、通常のH.264用に実装されたデコーダにより、正しく復号処理することができる。また、復号された画像データを、クライアント端末３に表示することによって、ユーザに提示することができる。すなわち、本実施形態の手法によれば、タイルストリームを任意に結合した場合であっても、クライアント端末で表示される画質の劣化を防ぐことができる。しかも、本実施形態の手法では、予測参照情報の不整合を修正するために、画素レベルまで復号する必要がないので、サーバ側での処理の負担を軽減することができる。

また、本実施形態の手法では、フレーム内符号化すべきMBについて、予測モードを制限したので、各々タイルストリームのフレームにおいて符号化時と結合時で参照する予測情報が同一となるため、クライアントにおいて正常な復号が可能となる。

以上の符号化手順を採用することで、符号化時に決定されてストリーム中に書込まれた予測情報の不一致を、タイルストームを結合した場合において、回避することができる。このため、本実施形態によれば、例えば、予測情報の不一致を回避するために必要な符号の可変長復号、復号情報の再計算、再計算結果の再符号化の処理が不要となるという利点がある。また、MBライン符号量をヘッダに予め書込むことで、MBラインの端点を検出するための可変長復号などの復号処理を省略することができる。したがって、本実施形態によれば、高速に複数のタイルストリームの結合を実現することが可能となる。

なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、本発明を構成する各機能要素は、離散して存在しても良い。離散して存在する場合には、例えばネットワークを介して必要なデータを受け渡すことができる。各部の内部における各機能も、同様に、離散して存在することが可能である。例えば、グリッドコンピューティングやクラウドコンピューティングを用いて、本実施形態における各機能要素あるいはその一部分を実現することも可能である。

１ 映像入力部
１１ カメラ
１２ 外部映像配信サーバ
２ サーバ
２１ タイルストリーム符号化部
２１ 符号化処理部
２１１ 映像信号受付部
２１２ 符号化処理部
２１２２ 係数調整部
２１２３ 可変長符号化部
２１２４ａ 逆量子化部
２１２４ｂ 逆直交変換部
２１２５ フレームメモリ
２１２６ フレーム位置及び位置管理部
２１２７ 符号化モード決定部
２１２８ 探索・補償部
２１２９ イントラ予測モード決定部
２１３ 映像タイルストリーム出力部
２３１ タイルストリーム受付部
２３２ 結合処理部
２３３ 結合ストリーム出力部
２２ ビットストリーム群蓄積部
２３ 結合ストリーム生成部
２３２１ 情報挿入部
２３２１ 情報蓄積部
２３２２ 可変長復号処理部
２３２３ 抽出部
２３２４ 挿入部
２４ クライアントステータス管理サーバ
２５ 結合ストリーム送信部
３ クライアント端末
４ ネットワーク

Claims (8)

1. 複数の映像タイルストリームにおける各MBラインを、前記各MBライン単位で任意に接続して、単一の結合ストリームを構成可能なように、前記映像タイルストリームの符号化を行うための符号化システムであって、
   映像信号受付部と、符号化処理部と、映像タイルストリーム出力部とを備えており、
   前記映像信号受付部は、符号化対象となる映像信号を受け付けるものであり、
   前記符号化処理部は、適宜の予測参照情報を用いて、前記映像信号を符号化することによって、映像タイルストリームを生成する構成となっており、
   かつ、前記符号化処理部は、前記符号化において、前記映像タイルストリームにおける各MBラインを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように、予測参照情報固定方式を用いる構成とされており、
   前記映像タイルストリーム出力部は、前記符号化処理部での符号化によって得られた前記映像タイルストリームを出力する構成となっており、
   さらに、前記予測参照情報固定方式は、以下の処理を備えている、符号化システム：
   （１）前記映像タイルストリームを構成するMBであって、かつ、前記映像タイルストリームのフレームの周縁部分に位置するもののうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数を、予め設定した固定値として符号化する処理；
   （２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの前記ゼロでない係数の個数を参照するMBの場合には、前記固定値の前記ゼロでない係数の個数を持つ隣接MBが存在すると仮定して、符号化する処理。
2. さらに、前記符号化処理部は、予測参照情報制限方式を用いており、
   前記予測参照情報制限方式は、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBが保持する符号化情報の組み合わせに依存しないように、符号化情報を制限された予測方式とされている
   請求項１に記載の符号化システム。
3. さらに、前記符号化処理部は、予測参照情報制限方式を用いており、
   前記予測参照情報制限方式は、以下の処理を備える、請求項１に記載の符号化システム：
   （１）前記映像信号を構成するフレームを、フレーム内予測符号化とフレーム間予測符号化の二種類の符号化モードのうちのいずれかで符号化する処理；
   （２）フレーム内予測符号化されるフレーム内の複数のMBにおいては、異なる映像タイルストリームにおけるMBライン間で、相互に隣接するMBの内容に依存しない画素値を参照する予測モードを用いて符号化する処理。
4. 前記予測参照情報固定方式は、さらに以下の処理を備える、請求項１に記載の符号化システム：
   （１）映像タイルストリームのフレームの周縁部分に位置するMBの内、少なくとも一部のMBにおいて、MBが保持する動きベクトルを既定の動きベクトルに固定してフレーム間予測符号化を行う処理；
   （２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの動きベクトルを参照するMBの場合には、前記既定の動きベクトルを持つ隣接MBが存在すると仮定して、フレーム間予測符号化を行う処理。
5. 前記符号化処理部は、MBライン符号量挿入部をさらに備えており、このMBライン符号量挿入部は、前記映像タイルストリーム中の前記MBラインの位置を特定するための付加情報を、前記符号化時において生成する構成となっている
   請求項１〜４のいずれか１項に記載の符号化システム。
6. 請求項１〜４のいずれか１項に記載のシステムによって符号化された映像タイルストリームを構成するMBラインを結合するための結合システムであって、
   映像タイルストリーム受付部と、結合処理部と、結合ストリーム出力部とを備えており、
   前記映像タイルストリーム受付部は、前記映像タイルストリームを受け取る構成となっており、
   前記結合処理部は、以下の処理を行うことで、結合ストリームを生成する構成となっており：
   （１）前記映像タイルストリームにおいて、前記MBラインの端部を検出し、かつ、前記MBラインに相当するストリームを取得する処理；
   （２）前記映像タイルストリームが結合された状態である結合ストリームにおけるフレームの周縁となる位置に隣接するように、前記MBラインの端部に、周縁調整用MBを挿入する処理、ただし、ここで、一部の前記周縁調整用MBは、請求項１〜５のいずれか１項に記載の符号化システムで符号化されているものとする；
   前記結合ストリーム出力部は、前記結合処理部で生成された前記結合ストリームを出力する構成となっている
   結合システム。
7. 複数の映像タイルストリームにおける各MBラインを、前記各MBラインの単位で任意に接続して、単一の結合ストリームを構成可能なように、映像タイルストリームの符号化を行うための符号化方法であって、
   （１）符号化対象となる映像信号を受け付けるステップと、
   （２）適宜の予測参照情報を用いて、前記映像信号を符号化することによって、タイルストリームを生成するステップと、
   （３）符号化によって得られた前記映像タイルストリームを出力するステップとを備えており、
   前記映像情報の符号化においては、前記映像タイルストリームにおけるフレームの各MBラインで構成されるストリームを任意に接続しても信号の予測関係の不一致により発生する誤差を生じないように予測参照情報固定方式を用いる構成とされており、
   さらに、前記予測参照情報固定方式は、以下の処理ステップを備えている、符号化方法：
   （１）前記映像タイルストリームを構成するMBであって、かつ、前記映像タイルストリームのフレームの周縁部分に位置するもののうち、少なくとも一部のMBにおいて、MBにおける少なくとも一部の輝度係数列及び色差係数列のゼロでない係数の個数を、予め設定した固定値として符号化するステップ；
   （２）前記映像タイルストリームのフレームの周縁部分に隣接すべきMBの前記ゼロでない係数の個数を参照するMBの場合には、前記固定値の前記ゼロでない係数の個数を持つ隣接MBが存在すると仮定して、符号化するステップ。
8. 請求項７に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。