JP2014183353A - 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム - Google Patents

Abstract

【課題】クライアント端末の処理能力やネットワークの伝送速度が十分でない場合でも、ユーザの視聴体験を向上させる映像処理装置を提供する。
【解決手段】第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、を備える、映像処理装置が提供される。
【選択図】図１

Description

本開示は、映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システムに関する。

動画像を再生する際に、画質を向上させて再生するための技術が多く提案されている。例えば特許文献１などには、再生される動画像単体の符号化情報や画素情報を解析して、再生される動画像の画質を向上させる技術が開示されている。また特許文献２などには、異なる複数の動画を用いてフレーム補間を行うことで、再生される動画像の画質を向上させる技術が開示されている。

特開２０１０−１１４４８号公報 特開２０１１−１９３１１７号公報

サーバから配信される動画像をネットワーク越しに受信してクライアント端末で再生する場合、再生される動画像の画質は、クライアント端末の処理能力や画面サイズ、またネットワークの伝送速度によって決まることが多い。そのため、クライアント端末に十分な処理能力が無ければ高画質な動画像の再生は難しく、またクライアント端末に十分な処理能力があるので高画質な動画像を再生させたくても、ネットワークの伝送速度が速くなければ高画質な動画像の再生は難しい。そのため、クライアント端末の処理能力やネットワークの伝送速度が十分でない場合には、ユーザの視聴体験を向上させるのは困難であった。

そこで本開示は、クライアント端末の処理能力やネットワークの伝送速度が十分でない場合でも、ユーザの視聴体験を向上させることが可能な、新規かつ改良された映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システムを提供する。

本開示によれば、第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、を備える、映像処理装置が提供される。

また本開示によれば、第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得する画像取得部と、前記画像取得部が取得した前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像再生部と、を備える、映像再生装置が提供される。

また本開示によれば、第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成するステップと、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成するステップと、を備える、映像処理方法が提供される。

また本開示によれば、第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得するステップと、前記取得するステップで取得された前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるステップと、を備える、映像再生方法が提供される。

また本開示によれば、映像処理装置と、映像再生装置と、を備え、前記映像処理装置は、第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、を含み、前記映像再生装置は、少なくとも前記第２の動画像及び前記再生情報を前記映像処理装置から取得する画像取得部と、前記画像取得部が取得した前記情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像再生部と、を含む、映像処理システムが提供される。

以上説明したように本開示によれば、クライアント端末の処理能力やネットワークの伝送速度が十分でない場合でも、ユーザの視聴体験を向上させることが可能な、新規かつ改良された映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システムを提供することが出来る。

本開示の一実施形態に係る動画像再生システム１の全体構成例を示す説明図である。 本開示の一実施形態に係る補間動画生成部１２０の機能構成例を示す説明図である。 本開示の一実施形態に係る補間動画送出部１３０の機能構成例を示す説明図である。 本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の機能構成例を示す説明図である。 本開示の一実施形態に係る補間動画生成部１２０の動作例を示す流れ図である。 本開示の一実施形態に係る補間動画送出部１３０の動作例を示す流れ図である。 本開示の一実施形態に係る補間動画送出部１３０の動作例を示す流れ図である。 本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の動作例を示す流れ図である。 本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の動作例を示す流れ図である。 再生動画送出部１１０、補間動画生成部１２０，補間動画送出部１３０が保持する動画データ群を示す説明図である。 再生動画と補間動画の拡大または縮小処理を示す説明図である。 本開示の一実施形態の実施例１に係る補間部２１０の機能構成例を示す説明図である。 実施例１に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例１に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例１に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例１に係る補間部２１０に含まれる補間処理部２１８の動作例を示す流れ図である。 実施例１における補間領域と補間動画ｖ１２の動画面の画サイズの変化例を示す説明図である。 補間動画ｖ１２の動画面と補間領域との座標との関係を示す説明図である。 補間部２１０で補間動画ｖ１２の動画面から補間領域の画像を抽出する際の処理を示す説明図である。 実施例２に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例２に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例２に係る補間動画生成部１２０の動作例を示す流れ図である。 実施例２に係る補間部２１０の動作例を示す流れ図である。 実施例２における補間動画ｖ１２の動画面と補間領域との関係例を示す説明図である。 実施例２の内容を実施例１に適用した場合の補間動画生成部１２０の動作例を示す流れ図である。 実施例２の内容を実施例１に適用した際の効果を示す説明図である。 本開示の一実施形態の実施例３に係る補間動画生成部１２０の機能構成例を示す説明図である。 本開示の一実施形態の実施例３に係る補間動画送出部１３０の機能構成例を示す説明図である。 本開示の一実施形態の実施例３に係る補間部２１０の機能構成例を示す説明図である。 本開示の一実施形態の実施例３に係る補間動画生成部１２０の動作例を示す説明図である。 本開示の一実施形態の実施例３に係る補間部２１０の動作例を示す説明図である。 実施例３の動作の概要を示す説明図である。 実施例３の動作の概要を示す説明図である。 実施例３の動作の概要を示す説明図である。

以下に添付図面を参照しながら、本開示の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［概略］
［全体構成例］
［補間動画生成部の機能構成例］
［補間動画送出部の機能構成例］
［補間部の機能構成例］
［補間動画生成部の動作例］
［補間動画送出部の動作例］
［補間部の動作例］
［まとめ］
＜２．実施例１＞
＜３．実施例２＞
＜４．実施例３＞
＜５．まとめ＞

＜１．本開示の一実施形態＞
［概略］
本開示の実施の形態について詳細に説明する前に、本開示の概略について説明する。

動画像を再生する動画像再生装置の表示画面の高解像度化が進んでいる。その一方で、ネットワークストリーミングや放送波その他の伝送媒体を介して配信される動画の解像度の品質は、必ずしも動画像再生装置の表示画面の解像度に適合するとは限らないという問題がある。

例えば、動画像再生装置の表示解像度が、いわゆるフルＨＤや４Ｋ／２Ｋであっても、その解像度の動画を、画質を維持しながら符号化して伝送するには、高い符号化レートで符号化する必要がある。有線、無線を問わず、通信回線の伝送速度上、その様な高レートの符号化された動画をリアルタイムに伝送できない場合がある。

また動画像再生装置の復号能力が不十分な場合もあり、その場合は高レートの符号化された動画を復号するのに時間がかかってしまう。この場合は、低い符号化レートで、低い解像度で伝送される動画を受信し、動画像再生装置で表示画面のサイズに合う様に拡大して再生していた。また、ワンセグメント放送や携帯機器向けの動画ストリーミング等で、携帯機器向けに解像度や符号化レートを下げたコンテンツのような、元々小さい画面を備える装置に向けて配信された動画像を、タブレットやテレビなどの大きな画面を備える機器で再生する場合も、同様に拡大して再生していた。この様な場合においても、小さな画面サイズ向けの再生動画を大きなサイズの画面に拡大再生すると、再生画質が劣化する。

この問題に対しては、受信した再生動画を動画像再生装置内で解析し、アップコンバート演算によって画面拡大時の劣化程度を低減させる技術がある。しかし、元々情報量が少ない小画面向けの動画を基にした演算では、画質の改善に限界があったり、また計算処理が再生機器の負荷となったり、演算のために独自の回路を搭載したりする必要がある。

一方で、インターネット上の動画配信サーバの多くは、一つの動画コンテンツに対して、複数の画サイズや符号化レートで符号化された動画ファイル群を用意し、再生装置側が、伝送速度や再生能力に応じた画サイズや符号化レートの動画ファイルを選択する動画ストリーミング方式が広く利用される様になっている。

しかし、このストリーミング方式では、選択できる画サイズや符号化レートは予め決められており、任意の画サイズや符号化レートを指定できるわけではない。例えば配信サーバが１Ｍｂｐｓ、３Ｍｂｐｓ、５Ｍｂｐｓの動画像ファイルを提供していた場合、動画像再生装置の通信速度が４Ｍｂｐｓであったら、動画像再生装置は３Ｍｂｐｓの動画像を選択して受信すれば許容出来る最も高画質の動画像を再生できるが、１Ｍｂｐｓ分の伝送帯域は使われない事になる。

小さな画面サイズ向けの再生動画を拡大して再生する際に、画面内の一部分の領域のみを高画質化すれば、ユーザの視聴体験を向上させられるケースが多くある。例えばスポーツ中継におけるボールや選手またはスコア表示、映画における俳優の顔などの、その動画像において認識を向上させることが出来る領域、またはその動画像において重要であると考えられる領域のみを高画質化すれば、多くの場合、ユーザの視聴体験は改善される。

そこで本開示の一実施形態では、サーバは、画面内の一部領域のみを高品質な動画像とする高品質な部分画面の動画像を生成する。本実施形態では、このような高品質な部分画面の動画像のことを「補間動画」と称する。サーバは、生成した補間動画を動画像再生装置に伝送する。動画像再生装置は、低品質の動画像を拡大して再生する際に、高品質な部分画面の補間動画像を合成して同時に再生する。本実施形態では、低品質の動画像を拡大して再生する際に、高品質な部分画面の補間動画像を合成する処理のことを「補間処理」と称する。以下で説明する本開示の一実施形態では、低品質の動画像を拡大して再生する場合であっても、画面内の一部領域を高画質化することで、ユーザの視聴体験を改善させることが出来る。

動画像の配信側は、配信する（低品質の）再生動画の基であるオリジナルの動画として、高解像度であり、高符号化レートで符号化された高品質の動画像を予め作成し、保持している。動画像の配信側は、通信帯域や動画像再生装置の能力を考慮して、高品質の動画像を基に解像度や符号化レートを落とした再生動画を作成し、配信している。そこで動画像の配信側は、例えば、そのオリジナルの高品質の動画を基にして、高品質の動画から画面内の重要領域を抽出した部分領域画面の動画を生成することで、補間動画を生成する。

元の高品質動画と、配信および再生される動画とは、動画の内容は同じであり、同じコンテンツを基にして画サイズや符号化レート等が異なる動画実体（動画ファイル等）である。よって両動画は、コンテンツ名（タイトル名等）や内部管理識別子が同じであったり対応がとれる様に管理されていたりするものとする。ユーザは、（低品質の）再生動画と元の高品質動画とは、両動画のコンテンツ名（タイトル名等）を参照する事で同一コンテンツに対応するものだと識別でき、動画像再生装置は、内部管理識別子によって両動画を対応付けすることができる。

以上、本開示の概略について説明した。次に、本開示の一実施形態に係る動画像再生システムの全体構成例について説明する。

［全体構成例］
図１は、本開示の一実施形態に係る動画像再生システム１の全体構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る動画像再生システム１の全体構成例について説明する。

図１に示したように、本開示の一実施形態に係る動画像再生システム１は、再生動画送出部１１０と、補間動画生成部１２０と、補間動画送出部１３０と、再生装置２００と、を含んで構成される。再生動画送出部１１０、補間動画生成部１２０、及び補間動画送出部１３０が、動画像の配信側に設けられる要素であり、これらの要素は同一の装置に設けられてもよく、また図１に示したように、ネットワーク等の伝送路を介して接続されていても良い。ネットワーク等の伝送路を介して接続される場合は、各々の伝送路は同一の伝送路でも良く、異なる伝送路でも良い。例えば、再生動画送出部１１０と、補間動画生成部１２０と、補間動画送出部１３０との全てが同一ネットワークに接続されていても良く、再生動画送出部１１０と再生装置２００との間の伝送路は放送波であり、補間動画送出部１３０と再生装置２００との間の伝送路はネットワークであると言う様に異なる伝送路でも良い。

以下の説明では、再生動画送出部１１０、補間動画生成部１２０、及び補間動画送出部１３０は図１に示したようにネットワーク等の伝送路を介して接続されているものとして説明するが、本開示は係る例に限定されるものではない。

図１０は、再生動画送出部１１０、補間動画生成部１２０，補間動画送出部１３０が保持する動画データ群を示す説明図である。図１０に示した動画データ群も参照しながら、再生動画送出部１１０、補間動画生成部１２０、及び補間動画送出部１３０について説明する。

再生動画送出部１１０は、ネットワークや放送波等の伝送路を介して、再生装置２００に対して再生動画ｖ１０を送出する。再生動画ｖ１０は、全てのクライアントに共通に伝送され、クライアントで再生される動画ファイルで構成される。再生動画送出部１１０から送出される再生動画ｖ１０は、再生装置２００で受信され、再生されたり、また保存されたりし得る。

補間動画生成部１２０は、再生動画ｖ１０と同じ内容で、再生動画ｖ１０より品質が高い高品質動画ｖ１１を保持する。なお、品質が高いとは、画サイズが大きかったり、符号化レート高かったりするものと言う。高品質動画ｖ１１は、再生動画ｖ１０と同じ内容で、画サイズや符号化レートなどの品質が高い動画ファイルで構成される。高品質動画ｖ１１は、再生動画ｖ１０の基となる動画である。再生動画と高品質動画は、表示名や内部管理識別子等によって、ユーザやシステムで対応付けが可能である。補間動画生成部１２０は、再生装置２００で再生される動画像内の補間領域を決定し、高品質動画ｖ１１から補間領域を抽出し、補間動画ｖ１２と補間情報ｉ１０を生成する。補間動画生成部１２０は、例えば動画像を配信する事業者側に設けられる動画オーサリング装置であったり、ネットワーク上のサーバ装置であったりし得る。

補間動画ｖ１２は、高品質動画ｖ１１の動画面の内、再生動画ｖ１０において内容の認識を向上させることが出来る領域、またはその動画像において重要であると考えられる領域である、補間領域部分だけを抽出した動画ファイル、すなわち高品質動画ｖ１１の部分画面の動画である。補間動画ｖ１２は、高品質動画ｖ１１の各Ｆｒａｍｅ画像に対して、後述の補間指示部１２１が保持する情報が指示する補間領域の部分画像を抽出して、その部分画像をＦｒａｍｅ画像として符号化した動画ファイルで構成される。

補間情報ｉ１０は、本開示の再生情報の一例である。補間情報ｉ１０は、補間動画生成部１２０が生成する情報であって、補間動画ｖ１２の各Ｆｒａｍｅ画像が、元の高品質動画ｖ１１の動画面のどの座標、幅、高さであるかをＦｒａｍｅ毎に示したファイルで構成される。補間情報ｉ１０は、後述の補間指示部１２１が保持する情報を基に生成される。また補間情報ｉ１０は、元の高品質動画ｖ１１の全体の画サイズも記録され得る。

一つの動画コンテンツ（再生動画ｖ１０及び高品質動画ｖ１１）に対して、補間動画ｖ１２および補間情報ｉ１０が複数作成されてもよい。例えば、あるスポーツ動画という一つの動画コンテンツに対して、選手Ａの領域を補間する補間動画ｖ１２及び補間情報ｉ１０、選手Ｂの領域を補間する補間動画ｖ１２及び補間情報ｉ１０というように、複数の補間動画ｖ１２及び補間情報ｉ１０があってもよい。このように一つの動画コンテンツに対して補間動画ｖ１２および補間情報ｉ１０が複数作成されることで、ユーザは、好きな選手の補間動画ｖ１２及び補間情報ｉ１０を、一つ又は複数選択して、再生装置２００で再生させることが可能になる。また例えば、あるスポーツ動画という一つの動画コンテンツに対して、文字情報（例えばスコア）が表示される領域を補間する補間動画ｖ１２及び補間情報ｉ１０が生成されるようにしてもよい。

補間動画生成部１２０は、図１に示したように、補間指示部１２１を含んで構成される。補間指示部１２１は、高品質動画ｖ１１の画面に対して、どの部分を補間領域とするかを指示した情報を保持する。高品質動画ｖ１１の画面は、再生動画ｖ１０と同じ内容で、画サイズや符号化レートなどの品質が高い画面である。補間指示部１２１が保持する情報は、高品質動画ｖ１１の各Ｆｒａｍｅ時刻またはＦｒａｍｅ番号、各Ｆｒａｍｅ画像内で補間領域とすべき領域の座標、幅、高さを、Ｆｒａｍｅ毎に列挙したものである。補間指示部１２１が保持する情報は、例えば再生動画ｖ１０を再生するユーザや、再生動画ｖ１０を配信する配信事業者側の人間（例えば再生動画ｖ１０を編集する編集者や、再生動画ｖ１０がスポーツ動画であれば、競技を解説する解説者）等が動画の時刻に沿って領域指示したものをファイル化したものであったり、動画認識によって自動的に領域検出した物をファイル化したものであったりし得る。補間指示部１２１が保持する情報は、補間情報ｉ１０として補間動画送出部１３０に提供され得る。

図１では、動画認識を実行する動画解析部３００を図示している。動画解析部３００は、動画認識によってＦｒａｍｅ毎の補間領域を決定し、その決定した補間領域の情報を補間指示部１２１に渡す。

補間動画送出部１３０は、補間動画生成部１２０が生成した補間動画ｖ１２及び補間情報ｉ１０を保持し、ネットワーク等の伝送路を介して再生装置２００へ送出する。補間動画送出部１３０は、例えばネットワーク上のサーバ装置であり得る。

再生装置２００は、再生動画送出部１１０から送出される再生動画ｖ１０を受信して再生する。また再生装置２００は、再生動画ｖ１０の再生に際し、補間動画送出部１３０から送出される補間動画ｖ１２及び補間情報ｉ１０を受信し、補間情報ｉ１０を用いて再生動画ｖ１０の一部を補間動画ｖ１２に置き換えて再生する。

図１に示したように、再生装置２００は、補間部２１０と、再生部２２０と、を含んで構成される。補間部２１０は、再生動画送出部１１０から再生動画ｖ１０を受信すると共に、補間動画送出部１３０から補間動画ｖ１２及び補間情報ｉ１０を受信する。補間部２１０は、再生動画ｖ１０に対して、補間動画ｖ１２を用いて、再生動画ｖ１０における補間領域を高品質化し、補間後動画ｖ１３を生成する。再生部２２０は、補間部２１０が生成した補間後動画ｖ１３を再生する。再生部２２０によって再生される補間後動画ｖ１３は、表示画面（図示せず）に表示される。

補間部２１０と、再生部２２０とは、図１に示したように同一の再生装置２００の内部に配置されていても良いが、ネットワーク等の伝送路で相互に接続されていても良い。

以上、図１を用いて本開示の一実施形態に係る動画像再生システム１の全体構成例について説明した。次に、本開示の一実施形態に係る補間動画生成部１２０の機能構成例について説明する。

［補間動画生成部の機能構成例］
図２は、本開示の一実施形態に係る補間動画生成部１２０の機能構成例を示す説明図である。以下、図２を用いて本開示の一実施形態に係る補間動画生成部１２０の機能構成例について説明する。

図２に示したように、本開示の一実施形態に係る補間動画生成部１２０は、補間指示部１２１と、復号部１２２と、補間情報処理部１２３と、Ｆｒａｍｅ画像抽出部１２４と、符号化部１２５と、を含んで構成される。

補間指示部１２１は、上述したように、高品質動画ｖ１１の画面に対して、どの部分を補間領域とするかを指示した情報を保持する。補間指示部１２１が保持する情報は、必要に応じ、補間情報処理部１２３に適宜供給される。

復号部１２２は、符号化されている高品質動画ｖ１１を復号する。復号部１２２は、高品質動画ｖ１１を復号すると、各Ｆｒａｍｅの時刻及び高品質動画ｖ１１の画サイズの情報を補間情報処理部１２３に渡し、高品質動画ｖ１１の動画面のＦｒａｍｅ画像をＦｒａｍｅ画像抽出部１２４に渡す。

補間情報処理部１２３は、補間指示部１２１が保持している情報から、高品質動画ｖ１１のＦｒａｍｅ毎に補間画像ｖ１２を抽出する座標（補間画像ｖ１２の動画面座標）及びサイズを決定し、その座標及びサイズの情報をＦｒａｍｅ画像抽出部１２４に渡す。また補間情報処理部１２３は、補間指示部１２１が保持している情報から補間情報ｉ１０を生成する。補間情報処理部１２３が生成した補間情報ｉ１０は、補間動画送出部１３０に送られる。

Ｆｒａｍｅ画像抽出部１２４は、復号部１２２から与えられた高品質動画ｖ１１の復号後のＦｒａｍｅ画像から、補間情報処理部１２３が指示する領域の画素群（部分画像）を抽出し、補間動画面のＦｒａｍｅ画像とする。Ｆｒａｍｅ画像抽出部１２４によって抽出される補間動画面のＦｒａｍｅ画像は符号化部１２５に送られる。

符号化部１２５は、Ｆｒａｍｅ画像抽出部１２４が抽出した補間動画面のＦｒａｍｅ画像を符号化して、補間動画ｖ１２を生成する。符号化部１２５が生成した補間動画ｖ１２は補間動画送出部１３０に送られる。

補間動画生成部１２０は、図２に示した構成を有することで、高品質動画ｖ１１から補間動画ｖ１２を生成すると共に、補間動画ｖ１２を用いて再生動画ｖ１０を補間するための補間情報ｉ１０を生成することが出来る。

以上、図２を用いて本開示の一実施形態に係る補間動画生成部１２０の機能構成例について説明した。続いて、本開示の一実施形態に係る補間動画送出部１３０の機能構成例について説明する。

［補間動画送出部の機能構成例］
図３は、本開示の一実施形態に係る補間動画送出部１３０の機能構成例を示す説明図である。以下、図３を用いて一実施形態に係る補間動画送出部１３０の機能構成例について説明する。

図３に示したように、本開示の一実施形態に係る補間動画送出部１３０は、受信部１３１と、補間記録部１３２と、補間一覧管理部１３３と、送出部１３４と、を含んで構成される。

受信部１３１は、補間動画生成部１２０が生成した補間動画ｖ１２及び補間情報ｉ１０を受信する。受信部１３１は、補間動画生成部１２０が生成した補間動画ｖ１２及び補間情報ｉ１０を受信すると、受信した補間動画ｖ１２及び補間情報ｉ１０を補間記録部１３２に送る。

補間記録部１３２は、受信部１３１から送られる、補間動画ｖ１２と補間情報ｉ１０とを対応付けて保持する。補間記録部１３２は、この補間動画ｖ１２と補間情報ｉ１０との組が、どの動画コンテンツに関するものかも併せて保持する。補間動画ｖ１２と補間情報ｉ１０との組がどの動画コンテンツに関するものかの判断には、後述するように、補間動画生成部１２０が補間情報ｉ１０に記した動画コンテンツの識別子が用いられる。図３には、補間記録部１３２が保持する補間管理情報の例が示されている。動画コンテンツＸには、選手Ａと選手Ｂについて補間するための情報が存在し、動画コンテンツＹには、車ａについて補間するための補間管理情報が存在している。補間管理情報には、それぞれ補間動画ｖ１２と補間情報ｉ１０とが対応付けられる。

補間一覧管理部１３３は、再生装置２００の補間部２１０からの問い合わせに応じて、補間記録部１３２が保持している補間動画群に対応する動画コンテンツの一覧を返す。また補間一覧管理部１３３は、補間部２１０から動画コンテンツが指定されると、補間記録部１３２が保持している補間動画ｖ１２と補間情報ｉ１０との組の一覧を返す。

図３に示した例では、補間一覧管理部１３３は、再生装置２００の補間部２１０からの問い合わせに応じて、補間記録部１３２が保持している補間動画群に対応する動画コンテンツの一覧としてコンテンツＸ及びコンテンツＹを返す。また図３に示した例では、補間一覧管理部１３３は、再生装置２００でコンテンツＸが指定されると、コンテンツＸに存在している補間動画ｖ１２と補間情報ｉ１０との組の一覧として、「選手Ａ」及び「選手Ｂ」を返す。また補間一覧管理部１３３は、再生装置２００で補間動画ｖ１２と補間情報ｉ１０との組が指示されると、送出部１３４に対してその補間動画ｖ１２と補間情報ｉ１０との組の送出を指示する。

送出部１３４は、補間一覧管理部１３３から送出が指示された補間動画ｖ１２と補間情報ｉ１０との組を、補間記録部１３２から取得して再生装置２００に送出する。

補間動画送出部１３０は、図３に示した構成を有することで、高品質動画ｖ１１から生成された補間動画ｖ１２と共に、補間動画ｖ１２を用いて再生動画ｖ１０を補間するための補間情報ｉ１０を再生装置２００に送出することが出来る。

以上、図３を用いて本開示の一実施形態に係る補間動画送出部１３０の機能構成例について説明した。続いて、本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の機能構成例について説明する。

［補間部の機能構成例］
図４は、本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の機能構成例を示す説明図である。以下、図４を用いて本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の機能構成例について説明する。

図４に示したように、本開示の一実施形態に係る再生装置２００に含まれる補間部２１０は、受信部２１１、２１２、２１３と、補間動画選択部２１４と、復号部２１５、２１６と、時刻制御部２１７と、補間処理部２１８と、を含んで構成される。

受信部２１１、２１２、２１３は、本開示の画像取得部の一例である。受信部２１１、２１２、２１３は、それぞれ、再生動画ｖ１０、補間動画ｖ１２、補間情報ｉ１０を受信する。再生動画ｖ１０は再生動画送出部１１０から、補間動画ｖ１２及び補間情報ｉ１０は補間動画送出部１３０から、それぞれ送出される。受信部２１１が受信した再生動画ｖ１０は復号部２１５へ、受信部２１２が受信した補間動画ｖ１２は復号部２１６へ、受信部２１２が受信した補間情報ｉ１０は補間処理部２１８へ、それぞれ送られる。

図４に示した例では、受信部２１１、２１２、２１３が別々の構成要素として示されているが、本開示は係る例に限定されない。受信部２１１、２１２、２１３は、１つの構成要素として設けられても良い。

補間動画選択部２１４は、再生動画送出部１１０から受信する再生動画ｖ１０に対応する補間動画の一覧を補間動画送出部１３０から取得し、再生動画ｖ１０の補間に用いられる補間動画ｖ１２及び補間情報ｉ１０を決定する。補間動画選択部２１４が決定した補間動画ｖ１２及び補間情報ｉ１０は、補間動画送出部１３０から送出される。

復号部２１５、２１６は、それぞれ、符号化された状態の再生動画ｖ１０、補間動画ｖ１２を１フレームずつ復号し、Ｆｒａｍｅ画像（画素群）を出力する。復号部２１５、２１６は、再生動画ｖ１０及び補間動画ｖ１２のＦｒａｍｅ画像を補間処理部２１８に出力する。また復号部２１５、２１６は、再生動画ｖ１０及び補間動画ｖ１２のＦｒａｍｅ画像のＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を出力する。

時刻制御部２１７は、復号部２１５、２１６から取得したＦｒａｍｅ時刻（Ｆｒａｍｅ番号）の情報を用いて、補間処理部２１８での補間処理の際に、再生動画ｖ１０及び補間動画ｖ１２のＦｒａｍｅ時刻が一致するような制御を行う。

補間処理部２１８は、本開示の画像合成部の一例である。補間処理部２１８は、補間動画ｖ１２を用いた再生動画ｖ１０の補間処理を行う。補間処理部２１８は、再生動画ｖ１０を復号する復号部２１５から再生動画ｖ１０のＦｒａｍｅ画像を、補間動画ｖ１２を復号する復号部２１６から補間動画ｖ１２のＦｒａｍｅ画像を、時刻制御部２１７から今回のＦｒａｍｅのＦｒａｍｅ時刻を受け取る。また補間処理部２１８は、受信部２１３が受信した補間情報ｉ１０の中から、当該Ｆｒａｍｅ時刻の補間領域の座標を取得し、再生動画ｖ１０のＦｒａｍｅ画像における当該座標位置に補間動画ｖ１２のＦｒａｍｅ画像を合成する。そして補間処理部２１８は、再生動画ｖ１０の動画面内の一部領域（補間領域）が補間動画ｖ１２により高品質化された、補間後のＦｒａｍｅ画像ｖ１３を出力する。

補間後のＦｒａｍｅ画像ｖ１３は、再生部２２０で画面へ再生描画されたり、符号化部２３０によって動画に符号化されて、送出部／記録部２４０により保存されたり、別の装置へ送出されたりしても良い。

補間部２１０は、図４に示した構成を有することで、補間動画ｖ１２及び再生動画ｖ１０を補間するための補間情報ｉ１０を用いて、再生動画ｖ１０の一部を高画質の補間動画ｖ１２で補間する補間処理を実行することができる。補間部２１０は、再生動画ｖ１０の一部を高画質の補間動画ｖ１２で補間する補間処理を実行することで、ユーザの視聴体験を向上させることが可能になる。

以上、図４を用いて本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の機能構成例について説明した。次に、本開示の一実施形態に係る補間動画生成部１２０の動作例について説明する。

［補間動画生成部の動作例］
図５は、本開示の一実施形態に係る補間動画生成部１２０の動作例を示す流れ図である。図５に示した流れ図は、本開示の一実施形態に係る補間動画生成部１２０で補間動画ｖ１２及び補間情報ｉ１０を生成する際の動作例である。以下、図５を用いて、本開示の一実施形態に係る補間動画生成部１２０の動作例について説明する。

まず補間動画生成部１２０は、（符号化されている）高画質動画ｖ１１を復号部１２２で復号し、復号されたＦｒａｍｅ画像を生成する（ステップＳ１０１）。Ｆｒａｍｅ画像は、１画面分の画素群が並んだデータである。

ステップＳ１０１で高画質動画ｖ１１のＦｒａｍｅ画像を生成すると、続いて補間動画生成部１２０は、復号Ｆｒａｍｅ画像内で、補間領域であると指示された情報を補間指示部１２１が取得する（ステップＳ１０２）。例えば、ユーザが、そのＦｒａｍｅ画像を見て、補間領域の座標、幅、高さを指示し得る。ここでの「ユーザ」には、再生動画ｖ１０を再生するユーザや、再生動画ｖ１０を配信する配信事業者側の人間（例えば再生動画ｖ１０を編集する編集者や、再生動画ｖ１０がスポーツ動画であれば、競技を解説する解説者）等が含まれ得る。また、事前にユーザが領域指示したり、動画認識処理によって補間領域を自動抽出したりした情報は、Ｆｒａｍｅ時刻（Ｆｒａｍｅ番号）と補間領域の座標、幅、高さの列の形でファイルに保存されてもよい。補間動画が生成される際に、補間領域であると指示された情報が読み込まれ、復号後の各ＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）に該当する補間領域の情報が取得される。

例えば動画解析部３００は、顔認識、動体認識、奥行き認識等の技術などを利用して高画質動画ｖ１１を解析し、補間すべき領域を自動決定してもよい。また、ユーザ（再生動画ｖ１０を再生するユーザや、再生動画ｖ１０を配信する配信事業者側の人間等）の指示と動画解析部３００による動画解析とを組み合わせてもよい。動画像に対し、ユーザが指示した物体の動きを追跡する動画解析技術がある。この物体の動きを追跡する動画解析技術を利用して、例えば、スポーツの動画であれば、ユーザがある選手を指示すると、動画解析部３００は、その指示された選手の動きを追跡し、その追跡により得られる領域を補間領域としてもよい。

補間指示部１２１は、ユーザ（再生動画ｖ１０を再生するユーザや、再生動画ｖ１０を配信する配信事業者側の人間等）の指示又は画像認識の結果に基づいて生成された補間領域の情報（座標、幅、高さ）を補間情報処理部１２３へ送る。補間情報処理部１２３は、補間指示部１２１から渡された補間領域の情報をＦｒａｍｅ画像抽出部１２４へ渡す。

続いて補間動画生成部１２０は、復号された高品質動画ｖ１１のＦｒａｍｅ画像から、補間指示部１２１から指定された領域（座標、幅、高さ）の画素群をＦｒａｍｅ画像抽出部１２４で抽出する（ステップＳ１０３）。

上記ステップＳ１０３で、高品質動画ｖ１１のＦｒａｍｅ画像から指定された領域（座標、幅、高さ）の画素群を抽出すると、続いて補間動画生成部１２０は、抽出した画素群を補間領域のＦｒａｍｅ画像とし、符号化部１２５で符号化してファイルに書き込むことで補間動画ｖ１１を生成する（ステップＳ１０４）。

このステップＳ１０４での符号化の際の符号化レートは、元の高品質動画ｖ１１よりも低いレートに決定し得る。一般に動画の符号化では、画サイズ（面積、画面内画素数）が小さくなれば、同等の画質を維持するのに必要な符号化レートも低くて済む。そのため、例えば高品質動画ｖ１１と、補間領域のＦｒａｍｅ画像の画サイズ（面積）との比率から符号化レートを決定してもよい。例えば面積比が１０：１ならば、符号化部１２５は、符号化レートを高品質動画ｖ１１の１割の値にして符号化しても良い。加えて、符号化部１２５は、符号化方式のＳ／Ｎ比の特性等も利用して符号化レートを決定し得る。

また補間動画生成部１２０は、Ｆｒａｍｅ時刻（Ｆｒａｍｅ番号）と、高品質動画ｖ１１のＦｒａｍｅ画像上における補間領域の座標、幅、高さの情報を、補間情報処理部１２３にファイルに記録させることで、補間情報ｉ１０を記録する（ステップＳ１０５）。

補間動画生成部１２０は、図５に示した一連の動作を、高品質動画ｖ１１の最終Ｆｒａｍｅまで繰返す事により、高品質動画ｖ１１から補間領域だけを抽出した補間動画ｖ１２と、Ｆｒａｍｅ毎に補間動画ｖ１２を配置すべき座標を記した補間情報ｉ１０が生成される。補間情報ｉ１０にはこれに加えて、高品質動画ｖ１１の全体画サイズ、動画コンテンツのタイトル名や識別子、補間動画の補間名称や補間識別子の情報も記録され得る。上述したように、高品質動画ｖ１１と再生動画ｖ１０とは同一の動画コンテンツとして対応付けされている。従って、補間動画ｖ１２の基となった高品質動画ｖ１１のタイトル名や識別子が補間情報ｉ１０に付与される事で、生成された補間動画ｖ１２の補間対象となる再生動画ｖ１０への対応付けが可能になる。また補間動画ｖ１２の補間名称や補間識別子が補間情報ｉ１０に付与される事で、一つの動画コンテンツに対して複数の補間動画ｖ１２及び補間情報ｉ１０を作成された場合に、ユーザが補間動画を選別出来るようになる。

以上、図５を用いて、本開示の一実施形態に係る補間動画生成部１２０の動作例について説明した。次に、本開示の一実施形態に係る補間動画送出部１３０の動作例について説明する。

［補間動画送出部の動作例］
図６及び図７は、本開示の一実施形態に係る補間動画送出部１３０の動作例を示す流れ図である。図６及び図７に示した流れ図は、本開示の一実施形態に係る補間動画送出部１３０で補間動画ｖ１２及び補間情報ｉ１０を再生装置２００へ送出する際の動作例である。以下、図６及び図７を用いて、本開示の一実施形態に係る補間動画送出部１３０の動作例について説明する。

まず、再生装置２００へ補間動画ｖ１２及び補間情報ｉ１０の一覧を送出する際の補間動画送出部１３０の動作例について説明する。補間動画送出部１３０は、再生装置２００の補間部２１０から、補間動画ｖ１２及び補間情報ｉ１０の要求を補間一覧管理部１３３で受信する（ステップＳ１１１）。この再生装置２００からの要求には、動画コンテンツを識別するためのコンテンツ識別子が含まれている。

ステップＳ１１１で補間部２１０から要求を受信すると、補間一覧管理部１３３は、補間記録部１３２に対して、再生装置２００から送られてきたコンテンツ識別子を指定して、保持している補間動画ｖ１２及び補間情報ｉ１０の一覧を受け取る（ステップＳ１１２）。この補間動画ｖ１２及び補間情報ｉ１０の一覧は、補間名称及び補間識別子の列で構成され得る。

ステップＳ１１２で補間記録部１３２から補間動画ｖ１２及び補間情報ｉ１０の一覧を受け取ると、補間一覧管理部１３３は、取得した一覧を再生装置２００の補間部２１０へ返す（ステップＳ１１３）。

続いて、再生装置２００へ補間動画ｖ１２及び補間情報ｉ１０を送出する際の補間動画送出部１３０の動作例について説明する。補間動画ｖ１２及び補間情報ｉ１０の一覧を受信した補間部２１０は、どの補間動画ｖ１２及び補間情報ｉ１０を取得するかを決定し、補間動画送出部１３０に、補間識別子を指定して補間動画ｖ１２及び補間情報ｉ１０の送出を要求する。補間一覧管理部１３３は、補間部２１０から送信された補間動画ｖ１２及び補間情報ｉ１０の送出要求を受信する（ステップＳ１２１）。

ステップＳ１２１で送出要求を受信すると、補間一覧管理部１３３は、補間部２１０に指定された補間識別子を送出部１３４に指定して、補間動画ｖ１２及び補間情報ｉ１０の送出を指示する（ステップＳ１２２）。

送出部１３４は、上記ステップＳ１２２で補間動画ｖ１２及び補間情報ｉ１０の送出を補間一覧管理部１３３から指示されると、補間記録部１３２に対して補間識別子を指定して補間動画ｖ１２及び補間情報ｉ１０のファイルを受け取り、受け取ったファイルを補間部２１０へ送信する（ステップＳ１２３）。

補間動画送出部１３０は、図６及び図７に示した動作を実行することで、高品質動画ｖ１１から生成された補間動画ｖ１２と共に、補間動画ｖ１２を用いて再生動画ｖ１０を補間するための補間情報ｉ１０を再生装置２００に送出することが出来る。

以上、図６及び図７を用いて、本開示の一実施形態に係る補間動画送出部１３０の動作例について説明した。次に、本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の動作例について説明する。

［補間部の動作例］
図８及び図９は、本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の動作例を示す流れ図である。図８及び図９に示した流れ図は、本開示の一実施形態に係る補間部２１０で、補間動画ｖ１２を用いた再生動画ｖ１０の補間処理を実行する際の動作例である。以下、図８及び図９を用いて本開示の一実施形態に係る再生装置２００に含まれる補間部２１０の動作例について説明する。

再生装置２００のユーザが、再生装置２００に対して再生する再生動画ｖ１０を決定すると（ステップＳ１３１）、補間動画選択部２１４は、決定された再生動画ｖ１０に対応する補間動画ｖ１２及び補間情報ｉ１０を決定する（ステップＳ１３２）。補間動画選択部２１４は、補間動画送出部１３０に対して、再生動画ｖ１０のコンテンツ識別子を指定して、補間動画送出部１３０が保持している補間動画ｖ１２及び補間情報ｉ１０の一覧を取得する。補間動画選択部２１４は、取得した一覧の中から補間処理に使用する補間動画ｖ１２を決定する。例えば、補間動画選択部２１４が取得した補間名称の一覧を画面に表示させて、一覧の中からユーザに選択させることで補間処理に使用する補間動画ｖ１２が決定される。補間動画選択部２１４は、補間動画送出部１３０に対して、決定した補間動画ｖ１２及び補間情報ｉ１０の送出を要求する。

補間動画送出部１３０から、要求に応じた補間動画ｖ１２及び補間情報ｉ１０が送出されると、補間部２１０は、送出された補間動画ｖ１２及び補間情報ｉ１０を用いて、再生動画送出部１１０から送出された再生動画ｖ１０の補間処理を実行する（ステップＳ１３３）。図９に示したのは、ステップＳ１３３の補間処理の詳細を示す流れ図である。

再生動画ｖ１０を受信する受信部２１１は、受信した再生動画ｖ１０を復号部２１５へ送り、復号部２１５に再生動画ｖ１０の復号を行わせる。補間動画ｖ１２を受信する受信部２１２は、受信した補間動画ｖ１２を復号部２１６へ送り、復号部２１６に補間動画ｖ１２の復号を行わせる。補間情報ｉ１０を受信する受信部２１３は、受信した補間情報ｉ１０を補間処理部２１８へ送る。

再生動画ｖ１０を復号する復号部２１５は、再生動画ｖ１０を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ１４１）。また復号部２１５は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

補間動画ｖ１２を復号する復号部２１６は、補間動画ｖ１２を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ１４４）。また復号部２１６は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

時刻制御部２１７は、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻を比較する（ステップＳ１４２、Ｓ１４５）。再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻を比較した結果、Ｆｒａｍｅ時刻が一致していれば、時刻制御部２１７は補間処理部２１８にそのＦｒａｍｅ時刻を伝える。一方、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻を比較した結果、Ｆｒａｍｅ時刻が一致していなければ、時刻制御部２１７は双方のＦｒａｍｅ時刻が一致するまでＦｒａｍｅ復号を繰り返させる。例えば時刻制御部２１７は、Ｆｒａｍｅ時刻が遅い（Ｆｒａｍｅ番号が大きい）方を基準とし、Ｆｒａｍｅ時刻が早い（Ｆｒａｍｅ番号が小さい）方の動画のＦｒａｍｅ画像は破棄する。そして時刻制御部２１７は、次のＦｒａｍｅ復号を復号部２１５、２１６に指示し、基準とした（Ｆｒａｍｅ時刻が遅い方の）Ｆｒａｍｅ時刻と同じ時刻の復号Ｆｒａｍｅ画像が出力されるまで、比較処理を繰り返す。

再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻が一致していれば、補間処理部２１８は、再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を、後述する基軸画サイズに合わせる様に拡大または縮小する（ステップＳ１４３、Ｓ１４６）。補間処理部２１８は、再生動画ｖ１０の復号Ｆｒａｍｅ画像の画像サイズと、補間動画ｖ１２の基なった高品質動画ｖ１１の画像サイズとが基軸画サイズと同じになる様に、各復号Ｆｒａｍｅ画像の変倍率を決定する。補間処理部２１８は、補間動画ｖ１２の基となった高品質動画ｖ１１の画像サイズを、補間情報ｉ１０から取得し得る。

図１１は、ステップＳ１４３、Ｓ１４６における拡大または縮小処理を示す説明図である。図１１に示すように、補間処理部２１８は、再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を、基軸画サイズに合わせるように拡大または縮小する。

例えば基軸画サイズを、動画の表示画面サイズとし、画サイズが、再生動画面＜表示画面＜元高品質動画面であるとする。この場合に、各画面サイズの幅・高さを、基軸画サイズ（ここでは動画の表示画面のサイズ）は幅ＢＷ×高さＢＨ、再生動画面サイズは幅ＰＷ×高さＰＨ、元の高品質動画面サイズは幅ＨＷ×高さＨＷとする。例として、再生動画面の幅ＰＷが６４０ピクセルで高さＰＨが３６０ピクセル、基軸画面サイズの幅ＢＷが１２８０ピクセル、高さＢＨが７２０ピクセル、元の高品質動画面サイズの幅ＨＷが１９２０ピクセル、高さＨＨが１０８０ピクセルであるとする。また、補間動画面サイズを幅ＭＷ×高さＭＨとする。

この場合に、補間処理部２１８は、再生動画ｖ１０のＦｒａｍｅ画像を表示画面サイズに拡大する。上述の例では、縦と横のピクセル数が各々２倍（ＢＷ＝ＰＷ×２、ＢＨ＝ＰＨ×２）なので、補間処理部２１８は、再生動画ｖ１０のＦｒａｍｅ画像の１つのピクセルを横及び縦に２つずつ並べることで再生動画ｖ１０のＦｒａｍｅ画像を表示画面サイズに拡大する。

一方、補間処理部２１８は、補間動画ｖ１２のＦｒａｍｅ画像を縮小する。この縮小の際の縮小率は、補間動画ｖ１２の基となった高品質動画ｖ１１の画サイズと表示画面サイズとの比率にする。上述の例では、縦と横の画素数の比率が、高品質動画面サイズ：基軸画面サイズ＝３：２（すなわち、ＢＷ＝ＨＷ×２／３、ＢＨ＝ＨＨ×２／３）である。従って補間処理部２１８は、補間動画ｖ１２のＦｒａｍｅ画像は、縦と横の画素数を２／３に間引いて縮小する。例えば補間動画ｖ１２のＦｒａｍｅ画像の幅ＭＷが１９２ピクセル、高さＭＨが１０８ピクセルの場合は、補間処理部２１８は、補間動画ｖ１２のＦｒａｍｅ画像の幅を１２８ピクセル、高さを７２ピクセルに、それぞれ縮小する。

補間処理部２１８は、この様に拡大または縮小することで、再生動画ｖ１０のＦｒａｍｅ画像と補間動画ｖ１２のＦｒａｍｅ画像とを、同一の基軸画サイズ座標軸（画サイズがＢＷ×ＢＨの領域）上での画素列として処理出来る様にする。

続いて補間処理部２１８は、時刻制御部２１７から与えられたＦｒａｍｅ時刻に対応する、補間領域の座標、幅、高さの情報を補間情報ｉ１０から取得する。上述の様に、補間情報にはＦｒａｍｅ時刻毎の補間座標が記述されているが、この座標、幅、高さは元の高品質動画ｖ１１の画サイズ上での数値である。従って補間処理部２１８は、これらＦｒａｍｅ時刻毎の補間座標の数値も、ステップＳ１４３、Ｓ１４６と同様の方法で、基軸画サイズ上の座標、幅、高さに変倍する（ステップＳ１４７）。例えば上述の例のように、高品質動画ｖ１１の画サイズと基軸画サイズの縦および横の画素数比率が３：２だった場合に、高品質動画ｖ１１での補間領域の座標［ｘ，ｙ］が［９０，６０］であれば、補間処理部２１８は、基軸画サイズ上の補間領域の座標を、補間領域の座標の値を２／３倍した［６０，４０］とする。

続いて、補間処理部２１８は、再生動画ｖ１０のＦｒａｍｅ画像に、補間動画ｖ１２のＦｒａｍｅ画像をオーバーレイ描画（画素を上書き）する（ステップＳ１４８）。再生動画ｖ１０のＦｒａｍｅ画像上に、補間動画ｖ１２のＦｒａｍｅ画像をオーバーレイ描画する際の座標は、補間情報ｉ１０の当該Ｆｒａｍｅ時刻の座標を、基軸画サイズ上の座標に変換した座標とする。再生動画ｖ１０のＦｒａｍｅ画像、補間動画ｖ１２のＦｒａｍｅ画像、補間座標の全てが、同一の基軸画サイズ上の画像（画素群）及び画素座標となる様に変倍及び座標変換されているので、補間処理部２１８は、上述の再生動画ｖ１０のＦｒａｍｅ画像、補間動画ｖ１２のＦｒａｍｅ画像、補間座標を同一座標上の画素群及び座標位置として扱う事が出来る。

補間部２１０は、図８及び図９に示した処理を実行することで、補間動画ｖ１２及び再生動画ｖ１０を補間するための補間情報ｉ１０を用いて、再生動画ｖ１０の一部を高画質の補間動画ｖ１２で補間する補間処理を実行することができる。補間部２１０は、再生動画ｖ１０の一部を高画質の補間動画ｖ１２で補間する補間処理を実行することで、ユーザの視聴体験を向上させることが可能になる。

［まとめ］
以上説明したように本開示の一実施形態に係る動画像再生システム１は、低品質の再生動画ｖ１０を拡大した表示画面に対して、一部の領域（例えばスポーツ中継であれば、選手の姿やスコア表示などの、その動画像において認識を向上させることが出来る領域、またはその動画像において重要であると考えられる領域）を高品質の補間動画ｖ１２で補間する。本開示の一実施形態に係る動画像再生システム１は、このように低品質の再生動画ｖ１０を高品質の補間動画ｖ１２で補間することで、ユーザの視聴体験を向上させる事が出来る。

本開示の一実施形態に係る動画像再生システム１は、元の高品質動画ｖ１１の全てではなく、高品質動画ｖ１１から抽出された補間領域部分を有する補間動画ｖ１２だけが伝送されることで、補間動画ｖ１２の情報量を下げ、符号化レート（伝送レート）を低減する事が出来る。また再生装置２００には再生動画ｖ１０そのものをアップコンバート演算する演算負荷や専用の演算回路を設ける必要はなく、座標の演算や画像の合成を行う構成を設ければ良いので、本開示の一実施形態に係る動画像再生システム１では、再生装置２００の処理能力が高くない場合であっても、再生装置２００に過大な負荷を掛けずに、再生装置２００で再生動画ｖ１０を補間させることが出来る。

上述の例では、補間動画ｖ１２及び補間情報ｉ１０は、予め補間動画生成部１２０で生成してファイルとして保存していた。本開示は係る例に限定されるものではない。補間動画ｖ１２及び補間情報ｉ１０は、動的に生成されるようにしてもよい。

例えば、再生装置２００の再生部２２０に、補間動画生成部１２０に含まれる補間指示部１２１が設けられていても良い。ユーザが再生動画ｖ１０を再生閲覧している間に、その再生動画ｖ１０に対する補間領域を指示する場合を例示する。補間指示部１２１は、その補間領域の座標、幅、高さと、再生部２２０で再生されている再生動画ｖ１０の再生画面の画サイズとを、補間動画生成部１２０に送信する。補間動画生成部１２０は、再生装置２００から受信した補間領域の座標、幅、高さに対して、同じく再生装置２００から受信した再生画面サイズから、再生動画ｖ１０に対応する高品質動画ｖ１１の画面サイズに座標変換する。この処理は、上記ステップＳ１４３、１４６での座標変換の逆変換である。そして補間動画生成部１２０は、高品質動画ｖ１１から指定された領域（または変換後の領域）を抽出して補間動画ｖ１２を生成し、補間動画送出部１３０を経て補間部２１０へ送信する。

また例えば、ライブカメラ等のリアルタイム配信で、配信者がリアルタイムに補間領域を指示する場合を例示する。この場合、（ライブカメラ等が生成する）リアルタイム動画が、上記の説明での高品質動画ｖ１１（オリジナル動画）に相当する。動画配信者は、ライブカメラの動画がリアルタイムに生成する動画Ｆｒａｍｅに対して、配信用に低画サイズ及び低符号化レートで再生動画ｖ１０を送出しつつ、視聴者に注目して欲しい領域は補間領域として補間動画生成部１２０に指示する。補間動画生成部１２０は、ライブカメラから動画Ｆｒａｍｅを受け取る都度、指示された領域をそのＦｒａｍｅ画像から抽出して補間動画ｖ１２のＦｒａｍｅ画像とし、そのＦｒａｍｅの補間情報ｉ１０とともに補間動画送出部１３０に送出しする。補間動画送出部１３０は、補間部２１０に、リアルタイムに補間動画ｖ１２のＦｒａｍｅと補間情報ｉ１０とを送出する。

再生画面に対応する補間動画ｖ１２の、補間部２１０での受信遅延を吸収するために、再生動画送出部１１０と補間動画送出部１３０との間で、送出する動画時刻を合わせる様に連携したり、あるいは再生動画送出部１１０と補間動画送出部１３０を同一機器に備えるようにして、再生動画ｖ１０と補間動画ｖ１２との送出タイミングを合わせたりし得る。さらに、ライブカメラ等のリアルタイム配信の例では、ライブカメラから動画を受け取る補間動画生成部１２０と再生動画送出部１１０とを一体化したり、また補間動画生成部１２０と補間動画送出部１３０とを一体化して補間動画Ｆｒａｍｅの生成と送出を一体化したりしても良い。

また、補間部２１０の補間動画選択部２１４が補間動画を決定する際に、上述の例ではユーザに補間一覧から選択指示させていたが、本開示は係る例に限定されるものではない。例えば、ネットワーク上で人気の高い補間対象や、視聴者の嗜好分析、過去の補間対象の選択傾向等を用いて、補間動画選択部２１４は、自動的に補間対象を選択したり、おすすめの補間対象を提示したりしてもよい。例えば補間動画選択部２１４は、過去に視聴者に選択された回数が多かった選手Ａを、補間対象として自動的に選択したり、おすすめの補間対象として提示したりしてもよい。

補間動画ｖ１２の抽出元となる高品質動画ｖ１１は、上述したように、例えば動画配信業者が保持するオリジナル（元素材）の高品質動画が用いられ得る。一方で、その様な元素材の高品質動画が無い場合もある。例えば、プライベートコンテンツの様に個人が作成した動画や、昔に作成された動画などが元素材の高品質動画が無い場合にあたる。この場合は、その元素材の高品質動画が無い動画を補間動画生成部１２０に伝送して蓄積させてもよい。そして例えば上記特許文献１等で開示されている、動画単体からの高画質化演算・アップコンバート技術を用いて擬似的な高画質動画ｖ１１を補間動画生成部１２０に生成させて、その高画質動画ｖ１１を補間動画ｖ１２の抽出元としてもよい。

この場合、高画質化処理のための高負荷演算や特殊な回路は、再生装置２００ではなく補間動画生成部１２０に配置すればよい。従って、元素材の高品質動画が無い場合であっても、再生装置２００での負荷やコストは低減できるし、高画質化処理のための高負荷演算や特殊な回路を補間動画生成部１２０に配置するのであれば、より高性能で高価格な高画質化回路を補間動画生成部１２０に配置することもできる。また、補間動画生成部１２０だけが高画質化のための演算を行えばよく、また生成した疑似的な高画質動画ｖ１１は補間動画生成部１２０に保存されるので、高画質化のための演算は一回だけ行えばよい。

なお、動画のネットワーク伝送に関して、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ、ＩＳＯ／ＩＥＣ ２３００９−１）では、伝送路の伝送レートに応じて伝送する動画の符号化レートを自動的に調整する技術が開示されている。本開示は、このＭＰＥＧ−ＤＡＳＨの技術を適用し得る。

例えば、補間動画ｖ１２を複数の符号化レートで符号化し、セグメント分割したファイル群として配置しておき、補間動画ｖ１２の伝送に、このＭＰＥＧ−ＤＡＳＨの技術が用いられてもよい。また再生動画ｖ１０と補間動画ｖ１２のいずれにもＭＰＥＧ−ＤＡＳＨによる伝送レート調整を行う場合は、双方の伝送レートの上限や下限を設定し、両者の伝送レートを調整してもよい。

例えば、伝送帯域が５Ｍｂｐｓで、（再生動画送出部１１０から送出される）再生動画ｖ１０の伝送レートが４Ｍｂｐｓであり、補間動画ｖ１２の伝送用の帯域が残りの１Ｍｂｐｓとして動画伝送が始められる場合を考える。この場合、再生動画ｖ１０の伝送レート：補間動画ｖ１２の伝送レート＝４：１とする。ＭＰＥＧ−ＤＡＳＨでは、動画伝送時の実効レートを計測し、その実効レートに合わせて動画伝送レートを変動させる。この時、再生装置２００は、双方の動画伝送の実効レートの総和を求めて実効伝送レートの合計を求め、再生動画ｖ１０の伝送レートは実効伝送レートの合計の４／５、補間動画ｖ１２の伝送レートは実効伝送レートのその１／５のレートを上限とする事で、双方の動画の伝送レート調整を調整してもよい。

また、以下の説明の中には、補間動画ｖ１２として伝送する補間領域のサイズが変動する方式がある。例えば補間動画面の全体サイズは変わらないが、その中に埋め込まれる補間領域の画素量が増減したり、補間領域の面積によって、伝送する補間動画群（分割画面動画群）の数が増減したりする場合がある。つまり、補間領域のサイズによって、伝送する補間動画ｖ１２の情報量が増減する。

この様な方式の場合は、再生装置２００は、上述した再生動画ｖ１０と補間動画ｖ１２のレート割り当てにおいて、補間領域サイズが小さい期間は補間動画ｖ１２に割り当てるレートの比率を下げ、補間領域が大きい期間は割り当てるレートの比率を上げてもよい。

またＭＰＥＧ−ＤＡＳＨにおいて動画伝送レートを決定する（すなわち、取得する動画ファイルを選択する）役割を担う、動画受信側である補間部２１０は、補間情報ｉ１０を取得している。この補間情報ｉ１０を用いれば、補間部２１０は、未来の動画時刻における補間領域サイズを先行して知り得るので、補間領域サイズによる補間動画ｖ１２のレート配分を先行して行ってもよい。

＜２．実施例１＞
［概要］
上述した本開示の一実施形態では、補間領域の画像をそのまま動画面としていた。この場合、補間動画ｖ１２のＦｒａｍｅ毎に補間領域の画サイズが変化することが当然考えられる。すなわち、再生画面内で再生動画ｖ１０に対して補間したい補間領域のサイズは、こまめに変化する事が考えられる。例えばスポーツコンテンツの場合、動画面内で特定選手が表示される領域を補間する場合、その選手が移動することによって、補間領域は小さくなったり大きくなったりする。

一方、一般的に、動画符号化方式や復号処理の多くは、Ｆｒａｍｅ毎に画サイズ（動画面サイズ）が変化する様な動画に対応していない。そこで、補間領域だけを動画面とする補間動画ｖ１２を実現するために、補間領域の大きさがＦｒａｍｅ毎に変化する場合を想定した実施例について説明する。

図１７は、本実施例１における補間領域と補間動画ｖ１２の動画面の画サイズの変化例を示す説明図である。本実施例１では、図１７に示すように、補間動画ｖ１２の動画面の幅及び高さは、全Ｆｒａｍｅの補間領域群の中で最大の幅（ＭＷ）及び高さ（ＭＨ）とする。

例えば図１７に示したように、高画質動画ｖ１１のＦｒａｍｅ０の補間領域が５０×１００、Ｆｒａｍｅ１の補間領域が７０×１５０、Ｆｒａｍｅ２の補間領域が１００×８０の場合、Ｆｒａｍｅ２の補間領域の幅１００が最も大きい幅（ＭＷ）、Ｆｒａｍｅ１の補間領域の高さ１５０が最も大きい高さ（ＭＨ）である。従って本実施例は、補間動画ｖ１２の動画面の画サイズは、幅ＭＷを１００、高さＭＨを１５０に固定する。各Ｆｒａｍｅの補間領域画像は、この１００×１５０の画サイズ内に収まる様になる。

全Ｆｒａｍｅの補間領域群の中で最大の幅（ＭＷ）及び高さ（ＭＨ）の領域を補間領域とすることで、Ｆｒａｍｅ毎に補間領域のサイズが変化しても、補間動画ｖ１２の動画面の画サイズは１００×１５０で常に固定され、既存の動画符号化方式や復号処理で処理できる。また、全Ｆｒａｍｅの補間領域群の中で最大の幅（ＭＷ）及び高さ（ＭＨ）の領域を補間領域とすることで、本実施例は、全ての補間領域群を包含できる最小領域の補間動画ｖ１２を生成する。

このように補間動画ｖ１２の動画面の画サイズが固定されることで、各Ｆｒａｍｅにおいて補間領域の画サイズと補間動画ｖ１２の動画面の画サイズとが異なるものとなる。従って、本実施例は、各Ｆｒａｍｅで補間領域の画サイズと補間動画ｖ１２の動画面の画サイズとを個別に管理する。各Ｆｒａｍｅで補間領域の画サイズと補間動画ｖ１２の動画面の画サイズとを個別に管理するため、本実施例は、補間情報ｉ１０に双方のサイズを記述する。

例えば、補間動画生成部１２０は、補間情報ｉ１０の先頭に補間動画ｖ１２の動画面サイズ（ＭＷ×ＭＨ）を記述し、またＦｒａｍｅ毎に補間領域のサイズを補間情報ｉ１０に記述する。補間動画ｖ１２の動画面サイズは全Ｆｒａｍｅに渡って固定で変化しないので、Ｆｒａｍｅ毎に記述する必要は無い。補間領域は、Ｆｒａｍｅ毎に位置及びサイズが変化し得るのでＦｒａｍｅ毎に記述される。補間部２１０が補間動画ｖ１２を復号する時には、復号部２１６は通常、復号したＦｒａｍｅ画像の画サイズを情報として返すので、補間動画ｖ１２の動画面サイズは復号したＦｒａｍｅ画像から取得する事も出来る。この場合、補間情報ｉ１０には補間領域のサイズだけが記述されていればよい。

次に、補間動画ｖ１２の動画面と補間領域との座標について述べる。図１８は、補間動画ｖ１２の動画面と補間領域との座標との関係を示す説明図である。なお座標とは、高品質動画ｖ１１の動画面内における、補間領域や補間動画ｖ１２の動画面の左上角の座標をいう。

高品質動画ｖ１１の画サイズを幅ＨＷ×高さＨＨ、補間動画ｖ１２の画サイズを幅ＭＷ×高さＭＨとする。またＦｒａｍｅ毎の補間領域の左上座標を［ｘ，ｙ］、補間領域のサイズを幅ＤＷ×高さＤＨとする。

図１８に示す様に、補間領域が高品質動画ｖ１１の動画面内の右下に位置していたとする。例えば高品質動画ｖ１１の動画面サイズがＨＷ＝１９２０、ＨＷ＝１０８０であり、補間領域が座標［ｘ，ｙ］＝［１８５０，１０００］、サイズＤＷ＝５０、ＤＨ＝７０であったとする。この時、補間領域の右下座標［ｘ＋ＤＷ，ｙ＋ＤＨ］は［１９００，１０７０］であり、高品質動画ｖ１１の動画面内に収まる。

しかし補間動画面のサイズと補間領域サイズが異なるので、図１８に示す様に、補間動画ｖ１２の動画面の座標を［ｘ，ｙ］＝［１８５０，１０００］にすると、高品質動画ｖ１１の動画面からはみ出る場合がある。上述の例の様に補間動画ｖ１２の動画面の画サイズは１００×１５０であれば、座標［１８２０，１０００］から１００×１５０の画像を抽出しようとすると、右下座標［ｘ＋ＭＷ，ｙ＋ＭＨ］は［１９５０，１１５０］となり、高品質動画ｖ１１の画サイズ（ＨＷ＝１９２０、ＨＨ＝１０８０）からはみ出る。

この場合の対応として、例えば補間部２１０は、補間動画ｖ１２の動画面として画像抽出する座標を左上にずらして、高品質動画ｖ１１の動画面からはみ出ない様にして抽出する。ここで、画像抽出する左上座標＝抽出座標を［ｘｘ，ｙｙ］とする。例えば補間部２１０は、補間動画ｖ１２の動画面の右下角を高品質動画ｖ１１の動画面の右下境界に合わせる様に、抽出座標［ｘｘ，ｙｙ］を［ＨＷ−ＭＷ，ＨＨ−ＭＨ］＝［１８２０，９３０］とし、これをそのＦｒａｍｅの補間動画ｖ１２の動画面の座標に設定する。この場合、補間動画ｖ１２の動画面の座標［ｘｘ，ｙｙ］と補間領域の座標［ｘ，ｙ］は異なるものになるので、双方の座標は個別に管理されることが望ましい。そこで補間情報ｉ１０には、個々のＦｒａｍｅ毎に、補間領域の座標［ｘ，ｙ］に加えて、その補間領域を包含する補間動画ｖ１２の動画面の座標（高画質動画ｖ１１のＦｒａｍｅ画像から画素群を抽出した際の座標）［ｘｘ，ｙｙ］も合わせて記しておく。

図１８の例では、補間領域の座標［ｘ，ｙ］、補間領域を包含する補間動画ｖ１２の動画面の座標［ｘｘ，ｙｙ］も、高品質動画ｖ１１の動画面上の座標軸で記されているが、本開示は係る例に限定されるものではない。別の方法として、補間動画ｖ１２の動画面の座標を高品質動画ｖ１１の動画面上の座標として記され（［１８２０，９３０］）、補間領域の座標は補間動画ｖ１２の動画面内の座標（［３０，７０］）として記されてもよい。

この様に本実施例は、補間動画ｖ１２の動画面の画サイズを（サイズが変化する）全ての補間領域を包含し得る最大幅ＭＷ×最大高さＭＨを有する画サイズとする事で、補間動画ｖ１２の動画面の画サイズに固定でき、かつ全Ｆｒａｍｅの補間領域を包含できる。その結果、補間領域と補間動画ｖ１２の動画面の画サイズとが異なる事になるので、本実施例では、２つのサイズを管理できる様に補間情報ｉ１０に双方のサイズが記述されるか、または、補間動画ｖ１２の動画面の画サイズは補間部２１０での復号時に取得される。

また、補間動画ｖ１２の動画面の画サイズと補間領域のサイズとが異なる事により、図１８に示したように補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出る場合が発生するので、本実施例は、補間動画ｖ１２の動画面の座標を調整して、補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出ない様にする。その結果、補間領域と補間動画ｖ１２の動画面の座標が異なる事になるので、本実施例では、双方の座標を管理するために補間情報ｉ１０に双方の座標が記述される。

補間部２１０は、補間情報ｉ１０に記された補間領域と補間動画ｖ１２の動画面との座標及びサイズ情報を基に、補間動画ｖ１２の動画面から補間領域の画像を抽出する。図１９は、補間部２１０で補間動画ｖ１２の動画面から補間領域の画像を抽出する際の処理を示す説明図である。

まず補間部２１０は、補間動画ｖ１２の動画面の座標と補間領域の座標との差に基づき、補間動画ｖ１２の動画面内から画像を抽出する補間領域の座標を決定する。図１９に示した例で、補間部２１０は補間情報ｉ１０のＦｒａｍｅ３の情報によって、補間動画ｖ１２の動画面は高品質動画ｖ１１の動画面内の［１８２０，９３０］座標から抽出した画像であり、補間領域は高品質動画ｖ１１の動画面内の［１８５０，１０００］座標であると解る。そこで補間部２１０は、補間動画のＦｒａｍｅ３を復号して得られたＦｒａｍｅ画像内の座標［３０，７０］を補間領域の座標と判断する。そして補間部２１０は、その座標［３０，７０］を左上座標として、補間領域サイズ（５０ｘ７０）分の画像を抽出する。最後に補間部２１０は、補間領域の座標とサイズを、高品質動画ｖ１１の動画面上の座標及びサイズから基軸画サイズ上の座標及びサイズに変換してから、再生動画ｖ１０への補間動画ｖ１２の合成処理を行う。

［補間部の機能構成例］
次に、この実施例１を実行するための補間部２１０の機能構成例について説明する。図１２は、本開示の一実施形態の実施例１に係る補間部２１０の機能構成例を示す説明図である。図１２は、特に、補間部２１０に含まれる補間処理部２１８の機能構成例を示す説明図である。

図１２に示したように、本開示の一実施形態の実施例１に係る補間処理部２１８は、画像変倍部３０１、３０４と、補間座標計算部３０２と、補間領域抽出部３０３と、Ｆｒａｍｅ画像合成部３０５と、を含んで構成される。

画像変倍部３０１、３０４は、復号部２１５、２１６が復号したＦｒａｍｅ画像（画素群）を拡大または縮小することで変倍する。上述の本開示の一実施形態の説明に示した様に、画像変倍部３０１、３０４は、再生動画ｖ１０のＦｒａｍｅ画像及び補間動画ｖ１２のＦｒａｍｅ画像を基軸画サイズに変倍する。

補間座標計算部３０２は、補間処理部２１８が取得した補間情報ｉ１０を基に、元の高品質動画ｖ１１の動画面サイズ上の、補間動画ｖ１２による補間領域の座標や画サイズ（幅及び高さ）の値を、基軸画サイズに変換したり、補間動画ｖ１２の動画面から抽出すべき補間領域を決定したりする。

補間領域抽出部３０３は、補間動画を復号して得られる復号Ｆｒａｍｅ画像から、補間領域の画像を抽出する。Ｆｒａｍｅ画像合成部３０５は、再生動画ｖ１０のＦｒａｍｅ画像と、補間領域抽出部３０３が抽出した補間領域の画像と、補間座標計算部３０２が計算した変倍後の補間座標に基づいて合成する。

以上、実施例１に係る補間処理部２１８の機能構成例について説明した。次に、実施例１に係る補間動画生成部１２０の動作例について説明する。

［補間動画生成部の動作例］
図１３〜１５は、実施例１に係る補間動画生成部１２０の動作例を示す流れ図である。なお、実施例１に係る補間動画生成部１２０の構成は、図２に示したものと同一であるとする。以下、図１３〜１５を用いて、実施例１に係る補間動画生成部１２０の動作例について説明する。

補間指示部１２１に、補間指示が入力される（ステップＳ２０１）。補間指示部１２１は、高品質動画ｖ１１のＦｒａｍｅ毎に補間指示の情報を取得し、全Ｆｒａｍｅの補間指示を、ファイルやデータベース、メモリ等の形で保持する。補間指示の情報は、Ｆｒａｍｅ時刻、補間領域の（左上）座標、サイズ（幅、高さ）である。

補間指示部１２１に補間指示が入力されると、補間情報処理部１２３は、補間指示部１２１に入力される情報から、補間動画ｖ１２の動画面サイズ（幅ＭＷ、高さＭＨ）を決定する（ステップＳ２０２）。

図１４に示した流れ図は、図１３のステップＳ２０２での補間情報処理部１２３の動作を詳細に示したものである。まず補間情報処理部１２３は、補間動画ｖ１２の動画面サイズ（幅ＭＷ、高さＭＨ）をいずれも０に初期化する（ステップＳ２１１）。

補間情報処理部１２３は、続いて補間領域群の最大幅及び高さを求める。補間領域群の最大幅及び高さは、図１７に示したようにして求められる。補間領域群の最大幅及び高さを求める際に、補間情報処理部１２３は、１Ｆｒａｍｅ分の補間指示領域を補間指示部１２１から受け取る（ステップＳ２１２）。補間指示領域の幅をＤＷ、高さをＤＨとする。続いて補間情報処理部１２３は、ＭＷとＤＷの値、及びＭＨとＤＨの値を比較し、各々大きい方を新たなＭＷ、ＭＨとする（ステップＳ２１３）。すなわち、ＭＷ＜ＤＷならＭＷ＝ＤＷに更新し、ＭＨ＜ＤＨならＭＨ＝ＤＨに更新する。補間情報処理部１２３は、ステップＳ２１２、２１３の処理を高品質動画ｖ１１の最終Ｆｒａｍｅまで繰り返す。

ステップＳ２１２、２１３の処理が最終Ｆｒａｍｅまで繰り返されると、最終的に得られるＭＷ、ＭＨが、全Ｆｒａｍｅの補間領域群の中で、最大の幅及び高さである。補間情報処理部１２３は、ＭＷ、ＭＨを補間動画ｖ１２の動画面サイズとし、補間情報ｉ１０に記録する（ステップＳ２１４）。

図１３に戻って説明する。ステップＳ２０２で補間動画ｖ１２の動画面サイズが決まると、続いてＦｒａｍｅ画像抽出部１２４は、補間動画ｖ１２の動画面サイズに従って高品質動画ｖ１１の各Ｆｒａｍｅ画像から補間画像を抽出する（ステップＳ２０３）。

図１５に示した流れ図は、図１３のステップＳ２０３での処理を詳細に示したものである。復号部１２２は、高品質動画ｖ１１の１Ｆｒａｍｅ分を復号し、復号されたＦｒａｍｅ画像をＦｒａｍｅ画像抽出部１２４へ送る。また復号したＦｒａｍｅの時刻（またはＦｒａｍｅ番号）と、Ｆｒａｍｅ画サイズ（幅ＨＷ、高さＨＨ）を補間情報処理部１２３へ送る（ステップＳ２２１）。

補間情報処理部１２３は、補間指示部１２１から、復号したＦｒａｍｅの時刻に対応した補間領域指示情報を受け取る（ステップＳ２２２）。ここでは、指示された補間領域の（高品質動画ｖ１１の動画面上の）左上座標を［ｘ，ｙ］、幅をＤＷ、高さをＤＨとする。

続いて補間情報処理部１２３は、高品質動画ｖ１１のＦｒａｍｅ画像から補間動画ｖ１２の動画面として画像抽出する座標［ｘｘ，ｙｙ］を決定する（ステップＳ２２３）。画像抽出する座標［ｘｘ，ｙｙ］は図１８に示したようにして決まる。補間領域指示座標［ｘ，ｙ］から補間動画ｖ１２の動画面サイズＭＷ×ＭＨを抽出する場合に、その補間動画ｖ１２の動画面の右下座標は［ｘ＋ＭＷ，ｙ＋ＭＨ］となる。補間情報処理部１２３は、補間動画ｖ１２の動画面の右下座標を、高品質動画ｖ１１の動画面サイズＨＷ×ＨＨと比較する。抽出領域の右端［ｘ＋ＭＷ］がＨＷ以内ならｘｘ＝ｘ、ＨＷを越えていればｘｘ＝ＨＷ−ＭＷとする。また抽出領域の下端［ｙ＋ＭＨ］がＨＨ以内ならｙｙ＝ｙ、ＨＨを越えていればｙｙ＝ＨＨ−ＭＨとする。

続いてＦｒａｍｅ画像抽出部１２４は、ステップＳ２２３で決定した座標［ｘｘ，ｙｙ］と、補間動画ｖ１２の動画面サイズＭＷｘＭＨを受け取り、高品質動画ｖ１１のＦｒａｍｅ画像から、その座標及び動画面サイズで決まる領域の画素群を抽出する（ステップＳ２２４）。

そして、符号化部１２５は、ステップＳ２２４でＦｒａｍｅ画像抽出部１２４が抽出した画素群を動画符号化し、補間動画ｖ１２を生成する（ステップＳ２２５）。補間動画ｖ１２を生成するための符号化については、上述したように図５のステップＳ１０４で触れられているので、詳細は省略する。

また、補間情報処理部１２３は、そのＦｒａｍｅの補間情報として、Ｆｒａｍｅ時刻（Ｆｒａｍｅ番号）、補間領域として指示された座標［ｘ，ｙ］及び補間領域のサイズＤＷ×ＤＨ、Ｆｒａｍｅ画像抽出部１２４が抽出した座標（補間動画ｖ１２の動画面座標［ｘｘ，ｙｙ］）を補間情報ｉ１０に記録する（ステップＳ２２５）。

ステップＳ２２１〜Ｓ２２５の処理は、高品質動画ｖ１１の最終Ｆｒａｍｅまで繰り返される。

補間動画生成部１２０は、図１３〜図１５に示したような動作を実行することで、サイズが変化する補間領域群を全て包含し得る補間動画ｖ１２の動画面サイズを決定すると共に、サイズの情報を補間情報ｉ１０に記録して、高品質動画ｖ１１からその動画面サイズの補間動画ｖ１２を生成する。そして補間動画生成部１２０は、Ｆｒａｍｅ毎に、抽出する座標（補間動画ｖ１２の動画面の座標）が高品質動画ｖ１１の動画面からはみ出ない様に調整し、本来の補間座標とサイズ、画素抽出した補間動画ｖ１２の動画面の座標を補間情報として記録する。補間動画生成部１２０が生成した補間動画ｖ１２及び補間情報ｉ１０は、ネットワーク等の伝送路を介して補間動画送出部１３０に送られる。

以上、実施例１に係る補間動画生成部１２０の動作例について説明した。実施例１に係る補間動画送出部１３０の動作は、図６及び図７に示した動作例と同一であるので、ここでは詳細な説明は省略する。続いて、実施例１に係る補間部２１０に含まれる補間処理部２１８の動作例について説明する。

［補間処理部の動作例］
図１６は、実施例１に係る補間部２１０に含まれる補間処理部２１８の動作例を示す流れ図である。以下、図１６を用いて実施例１に係る補間部２１０に含まれる補間処理部２１８の動作例について説明する。

図１６に示したのは、図８のステップＳ１３３の補間処理を詳細に示したものである。再生動画ｖ１０を復号する復号部２１５は、再生動画ｖ１０を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ２３１）。また復号部２１５は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

補間動画ｖ１２を復号する復号部２１６は、補間動画ｖ１２を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ２３３）。また復号部２１６は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

時刻制御部２１７は、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻が同期するように時刻合わせを行う（ステップＳ２３１、Ｓ２３３）。

時刻制御部２１７によって、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻の同期が取れるようになると、続いて補間領域抽出部３０３は、補間動画ｖ１２のＦｒａｍｅ画像から補間領域の画像を抽出する（ステップＳ２３４）。補間領域の画像の抽出は図１９に示したように行われる。

補間領域抽出部３０３は、対象となっているＦｒａｍｅ時刻の補間情報から、補間動画ｖ１２の座標［ｘｘ，ｙｙ］を取得する。これは補間動画生成部１２０が、高品質動画ｖ１１のＦｒａｍｅ画像から画素を抽出した際の座標であり、補間動画ｖ１２の座標である。例えば、［ｘｘ：１８２０，ｙｙ：９３０］であるとする。

また補間領域抽出部３０３は、対象となっているＦｒａｍｅ時刻の補間情報から、補間領域座標［ｘ，ｙ］を取得する。これは補間動画生成部１２０において補間指示された領域の座標である。例えば［ｘ：１８５０，ｙ：１０００］。であるとする。

補間動画ｖ１２での、抽出すべき補間領域の座標は、補間動画ｖ１２の動画面の左上を基点にすると［ｘ−ｘｘ，ｙ−ｙｙ］であり、上述の例に照らし合わせると［ｘ−ｘｘ，ｙ−ｙｙ］＝［３０，７０］となる。

そして補間領域抽出部３０３は、対象となっているＦｒａｍｅ時刻の補間情報から、補間領域のサイズ（幅ＤＷ、高さＤＨ）を取得する。例えばＤＷ＝５０、ＤＨ＝７０であるとする。

最後に補間領域抽出部３０３は、補間動画ｖ１２の左上座標（上述の例では［３０，７０］）から、補間領域のサイズ（ＤＷ＝５０、ＤＨ＝７０）の画素群を抽出する。

補間領域抽出部３０３が補間領域の画像を抽出すると、画像変倍部３０１、３０４は、再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を基軸画サイズに合わせる様に拡大または縮小する（ステップＳ２３２、Ｓ２３５）。このステップＳ２３２、Ｓ２３５での処理は、図９でのステップＳ１４３、Ｓ１４６の処理と同一であるので、詳細な説明は省略する。

画像変倍部３０１、３０４が再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を拡大または縮小すると、画像変倍部３０４は、Ｆｒａｍｅ時刻毎の補間座標の数値も、ステップＳ２３２、Ｓ２３５と同様の方法で、基軸画サイズ上の座標、幅、高さに変倍する（ステップＳ２３６）。そしてＦｒａｍｅ画像合成部３０５は、再生動画ｖ１０のＦｒａｍｅ画像に、補間動画ｖ１２のＦｒａｍｅ画像をオーバーレイ描画（画素を上書き）する（ステップＳ２３７）。

実施例１に係る補間部２１０に含まれる補間処理部２１８は、このように動作することで、補間領域のみを動画面とする補間動画ｖ１２を再生動画ｖ１０の動画面に補間合成する事が出来る。

補間領域のみを動画面とする補間動画ｖ１２を再生動画ｖ１０の動画面に補間合成する事により、補間動画ｖ１２の動画面は全Ｆｒａｍｅの補間領域群の全てを含みつつ、全Ｆｒａｍｅの補間領域群以外の領域を含まない最小の画サイズとなる。実施例１は、補間動画面の画素量を最小限に減らすことが出来る。また補間領域のサイズがＦｒａｍｅ毎に変化する場合であっても、補間動画ｖ１２の動画面のサイズは変わらないため、既存の動画符号化処理及び復号処理を用いる事が出来る。

この実施例１は、補間動画ｖ１２は補間領域のみを含み、補間処理に必要ではない領域を含まないため、補間動画ｖ１２の画サイズを、元の高品質動画ｖ１１の画サイズより小さくする事が出来る。一般に、動画符号化方式では、画サイズが小さくなれば、（元の高品質動画ｖ１１と）同等の動画品質を維持するのに必要な符号化レートを小さくする事が出来るため、補間動画ｖ１２の符号化レートを下げる事ができる。従って実施例１では、高品質動画ｖ１１の画面全体を伝送する場合に比べて、補間動画ｖ１２の伝送レートを低減させる事ができる。また補間動画ｖ１２の画サイズが小さいため、補間部２１０の補間動画ｖ１２の復号処理の負担は抑えられる。

例えば、携帯機器やコンシューマ機器の中には、ハードウェアデコーダが一つしか搭載されていないものがある。この様な機器にこの実施例１を適用する場合、例えば、再生動画ｖ１０はハードウェアデコーダで復号し、画サイズが小さい補間動画ｖ１２はソフトウェア的にデコードする（例えばＣＰＵの演算によりデコードする）というような復号処理の割り当てが可能である。補間動画ｖ１２の画サイズが小さいため、ソフトウェア的なデコードでも補間動画ｖ１２を復号可能である。

また上述の例では、一つの再生動画ｖ１０の補間処理時に補間動画ｖ１２が一つであった場合を説明したが、上述の本開示の一実施形態で説明したように、一つの再生動画ｖ１０に対して、同時に複数の補間動画ｖ１２が存在していても良い。例えば「スポーツＸ」という動画コンテンツの再生動画ｖ１０に対して、「選手Ａ」と「選手Ｂ」という二つの補間動画のいずれも用いて補間処理をしてもよい。この場合は、補間部２１０の補間動画選択部２１４は、ユーザの指示や、ユーザの嗜好分析、ネット上の人気度などを用いた自動判断等により、補間動画送出部１３０に対して「選手Ａ」と「選手Ｂ」の双方の補間動画ｖ１２及び補間情報ｉ１０の送出を要求する。補間部２１０は、複数の補間動画ｖ１２及び補間情報ｉ１０の受信に伴い、「選手Ａ」と「選手Ｂ」の補間動画ｖ１２を同時に処理する。そして補間部２１０は、再生動画ｖ１０の動画面に対して、２つの補間動画ｖ１２から得られる補間領域画像を補間合成し得る。

＜３．実施例２＞
［概要］
続いて、本開示の一実施形態の実施例２について説明する。実施例１では、補間動画ｖ１２の動画面は補間領域のみに絞っているため、一つの再生動画ｖ１０に対して複数の補間領域（例えば「選手Ａ」と「選手Ｂ」の２つの補間領域）がある場合には、補間領域毎に補間動画ｖ１２が分かれていた。そのため、補間部２１０は、一つの再生動画ｖ１０に対して複数の補間領域を処理する場合に、その補間領域の数だけ補間動画ｖ１２を復号していた。

以下で説明する実施例２では、複数の補間領域の画像を一つの補間動画ｖ１２に収める。これにより補間部２１０は、補間動画ｖ１２を一つ復号すれば、全ての補間領域の画像を抽出できる。

図２４は、実施例２における補間動画ｖ１２の動画面と補間領域との関係例を示す説明図である。

実施例２では、補間動画ｖ１２の動画面の画サイズは、元の高品質動画ｖ１１の動画面と同じ画サイズとする。補間動画ｖ１２の動画面の画サイズを、元の高品質動画ｖ１１の動画面と同じ画サイズにすることにより、高品質動画ｖ１１の動画面における全ての補間領域を含有する領域が、補間動画ｖ１２で確保される。

そして、補間動画生成部１２０は、補間動画ｖ１２の各Ｆｒａｍｅ画像を作るにあたって、補間領域の部分だけ、高品質動画ｖ１１のＦｒａｍｅ画像で該当する領域の画素群を配置する。ここで配置される座標は、高品質動画ｖ１１の動画面上の座標（すなわち補間動画ｖ１２の動画面上の座標）となる。補間動画生成部１２０は、補間動画Ｆｒａｍｅの補間領域以外の領域を無効画素で埋める。

本実施例２では、無効画素とは、補間部２１０での補間画像の抽出時に破棄される様に、予め決められた画素値を持つ画素のことをいう。例えば、輝度＋色差（ＹＣｂＣｒ等）の値域外の値だったり、ＲＧＢＡ（赤緑青＋アルファ値）の透明度が最大となる値だったり、または全Ｆｒａｍｅに渡って全く現れない画素値が選択されたり、特定の画素値が無効画素値として決められても良い。この無効画素値は、変化しない固定値とする。

この結果、補間動画ｖ１２のＦｒａｍｅ画像は、補間領域にだけ高品質動画ｖ１１の該当領域から取得した有効画素群が配置され、それ以外の領域は無効画素群で埋められたＦｒａｍｅ画像となる。そして補間情報ｉ１０として、そのＦｒａｍｅ内の矩形の補間領域の座標が補間領域の数だけ記述される。図２４の例では、あるＦｒａｍｅに３つの補間領域が配置され、補間情報ｉ１０にも３つの矩形の補間領域の座標が記述される。この補間領域の座標、幅及び高さは、元の高品質動画ｖ１１の動画面上のものであるとともに、補間動画ｖ１２の動画面上の物でもある。何故ならば、本実施例では補間動画ｖ１２の動画面の画サイズは、元の高品質動画ｖ１１の動画面と同じ画サイズと同じだからである。

補間動画生成部１２０は、この補間動画ｖ１２を符号化する時に、画サイズは高品質動画ｖ１１と同じ（図２４の例では１９２０×１０８０）であっても、符号化レートは高品質動画ｖ１１の符号化レートよりも低いレートで符号化しても、画像品質を維持できる。なぜなら、Ｆｒａｍｅ画像中で無効画素の部分は固定値のため、近接のマクロブロック間やＦｒａｍｅ間で変化が無いので、符号化後の情報量が激減するからである。符号化後の情報の大部分は、画像が変化する補間領域部分の情報のみとなる。よって、符号化レートは、全Ｆｒａｍｅの中で、Ｆｒａｍｅ内の補間領域群の合計画素数が最大となる最大補間領域面積を基にして決定しても、符号化後の動画の品質は維持される。

例えば図２４の例では、３つの補間領域の内、四角形の補間領域は２００×１００＝２００００画素、三角形の補間領域は１５０×２００／２＝１５０００画素、円形の補間領域は８０×８０×π＝約２００００画素であり、３つの補間領域の画素の合計は約５５０００画素である。元の高品質動画ｖ１１は１９２０×１０８０＝２０７３６００画素なので、画素数比は５５０００÷２０７３６００＝約２．７％となる。

例えば高品質動画ｖ１１が４Ｍｂｐｓで符号化されていた場合、単純な面積比で考えるなら、補間動画生成部１２０は、４Ｍｂｐｓ×２．７％＝約１００Ｋｂｐｓで符号化しても、補間動画ｖ１２は高品質動画ｖ１１と同等の品質が期待できる。また、符号化レートを低くすることでノイズが出る場合には、補間動画生成部１２０は、符号化方式のＳ／Ｎ比特性を基にしたり、符号化レートに下限を設けたりし得る。この様に、補間動画ｖ１２の画サイズが元の高品質動画ｖ１１と同じでも、有効画素数は少ないため、補間動画生成部１２０は、Ｆｒａｍｅ内の有効画素数（補間領域の画素数）を基にした低い符号化レートで補間動画ｖ１２を符号化できる。

補間部２１０の概要についても図２４を用いて説明する。

補間部２１０は、補間領域の画像を抽出する際に、まず補間動画ｖ１２を１Ｆｒａｍｅ分復号する。上述した通り、補間領域の数に関係なく、補間部２１０は補間動画ｖ１２を１Ｆｒａｍｅ復号すれば全ての補間領域の画像を抽出できる。

そして補間部２１０は、補間動画ｖ１２のＦｒａｍｅ画像から、補間情報ｉ１０を基に補間領域を含む矩形画像を抽出する。補間情報ｉ１０に記された座標、幅、高さは、元の高品質動画ｖ１１の座標かつ補間動画ｖ１２の動画面上の座標である。何故ならば、本実施例では補間動画ｖ１２の動画面の画サイズは、元の高品質動画ｖ１１の動画面と同じ画サイズと同じだからである。つまり補間情報ｉ１０に記された座標は、補間動画ｖ１２の動画面から抽出すべき座標で、かつ補間処理時に補間画像を配置する（高品質画ｖ１１の画面上の）座標でもある。

そして補間部２１０は、抽出した矩形画像に無効画素が含まれていれば、その無効画素の部分を破棄し、残った有効画素群だけを再生動画ｖ１０の動画面に補間合成する。この様に、補間動画ｖ１２から抽出した矩形画像の内、無効画素を除去する事で、本実施例は図２４に示すように非矩形の補間領域も表現できる。例えば、補間部２１０は、選手の人型や人物の顔の輪郭等に沿った形状の補間画像を抽出できる。

以上、本開示の一実施形態の実施例２の概要について説明した。次に、実施例２に係る補間動画生成部１２０の動作例について説明する。

［補間動画生成部の動作例］
図２０〜図２２は、実施例２に係る補間動画生成部１２０の動作例を示す流れ図である。なお、実施例２に係る補間動画生成部１２０の構成は、図２に示したものと同一であるとする。以下、図２０〜図２２を用いて、実施例２に係る補間動画生成部１２０の動作例について説明する。

補間指示部１２１に、補間指示が入力される（ステップＳ３０１）。補間指示部１２１は、高品質動画ｖ１１のＦｒａｍｅ毎に補間指示の情報を取得し、全Ｆｒａｍｅの補間指示を、ファイルやデータベース、メモリ等の形で保持する。補間指示の情報は、Ｆｒａｍｅ時刻、補間領域の（左上）座標、サイズ（幅、高さ）である。本実施例では、１つのＦｒａｍｅに対して複数の領域に対する補間指示が入力されても良い。

補間指示部１２１に補間指示が入力されると、補間情報処理部１２３は、高画質動画ｖ１１のＦｒａｍｅ群の中で、Ｆｒａｍｅ内の補間領域の面積（画素数）が最大の物を求め、補間動画ｖ１２の符号化レートを決定する（ステップＳ３０２）。

図２１は、ステップＳ３０２のＦｒａｍｅ内の補間領域の面積（画素数）が最大の物を求める際の動作を詳細に示す流れ図である。

補間情報処理部１２３は、まず最大補間面積を０で初期化する（ステップＳ３１１）。続いて補間情報処理部１２３は、１Ｆｒａｍｅ分の補間領域群を補間指示部１２１から取得する（ステップＳ３１２）。

続いて補間情報処理部１２３は、Ｆｒａｍｅ内の各補間領域の面積（画素数）を計算し、その総和をそのＦｒａｍｅの補間領域面積（画素数）とする（ステップＳ３１３）。なお、補間領域間で重なり合う部分がある場合は、補間情報処理部１２３は、その重なり合う部分は重複せずに計算してもよい。ステップＳ３１３で求められる面積を補間面積とも称する。

続いて補間情報処理部１２３は、最大補間面積と、ステップＳ３１３で求めた補間面積とを比較し、ステップＳ３１３で求めた補間面積の方は大きければ、最大補間面積をステップＳ３１３で求めた補間面積の値に更新する（ステップＳ３１４）。

補間情報処理部１２３は、最後のＦｒａｍｅこのステップＳ３１２〜ステップＳ３１４の処理を繰返す（ステップＳ３１５）。最後のＦｒａｍｅまで処理が完了すると、補間情報処理部１２３は、最大補間面積と、元の高品質動画ｖ１１の面積及び符号化レートから、補間動画ｖ１２の符号化レートを決定する（ステップＳ３１６）。補間情報処理部１２３は、上述した様に、高品質動画ｖ１１の面積と最大補間面積との比を用いて符号化レートを決定してもよいし、符号化方式のＳ／Ｎ比に沿って非線形に計算してもよいし、符号化レートの最低値を設けてもよい。

図２０に戻って説明する。補間動画ｖ１２の符号化レートが決定されると、Ｆｒａｍｅ画像抽出部１２４は、高品質動画ｖ１１から補間動画ｖ１２を生成する（ステップＳ３０３）。

図２２は、ステップＳ３０３の高品質動画ｖ１１から補間動画ｖ１２を生成する際の動作を詳細に示す流れ図である。

復号部１２２は、高品質動画ｖ１１を１Ｆｒａｍｅ分復号する（ステップＳ３２１）。高品質動画ｖ１１の画サイズを、幅ＨＷ、高さＨＨとする。復号部１２２が高品質動画ｖ１１を１Ｆｒａｍｅ分復号すると、続いてＦｒａｍｅ画像抽出部１２４は、補間動画ｖ１２のためにＦｒａｍｅバッファを用意する（ステップＳ３２２）。そのＦｒａｍｅバッファの画サイズの幅ＭＷ及び高さＭＨは、高品質動画ｖ１１の画サイズ（幅ＨＷ、高さＨＨ）と同じとする。またＦｒａｍｅ画像抽出部１２４は、用意したＦｒａｍｅバッファを無効画素で埋める。Ｆｒａｍｅ画像抽出部１２４は、そのＦｒａｍｅで指示された補間領域の数だけ、Ｆｒａｍｅバッファに補間領域の画素群を配置する。

Ｆｒａｍｅバッファを用意し、無効画素でＦｒａｍｅバッファを埋めると、続いてＦｒａｍｅ画像抽出部１２４は、補間情報処理部１２３から、補間指示された領域を受け取る（ステップＳ３２３）。

Ｆｒａｍｅ画像抽出部１２４は、補間指示された領域を補間情報処理部１２３から受け取ると、ステップＳ３２１の復号処理により得られる高品質動画ｖ１１のＦｒａｍｅ画像から、指示された領域の画素群を抽出し、補間領域用のＦｒａｍｅバッファに配置する（ステップＳ３２４）。その配置の際の座標、幅及び高さは、高品質動画ｖ１１での値と同じとする。

Ｆｒａｍｅ画像抽出部１２４は、ステップＳ３２４の処理を、そのＦｒａｍｅで指示された補間領域の数だけ繰り返す（ステップＳ３２５）。ステップＳ３２４の処理を、そのＦｒａｍｅで指示された補間領域の数だけ繰り返すと、符号化部１２５は、１Ｆｒａｍｅ分の後処理を行って補間動画ｖ１２を生成する（ステップＳ３２６）。

Ｆｒａｍｅ画像抽出部１２４が生成したＦｒａｍｅバッファには、補間領域群には高品質動画ｖ１１の画素群が、それ以外の領域には無効画素群が配置されている。符号化部１２５は、このＦｒａｍｅバッファをステップＳ３０２で求められた符号化レートで符号化し、補間動画ｖ１２を生成する。

補間情報処理部１２３は、このＦｒａｍｅの補間領域の情報を、補間情報ｉ１０に記録する。その記録される情報は、Ｆｒａｍｅ時刻（またはＦｒａｍｅ番号）と、矩形の補間領域の座標、幅、高さである。これらの値は高品質動画ｖ１１の動画面上の値であるとともに、補間動画ｖ１２の動画面上の値でもある。１Ｆｒａｍｅ内に複数の補間領域がある場合には、補間情報処理部１２３は、図２４に補間情報ｉ１０として示されているように、それら複数の補間領域についての情報を列挙して記録する。

ステップＳ３２１〜Ｓ３２６の処理は、最後のＦｒａｍｅまで繰り返される。

実施例２に係る補間動画生成部１２０は、図２０〜図２２に示したような動作を実行することで、補間領域には高品質動画ｖ１１の画素群が、それ以外の領域には無効画素が配置された補間動画ｖ１２と、Ｆｒａｍｅ毎に１つ又は複数の補間領域の情報が記述された補間情報ｉ１０を作成することが出来る。補間動画生成部１２０で生成された補間動画ｖ１２及び補間情報ｉ１０は、補間動画送出部１３０へ送られて、保存される。

以上、図２０〜図２２を用いて、実施例２に係る補間動画生成部１２０の動作例について説明した。実施例２に係る補間動画送出部１３０の動作は、図６及び図７に示した動作例と同一であるので、ここでは詳細な説明は省略する。続いて、実施例２に係る補間部２１０の動作例について説明する。

［補間部の動作例］
図２３は、実施例２に係る補間部２１０の動作例を示す流れ図である。なお、実施例２に係る補間部２１０の構成は、図４に示したものと同一であるとする。以下、図２３を用いて実施例２に係る補間部２１０の動作例について説明する。

図２３に示したのは、図８のステップＳ１３３の補間処理を詳細に示したものである。再生動画ｖ１０を復号する復号部２１５は、再生動画ｖ１０を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ３３１）。また復号部２１５は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

補間動画ｖ１２を復号する復号部２１６は、補間動画ｖ１２を１Ｆｒａｍｅ分復号し、復号Ｆｒａｍｅ画像を生成する（ステップＳ３３３）。また復号部２１６は、今回復号したＦｒａｍｅのＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を時刻制御部２１７へ伝える。

時刻制御部２１７は、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻が同期するように時刻合わせを行う（ステップＳ３３１、Ｓ３３３）。

時刻制御部２１７によって、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻の同期が取れるようになると、続いて補間領域抽出部３０３は、補間動画ｖ１２のＦｒａｍｅ画像から補間領域の画像を抽出する。この補間領域の画像の抽出は以下のように行われる。

補間領域抽出部３０３は、抽出対象のＦｒａｍｅのＦｒａｍｅ時刻の補間情報から、補間領域の座標［ｘ，ｙ］、幅ＭＷ、高さＭＨを取得し、補間動画ｖ１２のＦｒａｍｅ画像から該領域の画素群を抽出する（ステップＳ３３４）。

続いて補間領域抽出部３０３は、抽出した画素群（補間画像）から、無効画素群を破棄する（ステップＳ３３５）。例えば、処理対象の画像の画像フォーマットがアルファチャンネルを持つ画像フォーマットなら、補間領域抽出部３０３は、抽出した画素群（補間画像）に対して透過度を最大にする。また例えば、処理対象の画像の画像フォーマットがアルファチャンネルを持たない画像フォーマットなら、後で補間合成する際に無効画素はスキップする。

補間領域抽出部３０３が補間領域の画像を抽出すると、画像変倍部３０１、３０４は、再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を基軸画サイズに合わせる様に拡大または縮小する（ステップＳ３３２、Ｓ３３６）。このステップＳ３３２、Ｓ３３６での処理は、図９でのステップＳ１４３、Ｓ１４６の処理と同一であるので、詳細な説明は省略する。

画像変倍部３０１、３０４が再生動画ｖ１０と補間動画ｖ１２の復号Ｆｒａｍｅ画像を拡大または縮小すると、画像変倍部３０４は、Ｆｒａｍｅ時刻毎の補間座標の数値も、ステップＳ３３２、Ｓ３３６と同様の方法で、基軸画サイズ上の座標、幅、高さに変倍する（ステップＳ３３７）。

上記ステップＳ３３４〜Ｓ３３７の処理は、その処理対象のＦｒａｍｅの全ての補間領域に対して繰り返される（ステップＳ３３８）。

Ｆｒａｍｅ画像合成部３０５は、基軸画サイズの座標系に変倍された再生動画ｖ１０のＦｒａｍｅ画像に、同じく基軸画サイズの座標系に変倍された補間動画ｖ１２のＦｒａｍｅ画像をオーバーレイ描画（画素を上書き）する（ステップＳ３３９）。補間領域が複数ある場合は、Ｆｒａｍｅ画像合成部３０５はその補間領域の数だけオーバーレイ描画（画素を上書き）する。ステップＳ３３５について述べた様に、Ｆｒａｍｅ画像のフォーマットによっては、Ｆｒａｍｅ画像合成部３０５は、このステップＳ３３９での描画の段階で無効画素はスキップし、有効画素だけ画素合成してもよい。

実施例２に係る補間部２１０に含まれる補間処理部２１８は、このように動作することで、１つのＦｒａｍｅに補間領域が複数存在していた場合でも、補間領域のみを動画面とする補間動画ｖ１２を再生動画ｖ１０の動画面に補間合成する事が出来る。

本実施例２では、１つのＦｒａｍｅに補間領域が複数あっても、補間動画ｖ１２は一つにまとめられ、また符号化レートは高画質動画ｖ１１に比べ、補間領域の面積に応じて低減できる。例えば携帯機器やコンシューマ機器は、ハードウェア能力の向上によって、２動画の同時ハードウェアデコードが可能になりつつある。そのような構成を有する機器は、再生動画ｖ１０と、本実施例２での補間動画ｖ１２の２つを同時にハードウェアデコードする様に構成する事で、ハードウェアデコード群を有効活用しながら、複数の補間領域で再生動画ｖ１０を補間する事が出来る。

１つの動画コンテンツに対して、複数の補間動画ｖ１２を作成してもよい。例えば、「スポーツＸ」の動画コンテンツに対して、「選手Ａ」のみの補間動画ｖ１２、「選手Ａ＋選手Ｂ」の補間動画ｖ１２等が作成されていても良い。１つの動画コンテンツに対して、複数の補間動画ｖ１２を作成する場合、補間部２１０の補間動画選択部２１４は、補間名称を列挙してユーザに補間動画ｖ１２を選択させたり、視聴者の嗜好やインターネット上の人気度から補間動画ｖ１２を自動選択したり、ユーザに推薦したりしてもよい。

また、本実施例２では、１つの補間動画ｖ１２に複数の補間領域を含んではいるが、補間部２１０は、複数の補間動画ｖ１２を同時に用いて補間処理を実行してもよい。例えばあるスポーツ動画のコンテンツで選手が１０人いる時、２〜３人の選手の補間領域群を含む補間動画を補間動画生成部１２０で予め複数作成しておく。補間部２１０は、その内の「選手Ａ，選手Ｂ」についての補間動画ｖ１２と「選手Ｍ，選手Ｎ」の補間動画ｖ１２とを同時に補間処理してもよい。

また、上記実施例２では、補間情報ｉ１０を用いて補間動画ｖ１２の各Ｆｒａｍｅ画面上の補間領域の座標、幅、高さを記していたが、この補間情報ｉ１０を無くしても良い。補間情報ｉ１０を無くす場合、補間動画生成部１２０は補間動画ｖ１２だけを生成し、補間情報ｉ１０は生成しない。補間動画送出部も補間動画ｖ１２のみを保持し、再生装置２００へ送出する。

そして補間情報ｉ１０を無くす場合、補間部２１０の補間処理部２１８は、復号された補間動画ｖ１２のＦｒａｍｅ画像に対して、全画素を走査して有効画素のみを抽出する。補間動画ｖ１２のＦｒａｍｅ画像からの補間画像の抽出をハードウェアが行う場合には、全画素を走査して有効画素のみを抽出する方が、回路の単純化や高速化となる場合もあり得る。一方、補間動画ｖ１２のＦｒａｍｅ画像からの補間画像の抽出をプログラムで行う場合は、予め画素抽出すべき矩形情報が与えられた方が処理の最適化を行える場合もあり得る。なお、基軸画サイズへの変換に必要な元高品質動画ｖ１１の動画面サイズは、補間情報ｉ１０から得なくても、補間動画ｖ１２の動画面サイズで代用する事が出来る。本実施例２では、元高品質動画ｖ１１の動画面サイズと補間動画ｖ１２の動画面サイズとが同じ画サイズだからである。

以上の様に、補間動画ｖ１２に複数の補間領域を埋め込み、補間領域以外の領域を無効画素で埋める事で、本実施例２は補間領域が複数あっても、一つの補間動画ｖ１２の復号だけで良いという利点を有する。特に、上記の様に同時に二つの動画を同時にハードウェアデコードできる機器で補間処理を実行する場合にはその能力を活用できる。また本実施例２は、非矩形の補間領域も表現できる。補間処理時に無効画素を破棄するため、補間動画面ｖ１２が矩形でも、補間に使用する（無効画素を破棄した後の）補間画像は任意の形状になる。例えば、補間領域を選手の人型に合わせたり、顔認識した結果の人間の顔の形に合わせたりする事ができ、本実施例は、より自然な補間処理を行うことができる。

なお、この実施例２の内容を実施例１に適用することも可能である。実施例２の内容を実施例１に適用することで、実施例１について、上述の非矩形の補間領域を表現できる、非補間領域の情報量を減らす事が出来る、補間動画面の座標を個別管理する必要が無くなる等の効果が加わる。

図２６は、実施例２の内容を実施例１に適用した際の効果を示す説明図である。実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、Ｆｒａｍｅ０で示すように、非矩形の補間領域を表現できる。実施例１では、補間領域のみを補間動画ｖ１２としていた。実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、補間動画ｖ１２の動画面に無効画素を配置して、補間部２１０による補間合成時に、任意の形状の補間領域を補間合成できる様になる。

図２６のＦｒａｍｅ０の例では、円形の補間領域を表現するために、円形の補間領域を含む矩形を補間動画ｖ１２の動画面とし、円形の補間領域以外の部分は無効画素で埋められている。実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、補間部２１０の補間合成時に無効画素を除去する事で、円形の補間領域を補間合成できる。

実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、Ｆｒａｍｅ１に示すように、非補間領域の情報量を減らす事が出来る。実施例１では、図１７で説明した様に、補間領域の画サイズはＦｒａｍｅ毎に変化し、一方で補間動画ｖ１２の動画面の画サイズは固定であった。そのため実施例１では、補間動画ｖ１２の動画面の画サイズは全Ｆｒａｍｅの補間領域群の、最大幅×最大高であった。そのため、あるＦｒａｍｅの補間領域のサイズが小さくても、補間動画ｖ１２の当該Ｆｒａｍｅには、はその小さな補間領域以外の画素情報も付与されていた。

実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、補間動画ｖ１２の各Ｆｒａｍｅ画像において、そのＦｒａｍｅの補間領域以外を無効画素にする事で、無効画素部分は値が変化しないため、Ｆｒａｍｅの動画符号化時に情報量を減らす事が出来る。

図２６のＦｒａｍｅ１の例では、補間動画ｖ１２の動画面は、全Ｆｒａｍｅの最大幅及び高さであるＭＷ＝１００、ＭＨ＝１００の画サイズを有している。本実施形態に係る動画像再生システム１は、あるＦｒａｍｅの補間領域がその画サイズより小さい幅５０×高さ６０である場合、補間領域以外の領域を無効画素で埋める事で、そのＦｒａｍｅを符号化する時の情報量を減らすことができる。

実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、Ｆｒａｍｅ２に示すように、補間動画面の座標を個別管理する必要が無くなる。実施例１では、図１８で説明した様に、高品質動画ｖ１１の動画面上において補間領域が右端や下端に位置する場合、補間動画ｖ１２の動画面の画サイズを固定にしているために補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出る場合があった。そのため、補間動画ｖ１２の動画面を左や上にずらして補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出ない様にするために、補間領域の座標と補間動画ｖ１２の動画面の座標を個別に管理していた。

実施例２の内容を実施例１に適用することで、本実施形態に係る動画像再生システム１は、補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出る場合でも、はみ出る領域に無効画素を埋める事で、補間動画ｖ１２を動画面の画サイズを固定しつつ、補間動画ｖ１２を動画面と補間領域の座標とを一元化することが出来る様になる。

図２６のＦｒａｍｅ２の例では、補間動画ｖ１２の動画面の画サイズがＭＷ＝１００×ＭＨ＝１００であるのに対して、補間領域の座標が［１８４０×１０００］である。この状態で１００×１００の画素群をそのまま抽出すると補間動画ｖ１２の動画面が高品質動画ｖ１１の動画面からはみ出してしまう。そこで本実施形態に係る動画像再生システム１は、はみ出す領域（すなわち、補間領域以外の領域）は高品質動画ｖ１１の動画面の画素群は参照しない事で、補間動画ｖ１２の動画面の座標は補間領域の座標からずらす必要が無く、単一の座標を管理するだけで済む。

図２５は、実施例２の内容を実施例１に適用した場合の補間動画生成部１２０の動作例を示す流れ図である。図２５に示したのは、高品質動画ｖ１１から補間動画ｖ１２の動画面の画像を抽出する際の、補間動画生成部１２０の動作例である。

まず、図１５のステップＳ２２１同様に、復号部１２２は、高品質動画ｖ１１の１Ｆｒａｍｅ分を復号し、復号されたＦｒａｍｅ画像をＦｒａｍｅ画像抽出部１２４へ送る。また復号したＦｒａｍｅの時刻（またはＦｒａｍｅ番号）と、Ｆｒａｍｅ画サイズ（幅ＨＷ、高さＨＨ）を補間情報処理部１２３へ送る（ステップＳ３４１）。

補間情報処理部１２３は、補間指示部１２１から、復号したＦｒａｍｅの時刻に対応した補間領域指示情報を受け取る（ステップＳ３４２）。ここでは、指示された補間領域の（高品質動画ｖ１１の動画面上の）左上座標を［ｘ，ｙ］、幅をＤＷ、高さをＤＨとする。

続いてＦｒａｍｅ画像抽出部１２４は、補間動画ｖ１２の動画面のＦｒａｍｅバッファを用意する。そのＦｒａｍｅバッファの幅ＭＷと高ＭＨは、図１３のステップＳ２０２で決定した画サイズである。そしてＦｒａｍｅ画像抽出部１２４は、そのＦｒａｍｅバッファを無効画素で埋める（ステップＳ３４３）。

続いてＦｒａｍｅ画像抽出部１２４は、高品質動画ｖ１１から補間領域の画素群を抽出し、補間動画ｖ１２の動画面のＦｒａｍｅバッファに配置する（ステップＳ３４４）。Ｆｒａｍｅ画像抽出部１２４は、高品質動画像の座標［ｘ，ｙ］、サイズ（幅ＤＷ×高さＤＨ）の画素群を抽出する。そしてＦｒａｍｅ画像抽出部１２４は、補間動画ｖ１２の動画面のＦｒａｍｅバッファの座標［０，０］から、抽出した画素群を配置する。

これにより、補間動画ｖ１２の幅ＭＷ×高さＭＨの動画面上で、補間領域（幅ＤＷ×高さＤＨ）には有効画素、それ以外の領域には無効画素が配置され、画サイズとしては幅ＭＷ×高さＭＨで固定された補間動画ｖ１２の動画面のＦｒａｍｅ画像が作られる。

続いて符号化部１２５は、ステップＳ３４４で生成された補間動画ｖ１２の動画面のＦｒａｍｅ画像を動画符号化する（ステップＳ３４５）。ステップＳ３４５での符号化レートは、全Ｆｒａｍｅの補間領域群の中で最大補間面積のものと、元の高品質動画の面積＆符号化レートから決定する。上述したように、符号化部１２５は、面積比でレートを決定してもよいし、符号化方式のＳ／Ｎ比に沿って非線形に計算してもよいし、最低符号化レートを設けてもよい。実施例１では補間動画面積を用いていたが、実施例２を実施例１に適用すると、その動画面内に収まっている補間領域の面積を用いることができるので、符号化レートは更に下げられる。

また、補間情報ｉ１０として、Ｆｒａｍｅ時刻（またはＦｒａｍｅ番号）、補間領域の座標［ｘ，ｙ］及びサイズＤＷ×ＤＨを記述する。補間動画ｖ１２の動画面と補間領域の左上座標は同一なので、実施例１とは異なり補間動画面の座標を別途記述しなくてもよい。

なお補間情報ｉ１０にはサイズＤＷ×ＤＨの記述が省略されてもよい。補間処理部２１８は、サイズの情報が無くても、補間動画ｖ１２の動画面のＦｒａｍｅ画像から無効画素を破棄すれば有効画素だけを抽出できる。実施例２と同様、補間動画ｖ１２のＦｒａｍｅ画像からの補間画像の抽出をハードウェアで行う場合には、単純な画素走査の方が回路の単純化を行い得るし、ソフトウェアで行う場合には、予め矩形情報が与えられた方が処理を最適化でき得る。

このように、実施例１に実施例２を適用することで、本実施形態に係る動画像再生システム１は、非矩形な補間領域を表現したり、非補間領域の情報量を減らして符号化効率を上げたり、補間動画と補間領域の座標を一元管理できる様になる。

＜４．実施例３＞
［概要］
続いて、本開示の一実施形態にかかる動画像再生システム１のさらに別の実施例について説明する。本実施例３は、補間動画ｖ１２を補間指示毎に作成するのではなく、高品質動画ｖ１１の画面領域を例えばタイル状に複数に分割し、各タイル矩形（分割画面）を動画面とした分割画面動画群として予め用意し、これを補間動画ｖ１２とする。そして補間指示からは、Ｆｒａｍｅ毎の補間領域を記録した補間情報ｉ１０だけを生成する。補間部２１０では、補間領域に対応する分割画面動画（補間動画ｖ１２）群を取得して、分割画面動画群から補間領域の画素群を抽出し、補間合成する。

この実施例３により、本開示の一実施形態にかかる動画像再生システム１は、補間動画の数を常に一定にすることができる、補間指示に関係なく事前に補間動画ｖ１２を生成しておける、補間領域に該当する補間動画をすぐに取得できる等の効果を奏する。

図３２〜図３４は、実施例３の動作の概要を示す説明図である。

補間動画生成部１２０は、図３２に示すように、補間指示の有無に関係なく、予め高品質動画ｖ１１の画面を複数の部分画面に分割する。ここでは説明上、画面分割した個々の矩形の部分画面を「タイル」と称する。つまり補間動画生成部１２０は、高品質動画ｖ１１の画面を横ＴＸ個×縦ＴＹ個のタイルに分割する。

そして補間動画生成部１２０は、高品質動画ｖ１１の全Ｆｒａｍｅに対して、個々のタイル毎に動画符号化して分割画面動画群を生成し、これを補間動画ｖ１２の群として扱う。画面がＴＸ個×ＴＹ個に分割されていれば、ＴＸ×ＴＹ個の分割画面動画（補間動画）が補間動画生成部１２０によって生成され、個々の補間動画ｖ１２は元の高品質動画面ｖ１１の対応するタイルの領域を動画面としている。

例えば図３２に示すように、元の高品質動画ｖ１１の画サイズが１０２４×７６８で、画面分割数を横４×縦３とすると、高品質動画ｖ１１の動画面は４×３＝１２個のタイルに分割され、分割画面動画（＝補間動画）も１２個生成される。また各タイルの画サイズは横１０２４／４＝２５６、縦７６８／３＝２５６となり、分割画面動画（補間動画ｖ１２）群は、各タイル領域を動画面とし、画サイズはそのタイルの画サイズとなる。

以下では、説明のために各タイルの左端から０，１，２，３、上端から０，１，２と順番に番号を振って、個々のタイル及び分割画面動画（補間動画）に番号を付加しておく。例えば左上のタイル（分割画面動画）は＜横０，縦０＞、右下のタイル（分割画面動画）は＜横３，縦２＞とする。

実施例１や実施例２と異なるのは、この補間動画ｖ１２の群は高品質動画ｖ１１の動画面を個定数で画面分割した物であり、補間指示には関係なく独立して、補間動画生成部１２０で予め生成できる点である。

補間情報ｉ１０には、上述の実施例同様に、Ｆｒａｍｅ時刻（またはＦｒａｍｅ番号）と、そのＦｒａｍｅの補間座標、幅、高さが列挙して記述される。本実施例３では、その補間情報ｉ１０とペアとなる、その補間情報専用の補間動画ｖ１２は無く、上記の分割画面動画群を補間動画ｖ１２（の群）とする。一つの動画コンテンツ（高品質動画ｖ１１）に対して複数の補間情報ｉ１０があっても、分割画面動画群は一セットのみで、各補間情報ｉ１０で情報が共有される。

一方、補間部２１０は、補間動画送出部１３０から補間情報ｉ１０とともに、補間動画ｖ１２となる分割画面動画群の情報を取得する。分割画面動画群の情報には、元の高品質動画ｖ１１の画サイズ、横及び縦の分割数、各分割画面動画の場所（例えばＵＲＬ）等がある。補間動画送出部１３０から送出されるこれらの情報により、補間部２１０は画面上のどの座標がどのタイルに属するかを知る事が出来る。

図３３は、補間領域が１つのタイルに全て含まれている場合の、補間部２１０での合成処理を示したものである。補間部２１０は、補間情報ｉ１０から、あるＦｒａｍｅ（０番目のＦｒａｍｅ）の補間領域情報（座標、幅、高さ）を取得する。例えば図３２に示すように、０番目のＦｒａｍｅの補間領域の座標が［２６０，６００］であり、幅１００、高さ１００であるとする。補間部２１０は、分割画面動画群の情報から、座標［２６０，６００］はタイル＜１，２＞に属すると判定できる。また補間領域の右下は［３６０，７００］であり、これもタイル＜１，２＞の領域なので、補間部２１０は、補間領域の画像はタイル＜１，２＞の分割動画から全て取得できる事が解る。

そこで補間部２１０は、補間動画送出部１３０から、タイル＜１，２＞の分割画面動画を取得し、取得したタイル＜１，２＞の分割画面動画を復号して、０番目のＦｒａｍｅのＦｒａｍｅ画像を得る。タイル＜１，２＞は、高品質動画ｖ１１の［２５６，５１２］からの２５６ｘ２５６サイズの領域である。補間部２１０は、このＦｒａｍｅ画像内の、［２６０−２５６，６００−５１２］の座標で１００×１００の画素群を抽出して、再生動画ｖ１０へ補間合成する。

図３４は、補間領域が複数のタイルにまたがっている場合の、補間部２１０での合成処理を示したものである。補間部２１０は、補間情報ｉ１０から、あるＦｒａｍｅ（１番目のＦｒａｍｅ）の補間領域情報（座標、幅、高さ）を取得する。例えば図３２に示すように、１番目のＦｒａｍｅの補間領域の座標が［４５０，５５０］であり、幅１００、高さ１００のサイズであるとする。補間部２１０は、分割画面動画群の情報から、補間領域の左上はタイル＜１，２＞の領域にあるが、右下［５５０，６５０］はタイル＜２，２＞の領域にあると判定できる。つまりこの補間領域は、タイル＜１，２＞とタイル＜２，２＞にまたがっている。そこで補間部２１０は、補間動画送出部１３０から、タイル＜１，２＞の分割画面動画に加えてタイル＜２，２＞の分割画面動画も取得する。タイル＜２，２＞は元の高品質動画の［５１２，５１２］からの２５６×２５６サイズの領域である。

そして補間部２１０は、タイル＜１，２＞とタイル＜２，２＞の２つの分割画面動画を復号して、１番目のＦｒａｍｅのＦｒａｍｅ画像を得る。図３４に示すように、タイル＜１，２＞には補間領域の左側部分が存在し、補間領域として座標［４５０，５５０］から幅１００、高さ１００の領域を抽出する場合を考える。補間部２１０は、Ｆｒａｍｅ画像内の座標［補間領域左４５０−タイル左２５６，補間領域上５５０−タイル上５１２］＝［１９４，３８］、幅（タイル右５１２−補間領域左４５０）×高さ１００のサイズで補間領域の左側を抽出できる。またタイル＜２，２＞には補間領域の右側部分があり、補間部２１０は、Ｆｒａｍｅ画像内の座標［０，３８］から幅（補間領域右（４５０＋１００）−タイル左５１２）×高さ１００のサイズで抽出できる。補間部２１０は、上記２つの領域から画素群を取得し、横につなぎ合わせることで、２つのタイルのＦｒａｍｅ画像から補間領域画像を生成する事が出来る。補間部２１０は、生成した補間領域画像を再生動画ｖ１０の補間合成に用いる。

この様に、補間部２１０は、補間情報ｉ１０とペアになる（その補間情報ｉ１０専用の）補間動画ｖ１２を用いるのではなく、どの補間情報ｉ１０であっても同じ分割画面動画群を用い、補間領域の座標、幅、高さから、その補間領域が属するタイルに対応する分割画面動画群を取得し、そのＦｒａｍｅ画像群から補間領域分の画素群を抽出する。

［補間動画生成部の機能構成例］
続いて、実施例３に係る補間動画生成部１２０の機能構成例を説明する。図２７は、本開示の一実施形態の実施例３に係る補間動画生成部１２０の機能構成例を示す説明図である。

上記実施例１、２とは異なり、本実施例３では、補間動画ｖ１２は補間指示毎に作られるのではなく、指定された画面分割数で予め高品質動画ｖ１１の動画面を分割し、分割した各タイルを動画面とする補間動画ｖ１２の群が、補間指示とは独立して生成される。補間情報ｉ１０は、上記実施例１、２と同様に補間指示部１２１から生成され、各Ｆｒａｍｅの補間領域の座標やサイズが記録される。

従って、本実施例３では、上記実施例１、２とは異なり、補間指示部１２１からの補間情報はＦｒａｍｅ画像抽出部１２４には送られない。また実施例３に係る補間動画生成部１２０は、Ｆｒａｍｅ画像抽出部１２４に替わりＦｒａｍｅ画像分割部１２６を含んで構成される。Ｆｒａｍｅ画像分割部１２６は、指定された画面分割数で高品質動画ｖ１１の動画面を分割する。Ｆｒａｍｅ画像分割部１２６により分割された高品質動画ｖ１１は、符号化部１２５で符号化されることで各タイルを動画面とする補間動画ｖ１２の群となる。

［補間動画送出部の機能構成例］
続いて、実施例３に係る補間動画送出部１３０の機能構成例を説明する。図２８は、本開示の一実施形態の実施例３に係る補間動画送出部１３０の機能構成例を示す説明図である。

実施例３に係る補間動画送出部１３０の構成は、上記実施例１、２に係る補間動画送出部１３０の構成と違いはない。ただ、補間記録部１３２での補間動画ｖ１２と補間情報ｉ１０の管理形態が異なる。実施例３に係る補間動画送出部１３０の補間記録部１３２は、補間動画ｖ１２と補間情報ｉ１０とをペアにして管理するのではなく、動画コンテンツに対して補間動画ｖ１２の群（分割画面動画群）を対応付けて管理する。

例えば補間記録部１３２は、［動画コンテンツＸ］に対して、横ＴＸ＝４×縦ＴＹ＝３の１２分割された補間動画ｖ１２の群を［動画コンテンツＸ］に対応付けて管理して保持する。補間記録部１３２は、補間動画ｖ１２の群を［動画コンテンツＸ］に対応付けて管理して保持するのに並行して、補間情報ｉ１０を、同じく［動画コンテンツＸ］に対応付けて管理する。

例えば図３に示したように、［選手Ａ］の補間指示と［選手Ｂ］の補間指示があった場合は、補間記録部１３２は双方の選手の補間情報ｉ１０を管理して保持する。補間記録部１３２が管理する情報には、画面分割数、各タイルに対応する補間動画ｖ１２の保存場所（例えばＵＲＬ等）が追加される。補間記録部１３２が管理するこれらの情報は、補間部２１０での補間処理時に補間部２１０へ送られる。補間部２１０は、補間領域に対応する補間動画ｖ１２の選別に、画面分割数、各タイルに対応する補間動画ｖ１２の保存場所（例えばＵＲＬ等）の情報も用いる。

［補間部の機能構成例］
続いて実施例３に係る補間部２１０の機能構成例について説明する。図２９は、本開示の一実施形態の実施例３に係る補間部２１０の機能構成例を示す説明図である。

実施例３に係る補間部２１０の構成は、図４に示した本開示の一実施形態に係る補間部２１０の構成と違いはない。ただ、補間処理部２１８での処理内容が異なる。本実施例３では、補間処理部２１８は、補間情報ｉ１０から得られるＦｒａｍｅ画像内の補間領域を基に、その補間領域に対応するタイルの補間動画ｖ１２（一つまたは複数）を決定し、補間動画送出部１３０からその補間動画ｖ１２（一つまたは複数）を送出する様に、受信部２１２に指示する処理が加わる。

［補間動画生成部の動作例］
続いて、実施例３に係る補間動画生成部１２０の動作例を説明する。図３０は、本開示の一実施形態の実施例３に係る補間動画生成部１２０の動作例を示す説明図である。

復号部１２２が高品質動画ｖ１１を１Ｆｒａｍｅ分復号する（ステップＳ４０１）。高品質動画ｖ１１の画サイズを、幅ＨＷ×高ＨＨとする。また、予め指定された画面分割数を、横ＴＸ×縦ＴＹとする。画面分割する各タイルの画サイズは、幅ＴＷ＝ＨＷ／ＴＸ、高さＴＨ＝ＨＨ／ＴＹとなる。

ステップＳ４０１で復号部１２２が高品質動画ｖ１１を１Ｆｒａｍｅ分復号すると、続いてＦｒａｍｅ画像分割部１２６が、復号後のＦｒａｍｅ画像を横ＴＸ×縦ＴＹ個のタイルに分割する。まずＦｒａｍｅ画像分割部１２６は、タイル行カウンタｙを初期化（例えば０で初期化）する（ステップＳ４０２）。

続いてＦｒａｍｅ画像分割部１２６は、１水平ライン分のタイルを生成する。Ｆｒａｍｅ画像分割部１２６は、タイル列カウンタｘを初期化（例えば０で初期化）する（ステップＳ４０３）。

続いてＦｒａｍｅ画像分割部１２６は、タイル＜ｘ，ｙ＞の画素群を抽出する。具体的には、Ｆｒａｍｅ画像分割部１２６は、座標［ｘ×ＴＷ，ｙ×ＴＨ］から、領域サイズ（幅ＴＷ×高ＴＨ）分の画素群を、ステップＳ４０１で復号部１２２が復号した高画質動画ｖ１１のＦｒａｍｅ画像から抽出する。Ｆｒａｍｅ画像分割部１２６が画素群を抽出すると、続いて符号化部１２５は、タイル＜ｘ，ｙ＞の分割画面動画（補間動画ｖ１２）として動画符号化する（ステップＳ４０４）。

符号化部１２５が上記ステップＳ４０４で符号化すると、続いてＦｒａｍｅ画像分割部１２６はタイル列カウンタｘを１増やす（ステップＳ４０５）。Ｆｒａｍｅ画像分割部１２６は、ｘが横分割数ＴＸを超えたかどうか判断し（ステップＳ４０６）、超えていなければ、上記ステップＳ４０４、Ｓ４０５の処理を繰り返し、１水平ライン分のタイルの分割画面動画（補間動画ｖ１２）を生成する。

ｘが横分割数ＴＸを超えると、続いて符号化部１２５はタイル行カウンタｙを１増やす（ステップＳ４０７）。Ｆｒａｍｅ画像分割部１２６は、ｙが縦分割数ＴＹを超えたかどうか判断し（ステップＳ４０８）、超えていなければステップＳ４０３に戻る。ｙが縦分割数ＴＹを超えたら、Ｆｒａｍｅ画像分割部１２６はそのＦｒａｍｅ画像に対する分割処理を終了する。補間動画生成部１２０は、全てのＦｒａｍｅに対して図３０に示した処理を実行する。

補間動画生成部１２０は、図３０に示した動作を実行することで、高品質動画ｖ１１の動画面に対して、横ＴＸ個×縦ＴＹ個に分割した各タイルを動画面とする、分割画面動画（補間動画ｖ１２の群）を生成することが出来る。また補間動画生成部１２０は、図３０に示した動作と並行し、上述したように、補間指示部１２１の補間指示から補間情報ｉ１０を生成する。上述したように、本実施例３では、補間指示とペアとなる補間動画ｖ１２は生成されない。

以上、実施例３に係る補間動画生成部１２０の動作例について説明した。実施例３に係る補間動画送出部１３０の動作は、図６及び図７に示した動作例と同一であるので、ここでは詳細な説明は省略する。続いて、実施例３に係る補間部２１０の動作例について説明する。

［補間部の動作例］
続いて、実施例３に係る補間部２１０の動作例を説明する。図３１は、本開示の一実施形態の実施例３に係る補間部２１０の動作例を示す説明図である。

受信部２１１が再生動画ｖ１０を受信すると、復号部２１５は再生動画ｖ１０を復号してＦｒａｍｅ画像を生成する。復号部２１５はそのＦｒａｍｅ画像のＦｒａｍｅ時刻（Ｆｒａｍｅ番号）を補間座標計算部３０２に伝える（ステップＳ４１１）。補間座標計算部３０２は、そのＦｒａｍｅの補間領域に対応する（一つまたは複数の）補間動画ｖ１２を決定し、補間動画ｖ１２の取得を要求する（ステップＳ４１３）。Ｆｒａｍｅの補間領域に対応する（一つまたは複数の）補間動画ｖ１２の決定方法については、上述した通りであるが、改めて説明すると以下の通りである。

高品質動画ｖ１１の画サイズＨＷ×ＨＨと、画面分割数ＴＸ×ＴＹとから、補間座標計算部３０２は各タイル（補間動画ｖ１２）の横及び縦の数、画サイズＴＷ×ＴＨが分かる。またタイル番号を＜ｔｘ，ｔｙ＞とすると、補間座標計算部３０２は各タイルの左上座標［ｔｘ×ＴＷ，ｔｙ×ＴＨ］が分かる。

補間領域の左上座標を［ｘ，ｙ］、サイズをＭＷ×ＭＨとすると、補間領域は左上座標が［ｘ，ｙ］、右上座標が［ｘ＋ＭＷ，ｙ］、左下座標が［ｘ，ｙ＋ＭＨ］、右下座標が［ｘ＋ＭＷ，ｙ＋ＭＨ］となる。補間座標計算部３０２は、この補間領域の四隅に対応するタイル群のタイル番号を決定し、そのタイル群と、水平方向及び垂直方向でそのタイル群の間に存在するタイル群が、今回の補間領域を含むタイル群であると決定する。

補間座標計算部３０２は、補間動画送出部１３０から送出される情報から、各タイル番号に対応する補間動画ｖ１２の場所（ＵＲＬ等）を抽出し、受信部２１２に対して、抽出した場所からの（一つまたは複数の）補間動画ｖ１２の受信を要求する。

そして、補間動画送出部１３０から送出された（一つまたは複数の）補間動画ｖ１２を受信部２１２が受信すると、復号部２１６は受信した（一つまたは複数の）補間動画ｖ１２を復号し、補間処理の対象とするＦｒａｍｅ番号の、補間動画ｖ１２のＦｒａｍｅ画像（一つまたは複数）を補間処理部２１８に送る（ステップＳ４１４）。

時刻制御部２１７は、再生動画ｖ１０と補間動画ｖ１２のＦｒａｍｅ時刻が同期するように時刻合わせを行う（ステップＳ４１１、Ｓ４１４）。

補間処理部２１８は、補間動画ｖ１２のＦｒａｍｅ画像（一つまたは複数）から、補間領域の画素群を抽出する（ステップＳ４１５）。補間処理部２１８での補間領域の画素群の抽出方法は上述した通りである

補間処理部２１８は、各補間動画ｖ１２のＦｒａｍｅ毎に、補間動画ｖ１２のＦｒａｍｅ画像内で画素抽出する領域を決定する。抽出する領域の補間動画ｖ１２の動面内での座標は、左上［ｘ−（ｔｘ×ＴＷ），ｙ−（ｔｙ×ＴＨ）］、右上［ｘ＋ＭＷ−（ｔｘ×ＴＷ），ｙ−（ｔｙ×ＴＨ）］、左下［ｘ−（ｔｘ×ＴＷ），ｙ＋ＭＨ−（ｔｙ×ＴＨ）］、右下［ｘ＋ＭＷ−（ｔｘ×ＴＷ），ｙ＋ＭＨ−（ｔｙ×ＴＨ）］である。なお、下限値は０、上限値は横ＴＷ、高さＴＨである。

補間処理部２１８は、抽出した画素群を、バッファ上に、水平及び／または垂直方向に連結して配置する。

補間処理部２１８は、補間動画ｖ１２の終了（最終Ｆｒａｍｅ）まで、ステップＳ４１３〜Ｓ４１５の処理を繰り返す（ステップＳ４１６）。補間処理部２１８は、補間動画ｖ１２の終了まで処理を繰り返すことにより、分割画面群である（一つまたは複数の）補間動画ｖ１２から、補間領域の画素群を抽出したバッファを生成できる。

ここまでの座標系（座標や画像のサイズ）は高品質動画ｖ１１の動画面を基にした座標系だったので、画像変倍部３０１、３０４は、高品質動画ｖ１１の動画面を基にした座標系を、基軸画サイズの座標系に変倍し、座標変換する（ステップＳ４１２、Ｓ４１７）。

変倍及び座標変換が完了すると、Ｆｒａｍｅ画像合成部３０５が補間処理（再生動画ｖ１０への補間動画ｖ１２の補間処理）を行う（ステップＳ４１８）。

実施例３に係る補間部２１０は、図３１に示した動作を実行することで、予め画面分割された部分画面の動画群である補間動画ｖ１２の群から、補間領域の画素群を抽出して、補間処理を行うことができる。

実施例３における処理の効率化として、補間部２１０は補間動画ｖ１２の先読みをしてもよい。実施例３では、補間領域の座標移動に伴って、取得すべき補間動画ｖ１２（タイル番号）が変わっていく場合がある。このような場合に、補間部２１０が取得する補間情報ｉ１０を用いて補間動画ｖ１２の先読みを行い得る。

補間部２１０は、予め補間情報ｉ１０を先読みして、現在処理しているＦｒａｍｅより先（例えば、数秒先）のＦｒａｍｅ時刻（以下「先読み時刻」とも称する）の補間領域を取得し、その領域に該当するタイル番号の補間動画ｖ１２を決定する。その補間動画ｖ１２が、今はまだ受信していないものであれば先行して受信指示を出して受信するか、またシーク要求をして、（補間動画ｖ１２の先頭の方の）不要なＦｒａｍｅを飛ばして受信する。

補間部２１０は、受信した補間動画ｖ１２の符号化データを解析して、対象Ｆｒａｍｅ（先読み時刻のＦｒａｍｅ）を含むＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の先頭を受信バッファに置く。動画再生時刻がその先読み時刻になったら、補間部２１０は、ＧＯＰの先頭から復号して、対象Ｆｒａｍｅ画像を取得する。

補間部２１０は、このように先読みして補間動画ｖ１２を受信することで、シークなどのネットワーク通信と符号化データ解析（ＧＯＰの頭出しなど）を行うだけで、補間部２１０の復号部２１６による復号処理を行わずとも、先読み処理が可能である。なお補間部２１０に使用されていない（復号部２１６とは別の）復号部があれば、その使用されていない復号部を活用して、先行取得した補間動画ｖ１２の対象Ｆｒａｍｅの画像を抽出してもよい。

上述の本開示の一実施形態の説明では、ＭＰＥＧ−ＤＡＳＨを用いた補間動画ｖ１２の伝送レート調整について述べたが、この実施例３では、ＭＰＥＧ−ＤＡＳＨを用いた補間動画ｖ１２の伝送レート調整にさらなる改良を加えることが可能になる。

実施例３では、取得する複数の補間動画ｖ１２の群（分割画面の動画群）に対して、異なるレートを割り当ててもよい。実施例３では、補間領域の座標、サイズによって複数のタイルの補間動画ｖ１２の群を取得する場合があるが、複数の補間動画ｖ１２を全て同じ符号化レート及び伝送レートにする必要は無い。

例えば、補間領域に対応する複数のタイル群に対して各々重要度を付け、重要度が高いタイルの補間動画ｖ１２には高い画質で高い符号化レートが、低いタイルには低い画質で低いレートが割り当てられるようにしてもよい。タイルの重要度の設定は、例えば、補間領域の画面の中で、各タイルが占める面積の割合で決められても良い。

具体的には、補間部２１０は、補間領域を多く含むタイルの補間動画ｖ１２に高いレートを配分して画質を上げ、あまり含まないタイルの補間動画ｖ１２は、画質を下げてレートを低減させるようにしてもよい。また例えば、補間領域の中央は重要度を高くして、外側にかけて重要度を低く変化させてもよい。これにより補間部２１０は、中央に近いタイルの補間動画ｖ１２は高い画質で高いレートに決定し、外側のタイルは低画質にしてレートを低減させることができる。

実施例３により、補間動画ｖ１２の数を一定とすることが可能になる。補間動画生成部１２０は、補間指示毎に補間動画ｖ１２を作るのではなく、事前に固定数に画面分割された分割画面の補間動画ｖ１２を生成する。よって補間指示のパターンが増えても、補間動画送出部１３０が保持する補間動画ｖ１２の数は増やさずに済む。そのため実施例３の技術を適用することで、補間動画送出部１３０での動画記録容量を抑える事が出来る。

実施例３により、補間指示と無関係に、事前に補間動画ｖ１２を作成しておくことが可能になる。補間動画ｖ１２は、補間指示に関係ないため、新たな補間指示が追加された時も、補間動画ｖ１２を新たに生成する処理は不要である。

動画配信システムの多くは、その投資コストの多くをストレージ容量に充当し、ＣＰＵやメモリコスト（ＣＰＵのグレードやメモリ容量、またクラウド上の仮想マシンであればＣＰＵ使用時間の課金等）への投資コストを抑える傾向にある。本実施例３の技術を適用することで、補間指示のパターンが増えても補間動画ｖ１２の生成処理を行わないため、ＣＰＵやメモリのコストを抑える事が出来る。

実施例３により、補間領域に該当する補間動画ｖ１２をすぐに取得することが可能になる。補間動画ｖ１２は事前に作成されているので、例えば再生装置２００のユーザが補間領域を指示したら、補間部２１０は指示に基づいてすぐさま補間動画ｖ１２を取得することができる。すなわち、補間動画生成部１２０での補間動画ｖ１２が生成されるまで待つ時間が不要となるので、実施例３によってインタラクティブな補間処理が可能となる。

＜５．まとめ＞
以上説明したように、本開示の一実施形態に係る動画像再生システム１は、低品質な再生動画ｖ１０に対して、画像の一部を高品質化して、ユーザの視聴体験を向上させることが出来る。

本開示の一実施形態に係る動画像再生システム１は、画質の高い動画を全て伝送するのでなく、補間領域だけを伝送する。従って、伝送レート及び負荷を低く抑えながら、画像の一部を高品質化して、ユーザの視聴体験を向上させることが出来る。

単体の動画を解析して高画質化のための演算を行う技術に比べて、本開示の一実施形態に係る動画像再生システム１は、再生装置２００での高画質化のための演算負荷や、高画質化のための特殊な回路は不要となる。また再生動画の品質が低く、情報量が少なくても、再生動画に対応する高画質動画から補間動画が生成されるので、再生装置２００での高画質化のための補間処理に影響が無い。また、単体の動画を解析して高画質化のための演算を行う技術に比べて、本開示の一実施形態に係る動画像再生システム１は、再生動画とは別の動画として補間動画を符号化するため、再生動画とは独立して動画品質を設定できる。本開示の一実施形態に係る動画像再生システム１は、再生装置２００での高画質化演算のために、再生動画を再符号化（再作成）する必要が無い。

また本開示の一実施形態に係る動画像再生システム１は、再生動画の伝送の折に、空いている伝送帯域を有効に活用できる。例えば、再生動画送出部１１０を含んでいるサーバが３パターンのレート及び画サイズの動画ファイルを提供する場合、再生装置２００は、使用可能な伝送帯域以下である動画ファイルを選択する。この場合、伝送帯域に余裕が生まれることがある。本開示の一実施形態に係る動画像再生システム１は、余裕のある伝送帯域を活用して補間動画を伝送して、再生画面の重要領域を高画質化できる。

また本開示の一実施形態に係る動画像再生システム１は、動画の配信業者が元素材として保持している高品質動画を活用でき、また、その高品質動画全体を伝送する場合に比べて、補間動画の伝送レートを低減させる事が出来る。また本開示の一実施形態に係る動画像再生システム１は、補間動画の画サイズや符号化レートを低く抑えられるため、補間処理側の負荷を抑えることが出来る。

また本開示の一実施形態に係る動画像再生システム１は、１つの再生動画に対して、画面内の異なる領域に対応する複数の補間動画群を用意する事が出来る。１つの再生動画に対して、画面内の異なる領域に対応する複数の補間動画群を用意することにより、複数の再生装置群が再生動画に対して異なる領域を補間する場合に、複数の再生装置で共通の再生動画と、再生装置毎に異なる補間動画とを伝送することが可能になる。そのため本開示の一実施形態に係る動画像再生システム１は、高画質の動画を画面全体で保持する必要が無く、また複数の再生装置で共通の再生動画をブロードキャスト配信することで、動画を送出する側の動画データの記録容量を小さくすることが出来る利点を有する。また本開示の一実施形態に係る動画像再生システム１は、複数の再生装置で共通の再生動画をブロードキャスト配信することで、伝送効率を向上させることが出来る利点を有する。

本開示の一実施形態に係る動画像再生システム１は、上記実施例１を適用することで、補間動画は補間領域を含む必要最小限の画サイズとなり、符号化レート及び伝送レートを必要最小限にする事が出来る。また、符号化レート及び伝送レートを必要最小限にする事により、補間部２１０の補間処理（復号処理やＦｒａｍｅ画像に対する処理）も低減される。従って本開示の一実施形態に係る動画像再生システム１に、上記実施例１を適用することで、ハードウェアデコーダが一つしかない様な機器でも、そのハードウェアデコーダを再生動画の復号に用い、補間動画の復号にソフトウェアデコーダを用いる等の柔軟な構成が出来る。

本開示の一実施形態に係る動画像再生システム１は、上記実施例１を適用することで、補間領域と補間動画が一対一に対応し、複数の補間パターンの組合せを容易にすることが出来る。例えば、選手Ａと選手Ｂを補間する場合であれば選手Ａを補間するための補間動画Ａと選手Ｂを補間するための補間動画Ｂを、選手Ａと選手Ｃの補間であれば補間動画Ａと選手Ｃを補間するための補間動画Ｃを取得すればよい。

本開示の一実施形態に係る動画像再生システム１は、上記実施例２を適用することで、複数の補間領域の画像を一つの補間動画面内に含める事が出来る。複数の補間領域の画像を一つの補間動画面内に含める事で、補間処理の際に一つのデコーダによる補間動画の復号で複数の補間領域の画像を一気に抽出でき、補間領域が複数あってもその数だけ復号する必要が無い。また本開示の一実施形態に係る動画像再生システム１に、上記実施例２を適用することで、補間動画のストリーミングも一つで済む。また本開示の一実施形態に係る動画像再生システム１に、上記実施例２を適用することで、矩形以外の補間領域も表現できる。

また本開示の一実施形態に係る動画像再生システム１は、上記実施例１及び実施例２を適用することで、実施例１の場合でも矩形以外の補間領域を表現でき、また補間動画の符号化後の情報量を低減できる。

本開示の一実施形態に係る動画像再生システム１は、上記実施例３を適用することで、補間動画群（部分画面の動画群）は、補間パターンに影響を受けなくなり、補間処理の前に予め作成しておくことができる。上記実施例３では、分割パターンを変えない限り、補間動画群の数は一定であり、補間パターンごとに補間動画を生成する必要が無く、補間情報だけ作成すればよい。そのため本開示の一実施形態に係る動画像再生システム１に、上記実施例３を適用することで、補間パターンが増えても、補間動画送出部１３０が保持する補間動画の数は増やさずに済み、動画ファイル記憶領域の容量を抑えられる。

本開示の一実施形態に係る動画像再生システム１は、上記実施例３を適用することで、補間指示が追加される度に補間動画を生成する必要が無いので、動画配信するサーバのＣＰＵやメモリの投資コストを抑える事が出来る。本開示の一実施形態に係る動画像再生システム１は、上記実施例３を適用することで、補間動画が事前に作成されているため、新たな補間パターン（補間指示）が作られると、再生装置２００は補間動画をすぐに取得して補間合成を行える。本開示の一実施形態に係る動画像再生システム１は、上記実施例３を適用することで、補間動画生成部１２０での補間動画の生成を待つ時間が不要になり、インタラクティブな補間が可能となる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、
前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、
を備える、映像処理装置。
（２）
前記画像生成部は、前記再生情報生成部が生成する再生情報に基づいて出力する第２の動画像の領域を決定する、前記（１）に記載の映像処理装置。
（３）
前記画像生成部は、前記第１の動画像及び前記第２の動画像を同時に再生させる期間における、決定した前記領域を網羅する画素群に対して前記第２の画質で前記領域の動画像と同一の内容の動画像を生成する、前記（２）に記載の映像処理装置。
（４）
前記画像生成部は、決定した前記領域に対しては前記第２の画質で前記領域の動画像と同一の内容の動画像を生成し、前記領域を除いた領域に対しては無効画素を生成する、前記（２）に記載の映像処理装置。
（５）
前記画像生成部は、前記第１の動画像及び前記第２の動画像を同時に再生させる期間における、決定した前記領域を網羅する画素群に対して、前記領域に対しては前記第２の画質で前記領域の動画像と同一の内容の動画像を生成し、前記領域を除いた領域に対しては無効画素を生成する、前記（４）に記載の映像処理装置。
（６）
前記画像生成部は、前記領域として複数の領域に分割されたブロックの中の所定のブロックに対して前記第２の画質で前記領域の動画像と同一の内容の動画像を生成する、前記（２）に記載の映像処理装置。
（７）
前記画像生成部は、前記第１の動画像の再生時に前記第１の動画像の内容の認識を高める領域について前記第２の動画像を生成する、前記（１）〜（６）のいずれかに記載の映像処理装置。
（８）
前記領域は、前記第１の動画像における人間の姿が含まれる領域である、前記（７）に記載の映像処理装置。
（９）
前記領域は、前記第１の動画像における文字情報が表示される領域である、前記（７）または（８）に記載の映像処理装置。
（１０）
前記画像生成部は、前記第２の動画像の基となる第３の動画像から、前記再生情報に基づいて動的に前記第２の動画像を生成する、前記（１）〜（９）のいずれかに記載の映像処理装置。
（１１）
第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得する画像取得部と、
前記画像取得部が取得した前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像合成部と、
を備える、映像再生装置。
（１２）
前記画像合成部は、前記第２の動画像の中から前記第１の動画像の一部と置き換える領域を前記再生情報に基づいて抽出する画像抽出部を含む、前記（１１）に記載の映像再生装置。
（１３）
前記画像合成部は、前記画像抽出部が抽出する領域に関する情報が含まれた前記再生情報を前記第２の動画像と共に取得する、前記（１２）に記載の映像再生装置。
（１４）
前記画像取得部は、前記第１の動画像を、前記第２の動画像を送信する装置と別の装置から取得する、前記（１１）〜（１３）のいずれかに記載の映像再生装置。
（１５）
前記画像取得部は、前記第１の動画像を、前記第２の動画像を送信する装置と同じ装置から取得する、前記（１１）〜（１３）のいずれかに記載の映像再生装置。
（１６）
第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成するステップと、
前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成するステップと、
を備える、映像処理方法。
（１７）
第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得するステップと、
前記取得するステップで取得された前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるステップと、
を備える、映像再生方法。
（１８）
映像処理装置と、
映像再生装置と、
を備え、
前記映像処理装置は、
第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、
前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、
を含み、
前記映像再生装置は、
少なくとも前記第２の動画像及び前記再生情報を前記映像処理装置から取得する画像取得部と、
前記画像取得部が取得した前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像再生部と、
を含む、映像処理システム。

１ 動画像再生システム
１１０ 再生動画送出部
１２０ 補間動画生成部
１２１ 補間指示部
１２２ 復号部
１２３ 補間情報処理部
１２４ Ｆｒａｍｅ画像抽出部
１２５ 符号化部
１２６ Ｆｒａｍｅ画像分割部
１３０ 補間動画送出部
１３１ 受信部
１３２ 補間記録部
１３３ 補間一覧管理部
１３４ 送出部
２００ 再生装置
２１０ 補間部
２１１、２１２、２１３ 受信部
２１４ 補間動画選択部
２１５、２１６ 復号部
２１７ 時刻制御部
２１８ 補間処理部
２２０ 再生部
２３０ 符号化部
３０１、３０４ 画像変倍部
３０２ 補間座標計算部
３０３ 補間領域抽出部
３０５ Ｆｒａｍｅ画像合成部

Claims (18)

1. 第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、
   前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、
   を備える、映像処理装置。
2. 前記画像生成部は、前記再生情報生成部が生成する再生情報に基づいて前記第２の動画像の領域を決定する、請求項１に記載の映像処理装置。
3. 前記画像生成部は、前記第１の動画像及び前記第２の動画像を同時に再生させる期間における、決定した前記領域を網羅する画素群に対して前記第２の画質で前記領域の動画像と同一の内容の動画像を生成する、請求項２に記載の映像処理装置。
4. 前記画像生成部は、決定した前記領域に対しては前記第２の画質で前記領域の動画像と同一の内容の動画像を生成し、前記領域を除いた領域に対しては無効画素を生成する、請求項２に記載の映像処理装置。
5. 前記画像生成部は、前記第１の動画像及び前記第２の動画像を同時に再生させる期間における、決定した前記領域を網羅する画素群に対して、前記領域に対しては前記第２の画質で前記領域の動画像と同一の内容の動画像を生成し、前記領域を除いた領域に対しては無効画素を生成する、請求項４に記載の映像処理装置。
6. 前記画像生成部は、前記領域として複数の領域に分割されたブロックの中の所定のブロックに対して前記第２の画質で前記領域の動画像と同一の内容の動画像を生成する、請求項２に記載の映像処理装置。
7. 前記画像生成部は、前記第１の動画像の再生時に前記第１の動画像の内容の認識を高める領域について前記第２の動画像を生成する、請求項１に記載の映像処理装置。
8. 前記領域は、前記第１の動画像における人間の姿が含まれる領域である、請求項７に記載の映像処理装置。
9. 前記領域は、前記第１の動画像における文字情報が表示される領域である、請求項７に記載の映像処理装置。
10. 前記画像生成部は、前記第２の動画像の基となる第３の動画像から、前記再生情報に基づいて動的に前記第２の動画像を生成する、請求項１に記載の映像処理装置。
11. 第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得する画像取得部と、
    前記画像取得部が取得した前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像合成部と、
    を備える、映像再生装置。
12. 前記画像合成部は、前記第２の動画像の中から前記第１の動画像の一部と置き換える領域を抽出する画像抽出部を含む、請求項１１に記載の映像再生装置。
13. 前記画像合成部は、前記画像抽出部が抽出する領域に関する情報が含まれた前記再生情報を前記第２の動画像と共に取得する、請求項１２に記載の映像再生装置。
14. 前記画像取得部は、前記第１の動画像を、前記第２の動画像を送信する装置と別の装置から取得する、請求項１１に記載の映像再生装置。
15. 前記画像取得部は、前記第１の動画像を、前記第２の動画像を送信する装置と同じ装置から取得する、請求項１１に記載の映像再生装置。
16. 第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成するステップと、
    前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成するステップと、
    を備える、映像処理方法。
17. 第１の画質を有する第１の動画像及び前記第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像、並びに前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生するための再生情報を取得するステップと、
    前記取得するステップで取得された前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるステップと、
    を備える、映像再生方法。
18. 映像処理装置と、
    映像再生装置と、
    を備え、
    前記映像処理装置は、
    第１の画質を有する第１の動画像と同一の内容であり、前記第１の画質より高い第２の画質で、前記第１の動画像の一部の領域に対応するサイズを有する第２の動画像を生成する画像生成部と、
    前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させるための再生情報を生成する再生情報生成部と、
    を含み、
    前記映像再生装置は、
    少なくとも前記第２の動画像及び前記再生情報を前記映像処理装置から取得する画像取得部と、
    前記画像取得部が取得した前記再生情報に基づいて、前記第１の動画像の一部を前記第２の動画像に置き換えて前記第１の動画像及び前記第２の動画像を同時に再生させる画像再生部と、
    を含む、映像処理システム。
    

Images