JP4462559B2 - トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム - Google Patents

Description

本発明は、トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラムに関し、特に、必要な資源を最小限に抑制しつつ、滑らかかつ所定倍速で動画をトリック再生できるトリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラムに関する。

MPEG/H.264で圧縮された動画データは、定期的に出現するIフレームとその間のP/Bフレームからなる。Iフレームは、圧縮効率は低く、符号量が大きいが、他のフレーム情報を必要とすることなく復号できる。一方、P/Bフレームは、他のフレームに対する差分情報で構成され、復号のために復号済みの他のフレーム情報を必要とするが、圧縮効率が高く、符号量が小さい。

従来、動画データをサーバに蓄積し、ユーザからの要求に従って配信するサービス(VOD:Video On Demand)が実現されており、サーバの蓄積容量や伝送帯域を低減させるために、圧縮された動画データを利用する動画配信サービスも種々の方式が提案されている。

図４は、MPEG/H.264などで圧縮された動画データによる映像配信サービスの概念を示す。映像配信サーバ10は、MPEG/H.264などで圧縮された動画データを格納している。ユーザ端末20から通常の動画の配信要求があると、映像配信サーバ10は、IフレームとP/Bフレームの動画データ(圧縮されたフレーム)を所定の順序で送信する。この場合のフレームの送信周期は、通常、1/30secである。ユーザ端末20は、受信した動画データを復号して表示する。上述したように、Iフレームは符号量が大きく、P/Bフレームは符号量が小さい。

MPEG/H.264などで圧縮された動画データは、復号済みの他のフレームを使用して復号されるP/Bフレームを含んでいるため、ユーザ端末20は、所定の順序でフレームを受信しないと正しく画像を再生できない。

このため、通常再生時とは異なるN倍速早送りで動画をトリック再生可能とする映像配信サービスは、単に早送りの割合でフレームを間引いて送信するだけでは実現できない。例えば、ユーザ端末20から2倍速早送り再生用の動画データの配信要求があった場合、1フレーム飛ばしの動画データの送信では対処できない。

N倍速早送りで動画をトリック再生可能とする映像配信サービスを実現するために、図５に示すように、映像配信サーバ10では、MPEG/H.264などで圧縮された通常再生用の動画データを単純にN倍の速度で送信し、ユーザ端末20では、通常のN倍の速度で再生する方式(第１の方式)が考えられる。

また、図６に示すように、映像配信サーバ10では、MPEG/H.264などで圧縮された通常再生用の動画データからトリック再生の速度に応じた割合でIフレームだけを抽出して送信し、ユーザ端末20では、トリック再生の速度で再生する方式(第２の方式)も知られている。第２の方式において映像配信サーバ10から送信される動画データは、それ自身で復号可能なIフレームだけであり、P/Bフレームを含まないので、ユーザ端末20は、単に受信の順序で各フレームごとに動画データを復号することができる。

特許文献１には、画像単位内予測符号化を織り交ぜつつ画像単位間予測符号化により圧縮記録した動画像を再生する圧縮記録画像の再生方式において、圧縮記録された動画像のうち、画像単位内予測符号化により圧縮記録された動画像部分のみを選択再生することにより高速再生を可能にすることが記載されている。

さらに、図７に示すように、映像配信サーバ10に、MPEG/H.264などで圧縮された通常再生用の動画データの他にN倍速早送り再生用の動画データ、例えば5倍速、10倍速、20倍速再生用の動画データを格納しておき、ユーザ端末20からトリック再生用の動画データの配信要求があった場合にはその中から適当な動画データを選択して送信し、ユーザ端末20では、トリック再生の速度で再生する方式(第３の方式)も知られている。

特許文献２には、通常再生用とは別に高速再生専用のファイルを設けておき、高速再生要求があったときには高速再生専用のファイルからの読み出しを行うことが従来技術として記載され、また、高速再生時にはバッファメモリに記憶した複数フレーム分の映像信号(Iピクチャ)を再生することにより、通常再生時とのフレーム推移の連続性を保つことが記載されている。
特開昭６３−３１０２９３号公報 特開平９−９３５４０号公報

しかしながら、第１の方式(図５)は、トリック再生時には通常再生用の動画データをN倍の速度で送信するので、通常再生時より大量(N倍)の伝送帯域を必要とし、また、ユーザ端末20ではN倍の速度で復号処理を行わなければなない。また、逆方向(早戻し)トリック再生ができないという課題がある。

第２の方式(図６)は、通常再生用の動画データからIフレームだけを抽出するので、映像配信サーバ10には通常再生用の動画データだけを用意しておくだけでよい。また、送信する動画データがIフレームだけであるので、逆方向トリック再生も可能であり、さらに、フレームの抽出割合に応じた速度でのトリック再生も可能である。

しかし、IフレームはP/Bフレームより動画データの符号量が多いので、トリック再生時に滑らかな動画を再生可能とするために通常再生時と同じフレーム数(フレームレート)で動画データを送信しようとすると、通常再生時より高速に動画データを読み出す必要があり、また、送信に必要な伝送帯域が増大するという課題がある。トリック再生時の伝送帯域を通常再生時と同じにするには秒間当たりのフレーム数を落とせばよいが、そうすると再生される動画の動きが滑らかでなくなるという課題がある。

第３の方式(図７)は、通常再生用の動画データと同様の符号化方法でN倍速の動画データを予め生成して用意してあるので、フレームレートの高い、滑らかなトリック再生が可能である。しかし、トリック再生に応じた倍速各々に対する動画データを用意しておかなければならない。また、逆方向トリック再生を可能にするには逆方向トリック再生専用の動画データもさらに別に用意しておかなければならない。したがって、動画データを格納するのに大容量の記録メディアが必要になるという課題がある。

本発明の目的は、上記課題を解決し、必要な資源(記録メディアの容量や伝送帯域など)を最小限に抑制しつつ、通常再生用の他に単一のトリック再生用の動画データを用意するだけで、滑らかかつ所定倍速のトリック再生を可能とするトリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラムを提供することにある。

上記課題を解決するために、本発明のトリック再生用コンテンツ作成方法は、入力動画像の各場面における各フレームの変化量または動き量を取得し、フレーム間引処理および符号化処理では、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるように前記変化量または動き量に応じてフレームレートおよび符号量を制御し、符号化処理では、フレーム間引き処理された全てのフレームを、他フレームを使用することなく自フレームのみで復号可能な形態で符号化することを特徴としている。

また、本発明のトリック再生用コンテンツ作成装置は、フレームレート・符号量計算手段、フレーム間引手段および符号化手段を含むトリック再生用動画像符号化器を備え、前記フレームレート・符号量計算手段は、入力動画像の各場面における各フレームの変化量または動き量に基づいて、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるように前記フレーム間引手段および符号化手段にフレームレート指示および符号量指示を送出し、前記フレーム間引手段は、入力動画像信号を、前記フレームレート指示に従って間引処理し、前記符号化手段は、前記フレーム間引手段で間引き処理された全てのフレームを、符号量指示に従って他フレームを使用することなく自フレームのみで復号可能な形態で符号化処理することを特徴としている。

また、本発明のトリック再生用コンテンツ作成用プログラムは、コンピュータに、入力動画像の各場面における各フレームの変化量または動き量に基づいて、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるフレームレートおよび符号量を算出する機能と、入力動画像信号を前記フレームレートに従って間引処理する機能と、間引処理された全てのフレームを前記符号量に従って他フレームを使用することなく自フレームのみで復号可能な形態で符号化処理する機能を実行させる。

また、本発明のトリック再生用圧縮動画データ送出方法は、上記のトリック再生用コンテンツ作成方法により作成されたトリック再生用圧縮動画データを格納しておき、トリック再生要求に対して該トリック再生要求の倍速に応じた割合で前記単一のトリック再生用圧縮動画データのフレームを間引いてトリック再生用コンテンツとして送出することを特徴としている。

さらに、本発明のトリック再生用圧縮動画データ送出装置は、上記のトリック再生用コンテンツ作成装置またはトリック再生用コンテンツ作成用プログラムにより作成されたトリック再生用圧縮動画データを格納する格納部と、トリック再生要求を受信する受信部と、前記受信部で受信されたトリック再生要求に対して該トリック再生要求の倍速に応じた割合で前記トリック再生用圧縮動画データのフレームを間引く間引処理部と、前記間引処理部で間引かれたトリック再生用圧縮動画データを送信する送信部を備えたことを特徴としている。

本発明によれば、単一のトリック再生用圧縮動画データだけで所定倍速のトリック再生が可能になる。したがって、単一のトリック再生用圧縮動画データを格納する分だけ記録メディアの容量を増加させるだけで所定倍速のトリック再生に対処できる。

また、各場面における画像の動きの大小に従ってフレームレートおよび各フレームの符号量を制御して、トリック再生用圧縮動画データのビットレートを通常再生用圧縮動画データと同じまたはそれ以下としているので、トリック再生用圧縮動画データを格納する記録メディアの容量増加を抑え、また、トリック再生用圧縮動画データの送信に必要な伝送帯域の増加を軽減し、主観評価による画質を向上させつつ、制限された伝送帯域内でトリック再生用の動画データを送信することができる。

なお、各場面における画像の動きの大小は、フレーム間でのマクロブロックの動きベクトルの大きさや、フレームでのイントラマクロブロックの数などを指標として決定することができ、これらは通常再生用圧縮動画データを作成する際に得られるので、トリック再生用圧縮動画データを作成するためにわざわざ検出しなくても済む。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態を示す概念図であり、本発明をVODに適用したものである。図１において、図４と同一あるいは同等部分には同じ符号を付している。

映像配信サーバ10は、圧縮された通常再生用動画データおよび単一のトリック再生用動画データを格納しており、ユーザ端末20から通常再生用の動画の配信要求があると、格納している通常再生用動画データを所定の順序で送信し、また、トリック再生用の動画の配信要求があると、トリック再生用動画データをそのまま、あるいは要求されたトリック再生の速度に応じた割合で間引いて順次送信する。

通常再生用動画データは、MPEG/H.264などで圧縮されたIフレームとP/Bフレームを含む動画データである。一方、トリック再生用動画データは、Iフレームだけを含む特定倍速再生用、例えば5倍速トリック再生用の動画データであり、各Iフレームは、通常再生用動画データと同じまたはそれ以下のビットレート(フレームレートおよび符号量)で作成されている。

映像配信サーバ10は、ユーザ端末20から要求されるトリック再生の倍速に応じてトリック再生用動画データをフレーム間引きしながら送信する。例えば、格納されているトリック再生用動画データが5倍速トリック再生用である場合、5倍速早送り再生が要求されたならば順方向にそのままトリック再生用動画データを読み出して送信する。また、10倍速早送り再生が要求されたならば1フレーム飛ばしで順方向にトリック再生用動画データを読み出して送信し、20倍速早送り再生が要求されたならば3フレーム飛ばしで順方向にトリック再生用動画データを読み出して送信する。

逆方向トリック再生が要求された場合も同様であり、5倍速逆方向再生が要求されたならば逆方向にそのままトリック再生用動画データを読み出して送信する。また、10倍速逆方向トリック再生が要求されたならば1フレーム飛ばしで逆方向にトリック再生用動画データを読み出して送信し、20倍速逆方向再生が要求されたならば3フレーム飛ばしで逆方向にトリック再生用動画データを読み出して送信する。

本発明におけるトリック再生用動画データは、圧縮された通常再生用動画データと同じまたはそれ以下のビットレートで、全てIフレームからなる動画像データである。Iフレームは、P/Bフレームに比べて圧縮効率が低いので、トリック再生画のフレームレートを高くして再生画を滑らかにしつつ、通常再生時と同じ伝送帯域とするには、各フレームの符号量を小さくして画質を落とす必要がある。各フレームの符号量を小さくすると、画質がやや低下することになるが、実用上では問題にならない。

しかし、動画の動きに応じてフレームレートおよび各フレームに割り当てる符号量を制御することにより同じビットレートで主観評価による画質を向上させることができる。以下、この実施形態について説明する。

図２は、主観評価による画質の向上を可能にした実施形態を示す概念図である。この実施形態のVODの概念を示す。トリック再生時のフレームレートは一定である必要はなく、動画の動きが大きい場面(動きが大きいシーン)に対しては各フレームに割り当てる符号量を少なくして画質を下げ、その代わりにフレームレートを大きくして動きを滑らかにする。逆に、動画の動きが小さい場面(動きが小さいシーン)に対しては各フレームに割り当てる符号量を多くして画質を上げ、その代わりにフレームレートを小さくする。

すなわち、トリック再生用動画データとして、場面における画像の動きの大小に従ってフレームレートおよび各フレームの符号量が制御された動画データを作成し、映像配信サーバ10に格納しておく。

動画の動きが大きい場面では各フレームの画質(ディテール)は目立たない代わりに動きの滑らかさが目立ち、動画の動きが小さい場面では動きの滑らかさは目立たないが画質が目立つので、このようにすることにより、主観評価による画質を向上させつつ、制限された伝送帯域内で動画データを送信することが可能になる。

図３は、図２の実施形態で用いる動画データを作成する動画データ作成装置を示す機能ブロック図である。この動画データ作成装置は、通常再生用動画符号化器31とトリック再生用動画符号化器32からなる。

通常再生用動画符号化器31は、符号化種別判定器・フレーム並べ換えメモリ311、フレーム内予測符号化器312およびフレーム間予測符号化器313を備え、符号化前動画信号(入力動画信号)を入力とし、通常再生用動画データ(符号列)を出力する。

トリック再生用動画符号化器32は、フレームバッファ(FIFO)321、フレーム間引き器322、フレームレート・符号量計算器323およびフレーム内予測符号化器324を備え、入力動画信号を入力とし、トリック再生用動画データ(符号列)を出力する。

通常再生用動画符号化器31の動作は、通常のMPEG/H.264の符号化器と同様である。入力動画信号は、まず、符号化種別判定器・フレーム並べ換えメモリ311に入力される。符号化種別判定器・フレーム並び換えメモリ311は、各フレームをフレーム内予測によって符号化するか、前方向フレーム間予測によって符号化するか、双方向フレーム間予測によって符号化するか、つまりIフレーム、Pフレーム、Bフレームのいずれに符号化するかを判定し、この判定結果に従って各フレームを符号化の順に並び替えてメモリ上に配置する。後続フレームも使用して符号化する双方向フレーム間予測による符号化順は、一般的に再生順に一致しないので、符号化に際してはフレームの順序を並び替える必要がある。

なお、符号化は、予め決められた固定的な順序でフレーム内予測とフレーム間予測が実施される場合が一般的であるが、動画の内容に応じて動的にフレーム内予測とフレーム間予測が実施される場合もあり、符号化種別判定では各場合に応じた判定を行う。符号化種別判定での判定に従って各フレームの動画信号がフレーム内予測符号化器312あるいはフレーム間予測符号化器313に入力される。

フレーム内予測符号化器312は、入力された動画信号をフレーム内予測符号化してIフレームの動画データを作成し、フレーム間予測符号化器313は、入力された動画信号をフレーム間予測符号化してP/Bフレームの動画データを作成する。フレーム内予測符号化器312およびフレーム間予測符号化器313で作成された動画データは、所定の順序で通常再生用動画データ(符号列)として出力される。

次に、トリック再生用動画符号化器32の動作を説明する。以下では、基本倍速(順方向トリック再生または逆方向トリック再生における最低倍速)をN倍速とし、入力動画をM(MはNの倍数かつM＞N)フレームごとに区切った各フレーム群を「場面」と称し、トリック再生用動画の最大フレームレートをF(フレーム/秒)、トリック再生用動画のビットレートをB(ビット/秒)とする。これらのN,M,F,Bは固定値である。なお、Fは、通常は通常再生用動画と同じフレームレートである。また、Bは、通常再生用動画データのビットレートと同等もしくはそれ以下の任意に選択した値である。

入力動画信号は、通常再生用動画符号化器31の符号化種別判定器・フレーム並べ換えメモリ311への入力と並行してトリック再生用動画符号化器32のフレームバッファ(FIFO)321に入力され、一旦蓄積される。

フレーム間引き器322は、１つの場面のM個のフレームの動画信号をフレームバッファ314から読み込み、その中からp個のフレームを等間隔で選択し、該フレームの動画信号をフレーム内予測符号化器316に送出する。なお、pは、フレームレート・符号量計算器323から指示されるフレームレートfに応じてp＝(f/F)*(M/N)に決定される。フレームレートpおよびfは各場面ごとに変動する値であり、後述するようにフレームレート・符号量計算器323で算出される。フレーム間引き器322で選択されなかったフレームの動画信号は破棄する。

フレームレート・符号量計算器323は、フレーム間引き器322およびフレーム内予測符号化器324が現在処理中の場面における各フレームの動き量mからフレームレートfおよび符号量bを算出する。動き量mは、場面中のPフレームおよびBフレームにおけるフレーム間でのマクロブロックの動きベクトルの大きさや、フレームでのイントラ(intra)マクロブロックの数などを指標とすることができ、これらはフレーム間予測符号化器313から得ることができる。マクロブロックの動きベクトルが大きければ動き量mが大きいと言え、フレームでのイントラ(intra)マクロブロックの数が多ければ動き量mが大きいと言える。動き量mも各場面ごとに変動する。動き補償ベクトルの定義などは符号化規格によって微妙に異なるので、動き量mの算出に際しては符号化規格を考慮する。

fはFを上限とし、動き量mに比例した値とする。また、トリック再生時のビットレート(ビット/秒)が常に一定値Bになるように、b＝B/fとする。

フレーム内予測符号化器324は、フレームレート・符号量計算器323からトリック再生用動画の各フレームに割り当てる符号量b(ビット)の指示を受け、フレーム間引き器322から送出されるp個の各フレームを該符号量bでフレーム内予測符号化する。符号量bは各場面ごとに変動する。フレーム内予測符号化器323で作成された符号は、トリック再生用動画データ(符号列)として出力される。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、本発明は、VODへの適用に限らず、DVDなどの蓄積メディアから動画を再生するシステムに対しても適用できる。つまり、DVDなどの蓄積メディアに通常再生用動画データと単一のトリック再生用動画データを蓄積しておいて、滑らかかつ所定倍速のトリック再生を行わせることができる。

本発明の実施形態を示す概念図である。 本発明の他の実施形態を示す概念図である。 図２における動画データを作成する動画データ作成装置を示す機能ブロック図である。 圧縮された動画データによる従来の映像配信サービスを示す概念図である。 トリック再生可能な従来の映像配信サービスの例を示す図である。 トリック再生可能な従来の映像配信サービスの他の例を示す図である。 トリック再生可能な従来の映像配信サービスのさらに他の例を示す図である。

符号の説明

10・・・映像配信サーバ、20・・・ユーザ端末、31・・・通常再生用動画符号化器、32・・・トリック再生用動画符号化器、311・・・符号化種別判定器・フレーム並べ換えメモリ、312・・・フレーム内予測符号化器、313・・・フレーム間予測符号化器、321・・・フレームバッファ(FIFO)、322・・・フレーム間引き器、323・・・フレームレート・符号量計算器、324・・・フレーム内予測符号化器

Claims (5)

1. 入力動画像信号に対しフレーム間引処理および符号化処理を施して特定倍速のトリック再生用圧縮動画データを作成するトリック再生用コンテンツ作成方法において、
   入力動画像の各場面における各フレームの変化量または動き量を取得し、
   フレーム間引処理および符号化処理では、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるように前記変化量または動き量に応じてフレームレートおよび符号量を制御し、符号化処理では、フレーム間引き処理された全てのフレームを、他フレームを使用することなく自フレームのみで復号可能な形態で符号化することを特徴とするトリック再生用コンテンツ作成方法。
2. 入力動画像信号に対しフレーム間引処理および符号化処理を施して特定倍速のトリック再生用圧縮動画データを作成するトリック再生用コンテンツ作成装置において、
   フレームレート・符号量計算手段、フレーム間引手段および符号化手段を含むトリック再生用動画像符号化器を備え、
   前記フレームレート・符号量計算手段は、入力動画像の各場面における各フレームの変化量または動き量に基づいて、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるように前記フレーム間引手段および符号化手段にフレームレート指示および符号量指示を送出し、
   前記フレーム間引手段は、入力動画像信号を、前記フレームレート指示に従って間引処理し、前記符号化手段は、前記フレーム間引手段で間引き処理された全てのフレームを、符号量指示に従って他フレームを使用することなく自フレームのみで復号可能な形態で符号化処理することを特徴とするトリック再生用コンテンツ作成装置。
3. コンピュータに、
   入力動画像の各場面における各フレームの変化量または動き量に基づいて、トリック再生用圧縮動画データのビットレートが通常再生用圧縮動画データのビットレートと同じまたはそれ以下となるフレームレートおよび符号量を算出する機能と、
   入力動画像信号を前記フレームレートに従って間引処理する機能と、
   間引処理された全てのフレームを前記符号量に従って他フレームを使用することなく自フレームのみで復号可能な形態で符号化処理する機能を実行させるためのトリック再生用コンテンツ作成用プログラム。
4. 請求項１に記載のトリック再生用コンテンツ作成方法により作成されたトリック再生用圧縮動画データを格納しておき、
   トリック再生要求に対して該トリック再生要求の倍速に応じた割合で前記単一のトリック再生用圧縮動画データのフレームを間引いて送出することを特徴とするトリック再生用圧縮動画データ送出方法。
5. 請求項２に記載のトリック再生用コンテンツ作成装置または請求項３に記載のトリック再生用コンテンツ作成用プログラムにより作成されたトリック再生用圧縮動画データを格納する格納部と、
   トリック再生要求を受信する受信部と、
   前記受信部で受信されたトリック再生要求に対して該トリック再生要求の倍速に応じた割合で前記トリック再生用圧縮動画データのフレームを間引く間引処理部と、
   前記間引処理部で間引かれたトリック再生用圧縮動画データを送信する送信部を備えたことを特徴とするトリック再生用圧縮動画データ送出装置。

Images