WO2005094078A1

WO2005094078A1 - 動画像再生装置

Info

Publication number: WO2005094078A1
Application number: PCT/JP2005/005186
Authority: WO
Inventors: Sunao Sawada; Kazushige Hiroi; Shinichiro Okamura; Yoshifumi Fujikawa; Keitaro Okasaki
Original assignee: Hitachi, Ltd.
Priority date: 2004-03-25
Filing date: 2005-03-23
Publication date: 2005-10-06
Also published as: JP2005277803A

Abstract

　ネットワークを介して配信される動画像データの早送り、巻き戻し再生に必要となる処理能力、記憶容量を軽減し、独立フレームに依存しない一定間隔での早送り、巻き戻し再生を行い、かつ早送り、巻き戻しで差異のない操作感を実現する。　表示する動画像を動画像の再生モードに応じて、動画像データの通常のデコード結果、動画像データのダウンデコード結果、あらかじめダウンエンコードして作成した動画像データのデコード結果から選択する。また、ダウンデコードとダウンエンコードのパラメータを共通化する。

Description

明細書

動画像再生装置

技術分野

[0001] 本発明はネットワークから受信した動画像データを再生する動画像再生装置に関する。

背景技術

[0002] ネットワークによる動画像データの配信における動画像の符号化方式は、データ量の圧縮のためにフレーム間予測符号化方式が一般的に用いられてレ、る。具体例としては ISO/SC29/WG11で標準化された MPEG2方式（ISO/IEC 13818— 2) が知られている。フレーム間予測符号化方式では、デコードの際に他のフレームの情報を必要としない独立フレーム（MPEG2方式の Iフレームに相当）と、デコードの際に他のフレームの情報が必要な非独立フレーム（MPEG2方式の P, Bフレームに相当）を組み合わせて動画像の符号化が行なわれる

[0003] フレーム間予測符号化方式を用いた動画像データを早送り再生する場合、通常再生の n倍の速度で受信、デコード、再生を行なえば、 n倍の早送り再生になる。

[0004] しかし巻き戻し再生の場合は、フレーム間予測符号化方式の性質上、逆方向に再生できるフレームは独立フレームのみであるため、早送りと巻き戻しで利用者に与える操作感が異なり、動画像の再生位置を目的の位置まで移動させる操作が円滑に行なえなくなるという問題がある。

発明の開示

[0005] 受信したデータを端末内に蓄積し、これをもとに巻き戻し再生を実現する方法では

、端末に必要な記憶容量が増大するという問題がある。

[0006] また、通常再生の n倍の速度で受信、デコード、再生を行なうことで早送りを実現する場合、動画像が高画質、高解像度になると、必要とされる処理能力が動画像再生装置の処理能力を超えてしまう場合がある。

[0007] 動画像データのうち独立フレームだけをデコード、早送り再生する方法によれば必要とされる処理能力は全てのフレームをデコードする場合に比べて軽減される。しかし、動画像データの中で独立フレームの出現する頻度が低い場合 (例えば、 1秒あたり 30フレームの動画像データのうち独立フレームが 200フレームにっき 1フレームの場合）、あるいは独立フレームの出現する間隔にばらつきが大きい場合には、早送り再生される動画像が脈絡のない画像の連続になる、あるいは早送り再生速度が一定にならない、といった人間が見ても内容を理解できない動画像になってしまうという問題がある。

[0008] 動画像データの配信サーバに早送り再生専用の動画像データと巻き戻し再生専用の動画像データを作成し保存しておくという方法では、サーバに必要な記憶容量が増大するという問題がある。

[0009] そこで、本発明では、ネットワークを介して配信される動画像データを受送信する端末装置で、該動画像データの早送り、巻き戻し再生に必要となる処理能力、記憶容量を軽減し、独立フレームに依存しない一定間隔での早送り、巻き戻し再生を実現することを課題とする。

[0010] 上記課題を解決すベぐ該端末の有する記憶装置の記憶可能容量に応じて、入力した動画像をダウンエンコードした巻き戻し再生用画像を作成することを特徴とする。

[0011] また、上記巻き戻し画像作成に用いたパラメータに基づき、入力した動画像をダウンデコードして早送り再生を行う。

[0012] ここで、ダウンエンコードあるいはダウンデコードとは、本来のエンコード/デコードにおいて使用すべきパラメータに対して、その一部のみを使用したエンコード/デコードをさす。例えば、空間あるいは時間解像度を落としてエンコード/デコードする、輝度成分のみをエンコード/デコードする、画像の一部分のみをエンコード Zデコードする、あるいは、エンコード/デコードにおいて使用する周波数成分の内の一部を使用してエンコード/デコードする等の方法がある。ここで、空間解像度を落としてェンコード/デコードするとは、例えば、空間画素数を少なくしてエンコード zデコードすること（列えは、、 1280x960を 640x480に変更する、元の画像の画素数の 1/8、 2/8、 3/8. . .等に任意に変更可能である）であり、時間解像度を落としてェンコード/デコードするとは、例えば、エンコード Zデコードするフレームの枚数を減らす (例えば、「フレームの表示間隔」を 10枚に 1枚に変更する等）方法が考えられる。時間解像度を落としてダウンデコードする場合、通常のデコード処理後に上記フレームの表示間隔に基づき、表示するフレームを決定してもよい。

[0013] また、これらの内の 2つ以上の組み合わせにより、ダウンエンコード Zダウンデコードを実現してもよレ、。

[0014] ダウンデコードにより早送り再生での処理負荷を軽減し、ダウンエンコードすることで巻き戻し再生用動画像データの記憶容量と処理負荷を軽減する。また、ダウンデコードとダウンエンコードでパラメータを同様にしたことで早送り、巻き戻しとも等間隔な動画像再生を実現することができる。

[0015] 動画像の再生モード（再生、早送り、巻き戻し）に応じて、該動画像データの入力元と出力先を変更するセレクタを設け、再生の場合は入力した動画像をデコードした画像、早送り再生の場合は入力した動画像をダウンデコードした画像、巻き戻し再生の場合は入力した動画像をダウンエンコードした後にデコードした画像を表示可能な構成を実現した。本実施例では、空間解像度を落としてダウンエンコード/ダウンデコードする場合を例に説明するが、ダウンエンコード/ダウンデコードの方法については適宜選択可能である。

実施例 1

[0016] 図 1は第 1の実施例の機能ブロック図である。動画像再生装置 103は動画像配信サーバ 101が配信する動画像データをネットワーク 102経由で受信し、リアルタイムでデコード処理をして動画像表示部 104に表示するストリーミング再生端末である。また、動画像データの配信における動画像の符号ィ匕方式は、データ量の圧縮のためにフレーム間予測符号化方式である MPEG方式、 H. 264等力 Sあり、基本フレームと該基本フレームを参照して生成される参照フレームとで符号化される符号ィヒ方式であれば適用可能である。動画像再生装置 103の例としては、セットトップボックス、 PD A (Personal Digital Assistant)に代表される携帯型情報端末、携帯電話、あるいはインターネット TV等がある。動画像表示部 104の例としては、テレビジョン受像機、液晶ディスプレイ、プラズマディスプレイ、プロジェクタなどである。尚、動画像再生装置と動画像表示部は別筐体として構成されていても一つの筐体として構成されていてもよい。尚、別筐体とした場合、筐体間は無線あるいは有線で接続可能である

。ネットワーク 102は接続された機器相互でデータ通信が行なえる通信網で、本実施例では一例としてインターネットに代表される IP (Internet Protocol)で通信を行なうネットワークとする。尚、図示しないが、図 1において動画配信サーバ 101をホームゲートウェイ、セットトップボックス等の機器とし、該ホームゲートウェイ等から有線ないし無線のネットワーク 102を介して、動画再生装置 103がコンテンツを受信するという構成も本実施例で想定する範囲内である。

[0017] 本実施例による動画像再生装置 103は、ネットワーク制御部 111によりネットワーク

102からの動画像データの受信、および動画像配信サーバ 101との制御プロトコル通信を行なう。

[0018] セレクタ 112は、入力をネットワーク制御部 111と動画像データ記憶部 116とのいずれか一方から選択し、ダウンデコード部 113またはデコード部 114のいずれか一方へ出力する。セレクタ 112の入出力の切り替えは再生制御部 121が行なう。

[0019] セレクタ 112の内部の構成を図 10に示す。入力切替部 1001は、ネットワーク制御部 111からの入力と動画像データ記憶部 116からの入力のうち、何れか一方だけを出力する。出力切替部 1002は、入力切替部 1001からの入力を、ダウンデコード部 1 13またはデコード部 114の何れか一方のみに出力する。入力切替部 1001による入力の選択と出力切替部 1002による出力の選択は、再生制御部 121からの入出力切替に基づレ、て行なわれる。

[0020] 再生モードが通常再生の場合、入力切替部 1001ではネットワーク制御部 111からの入力を選択し、出力切替部 1002ではデコード部 114へデータを出力するように入出力を切り替える。

[0021] 再生モードが早送り再生の場合、入力切替部 1001ではネットワーク制御部 111からの入力を選択し、出力切替部 1002ではダウンデコード部 113へデータを出力するように入出力を切り替える。この場合、ダウンデコード部でダウンデコードした画像は、エンコード部（図示せず）に入力されエンコードされ、該エンコード部でエンコードされた動画像を動画像データ記憶部 116に格納し、巻き戻し再生用の画像として用いてもよレ、。あるいは、出力先をダウンデコード部とデコード部の両方として、デコード部力出力される画像をダウンエンコード部に入力してダウンエンコードした画像を卷き戻し用画像としてもよい。なお、上記エンコード部は、ダウンエンコード部に入力されるレートを適宜変更することで、当該ダウンエンコード部で代替することも可能である

[0022] 再生モードが巻き戻し再生の場合、入力切替部 1001では動画像データ記憶部 11 6からの入力を選択し、出力切替部 1002ではデコード部 114へデータを出力するように入出力を切り替える。尚、図示しないが、再生制御部 121は動画像データ記憶部 116に信号線を介して接続され、該信号線を介して巻き戻しの開始位置、巻き戻し速度等の指示を送信することができる。ここで、通常再生（あるいは早送り再生）中に巻戻しが指示されると、該巻き戻し指示がなされたときに動画像記憶手段に記録された最新の動画像データ力順に巻き戻し再生される。つまり、巻き戻し画像の開始位置は、動画像記憶手段に格納された最新の動画像データである。また、巻き戻し速度は、例えば 2倍速での巻き戻しがユーザインタフェースを介して再生制御部に指示された場合、フレームレートを同じにして動画像記憶手段に格納された動画像の表示間隔を 1/2の割合とすれば、 2倍速での巻き戻しが可能となる。

[0023] ダウンデコード部 113は、入力された動画像データを、再生制御部 121からのレート指定に基づいた画像サイズに縮小してダウンデコードする。デコード部 114は入力された動画像データを、配信された動画像データと等倍の画像サイズでデコードする。ダウンデコード部 113とデコード部 114の出力は、表示間隔調節部 117を経由して動画像表示部 104で表示される。また、出力はダウンエンコード部 115へも送られる。ダウンエンコード部 115は入力された動画像を再生制御部 121からのレート指定に基づいたフレームの表示間隔と画像サイズでダウンエンコードし、動画像データ記憶部 116へ格納する。本実施例においては、フレームの表示間隔は 10フレームに 1フレームの割合とし、画像サイズについては元の画像の 1Z8、 2/8, 3/8倍等がある。格納した動画像データは巻き戻し再生で使用するため、各フレームを他のフレームの情報を必要としない形式でエンコードする必要があり、本実施例では一例として全て独立フレーム形式でダウンエンコードする。表示間隔調節部 117は、再生制御部 1 21のレート指定に基づいたフレーム表示間隔に、動画像の表示間隔を調節する。 [0024] ユーザインターフェース 141は、ユーザからの再生、早送り、巻き戻しの指示を受け再生制御部に再生モード選択信号を送る部である。具体例としてはリモコンやキーボード、携帯電話等のボタンなどである。

[0025] なお、図 1に示した動画像再生装置 103の各機能ブロック 111一 141は、ソフトゥヱァによる実装、ハードウェアによる実装、あるいは両者を併用した実装のいずれでも実現可能であり、どの場合にも本実施例の適用が可能である。さらに、該機能ブロックを 1チップ上で構成することも可能である。この場合、チップ上に搭載される機能ブロックとチップ外に配置される機能ブロックは適宜選択可能であり、例えば、ネットヮーク制御部をチップ外に配置し、他の機能ブロックをチップ上に搭載する構成とすることも可能である。この場合、チップ上には動画像入力部等のインタフェースを設けることとなる。

[0026] 動画像再生装置 103の各機能ブロックをソフトウェアで実現する場合の構成を図 1 1に示す。動画像再生装置 103はバス 1103にネットワークインターフェース 1101、 C PU1102、ユーザインターフェース 141、メモリ 1104、動画像インターフェース 1105 、音声インターフェース 1106を接続して構成されている。 CPU1102力 Sメモリ 1104 のプログラムにしたがってネットワークインターフェース 1101、ユーザインターフエ一ス 141、動画像インターフェース 1105、音声インターフェース 1106を制御することで、機能ブロック 111一 141の機能を実現している。また、動画像データ記憶部 116は、メモリ 1104の動画像データ記憶領域 1106を CPU1102が制御することで実現している。

[0027] ここでは、単一のプロセッサで実現している例を示している力 S、他に汎用 CPU等コプロセッサとして搭載してもよレ、。

[0028] ダウンデコード部 113およびデコード部 114の実現においては、単一のハードゥエァまたは単一のソフトウェアに対して、デコードにおける画像サイズやフレーム表示間隔を指定するパラメータを変更することで、両者の機能を実現するとレ、う実現方法も可能である。

[0029] 本実施例による動画像再生装置 103は、早送り、巻き戻し再生でのフレーム表示間隔と画像サイズを、動画像の再生を開始する時点で決定する。図 2に、本実施例による動画像再生装置 103と動画像配信サーバ 101間での動画像の再生を開始する場合の通信シーケンスの一例を示す。本実施例の動画像再生装置 103は一例として、制御情報の通信に IETF (Internet Engineering Task Force)で標準化された RTSP (Real Time Streaming Protocol)を用レ、、動画像データの受信には RTP (Real—time Transport Protocol)を用いるものとする。

[0030] 動画像再生装置 103はまず動画像配信サーバ 101に対して情報取得要求 (RTS Pにおける DESCRIBEメソッド） 201を送信する。動画像配信サーバ 101からの応答 202には、情報取得要求 201で指定された URI (Universal Resource Identifie r)に対応する動画像データの長さ（再生時間）、および平均ビットレートが含まれている。平均ビットレートとは、動画像データのサイズを動画像データの再生時間で割つた結果で、平均すると毎秒何ビットのデータが動画像配信サーバ 101から配信されるかを表す。つづいて配信準備要求 (RTSPにおける SETUP メソッド） 203を送信し、配信要求（RTSPにおける PLAYメソッド） 204を送信する。配信要求 204では再生速度（動画像データ本来の平均ビットレートの何倍でデータが配信されるかを表す倍率）と再生開始位置 (動画像データの先頭からの経過時間で表現)を指定する。通常の再生では再生速度は 1倍、再生開始位置は 0秒を指定する。以上により RTPによる動画像データの配信 21 1が開始される。これらのプロトコル処理はネットワーク制御部 111が行なう。以上が動画像再生開始時の、動画像再生装置 103と動画像配信サーバ 101間の通信シーケンスである。

[0031] 図 3に動画像の再生を開始する場合の、再生制御部 121における処理フローを示す。再生制御部 121はネットワーク制御部 111に対して通常再生の開始を指示する（ 301)。ネットワーク制御部 111は図 2の通信シーケンスを実行し、情報取得要求 201 に対する応答 202に含まれている動画像データの長さ（再生時間）と平均ビットレートを取得し、再生制御部 121へ通知する（302)。

[0032] 再生制御部 121は動画像データの長さ、平均ビットレートと動画像データ記憶部 1 06の記憶容量から、動画像全体に渡って一定間隔で画像を記録することが可能である画像サイズとフレーム表示間隔を決定する（303)。応答 202に動画像データの長さ T (単位：秒）と平均ビットレート B (単位： kbps)が含まれてレ、るものとし、動画像データ記憶部 106の記憶容量を M (単位:キロビット）とした場合の画像サイズとフレーム表示間隔の計算フローの一例を、図 4に示す。本実施例では Mは固定値であるものとするが、動画像の再生開始時に動画像データ記憶部 106の未使用の記憶領域の容量を計算して Mを求めても構わない。

[0033] 図 4の処理 401にある係数 kはフレーム表示間隔とフレームレートの比で、例えば 3 0フレーム/秒（フレームレート）の動画像を 3フレーム/秒（フレーム表示間隔）で記録する場合、 kは 3Z30 = 0. 1となり、早送り、巻き戻しで再生される動画像は本来の動画像の 10倍速で再生されているように見える。早送り、巻き戻しにおける kのデフォノレト値は予め決定してあるものとし、本実施例では 0. 1とする（401)。次に、動画像データの総量は、動画像の再生時間 Tに平均ビットレート Bとの積 (T X B)で求められる。この積に前述の係数 kをかけた Rは、動画像を 10フレームに 1フレームの割合で記憶する場合に必要な記憶容量となる。（402)。

[0034] Rが Mより大きい場合、記録する画像サイズを小さくすることで記録する動画像データを容量 M以下にする。以下の手順で、記録する画像サイズの縦横が元の画像サイズの n/8の時に容量 M以内に動画像データが収まるような nを求める。画像サイズの下限は予め設定されているものとし、本実施例においては、元の画像の縦横各 1 /8 (つまり n= l)、面積にして 1/64を下限とする。

[0035] M/Rが 1/64より小さい場合 (403)、つまり画像サイズを縦横各 1/8にしても容量 Mで動画像データが記録できなレ、場合、 kの値を動画像データ記憶部 116の記憶容量に動画像データが収まるように調節する（414)。この場合、画像サイズは縦横各 1/8の n= lとする（415)。

[0036] M/Rが 1/64以上で（403)、 MZRが 1より大きレ、、すなわち動画像記憶部 116 の記憶容量 M力 SRよりも大きいならば (404)、画像サイズを縮小せずに記録することが可能なので、画像サイズは縦横とも 8/8である n = 8とする（425)。

[0037] M/Rが 1/64以上で 1未満の場合、処理ステップ 405に示した条件を満たす nが、記憶容量 M以内で動画像データを記録するための最大の nとなる。

[0038] 以上により、動画像の表示間隔を元の動画像のフレームレートとの比で表した kと、画像サイズを元の動画像の縦横 1/8サイズとの比で表した nとを決定する。なお、本実施例では動画像全体の長さと平均ビットレートを用いたが、動画像データ全体の容量が計算できるパラメータであれば何を使って算出してもよい。

[0039] 図 3に戻って、動画像データ記憶部 116を初期化し、何も画像データが記憶されてレ、ない状態にする（304)。以上が再生開始処理フローである。

[0040] 本実施例による動画像再生装置 103の特徴は、通常再生、早送り、巻き戻しという異なる再生モードに応じて、動画像表示部 104に出力する動画像を、ダウンデコード部 113の出力、デコード部 114の出力、動画像記憶部 116に格納されたダウンェンコード部 116の出力をデコード部 114でデコードした出力結果の 3通りに切り替える点にある。そのための処理フローを図 5、図 6、図 7を用いて以下に説明する。

[0041] 通常再生の場合、本実施例による動画像再生装置 103は、入力としてネットワーク制御部 111で受信した動画像データを用い、デコード部 114の出力を動画像表示部 104に送る。この場合の再生制御部 121の動作フローを図 5に示す。

[0042] ユーザインターフェース 141から通常再生を指示された再生制御部 121は、何らかの動画像を現在再生中であれば、ネットワーク制御部 111に対して一時停止を指示する。ネットワーク制御部 111は、現在動画像配信サーバ 101から動画像データを受信中であれば、動画像配信サーバ 101に対して一時中止要求（PAUSEメソッド）を送信する。次に、ダウンデコード部 113またはデコード部 114が動画像データのデコードを実行中であれば停止させる（502)。

[0043] 通常再生の場合、入力は動画像配信サーバ 101から送られてくるデータを用い、それをデコード部 114でデコードして表示するので、セレクタ 112の入力をネットヮーク制御部 111、出力をデコード部 114へと切り替える（503)。ダウンエンコード部 115 に対しては、図 4のフローで決定したフレーム表示間隔と画像サイズを設定する（50 5)。表示間隔調節部 117には、全ての画像再生させるためにフレーム表示間隔として k= l . 0を指定する（506)。

[0044] 動画像配信サーバ 101の動画像配信を開始させるために、再生制御部 121はネットワーク制御部 111に対し通常再生の開始を指示する（507)。ネットワーク制御部 11 1は、動画像配信サーバ 101に対して配信要求（PLAYメソッド） 204を送信し、動画像配信サーバ 101からの動画像データの送信 211が開始される。デコード部 114がデコード処理を開始し（507)、動画像の通常再生が行なわれる。それに伴いダウンエンコード部 115が、動画像を設定されたフレーム表示間隔と画像サイズに従ってダゥンエンコードし、動画像データ記憶部 116に記録していく。ダウンエンコードすることにより動画像を蓄積するための記憶容量が少なくなり、またエンコード処理自体も高速に行なえる。蓄積する動画像は全て独立フレームとしてダウンエンコードする。

[0045] 次に早送り再生の場合について、図 6のフローに沿って説明する。処理 501， 502 については通常再生の場合と同様である。早送り再生では、入力は動画像配信サーバ 101から通常より高い速度で送られてくる動画像データを用レ、、それをダウンデコード部 113でダウンデコードして表示するので、セレクタ 112の入力をネットワーク制御部 111、出力をダウンデコード部 113へと切り替える（603)。

[0046] ダウンデコード部 113に対しては、ダウンデコードした動画像の画像サイズを設定する必要がある。再生制御部 121は動画像の再生開始時に図 4のフローで決定された nの値をダウンデコード部 113に設定する（604)。

[0047] 早送り再生の場合のダウンエンコード部 115に対するレート指定は、フレーム表示間隔については通常再生における値 (k)と同じだ力画像サイズ (n)の設定は異なる。早送り再生でのダウンエンコード部 115への入力はダウンデコード部 113の出力であり、ダウンデコード部 113の出力はすでに設定された画像サイズになっている。よつてダウンエンコード部 115へ設定する画像サイズは入力と同じサイズ（8/8)である n = 8を設定する（605)。表示間隔調節部 117に対しては、再生制御部 121が動画像の再生開始時に図 4のフローで決定された kの値をフレーム表示間隔として設定する (606)。

[0048] 早送り再生時には、動画像配信サーバ 101から通常より高い速度で動画像コンテンッの配信を受ける必要がある。再生制御部 121がネットワーク制御部 111に対して早送り再生を指示する（607)と、ネットワーク制御部 111は、再生速度指定を通常より高速 (例えば、本実施例では前述の RTSPにおけるスピードパラメータを 5倍に指定することで実現可能である）に指定した配信要求（PLAYメソッド） 204を動画像配信サーバ 101に送信する。動画像配信サーバ 101から通常より高速な配信が行なわれるので、ダウンデコード部 113でのダウンデコードを開始し（608)、早送り再生が行なわれる。同時に、ダウンエンコード部 115が、動画像を設定されたフレーム表示間隔と画像サイズ (入力された画像サイズのまま）に従ってダウンエンコードし、動画像データ記憶部 116に記録してレ、く。

[0049] 動画像配信サーバ 101からの配信は通常より高速に行なわれるため、動画像再生装置 103での処理負荷が上昇するが、ダウンデコード処理を用いることで早送り再生時の処理負荷を軽減してレ、る。

[0050] 次に巻き戻し再生の場合を、図 7に沿って説明する。処理 501， 502については通常再生の場合と同様である。巻き戻し再生では、入力は動画像データ記憶部 116に記録された動画像データを用い、それをデコード部 114でデコードして表示するので、セレクタ 112の入力を動画像データ記憶部 1 16に、出力をデコード部 114へと切り替える（703)。動画像データ記憶部 116には、既に再生、早送り再生された動画像がダウンエンコードされて記録されている。ダウンエンコードの時点でフレーム表示間隔と画像サイズは調節されているので、記録された動画像データを逆順にそのままデコードし、全画像を表示すると巻き戻し再生となる。

[0051] 巻き戻し再生中は動画像をダウンエンコードして記録する必要はないので、ダウンエンコード部 115を停止する（705)。表示間隔調節部 117には全画像表示（k= l .

0)を設定する（506)。デコード処理を開始すれば（508)巻き戻し再生が行なわれる

。巻き戻し再生には動画像配信サーバ 101からの配信は不要である。

[0052] また、動画データ記憶部に格納された巻き戻し用画像は、ストリーミングデータを視聴した後（コンテンツ配信サーバから end of stream信号を受信後）あるいは、別のコンテンツ再生時に削除するよう設定可能である。

[0053] 以上のように本実施例による動画像再生装置 103では、ダウンエンコードあるいはダウンデコードを行うことで早送りあるいは巻き戻し再生の処理負荷およびそのデータ量を低減するとレ、う効果を奏する。

[0054] また、早送りと巻き戻しでフレーム表示間隔と画像サイズを統一しているため、利用者が違和感なく早送りと巻き戻しを行なえるという効果もある。

[0055] また、本実施例の構成は、大容量の記憶装置を必要とせずに、ストリーミングコンテンッの視聴が可能となるため、安価で動画像コンテンツを視聴する機器に本実施例は適用可能であり、耐久性が向上するという効果も有する。

[0056] また、通常再生、早送り再生、巻き戻し再生という再生モードにしたがってデコード部 114、ダウンデコード部 113、ダウンエンコード部 115の組み合わせを切り替えることで、処理負荷や記憶容量が少なくてすみ、かつ元の動画像データの独立フレームのみの表示に比べて画像の表示頻度が高くフレーム表示間隔が一定の早送り、卷き戻し再生を実現するという効果も奏する。

[0057] なお、仮に独立フレームが非常に少なレ、（例えば、 1秒あたり 30フレームの動画像データのうち独立フレームが 200フレームにっき 1フレームの場合、動画像を構成するすべてのフレーム中で独立フレームが 1フレームの場合等）動画像を受信した場合であっても、受信した動画像をデコードした元の画像を、予め設定したフレーム表示間隔でダウンエンコードして記憶部 116に格納し保存するため、巻き戻し再生をした場合であっても該フレーム表示間隔で動画像を参照することが可能となる。

実施例 2

[0058] 第 2の実施例による動画像再生装置 103では、機能ブロックの構成、処理フローは基本的に第 1実施例と同じである。本実施例では、パラメータ算出のフロー（図 4)において、動画像データのサイズを元のデータの縦横各 1/8 (n= l)にしても、動画像データ記憶部 116の容量 M以内で動画像データが記録できない場合（処理 414、 4 15に該当）に、本実施例による早送り、巻き戻し再生よりも、動画像配信サーバ 101 力独立フレーム形式のデータのみの配信を受け、再生する方が、早送り、巻き戻し再生の品質が高いと判断することが特徴である。

[0059] 例えば、コンテンツのデータ量が非常に多ぐ画像サイズを縦横各 1/8とし、かつ、図 4の 414において kを調整した場合、フレーム表示間隔が、予め定めた量より大きくなる（例えば、 1秒あたり 30フレームの動画像データにおいて、巻き戻し用画像の表示間隔が 200フレーム以上につき 1フレームの場合等）ときに、独立フレーム形式のデータのみの配信を受け、早送り、巻き戻し再生する方が、品質が高いと判断される

[0060] この場合、利用者に対して、早送り、巻き戻し再生の動画像品質が低下することを通知するメッセージを動画像表示部 104に表示してもよい。そして早送り、巻き戻し再生時にダウンデコード、ダウンエンコードの処理を行なわず、動画像配信サーバ 1 01から配信される独立フレーム形式のデータのみを再生することで、早送り、巻き戻しを実現する。

[0061] この場合の早送り再生フロー（図 6)は、処理 603は処理 503 (図 5)になり、処理 60 4は不要に、処理 605は処理 705 (図 7)に、処理 606は処理 506 (図 5)に変更される。さらに処理 607におレヽて、ネットワーク制御部 111に対しては、独立フレームのみの早送り再生モードを指示する。指示を受けたネットワーク制御部 111は、動画像配信サーバ 101に対する配信要求（PLAYメソッド）で、独立フレームのみの高速配信を要求する。処理 608は処理 508 (図 5)となる。

[0062] 同様に巻き戻し再生フロー（図 7)において、処理 703は処理 503になり、処理 506 と処理 508の間に、ネットワーク制御部 111に対して、独立フレームのみを逆方向に高速再生するモードを指示する処理ステップを追加する。指示を受けたネットワーク制御部 111は動画像配信サーバ 101に対する配信要求（PLAYメソッド）で、独立フレームのみ逆方向の高速配信を要求する。

[0063] 本実施例によれば、動画像データ記憶部 116の記憶容量の制限から、ダウンェンコードにより作成する動画像データの品質が独立フレームのみの表示よりも低下する場合、あら力じめ利用者に通知して、独立フレームのみの早送り、巻き戻し再生を使用することで、与えられた条件下では最良の早送り、巻き戻し再生品質を実現することが可能であるという効果がある。さらに、早送り、巻き戻し操作に支障をきたさないように、早送り、巻き戻し再生の操作感が通常とは異なることをあら力じめ利用者に知らせているという効果がある。

実施例 3

[0064] 第 3の実施例における動画像再生装置 103の機能ブロック図を図 8に示す。本実施例ではインデックス記憶部 131が追加されてレ、るとレ、う特徴がある。本実施例におけるインデックスとは、早送り、巻き戻し再生時に動画像表示部 104に表示された画像が、動画像の先頭から何秒経過した時点で再生される画像であるかの情報である

[0065] 本実施例においては、早送り、巻き戻し再生時に、再生画像 901と同時に複数のィンデッタス画像 902を表示する（図 9)インデックス画像 902は、早送りおよび巻き戻し再生時に、動画像表示部 104に表示された再生画像 901を一定間隔で動画像表示部 104の表示領域に残したもので、表示間隔調節部 117が再生画像 901の表示位置を一定間隔で制御することで実現する。再生画像 901をインデックス画像 902として残す時間間隔はあらかじめ設定されているものとし、例えば本実施例では、表示間隔調節部 117に設定されたフレーム表示間隔 kの 1Z8とする。つまり実際に動画像表示部 104に表示されたフレームが 8回に 1回の頻度でインデックス画像 902として動画像表示部 104の表示領域に残る。表示領域に残すインデックス画像 902の選択方法としてはこの他にも例えばシーンチェンジを検出したフレームをインデックス画像 902とするなどの方法が可能である。

[0066] 早送り再生での再生画像 901の画像サイズと巻き戻し再生での再生画像 901の画像サイズは、図 4のフローで計算された値に統一されており、通常再生の画像サイズ以下である。したがって動画像表示部 104の表示領域には余裕があるので、その表示領域にインデックス画像 902を表示する。図 9は画像サイズが通常再生の画像サイズの 2/8 X 2/8 (n = 2)の例である。

[0067] インデックス画像 902を動画像表示部 104へ一度に表示できる個数には限りがあるので、表示領域を使レ、切った後は古レ、インデックス画像 902から新しレ、インデックス画像 902で上書きされる。一例として、早送り再生の場合、インデックス画像 902の表示順序は、向かって左から右へ時系列に、画面の右端まで表示したら向かって下方向の空いている表示領域に再び向かって左から右へ時系列に表示し、巻き戻し再生の場合、再生画像 901自体が時系列を逆方向に再生しているので、向かって右下から左上へとインデックス画像 902が表示されていくなどの方法がある。

[0068] 表示間隔調節部 117は再生画像 901をインデックス画像 902として動画像表示部 104に残す際に、その再生画像 901のインデックス、すなわち動画像の先頭からの経過時間をインデックス記憶部 131に保存する。インデックス記憶部 131には、動画像表示部 104に現在表示されている各インデックス画像 902に対応するインデックスが記憶されている。

[0069] 本実施例の動画像再生装置 104では、インデックス画像 902による再生位置の移動が可能である。利用者が動画像表示部 102に表示されたインデックス画像 902を一つ指定すると、図 5の通常再生フローに従った処理が開始される。処理 507でネットワーク制御部 111へ与える指示に、インデックス記憶部 131に記録された、利用者が指定したインデックス画像 902に対応するインデックスをパラメータとして与える。ネットワーク制御部 111は、動画像配信サーバ 101へ送信する配信要求（PLAYメソッド） 204で、再生開始位置としてパラメータとして渡されたインデックスを指定する。動画像配信サーバ 101は指定された再生開始位置からの動画像データを配信するので、利用者が指定したインデックス画像 902に対応する再生位置から通常再生が開始される。

[0070] 以上のように本実施例では早送り、巻き戻し再生の画像サイズを通常再生の画像サイズよりも小さくしたことで生じた動画像表示部 104の空き表示領域にインデックス画像 902を表示することで、利用者がより正確に再生開始位置を指定できるという効果がある。また、ダウンデコードあるいはダウンエンコードで処理されて実際に動画像表示部 104に表示された画像をインデックス画像 902として用いるため、インデックス画像 902を生成するために新たなデコード部 114、ダウンデコード部 113あるいはダゥンエンコード部 115を追加する必要がないとレ、う効果もある。

実施例 4

[0071] 第 4の実施例による動画像再生装置 103の機能ブロック図を図 12に示す。本実施例では、動画像配信サーバ 101から配信されるストリーミングデータをリアルタイムに再生するのではなぐ一旦、記憶装置 1202内の記憶領域であるダウンロードフアイル記憶部 1201に格納し、ダウンロードファイル記憶部 1201内のデータを動画像として再生する端末である。

[0072] 本実施例では記憶装置 1202の記憶領域のうち、ダウンロードファイルの格納に使われなかった記憶領域を、動画像データ記憶部 116として利用する。ダウンロードフアイルのサイズにより動画像データ記憶部 116として使える記憶容量が変化する。本実施例ではダウンエンコード部 115へのレート指定を計算する図 4のフローにおいて、記憶装置 1202内でダウンロードファイルが占有している領域を除いた記憶領域の容量を Mとしてレート指定を計算することにより、使用可能な記憶容量の範囲内で卷き戻し用画像を生成することが可能となる。

[0073] 以上より、本実施例では、より大容量の記憶領域内で巻き戻し用画像を生成するため、より高品質な巻き戻し用動画像データを作成できるという効果がある。

[0074] また、ダウンロードファイル記憶部 1201に記憶する動画像データが独立フレームだけで構成していなくても、実施例 1と同様にセレクタ 112、ダウンデコード部 113、デコード部 114、ダウンエンコード部 115を組み合わせることで早送り再生と巻き戻し再生が実現できるため、独立フレームだけで構成した動画像データよりも容量の小さい動画像データを利用できるという効果もある。

[0075] また、早送り再生においてダウンデコード部 113を用いることで、ダウンロードした動画像データファイルの再生においても、処理負荷を軽減できるという効果もある。

[0076] 記憶容量や処理能力に制限のある携帯電話などの小型端末への適用、テレビジョン受像機など動画像表示機器への適用、あるいは一般的なパーソナルコンピュータへ、記憶容量や処理能力の節約目的での適用が考えられる。

上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。

図面の簡単な説明

[0077] [図 1]第 1の実施例における動画像再生装置の機能ブロック図。

[図 2]動画像再生装置と動画像配信サーバとの通信シーケンス図。

[図 3]再生制御部の動画像再生準備処理フロー図。

[図 4]パラメータ算出処理フロー図。

[図 5]再生制御部の通常再生処理フロー図。

[図 6]再生制御部の早送り再生処理フロー図。

[図 7]再生制御部の巻き戻し再生処理フロー図。

[図 8]第 3の実施例における動画像再生装置の機能ブロック図。

[図 9]インデックス画像表示の画面構成例である。

[図 10]セレクタの内部ブロック図である。

[図 11]動画像再生装置をソフトウェア的に実現した場合の機能ブロック図。 [図 12]第 4の実施例における動画像再生装置の機能ブロック図 _c

Claims

請求の範囲

[1] 画像再生装置であって、

ネットワークを介して符号ィヒされた動画像を受信可能なネットワーク制御部と、前記動画像の再生モード指示信号を前記ネットワーク制御部に送信する再生制御部と、

入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用いて当該動画像を復号して出力するダウンデコード部と、

入力された前記動画像を元の動画像に復号して出力するデコード部と、前記ネットワーク制御部と前記ダウンデコード部と前記デコード部と前記再生制御部に接続され、当該再生制御部から入力される入出力切替信号に基づき、前記動画像の入出力先を選択するセレクタとを有し、

前記再生モード指示信号が再生を示す信号である場合、前記入出力切替信号に基づき、前記ネットワーク制御部から入力された動画像を前記デコード部へ出力し、前記再生モード指示信号が早送り再生を示す信号である場合、前記入出力切替信号に基づき、前記ネットワーク制御部から入力された動画像を前記ダウンデコード部へ出力することを特徴とする画像再生装置。

[2] 請求項 1記載の画像再生装置であって、

前記デコード部に接続され、入力された前記動画像の一部のパラメータを用い当該動画像を符号ィヒして出力するダウンエンコード部と、

前記セレクタに接続され、前記ダウンエンコード部から出力された画像を格納する記憶部とを有し、

前記セレクタは、前記再生モード指示信号が巻き戻し再生を示す信号である場合、前記入出力切替信号に基づき、前記動画像を前記記憶部から入力し、前記デコード部へ出力することを特徴とする画像再生装置。

[3] 請求項 2記載の画像再生装置であって、

前記パラメータは前記動画像を構成する画素であり、

前記ダウンデコード部あるいはダウンエンコード部は、前記動画像中の複数画素のうちの一部の画素を復号あるいは符号化することを特徴とする画像再生装置。

[4] 請求項 2記載の画像再生装置であって、

前記セレクタは、入力切替部と出力切替部とを有し、前記入出力切替信号に基づさ、

前記再生モードが再生の場合、前記入力切替部には前記ネットワーク制御部から動画像が入力され、前記出力切替部からデコード部へ前記動画像が出力されるよう制御され、

前記再生モードが早送り再生の場合、前記入力切替部には前記ネットワーク制御部から動画像が入力され、前記出力切替部から前記ダウンデコード部へ前記動画像が出力されるよう制御され、

前記再生モードが巻き戻し再生の場合、前記入力切替部には前記記憶部から動画像が入力され、前記出力切替部から前記デコード部へ前記動画像がデータを出力されるよう制御されることを特徴とする画像再生装置。

[5] 請求項 1記載の画像再生装置であって、

前記ダウンデコード部と、前記デコード部はひとつのデコード部として構成されることを特徴とする画像再生装置。

[6] 請求項 2記載の画像再生装置であって、

前記ダウンエンコード部は、入力した動画像を独立フレーム形式でエンコードすることを特徴とする画像再生装置。

[7] 請求項 1記載の画像再生装置であって、

前記ダウンデコード部は、入力された動画像データを前記再生制御部で指定されたレートに基づいた画像サイズに縮小してダウンデコードすることを特徴とする画像再生装置。

[8] 請求項 2記載の画像再生装置であって、

前記ダウンエンコード部は、入力された動画像データを前記再生制御部で指定されたレートに基づいた画像サイズに縮小してエンコードすることを特徴とする画像再生装置。

[9] 請求項 8記載の画像再生装置であって、

前記再生制御部から前記ダウンデコード部および前記ダウンエンコード部に入力されるレートは同じレートであることを特徴とする画像再生装置。

[10] 請求項 8記載の画像再生装置であって、

前記再生制御部からで指定するレートは、フレームの表示間隔をさらに含むことを特徴とする画像再生装置。

[11] 請求項 8記載の画像再生装置であって、

前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき前記フレームの表示間隔と画像サイズのレートを決定することを特徴とする画像再生装置。

[12] 請求項 8記載の画像再生装置であって、

前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき、前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内となる前記画像サイズのレートを決定し、

前記決定した画像サイズのレートが予め定めたレートよりも小さくなる場合、前記フレームの表示間隔のレートを調整することを特徴とする画像再生装置。

[13] 請求項 8記載の画像再生装置であって、

前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量を比較し、巻き戻しに用いる前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内である場合、前記画像サイズのレートを 1倍とすることを特徴とする画像再生装置。

[14] 請求項 1記載の画像再生装置であって、

前記動画像は、ストリーミングデータであることを特徴とする画像再生装置。

[15] 請求項 1記載の画像再生装置であって、

前記ダウンデコード部あるいは前記デコード部に接続された画像表示部とを有し、当該ダウンデコード部あるいはデコード部のいずれかから出力された動画像を表示することを特徴とする画像再生装置。

[16] 請求項 2記載の画像再生装置であって、

前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき、前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内となるフレームの表示間隔である第 1のフレーム表示間隔と前記入力する動画像の独立フレーム形式のフレームの表示間隔である第 2の表示間隔を比較し、前記第 1のフレーム表示間隔が前記第 2のフレーム表示間隔よりも大きい場合、早送り再生あるいは巻き戻し再生をする場合には、入力した動画像の独立フレームを表示するよう制御することを特徴とする画像再生装置。

[17] 請求項 2記載の画像再生装置であって、

前記ダウンデコード部と前記デコード部に接続された表示間隔調節部と、前記表示間隔調節部に接続されたインデックス記憶部とをさらに有し、前記動画像の開始時間からの経過時間に対応する画像であるインデックス画像を、前記再生制御部のレート指定に基づいたフレーム表示間隔で、前記表示間隔調節部が指定する表示位置に表示されることを特徴とする画像再生装置。

[18] 請求項 2に記載の画像再生装置であって

前記ネットワーク制御部、前記セレクタ、前記ダウンエンコード部に接続され、前記記憶部を格納可能な記憶装置を有し、

前記記憶装置は、前記ネットワーク制御部を介して入力される前記動画像を格納可能であることを特徴とする画像再生装置。

[19] 請求項 2に記載の画像再生装置であって、

独立フレームが 1つである動画像を受信する受信部と、

該動画像を巻き戻し再生する指示を受信するインタフェース部と、

少なくとも 2以上のフレームを巻き戻し画像として出力する画像出力部とを有することを特徴とする画像再生装置。

[20] 請求項 2に記載の画像再生装置であって

前記記憶部に格納された画像は、画像配信終了信号を受信後であって他の動画像を受信前に、当該記憶部から削除されることを特徴とする画像再生装置。