明 細 書 Specification
動画像再生装置 Video playback device
技術分野 Technical field
[0001] 本発明はネットワークから受信した動画像データを再生する動画像再生装置に関 する。 The present invention relates to a moving picture reproducing apparatus for reproducing moving picture data received from a network.
背景技術 Background art
[0002] ネットワークによる動画像データの配信における動画像の符号化方式は、データ量 の圧縮のためにフレーム間予測符号化方式が一般的に用いられてレ、る。具体例とし ては ISO/SC29/WG11で標準化された MPEG2方式(ISO/IEC 13818— 2) が知られている。フレーム間予測符号化方式では、デコードの際に他のフレームの情 報を必要としない独立フレーム(MPEG2方式の Iフレームに相当)と、デコードの際 に他のフレームの情報が必要な非独立フレーム(MPEG2方式の P, Bフレームに相 当)を組み合わせて動画像の符号化が行なわれる [0002] As a moving image encoding method for distributing moving image data over a network, an inter-frame predictive encoding method is generally used for compressing a data amount. As a specific example, the MPEG2 system (ISO / IEC 13818-2) standardized by ISO / SC29 / WG11 is known. In the inter-frame predictive coding method, an independent frame (corresponding to an MPEG2 I-frame) that does not require information of another frame at the time of decoding, and a non-independent frame that requires information of another frame at the time of decoding (Corresponding to MPEG2 P and B frames)
[0003] フレーム間予測符号化方式を用いた動画像データを早送り再生する場合、通常再 生の n倍の速度で受信、デコード、再生を行なえば、 n倍の早送り再生になる。 [0003] In the case of fast-forward playback of moving image data using the inter-frame predictive coding method, if reception, decoding, and playback are performed at n times the speed of normal playback, fast-forward playback is n times faster.
[0004] しかし巻き戻し再生の場合は、フレーム間予測符号化方式の性質上、逆方向に再 生できるフレームは独立フレームのみであるため、早送りと巻き戻しで利用者に与え る操作感が異なり、動画像の再生位置を目的の位置まで移動させる操作が円滑に行 なえなくなるという問題がある。 [0004] However, in the case of rewind reproduction, due to the nature of the inter-frame predictive coding method, only independent frames can be reproduced in the reverse direction, so that the operation feeling given to the user in fast forward and rewind differs. In addition, there is a problem that the operation of moving the playback position of a moving image to a target position cannot be performed smoothly.
発明の開示 Disclosure of the invention
[0005] 受信したデータを端末内に蓄積し、これをもとに巻き戻し再生を実現する方法では [0005] In a method of storing received data in a terminal and realizing rewind reproduction based on the stored data,
、端末に必要な記憶容量が増大するという問題がある。 However, there is a problem that the storage capacity required for the terminal increases.
[0006] また、通常再生の n倍の速度で受信、デコード、再生を行なうことで早送りを実現す る場合、動画像が高画質、高解像度になると、必要とされる処理能力が動画像再生 装置の処理能力を超えてしまう場合がある。 [0006] Further, when fast-forwarding is realized by performing reception, decoding, and reproduction at n times the speed of normal reproduction, if the moving image has high image quality and high resolution, the required processing capability will be reduced. The processing capacity of the device may be exceeded.
[0007] 動画像データのうち独立フレームだけをデコード、早送り再生する方法によれば必
要とされる処理能力は全てのフレームをデコードする場合に比べて軽減される。しか し、動画像データの中で独立フレームの出現する頻度が低い場合 (例えば、 1秒あた り 30フレームの動画像データのうち独立フレームが 200フレームにっき 1フレームの 場合)、あるいは独立フレームの出現する間隔にばらつきが大きい場合には、早送り 再生される動画像が脈絡のない画像の連続になる、あるいは早送り再生速度が一定 にならない、といった人間が見ても内容を理解できない動画像になってしまうという問 題がある。 [0007] According to the method of decoding and fast-forwarding reproduction of only independent frames in moving image data, The required processing power is reduced as compared with the case where all the frames are decoded. However, when the frequency of occurrence of independent frames in video data is low (for example, when the number of independent frames is one in 200 frames out of 30 frames of video data per second), If the intervals at which they appear vary widely, fast-forward playback will be a continuous sequence of images without any context, or the fast-forward playback speed will not be constant. There is a problem that.
[0008] 動画像データの配信サーバに早送り再生専用の動画像データと巻き戻し再生専用 の動画像データを作成し保存しておくという方法では、サーバに必要な記憶容量が 増大するという問題がある。 [0008] A method of creating and storing moving image data dedicated to fast-forward playback and moving image data dedicated to rewind playback in a moving image data distribution server has a problem that the storage capacity required for the server increases. .
[0009] そこで、本発明では、ネットワークを介して配信される動画像データを受送信する端 末装置で、該動画像データの早送り、巻き戻し再生に必要となる処理能力、記憶容 量を軽減し、独立フレームに依存しない一定間隔での早送り、巻き戻し再生を実現 することを課題とする。 Therefore, according to the present invention, a terminal device for receiving and transmitting moving image data distributed via a network reduces processing capacity and storage capacity required for fast-forwarding and rewinding playback of the moving image data. Another object of the present invention is to realize fast-forward and rewind playback at a constant interval independent of independent frames.
[0010] 上記課題を解決すベぐ該端末の有する記憶装置の記憶可能容量に応じて、入力 した動画像をダウンエンコードした巻き戻し再生用画像を作成することを特徴とする。 [0010] In order to solve the above-mentioned problem, the present invention is characterized in that an input moving image is down-encoded to create a rewind reproduction image in accordance with the storage capacity of a storage device of the terminal.
[0011] また、上記巻き戻し画像作成に用いたパラメータに基づき、入力した動画像をダウ ンデコードして早送り再生を行う。 [0011] Furthermore, based on the parameters used for creating the rewind image, the input moving image is down-decoded and fast-forward playback is performed.
[0012] ここで、ダウンエンコードあるいはダウンデコードとは、本来のエンコード/デコード において使用すべきパラメータに対して、その一部のみを使用したエンコード/デコ ードをさす。例えば、空間あるいは時間解像度を落としてエンコード/デコードする、 輝度成分のみをエンコード/デコードする、画像の一部分のみをエンコード Zデコー ドする、あるいは、エンコード/デコードにおいて使用する周波数成分の内の一部を 使用してエンコード/デコードする等の方法がある。ここで、空間解像度を落としてェ ンコード/デコードするとは、例えば、空間画素数を少なくしてエンコード zデコード すること(列えは、、 1280x960を 640x480に変更する、元の画像の画素数の 1/8、 2/8、 3/8. . .等に任意に変更可能である)であり、時間解像度を落としてェンコ ード/デコードするとは、例えば、エンコード Zデコードするフレームの枚数を減らす
(例えば、「フレームの表示間隔」を 10枚に 1枚に変更する等)方法が考えられる。時 間解像度を落としてダウンデコードする場合、通常のデコード処理後に上記フレーム の表示間隔に基づき、表示するフレームを決定してもよい。 Here, down-encoding or down-decoding refers to encoding / decoding using only a part of parameters to be used in original encoding / decoding. For example, encoding / decoding with reduced spatial or temporal resolution, encoding / decoding only the luminance component, encoding only a part of the image, Z-decoding, or encoding a part of the frequency components used in encoding / decoding. There is a method such as encoding / decoding using this. Here, encoding / decoding with a reduced spatial resolution means, for example, encoding and decoding with a reduced number of spatial pixels (sequence is to change 1280x960 to 640x480; / 8, 2/8, 3/8 ... etc. can be arbitrarily changed), and encoding / decoding with lower time resolution means, for example, encoding Z to reduce the number of frames to be decoded. (For example, changing the "frame display interval" to one out of ten) can be considered. In the case of down-decoding with a reduced time resolution, the frame to be displayed may be determined based on the display interval of the frame after the normal decoding process.
[0013] また、これらの内の 2つ以上の組み合わせにより、ダウンエンコード Zダウンデコー ドを実現してもよレ、。 [0013] Further, down-encoding Z-down decoding may be realized by a combination of two or more of these.
[0014] ダウンデコードにより早送り再生での処理負荷を軽減し、ダウンエンコードすること で巻き戻し再生用動画像データの記憶容量と処理負荷を軽減する。また、ダウンデ コードとダウンエンコードでパラメータを同様にしたことで早送り、巻き戻しとも等間隔 な動画像再生を実現することができる。 The processing load in fast-forward playback is reduced by down-decoding, and the storage capacity and processing load of video data for rewind playback are reduced by down-encoding. Also, by using the same parameters for down-decoding and down-encoding, it is possible to realize moving picture playback at equal intervals in fast-forward and rewind.
[0015] 動画像の再生モード(再生、早送り、巻き戻し)に応じて、該動画像データの入力元 と出力先を変更するセレクタを設け、再生の場合は入力した動画像をデコードした画 像、早送り再生の場合は入力した動画像をダウンデコードした画像、巻き戻し再生の 場合は入力した動画像をダウンエンコードした後にデコードした画像を表示可能な構 成を実現した。本実施例では、空間解像度を落としてダウンエンコード/ダウンデコ ードする場合を例に説明するが、ダウンエンコード/ダウンデコードの方法について は適宜選択可能である。 [0015] A selector is provided for changing an input source and an output destination of the moving image data in accordance with a reproduction mode (reproduction, fast forward, rewind) of the moving image. In the case of reproduction, an image obtained by decoding the input moving image is provided. In the case of fast-forward playback, an input video was down-decoded, and in the case of rewind playback, an input video was down-encoded and then decoded. In the present embodiment, a case where down-encoding / down-decoding is performed with a reduced spatial resolution will be described as an example, but the down-encoding / down-decoding method can be appropriately selected.
実施例 1 Example 1
[0016] 図 1は第 1の実施例の機能ブロック図である。動画像再生装置 103は動画像配信 サーバ 101が配信する動画像データをネットワーク 102経由で受信し、リアルタイム でデコード処理をして動画像表示部 104に表示するストリーミング再生端末である。 また、動画像データの配信における動画像の符号ィ匕方式は、データ量の圧縮のため にフレーム間予測符号化方式である MPEG方式、 H. 264等力 Sあり、基本フレームと 該基本フレームを参照して生成される参照フレームとで符号化される符号ィヒ方式で あれば適用可能である。動画像再生装置 103の例としては、セットトップボックス、 PD A (Personal Digital Assistant)に代表される携帯型情報端末、携帯電話、ある いはインターネット TV等がある。動画像表示部 104の例としては、テレビジョン受像 機、液晶ディスプレイ、プラズマディスプレイ、プロジェクタなどである。尚、動画像再 生装置と動画像表示部は別筐体として構成されていても一つの筐体として構成され
ていてもよい。尚、別筐体とした場合、筐体間は無線あるいは有線で接続可能であるFIG. 1 is a functional block diagram of the first embodiment. The moving image reproducing apparatus 103 is a streaming reproducing terminal that receives moving image data distributed by the moving image distribution server 101 via the network 102, performs decoding processing in real time, and displays the decoded data on the moving image display unit 104. In addition, a moving picture encoding method in the distribution of moving picture data includes an MPEG method which is an inter-frame predictive encoding method for compressing the data amount, an H.264 equivalent strength S, and a basic frame and the basic frame. It is applicable as long as it is a code encoding method that is encoded with a reference frame generated by reference. Examples of the moving image reproducing device 103 include a set-top box, a portable information terminal represented by a PDA (Personal Digital Assistant), a mobile phone, and an Internet TV. Examples of the moving image display unit 104 include a television receiver, a liquid crystal display, a plasma display, and a projector. Note that the video playback device and the video display unit are configured as a single housing even if they are configured as separate housings. May be. In the case of separate housings, the housings can be connected wirelessly or by wire.
。ネットワーク 102は接続された機器相互でデータ通信が行なえる通信網で、本実施 例では一例としてインターネットに代表される IP (Internet Protocol)で通信を行な うネットワークとする。尚、図示しないが、図 1において動画配信サーバ 101をホーム ゲートウェイ、セットトップボックス等の機器とし、該ホームゲートウェイ等から有線ない し無線のネットワーク 102を介して、動画再生装置 103がコンテンツを受信するという 構成も本実施例で想定する範囲内である。 . The network 102 is a communication network capable of performing data communication between connected devices. In the present embodiment, as an example, the network 102 is a network that performs communication by IP (Internet Protocol) represented by the Internet. Although not shown, in FIG. 1, the moving image distribution server 101 is a device such as a home gateway or a set-top box, and the moving image reproducing device 103 receives the content from the home gateway or the like via a wired or wireless network 102. This configuration is also within the range assumed in this embodiment.
[0017] 本実施例による動画像再生装置 103は、ネットワーク制御部 111によりネットワーク [0017] The moving image reproducing apparatus 103 according to the present embodiment has a network
102からの動画像データの受信、および動画像配信サーバ 101との制御プロトコル 通信を行なう。 The moving image data is received from the moving image distribution server 102 and the control protocol communication with the moving image distribution server 101 is performed.
[0018] セレクタ 112は、入力をネットワーク制御部 111と動画像データ記憶部 116とのいず れか一方から選択し、ダウンデコード部 113またはデコード部 114のいずれか一方へ 出力する。セレクタ 112の入出力の切り替えは再生制御部 121が行なう。 The selector 112 selects an input from either the network control unit 111 or the moving image data storage unit 116 and outputs the selected input to either the down decoding unit 113 or the decoding unit 114. Switching of the input / output of the selector 112 is performed by the reproduction control unit 121.
[0019] セレクタ 112の内部の構成を図 10に示す。入力切替部 1001は、ネットワーク制御 部 111からの入力と動画像データ記憶部 116からの入力のうち、何れか一方だけを 出力する。出力切替部 1002は、入力切替部 1001からの入力を、ダウンデコード部 1 13またはデコード部 114の何れか一方のみに出力する。入力切替部 1001による入 力の選択と出力切替部 1002による出力の選択は、再生制御部 121からの入出力切 替に基づレ、て行なわれる。 FIG. 10 shows the internal configuration of selector 112. The input switching unit 1001 outputs only one of the input from the network control unit 111 and the input from the moving image data storage unit 116. The output switching unit 1002 outputs the input from the input switching unit 1001 to only one of the down decoding unit 113 and the decoding unit 114. Selection of input by the input switching unit 1001 and selection of output by the output switching unit 1002 are performed based on input / output switching from the reproduction control unit 121.
[0020] 再生モードが通常再生の場合、入力切替部 1001ではネットワーク制御部 111から の入力を選択し、出力切替部 1002ではデコード部 114へデータを出力するように入 出力を切り替える。 When the playback mode is the normal playback, the input switching unit 1001 selects the input from the network control unit 111, and the output switching unit 1002 switches the input and output so that the data is output to the decoding unit 114.
[0021] 再生モードが早送り再生の場合、入力切替部 1001ではネットワーク制御部 111か らの入力を選択し、出力切替部 1002ではダウンデコード部 113へデータを出力する ように入出力を切り替える。この場合、ダウンデコード部でダウンデコードした画像は 、エンコード部(図示せず)に入力されエンコードされ、該エンコード部でエンコードさ れた動画像を動画像データ記憶部 116に格納し、巻き戻し再生用の画像として用い てもよレ、。あるいは、出力先をダウンデコード部とデコード部の両方として、デコード部
力 出力される画像をダウンエンコード部に入力してダウンエンコードした画像を卷き 戻し用画像としてもよい。なお、上記エンコード部は、ダウンエンコード部に入力され るレートを適宜変更することで、当該ダウンエンコード部で代替することも可能である When the playback mode is fast forward playback, the input switching unit 1001 selects an input from the network control unit 111, and the output switching unit 1002 switches input and output so that data is output to the down-decoding unit 113. In this case, the image down-decoded by the down-decoding unit is input to and encoded by an encoding unit (not shown), and the moving image encoded by the encoding unit is stored in the moving image data storage unit 116, and is rewound and reproduced. It can be used as an image for Alternatively, the output destination is set to both the down-decoding unit and the decoding unit, and the decoding unit The output image may be input to the down-encoding unit, and the down-encoded image may be used as the rewind image. Note that the encoding unit can be replaced with the down encoding unit by appropriately changing the rate input to the down encoding unit.
[0022] 再生モードが巻き戻し再生の場合、入力切替部 1001では動画像データ記憶部 11 6からの入力を選択し、出力切替部 1002ではデコード部 114へデータを出力するよ うに入出力を切り替える。尚、図示しないが、再生制御部 121は動画像データ記憶部 116に信号線を介して接続され、該信号線を介して巻き戻しの開始位置、巻き戻し 速度等の指示を送信することができる。ここで、通常再生(あるいは早送り再生)中に 巻戻しが指示されると、該巻き戻し指示がなされたときに動画像記憶手段に記録され た最新の動画像データ力 順に巻き戻し再生される。つまり、巻き戻し画像の開始位 置は、動画像記憶手段に格納された最新の動画像データである。また、巻き戻し速 度は、例えば 2倍速での巻き戻しがユーザインタフェースを介して再生制御部に指示 された場合、フレームレートを同じにして動画像記憶手段に格納された動画像の表 示間隔を 1/2の割合とすれば、 2倍速での巻き戻しが可能となる。 When the playback mode is rewind playback, the input switching unit 1001 selects an input from the moving image data storage unit 116, and the output switching unit 1002 switches input and output so that data is output to the decoding unit 114. . Although not shown, the playback control unit 121 is connected to the moving image data storage unit 116 via a signal line, and can transmit an instruction such as a rewind start position and a rewind speed via the signal line. . Here, if rewinding is instructed during normal playback (or fast forward playback), rewinding is performed in the order of the latest moving image data recorded in the moving image storage means when the rewinding instruction is issued. That is, the start position of the rewind image is the latest moving image data stored in the moving image storage unit. The rewind speed is, for example, when the playback control unit is instructed via the user interface to rewind at the double speed, the display interval of the moving image stored in the moving image storage unit at the same frame rate is set. If the ratio is 1/2, rewinding at 2x speed is possible.
[0023] ダウンデコード部 113は、入力された動画像データを、再生制御部 121からのレー ト指定に基づいた画像サイズに縮小してダウンデコードする。デコード部 114は入力 された動画像データを、配信された動画像データと等倍の画像サイズでデコードする 。ダウンデコード部 113とデコード部 114の出力は、表示間隔調節部 117を経由して 動画像表示部 104で表示される。また、出力はダウンエンコード部 115へも送られる 。ダウンエンコード部 115は入力された動画像を再生制御部 121からのレート指定に 基づいたフレームの表示間隔と画像サイズでダウンエンコードし、動画像データ記憶 部 116へ格納する。本実施例においては、フレームの表示間隔は 10フレームに 1フ レームの割合とし、画像サイズについては元の画像の 1Z8、 2/8, 3/8倍等がある 。格納した動画像データは巻き戻し再生で使用するため、各フレームを他のフレーム の情報を必要としない形式でエンコードする必要があり、本実施例では一例として全 て独立フレーム形式でダウンエンコードする。表示間隔調節部 117は、再生制御部 1 21のレート指定に基づいたフレーム表示間隔に、動画像の表示間隔を調節する。
[0024] ユーザインターフェース 141は、ユーザからの再生、早送り、巻き戻しの指示を受け 再生制御部に再生モード選択信号を送る部である。具体例としてはリモコンやキーボ ード、携帯電話等のボタンなどである。 [0023] The down-decoding unit 113 down-decodes the input moving image data by reducing it to an image size based on the rate specification from the reproduction control unit 121. The decoding unit 114 decodes the input moving image data with an image size equal to that of the distributed moving image data. The outputs of the down-decoding unit 113 and the decoding unit 114 are displayed on the moving image display unit 104 via the display interval adjusting unit 117. The output is also sent to the down-encoding unit 115. The down-encoding unit 115 down-encodes the input moving image at a frame display interval and an image size based on the rate specification from the reproduction control unit 121, and stores the down-encoding in the moving image data storage unit 116. In the present embodiment, the display interval of frames is set to the ratio of 1 frame to 10 frames, and the image size is 1Z8, 2/8, 3/8 times, etc. of the original image. Since the stored moving image data is used for rewind reproduction, it is necessary to encode each frame in a format that does not require information of other frames. In this embodiment, for example, all frames are down-encoded in an independent frame format. The display interval adjustment unit 117 adjusts the display interval of the moving image to the frame display interval based on the rate specification of the reproduction control unit 121. [0024] The user interface 141 is a unit that receives a reproduction, fast-forward, and rewind instruction from the user and sends a reproduction mode selection signal to the reproduction control unit. Specific examples include buttons on a remote control, a keyboard, and a mobile phone.
[0025] なお、図 1に示した動画像再生装置 103の各機能ブロック 111一 141は、ソフトゥヱ ァによる実装、ハードウェアによる実装、あるいは両者を併用した実装のいずれでも 実現可能であり、どの場合にも本実施例の適用が可能である。さらに、該機能ブロッ クを 1チップ上で構成することも可能である。この場合、チップ上に搭載される機能ブ ロックとチップ外に配置される機能ブロックは適宜選択可能であり、例えば、ネットヮ ーク制御部をチップ外に配置し、他の機能ブロックをチップ上に搭載する構成とする ことも可能である。この場合、チップ上には動画像入力部等のインタフェースを設ける こととなる。 [0025] Each functional block 111-141 of the moving picture reproducing apparatus 103 shown in Fig. 1 can be implemented by software, hardware, or a combination of both. The present embodiment is also applicable to the present embodiment. Furthermore, the function block can be configured on one chip. In this case, the function block mounted on the chip and the function block arranged outside the chip can be appropriately selected. For example, a network control unit is arranged outside the chip, and other function blocks are arranged on the chip. It is also possible to adopt a configuration for mounting. In this case, an interface such as a moving image input unit is provided on the chip.
[0026] 動画像再生装置 103の各機能ブロックをソフトウェアで実現する場合の構成を図 1 1に示す。動画像再生装置 103はバス 1103にネットワークインターフェース 1101、 C PU1102、ユーザインターフェース 141、メモリ 1104、動画像インターフェース 1105 、音声インターフェース 1106を接続して構成されている。 CPU1102力 Sメモリ 1104 のプログラムにしたがってネットワークインターフェース 1101、ユーザインターフエ一 ス 141、動画像インターフェース 1105、音声インターフェース 1106を制御することで 、機能ブロック 111一 141の機能を実現している。また、動画像データ記憶部 116は 、メモリ 1104の動画像データ記憶領域 1106を CPU1102が制御することで実現し ている。 FIG. 11 shows a configuration in which each functional block of the moving image reproducing apparatus 103 is realized by software. The moving image reproducing apparatus 103 is configured by connecting a network interface 1101, a CPU 1102, a user interface 141, a memory 1104, a moving image interface 1105, and an audio interface 1106 to a bus 1103. The functions of the functional blocks 111 to 141 are realized by controlling the network interface 1101, the user interface 141, the moving image interface 1105, and the audio interface 1106 in accordance with the program in the CPU 1102 S memory 1104. Further, the moving image data storage unit 116 is realized by controlling the moving image data storage area 1106 of the memory 1104 by the CPU 1102.
[0027] ここでは、単一のプロセッサで実現している例を示している力 S、他に汎用 CPU等コ プロセッサとして搭載してもよレ、。 [0027] Here, the power S shows an example realized by a single processor, and it may be mounted as a coprocessor such as a general-purpose CPU.
[0028] ダウンデコード部 113およびデコード部 114の実現においては、単一のハードゥエ ァまたは単一のソフトウェアに対して、デコードにおける画像サイズやフレーム表示間 隔を指定するパラメータを変更することで、両者の機能を実現するとレ、う実現方法も 可能である。 [0028] In the realization of the down-decoding unit 113 and the decoding unit 114, the parameters for specifying the image size and the frame display interval in decoding are changed for a single hardware or a single software. If the functions described above are realized, a method of realizing them is also possible.
[0029] 本実施例による動画像再生装置 103は、早送り、巻き戻し再生でのフレーム表示 間隔と画像サイズを、動画像の再生を開始する時点で決定する。図 2に、本実施例
による動画像再生装置 103と動画像配信サーバ 101間での動画像の再生を開始す る場合の通信シーケンスの一例を示す。本実施例の動画像再生装置 103は一例とし て、制御情報の通信に IETF (Internet Engineering Task Force)で標準化さ れた RTSP (Real Time Streaming Protocol)を用レ、、動画像データの受信に は RTP (Real—time Transport Protocol)を用いるものとする。 [0029] The moving image reproducing apparatus 103 according to the present embodiment determines the frame display interval and the image size in the fast forward and rewind reproduction at the time of starting the reproduction of the moving image. Fig. 2 shows this embodiment. 1 shows an example of a communication sequence when starting reproduction of a moving image between the moving image reproducing apparatus 103 and the moving image distribution server 101 by the above method. As an example, the moving picture reproducing apparatus 103 of this embodiment uses RTSP (Real Time Streaming Protocol) standardized by the IETF (Internet Engineering Task Force) for communication of control information, and receives moving picture data. RTP (Real-time Transport Protocol) shall be used.
[0030] 動画像再生装置 103はまず動画像配信サーバ 101に対して情報取得要求 (RTS Pにおける DESCRIBEメソッド) 201を送信する。動画像配信サーバ 101からの応答 202には、情報取得要求 201で指定された URI (Universal Resource Identifie r)に対応する動画像データの長さ(再生時間)、および平均ビットレートが含まれてい る。平均ビットレートとは、動画像データのサイズを動画像データの再生時間で割つ た結果で、平均すると毎秒何ビットのデータが動画像配信サーバ 101から配信される かを表す。つづいて配信準備要求 (RTSPにおける SETUP メソッド) 203を送信し 、配信要求(RTSPにおける PLAYメソッド) 204を送信する。配信要求 204では再生 速度(動画像データ本来の平均ビットレートの何倍でデータが配信されるかを表す倍 率)と再生開始位置 (動画像データの先頭からの経過時間で表現)を指定する。通常 の再生では再生速度は 1倍、再生開始位置は 0秒を指定する。以上により RTPによ る動画像データの配信 21 1が開始される。これらのプロトコル処理はネットワーク制御 部 111が行なう。以上が動画像再生開始時の、動画像再生装置 103と動画像配信 サーバ 101間の通信シーケンスである。 The moving picture reproducing apparatus 103 first transmits an information acquisition request (DESCRIBE method in RTS P) 201 to the moving picture distribution server 101. The response 202 from the moving image distribution server 101 includes the length (reproduction time) of moving image data corresponding to the URI (Universal Resource Identifier) specified in the information acquisition request 201, and the average bit rate. . The average bit rate is a result of dividing the size of the moving image data by the reproduction time of the moving image data, and represents on average how many bits of data are transmitted from the moving image distribution server 101 per second. Subsequently, a distribution preparation request (SETUP method in RTSP) 203 is transmitted, and a distribution request (PLAY method in RTSP) 204 is transmitted. In the distribution request 204, a reproduction speed (a multiple of the original average bit rate of the moving image data at which the data is distributed) and a reproduction start position (expressed by an elapsed time from the beginning of the moving image data) are specified. . In normal playback, the playback speed is specified as 1x, and the playback start position is specified as 0 seconds. As described above, distribution 211 of moving image data by RTP is started. These protocol processes are performed by the network control unit 111. The communication sequence between the moving image reproducing apparatus 103 and the moving image distribution server 101 at the start of moving image reproduction has been described above.
[0031] 図 3に動画像の再生を開始する場合の、再生制御部 121における処理フローを示 す。再生制御部 121はネットワーク制御部 111に対して通常再生の開始を指示する( 301)。ネットワーク制御部 111は図 2の通信シーケンスを実行し、情報取得要求 201 に対する応答 202に含まれている動画像データの長さ(再生時間)と平均ビットレート を取得し、再生制御部 121へ通知する(302)。 FIG. 3 shows a processing flow in the reproduction control unit 121 when starting reproduction of a moving image. The reproduction control unit 121 instructs the network control unit 111 to start normal reproduction (301). The network control unit 111 executes the communication sequence shown in FIG. 2, acquires the length (reproduction time) and average bit rate of the moving image data included in the response 202 to the information acquisition request 201, and notifies the reproduction control unit 121. (302).
[0032] 再生制御部 121は動画像データの長さ、平均ビットレートと動画像データ記憶部 1 06の記憶容量から、動画像全体に渡って一定間隔で画像を記録することが可能で ある画像サイズとフレーム表示間隔を決定する(303)。応答 202に動画像データの 長さ T (単位:秒)と平均ビットレート B (単位: kbps)が含まれてレ、るものとし、動画像デ
ータ記憶部 106の記憶容量を M (単位:キロビット)とした場合の画像サイズとフレー ム表示間隔の計算フローの一例を、図 4に示す。本実施例では Mは固定値であるも のとするが、動画像の再生開始時に動画像データ記憶部 106の未使用の記憶領域 の容量を計算して Mを求めても構わない。 [0032] The reproduction control unit 121 can record an image at regular intervals over the entire moving image based on the length of the moving image data, the average bit rate, and the storage capacity of the moving image data storage unit 106. The size and the frame display interval are determined (303). It is assumed that the response 202 includes the length T (unit: second) of the moving image data and the average bit rate B (unit: kbps). FIG. 4 shows an example of a calculation flow of the image size and the frame display interval when the storage capacity of the data storage unit 106 is M (unit: kilobit). In the present embodiment, M is assumed to be a fixed value, but M may be obtained by calculating the capacity of an unused storage area of the moving image data storage unit 106 at the start of moving image reproduction.
[0033] 図 4の処理 401にある係数 kはフレーム表示間隔とフレームレートの比で、例えば 3 0フレーム/秒(フレームレート)の動画像を 3フレーム/秒(フレーム表示間隔)で記 録する場合、 kは 3Z30 = 0. 1となり、早送り、巻き戻しで再生される動画像は本来の 動画像の 10倍速で再生されているように見える。早送り、巻き戻しにおける kのデフォ ノレト値は予め決定してあるものとし、本実施例では 0. 1とする(401)。次に、動画像 データの総量は、動画像の再生時間 Tに平均ビットレート Bとの積 (T X B)で求めら れる。この積に前述の係数 kをかけた Rは、動画像を 10フレームに 1フレームの割合 で記憶する場合に必要な記憶容量となる。 (402)。 The coefficient k in the process 401 of FIG. 4 is a ratio of the frame display interval to the frame rate, for example, a moving image of 30 frames / sec (frame rate) is recorded at 3 frames / sec (frame display interval). In this case, k becomes 3Z30 = 0.1, and the moving image reproduced by fast forward and rewind seems to be reproduced at 10 times the speed of the original moving image. The default value of k in fast-forward and rewind is assumed to be determined in advance, and is set to 0.1 in this embodiment (401). Next, the total amount of moving image data is obtained by multiplying the reproduction time T of the moving image by the average bit rate B (T X B). R, which is obtained by multiplying the product by the coefficient k described above, is a storage capacity necessary for storing moving images at a rate of one frame per 10 frames. (402).
[0034] Rが Mより大きい場合、記録する画像サイズを小さくすることで記録する動画像デー タを容量 M以下にする。以下の手順で、記録する画像サイズの縦横が元の画像サイ ズの n/8の時に容量 M以内に動画像データが収まるような nを求める。画像サイズ の下限は予め設定されているものとし、本実施例においては、元の画像の縦横各 1 /8 (つまり n= l)、面積にして 1/64を下限とする。 When R is larger than M, moving image data to be recorded is reduced to a size M or less by reducing the size of the image to be recorded. Use the following procedure to find n so that the moving image data can fit within the capacity M when the size of the image to be recorded is n / 8 of the original image size. It is assumed that the lower limit of the image size is set in advance, and in the present embodiment, the lower limit is 1/8 (that is, n = l) and the area is 1/64 of the original image.
[0035] M/Rが 1/64より小さい場合 (403)、つまり画像サイズを縦横各 1/8にしても容 量 Mで動画像データが記録できなレ、場合、 kの値を動画像データ記憶部 116の記憶 容量に動画像データが収まるように調節する(414)。この場合、画像サイズは縦横各 1/8の n= lとする(415)。 [0035] If M / R is smaller than 1/64 (403), that is, if moving image data cannot be recorded with the capacity M even if the image size is 1/8 in both the vertical and horizontal directions, the value of k is set to The moving image data is adjusted to fit in the storage capacity of the data storage unit 116 (414). In this case, the image size is 1/8 in each of the vertical and horizontal directions (n = l) (415).
[0036] M/Rが 1/64以上で(403)、 MZRが 1より大きレ、、すなわち動画像記憶部 116 の記憶容量 M力 SRよりも大きいならば (404)、画像サイズを縮小せずに記録すること が可能なので、画像サイズは縦横とも 8/8である n = 8とする(425)。 [0036] If M / R is 1/64 or more (403) and MZR is larger than 1, that is, if the storage capacity M of the moving image storage unit 116 is larger than SR (404), the image size is reduced. The image size is 8/8 in both the vertical and horizontal directions, so n = 8 (425).
[0037] M/Rが 1/64以上で 1未満の場合、処理ステップ 405に示した条件を満たす nが 、記憶容量 M以内で動画像データを記録するための最大の nとなる。 When M / R is 1/64 or more and less than 1, n that satisfies the condition shown in the processing step 405 is the maximum n for recording moving image data within the storage capacity M.
[0038] 以上により、動画像の表示間隔を元の動画像のフレームレートとの比で表した kと、 画像サイズを元の動画像の縦横 1/8サイズとの比で表した nとを決定する。なお、本
実施例では動画像全体の長さと平均ビットレートを用いたが、動画像データ全体の 容量が計算できるパラメータであれば何を使って算出してもよい。 [0038] As described above, k representing the display interval of a moving image as a ratio to the frame rate of the original moving image, and n representing the image size as a ratio to the vertical and horizontal 1/8 size of the original moving image. decide. The book In the embodiment, the length of the entire moving image and the average bit rate are used. However, any parameter can be used as long as the parameter can calculate the entire capacity of the moving image data.
[0039] 図 3に戻って、動画像データ記憶部 116を初期化し、何も画像データが記憶されて レ、ない状態にする(304)。以上が再生開始処理フローである。 Returning to FIG. 3, the moving image data storage unit 116 is initialized, so that no image data is stored therein (304). The above is the reproduction start processing flow.
[0040] 本実施例による動画像再生装置 103の特徴は、通常再生、早送り、巻き戻しという 異なる再生モードに応じて、動画像表示部 104に出力する動画像を、ダウンデコード 部 113の出力、デコード部 114の出力、動画像記憶部 116に格納されたダウンェン コード部 116の出力をデコード部 114でデコードした出力結果の 3通りに切り替える 点にある。そのための処理フローを図 5、図 6、図 7を用いて以下に説明する。 [0040] The feature of the moving picture reproducing apparatus 103 according to the present embodiment is that the moving picture output to the moving picture display unit 104 is output to the down decoding unit 113 in accordance with different playback modes such as normal playback, fast forward, and rewind. The point is that the output of the decoding unit 114 and the output of the down-encoding unit 116 stored in the moving image storage unit 116 are switched to three types of output results decoded by the decoding unit 114. The processing flow for that will be described below with reference to FIGS. 5, 6, and 7.
[0041] 通常再生の場合、本実施例による動画像再生装置 103は、入力としてネットワーク 制御部 111で受信した動画像データを用い、デコード部 114の出力を動画像表示部 104に送る。この場合の再生制御部 121の動作フローを図 5に示す。 In the case of normal reproduction, the moving image reproducing apparatus 103 according to the present embodiment uses the moving image data received by the network control unit 111 as an input, and sends the output of the decoding unit 114 to the moving image display unit 104. FIG. 5 shows an operation flow of the reproduction control unit 121 in this case.
[0042] ユーザインターフェース 141から通常再生を指示された再生制御部 121は、何らか の動画像を現在再生中であれば、ネットワーク制御部 111に対して一時停止を指示 する。ネットワーク制御部 111は、現在動画像配信サーバ 101から動画像データを受 信中であれば、動画像配信サーバ 101に対して一時中止要求(PAUSEメソッド)を 送信する。次に、ダウンデコード部 113またはデコード部 114が動画像データのデコ ードを実行中であれば停止させる(502)。 [0042] The reproduction control unit 121 instructed to perform normal reproduction from the user interface 141 instructs the network control unit 111 to pause if any moving image is currently being reproduced. If the moving image data is currently being received from the moving image distribution server 101, the network control unit 111 transmits a temporary stop request (PAUSE method) to the moving image distribution server 101. Next, if the down-decoding unit 113 or the decoding unit 114 is executing the decoding of the moving image data, the decoding is stopped (502).
[0043] 通常再生の場合、入力は動画像配信サーバ 101から送られてくるデータを用い、 それをデコード部 114でデコードして表示するので、セレクタ 112の入力をネットヮー ク制御部 111、出力をデコード部 114へと切り替える(503)。ダウンエンコード部 115 に対しては、図 4のフローで決定したフレーム表示間隔と画像サイズを設定する(50 5)。表示間隔調節部 117には、全ての画像再生させるためにフレーム表示間隔とし て k= l . 0を指定する(506)。 In the case of normal reproduction, the input uses the data sent from the moving image distribution server 101 and decodes and displays the data by the decoding unit 114. Therefore, the input of the selector 112 is input to the network control unit 111, and the output is output. Switching to the decoding unit 114 (503). For the down-encoding unit 115, the frame display interval and the image size determined in the flow of FIG. 4 are set (505). In the display interval adjusting unit 117, k = l.0 is designated as a frame display interval to reproduce all images (506).
[0044] 動画像配信サーバ 101の動画像配信を開始させるために、再生制御部 121はネッ トワーク制御部 111に対し通常再生の開始を指示する(507)。ネットワーク制御部 11 1は、動画像配信サーバ 101に対して配信要求(PLAYメソッド) 204を送信し、動画 像配信サーバ 101からの動画像データの送信 211が開始される。デコード部 114が
デコード処理を開始し(507)、動画像の通常再生が行なわれる。それに伴いダウン エンコード部 115が、動画像を設定されたフレーム表示間隔と画像サイズに従ってダ ゥンエンコードし、動画像データ記憶部 116に記録していく。ダウンエンコードするこ とにより動画像を蓄積するための記憶容量が少なくなり、またエンコード処理自体も 高速に行なえる。蓄積する動画像は全て独立フレームとしてダウンエンコードする。 [0044] In order to start moving image distribution of the moving image distribution server 101, the reproduction control unit 121 instructs the network control unit 111 to start normal reproduction (507). The network control unit 111 transmits a distribution request (PLAY method) 204 to the moving image distribution server 101, and transmission 211 of moving image data from the moving image distribution server 101 is started. The decoding unit 114 The decoding process is started (507), and normal reproduction of the moving image is performed. Accordingly, the down-encoding unit 115 down-encodes the moving image in accordance with the set frame display interval and image size, and records the down-encoded image in the moving image data storage unit 116. By down-encoding, the storage capacity for storing moving images is reduced, and the encoding process itself can be performed at high speed. All moving images to be stored are down-encoded as independent frames.
[0045] 次に早送り再生の場合について、図 6のフローに沿って説明する。処理 501, 502 については通常再生の場合と同様である。早送り再生では、入力は動画像配信サー バ 101から通常より高い速度で送られてくる動画像データを用レ、、それをダウンデコ ード部 113でダウンデコードして表示するので、セレクタ 112の入力をネットワーク制 御部 111、出力をダウンデコード部 113へと切り替える(603)。 Next, the case of fast forward playback will be described with reference to the flow of FIG. Processing 501 and 502 are the same as in the case of normal reproduction. In fast-forward playback, the input uses moving image data sent from the moving image distribution server 101 at a higher speed than usual, and it is down-decoded by the down-decode unit 113 and displayed. Is switched to the network control unit 111 and the output to the down-decode unit 113 (603).
[0046] ダウンデコード部 113に対しては、ダウンデコードした動画像の画像サイズを設定 する必要がある。再生制御部 121は動画像の再生開始時に図 4のフローで決定され た nの値をダウンデコード部 113に設定する(604)。 For down decoding section 113, it is necessary to set the image size of the down decoded video. The reproduction control unit 121 sets the value of n determined in the flow of FIG. 4 to the down-decoding unit 113 at the start of the reproduction of the moving image (604).
[0047] 早送り再生の場合のダウンエンコード部 115に対するレート指定は、フレーム表示 間隔については通常再生における値 (k)と同じだ力 画像サイズ (n)の設定は異なる 。早送り再生でのダウンエンコード部 115への入力はダウンデコード部 113の出力で あり、ダウンデコード部 113の出力はすでに設定された画像サイズになっている。よつ てダウンエンコード部 115へ設定する画像サイズは入力と同じサイズ(8/8)である n = 8を設定する(605)。表示間隔調節部 117に対しては、再生制御部 121が動画像 の再生開始時に図 4のフローで決定された kの値をフレーム表示間隔として設定する (606)。 The rate specification for the down-encoding unit 115 in the case of the fast-forward playback is the same as the value (k) in the normal playback for the frame display interval. The setting of the image size (n) is different. The input to the down-encoding unit 115 in the fast-forward playback is the output of the down-decoding unit 113, and the output of the down-decoding unit 113 has the already set image size. Therefore, the image size set to the down-encoding unit 115 is set to n = 8 which is the same size (8/8) as the input (605). For the display interval adjusting unit 117, the playback control unit 121 sets the value of k determined in the flow of FIG. 4 as the frame display interval at the start of the playback of the moving image (606).
[0048] 早送り再生時には、動画像配信サーバ 101から通常より高い速度で動画像コンテ ンッの配信を受ける必要がある。再生制御部 121がネットワーク制御部 111に対して 早送り再生を指示する(607)と、ネットワーク制御部 111は、再生速度指定を通常よ り高速 (例えば、本実施例では前述の RTSPにおけるスピードパラメータを 5倍に指 定することで実現可能である)に指定した配信要求(PLAYメソッド) 204を動画像配 信サーバ 101に送信する。動画像配信サーバ 101から通常より高速な配信が行なわ れるので、ダウンデコード部 113でのダウンデコードを開始し(608)、早送り再生が
行なわれる。同時に、ダウンエンコード部 115が、動画像を設定されたフレーム表示 間隔と画像サイズ (入力された画像サイズのまま)に従ってダウンエンコードし、動画 像データ記憶部 116に記録してレ、く。 [0048] At the time of fast-forward playback, it is necessary to receive video content distribution from the video distribution server 101 at a higher speed than usual. When the playback control unit 121 instructs the network control unit 111 to perform fast-forward playback (607), the network control unit 111 specifies a playback speed higher than normal (for example, in this embodiment, the speed parameter in the RTSP described above is set to A transmission request (PLAY method) 204 specified in (5) is transmitted to the moving image distribution server 101. Since the moving image distribution server 101 performs higher-speed distribution than usual, the down-decoding unit 113 starts down-decoding (608), and fast-forward reproduction starts. Done. At the same time, the down-encoding unit 115 down-encodes the moving image according to the set frame display interval and the image size (as it is the input image size), and records it in the moving image data storage unit 116.
[0049] 動画像配信サーバ 101からの配信は通常より高速に行なわれるため、動画像再生 装置 103での処理負荷が上昇するが、ダウンデコード処理を用いることで早送り再生 時の処理負荷を軽減してレ、る。 [0049] Since the distribution from the moving image distribution server 101 is performed at a higher speed than usual, the processing load on the moving image reproducing device 103 increases. However, the processing load during fast forward reproduction is reduced by using the down-decoding process. Te, ru.
[0050] 次に巻き戻し再生の場合を、図 7に沿って説明する。処理 501, 502については通 常再生の場合と同様である。巻き戻し再生では、入力は動画像データ記憶部 116に 記録された動画像データを用い、それをデコード部 114でデコードして表示するので 、セレクタ 112の入力を動画像データ記憶部 1 16に、出力をデコード部 114へと切り 替える(703)。動画像データ記憶部 116には、既に再生、早送り再生された動画像 がダウンエンコードされて記録されている。ダウンエンコードの時点でフレーム表示間 隔と画像サイズは調節されているので、記録された動画像データを逆順にそのまま デコードし、全画像を表示すると巻き戻し再生となる。 Next, the case of rewind reproduction will be described with reference to FIG. Processing 501 and 502 are the same as in the case of normal reproduction. In the rewind playback, the input uses the moving image data recorded in the moving image data storage unit 116, and the decoded data is decoded and displayed by the decoding unit 114. Therefore, the input of the selector 112 is input to the moving image data storage unit 116. The output is switched to the decoding unit 114 (703). The moving image data that has already been reproduced and fast-forward reproduced is down-encoded and recorded in the moving image data storage unit 116. Since the frame display interval and image size are adjusted at the time of down-encoding, the recorded moving image data is directly decoded in reverse order, and when all images are displayed, rewind playback is performed.
[0051] 巻き戻し再生中は動画像をダウンエンコードして記録する必要はないので、ダウン エンコード部 115を停止する(705)。表示間隔調節部 117には全画像表示(k= l .[0051] During rewind playback, there is no need to down-encode and record the moving image, so the down-encoding unit 115 is stopped (705). The display interval adjuster 117 displays all images (k = l.
0)を設定する(506)。デコード処理を開始すれば(508)巻き戻し再生が行なわれる0) is set (506). When the decoding process is started (508), the rewind reproduction is performed.
。巻き戻し再生には動画像配信サーバ 101からの配信は不要である。 . Delivery from the moving image delivery server 101 is not required for rewind playback.
[0052] また、動画データ記憶部に格納された巻き戻し用画像は、ストリーミングデータを視 聴した後(コンテンツ配信サーバから end of stream信号を受信後)あるいは、別の コンテンツ再生時に削除するよう設定可能である。 [0052] Further, the rewind image stored in the moving image data storage unit is set to be deleted after watching the streaming data (after receiving the end of stream signal from the content distribution server) or when reproducing another content. It is possible.
[0053] 以上のように本実施例による動画像再生装置 103では、ダウンエンコードあるいは ダウンデコードを行うことで早送りあるいは巻き戻し再生の処理負荷およびそのデー タ量を低減するとレ、う効果を奏する。 As described above, the moving image reproducing apparatus 103 according to the present embodiment has the effect of reducing the processing load of fast-forward or rewind reproduction by performing down-encoding or down-decoding and the data amount thereof.
[0054] また、早送りと巻き戻しでフレーム表示間隔と画像サイズを統一しているため、利用 者が違和感なく早送りと巻き戻しを行なえるという効果もある。 [0054] Further, since the frame display interval and the image size are unified for fast-forward and rewind, there is also an effect that the user can perform fast-forward and rewind without discomfort.
[0055] また、本実施例の構成は、大容量の記憶装置を必要とせずに、ストリーミングコンテ ンッの視聴が可能となるため、安価で動画像コンテンツを視聴する機器に本実施例
は適用可能であり、耐久性が向上するという効果も有する。 Further, the configuration of the present embodiment makes it possible to view streaming content without requiring a large-capacity storage device. Is applicable and has an effect of improving durability.
[0056] また、通常再生、早送り再生、巻き戻し再生という再生モードにしたがってデコード 部 114、ダウンデコード部 113、ダウンエンコード部 115の組み合わせを切り替えるこ とで、処理負荷や記憶容量が少なくてすみ、かつ元の動画像データの独立フレーム のみの表示に比べて画像の表示頻度が高くフレーム表示間隔が一定の早送り、卷き 戻し再生を実現するという効果も奏する。 Further, by switching the combination of the decoding unit 114, the down decoding unit 113, and the down encoding unit 115 in accordance with the playback modes of normal playback, fast forward playback, and rewind playback, the processing load and storage capacity can be reduced. In addition, compared to the display of only the independent frames of the original moving image data, the display frequency of the image is higher and the frame display interval is constant, so that fast forward and rewind reproduction can be realized.
[0057] なお、仮に独立フレームが非常に少なレ、(例えば、 1秒あたり 30フレームの動画像 データのうち独立フレームが 200フレームにっき 1フレームの場合、動画像を構成す るすべてのフレーム中で独立フレームが 1フレームの場合等)動画像を受信した場合 であっても、受信した動画像をデコードした元の画像を、予め設定したフレーム表示 間隔でダウンエンコードして記憶部 116に格納し保存するため、巻き戻し再生をした 場合であっても該フレーム表示間隔で動画像を参照することが可能となる。 If the number of independent frames is very small (for example, if the number of independent frames is one in 200 frames out of 30 frames of moving image data per second, all the frames constituting the moving image Even when a moving image is received, the original image obtained by decoding the received moving image is down-encoded at a predetermined frame display interval and stored in the storage unit 116 for storage. Therefore, even when rewind playback is performed, it is possible to refer to a moving image at the frame display interval.
実施例 2 Example 2
[0058] 第 2の実施例による動画像再生装置 103では、機能ブロックの構成、処理フローは 基本的に第 1実施例と同じである。本実施例では、パラメータ算出のフロー(図 4)に おいて、動画像データのサイズを元のデータの縦横各 1/8 (n= l)にしても、動画像 データ記憶部 116の容量 M以内で動画像データが記録できない場合(処理 414、 4 15に該当)に、本実施例による早送り、巻き戻し再生よりも、動画像配信サーバ 101 力 独立フレーム形式のデータのみの配信を受け、再生する方が、早送り、巻き戻し 再生の品質が高いと判断することが特徴である。 In the moving picture reproducing apparatus 103 according to the second embodiment, the configuration of the functional blocks and the processing flow are basically the same as those of the first embodiment. In the present embodiment, in the parameter calculation flow (FIG. 4), even if the size of the moving image data is set to 1/8 (n = l) each of the length and width of the original data, the capacity M of the moving image data storage unit 116 is reduced. If the moving image data cannot be recorded within the time limit (corresponding to the processing 414 and 415), the moving image distribution server 101 receives only the data in the independent frame format and reproduces the data instead of the fast forward and rewind reproduction according to the present embodiment. The feature is that it is judged that the quality of fast forward and rewind reproduction is higher.
[0059] 例えば、コンテンツのデータ量が非常に多ぐ画像サイズを縦横各 1/8とし、かつ、 図 4の 414において kを調整した場合、フレーム表示間隔が、予め定めた量より大きく なる(例えば、 1秒あたり 30フレームの動画像データにおいて、巻き戻し用画像の表 示間隔が 200フレーム以上につき 1フレームの場合等)ときに、独立フレーム形式の データのみの配信を受け、早送り、巻き戻し再生する方が、品質が高いと判断される [0059] For example, when the image size in which the data amount of the content is extremely large is 1/8 in each of the vertical and horizontal directions, and k is adjusted in 414 in FIG. 4, the frame display interval becomes larger than a predetermined amount ( For example, if the display interval of the rewind image is 30 frames per second and the display interval of the rewind image is 1 frame for every 200 frames or more), only the data in the independent frame format is delivered, and fast forward and rewind are performed. Playback is judged to be higher quality
[0060] この場合、利用者に対して、早送り、巻き戻し再生の動画像品質が低下することを 通知するメッセージを動画像表示部 104に表示してもよい。そして早送り、巻き戻し
再生時にダウンデコード、ダウンエンコードの処理を行なわず、動画像配信サーバ 1 01から配信される独立フレーム形式のデータのみを再生することで、早送り、巻き戻 しを実現する。 In this case, a message notifying the user that the moving image quality of the fast-forward and rewind reproduction is degraded may be displayed on the moving image display unit 104. And fast forward, rewind Fast reproduction and rewinding are realized by reproducing only the data in the independent frame format distributed from the moving image distribution server 101 without performing down decoding and down encoding processing during reproduction.
[0061] この場合の早送り再生フロー(図 6)は、処理 603は処理 503 (図 5)になり、処理 60 4は不要に、処理 605は処理 705 (図 7)に、処理 606は処理 506 (図 5)に変更される 。さらに処理 607におレヽて、ネットワーク制御部 111に対しては、独立フレームのみの 早送り再生モードを指示する。指示を受けたネットワーク制御部 111は、動画像配信 サーバ 101に対する配信要求(PLAYメソッド)で、独立フレームのみの高速配信を 要求する。処理 608は処理 508 (図 5)となる。 In this case, in the fast-forward playback flow (FIG. 6), the process 603 becomes the process 503 (FIG. 5), the process 604 becomes unnecessary, the process 605 becomes the process 705 (FIG. 7), and the process 606 becomes the process 506. (Fig. 5). Further, in step 607, the fast forward playback mode for only the independent frame is instructed to the network control unit 111. Upon receiving the instruction, the network control unit 111 requests high-speed distribution of only the independent frame by a distribution request (PLAY method) to the moving image distribution server 101. Processing 608 is processing 508 (FIG. 5).
[0062] 同様に巻き戻し再生フロー(図 7)において、処理 703は処理 503になり、処理 506 と処理 508の間に、ネットワーク制御部 111に対して、独立フレームのみを逆方向に 高速再生するモードを指示する処理ステップを追加する。指示を受けたネットワーク 制御部 111は動画像配信サーバ 101に対する配信要求(PLAYメソッド)で、独立フ レームのみ逆方向の高速配信を要求する。 Similarly, in the rewind reproduction flow (FIG. 7), the process 703 becomes the process 503, and between the process 506 and the process 508, the network control unit 111 reproduces only the independent frame at a high speed in the reverse direction. A processing step for specifying a mode is added. Upon receiving the instruction, the network control unit 111 requests high-speed distribution in the reverse direction only for the independent frame by a distribution request (PLAY method) to the moving image distribution server 101.
[0063] 本実施例によれば、動画像データ記憶部 116の記憶容量の制限から、ダウンェン コードにより作成する動画像データの品質が独立フレームのみの表示よりも低下する 場合、あら力じめ利用者に通知して、独立フレームのみの早送り、巻き戻し再生を使 用することで、与えられた条件下では最良の早送り、巻き戻し再生品質を実現するこ とが可能であるという効果がある。さらに、早送り、巻き戻し操作に支障をきたさないよ うに、早送り、巻き戻し再生の操作感が通常とは異なることをあら力じめ利用者に知ら せているという効果がある。 According to the present embodiment, when the quality of the moving image data created by the down-encoding is lower than that of the display of the independent frame alone due to the limitation of the storage capacity of the moving image data storage unit 116, it is possible to use all over again. By using the fast forward and rewind playback of only the independent frame by notifying the user, it is possible to achieve the best fast forward and rewind playback quality under given conditions. In addition, there is an effect that the user is informed that the operation feeling of the fast-forward and rewind playback is different from usual so as not to interfere with the fast-forward and rewind operations.
実施例 3 Example 3
[0064] 第 3の実施例における動画像再生装置 103の機能ブロック図を図 8に示す。本実 施例ではインデックス記憶部 131が追加されてレ、るとレ、う特徴がある。本実施例にお けるインデックスとは、早送り、巻き戻し再生時に動画像表示部 104に表示された画 像が、動画像の先頭から何秒経過した時点で再生される画像であるかの情報である FIG. 8 shows a functional block diagram of a moving image reproducing apparatus 103 according to the third embodiment. In the present embodiment, the index storage unit 131 is added, which has a feature. The index in the present embodiment is information indicating how many seconds have elapsed since the beginning of the moving image the image displayed on the moving image display unit 104 during fast-forward or rewind playback. is there
[0065] 本実施例においては、早送り、巻き戻し再生時に、再生画像 901と同時に複数のィ
ンデッタス画像 902を表示する(図 9)インデックス画像 902は、早送りおよび巻き戻し 再生時に、動画像表示部 104に表示された再生画像 901を一定間隔で動画像表示 部 104の表示領域に残したもので、表示間隔調節部 117が再生画像 901の表示位 置を一定間隔で制御することで実現する。再生画像 901をインデックス画像 902とし て残す時間間隔はあらかじめ設定されているものとし、例えば本実施例では、表示間 隔調節部 117に設定されたフレーム表示間隔 kの 1Z8とする。つまり実際に動画像 表示部 104に表示されたフレームが 8回に 1回の頻度でインデックス画像 902として 動画像表示部 104の表示領域に残る。表示領域に残すインデックス画像 902の選択 方法としてはこの他にも例えばシーンチェンジを検出したフレームをインデックス画像 902とするなどの方法が可能である。 In this embodiment, during fast forward and rewind playback, a plurality of keys are simultaneously displayed with the playback image 901. The index image 902, which displays the index image 902 (Fig. 9), is the image 901 displayed on the moving image display unit 104 at a fixed interval in the display area of the moving image display unit 104 during fast forward and rewind playback. This is realized by the display interval adjusting unit 117 controlling the display position of the reproduced image 901 at a constant interval. The time interval in which the reproduced image 901 is left as the index image 902 is set in advance. For example, in the present embodiment, the time interval is set to 1Z8 of the frame display interval k set in the display interval adjusting unit 117. That is, the frame actually displayed on the moving image display unit 104 remains in the display area of the moving image display unit 104 as an index image 902 once every eight times. As a method of selecting the index image 902 to be left in the display area, other methods such as, for example, setting a frame in which a scene change is detected as the index image 902 are possible.
[0066] 早送り再生での再生画像 901の画像サイズと巻き戻し再生での再生画像 901の画 像サイズは、図 4のフローで計算された値に統一されており、通常再生の画像サイズ 以下である。したがって動画像表示部 104の表示領域には余裕があるので、その表 示領域にインデックス画像 902を表示する。図 9は画像サイズが通常再生の画像サイ ズの 2/8 X 2/8 (n = 2)の例である。 [0066] The image size of the playback image 901 in the fast-forward playback and the playback image 901 in the rewind playback are unified to the values calculated in the flow of Fig. 4. is there. Therefore, since there is room in the display area of the moving image display unit 104, the index image 902 is displayed in the display area. FIG. 9 shows an example in which the image size is 2/8 × 2/8 (n = 2) of the normal playback image size.
[0067] インデックス画像 902を動画像表示部 104へ一度に表示できる個数には限りがある ので、表示領域を使レ、切った後は古レ、インデックス画像 902から新しレ、インデックス 画像 902で上書きされる。一例として、早送り再生の場合、インデックス画像 902の表 示順序は、向かって左から右へ時系列に、画面の右端まで表示したら向かって下方 向の空いている表示領域に再び向かって左から右へ時系列に表示し、巻き戻し再生 の場合、再生画像 901自体が時系列を逆方向に再生しているので、向かって右下か ら左上へとインデックス画像 902が表示されていくなどの方法がある。 [0067] Since the number of index images 902 that can be displayed on the moving image display unit 104 at one time is limited, the display area is used, and after cutting, the old image, the new index image 902, and the index image 902 are used. Will be overwritten. As an example, in the case of fast-forward playback, the display order of the index images 902 is chronologically from left to right, and when displayed to the right end of the screen, the display is shifted downward from left to right again toward an empty display area. In the case of rewind playback, since the playback image 901 itself plays the time series in the reverse direction, the index image 902 is displayed from the lower right to the upper left, for example. There is.
[0068] 表示間隔調節部 117は再生画像 901をインデックス画像 902として動画像表示部 104に残す際に、その再生画像 901のインデックス、すなわち動画像の先頭からの 経過時間をインデックス記憶部 131に保存する。インデックス記憶部 131には、動画 像表示部 104に現在表示されている各インデックス画像 902に対応するインデックス が記憶されている。 When leaving the playback image 901 as the index image 902 in the moving image display unit 104, the display interval adjustment unit 117 stores the index of the playback image 901, that is, the elapsed time from the beginning of the moving image in the index storage unit 131. I do. The index storage unit 131 stores an index corresponding to each index image 902 currently displayed on the moving image display unit 104.
[0069] 本実施例の動画像再生装置 104では、インデックス画像 902による再生位置の移
動が可能である。利用者が動画像表示部 102に表示されたインデックス画像 902を 一つ指定すると、図 5の通常再生フローに従った処理が開始される。処理 507でネッ トワーク制御部 111へ与える指示に、インデックス記憶部 131に記録された、利用者 が指定したインデックス画像 902に対応するインデックスをパラメータとして与える。ネ ットワーク制御部 111は、動画像配信サーバ 101へ送信する配信要求(PLAYメソッ ド) 204で、再生開始位置としてパラメータとして渡されたインデックスを指定する。動 画像配信サーバ 101は指定された再生開始位置からの動画像データを配信するの で、利用者が指定したインデックス画像 902に対応する再生位置から通常再生が開 始される。 In the moving image reproducing apparatus 104 of the present embodiment, the reproduction position is shifted by the index image 902. Movement is possible. When the user designates one index image 902 displayed on the moving image display unit 102, processing according to the normal reproduction flow of FIG. 5 is started. In step 507, an index corresponding to the index image 902 specified by the user and recorded in the index storage unit 131 is given as a parameter to the instruction given to the network control unit 111. The network control unit 111 specifies the index passed as a parameter as the reproduction start position in the distribution request (PLAY method) 204 to be transmitted to the moving image distribution server 101. Since the moving image distribution server 101 distributes the moving image data from the specified reproduction start position, the normal reproduction is started from the reproduction position corresponding to the index image 902 specified by the user.
[0070] 以上のように本実施例では早送り、巻き戻し再生の画像サイズを通常再生の画像 サイズよりも小さくしたことで生じた動画像表示部 104の空き表示領域にインデックス 画像 902を表示することで、利用者がより正確に再生開始位置を指定できるという効 果がある。また、ダウンデコードあるいはダウンエンコードで処理されて実際に動画像 表示部 104に表示された画像をインデックス画像 902として用いるため、インデックス 画像 902を生成するために新たなデコード部 114、ダウンデコード部 113あるいはダ ゥンエンコード部 115を追加する必要がないとレ、う効果もある。 [0070] As described above, in the present embodiment, the index image 902 is displayed in the empty display area of the moving image display unit 104 caused by making the image size of fast-forward and rewind playback smaller than the image size of normal playback. This has the effect that the user can more accurately specify the reproduction start position. In addition, since the image actually processed by down-decoding or down-encoding and displayed on the moving image display unit 104 is used as the index image 902, a new decoding unit 114, a down-decoding unit 113 or There is also an effect that there is no need to add the down encoding unit 115.
実施例 4 Example 4
[0071] 第 4の実施例による動画像再生装置 103の機能ブロック図を図 12に示す。本実施 例では、動画像配信サーバ 101から配信されるストリーミングデータをリアルタイムに 再生するのではなぐ一旦、記憶装置 1202内の記憶領域であるダウンロードフアイ ル記憶部 1201に格納し、ダウンロードファイル記憶部 1201内のデータを動画像とし て再生する端末である。 FIG. 12 shows a functional block diagram of a moving image reproducing apparatus 103 according to the fourth embodiment. In the present embodiment, streaming data distributed from the moving image distribution server 101 is not reproduced in real time, but is temporarily stored in a download file storage unit 1201 which is a storage area in the storage device 1202, and is temporarily stored in the download file storage unit 1201. It is a terminal that reproduces the data in the as a moving image.
[0072] 本実施例では記憶装置 1202の記憶領域のうち、ダウンロードファイルの格納に使 われなかった記憶領域を、動画像データ記憶部 116として利用する。ダウンロードフ アイルのサイズにより動画像データ記憶部 116として使える記憶容量が変化する。本 実施例ではダウンエンコード部 115へのレート指定を計算する図 4のフローにおいて 、記憶装置 1202内でダウンロードファイルが占有している領域を除いた記憶領域の 容量を Mとしてレート指定を計算することにより、使用可能な記憶容量の範囲内で卷
き戻し用画像を生成することが可能となる。 In the present embodiment, a storage area of the storage area of the storage device 1202 that is not used for storing the download file is used as the moving image data storage unit 116. The storage capacity that can be used as the moving image data storage unit 116 varies depending on the size of the download file. In the present embodiment, in the flow of FIG. 4 for calculating the rate designation to the down-encoding unit 115, the rate designation is calculated with the capacity of the storage area excluding the area occupied by the download file in the storage device 1202 as M. , Within the available storage capacity. It is possible to generate a flip-back image.
[0073] 以上より、本実施例では、より大容量の記憶領域内で巻き戻し用画像を生成するた め、より高品質な巻き戻し用動画像データを作成できるという効果がある。 As described above, in this embodiment, since the rewinding image is generated in the larger storage area, there is an effect that higher-quality rewinding moving image data can be created.
[0074] また、ダウンロードファイル記憶部 1201に記憶する動画像データが独立フレームだ けで構成していなくても、実施例 1と同様にセレクタ 112、ダウンデコード部 113、デコ ード部 114、ダウンエンコード部 115を組み合わせることで早送り再生と巻き戻し再生 が実現できるため、独立フレームだけで構成した動画像データよりも容量の小さい動 画像データを利用できるという効果もある。 [0074] Even if the moving image data stored in the download file storage unit 1201 does not include only independent frames, the selector 112, the down-decode unit 113, the decode unit 114, and the down- Since fast forward playback and rewind playback can be realized by combining the encoding unit 115, there is also an effect that moving image data having a smaller capacity than moving image data composed of only independent frames can be used.
[0075] また、早送り再生においてダウンデコード部 113を用いることで、ダウンロードした動 画像データファイルの再生においても、処理負荷を軽減できるという効果もある。 Further, by using the down-decoding unit 113 in the fast-forward playback, there is also an effect that the processing load can be reduced even in the playback of the downloaded moving image data file.
[0076] 記憶容量や処理能力に制限のある携帯電話などの小型端末への適用、テレビジョ ン受像機など動画像表示機器への適用、あるいは一般的なパーソナルコンピュータ へ、記憶容量や処理能力の節約目的での適用が考えられる。 [0076] Application to a small terminal such as a mobile phone having a limited storage capacity or processing capacity, application to a moving image display device such as a television receiver, or application to a general personal computer. Applications for savings are conceivable.
上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と 添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業 者に明らかである。 Although the above description has been made with reference to the embodiments, it is obvious to those skilled in the art that the present invention is not limited thereto, and that various changes and modifications can be made within the spirit of the present invention and the scope of the appended claims.
図面の簡単な説明 Brief Description of Drawings
[0077] [図 1]第 1の実施例における動画像再生装置の機能ブロック図。 FIG. 1 is a functional block diagram of a moving image reproducing apparatus according to a first embodiment.
[図 2]動画像再生装置と動画像配信サーバとの通信シーケンス図。 FIG. 2 is a communication sequence diagram between a moving image reproducing apparatus and a moving image distribution server.
[図 3]再生制御部の動画像再生準備処理フロー図。 FIG. 3 is a flowchart of a moving image reproduction preparation process of a reproduction control unit.
[図 4]パラメータ算出処理フロー図。 FIG. 4 is a flowchart of a parameter calculation process.
[図 5]再生制御部の通常再生処理フロー図。 FIG. 5 is a flowchart of a normal reproduction process of a reproduction control unit.
[図 6]再生制御部の早送り再生処理フロー図。 FIG. 6 is a flowchart of a fast-forward playback process performed by a playback control unit.
[図 7]再生制御部の巻き戻し再生処理フロー図。 FIG. 7 is a flowchart of a rewind reproduction process of a reproduction control unit.
[図 8]第 3の実施例における動画像再生装置の機能ブロック図。 FIG. 8 is a functional block diagram of a moving image reproducing device according to a third embodiment.
[図 9]インデックス画像表示の画面構成例である。 FIG. 9 is a screen configuration example of an index image display.
[図 10]セレクタの内部ブロック図である。 FIG. 10 is an internal block diagram of a selector.
[図 11]動画像再生装置をソフトウェア的に実現した場合の機能ブロック図。
[図 12]第 4の実施例における動画像再生装置の機能ブロック図 c
FIG. 11 is a functional block diagram in a case where the moving image reproducing apparatus is realized by software. FIG. 12 is a functional block diagram c of a moving image reproducing apparatus according to a fourth embodiment.