JP5857591B2 - Video distribution device - Google Patents

Video distribution device Download PDF

Info

Publication number
JP5857591B2
JP5857591B2 JP2011214894A JP2011214894A JP5857591B2 JP 5857591 B2 JP5857591 B2 JP 5857591B2 JP 2011214894 A JP2011214894 A JP 2011214894A JP 2011214894 A JP2011214894 A JP 2011214894A JP 5857591 B2 JP5857591 B2 JP 5857591B2
Authority
JP
Japan
Prior art keywords
stream
reproduction
information
video
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011214894A
Other languages
Japanese (ja)
Other versions
JP2013077871A (en
Inventor
島田 昌明
昌明 島田
浩二 志水
浩二 志水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011214894A priority Critical patent/JP5857591B2/en
Publication of JP2013077871A publication Critical patent/JP2013077871A/en
Application granted granted Critical
Publication of JP5857591B2 publication Critical patent/JP5857591B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この発明は、符号化されたストリームをネットワークを介して配信する映像配信装置に関するものである。   The present invention relates to a video distribution apparatus that distributes an encoded stream via a network.

近年のハードディスクレコーダーやデジタルTVはネットワーク接続機能を具備しており、家庭内で録画したコンテンツを家庭内の自由な場所で視聴できるようになってきた。DLNA(Digital Living Network Alliance)が発行したDLNAガイドラインと呼ばれる設計指針に準拠した製品であれば、異なるメーカー間の製品であってもコンテンツのネットワーク配信/再生を行うことができる。   In recent years, hard disk recorders and digital TVs have a network connection function, and it has become possible to view content recorded at home in any place in the home. As long as a product conforms to a design guideline called a DLNA guideline issued by DLNA (Digital Living Network Alliance), it is possible to perform network distribution / playback of content even for products between different manufacturers.

DLNAガイドラインでは、記録されたコンテンツをネットワーク経由で配信する映像配信装置と、ネットワーク経由で配信されたコンテンツを受信して再生する映像再生装置とが規定されている。映像再生装置からコンテンツの取得要求を受けると、映像配信装置はコンテンツの映像音声情報であるストリーム情報を読み出し、所定の著作権保護規定に沿った暗号化を行う。そして、映像配信装置は内部に具備するネットワークバッファに暗号化したストリーム情報のデータを蓄積し、データが所定量まで蓄積されると、ネットワーク経由でデータの配信処理を行う。当該データを受信した映像再生装置が順次デコード処理を行うことで映像表示が行われる。   The DLNA guidelines define a video distribution apparatus that distributes recorded content via a network and a video reproduction apparatus that receives and reproduces content distributed via the network. When receiving a content acquisition request from the video playback device, the video distribution device reads stream information that is video / audio information of the content and performs encryption in accordance with a predetermined copyright protection rule. Then, the video delivery apparatus accumulates the encrypted stream information data in a network buffer provided therein, and when the data is accumulated up to a predetermined amount, performs a data delivery process via the network. The video playback apparatus that has received the data performs video decoding by sequentially performing decoding processing.

このようなDLNA対応機器においては、コンテンツ取得要求によって取得したストリーム情報を連続的にデコード処理し、ストリーム情報内に設定されている表示タイミングで等倍速表示することにより通常速度による再生(以下、通常再生と称す)を行うようにしている。一方、早送り再生または巻き戻し再生(以下、特殊再生と称す)を行う場合には、まず、通常再生と同様にコンテンツ取得要求を行い、取得したストリーム情報を用いて1フレーム分の映像表示を行う。次に、コンテンツの開始位置を時刻指定するタイムシークによって現在の位置から所定の時間だけ進めた位置を指定し、当該位置に対応するストリーム情報を上記と同様の処理で取得し、取得した情報を用いて1フレーム分の映像表示を行う。この処理を繰り返し行うことで特殊再生を行うようにしている。   In such a DLNA-compatible device, the stream information acquired in response to the content acquisition request is continuously decoded and displayed at a normal speed at a display timing set in the stream information (hereinafter referred to as normal speed). (Referred to as regeneration). On the other hand, when performing fast forward playback or rewind playback (hereinafter referred to as special playback), first, a content acquisition request is made in the same manner as in normal playback, and video display for one frame is performed using the acquired stream information. . Next, a position that is advanced by a predetermined time from the current position is designated by a time seek that designates the start position of the content, and stream information corresponding to the position is obtained by the same process as described above. The video display for one frame is performed. By repeating this process, special reproduction is performed.

ところが、DLNA対応機器の特殊再生は、通常再生と同じデータ量をネットワークバッファに蓄積した後にデータの配信処理を行うようにしているので、映像表示の応答性能が悪いという問題があった。   However, special playback of a DLNA-compatible device has a problem in that the response performance of video display is poor because data distribution processing is performed after the same amount of data as normal playback is stored in a network buffer.

特殊再生時の映像表示の応答性能を改善する方法としては、映像配信装置から通常再生時より高い速度で配信されてきたデータの一部のみをデコードすることで、特殊再生時において映像再生装置に必要となる処理能力を軽減するものが知られている(例えば、特許文献1参照)。   As a method of improving the response performance of video display during special playback, only a part of the data distributed at a higher speed than normal playback from the video distribution device is decoded, so that the video playback device can be used during special playback. One that reduces the required processing capacity is known (for example, see Patent Document 1).

特開2005−277803号公報(第6−8頁)Japanese Patent Laying-Open No. 2005-277803 (page 6-8)

しかしながら、特許文献1の方法は、DLNAガイドラインで規定されたものとは異なる方法を用いて特殊再生を行うようにしているので、DLNA対応機器には適用できないという問題点があった。   However, the method of Patent Document 1 has a problem that it cannot be applied to a DLNA-compatible device because special reproduction is performed using a method different from that specified in the DLNA guidelines.

この発明は、DLNA対応の映像配信装置において、特殊再生時の映像表示の応答性能を向上させることを目的とする。   An object of the present invention is to improve video display response performance during special playback in a DLNA-compatible video distribution apparatus.

この発明の映像配信装置は、符号化されたストリームをネットワークを介して映像再生装置に配信する映像配信装置であって、暗号化を施す必要がある著作権保護番組とストリームが対応する場合、ストリームに暗号化を施す暗号化部と、ストリームを蓄積し、当該蓄積されたストリームの情報量が所定の閾値に到達した場合、ストリームを出力するネットワークバッファと、ネットワークバッファの閾値を変更する閾値変更部と、ストリームの単位時間当たりの情報量を解析する転送量解析部と、映像再生装置から出力されるストリームの取得要求の頻度に基づいて、映像再生装置が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定する再生状態判定部とを備え、閾値変更部は、再生状態判定部で特殊再生状態であると判定され映像再生装置に配信するストリームに暗号化が施されない場合において、閾値を通常再生状態よりも小さい値であって、転送量解析部で解析したストリームの単位時間当たりの情報量に応じた値に変更し、さらに再生状態判定部で特殊再生状態であると判定され映像再生装置に配信するストリームに暗号化が施される場合において、閾値を通常再生状態よりも小さい値であって、情報量に応じた値よりも大きい値に変更することを特徴とするものである。
また、この発明の映像配信装置は、符号化されたMPEGトランスポートストリームをネットワークを介して映像再生装置に配信する映像配信装置であって、MPEGトランスポートストリームを蓄積し、当該蓄積されたMPEGトランスポートストリームの情報量が所定の閾値に到達した場合、MPEGトランスポートストリームを出力するネットワークバッファと、ネットワークバッファの閾値を変更する閾値変更部と、MPEGトランスポートストリームのパケットがデコーダー部に入力される時刻情報を示し、パケット毎に付与されるATSに基づき、MPEGトランスポートストリームの単位時間当たりの情報量を解析する転送量解析部と、映像再生装置から出力されるMPEGトランスポートストリームの取得要求の頻度に基づいて、映像再生装置が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定する再生状態判定部とを備え、閾値変更部は、再生状態判定部で特殊再生状態であると判定された場合、転送量解析部で解析したMPEGトランスポートストリームの単位時間当たりの情報量に応じて、閾値を通常再生時よりも小さい値に変更することを特徴とするものである。

The video distribution apparatus according to the present invention is a video distribution apparatus that distributes an encoded stream to a video reproduction apparatus via a network, and when the copyright protection program that needs to be encrypted corresponds to the stream, An encryption unit that performs encryption on the network, a stream buffer, and a network buffer that outputs the stream when the accumulated stream information amount reaches a predetermined threshold value, and a threshold value change unit that changes the threshold value of the network buffer And a transfer amount analysis unit that analyzes the amount of information per unit time of the stream, and whether the video playback device is in the normal playback state or the special playback state based on the frequency of acquisition requests for the stream output from the video playback device. A playback state determination unit that determines whether or not the playback state is in a playback state, and the threshold value changing unit is a special playback state in the playback state determination unit When the encryption stream to be delivered to a constant by the video reproducing apparatus is not performed, the threshold value a value smaller than the normal reproduction state, the value corresponding to the amount of information per unit time of the stream analyzed by the transfer amount analysis unit In addition, when the playback state determination unit determines that the state is the special playback state and the stream to be distributed to the video playback device is encrypted, the threshold value is smaller than the normal playback state , and the amount of information It is characterized in that the value is changed to a value larger than the value corresponding to .
The video distribution apparatus of the present invention is a video distribution apparatus that distributes an encoded MPEG transport stream to a video reproduction apparatus via a network, stores the MPEG transport stream, and stores the stored MPEG transport stream. When the amount of information of the port stream reaches a predetermined threshold value, a network buffer that outputs the MPEG transport stream, a threshold value changing unit that changes the threshold value of the network buffer, and a packet of the MPEG transport stream are input to the decoder unit A transfer amount analysis unit for analyzing the amount of information per unit time of the MPEG transport stream based on the ATS given to each packet indicating time information, and an acquisition request for the MPEG transport stream output from the video reproduction device Based on frequency A playback state determining unit that determines whether the video playback device is in a normal playback state or a special playback state, and the threshold value changing unit is determined by the playback state determination unit to be in the special playback state. In this case, the threshold value is changed to a value smaller than that during normal reproduction in accordance with the information amount per unit time of the MPEG transport stream analyzed by the transfer amount analysis unit.

この発明によれば、映像再生装置から出力されるストリームの取得要求の頻度に基づいて、映像再生装置が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定し、特殊再生状態であると判定された場合、ストリームの単位時間当たりの情報量に応じて、ネットワークバッファの閾値を通常再生時よりも小さい値に変更するようにしたので、より少ないデータ量で配信処理を実行でき、配信を開始するまでの時間を短くすることができる。これにより、特殊再生時の応答性能を向上することができる。   According to the present invention, it is determined whether the video playback device is in the normal playback state or the special playback state based on the frequency of the stream acquisition request output from the video playback device, and the special playback state is set. If it is determined that there is, the threshold value of the network buffer is changed to a value smaller than that during normal playback according to the amount of information per unit time of the stream, so the distribution process can be executed with a smaller amount of data, The time until distribution starts can be shortened. Thereby, the response performance at the time of special reproduction can be improved.

実施の形態1に係る映像配信装置の構成を示す図である。1 is a diagram illustrating a configuration of a video distribution device according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置の記録再生ドライブ部の論理ファイル構造を示す図である。3 is a diagram illustrating a logical file structure of a recording / reproduction drive unit of the video distribution apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置のストリーム情報のファイルの構成を示す図である。FIG. 3 is a diagram illustrating a configuration of a stream information file of the video distribution apparatus according to the first embodiment. 実施の形態1に係る映像配信装置のアドレス管理ファイルのシンタックスを示す図である。6 is a diagram illustrating the syntax of an address management file of the video distribution apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置の再生制御情報ファイルのシンタックスを示す図である。6 is a diagram illustrating the syntax of a playback control information file of the video distribution apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置のタイトル構成を示す図である。3 is a diagram illustrating a title configuration of the video distribution apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置と映像再生装置との間の再生制御シーケンスを示す図である。6 is a diagram illustrating a playback control sequence between the video distribution device and the video playback device according to Embodiment 1. FIG. 実施の形態1に係るネットワークバッファの情報蓄積量を説明するための図である。6 is a diagram for explaining the amount of information stored in a network buffer according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置の特殊再生時における閾値の設定換算表を示す図である。FIG. 6 is a diagram showing a threshold value conversion table during special playback of the video distribution apparatus according to Embodiment 1; 実施の形態1に係る特殊再生時におけるストリーム情報の読出し量を説明するための図である。6 is a diagram for explaining a read amount of stream information during special reproduction according to Embodiment 1. FIG. 実施の形態1に係る映像配信装置の動作のメインフローを示す図である。6 is a diagram illustrating a main flow of operations of the video distribution apparatus according to Embodiment 1. FIG. 実施の形態1に係る映像再生装置の再生状態の判定フローを示す図である。FIG. 7 is a diagram illustrating a determination flow of a reproduction state of the video reproduction apparatus according to the first embodiment. 実施の形態1に係る映像配信装置におけるストリーム情報のビットレートの解析フローを示す図である。6 is a diagram showing a flow rate analysis flow of stream information in the video distribution device according to Embodiment 1. FIG.

実施の形態1.
図1は、実施の形態1に係る映像配信装置の構成を示す図である。図1において、映像配信装置100に保存されたストリーム情報は、映像再生装置170に配信され、当該映像再生装置170に接続された表示装置180で視聴される。なお、映像配信装置はDMS(Digital Media Server)、映像再生装置はDMP(Digital Media Player)と呼ばれる。以下、映像配信装置をDMS、映像再生装置をDMPと称す。
Embodiment 1 FIG.
FIG. 1 is a diagram illustrating a configuration of a video distribution apparatus according to the first embodiment. In FIG. 1, the stream information stored in the video distribution device 100 is distributed to the video reproduction device 170 and viewed on the display device 180 connected to the video reproduction device 170. The video distribution apparatus is called DMS (Digital Media Server), and the video reproduction apparatus is called DMP (Digital Media Player). Hereinafter, the video distribution device is referred to as DMS, and the video playback device is referred to as DMP.

DMS100は、映像配信ブロック115、システム制御部101およびメモリ部120を備えている。ユーザーからの操作は、DMP170に具備されている操作部171を通じて行われ、DMP170のネットIF(インターフェイス)172からDMS100のネットIF(インターフェイス)114を経由し、DMS100のシステム制御部101に伝達される。システム制御部101は、要求された命令の内容を解釈し、映像配信ブロック115を制御することでストリーム情報を配信する。   The DMS 100 includes a video distribution block 115, a system control unit 101, and a memory unit 120. An operation from the user is performed through the operation unit 171 provided in the DMP 170, and is transmitted from the network IF (interface) 172 of the DMP 170 to the system control unit 101 of the DMS 100 via the network IF (interface) 114 of the DMS 100. . The system control unit 101 interprets the content of the requested command and controls the video distribution block 115 to distribute the stream information.

映像配信ブロック115は、記録再生ドライブ部102(記録手段)、放送受信部103、ストリーム制御部110およびネットIF114を備えている。当該映像配信ブロック115は、映像音声ストリームの配信機能を有し、システム制御部101からの指示の下、ストリーム情報の配信処理を行う。   The video distribution block 115 includes a recording / reproducing drive unit 102 (recording unit), a broadcast receiving unit 103, a stream control unit 110, and a network IF 114. The video distribution block 115 has a video / audio stream distribution function, and performs a stream information distribution process under an instruction from the system control unit 101.

記録再生ドライブ部102は、ハードディスクドライブで構成され、ストリーム情報の読出しや書込みを行う。記録再生ドライブ部102には、符号化された映像音声が多重化されたストリーム情報と、当該ストリーム情報の再生制御情報とが記録されている。なお、当該ストリーム情報および再生制御情報については、後に詳細に説明する。   The recording / reproducing drive unit 102 includes a hard disk drive, and reads and writes stream information. In the recording / reproducing drive unit 102, stream information in which encoded video and audio are multiplexed and reproduction control information of the stream information are recorded. The stream information and playback control information will be described in detail later.

なお、本実施の形態1では、記録再生ドライブ部102は、ハードディスクドライブで構成されていると仮定して説明を進めるが、光ディスクドライブやSDメディアドライブで構成してもよい。その場合においても、光ディスクドライブやSDメディアドライブ上にストリーム情報と再生制御情報が記録され、読出しや書込みが行なわれる。   In the first embodiment, the description is made assuming that the recording / reproducing drive unit 102 is configured by a hard disk drive, but may be configured by an optical disk drive or an SD media drive. Even in this case, stream information and reproduction control information are recorded on the optical disk drive or SD media drive, and reading and writing are performed.

放送受信部103は、あらかじめMPEG−2 Transport Stream(以下、MPEG−2 TSと称す)で符号化圧縮されたデジタル放送波を受信する。放送受信部103で受信されたストリーム情報は、ストリーム制御部110を経由して記録再生ドライブ部102へ書き込まれる。   The broadcast receiving unit 103 receives a digital broadcast wave that has been encoded and compressed in advance by MPEG-2 Transport Stream (hereinafter referred to as MPEG-2 TS). The stream information received by the broadcast receiving unit 103 is written to the recording / reproducing drive unit 102 via the stream control unit 110.

なお、ストリーム情報の書き込み時において、当該ストリーム情報は、ストリーム制御部110内に具備する記録バッファ(図示せず)に一時的に蓄積され、記録バッファ内でストリーム解析が行われた後、記録効率の高い転送単位で記録再生ドライブ部102へ書き込まれる。なお、ストリーム解析の結果は、システム制御部101で再生制御情報として加工され、同様に記録再生ドライブ部102へ書き込まれる。また、記録再生ドライブ部102へ記録されるストリーム情報は、MPEG−2 TS形式で直接録画してもよく、ストリーム制御部110内でMPEG−2 Program Stream(以下、MPEG−2 PSと称す)形式に変換しから記録するようにしてもよい。   At the time of writing stream information, the stream information is temporarily stored in a recording buffer (not shown) provided in the stream control unit 110, and after stream analysis is performed in the recording buffer, recording efficiency is increased. Is written to the recording / reproducing drive unit 102 in a high transfer unit. The stream analysis result is processed as playback control information by the system control unit 101 and written to the recording / playback drive unit 102 in the same manner. The stream information recorded in the recording / playback drive unit 102 may be recorded directly in the MPEG-2 TS format, and in the stream control unit 110, the MPEG-2 Program Stream (hereinafter referred to as MPEG-2 PS) format. You may make it record after converting into.

ストリーム制御部110は、DMS100全体のストリーム情報の流れを統括制御する。当該ストリーム制御部110は、再生バッファ111、暗号化部112およびネットワークバッファ113を備えている。   The stream control unit 110 performs overall control of the stream information flow of the entire DMS 100. The stream control unit 110 includes a reproduction buffer 111, an encryption unit 112, and a network buffer 113.

再生バッファ111は、記録再生ドライブ部102から読み出したストリーム情報を一時的に蓄積する。コンテンツ配信時には、DMP170で再生指定された番組に係るストリーム情報が記録再生ドライブ部102から読み出され、平文で再生バッファ111に蓄積される。   The playback buffer 111 temporarily stores stream information read from the recording / playback drive unit 102. At the time of content distribution, stream information related to a program designated for reproduction by the DMP 170 is read from the recording / reproduction drive unit 102 and accumulated in the reproduction buffer 111 in plain text.

暗号化部112は、再生バッファ111から出力されたストリーム情報を暗号化する。再生バッファ111から出力されたストリーム情報は、暗号化部112にてDTCP−IP暗号化の単位(PCPパケット単位)でAES暗号が施された後、ネットワークバッファ113へ転送される。   The encryption unit 112 encrypts the stream information output from the reproduction buffer 111. The stream information output from the reproduction buffer 111 is AES-encrypted in the DTCP-IP encryption unit (PCP packet unit) by the encryption unit 112 and then transferred to the network buffer 113.

ネットワークバッファ113は、暗号化部112で暗号化されたストリーム情報を蓄積し、蓄積されたストリーム情報の情報量が所定の閾値に到達した場合、当該ストリーム情報を出力する。暗号化部112から出力されたストリーム情報は、ネットワークバッファ113に所定量蓄えられた後、ネットIF114からTCPパケットとして順次転送される。なお、DTCP−IPによる著作権保護方式で採用されているAES暗号は非常に暗号強度が高く、暗号化処理がシステムに及ぼす影響は強い。   The network buffer 113 accumulates the stream information encrypted by the encryption unit 112, and outputs the stream information when the information amount of the accumulated stream information reaches a predetermined threshold. The stream information output from the encryption unit 112 is stored in the network buffer 113 in a predetermined amount, and then sequentially transferred as TCP packets from the network IF 114. Note that the AES cipher employed in the copyright protection scheme based on DTCP-IP has a very high cipher strength, and the influence of the encryption processing on the system is strong.

ネットIF114は、クライアント機器であるDMP170にネットワーク経由でコンテンツを配信する。ネットIF114はコンテンツ配信機能のほかに、DMP170からのコンテンツリスト取得要求、番組再生要求を受けつける制御コマンド受信機能を持つ。   The network IF 114 distributes content to the DMP 170, which is a client device, via the network. In addition to the content distribution function, the network IF 114 has a control command reception function for receiving a content list acquisition request and a program reproduction request from the DMP 170.

システム制御部101は、再生状態判定部151、転送量解析部152および転送量解析部153を備えている。当該システム制御部101は、DMS100全体を統合制御する。   The system control unit 101 includes a reproduction state determination unit 151, a transfer amount analysis unit 152, and a transfer amount analysis unit 153. The system control unit 101 performs integrated control of the entire DMS 100.

再生状態判定部151は、DMP170から発行されるストリーム情報の取得要求の頻度に基づいて、DMP170が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定する。なお、通常再生は通常速度による再生を示し、特殊再生は早送り再生または巻き戻し再生を示す。   The reproduction state determination unit 151 determines whether the DMP 170 is in a normal reproduction state or a special reproduction state based on the frequency of stream information acquisition requests issued from the DMP 170. Normal playback indicates playback at normal speed, and special playback indicates fast forward playback or rewind playback.

転送量解析部152は、配信するストリーム情報の単位時間あたりの情報量としてビットレートを解析する。配信するストリーム情報がMPEG−2 TSである場合、転送量解析部152は、再生バッファ111に読み込まれた当該MPEG−2 TSに含まれるパケット毎の時刻情報に基づいて配信するストリーム情報のビットレートを解析する。これに対し、配信するストリーム情報がMPEG−2 PSである場合、転送量解析部152は、記録再生ドライブ部102に保存されている再生制御情報に含まれるアクセスポイント情報に基づいて配信対象区間のストリーム情報のビットレートを解析する。なお、アクセスポイント情報に基づいたビットレートの解析は、MPEG−2 TSに対しても適用することができる。   The transfer amount analysis unit 152 analyzes the bit rate as the information amount per unit time of the stream information to be distributed. When the stream information to be distributed is MPEG-2 TS, the transfer amount analysis unit 152 sets the bit rate of the stream information to be distributed based on the time information for each packet included in the MPEG-2 TS read into the reproduction buffer 111. Is analyzed. On the other hand, when the stream information to be distributed is MPEG-2 PS, the transfer amount analyzing unit 152 determines the distribution target section based on the access point information included in the reproduction control information stored in the recording / reproducing drive unit 102. Analyze the bit rate of stream information. The bit rate analysis based on the access point information can also be applied to MPEG-2 TS.

閾値変更部153は、ネットワークバッファ113の閾値を変更する。当該閾値を高く設定すれば、リアルタイム配信を行うための余力が高く、DMP170でアンダーフローが起こりにくい。一方、当該閾値を低く設定すれば、リアルタイム配信を行う際に、DMP170でアンダーフローを起こす危険性が高い。アンダーフローは、映像音声のリアルタイム配信を行う際にデータ欠落を招き、再生映像のコマ落ちなどを引き起こす原因となる。   The threshold value changing unit 153 changes the threshold value of the network buffer 113. If the threshold value is set high, the surplus capacity for performing real-time distribution is high, and underflow hardly occurs in the DMP 170. On the other hand, if the threshold is set low, there is a high risk of underflow in the DMP 170 when performing real-time delivery. Underflow causes data loss when video and audio are distributed in real time, causing dropped frames in the reproduced video.

なお、実施の形態1では、閾値変更部153はネットワークバッファ113の閾値のみを変更するものとして説明をすすめるが、再生バッファ111のデータ転送判定の閾値も変更するようにしてもよい。   In the first embodiment, the threshold value changing unit 153 is described as changing only the threshold value of the network buffer 113, but the data transfer determination threshold value of the reproduction buffer 111 may also be changed.

また、再生状態判定部151、転送量解析部152および閾値変更部153は、システム制御部101内のファームウェアなどで構成される例を示しているが、当該機能を有するハードウェアで構成するようにしてもよい。また、再生状態判定部151、転送量解析部152および閾値変更部153は分割して記載しているが、機能が統合されたブロックであってもよい。   In addition, although the reproduction state determination unit 151, the transfer amount analysis unit 152, and the threshold value change unit 153 are configured with firmware or the like in the system control unit 101, they are configured with hardware having the function. May be. In addition, although the reproduction state determination unit 151, the transfer amount analysis unit 152, and the threshold change unit 153 are described separately, a block in which functions are integrated may be used.

メモリ部120は、後述する記録処理の際にMPEG2−TSが有する再生開始時間情報、再生開始位置情報および映像情報の属性情報を記録に適したデータフォーマットで一時的に保持する。そして、メモリ部120に保持された情報が記録再生ドライブ部102へ書き込まれる。   The memory unit 120 temporarily holds reproduction start time information, reproduction start position information, and video information attribute information of the MPEG2-TS in a data format suitable for recording in a recording process described later. Then, the information held in the memory unit 120 is written to the recording / reproducing drive unit 102.

次に、実施の形態1に係る記録処理の流れについて説明する。   Next, the flow of recording processing according to Embodiment 1 will be described.

地上デジタル放送番組を記録する場合、放送受信部103にて受信したMPEG−2 TSのストリーム情報は、ストリーム制御部110に供給される。供給されたMPEG−2 TSのストリーム情報は、システム制御部101からの指示に基づいて上述したストリーム解析処理が順次行われ、記録再生ドライブ部102であるハードディスクドライブに記録される。   When a digital terrestrial broadcast program is recorded, the MPEG-2 TS stream information received by the broadcast receiving unit 103 is supplied to the stream control unit 110. The supplied stream information of MPEG-2 TS is sequentially subjected to the above-described stream analysis processing based on an instruction from the system control unit 101, and is recorded on a hard disk drive which is the recording / reproducing drive unit 102.

また、ストリーム記録処理の過程において、ストリーム制御部110は、システム制御部101に対し、アクセス単位(GOP単位)毎に、再生制御情報を構成する情報である再生開始時間情報、再生開始位置情報および映像情報の属性情報等を通知する。システム制御部101は、メモリ部120に当該再生開始時間情報、再生開始位置情報、および映像情報の属性情報を記録に適したデータフォーマットで保持する。その後、メモリ部120に展開された再生制御情報は、ストリーム制御部110経由で記録再生ドライブ部102へ書き込まれる。   In the course of the stream recording process, the stream control unit 110 instructs the system control unit 101 for reproduction start time information, reproduction start position information, and information constituting reproduction control information for each access unit (GOP unit). Notify attribute information of video information. The system control unit 101 stores the reproduction start time information, reproduction start position information, and video information attribute information in the memory unit 120 in a data format suitable for recording. Thereafter, the reproduction control information developed in the memory unit 120 is written to the recording / reproduction drive unit 102 via the stream control unit 110.

次に、実施の形態1に係る映像配信処理の流れについて説明する。   Next, the flow of video distribution processing according to Embodiment 1 will be described.

DMP170から番組の再生要求を受けると、システム制御部101は当該番組を示すストリーム情報であるファイルを特定する。システム制御部101からの指示により、ストリーム情報は記録再生ドライブ部102から読み出され、順次再生バッファ111に蓄積される。再生バッファ111に蓄積されたストリーム情報は、暗号化部112によりAES暗号化が行われ、DTCPで規定された暗号化単位でネットワークバッファ113に蓄積される。なお、DTCPで規定された暗号化の単位はPCPパケット単位と呼ばれ、暗号化は一般的には0.5秒から2.0秒分のデータ単位(約1MB〜2MB程度)で行われる。そして、ネットワークバッファ113に蓄積されたストリーム情報の情報量が所定の閾値に到達すると、当該ストリーム情報はネットワークIF114経由でDMP170へ配信される。なお、配信については、TCP/IPによる通信が連続的に行われる。   When receiving a program playback request from the DMP 170, the system control unit 101 specifies a file which is stream information indicating the program. In response to an instruction from the system control unit 101, the stream information is read from the recording / playback drive unit 102 and sequentially stored in the playback buffer 111. The stream information accumulated in the reproduction buffer 111 is AES-encrypted by the encryption unit 112 and accumulated in the network buffer 113 in an encryption unit defined by DTCP. The unit of encryption defined by DTCP is called a PCP packet unit, and encryption is generally performed in data units (about 1 MB to 2 MB) for 0.5 to 2.0 seconds. When the amount of stream information stored in the network buffer 113 reaches a predetermined threshold, the stream information is distributed to the DMP 170 via the network IF 114. For distribution, TCP / IP communication is continuously performed.

DMP170は、TCPパケットで受信したストリーム情報を、デコーダー部173に供給する。デコーダー部173は、ストリーム情報を逐次取り込んだ後に、当該ストリーム情報を映像ストリームと音声ストリームとに分離して取り出す。その後、MPEG−2などで符号化された映像ストリームをデコード処理して出力映像信号に復号するとともに、AC−3などで符号化された音声ストリームを同様にデコード処理して出力音声信号に復号する。そして、出力映像信号および出力音声信号を、映像音声を視聴するための表示装置180に送出する。   The DMP 170 supplies the stream information received by the TCP packet to the decoder unit 173. The decoder unit 173 sequentially captures the stream information, and then separates and extracts the stream information into a video stream and an audio stream. After that, the video stream encoded by MPEG-2 or the like is decoded and decoded into an output video signal, and the audio stream encoded by AC-3 or the like is similarly decoded and decoded into an output audio signal. . Then, the output video signal and the output audio signal are sent to the display device 180 for viewing the video and audio.

次に、記録再生ドライブ部102に記録されたファイルの構造を説明する。   Next, the structure of the file recorded in the recording / playback drive unit 102 will be described.

図2は、実施の形態1に係る映像配信装置の記録再生ドライブ部の論理ファイル構造を示す図である。図2において、ルートディレクトリ200は、論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造であり、ディスクディレクトリ201は、ルートディレクトリ200の下位階層に配置されるディレクトリ構造である。   FIG. 2 is a diagram illustrating a logical file structure of the recording / playback drive unit of the video distribution apparatus according to the first embodiment. In FIG. 2, a root directory 200 is a top-level directory structure of a file structure that logically forms a hierarchical structure, and a disk directory 201 is a directory structure arranged in a lower hierarchy of the root directory 200.

ディスクディレクトリ201は、記録再生ドライブ部102に記録されているコンテンツ管理情報である再生制御情報ファイル221と、アドレス管理ファイル222をまとめて記録したフォルダであるアドレス管理ディレクトリ202と、およびストリーム情報ファイル231をまとめて記録したフォルダであるストリーム管理ディレクトリ203とで構成される。   The disc directory 201 includes a playback control information file 221 that is content management information recorded in the recording / playback drive unit 102, an address management directory 202 that is a folder in which the address management file 222 is recorded together, and a stream information file 231. And a stream management directory 203 which is a folder in which are recorded together.

ストリーム情報ファイル231は、ストリーム情報をファイル形式としてアクセスするファイルを示す。なお、再生制御情報ファイル221とアドレス管理ファイル222を総称して、再生制御情報と定義する。   The stream information file 231 indicates a file that accesses the stream information as a file format. The reproduction control information file 221 and the address management file 222 are collectively referred to as reproduction control information.

なお、同図中、アドレス管理ファイル222とストリーム情報ファイル231は、5桁のファイル名により1:1で対応付けされているものとして説明を進める。ファイル名は5桁の数字であれば良く、連番である必要はない。   In the figure, it is assumed that the address management file 222 and the stream information file 231 are associated with each other by a 5-digit file name on a 1: 1 basis. The file name may be a five-digit number and need not be a sequential number.

また、ここではアドレス管理ファイル222とストリーム情報ファイル231は個別のディレクトリ内に配置する例を示しているが、同一のディレクトリ内に配置したり、当該ファイルをルートディレクトリ200に直接配置するようにしてもよい。また、アドレス管理ファイル222の数と、ストリーム情報ファイル231の数とを1:1で対応して記録する例を示しているが、アドレス管理ファイル222は1つにまとめて記録するようにしてもよい。   Although the address management file 222 and the stream information file 231 are shown in separate directories here, they may be placed in the same directory, or the files may be placed directly in the root directory 200. Also good. Further, although an example is shown in which the number of address management files 222 and the number of stream information files 231 are recorded in a one-to-one correspondence, the address management files 222 may be recorded together. Good.

図3は、実施の形態1に係る映像配信装置のストリーム情報のファイルの構成を示す図である。ストリーム情報ファイル231は多重化方式により、MPEG−TS方式と、MPEG−PS方式の2種類が存在する。   FIG. 3 is a diagram showing the structure of a stream information file of the video distribution apparatus according to the first embodiment. There are two types of stream information file 231 depending on the multiplexing method, MPEG-TS method and MPEG-PS method.

図3において、MPEG−TS方式は通信用途で用いられる映像音声多重化方式であり、ストリーム情報ファイル231は複数のソースパケット311(以下、「ソースパケット311」を単に「パケット311」と称す)によって構成される。パケット311は、4バイトのATS(Arrival Time Stamp)320と、188バイトのTSパケット321の合計192バイトで構成されている。ATS320は、当該パケット311をデコーダーに入力する時刻情報を示しており、27MHzのクロック周期でカウントされた値である。   In FIG. 3, the MPEG-TS system is a video / audio multiplexing system used for communication purposes, and the stream information file 231 includes a plurality of source packets 311 (hereinafter, “source packets 311” are simply referred to as “packets 311”). Composed. The packet 311 is composed of a total of 192 bytes including a 4-byte ATS (Arrival Time Stamp) 320 and a 188-byte TS packet 321. ATS 320 indicates time information for inputting the packet 311 to the decoder, and is a value counted in a clock cycle of 27 MHz.

TSパケット321は、MPEG規格で定義されており、パケット毎に多重化制御情報であるPATやPMT、映像パケット、音声パケットなどに分別して多重化される。   The TS packet 321 is defined in the MPEG standard, and is multiplexed separately for each packet into PAT, PMT, video packet, audio packet, etc., which are multiplexing control information.

一方、MPEG−PS方式では、ストリーム情報ファイル231は複数のPSパケット331から構成される。PSパケット331は、2048バイトの固定サイズで形成される。   On the other hand, in the MPEG-PS system, the stream information file 231 is composed of a plurality of PS packets 331. The PS packet 331 is formed with a fixed size of 2048 bytes.

MPEG−PS方式は、蓄積用途で用いられる映像音声多重化方式であるため、PSパケット331毎にATS320のような時刻情報が付与されない。なお、PSパケット331もTSパケット321と同様に、MPEG規格で定義されており、同様に映像パケット、音声パケットなどに分別して多重化される。   Since the MPEG-PS system is a video / audio multiplexing system used for storage purposes, time information like the ATS 320 is not given to each PS packet 331. The PS packet 331 is also defined in the MPEG standard in the same way as the TS packet 321, and is similarly divided into a video packet and an audio packet and multiplexed.

図4は、実施の形態1に係る映像配信装置のアドレス管理ファイルのシンタックスを示す図である。図4において、“Start_PTS401”は対象となるストリーム情報ファイル231の最初のビデオフレームのPTS(Presentation Time Stamp)を示し、“End_PTS402”は最終のビデオフレームのPTSを示す。属性情報管理テーブル410は、ストリーム情報ファイル231の映像属性情報(解像度、ビットレート、フレームレート)や音声属性情報(チャンネル数、サンプリングレート)、著作権保護に規定される暗号化必要性、多重化方式(MPEG−TS方式かMPEG−PS方式か)などの情報が記録される。   FIG. 4 is a diagram illustrating the syntax of the address management file of the video distribution apparatus according to the first embodiment. In FIG. 4, “Start_PTS 401” indicates the PTS (Presentation Time Stamp) of the first video frame of the target stream information file 231, and “End_PTS 402” indicates the PTS of the final video frame. The attribute information management table 410 includes video attribute information (resolution, bit rate, frame rate) and audio attribute information (number of channels, sampling rate) of the stream information file 231, encryption necessity prescribed for copyright protection, multiplexing Information such as the system (MPEG-TS system or MPEG-PS system) is recorded.

アクセスポイント管理テーブル420には、頭出し再生に必要となる情報が記述される。例えば、映像データがMPEG−2ビデオストリームでエンコードされている場合、GOP(Group Of Picture)の先頭がアクセスポイントに相当する。本実施の形態では、ストリーム情報ファイル231のどのパケットにGOPの先頭が存在するかが記述されている。   The access point management table 420 describes information necessary for cue playback. For example, when video data is encoded with an MPEG-2 video stream, the head of GOP (Group Of Picture) corresponds to an access point. In this embodiment, it is described which packet of the stream information file 231 has the head of the GOP.

“num_of_entry421”は、アクセスポイントの総数を示し、次のループ文(for以下)は、“num_of_entry421”の数だけ繰り返される。“PTS_GOP_Start431”は、当該アクセスポイントの表示開始PTSを示し、“SPN_GOP_Start432”はストリーム情報ファイル231の先頭からアクセスポイントの先頭までの相対パケット数を示す。パケットは固定長であることから、ストリーム情報ファイル231の先頭からアクセスポイントの先頭までの相対バイト数は、“SPN_GOP_Start432”の値と、パケット当たりのバイト数とを掛け合せた値で算出できる。DMS100は、ストリーム情報ファイル231の先頭からのバイト数から、ディスク上のアクセスポイントの位置を割り出し、頭出し再生を行う。   “Num_of_entry 421” indicates the total number of access points, and the next loop statement (for and below) is repeated by the number of “num_of_entry 421”. “PTS_GOP_Start 431” indicates the display start PTS of the access point, and “SPN_GOP_Start 432” indicates the relative number of packets from the head of the stream information file 231 to the head of the access point. Since the packet has a fixed length, the relative number of bytes from the head of the stream information file 231 to the head of the access point can be calculated by multiplying the value of “SPN_GOP_Start 432” and the number of bytes per packet. The DMS 100 determines the position of the access point on the disk from the number of bytes from the beginning of the stream information file 231 and performs cue playback.

図5は、実施の形態1に係る映像配信装置の再生制御情報ファイルのシンタックスを示す図である。図5において、“num_of_Title501”は、記録再生ドライブ部102に記録された番組プログラムの総数を示し、次のループ文(for以下)は“num_of_Title501”の数だけ繰り返される。   FIG. 5 is a diagram illustrating the syntax of the playback control information file of the video distribution apparatus according to the first embodiment. In FIG. 5, “num_of_Title 501” indicates the total number of program programs recorded in the recording / playback drive unit 102, and the next loop statement (for and below) is repeated by the number of “num_of_Title 501”.

“Title_Attribute502”は、タイトルの総時間、タイトル名称、および記録日時のようなタイトルの属性情報が保持されている。“num_of_Play_Interval503”は、タイトルを構成している再生区間情報の総数を示し、次のループ文(for以下)は“num_of_Play_Interval503”の数だけ繰り返される。   “Title_Attribute 502” holds title attribute information such as the total title time, title name, and recording date and time. “Num_of_Play_Interval 503” indicates the total number of pieces of playback section information constituting the title, and the next loop statement (for and below) is repeated by the number of “num_of_Play_Interval 503”.

再生区間情報には、“stream_name511”、“Start_Time512”、および“End_Time513”の情報が記録されている。“stream_name511”は再生の対象となるストリーム情報ファイル231のファイル名を、“Start_time512”は再生対象のストリーム情報ファイル231の所定区間の再生開始時間を、“End_time513”はその再生終了時間を示す。実施の形態1では上述したビデオデータのPTSを“Start_time512”および“End_time513”としている。これらの情報から、DMS100は、ストリーム情報ファイル231のどの区間を配信すればよいのかを判断することができる。   Information of “stream_name 511”, “Start_Time 512”, and “End_Time 513” is recorded in the playback section information. “Stream_name 511” indicates the file name of the stream information file 231 to be reproduced, “Start_time 512” indicates the reproduction start time of a predetermined section of the stream information file 231 to be reproduced, and “End_time 513” indicates the reproduction end time. In the first embodiment, the PTS of the video data described above is “Start_time 512” and “End_time 513”. From these pieces of information, the DMS 100 can determine which section of the stream information file 231 should be distributed.

図6は、実施の形態1に係る映像配信装置のタイトル構成を示す図である。図6において、タイトルとはユーザーが選択する番組に相当するものであり、当該タイトルの情報は再生制御情報ファイル221に記述されている。また、タイトルはストリーム情報ファイル231の所定の再生区間が複数集まったものであり、例えば、図6に示すタイトル1は再生区間1と再生区間2とが集まって構成されている。なお、タイトルは1つのストリーム情報ファイル231の1つの再生区間である場合や、1つのストリーム情報ファイル231内の複数の再生区間から構成されている場合や、異なるストリーム情報ファイル231のそれぞれの所定の再生区間から構成される場合など様々な形態で構成されている。   FIG. 6 is a diagram illustrating a title configuration of the video distribution apparatus according to the first embodiment. In FIG. 6, the title corresponds to a program selected by the user, and information on the title is described in the reproduction control information file 221. The title is a collection of a plurality of predetermined playback sections of the stream information file 231. For example, the title 1 shown in FIG. 6 is composed of a playback section 1 and a playback section 2. Note that the title is one playback section of one stream information file 231, a title is composed of a plurality of playback sections in one stream information file 231, or each predetermined title of a different stream information file 231. It is configured in various forms such as a case where the playback section is configured.

ストリーム情報ファイル231の所定の再生区間は、再生対象のアドレス管理ファイル222の名前と、再生開始時間(“Start_Time512”)、および再生終了時間(“End_Time513”)を指定して決定される。アドレス管理ファイル222内のアクセスポイント管理テーブル420の情報と組み合わせれば、ストリーム情報ファイル231の任意のアクセスポイントの開始位置が分かる。これを利用して、ストリーム情報ファイル231の特殊再生やタイムサーチなどのランダムアクセス処理に活用することができる。   The predetermined reproduction section of the stream information file 231 is determined by designating the name of the address management file 222 to be reproduced, the reproduction start time (“Start_Time 512”), and the reproduction end time (“End_Time 513”). When combined with information in the access point management table 420 in the address management file 222, the start position of an arbitrary access point in the stream information file 231 can be known. By utilizing this, it can be utilized for random access processing such as special reproduction of the stream information file 231 and time search.

図7は、実施の形態1に係る映像配信装置と映像再生装置との間の再生制御シーケンスを示す図である。まず、ユーザーはDMP170に具備されている操作部171を通じてDMS100に記録されているコンテンツのタイトルリストの表示要求を行う(S700)。その後、DMP170はDMS100が保持するコンテンツリストの取得要求を出力し、その応答としてDMS100は自身が保持するコンテンツリストをDMP170に返却する。DMP170は、コンテンツリストを取得後、表示装置180を介し、ユーザーに再生可能なタイトル一覧として情報提示を行う。   FIG. 7 is a diagram showing a playback control sequence between the video distribution device and the video playback device according to the first embodiment. First, the user requests display of a title list of content recorded in the DMS 100 through the operation unit 171 provided in the DMP 170 (S700). Thereafter, the DMP 170 outputs an acquisition request for the content list held by the DMS 100, and in response, the DMS 100 returns the content list held by itself to the DMP 170. After acquiring the content list, the DMP 170 presents information as a reproducible title list to the user via the display device 180.

コンテンツリスト内には、録画番組毎にコンテンツID、記録開始時間、番組時間長、番組サイズ、番組ジャンル、番組プロファイル、番組属性情報等の情報が記録されている。なお、コンテンツIDは記録番組を一意に識別可能なIDであり、DMP170からは当該コンテンツIDで再生対象番組の指示が行われる。また、番組プロファイルとは、符号化圧縮された映像や音声のコーデック情報を中心とし、DMP170で再生可能な符号化圧縮方式であるかを判別するための情報である。   In the content list, information such as content ID, recording start time, program time length, program size, program genre, program profile, and program attribute information is recorded for each recorded program. Note that the content ID is an ID that can uniquely identify the recorded program, and the DMP 170 instructs the program to be reproduced with the content ID. The program profile is information for determining whether the encoding / compression method is reproducible by the DMP 170, centering on codec information of encoded video and audio.

ユーザーはタイトル一覧情報から再生したい番組を選択する(S710)。そうすると、DMP170は、HTTPプロトコルのGET要求を用いて、当該コンテンツIDの再生要求をDMS100に対して行う。GET要求の際には、リクエストヘッダの1つであるTimeSeekRangeフィールドを用いてコンテンツの再生開始位置を時刻指定することができる。すなわち、TimeSeekRangeフィールドとは、要求したコンテンツの再生位置を時間指定するための命令である。   The user selects a program to be reproduced from the title list information (S710). Then, the DMP 170 makes a reproduction request for the content ID to the DMS 100 using the HTTP protocol GET request. In the case of a GET request, the playback start position of the content can be specified by using a TimeSeekRange field that is one of the request headers. That is, the TimeSeekRange field is a command for designating the playback position of the requested content for a time.

DMS100は、当該GET要求を受け付けると、TimeSeekRangeフィールドで指定された開始時刻情報から、ストリーム情報ファイル231の読み出し位置を割り出す。まず、読み出し位置を特定するために、当該コンテンツIDが示すタイトルに関する再生制御情報に記録されているアクセスポイント管理テーブル420を読み出し、読み出し開始位置を決定する。   When the DMS 100 receives the GET request, the DMS 100 determines the reading position of the stream information file 231 from the start time information specified in the TimeSeekRange field. First, in order to specify the reading position, the access point management table 420 recorded in the reproduction control information related to the title indicated by the content ID is read to determine the reading start position.

そして、当該読み出し開始位置から順次ファイルリード処理を行い、DMP170に対してネットワーク経由でストリーム情報ファイル231の配信を行う。当該配信は、DMP170もしくはDMS100からの配信中断要求があるまで続けられる。中断要求がない場合は、当該コンテンツのファイル終端まで配信されることになる。このような処理を通常再生単位処理720と呼ぶ。   Then, the file read process is sequentially performed from the read start position, and the stream information file 231 is distributed to the DMP 170 via the network. This distribution is continued until a distribution interruption request from the DMP 170 or the DMS 100 is received. When there is no interruption request, the content is distributed to the end of the file. Such a process is called a normal playback unit process 720.

通常再生中にユーザーからの特殊再生指示があった場合(S720)、DMP170は、現在の再生位置情報を取得する(例えば、現時点が0分30秒の再生位置とする)。その後、当該再生位置から特殊再生速度に応じたオフセット値を加算して、通常再生時と同様に、GET要求をDMS100に行う。特殊再生のタイムシークのオフセット値が30秒であったと仮定すると、TimeSeekRangeフィールドには、1分00秒の位置が設定される。   If there is a special playback instruction from the user during normal playback (S720), the DMP 170 acquires the current playback position information (for example, the current position is the playback position at 0 minutes 30 seconds). Thereafter, an offset value corresponding to the special reproduction speed is added from the reproduction position, and a GET request is made to the DMS 100 as in the normal reproduction. Assuming that the offset value of the special playback time seek is 30 seconds, the position of 1 minute 00 seconds is set in the TimeSeekRange field.

DMS100は、上述した通常再生時と同様に、ストリーム情報ファイル231を読み出し、DMP170に対してストリーム情報ファイル231の配信を行う。DMP170は、取得したストリーム情報ファイル231を用いてデコーダー部173で1枚の画像をデコードし、当該画像でフリーズを行う。なお、この例ではIピクチャを検出して表示するようにしている。このような処理を特殊再生単位処理730と呼ぶ。その後、同様に特殊再生のオフセット値を加算し、再度特殊再生単位処理730を行う。このような処理を繰り返し行うことで、30秒毎の画像出力がDMP170側で行われ、特殊再生動作を実現する。   The DMS 100 reads the stream information file 231 and distributes the stream information file 231 to the DMP 170 in the same manner as in the normal playback described above. The DMP 170 decodes one image by the decoder unit 173 using the acquired stream information file 231 and freezes the image. In this example, an I picture is detected and displayed. Such a process is called a special playback unit process 730. Thereafter, the special reproduction offset value is similarly added, and the special reproduction unit processing 730 is performed again. By repeating such processing, image output every 30 seconds is performed on the DMP 170 side, and special reproduction operation is realized.

DLNAガイドラインでは、前述した通常再生単位処理720と特殊再生単位処理730の処理体系が同じコマンド体系、即ち、通常再生単位720および特殊再生単位730はともにHTTPプロトコルのGET要求により操作されるため、DMS100はDMP170が通常再生状態であるか特殊再生状態であるかを把握することが難しい。   According to the DLNA guideline, the normal playback unit processing 720 and the special playback unit processing 730 have the same processing system, that is, the normal playback unit 720 and the special playback unit 730 are both operated by a GET request of the HTTP protocol. It is difficult to grasp whether the DMP 170 is in a normal reproduction state or a special reproduction state.

図8は、実施の形態1に係るネットワークバッファの情報蓄積量を説明するための図である。同図の横軸は時間を示しており、縦軸はストリーム情報のネットワークバッファ113への蓄積量を示している。図8に示すように、ストリーム情報のネットワークバッファ113への転送が行われると、時間とともに蓄積量が増えていく。蓄積量が、通常再生時の閾値801(以下、第1の閾値801と称す)に到達すると、ネットワークバッファ113から情報が出力され、ネットワークへの配信処理が行われる。このように情報入力処理と情報出力処理が並行して動作することで、リアルタイムでストリーム情報の配信処理が行われる。   FIG. 8 is a diagram for explaining the information storage amount of the network buffer according to the first embodiment. In the figure, the horizontal axis indicates time, and the vertical axis indicates the amount of stream information stored in the network buffer 113. As shown in FIG. 8, when the stream information is transferred to the network buffer 113, the accumulation amount increases with time. When the accumulated amount reaches a threshold value 801 for normal reproduction (hereinafter referred to as a first threshold value 801), information is output from the network buffer 113, and distribution processing to the network is performed. As described above, the information input process and the information output process operate in parallel, whereby a stream information distribution process is performed in real time.

なお、ストリーム情報の蓄積量がバッファサイズ810を超えると情報欠落処理の原因となるオーバーフローが起きる。また、蓄積量が少ない場合にネットワークへの配信が行われると、情報欠落処理の原因となるアンダーフローが起きる。   If the accumulated amount of stream information exceeds the buffer size 810, an overflow that causes information loss processing occurs. In addition, when the distribution amount is small when the accumulation amount is small, an underflow that causes information loss processing occurs.

そのため、通常再生のようなリアルタイムでのストリーム配信処理においては、第1の閾値801は高い値に設定しておく必要がある。実施の形態1では、ネットワークバッファ113のサイズは3MB程度、第1の閾値801を2MBとしている。DTCP−IPによる暗号化の処理単位が1MBであることから、第1の閾値801のサイズは、送信対象と準備対象の2つ分の処理単位(=2MB)を設定しているものとして説明を進める。   Therefore, in real-time stream distribution processing such as normal reproduction, the first threshold value 801 needs to be set to a high value. In the first embodiment, the size of the network buffer 113 is about 3 MB, and the first threshold 801 is 2 MB. Since the processing unit of encryption by DTCP-IP is 1 MB, the size of the first threshold 801 is assumed to be set as two processing units (= 2 MB) for the transmission target and the preparation target. Proceed.

一方、DMP170が特殊再生状態であると判定された場合、閾値変更部153は、ネットワークバッファ113の閾値を、特殊再生時の閾値802(以下、第2の閾値802と称す)に変更する。当該第2の閾値802は、第1の閾値801よりも小さい値を有する。上述したように、特殊再生は1枚の画像を表示する特殊再生単位処理730をタイムシークしながら繰り返し行うことで実現されているので、DMP170は通常再生時のようにリアルタイムでストリーム処理を行う必要が低い。これに着目し、閾値をアンダーフローが起きないレベルで通常再生時よりも低い値に設定することで、配信を開始するまでの時間を短縮することができ、特殊再生時の応答性能を向上することができる。また、処理負荷の高い暗号化処理を行う対象のデータ量を削減できるため、CPU負荷も低減できる。   On the other hand, when it is determined that the DMP 170 is in the special reproduction state, the threshold value changing unit 153 changes the threshold value of the network buffer 113 to the threshold value 802 for special reproduction (hereinafter referred to as the second threshold value 802). The second threshold 802 has a value smaller than the first threshold 801. As described above, special reproduction is realized by repeatedly performing special reproduction unit processing 730 for displaying one image while time seeking, so the DMP 170 needs to perform stream processing in real time as in normal reproduction. Is low. Paying attention to this, by setting the threshold to a level that does not cause underflow and lower than normal playback, the time to start distribution can be shortened and response performance during special playback is improved. be able to. Further, since the amount of data subject to encryption processing with a high processing load can be reduced, the CPU load can also be reduced.

図8において、TIME_Normal821は、通常再生時においてストリーム情報がネットワークバッファ113から出力されるまでの時間を示し、TIME_Random822は、特殊再生時においてストリーム情報がネットワークバッファ113から出力されるまでの時間を示す。上述したように、DLNAガイドラインにおいては通常再生単位処理720と特殊再生単位処理730が同じGET要求で行われるため、従来の映像配信装置では、DMP170が特殊再生を行っていても、TIME_Normal821までストリーム情報の出力が行われず、映像表示の応答性能が悪い。   In FIG. 8, TIME_Normal 821 indicates the time until stream information is output from the network buffer 113 during normal playback, and TIME_Random 822 indicates the time until stream information is output from the network buffer 113 during special playback. As described above, in the DLNA guideline, the normal playback unit processing 720 and the special playback unit processing 730 are performed with the same GET request. Therefore, in the conventional video distribution device, even if the DMP 170 performs the special playback, stream information up to TIME_Normal 821 Is not output, and the response performance of video display is poor.

図9は、実施の形態1に係る映像配信装置の特殊再生時における閾値の設定換算表を示す図である。図9において、設定換算表900は、配信するストリーム情報のビットレートと第2の閾値との対応を示す。閾値変更部153は、当該設定換算表900に基づいてネットワークバッファの閾値を変更する。第2の閾値は、その数値が高いほどネットワークバッファ113から出力されるまでの時間、すなわち上述したTIME_Random822が長いことを示す。なお、ここでは第2の閾値をビットレートに基づいて決定する例について説明を進めるが、コーデック、解像度、多重化方式を勘案して決定するようにしてもよい。   FIG. 9 is a diagram showing a threshold value conversion table at the time of special playback of the video distribution apparatus according to the first embodiment. In FIG. 9, a setting conversion table 900 shows the correspondence between the bit rate of stream information to be distributed and the second threshold value. The threshold changing unit 153 changes the network buffer threshold based on the setting conversion table 900. The second threshold value indicates that the higher the value, the longer the time until output from the network buffer 113, that is, the above-described TIME_Random 822. Note that although an example in which the second threshold is determined based on the bit rate will be described here, it may be determined in consideration of the codec, resolution, and multiplexing method.

なお、ここでは配信するストリーム情報のビットレートは、下限を8Mbps、上限を24Mbpsとし、4Mbps刻みで区分けされるものとする。ここでは4Mbps刻みで説明を進めるが、もっと細分化して管理してもよい。   Here, it is assumed that the bit rate of stream information to be distributed is divided in increments of 4 Mbps, with a lower limit of 8 Mbps and an upper limit of 24 Mbps. Here, the description proceeds in increments of 4 Mbps, but it may be managed in a more detailed manner.

また、設定換算表900はあらかじめシステム制御部101がプログラム中に保持しており、第2の閾値は、システムを構成するハードウェアやソフトウェアによって、配信するストリーム情報のビットレートに対応した値に決定される。   The setting conversion table 900 is stored in advance in the program by the system control unit 101, and the second threshold value is determined to be a value corresponding to the bit rate of the stream information to be distributed by hardware or software constituting the system. Is done.

図10は、実施の形態1に係る特殊再生時におけるストリーム情報の読出し量を説明するための図である。特殊再生時におけるストリームの情報の読み出しは、図10に示すように、タイムシークで指定された位置(♯N)から行われる。当該位置の先頭には、符号化圧縮単位であるGOPの基準フレームであるIピクチャが記録されている。   FIG. 10 is a diagram for explaining a read amount of stream information at the time of special reproduction according to the first embodiment. As shown in FIG. 10, reading of stream information during special playback is performed from a position (#N) specified by time seek. At the head of the position, an I picture that is a reference frame of a GOP that is a coding compression unit is recorded.

通常再生時においては、ネットワークバッファ113の閾値は第1の閾値801に設定されているため、ネットワークバッファ113への読込み量1001も多く、ストリーム情報ファイル231から多くの情報を読み込んだ後、配信処理が行われる。   During normal playback, since the threshold value of the network buffer 113 is set to the first threshold value 801, the reading amount 1001 to the network buffer 113 is also large, and after a large amount of information is read from the stream information file 231, the distribution process is performed. Is done.

一方、特殊再生時においては、DMP170側では1枚分の画像(上述したIピクチャ)をデコードして出力した後、タイムシークで次の位置(♯N+1)を指定し、当該位置における1枚分の画像を出力することを繰り返すので、通常再生時の読込み量1001でストリーム情報を読み込んでも、読み込んだ情報のほとんどは処理不要なデータになってしまう。   On the other hand, at the time of special playback, the DMP 170 side decodes and outputs one image (the above-mentioned I picture), and then designates the next position (# N + 1) by time seeking, and one image at that position. Therefore, even if the stream information is read with the read amount 1001 during normal reproduction, most of the read information becomes data that does not require processing.

実施の形態1では、特殊再生時には、ストリーム情報のビットレートに基づいてネットワークバッファ113の閾値を第2の閾値802に設定するようにしているので、読込み量1002分の情報だけが読み込まれる。このようにすることで、特殊再生時における配信を開始するまでの時間を短縮することができる。また、読込み量1001と読込み量1002との差分の情報を処理する必要がないため、システム負荷を減らすことができる。   In the first embodiment, at the time of special reproduction, since the threshold value of the network buffer 113 is set to the second threshold value 802 based on the bit rate of the stream information, only information for the read amount 1002 is read. In this way, it is possible to shorten the time until distribution is started during special playback. Further, since it is not necessary to process information on the difference between the read amount 1001 and the read amount 1002, the system load can be reduced.

次に、図11ないし図13を用いて実施の形態1に係る映像配信装置の再生処理の流れについて詳細に説明する。図11は実施の形態1に係る映像配信装置の動作のメインフローを示す図、図12は実施の形態1に係る映像配信装置の再生状態の判定フローを示す図、図13は実施の形態1に係る映像配信装置におけるストリーム情報のビットレートの解析フローを示す図である。   Next, the flow of reproduction processing of the video distribution apparatus according to Embodiment 1 will be described in detail with reference to FIGS. FIG. 11 is a diagram showing a main flow of the operation of the video distribution apparatus according to the first embodiment, FIG. 12 is a diagram showing a determination flow of a reproduction state of the video distribution apparatus according to the first embodiment, and FIG. It is a figure which shows the analysis flow of the bit rate of the stream information in the video delivery apparatus concerning.

図11において、メインフローでは、DMP170が配信番組を決定し、当該番組情報を取得した後に当該番組再生が指示されていることを前提としている。まず、ステップS101で配信が終了したか否かが判定される。本動作は配信が終了するまで継続して行われる。配信が終了していないと判定されると(S101:NO)、S102に遷移する。ステップS102では、配信番組に対応したストリーム情報ファイル231が記録再生ドライブ部102から読み出され、再生バッファ111に逐次蓄積される。   In FIG. 11, the main flow is based on the premise that the DMP 170 determines a distribution program, and after the program information is acquired, the program reproduction is instructed. First, in step S101, it is determined whether or not the distribution has ended. This operation is continued until distribution is completed. If it is determined that the distribution has not ended (S101: NO), the process proceeds to S102. In step S102, the stream information file 231 corresponding to the distribution program is read from the recording / playback drive unit 102 and sequentially stored in the playback buffer 111.

配信番組が著作権保護番組である場合、DTCP−IP規定によってAES暗号した情報を配信する必要がある。その場合、暗号化部112において、約1MBの単位で暗号化処理が行われた(S103)後、ネットワークバッファ113にデータが蓄積される(S104)。なお、暗号化処理が必要でない場合は、ステップS102からステップS104へ直接遷移する。   When the distribution program is a copyright protection program, it is necessary to distribute information AES-encrypted according to the DTCP-IP standard. In that case, after encryption processing is performed in the unit of about 1 MB in the encryption unit 112 (S103), data is accumulated in the network buffer 113 (S104). If encryption processing is not necessary, the process directly proceeds from step S102 to step S104.

次に、DMP170が通常再生状態または特殊再生状態のどちらの再生状態であるかを取得する(S105)。通常再生状態であるか特殊再生状態であるかの判定は、再生状態判定部151によって行われる処理であり、メインフローとは別スレッドで動作しているため、メインフローと並行して処理が行われる。ステップS105は、当該別スレッドで得られた再生状態を把握するものである。   Next, it is acquired whether the DMP 170 is in a normal reproduction state or a special reproduction state (S105). The determination as to whether the playback state is the normal playback state or the special playback state is a process performed by the playback state determination unit 151. Since the process is performed in a thread different from the main flow, the process is performed in parallel with the main flow. Is called. Step S105 is to grasp the reproduction state obtained in the other thread.

ここで、図12を用いて再生状態の判定フローの詳細動作を説明する。   Here, the detailed operation of the reproduction state determination flow will be described with reference to FIG.

再生状態の判定は、所定時間(ここでは3秒とする)以内に、DMP170からのストリーム情報の取得要求が所定回数(ここでは3回とする)以上到来した場合に、DMP170が特殊再生状態であるとして判定する。特殊再生中、DMS100は、特殊再生が継続されているか否かを判定する解除タイマーのタイムアウトイベント処理によって、DMP170が通常再生状態に遷移したか否かを判定する。   The playback state is determined when the DMP 170 is in the special playback state when the stream information acquisition request from the DMP 170 has reached a predetermined number of times (here, 3 times) within a predetermined time (here, 3 seconds). Judge as there is. During special playback, the DMS 100 determines whether or not the DMP 170 has transitioned to the normal playback state by a timeout event process of a release timer that determines whether or not special playback is continued.

まず、ステップS201で配信が終了したか否かが判定される。本動作も配信が終了するまで継続して行われる。配信が終了していないと判定されると(S201:NO)、次に、解除タイマーのタイムアウトイベントが発生したか否かを判定する(S202)。   First, it is determined in step S201 whether or not the distribution has ended. This operation is also continued until distribution ends. If it is determined that the distribution has not ended (S201: NO), it is next determined whether a timeout event of the release timer has occurred (S202).

タイムアウトイベントとは、所定の時間(ここでは3秒)が経過した場合に発生するイベントであり、当該タイムアウトイベントが発生した場合(S202:YES)、DMP170は通常再生状態であると判定される(S203)。DMS100は、当該判定結果を保持しており、上述したメインフローのステップS105においては当該保持された判定結果を取得する。一方、タイムアウトイベントが発生していない場合(S202:NO)は、ステップS240およびステップS241で後述する解除タイマーの破棄および生成が実施できており、DMP170は特殊再生状態が継続されていると判定できる。   The time-out event is an event that occurs when a predetermined time (here, 3 seconds) elapses. When the time-out event occurs (S202: YES), it is determined that the DMP 170 is in a normal playback state ( S203). The DMS 100 holds the determination result, and acquires the held determination result in step S105 of the main flow described above. On the other hand, when the time-out event has not occurred (S202: NO), the cancellation timer described later can be discarded and generated in steps S240 and S241, and the DMP 170 can determine that the special playback state is continued. .

その後、DMP170からのストリーム情報の取得要求を示すGET要求があるか否かを判定する(S204)。GET要求がない場合は、ステップS201に遷移する。   Thereafter, it is determined whether there is a GET request indicating a stream information acquisition request from the DMP 170 (S204). If there is no GET request, the process proceeds to step S201.

ステップS204にて、GET要求があると判定された場合(S204:YES)は、ステップS210に遷移する。ステップS210では、DMS100が保持している上述の判定結果を取得することで、DMP170が特殊再生状態であるか否かを判定する。   If it is determined in step S204 that there is a GET request (S204: YES), the process proceeds to step S210. In step S210, it is determined whether or not the DMP 170 is in the special playback state by acquiring the above determination result held by the DMS 100.

特殊再生状態ではない場合(S210:YES)、通常再生状態であると判定され、ステップS211に遷移する。ステップS211では、GET要求が行われた回数をカウントするカウンタを動作させるべき初回であるか否かを判定する。具体的には、「本工程を初めて実行した(初回設定の場合)」もしくは「前回のGET要求が実行された時間との差異が3秒である(ステップS212で取得した時刻と現在の時刻を比較し、3秒以上が経過している場合)」場合には、ステップS212に遷移する。ステップS212では、現在時刻を記録する。   When it is not in the special reproduction state (S210: YES), it is determined that the normal reproduction state is set, and the process proceeds to step S211. In step S211, it is determined whether or not it is the first time to operate a counter that counts the number of times a GET request has been made. Specifically, “this process is executed for the first time (in the case of initial setting)” or “the difference from the time when the previous GET request was executed is 3 seconds (the time acquired in step S212 and the current time are In the case where 3 seconds or more have passed), the process proceeds to step S212. In step S212, the current time is recorded.

その後、ステップS213で上記のカウンタを初期化(1に設定)し、再度ステップS201へ遷移して処理を継続する。   Thereafter, in step S213, the counter is initialized (set to 1), and the process proceeds to step S201 again to continue the process.

一方、ステップS211でどちらにも該当しない場合は、カウンタをインクリメントした(S221)後、カウンタの値が3以上であるかを判定(S222)する。当該カウンタ値が3より小さい場合は、ステップS201に遷移し処理を継続する。   On the other hand, if neither of them corresponds to step S211, after the counter is incremented (S221), it is determined whether the counter value is 3 or more (S222). If the counter value is smaller than 3, the process proceeds to step S201 and the process is continued.

ステップS222にて、カウンタの値が3以上であった場合には、特殊再生状態であると判定され(S230)、当該判定結果はDMS100に保持される。その後、特殊再生が継続しているか判定するための解除タイマーを設定(S231)して、ステップS201に遷移し処理を継続する。   In step S222, when the value of the counter is 3 or more, it is determined that the special reproduction state is set (S230), and the determination result is held in the DMS 100. Thereafter, a release timer for determining whether or not the special reproduction is continued is set (S231), the process proceeds to step S201, and the process is continued.

なお、ステップS210にて、DMP170が特殊再生状態であると判定された場合には、動作中の解除タイマーを一旦破棄し(S240)、再度解除タイマーを設定(S241)した後、再度ステップS201に遷移し処理を継続する。   If it is determined in step S210 that the DMP 170 is in the special playback state, the release timer in operation is temporarily discarded (S240), the release timer is set again (S241), and then the process returns to step S201. Transition and continue processing.

次に、図11に戻ってメインフローのステップS106以降について説明する。上述した再生状態の判定フローの判定結果に基づいて、DMP170が特殊再生状態であるか否かを判定する(S106)。特殊再生状態であると判定された場合(S106:YES)、配信するストリーム情報ファイル231の配信区間におけるビットレートを解析し、解析したビットレートに基づいてネットワークバッファ113の閾値を第2の閾値802に変更する(S107)。なお、ステップS106にて、通常再生状態であると判定された場合(S106:NO)は、ネットワークバッファ113の閾値は第1の閾値801となる(S108)。   Next, returning to FIG. 11, the steps after step S106 in the main flow will be described. Based on the determination result of the reproduction state determination flow described above, it is determined whether or not the DMP 170 is in the special reproduction state (S106). When it is determined that the special reproduction state is set (S106: YES), the bit rate in the distribution section of the stream information file 231 to be distributed is analyzed, and the threshold value of the network buffer 113 is set to the second threshold value 802 based on the analyzed bit rate. (S107). When it is determined in step S106 that the normal reproduction state is set (S106: NO), the threshold value of the network buffer 113 becomes the first threshold value 801 (S108).

ここで、図13を用いてステップS107のビットレート解析フローの詳細動作を説明する。ビットレートの解析は転送量解析部152によって行われ、当該解析値に基づいて第2の閾値802は決定される。   Here, the detailed operation of the bit rate analysis flow in step S107 will be described with reference to FIG. The analysis of the bit rate is performed by the transfer amount analysis unit 152, and the second threshold value 802 is determined based on the analysis value.

まず、配信するストリーム情報が、MPEG−TS方式で多重化されたストリーム情報であるか否かを判定する(S301)。MPEG−TS方式のストリーム情報であると判定された場合、ストリーム情報にはパケット毎に時刻情報をATS320として保持しているため、再生バッファ111内のストリーム情報を直接読み出すことで、配信するストリーム情報のビットレートを算出することができる。   First, it is determined whether or not the stream information to be distributed is stream information multiplexed by the MPEG-TS method (S301). When the stream information is determined to be MPEG-TS stream information, the stream information holds time information for each packet as the ATS 320. Therefore, stream information to be distributed is obtained by directly reading the stream information in the reproduction buffer 111. Can be calculated.

ステップS302では、再生バッファ111に転送されたストリーム情報をN分割する。なお、ここでは5分割するものとし、ストリーム情報の分割はパケットサイズの整数倍になるようにされるものとして説明を進める。   In step S302, the stream information transferred to the reproduction buffer 111 is divided into N parts. Here, the description will be made assuming that the stream information is divided into five and that the division of the stream information is an integral multiple of the packet size.

分割単位毎に先頭と終端のパケット311を読み出す。その後、パケット311の先頭部分に記録されているATS320を読み出し、当該差分を算出する。ATS320は前述したように、27MHzのカウンタであるため、差分値を27Mで除算すると、分割単位が何秒でデコーダーに供給すべきかが判明する。   The leading and trailing packets 311 are read for each division unit. Thereafter, the ATS 320 recorded at the beginning of the packet 311 is read, and the difference is calculated. As described above, since the ATS 320 is a 27 MHz counter, when the difference value is divided by 27 M, it is determined how many seconds the division unit should be supplied to the decoder.

当該算出された値は、分割単位毎のビットレートとみなすことができる。このように5分割されたそれぞれにおいてビットレートを算出する(S303)。そして、得られたビットレートの平均値を、再生バッファ111に蓄積されたストリーム情報のビットレートとする(S304)。   The calculated value can be regarded as a bit rate for each division unit. The bit rate is calculated for each of the five divisions as described above (S303). Then, the average value of the obtained bit rates is set as the bit rate of the stream information accumulated in the reproduction buffer 111 (S304).

なお、ここでは5つの分割単位の平均値をビットレートしてみなしているが、分割単位毎に取得したビットレートの最大と最小を除いた3つの平均値としてもよい。そのように構成すれば、たとえば通信異常等の原因で、ATS320が壊れていた場合についても異常値を取り除くことができる。また、分割単位毎に理論許容値を大きく上回るデータや下回るデータが観測された場合、当該情報を取り除くことで通信異常等の理由によりパケット311が破壊されていたとしても、当該影響を限定できる。   Here, the average value of the five division units is regarded as the bit rate, but may be three average values excluding the maximum and minimum bit rates acquired for each division unit. With such a configuration, an abnormal value can be removed even when the ATS 320 is broken due to, for example, a communication abnormality. Further, when data that greatly exceeds or falls below the theoretical allowable value is observed for each division unit, even if the packet 311 is destroyed due to a communication abnormality or the like by removing the information, the influence can be limited.

このように解析された平均ビットレートが、例えば10Mbpsであった場合、図9に示した設定換算表900に基づいて、第2の閾値802が750KBに決まる(S305)。   If the average bit rate analyzed in this way is, for example, 10 Mbps, the second threshold 802 is determined to be 750 KB based on the setting conversion table 900 shown in FIG. 9 (S305).

その後、配信番組が暗号化を必要とするか否かを判定する(S306)。暗号化が必要である場合(S306:YES)は、CPU処理時間を要するため転送処理が遅くなり、ネットバッファのアンダーフローがおきる可能性があるため、第2の閾値802に所定の重み付けを行う。重み付け係数を1.2倍とすると、第2の閾値802は750KB×1.2=900KBとなる。なお、重付け係数はハードウェア暗号を行うかソフトウェア暗号を行うかによってその値を変更するようにしてもよい。なお、暗号化を必要としない場合(S306:NO)は、重み付けを行わずに処理を終了させる。   Thereafter, it is determined whether or not the distribution program requires encryption (S306). When encryption is necessary (S306: YES), the CPU processing time is required, so that the transfer process is slowed down and a net buffer underflow may occur. Therefore, the second threshold value 802 is given a predetermined weight. . When the weighting factor is 1.2, the second threshold 802 is 750 KB × 1.2 = 900 KB. The value of the weighting coefficient may be changed depending on whether hardware encryption or software encryption is performed. If encryption is not required (S306: NO), the process is terminated without weighting.

一方、ステップS301にて、配信するストリーム情報がMPEG−PS方式で多重化されていると判定された場合、ストリーム情報内にATS320のような時刻情報は付与されていない。そのため、タイムシークで指定された時間が属するアクセスポイント情報を再生制御情報から探索する。   On the other hand, when it is determined in step S301 that the stream information to be distributed is multiplexed by the MPEG-PS method, time information such as ATS320 is not added to the stream information. Therefore, access point information to which the time specified by the time seek belongs is searched from the reproduction control information.

ステップS310では、アクセスポイント情報(EP #N)に記録された当該GOPの開始時間情報と開始アドレスを取得する。その後、次のアクセスポイント情報(EP #(N+1))に記録されたGOPの開始時間情報と開始アドレスを取得する(S311)。そして、EP #(N+1)とEP #Nの開始アドレスの差分を、EP #(N+1)とEP #Nの開始時間の差分で除算すれば、配信するストリーム情報のビットレートが算出できる(S312)。   In step S310, the start time information and start address of the GOP recorded in the access point information (EP #N) are acquired. Thereafter, the GOP start time information and start address recorded in the next access point information (EP # (N + 1)) are acquired (S311). Then, by dividing the difference between the start addresses of EP # (N + 1) and EP #N by the difference between the start times of EP # (N + 1) and EP #N, the bit rate of the stream information to be distributed can be calculated (S312). .

その後、ステップS305と同様の手順で第2の閾値802を決定する(S313)。そして、ステップS306に遷移し、MPEG−TSストリームの処理と同様の処理を続ける。   Thereafter, the second threshold 802 is determined in the same procedure as in step S305 (S313). Then, the process proceeds to step S306, and processing similar to the processing of the MPEG-TS stream is continued.

なお、ここではMPEG−PS方式とMPEG−TS方式の両方のストリームで、同じ設定換算表900を用いているが、別のテーブルで設けて利用してもよい。   Here, the same setting conversion table 900 is used for both the MPEG-PS system and the MPEG-TS system stream, but they may be provided in different tables.

図11に戻って、メインフローのステップS109以降について説明する。上述したようにステップS107にて、第2の閾値802が決定されると、メイン動作フローのステップS109以降の処理が行われる。ステップS109では、ストリーム情報の蓄積量がネットワークバッファ113の閾値を越えたか否かを判定する。もし超えていれば、ネットワークを介してDMP170へのストリーム情報の配信処理(S110)を行い、ステップS101に遷移し処理を続ける。もし、ストリーム情報の蓄積量がネットワークバッファ113の閾値を超えていない場合は、配信処理を行わずに、ステップS101に遷移し処理を続ける。   Returning to FIG. 11, step S109 and subsequent steps of the main flow will be described. As described above, when the second threshold value 802 is determined in step S107, the processing after step S109 of the main operation flow is performed. In step S109, it is determined whether or not the accumulated amount of stream information exceeds the threshold value of the network buffer 113. If so, stream information distribution processing (S110) to the DMP 170 via the network is performed, and the processing proceeds to step S101. If the accumulated amount of stream information does not exceed the threshold value of the network buffer 113, the process proceeds to step S101 without performing the distribution process and continues the process.

実施の形態1によれば、DMP170から出力されるストリーム情報の取得要求(GET要求)の頻度に基づいて、DMP170が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定し、特殊再生状態であると判定された場合、配信するストリームのビットレートに応じて、ネットワークバッファ113の閾値を通常再生時よりも小さい値に変更するようにしたので、より少ないデータ量で配信処理を実行でき、配信を開始するまでの時間を短くすることができる。これにより、特殊再生時の応答性能を向上することができる。また、映像表示指示から表示されるまでの時間が短縮されるため、単位時間当たりの表示枚数を増やすことができ、特殊再生時の画像の表示を滑らかにすることができる。   According to the first embodiment, based on the frequency of stream information acquisition requests (GET requests) output from the DMP 170, it is determined whether the DMP 170 is in a normal playback state or a special playback state, and a special playback state is determined. When it is determined that the playback state is set, the threshold value of the network buffer 113 is changed to a value smaller than that during normal playback according to the bit rate of the stream to be distributed, so the distribution process is executed with a smaller amount of data. It is possible to shorten the time until distribution starts. Thereby, the response performance at the time of special reproduction can be improved. In addition, since the time from the video display instruction to display is shortened, the number of displayed images per unit time can be increased, and the display of images during special playback can be made smooth.

また、実施の形態1によれば、DMP170に特別な構成を必要とせずに特殊再生時の応答性能を向上することができる。   Moreover, according to Embodiment 1, the response performance at the time of special reproduction can be improved without requiring a special configuration for the DMP 170.

また、無駄なデータに対して処理負荷の高い暗号化処理を行うことがないため、システム処理負荷が軽減され、より安価なCPUで動作可能となる。さらに、特別なハードウェアを持つ必要がなく、DMS100のコストアップなく特殊再生時の応答性能を向上することができる。   In addition, encryption processing with a high processing load is not performed on useless data, so that the system processing load is reduced and the CPU can be operated with a cheaper CPU. Furthermore, it is not necessary to have special hardware, and the response performance during special reproduction can be improved without increasing the cost of the DMS 100.

また、ストリーム情報の取得要求の頻度からDMP170の再生状態を判定するようにしているので、DLNAガイドラインで規定されているように通常再生と特殊再生のコマンド体系が同じであっても、再生状態の判定を簡単に判定することができる。   Also, since the playback state of the DMP 170 is determined from the frequency of stream information acquisition requests, even if the command system for normal playback and special playback is the same as defined in the DLNA guidelines, Judgment can be easily made.

また、配信するストリーム情報がMPEG−2 TSストリームであった場合、当該ストリームに含まれるATS320に基づいてビットレートを解析するようにしているので、ストリーム情報ファイルのみでビットレートを解析することができる。さらに、処理速度が高速である再生バッファ111に一時的に蓄積されたストリーム情報のビットレートを解析するようにしているので、高速でビットレートの解析を行うことができる。   Further, when the stream information to be distributed is an MPEG-2 TS stream, the bit rate is analyzed based on the ATS 320 included in the stream, so that the bit rate can be analyzed only with the stream information file. . Furthermore, since the bit rate of the stream information temporarily accumulated in the reproduction buffer 111 having a high processing speed is analyzed, the bit rate can be analyzed at a high speed.

また、配信するストリーム情報がMPEG−2 PSストリームであった場合、当該ストリームに対応する再生制御情報に含まれるアクセスポイント情報に基づいてビットレートを解析するようにしているので、ストリーム情報ファイル単体で時刻情報の取得ができない場合でも、ビットレートの解析を行うことができる。   Further, when the stream information to be distributed is an MPEG-2 PS stream, the bit rate is analyzed based on the access point information included in the reproduction control information corresponding to the stream. Even when the time information cannot be acquired, the bit rate can be analyzed.

なお、実施の形態1では特殊再生として早送り再生を示したが、タイムシークによって時刻指定される位置が異なること以外は、巻き戻し再生の場合についても同様である。   In the first embodiment, fast-forward playback is shown as special playback. However, the same applies to rewind playback except that the time designated by time seek is different.

また、巻き戻し再生により始端に到達した場合は、最初のフレームの映像を出して一時停止してもよいし、始端から通常再生を行うようにしてもよい。また、始端に到達した際には上述した解除タイマーのタイムアウト判定を待つことなく、例外処理としてネットワークバッファ113の閾値を第1の閾値801に設定する。同様に、早送り再生によって特殊再生オフセット量を加算した結果、終端を超える場合は、タイムシークの指定位置を終端とし、当該終端の画像を表示したまま一時停止してもよいし、終端の画像を表示させずに再生終了処理を行ってもよい。この場合についても、前述した解除タイマーのタイムアウト判定をまつことなく、例外処理としてネットワークバッファ113の閾値を第1の閾値801に設定する。   When the start end is reached by rewind playback, the video of the first frame may be displayed and paused, or normal playback may be performed from the start end. Further, when reaching the start end, the threshold value of the network buffer 113 is set to the first threshold value 801 as an exception process without waiting for the above-described release timer timeout determination. Similarly, if the result of adding the special playback offset amount by fast-forward playback exceeds the end, the time seek specified position may be the end, and the end image may be paused while the end image is displayed. The playback end process may be performed without displaying. Also in this case, the threshold value of the network buffer 113 is set to the first threshold value 801 as an exception process without waiting for the above-described release timer timeout determination.

また、特殊再生中に一時停止処理が行われた場合については、当該フレームで表示を継続しておくと同時に、ネットワークバッファ113の閾値を第1の閾値801に変更するようにしてもよい。このようにすることで、通常再生復帰時にすぐに映像表示を行うことができる。   When the pause process is performed during special playback, the threshold value of the network buffer 113 may be changed to the first threshold value 801 at the same time as the display is continued in the frame. In this way, video display can be performed immediately upon return from normal playback.

また、実施の形態1で示した特殊再生時にはネットワークの転送帯域に余裕がある。そこで、当該区間を利用して、独自再生方式を実現するためのメタデータの転送処理等を行ってもよい。そうすることで輻輳がおきるなどの影響を防ぐことができる。   In addition, there is a margin in the transfer bandwidth of the network during the special reproduction shown in the first embodiment. Therefore, metadata transfer processing or the like for realizing the original reproduction method may be performed using the section. By doing so, it is possible to prevent influences such as congestion.

また、実施の形態1では、図9に示したように第2の閾値802をビットレートに応じて変更するものを示したが、ビットレートに対応させずに第2の閾値802を1つの値にするようにしても一定の効果を得ることができる。   In the first embodiment, the second threshold 802 is changed according to the bit rate as shown in FIG. 9, but the second threshold 802 is set to one value without corresponding to the bit rate. Even if it is made to do, a fixed effect can be acquired.

100 映像配信装置
101 システム制御部
102 記録再生ドライブ部
103 放送受信部
110 ストリーム制御部
111 再生バッファ
112 暗号化部
113 ネットワークバッファ
114 ネットIF
115 映像配信ブロック
120 メモリ部
151 再生状態判定部
152 転送量解析部
153 閾値変更部
170 映像再生装置
171 操作部
172 ネットIF
173 デコーダー部
180 表示装置
200 ルートディレクトリ
201 ディスクディレクトリ
202 アドレス管理ディレクトリ
203 ストリーム管理ディレクトリ
221 再生制御情報ファイル
222 アドレス管理ファイル
231 ストリーム情報ファイル
311 パケット
320 ATS
321 TSパケット
331 PSパケット
401 Start_PTS
402 End_PTS
410 属性情報管理テーブル
420 アクセスポイント管理テーブル
421 num_of_entry
431 PTS_GOP_Start
432 SPN_GOP_Start
501 num_of_Title
502 Title_Attribute
503 num_of_Play_Interval
511 stream_name
512 Start_Time
513 End_Time
720 通常再生単位処理
730 特殊再生単位処理
801 通常再生時の閾値(第1の閾値)
802 特殊再生時の閾値(第2の閾値)
810 バッファサイズ
821 TIME_Normal
822 TIME_Random
900 設定換算表
1001 通常再生時の読込み量
1002 特殊再生時の読込み量
DESCRIPTION OF SYMBOLS 100 Video distribution apparatus 101 System control part 102 Recording / reproduction drive part 103 Broadcast receiving part 110 Stream control part 111 Playback buffer 112 Encryption part 113 Network buffer 114 Network IF
115 Video distribution block 120 Memory unit 151 Playback state determination unit 152 Transfer amount analysis unit 153 Threshold change unit 170 Video playback device 171 Operation unit 172 Net IF
173 Decoder unit 180 Display device 200 Root directory 201 Disk directory 202 Address management directory 203 Stream management directory 221 Playback control information file 222 Address management file 231 Stream information file 311 Packet 320 ATS
321 TS packet 331 PS packet 401 Start_PTS
402 End_PTS
410 Attribute information management table 420 Access point management table 421 num_of_entry
431 PTS_GOP_Start
432 SPN_GOP_Start
501 num_of_Title
502 Title_Attribute
503 num_of_Play_Interval
511 stream_name
512 Start_Time
513 End_Time
720 Normal playback unit processing 730 Special playback unit processing 801 Normal playback threshold (first threshold)
802 Threshold value for special playback (second threshold value)
810 Buffer size 821 TIME_Normal
822 TIME_Random
900 Setting conversion table 1001 Reading amount during normal playback 1002 Reading amount during special playback

Claims (6)

符号化されたストリームをネットワークを介して映像再生装置に配信する映像配信装置であって、
暗号化を施す必要がある著作権保護番組と前記ストリームが対応する場合、前記ストリームに暗号化を施す暗号化部と、
前記ストリームを蓄積し、当該蓄積されたストリームの情報量が所定の閾値に到達した場合、前記ストリームを出力するネットワークバッファと、
前記ネットワークバッファの前記閾値を変更する閾値変更部と、
前記ストリームの単位時間当たりの情報量を解析する転送量解析部と、
前記映像再生装置から出力される前記ストリームの取得要求の頻度に基づいて、前記映像再生装置が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定する再生状態判定部とを備え、
前記閾値変更部は、前記再生状態判定部で特殊再生状態であると判定され前記映像再生装置に配信する前記ストリームに暗号化が施されない場合において、前記閾値を前記通常再生状態よりも小さい値であって、前記転送量解析部で解析した前記ストリームの単位時間当たりの情報量に応じた値に変更し、さらに前記再生状態判定部で特殊再生状態であると判定され前記映像再生装置に配信する前記ストリームに暗号化が施される場合において、前記閾値を前記通常再生状態よりも小さい値であって、前記情報量に応じた値よりも大きい値に変更することを特徴とする映像配信装置。
A video distribution device that distributes an encoded stream to a video reproduction device via a network,
If the stream corresponds to a copyright-protected program that needs to be encrypted, an encryption unit that encrypts the stream;
A network buffer that accumulates the stream and outputs the stream when the accumulated information amount of the stream reaches a predetermined threshold;
A threshold value changing unit for changing the threshold value of the network buffer;
A transfer amount analysis unit that analyzes the amount of information per unit time of the stream;
A playback state determination unit that determines whether the video playback device is in a normal playback state or a special playback state based on the frequency of acquisition requests for the stream output from the video playback device;
The threshold value changing unit determines that the threshold value is smaller than the normal reproduction state when the reproduction state determination unit determines that the special reproduction state is set and the stream to be distributed to the video reproduction apparatus is not encrypted. Then, the value is changed to a value corresponding to the amount of information per unit time of the stream analyzed by the transfer amount analysis unit, and further determined to be in the special reproduction state by the reproduction state determination unit and distributed to the video reproduction device When the stream is encrypted, the video distribution device is characterized in that the threshold value is changed to a value smaller than the normal reproduction state and larger than a value corresponding to the information amount .
前記再生状態判定部は、前記映像再生装置から出力される前記ストリームの取得要求が所定時間内において所定回数を超えた場合、前記映像再生装置が特殊再生状態であると判定することを特徴とする請求項1に記載の映像配信装置。   The playback state determination unit determines that the video playback device is in a special playback state when the stream acquisition request output from the video playback device exceeds a predetermined number of times within a predetermined time. The video distribution device according to claim 1. 符号化されたMPEGトランスポートストリームをネットワークを介して映像再生装置に配信する映像配信装置であって、
前記MPEGトランスポートストリームを蓄積し、当該蓄積されたMPEGトランスポートストリームの情報量が所定の閾値に到達した場合、前記MPEGトランスポートストリームを出力するネットワークバッファと、
前記ネットワークバッファの前記閾値を変更する閾値変更部と、
前記MPEGトランスポートストリームのパケットがデコーダー部に入力される時刻情報を示し、前記パケット毎に付与されるATSに基づき、前記MPEGトランスポートストリームの単位時間当たりの情報量を解析する転送量解析部と、
前記映像再生装置から出力される前記MPEGトランスポートストリームの取得要求の頻度に基づいて、前記映像再生装置が通常再生状態または特殊再生状態のどちらの再生状態であるかを判定する再生状態判定部とを備え、
前記閾値変更部は、前記再生状態判定部で特殊再生状態であると判定された場合、前記転送量解析部で解析した前記MPEGトランスポートストリームの単位時間当たりの情報量に応じて、前記閾値を前記通常再生時よりも小さい値に変更することを特徴とする映像配信装置
A video distribution device that distributes an encoded MPEG transport stream to a video reproduction device via a network,
A network buffer that stores the MPEG transport stream and outputs the MPEG transport stream when the amount of information of the stored MPEG transport stream reaches a predetermined threshold;
A threshold value changing unit for changing the threshold value of the network buffer;
A transfer amount analysis unit that indicates time information when a packet of the MPEG transport stream is input to a decoder unit, and analyzes an information amount per unit time of the MPEG transport stream based on an ATS given to each packet; ,
A playback state determination unit that determines whether the video playback device is in a normal playback state or a special playback state based on the frequency of acquisition requests of the MPEG transport stream output from the video playback device; With
The threshold value changing unit determines the threshold value according to the information amount per unit time of the MPEG transport stream analyzed by the transfer amount analysis unit when the reproduction state determination unit determines that the special reproduction state is set. The video distribution apparatus is characterized in that the value is changed to a value smaller than that during the normal reproduction .
前記MPEGトランスポートストリームが記録される記録手段と、
前記記録手段から読み出した前記MPEGトランスポートストリームを一時的に蓄積する再生バッファとを備え、
前記転送量解析部は、前記再生バッファに読み込まれた前記MPEGトランスポートストリームに含まれるパケット毎の前記ATSに基づいて、前記MPEGトランスポートストリームの単位時間当たりの情報量を解析することを特徴とする請求項に記載の映像配信装置。
Recording means for recording the MPEG transport stream;
A reproduction buffer for temporarily storing the MPEG transport stream read from the recording means,
The transfer amount analyzing unit analyzes an information amount per unit time of the MPEG transport stream based on the ATS for each packet included in the MPEG transport stream read into the reproduction buffer. The video distribution apparatus according to claim 3 .
前記転送量解析部は、前記再生バッファに読み込まれた前記MPEGトランスポートストリームについて、パケットサイズの整数倍のサイズの分割単位に分割し、各分割単位毎に前記MPEGトランスポートストリームの単位時間当たりの情報量を解析した値の平均値を算出し、The transfer amount analysis unit divides the MPEG transport stream read into the reproduction buffer into division units having an integer multiple of the packet size, and each division unit per unit time of the MPEG transport stream. Calculate the average value of the amount of information analyzed,
前記閾値変更部は、前記MPEGトランスポートストリームの単位時間当たりの情報量として前記転送量解析部で算出した前記平均値を用いることを特徴とする請求項4に記載の映像配信装置。The video distribution device according to claim 4, wherein the threshold value changing unit uses the average value calculated by the transfer amount analysis unit as an information amount per unit time of the MPEG transport stream.
前記再生バッファに読み込まれた前記MPEGトランスポートストリームが3つ以上の分割単位で形成され、前記転送量解析部の前記平均値は、前記3つ以上の分割単位に対してそれぞれ解析した前記MPEGトランスポートストリームの単位時間当たりの情報量のうち、最大値および最小値を除いた各値を平均化した値であることを特徴とする請求項5に記載の映像配信装置。The MPEG transport stream read into the reproduction buffer is formed in three or more division units, and the average value of the transfer amount analysis unit is the MPEG transport analyzed for each of the three or more division units. 6. The video distribution device according to claim 5, wherein the information amount per unit time of the port stream is a value obtained by averaging each value excluding the maximum value and the minimum value.
JP2011214894A 2011-09-29 2011-09-29 Video distribution device Expired - Fee Related JP5857591B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011214894A JP5857591B2 (en) 2011-09-29 2011-09-29 Video distribution device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011214894A JP5857591B2 (en) 2011-09-29 2011-09-29 Video distribution device

Publications (2)

Publication Number Publication Date
JP2013077871A JP2013077871A (en) 2013-04-25
JP5857591B2 true JP5857591B2 (en) 2016-02-10

Family

ID=48481066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011214894A Expired - Fee Related JP5857591B2 (en) 2011-09-29 2011-09-29 Video distribution device

Country Status (1)

Country Link
JP (1) JP5857591B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543747B (en) 2014-03-26 2023-07-21 TiVo解决方案有限公司 Multimedia pipeline architecture

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002124019A (en) * 2000-10-17 2002-04-26 Nec Corp Controller and control method for adaptative buffer for sequential data sending of disk unit
US8463106B2 (en) * 2006-04-28 2013-06-11 Panasonic Corporation Contents reproducing device
JP2009206841A (en) * 2008-02-28 2009-09-10 Panasonic Corp System and program for content reproduction
JP2012142644A (en) * 2009-04-28 2012-07-26 Panasonic Corp Content providing device and content providing method

Also Published As

Publication number Publication date
JP2013077871A (en) 2013-04-25

Similar Documents

Publication Publication Date Title
US8639089B2 (en) Video audio recording/playback apparatus and method
TWI432026B (en) Image recording and reproducing apparatus and file management method
RU2407214C2 (en) Device and method for processing of data flow, having sequence of packets and information of synchronisation related to packets
JP4226873B2 (en) Digital broadcast program recording method and digital broadcast receiver
EP1978521B9 (en) System for random access to content
JP2005039308A6 (en) Digital broadcast program recording method, reproduction method, and digital broadcast receiver
US20090129738A1 (en) Information processing apparatus, information processing method, and computer program
KR20140007893A (en) A method for optimizing a video stream
JP5857591B2 (en) Video distribution device
JP4852453B2 (en) Recording apparatus, video reproduction apparatus, and special reproduction method thereof
JP2006245744A (en) Video signal recording device, information recording medium, and video signal reproducing device
KR100419499B1 (en) Method for reproducing digital broadcasting program data
JP4763589B2 (en) Playback device and playback method thereof
JP4682267B1 (en) Progressive download playback method and playback program
JP2003009085A (en) Device and method for recording digital signal and device and method for reproducing digital signal
JP5712631B2 (en) Video recording apparatus and video recording method
JP5191294B2 (en) Information processing apparatus and program
WO2013146657A1 (en) Video recording device, thumbnail management information creation device, video recording method and video recording program
JP5395866B2 (en) Recording / reproducing system, recording apparatus, and reproducing apparatus
JP4431076B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, REPRODUCTION PROCESSING PROGRAM, AND PROGRAM RECORDING MEDIUM CONTAINING REPRODUCTION PROCESSING PROGRAM
JP5100852B2 (en) Digital signal recording / reproducing apparatus and method, digital signal reproducing apparatus and method
JP2006345548A (en) Information processing apparatus
JP2003163890A (en) Data transfer controller and electronic device
JP4020818B2 (en) Recording apparatus, computer-readable program, and method.
JP5762100B2 (en) Digital stream signal transfer apparatus, digital stream signal reception apparatus, digital stream signal transfer method, and digital stream signal reception method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R151 Written notification of patent or utility model registration

Ref document number: 5857591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees