JP5366107B2 - メディア遅延を低減するための方法、装置およびシステム - Google Patents

メディア遅延を低減するための方法、装置およびシステム Download PDF

Info

Publication number
JP5366107B2
JP5366107B2 JP2012515346A JP2012515346A JP5366107B2 JP 5366107 B2 JP5366107 B2 JP 5366107B2 JP 2012515346 A JP2012515346 A JP 2012515346A JP 2012515346 A JP2012515346 A JP 2012515346A JP 5366107 B2 JP5366107 B2 JP 5366107B2
Authority
JP
Japan
Prior art keywords
media
delay
frame
receiving unit
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012515346A
Other languages
English (en)
Other versions
JP2012530430A (ja
Inventor
佩林 ▲楊▼
兵 ▲孫▼
▲業▼奎 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2012530430A publication Critical patent/JP2012530430A/ja
Application granted granted Critical
Publication of JP5366107B2 publication Critical patent/JP5366107B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/15—Flow control; Congestion control in relation to multipoint traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6408—Unicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、通信の分野におけるネットワークセキュリティ技術に関し、特に、メディア遅延を低減するための方法、装置およびシステムに関する。
マルチキャスト技術を通じたデジタルテレビ(DTV)またはインターネットプロトコル(IP)テレビ(IPTV)サービスのような、メディアサービスを伝送する処理においては、MPEG-2(Moving Picture Experts Group)、MPEG-4、H.264、VC-1(Video Codec 1)、AVS(digital Audio Coding Standard)、またはSVC(Scalable Video Coding)のような映像符号化圧縮技術によって、ビデオデータレートが低減される。これにより、伝送帯域が限られている場合に、メディアの伝送および再生を確実にすることができる。映像符号化圧縮技術はフレーム内およびフレーム間の圧縮方式を採用するため、エンドユーザーがランダムアクセスポイントを全く受け取らない場合(例えば、BまたはPフレームのような圧縮されたフレーム間ビデオフレームのみを受け取り、圧縮されたフレーム内ビデオフレーム(例えば、IDR(Instantaneous Decoding Refresh)またはIフレーム)は全く受け取らない場合)、エンドユーザーはビデオを再生するための復号を実行することができない。一般に、エンドユーザーは、ランダムアクセスポイント(例えば、フレーム間の圧縮されたフレーム)を受け取る場合のみに復号および再生を開始するが、これはメディア画像の再生に遅延をもたらす。例えば、ユーザーがあるチャンネルから別のチャンネルに切り替えるとき、新しいチャンネルをすぐに再生することができない。この問題を解決するため、ユーザーが新しいマルチキャストグループを要求する(あるマルチキャストグループから別のマルチキャストグループに切り替える、または初めてマルチキャストグループに加わる)場合、すなわち、新しいメディアチャンネルを要求する(あるメディアチャンネルから別のメディアチャンネルに切り替える、または初めてメディアチャンネルを取得する)場合、ネットワーク装置は、マルチキャストを通じてユーザーに現在転送されているメディアストリームを直接転送せず、前のランダムアクセスポイントから始まるメディアストリームを転送する(現在のマルチキャストポイントが次のランダムアクセスポイントに近い場合は、メディアストリームは直ちに転送され得る)。したがって、メディアの復号および表示は、ユーザーが受け取ったメディアストリームに対して迅速に実行され、これにより、メディアを待機することで発生するユーザーに対する遅延が低減する。この技術は、高速チャンネル切替技術と呼ばれ、RAMS(Rapid Acquisition of Multicast Session)技術とも呼ばれることがある。
高速なビデオの視聴というユーザー体験を改善するために、RAMS技術または高速チャンネル切替技術を採用して問題を解決することができる。ユーザーがチャンネルの切替を実行するときに、(セットトップボックス、STBのような)メディア受信ユニットは、新しいチャンネルのメディアストリームのためのネットワークを要求し、ネットワーク装置は最初に、現在のメディアストリームの状態に従って、前のランダムアクセスポイントから始まるメディアストリームをメディア受信ユニットに転送する。そして、メディア受信ユニットは、メディアストリームを受け取った後に、次のランダムアクセスポイントを待つことなく、復号およびメディアの表示を直ちに実行することができる。つまり、メディアストリームに関して、従来技術における技術的な解決方法は、図1のビデオサービスストリームの送信シーケンスによって示される通りである。この場合、新しいビデオストリームは2つのランダムアクセスポイントの間、例えば図1のIDR1とIDR2との間で要求され、IDR1から始まるビデオストリームが送信される。ビデオストリームがあるランダムアクセスポイントから始まり、次のランダムアクセスポイントで終わるが、GOP(Group of Picture)を形成するための次のランダムアクセスポイントのコードストリームのセグメントを含まない場合、高速チャンネル切替があるGOP内で要求されるときには、IDR1のようなフレーム内のGOPの符号化されたフレームから始まる、新しいチャンネルのメディアストリームが送信される。
従来技術を研究し実施する中で、発明者らは従来技術には以下の問題があることを発見した。
ユーザーが新しいメディアストリームを要求すると、ビデオ視聴のユーザー体験を改善するために、IDR1のようなフレーム内のGOPの符号化された開始フレームから始まる、ビデオデータストリームが送信される。つまり、あるGOP内で、ユーザーがいつ新しいメディアストリームを要求するかに関わらず、ネットワークは、フレーム内のGOPの符号化された開始フレームから始まる、メディアデータを送信する。このように、異なるユーザーが異なる時点で新しいメディアストリームを要求すると、ユーザーは、同じメディアサービスを見るときに、異なる視聴遅延、つまりビデオフレーム遅延を被る。すなわち、ユーザーが同じメディアサービスを同時に見ているときに、異なる画像が表示される。
したがって、B2フレームの画像があるユーザーに表示されているときに、別のユーザーはB15フレームの画像を見ている可能性がある。異なるユーザーの間での最長のビデオ表示遅延は、1つのGOPの長さにまで達する可能性がある。つまり、あるユーザーがIDR1の画像を見ている一方で、別のユーザーはIDR2フレームの画像を見ている可能性がある。このように、同じチャンネルを見ている2人のユーザーが、電話で互いに番組について話す場合、一方のユーザーが、もう一方のユーザーがまだ見ていない内容について話す可能性があり、ビデオ視聴のユーザー体験が悪くなる。
本発明の実施形態は、メディア遅延を低減するための方法、装置およびシステムを提供し、これらは非同期の再生による異なるユーザーメディアの間の差を低減するために使用され、したがって異なるユーザーの間で一定の程度同期したメディアの再生が実現し、これによりユーザー体験の度合いを改善する。
本発明の第1の態様によれば、メディア遅延を低減するための方法が提供される。その方法は、
メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信するステップと、
メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信するステップとを含み、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行する。
具体的には、メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアサービスストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、上記の方法はさらに、第2のメディアサービスのメディアストリームを、ユニキャストまたはマルチキャストを通じてメディア受信ユニットに迅速に送信するステップを含む。
具体的には、メディア切替要求はさらに、メディア処理ユニットに、メディア遅延を低減するための情報を返すように命令するための命令情報を含む。
本発明の第2の態様によれば、メディア遅延を低減するための別の方法が提供される。その方法は、
第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信するステップと、
メディア処理ユニットによって返される、応答メッセージおよび第2のメディアサービスのメディアストリームを受信するステップであって、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を搬送し、上記の情報が、遅延したフレームの数および/またはフレーム遅延時間を含む、受信するステップと、
応答メッセージで搬送されるメディア遅延を低減するための情報に従って、第2のメディアサービスのメディアストリームに対して高速化処理を実行するステップとを含む。
具体的には、メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、第2のメディアサービスのメディアストリームに対して高速化処理を実行するステップは、ある間隔でのメディアフレームの処理、メディアフレームの高速転送およびメディアフレームの高速復号のうちの任意の1つまたは組合せによって、第2のメディアサービスのメディアストリームの再生を高速化するステップを含む。
具体的には、メディア切替要求はさらに、メディア処理ユニットに、メディア遅延を低減するための情報を返すように命令するための命令情報を含む。
本発明の第3の態様によれば、メディア遅延を低減するためのメディア処理ユニットが提供される。この装置は、
メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信するように構成される第1の受信モジュールと、
メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信するように構成される通知モジュールとを含み、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行する。
具体的には、メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアサービスストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、上記の装置はさらに、第2のメディアサービスのメディアストリームを、ユニキャストまたはマルチキャストを通じて、メディア受信ユニットに迅速に送信するように構成される、第1の送信モジュールを含む。
具体的には、メディア切替要求はさらに、メディア処理ユニットに、メディア遅延を低減するための情報を返すように命令するための命令情報を含む。
本発明の第4の態様によれば、メディア遅延を低減するためのメディア受信ユニットが提供される。その装置は、
第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信するように構成される第2の送信モジュールと、
メディア処理ユニットによって返される、応答メッセージおよび第2のメディアサービスのメディアストリームを受信するように構成される第2の受信モジュールであって、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を搬送し、上記の情報が、遅延したフレームの数および/またはフレーム遅延時間を含む、第2の受信モジュールと、
応答メッセージで搬送されるメディア遅延を低減するための情報に従って、第2のメディアサービスのメディアストリームに対して高速化処理を実行するように構成される処理モジュールとを含む。
具体的には、メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、メディア切替要求はさらに、メディア処理ユニットに、メディア遅延を低減するための情報を返すように命令するための命令情報を含む。
本発明の第5の態様によれば、メディア遅延を低減するためのシステムが提供される。このシステムは、本発明の第3の態様による、メディア遅延を低減するためのメディア処理ユニットと、本発明の第4の態様による、メディア遅延を低減するためのメディア受信ユニットとを含む。
本発明の実施形態は、メディア遅延を低減するための方法、装置およびシステムを提供し、これらにおいて、メディア処理ユニットが、メディア受信ユニットからメディア切替要求を受信し、メディア受信ユニットがメディア遅延を低減するための情報を応答メッセージ中で搬送し、応答メッセージをメディア受信ユニットに送信し、したがって、メディア受信ユニットが、応答メッセージに従ってメディア高速化処理を実行し、それによって異なるユーザーメディアの間での表示遅延の差を低減し、ユーザー体験の度合いを改善する。
本発明の実施形態または従来技術による技術的な解決法をより明確に示すために、実施形態または従来技術の説明に必要な添付の図面が、以下で簡単に紹介される。当然、以下の説明における添付の図面は、本発明の一部の実施形態を単に示すものであり、当業者は、創造的な作業を伴うことなく、添付の図面に従って別の図面を得ることができる。
従来技術における、メディアストリームの送信シーケンスを示す図である。 本発明のある実施形態による、メディア遅延を低減するための方法のフローチャートである。 本発明のある実施形態による、メディア遅延を低減するための別の方法のフローチャートである。 本発明のある実施形態による、メディア遅延を低減するための方法の特定の実装形態のフローチャートである。 本発明のある実施形態による、メディア受信ユニットの固有のメディア再生遅延を示す概略図である。 本発明のある実施形態による、メディア切替を要求するメディアフレームの遅延を示す概略図である。 本発明のある実施形態による、メディア遅延を低減するための装置の構造図である。 本発明のある実施形態による、メディア遅延を低減するための別の装置の構造図である。 本発明のある実施形態による、メディア遅延を低減するためのシステムの構造図である。
本発明の実施形態による技術的な解決法は、添付の図面を参照して以下で明確に説明される。説明される実施形態は本発明の実施形態の全てではなく、一部のみであることは明らかである。本発明の実施形態に基づいて、創造的な作業を伴うことなく当業者が得ることができる全ての別の実施形態は、本発明の保護の範囲内にあるべきである。
本発明のある実施形態によるメディア遅延を低減するための方法のフローチャートである、図2aに示されるように、この方法は以下のステップを含む。
ステップ202:メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信する。
メディア受信ユニットは、STB、コンピュータまたはメディアフォンのような、ユーザーがメディアサービスを視聴し切替要求を開始するための端末装置であり、メディア受信ユニットのメディア切替要求は、リモートコントローラまたは別のソフトウェアまたはハードウェア端末をユーザーが操作することによって、発信され得る。
メディアサービス切替を実行するときに、メディア受信ユニットはネットワークバッファユニットへのメディア切替要求を開始し、このとき要求は要求されたチャンネル情報を含む。要求はRTCP(Real-time Transport Control Protocol)、RTCP拡張、または別のプロトコルまたは専用のシグナリングを使用してもよい。
第1のメディアサービスから第2のメディアサービスに切り替えるステップはさらに、例えばメディア受信ユニットが起動して所望のメディアサービスを初めて要求する場合に、メディア受信ユニットがメディアサービスを初めて要求するという状況を含み、このときメディア切替要求は第1のメディアサービスを含まない。切替要求は、メディア遅延を低減するための処理を要求する命令情報をさらに含み、命令情報は、メディア処理ユニットにメディア遅延を低減するための情報をフィードバックするように要求するために、メディア受信ユニットによって使用される。要求を受け取った後、ネットワークバッファユニットは、メディア受信ユニットにメディア遅延を低減するための情報を送信し、したがって、メディア受信ユニットは、上記の情報に従ってメディア遅延を低減する処理を実行する。切替要求はまた、命令情報を含まなくてもよく、メディア処理ユニットが自発的に、メディア受信ユニットに対してメディア遅延を低減するための処理を実行するように命令する。メディア切替要求は、拡張RTCPメッセージを通じて実装されてもよい。
ステップ204:メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信し、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含む。メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対してメディア高速化処理を実行する。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、(図4に示すように)遅延したメディアフレームの数はメディアフレーム遅延距離、またはメディアフレーム遅延距離とメディア受信ユニットの固有のメディア再生フレーム遅延との和を表す。
メディアフレーム遅延時間は、(図4に示すように)メディア時間遅延距離、またはメディア時間遅延距離とメディア受信ユニットの固有のメディア再生時間遅延との和を表す。
メディアフレーム遅延距離は、(図5に示すように)受信されることになるメディアストリームのフレームの順序位置と、要求されているメディアストリームのフレームの順序位置との間のフレーム遅延距離である。メディア時間遅延距離は、(図5に示すように)「遅延したメディアフレームの数」をメディア受信ユニットが再生するための通常の再生時間である。(詳細は図3の実施形態の説明を参照されたい。)
フレームレートは、メディアサービスストリームが受信された後の再生レートを表す。メディアサービスストリームの送信レートまたは送信レートの乗数は、メディアサービスストリームが送信されている送信レートまたは通常のストリームレートの乗数を表す。フレーム廃棄またはフレームジャンプ間隔、すなわち、メディア受信ユニットがフレーム廃棄またはフレームジャンプをメディア表示中に行う、メディア処理ユニットによって推奨される間隔は、具体的には、ある数のフレームごとに1つのフレームをジャンプするような方式で再生が行われるということを表す。
ステップ204の後で、上記の方法はさらに、第2のメディアサービスのメディアストリームを、ユニキャストまたはマルチキャストを通じてメディア受信ユニットに送信するステップを含む。
本発明の実施形態は、メディア遅延を低減するための方法を提供し、この方法において、メディア処理ユニットが、メディア受信ユニットから送信されるメディア切替要求を受信し、メディア切替要求に従って、メディア受信ユニットがメディア遅延を低減するための情報を応答メッセージ中で搬送し、応答メッセージをメディア受信ユニットに送信し、したがって、メディア受信ユニットが、応答メッセージに従ってメディア高速化処理を実行し、それによってメディアストリームの切替効率を向上させ、異なるユーザーメディアの間での表示遅延の差を低減し、異なるユーザー間で可能な限り同期した再生を実現し、ユーザー体験の度合いを改善する。
図2bは、本発明のある実施形態による、メディア遅延を低減するための別の方法のフローチャートであり、この方法は以下のステップを含む。
ステップ202':第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信する。
メディア処理ユニットおよびメディア受信ユニットは、中間ネットワークユニット、再送サーバまたはメディアサーバのような、メディアサービス切替要求を受信するメディアネットワーク処理装置である。
ステップ204':ネットワークバッファ装置によって返される、応答メッセージおよび第2のメディアサービスのメディアストリームを受信し、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を搬送し、上記の情報が、遅延したフレームの数および/またはフレーム遅延時間を含む。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、(図4に示すように、また以下の図3の説明で詳細に説明されるように)遅延したメディアフレームの数は、メディアフレーム遅延距離、または、メディアフレーム遅延距離とメディア受信ユニットの固有のメディア再生フレーム遅延との和を表す。
メディアフレーム遅延時間は、(図4に示すように)メディア時間遅延距離、または、メディア時間遅延距離とメディア受信ユニットの固有のメディア再生時間遅延との和を表す。
メディアフレーム遅延距離は、(図5に示すように、また以下の図5の説明で詳細に説明されるように)受信されることになるメディアストリームのフレームの順序位置と、要求されているメディアストリームのフレームの順序位置との間のフレーム遅延距離である。メディア時間遅延距離は、(図5に示すように)「遅延したメディアフレームの数」をメディア受信ユニットが再生するための通常の再生時間である。
フレームレートは、メディアサービスストリームが受信された後の再生レートを表す。メディアサービスストリームの送信レートまたは送信レートの乗数は、メディアサービスストリームが送信されている送信レートまたは通常のストリームレートの乗数を表す。フレーム廃棄またはフレームジャンプ間隔、すなわち、メディア受信ユニットがフレーム廃棄またはフレームジャンプをメディア表示中に行う、メディア処理ユニットによって推奨される間隔は、具体的には、ある数のフレームごとに1つのフレームをジャンプするような方式で再生が行われるということを表す。
ステップ206':応答メッセージで搬送されるメディア遅延を低減するための情報に従って、第2のメディアサービスのメディアストリームに対して高速化処理を実行する。
第2のメディアサービスのメディアストリームの再生は、ある間隔でのメディアフレームの処理、メディアフレームの高速転送およびメディアフレームの高速復号のうちの任意の1つまたは組合せによって、高速化される。
本発明の実施形態は、メディア遅延を低減するための方法を提供し、この方法において、メディア受信ユニットが、メディア切替要求をメディア処理ユニットに送信し、メディア処理ユニットによって返される応答メッセージで搬送される、メディア受信ユニットがメディア遅延を低減するための情報に従って、メディア処理ユニットによって送信される第2のチャンネルのメディアサービスストリームに対してメディア高速化処理を実行し、それによってメディアストリームの切替効率を向上させ、異なるユーザーメディアの間での表示遅延の差を低減し、ユーザー体験の度合いを改善する。
図3は、本発明のある実施形態による、メディア遅延を低減するための方法の特定の実装形態のフローチャートであり、この方法は以下のステップを含む。
ステップ300:メディアサービス発信源が、あるチャンネルのメディアサービスストリームをメディア受信ユニットに送信する。
ヘッドエンド装置とも呼ばれ得るメディアサービス発信源は、メディアサービスストリームを開始する発信源装置であって、その種類はマルチキャスト発信源、メディアサーバ、セントラルメディアサーバ、周辺メディアサーバを含んでもよい。メディアサービス発信源によるメディアサービスストリームを得る方式は、衛星放送からの録画、または別の有線ネットワークからの転送を含む。ネットワークノードは管理者が利用する装置を含み、その装置は例えば、デジタル加入者線アクセス多重化(DSLAM)装置、光回線終端(OLT)装置、ルータ装置、ネットワークアクセスサーバまたはIPスイッチである。メディアサービス発信源およびネットワークノードの間のネットワーク接続は、基幹ネットワーク、メトロポリタンエリアネットワーク、統合ネットワーク、または別のネットワーク方式を介して実施され得る。
メディア受信ユニット(クライアントとも呼ばれる)は、STB、コンピュータまたはメディアフォンのような、ユーザーがメディアサービスを視聴し切替要求を開始するための端末装置であり、メディア受信ユニットのメディア切替要求は、リモートコントローラまたは別のソフトウェアまたはハードウェア端末をユーザーが操作することによって、発信され得る。
ステップ302:メディア処理ユニットが、メディアサービス発信源からメディア受信ユニットへ送信されるメディアストリームをバッファリングし、バッファ内でメディア受信ユニットによって独立に復号され得るメディアフレームの開始位置(例えば、Iフレーム、またはIDRフレーム位置)をマークする。
メディアサービス発信源装置が、メディア受信ユニットにメディアサービスストリームを送信するとき(これは、メディアサービス発信源がメディアストリームをメディア受信ユニットにネットワークノードを介して送信するものと解釈され得る)、メディア処理ユニットはメディアサービスストリームを取得およびバッファリングし、またはメディアサービス発信源がメディアストリームをメディア受信ユニットに送信するとき、メディア処理ユニットは、マルチキャストグループをミラーリングまたは結合することによってメディアストリームを取得し、メディアストリームをバッファリングする。このときメディアサービスストリームは、ユーザーに提供されるメディアサービスのコードストリームである。
ステップ304:メディア切替を実行するとき、メディア受信ユニットは、ネットワークバッファユニットへのメディア切替要求を開始し、要求されたメディアサービス情報を搬送する。
ユーザーがメディアサービス切替を実行しようとするときは、メディア受信ユニットはメディア切替要求をメディア処理ユニットに送信し、第1のメディアサービスから第2のメディアサービスへの切替えを要求する。メディア切替要求は、RTCP、RTCP拡張、または別の専用またはプライベートのプロトコルもしくはシグナリングを用いてもよい。
第1のメディアサービスから第2のメディアサービスへ切り替えるステップはさらに、例えばメディア受信ユニットが起動して所望のメディアサービスを初めて要求する場合に、メディア受信ユニットがメディアサービスを初めて要求するという状況を含み、このときメディア切替要求は第1のメディアサービスを含まない。切替要求は、メディア遅延を低減するための処理を要求する命令情報をさらに含み、命令情報は、メディア処理ユニットにメディア遅延を低減するための情報をフィードバックするように要求するために、メディア受信ユニットによって使用される。要求を受け取った後、ネットワークバッファユニットは、メディア受信ユニットにメディア遅延を低減するための情報を送信し、したがって、メディア受信ユニットは、上記の情報に従ってメディア遅延を低減する処理を実行する。切替要求はまた、命令情報を含まなくてもよく、メディア処理ユニットが自発的に、メディア受信ユニットに対してメディア遅延を低減するための処理を実行するように命令する。
メディア処理ユニットに、メディア遅延を低減するための情報をフィードバックするように要求するために、メディア受信ユニットが使用する命令情報は、拡張RTCPメッセージを通じて実装することができ、例えば、RTCP RAMS-R(Rapid Acquisition of Multicast Session-Request)メッセージを通じて実装することができる。
ステップ306:ユーザーのメディア切替要求を受信した後、ネットワークバッファ装置は、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信し、このとき応答メッセージは、メディア受信ユニットがメディア遅延を低減するための情報を含む。メディア受信ユニットがメディア遅延を低減するための情報は、遅延したフレームの数および/またはフレーム遅延時間を含む。
応答メッセージ、つまり、メディア受信ユニットにビデオ遅延を低減するように命令するためにネットワークバッファユニットが使用する情報は、拡張RTCPメッセージで実装することができ、例えば、RAMS-I(Rapid Acquisition of Multicast Session-Information)を通じて実装することができる。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
情報はさらに、フレームレート、送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
メディアフレーム遅延情報に含まれる内容が、図4および図5を参照して以下で説明される。
図4は、本発明のある実施形態による、メディア受信ユニットの固有のメディア再生遅延を示す概略図である。図5は、本発明のある実施形態による、メディア切替を要求するメディアフレームの遅延を示す概略図である。
図4は、メディア受信ユニット(またはクライアント)のメディア再生時間が、メディア受信時間よりも、固有の再生遅延の分だけ遅れている状況を示す。具体的には、メディアストリームを受信するときに、メディア受信ユニットはメディアストリームを直ちに表示せず、その代わりに、一定の処理遅延後にメディアストリームを再生する。この遅延は、図4で示されるように、「メディア再生時間遅延」または「メディア再生フレーム遅延」と呼ばれ得る。
図5は、メディアサービス切替の要求箇所とビデオサービスフレームの送信開始箇所との間の、ビデオサービスフレームの遅延を示す。図5では、IDR1はビデオサービスフレームの送信開始箇所であり、104はメディア切替の要求箇所であるビデオサービスフレームのP61であり(これはメディア切替時点でもある)、IDR1とP61との差は、図5で示されるビデオフレームの遅延距離である。
具体的には、遅延したメディアフレームの数は、(図4に示すように)メディアフレーム遅延距離、または、メディアフレーム遅延距離とメディア受信ユニットの固有のメディア再生フレーム遅延との和を表す。
メディアフレーム遅延時間は、(図4に示すように)メディア時間遅延距離、または、メディア時間遅延距離とメディア受信ユニットの固有のメディア再生時間遅延との和を表す。
メディアフレーム遅延距離は、(図5に示すように)受信されることになるメディアストリームのフレームの順序位置と、要求されているメディアストリームのフレームの順序位置との間のフレーム遅延距離である。メディア時間遅延距離は、(図5に示すように)「遅延したメディアフレームの数」をメディア受信ユニットが再生するための通常の再生時間である。
フレームレートは、メディアサービスストリームが受信された後の再生レートを表す。メディアサービスストリームの送信レートまたは送信レートの乗数は、メディアサービスストリームが送信されている送信レートまたは通常のストリームレートの乗数を表す。フレーム廃棄またはフレームジャンプ間隔、すなわち、メディア受信ユニットがフレーム廃棄またはフレームジャンプをメディア表示中に行う、メディア処理ユニットによって推奨される間隔は、具体的には、ある数のフレームごとに1つのフレームをジャンプするような方式で再生が行われるということを表す。
ステップ308:メディア受信ユニットは、応答メッセージで搬送される情報に従って、メディア処理ユニットが送信する第2のチャンネルのバッファリングされたメディアサービスストリームに対して、高速化処理を実行する。
具体的には、例えば図5を例にとると、図5はメディアサービスフレームの遅延を示す概略図である。メディアサービスストリームに対して、メディア受信ユニットによって高速化処理を実行するための特定の方式が、図5を参照して説明される。
メディア受信ユニットは、メディア処理ユニットが搬送する情報に従って高速化処理を実行し、3つの処理方式が使用される。すなわち、ある間隔でメディアフレームを処理する方式、高速転送方式および高速復号方式である。これらの3つの方式は例としてのみ与えられ、本発明を限定することを意図してはいない。
第1の方式:例えば、以下のようなメディアストリームに対して、ある間隔でメディアフレームを処理する。
「IDR1B2B3P4B5B6P7B8B9P10B11B12P13B14B15P16B17B18P19B20B21P22B23B24P25B26B27P28B29B30P31…B60P61B62B63P64B65B66…」
この例では、メディアストリームの送信レートが通常のマルチキャストストリームの送信レートの1.3倍であれば、遅延フレームの数は60であり(フレーム遅延時間は2秒であり)、メディアフレーム処理間隔は15フレームであり(メディアストリームの送信レートの乗数はメディアフレーム処理間隔よりも大きくなければならず、そうでない場合メディア高速化処理が実行できない。すなわち、メディアフレーム処理間隔/(メディアフレーム処理間隔-1)<メディアストリームの送信レートであり、この例では、1.3>15/14)、フレームレート(1秒あたりのフレーム、FPS)=30である。メディア受信ユニットはフレームレートを30にして再生し、これは15フレームごとに1つのフレームをジャンプすることによって実施される。すなわち、フレームB14を再生した後、メディア受信ユニットはフレームP15を再生せず、代わりに、フレームB16を直ちに再生する。類推すると、30フレームごとに2つのフレームが再生されず、したがって、900フレームごとに60フレームが再生されず、すなわち、遅延したフレームの数が60に達する。言い換えると、再生時間は30秒(900フレーム)ごとに2秒短縮し、フレーム遅延時間に達する。このように、メディア受信ユニット104は、30-2=28秒で、別のユーザーと同じメディア画像を表示する。
メディア受信ユニットによって異なるユーザー間でのメディア遅延を低減するための処理は、マルチキャストストリームが受信される前に完了してもよいし、その後に完了してもよい。そのようなメディア捕捉方式は、ユーザー間のメディア遅延を低減するための情報の取得によって決まる。
第2の方式:高速転送である。具体的には、メディア受信ユニットが、ユーザー間のメディア遅延を低減するための情報に従って、受信されたメディアサービスストリームに対してメディア捕捉のためにメディア高速転送処理を実行する。この例では、メディアストリームの送信レートが通常のマルチキャストストリームの送信レートの1.3倍であれば、遅延したフレームの数は60であり(フレーム遅延時間は2秒であり)、メディアフレーム処理間隔は16フレームであり、フレームレートFPS=32である。
この方式では、メディアフレーム処理間隔は、メディアフレーム高速転送間隔とも呼ばれ得る。例えば、メディアフレーム処理間隔は16フレームであり、本来は(16/30=0.533秒)以内に再生されなければならない16フレームのメディアストリームが、実際には15フレーム(0.5秒)を再生する時間で再生され得るということを示している。32フレームを、本来30フレームを再生する時間で再生することができ、つまり、このときフレームレートは32である。960フレームを再生(通常は32秒必要)するのに必要な時間は900フレームを再生する時間(30秒)のみであり、60フレームの再生時間(2秒)だけ高速化される。このように、メディア受信ユニット104は、32-2=30秒で、別のユーザーと同じ画像を表示する。
第3の方式:高速復号である。
具体的には、高速復号方式は、メディアサービスストリームを直ちに表示するのではなく、主に、メディアサービスストリームを受信した後に、高速メディア復号を実行し、メディア表示開始フレーム数の後または一定の時間が経過した後でメディアサービスストリームを表示するものである。例えば、ある状況では、遅延したメディアフレームの数は10であるが、メディア表示開始フレーム数は遅延したメディアフレームの数以下でなければならず、1〜10でなければならない。遅延したメディアフレームの数が5であれば、メディア受信ユニットはフレームB5が復号されるまで表示を行わず、メディア表示の前にメディアフレームを高速復号するということを示す。復号レートはメディア表示レートよりはるかに速いので、ユーザー間での表示遅延を低減することができる。
本発明の実施形態はチャンネル切替方法を提供し、その方法において、メディア処理ユニットは、メディア受信ユニットから送信されるメディア切替要求を受信し、メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信し、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行し、これによって、メディアストリームの切替効率が向上し、異なるユーザーメディアの間での表示遅延の差が低減し、ユーザー体験の度合いを改善する。
図6は、本発明のある実施形態による、メディア遅延を低減するための装置の構造図である。この装置は、
メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信するように構成される第1の受信モジュール602と、
メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信するように構成される通知モジュール604とを含み、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行する。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアサービスストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、(図4に示すように)遅延したメディアフレームの数はメディアフレーム遅延距離、またはメディアフレーム遅延距離とメディア受信ユニットの固有のメディア再生フレーム遅延との和を表す。
メディアフレーム遅延時間は、(図4に示すように)メディア時間遅延距離、またはメディア時間遅延距離とメディア受信ユニットの固有のメディア再生時間遅延との和を表す。
メディアフレーム遅延距離は、受信されることになるメディアストリームのフレームの順序位置と、要求されているメディアストリームのフレームの順序位置との間のフレーム遅延距離である。メディア時間遅延距離は、「遅延したメディアフレームの数」をメディア受信ユニットが再生するための通常の再生時間である。
フレームレートは、メディアサービスストリームが受信された後の再生レートを表す。メディアサービスストリームの送信レートまたは送信レートの乗数は、メディアサービスストリームが送信されている送信レートまたは通常のストリームレートの乗数を表す。フレーム廃棄またはフレームジャンプ間隔、すなわち、メディア受信ユニットがフレーム廃棄またはフレームジャンプをメディア表示中に行う、メディア処理ユニットによって推奨される間隔は、具体的には、ある数のフレームごとに1つのフレームをジャンプするような方式で再生が行われるということを表す。(詳細は図3の実施形態の説明を参照されたい。ここでは再び説明はしない。)
上記の装置はさらに、
第2のメディアサービスのバッファリングされたメディアストリームを、ユニキャストまたはマルチキャストを通じてメディア受信ユニットに迅速に送信するように構成される、第1の送信モジュール606を含む。
メディア遅延を低減するための装置は、限定はされないが、メディア処理ユニットであってもよく、各メディアサービスのリアルタイムマルチキャストメディアストリームをバッファリングし、メディア受信ユニットが送信する要求メッセージを受信し、要求メッセージに従って対応する処理を実行するための任意のネットワーク装置であってもよい。
メディアサービス切替を実行するときに、メディア受信ユニットはネットワークバッファユニットへのメディア切替要求を開始し、このとき要求は要求されたチャンネル情報を含む。要求はRTCP、RTCP拡張、または別のプロトコルまたは専用のシグナリングを使用してもよい。
第1のメディアサービスから第2のメディアサービスへの切替はさらに、例えばメディア受信ユニットが起動して所望のメディアサービスを初めて要求する場合に、メディア受信ユニットがメディアサービスを初めて要求するという状況を含み、このときメディア切替要求は第1のメディアサービスを含まない。切替要求は、メディア処理ユニットにメディア遅延を低減するための情報をフィードバックするように命令するための、命令情報をさらに含むことができる。切替要求はまた、命令情報を含まなくてもよく、受信したメッセージに従ってメディア処理ユニットが情報をフィードバックする。メディア切替要求は、拡張RTCPメッセージを通じて実装され得る。
本発明の実施形態は、メディア遅延を低減するための装置を提供し、これらにおいて、メディア処理ユニットが、メディア受信ユニットから送信されるメディア切替要求を受信し、メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信し、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行し、これによってメディアストリームの切替効率が向上し、異なるユーザーメディアの間での表示遅延の差が低減し、ユーザー体験の度合いを改善する。
図7は、本発明のある実施形態による、メディア遅延を低減するための別の装置の構造図である。この装置は、
第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信するように構成される、第2の送信モジュール702と、
メディア処理ユニットによって返される、応答メッセージおよび第2のメディアサービスのメディアストリームを受信するように構成される、第2の受信モジュール704であって、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を搬送し、上記の情報が、遅延したフレームの数および/またはフレーム遅延時間を含む、第2の受信モジュールと、
応答メッセージで搬送されるメディア遅延を低減するための情報に従って、第2のメディアサービスのメディアストリームに対して高速化処理を実行するように構成される、処理モジュール706とを含む。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
具体的には、遅延したメディアフレームの数は、受信されることになるメディアストリームのフレームの順序位置と、要求されているメディアストリームのフレームの順序位置との間の遅延距離を表す。メディアフレーム遅延時間は、「遅延したメディアフレームの数」をメディア受信ユニットが再生するための通常の再生時間を表す。
フレームレートは、メディアサービスストリームが受信された後の再生レートを表す。メディアサービスストリームの送信レートまたは送信レートの乗数は、メディアサービスストリームが送信されている送信レートまたは通常のストリームレートの乗数を表す。フレーム廃棄またはフレームジャンプ間隔、すなわち、メディア受信ユニットがフレーム廃棄またはフレームジャンプをメディア表示中に行う、メディア処理ユニットによって推奨される間隔は、具体的には、ある数のフレームごとに1つのフレームをジャンプするような方式で再生が行われるということを表す。
メディア切替要求はさらに、メディア処理ユニットに、メディア遅延を低減するための情報を返すように命令するための命令情報を含み、メディア切替要求は、拡張RTCPメッセージを通じて実装される。
メディア遅延を低減するための装置は、限定はされないが、STB、コンピュータまたはメディアフォンのような、ユーザーがメディアサービスを視聴し切替要求を開始するための任意の端末装置であってよく、メディア受信ユニットのメディア切替要求は、リモートコントローラまたは別のソフトウェアまたはハードウェア端末をユーザーが操作することによって、発信され得る。
本発明の実施形態はメディア遅延を低減するための装置を提供し、その装置において、メディア切替要求が、第1のメディアサービスから第2のメディアサービスへの切替を要求するためにメディア処理ユニットに送信され、メディア処理ユニットによって返される応答メッセージが受信され、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を搬送し、上記の情報が遅延したフレームの数および/またはフレーム遅延時間を含み、応答メッセージで搬送される情報に従って、メディア処理ユニットによって送信される第2のチャンネルのバッファリングされたメディアサービスストリームに対して高速化処理が実行され、これによって、メディアストリームの切替効率が向上し、異なるユーザーメディアの間での表示遅延の差が低減し、ユーザー体験の度合いを改善する。
本発明の実施形態においてメディア遅延を低減するための装置は、本発明の技術的な解決法を限定することを意図してはおらず、メディア遅延を低減することができる装置は、限定はされないが、メディア処理ユニットまたはメディア受信ユニットであってよく、別のネットワーク位置の装置も含んでもよく、または、ネットワークノードで構築されてもよく、上述の機能と同様の機能を実装することに留意されたい。
図8は、本発明のある実施形態による、メディア遅延を低減するためのシステムの構造図である。このシステムは、
メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信し、メディア切替要求に従って、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信するように構成される、メディア処理ユニット802であって、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、メディア受信ユニットがメディア遅延を低減するための情報が、遅延したフレームの数および/またはフレーム遅延時間を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含む受信されたメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行する、メディア処理ユニットと、
第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信し、メディア処理ユニットによって返される、応答メッセージおよび第2のメディアサービスのメディアストリームを受信し、応答メッセージで搬送されるメディア遅延を低減するための情報に従って、第2のメディアサービスのメディアストリームに対して高速化処理を実行するように構成される、メディア受信ユニット804とを含む。
第1のメディアサービスから第2のメディアサービスへ切り替えるステップはさらに、例えばメディア受信ユニットが起動して所望のメディアサービスを初めて要求する場合に、メディア受信ユニットがメディアサービスを初めて要求するという状況を含み、このときメディア切替要求は第1のメディアサービスを含まない。切替要求は、メディア処理ユニットにメディア遅延を低減するための情報をフィードバックするように命令するための、命令情報をさらに含む。切替要求はまた、命令情報を含まなくてもよく、メディア処理ユニットが、受信されたメッセージに従って情報をフィードバックする。
メディア処理ユニットはさらに、第2のメディアサービスのバッファリングされたメディアサービスストリームを、メディア受信ユニットに送信するように構成される。
メディア受信ユニットがメディア遅延を低減するための情報はさらに、フレームレート、送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む。
メディア処理ユニットは、中間ネットワークユニット、再送サーバまたはメディアサーバのような、メディアサービス切替要求を受信するメディアネットワーク処理装置である。
メディア受信ユニットは、STB、コンピュータまたはメディアフォンのような、ユーザーがメディアサービスを視聴し切替要求を開始するための端末装置であり、メディア受信ユニットのメディア切替要求は、リモートコントローラまたは別のソフトウェアまたはハードウェア端末をユーザーが操作することによって、発信され得る。
本発明の実施形態はメディア遅延を低減するためのシステムを提供し、そのシステムにおいて、メディア処理ユニットおよびメディア受信ユニットの相互作用を通じて、メディア処理ユニットが、メディア切替要求に従い、応答メッセージおよび第2のメディアサービスのメディアストリームをメディア受信ユニットに送信し、応答メッセージが、メディア受信ユニットがメディア遅延を低減するための情報を含み、したがって、メディア受信ユニットが、メディア遅延を低減するための情報を含むメッセージに従って、第2のメディアサービスのメディアストリームに対して、メディア高速化処理を実行し、これによってメディアストリーム画像の遅延が低減し、異なるユーザーメディアの間での表示遅延の差が低減し、ユーザー体験の度合いを改善する。
上記の実施形態の記述を通じて、本発明が、必要な汎用ハードウェアプラットフォーム上でソフトウェアによって実現することができ、またはハードウェアによって実現することができることが、当業者には明らかになる。したがって、本発明の技術的な解決法、または従来技術に貢献する部分は、ソフトウェア製品の形で実質的に具現化され得る。コンピュータソフトウェア製品は、記憶媒体に保存され、本発明の実施形態による方法を実行するための端末装置(例えば、携帯電話、パーソナルコンピュータ、サーバ、またはネットワーク装置)に命令するための、いくつかの命令を含む。
本発明はいくつかの例示的な実施形態とともに上で説明されたが、本発明の保護範囲は例示的な実施形態によって限定されない。本発明で開示される技術範囲の当業者が容易に想起し得る様々な修正形態または変更形態が、本発明の保護範囲にあると考えられる。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従う。
602 第1の受信モジュール
604 通知モジュール
606 第1の送信モジュール
702 第2の送信モジュール
704 第2の受信モジュール
706 処理モジュール
802 メディア処理ユニット
804 メディア受信ユニット

Claims (19)

  1. メディア遅延を低減するための方法であって、
    メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信するステップを含み、
    前記メディア切替要求に従って、前記第2のメディアサービスのメディアストリームを前記メディア受信ユニットに送信するステップと、
    前記メディア切替要求に従って、応答メッセージを前記メディア受信ユニットに送信するステップと
    をさらに含み、
    前記応答メッセージが、前記メディア受信ユニットが前記メディア遅延を低減するための情報を含み、前記メディア受信ユニットが前記メディア遅延を低減するための情報が、遅延したフレームの数およびフレーム遅延時間を含み、前記遅延したフレームの数は、受信されることになる前記メディアストリームのフレームの順序位置と、要求されている前記メディアストリームのフレームの順序位置との間のフレーム遅延距離を表し、前記フレーム遅延時間は、前記遅延したフレームの数を前記メディア受信ユニットが再生するための通常の再生時間を表し、前記応答メッセージによって、前記メディア受信ユニットが、前記メディア遅延を低減するための前記受信された情報に従って、前記第2のメディアサービスの前記メディアストリームに対して、メディア高速化処理を実行することを特徴とする、方法。
  2. 前記メディア受信ユニットが前記メディア遅延を低減するための前記情報がさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む、請求項1に記載の方法。
  3. 前記第2のメディアサービスの前記メディアストリームを、ユニキャストまたはマルチキャストを通じて前記メディア受信ユニットに迅速に送信するステップをさらに含む、請求項1または2に記載の方法。
  4. 前記メディア切替要求がさらに、メディア処理ユニットに、前記メディア遅延を低減するための前記情報を返すように命令するための命令情報を含む、請求項1または2に記載の方法。
  5. メディア遅延を低減するための方法であって、
    第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信するステップを含み、
    前記メディア処理ユニットによって返される前記第2のメディアサービスのメディアストリームを受信するステップと、
    前記メディア切替要求に従って、前記メディア処理ユニットによって返される応答メッセージを受信するステップであって、前記応答メッセージが、メディア受信ユニットが前記メディア遅延を低減するための情報を搬送し、前記情報が、遅延したフレームの数およびフレーム遅延時間を含み、前記遅延したフレームの数は、受信されることになる前記メディアストリームのフレームの順序位置と、要求されている前記メディアストリームのフレームの順序位置との間のフレーム遅延距離を表し、前記フレーム遅延時間は、前記遅延したフレームの数を前記メディア受信ユニットが再生するための通常の再生時間を表す、受信するステップと、
    前記応答メッセージで搬送される前記メディア遅延を低減するための前記情報に従って、前記第2のメディアサービスの前記メディアストリームに対して高速化処理を実行するステップと
    をさらに含むことを特徴とする、方法。
  6. 前記メディア受信ユニットが前記メディア遅延を低減するための前記情報がさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む、請求項5に記載の方法。
  7. 前記第2のメディアサービスの前記メディアストリームに対する前記高速化処理を実行する前記ステップが、
    前記第2のメディアサービスの前記メディアストリームの再生を、ある間隔でのメディアフレームの処理、メディアフレームの高速転送およびメディアフレームの高速復号のうちの任意の1つまたは組合せによって高速化するステップを含む、請求項5または6に記載の方法。
  8. 前記メディア切替要求がさらに、前記メディア処理ユニットに、前記メディア遅延を低減するための前記情報を返すように命令するための命令情報を含む、請求項5または6に記載の方法。
  9. 前記遅延したフレームの数は、前記フレーム遅延距離と前記メディア受信ユニットの固有のメディア再生フレーム遅延との和を表す、請求項1に記載の方法。
  10. 前記フレーム遅延時間は、前記遅延したフレームの数を前記メディア受信ユニットが再生するための通常の再生時間と前記メディア受信ユニットの固有のメディア再生時間遅延との和を表す、請求項1または9に記載の方法。
  11. メディア遅延を低減するためのメディア処理ユニットであって、
    メディア受信ユニットから送信される、第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求を受信するように構成される第1の受信モジュールを含み、
    前記メディア切替要求に従って、前記第2のメディアサービスのメディアストリームを前記メディア受信ユニットに送信し、前記メディア切替要求に従って、応答メッセージを前記メディア受信ユニットに送信するように構成される通知モジュールをさらに含み、前記応答メッセージが、前記メディア受信ユニットが前記メディア遅延を低減するための情報を含み、前記メディア受信ユニットが前記メディア遅延を低減するための前記情報が、遅延したフレームの数およびフレーム遅延時間を含み、前記遅延したフレームの数は、受信されることになる前記メディアストリームのフレームの順序位置と、要求されている前記メディアストリームのフレームの順序位置との間のフレーム遅延距離を表し、前記フレーム遅延時間は、前記遅延したフレームの数を前記メディア受信ユニットが再生するための通常の再生時間を表し、前記応答メッセージによって、前記メディア受信ユニットが、前記メディア遅延を低減するための前記情報を含む前記受信されたメッセージに従って、前記第2のメディアサービスの前記メディアストリームに対して、メディア高速化処理を実行することを特徴とする、装置。
  12. 前記メディア受信ユニットが前記メディア遅延を低減するための前記情報がさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む、請求項11に記載のメディア処理ユニット。
  13. 前記第2のメディアサービスの前記メディアストリームを、ユニキャストまたはマルチキャストを通じて前記メディア受信ユニットに迅速に送信するように構成される第1の送信モジュールをさらに含む、請求項11または12に記載のメディア処理ユニット。
  14. 前記メディア切替要求がさらに、メディア処理ユニットに、前記メディア遅延を低減するための前記情報を返すように命令するための命令情報を含む、請求項11または12に記載のメディア処理ユニット。
  15. メディア遅延を低減するためのメディア受信ユニットであって、
    第1のメディアサービスから第2のメディアサービスに切り替えるための、メディア切替要求をメディア処理ユニットに送信するように構成される第2の送信モジュールを含み、
    前記メディア処理ユニットによって返される前記第2のメディアサービスのメディアストリームを受信し、前記メディア切替要求に従って、前記メディア処理ユニットによって返される応答メッセージを受信するように構成される第2の受信モジュールであって、前記応答メッセージが、メディア受信ユニットによって前記メディア遅延を低減するための情報を搬送し、前記情報が、遅延したフレームの数およびフレーム遅延時間を含み、前記遅延したフレームの数は、受信されることになる前記メディアストリームのフレームの順序位置と、要求されている前記メディアストリームのフレームの順序位置との間のフレーム遅延距離を表し、前記フレーム遅延時間は、前記遅延したフレームの数を前記メディア受信ユニットが再生するための通常の再生時間を表す、第2の受信モジュールと、
    前記応答メッセージで搬送される前記メディア遅延を低減するための前記情報に従って、前記第2のメディアサービスの前記メディアストリームに対して高速化処理を実行するように構成される、処理モジュールと
    をさらに含むことを特徴とする、装置。
  16. 前記メディア受信ユニットが前記メディア遅延を低減するための前記情報がさらに、フレームレート、メディアストリームの送信レートまたは送信レートの乗数、およびフレーム廃棄またはフレームジャンプ間隔のうちの任意の1つまたは組合せを含む、請求項15に記載のメディア受信ユニット。
  17. 前記メディア切替要求がさらに、前記メディア処理ユニットに、前記メディア遅延を低減するための前記情報を返すように命令するための命令情報を含む、請求項15または16に記載のメディア受信ユニット。
  18. 請求項9〜12のいずれか一項に記載のメディア処理ユニットおよび請求項15〜17のいずれか一項に記載のメディア受信ユニットを含む、メディア遅延を低減するためのシステム。
  19. プログラムは、請求項1〜4のいずれか一項に記載の方法をコンピュータに実行させる、前記プログラムを記録して有するコンピュータ読取可能な記憶媒体。
JP2012515346A 2009-06-30 2010-06-19 メディア遅延を低減するための方法、装置およびシステム Expired - Fee Related JP5366107B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910108543.4 2009-06-30
CN200910108543.4A CN101938456B (zh) 2009-06-30 2009-06-30 一种减小媒体延迟的方法、设备及***
PCT/CN2010/074110 WO2011000270A1 (zh) 2009-06-30 2010-06-19 一种减小媒体延迟的方法、设备及***

Publications (2)

Publication Number Publication Date
JP2012530430A JP2012530430A (ja) 2012-11-29
JP5366107B2 true JP5366107B2 (ja) 2013-12-11

Family

ID=43391591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012515346A Expired - Fee Related JP5366107B2 (ja) 2009-06-30 2010-06-19 メディア遅延を低減するための方法、装置およびシステム

Country Status (9)

Country Link
US (1) US8607286B2 (ja)
EP (1) EP2451157A4 (ja)
JP (1) JP5366107B2 (ja)
CN (1) CN101938456B (ja)
BR (1) BRPI1014100B1 (ja)
CA (1) CA2761846C (ja)
IN (1) IN2011KN04774A (ja)
MX (1) MX2011012652A (ja)
WO (1) WO2011000270A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2508769B (en) * 2011-12-05 2014-10-22 Ibm Simulation execution method, program and system
US9549024B2 (en) 2012-12-07 2017-01-17 Remote Media, Llc Routing and synchronization system, method, and manager
EP3962089A1 (en) * 2014-06-18 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) Dependent random access point pictures
WO2015192991A1 (en) * 2014-06-18 2015-12-23 Telefonaktiebolaget L M Ericsson (Publ) Random access in a video bitstream
US20170085931A1 (en) * 2015-09-22 2017-03-23 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing content thereof
CN108353073A (zh) * 2015-11-12 2018-07-31 华为技术有限公司 用于直播电视的帧同步技术
KR102271686B1 (ko) * 2016-08-29 2021-07-01 상하이 지아오통 유니버시티 이종 네트워크 기반의 멀티미디어 자원 동기화 푸시 방법
CN107801103B (zh) 2016-08-29 2020-04-03 上海交通大学 异构网络下基于网络状况的多媒体资源自适应同步方法
US10904540B2 (en) * 2017-12-06 2021-01-26 Avago Technologies International Sales Pte. Limited Video decoder rate model and verification circuit
CN110113621B (zh) * 2018-02-01 2023-03-03 腾讯科技（深圳）有限公司 媒体信息的播放方法和装置、存储介质、电子装置
CN111586460A (zh) * 2020-04-03 2020-08-25 深圳市天威视讯股份有限公司 一种频道切换方法
CN114449344B (zh) * 2022-02-03 2024-02-09 百果园技术(新加坡)有限公司 视频流传输方法、装置、电子设备及存储介质
CN115396702B (zh) * 2022-05-23 2024-01-23 广州市奥威亚电子科技有限公司 视频发送方法、装置、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591013B1 (en) * 1999-03-22 2003-07-08 Broadcom Corporation Switching between decoded image channels
US7562375B2 (en) 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
CN100389393C (zh) * 2004-04-26 2008-05-21 联想(北京)有限公司 一种测试计算机播放图像存储介质是否正常的方法
US20090064242A1 (en) * 2004-12-23 2009-03-05 Bitband Technologies Ltd. Fast channel switching for digital tv
US7804831B2 (en) 2005-04-01 2010-09-28 Alcatel Lucent Rapid media channel changing mechanism and access network node comprising same
US7965771B2 (en) * 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
US20080022320A1 (en) * 2006-06-30 2008-01-24 Scientific-Atlanta, Inc. Systems and Methods of Synchronizing Media Streams
JP4347322B2 (ja) 2006-07-14 2009-10-21 ソニー株式会社 受信装置および方法、並びにプログラム
US8031701B2 (en) 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join
CN101155298B (zh) * 2006-09-25 2012-07-04 华为技术有限公司 一种实现网络电视频道快速切换的方法及***
US8571111B2 (en) * 2006-12-20 2013-10-29 Intel Corporation Method and apparatus for switching program streams using a fixed speed program stream buffer coupled to a decoder
US8769591B2 (en) 2007-02-12 2014-07-01 Cisco Technology, Inc. Fast channel change on a bandwidth constrained network
CN101267538B (zh) * 2007-03-15 2010-09-08 华为技术有限公司 一种切换网络电视频道的方法和***
CN101137043B (zh) * 2007-04-13 2010-04-21 华为技术有限公司 流媒体频道切换的方法、***及装置
CN101682753B (zh) * 2007-06-13 2013-05-22 汤姆森许可贸易公司 减小频道切换时间的***和方法
CN101316357B (zh) * 2008-06-30 2011-09-14 华为技术有限公司 一种频道切换的方法和终端
US7830908B2 (en) * 2008-11-03 2010-11-09 Cisco Technologies, Inc. Systems and methods of reducing delay in decoding

Also Published As

Publication number Publication date
CN101938456B (zh) 2014-03-12
CA2761846A1 (en) 2011-01-06
JP2012530430A (ja) 2012-11-29
EP2451157A1 (en) 2012-05-09
WO2011000270A1 (zh) 2011-01-06
BRPI1014100B1 (pt) 2021-08-24
US8607286B2 (en) 2013-12-10
IN2011KN04774A (ja) 2015-07-10
CN101938456A (zh) 2011-01-05
EP2451157A4 (en) 2013-03-06
MX2011012652A (es) 2012-01-12
BRPI1014100A2 (pt) 2016-04-12
US20120072948A1 (en) 2012-03-22
CA2761846C (en) 2014-12-02

Similar Documents

Publication Publication Date Title
JP5366107B2 (ja) メディア遅延を低減するための方法、装置およびシステム
US10826958B2 (en) Content server media stream management
US11838563B2 (en) Switching between transmitting a preauthored video frame and a composited video frame
US20090265743A1 (en) Video on demand control method, client device and switching control apparatus
CN101753973B (zh) 一种频道切换方法、装置和***
WO2011153868A1 (zh) 频道切换方法、装置及***
WO2009039741A1 (fr) Procédé et dispositif permettant la commutation de chaînes iptv
WO2010054543A1 (zh) 一种频道切换方法、装置和***
US8286217B2 (en) Method and system for fast channel change
EP2545708B1 (en) Method and system for inhibiting audio-video synchronization delay
WO2008148333A1 (fr) Système et procédé de traitement d&#39;un flux vidéo
EP2415261A1 (en) Methods and arrangements for channel change in an iptv network
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
WO2008141542A1 (fr) Procédé, dispositif vidéo et système pour l&#39;affichage d&#39;informations au moment d&#39;une commutation de canaux
CN101860471B (zh) 一种媒体流切换方法、装置和***
CN102149021B (zh) 网络时移的处理方法、装置及***
KR101992533B1 (ko) 실시간 iptv 방송에서의 채널 전환 시스템
CN106937155B (zh) 接入设备、因特网协议电视iptv***和频道切换方法
WO2009080117A1 (en) Method and apparatus for distributing media over a communications network

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130903

R150 Certificate of patent or registration of utility model

Ref document number: 5366107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees