JP4188402B2 - Video receiver - Google Patents
Video receiver Download PDFInfo
- Publication number
- JP4188402B2 JP4188402B2 JP2006514365A JP2006514365A JP4188402B2 JP 4188402 B2 JP4188402 B2 JP 4188402B2 JP 2006514365 A JP2006514365 A JP 2006514365A JP 2006514365 A JP2006514365 A JP 2006514365A JP 4188402 B2 JP4188402 B2 JP 4188402B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- time
- display
- display time
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 230000003111 delayed effect Effects 0.000 claims description 18
- 238000002360 preparation method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 239000000725 suspension Substances 0.000 claims 2
- 238000007726 management method Methods 0.000 description 59
- 230000005540 biological transmission Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 9
- 230000003139 buffering effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/28—Flow control; Congestion control in relation to timing considerations
- H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この発明は、ネットワークを介して伝送されてきた映像データの受信時に発生する遅延時間を軽減して映像再生を行う映像受信装置に関するものである。 The present invention relates to a video receiving apparatus that reproduces video while reducing a delay time generated when video data transmitted via a network is received.
近年、ネットワークを経由させて、送信側より映像・音声の高能率符号化の標準ＭＰＥＧ（Moving Picture Experts Group）−４ビデオ等に代表される映像データを伝送し、受信側においてこれを復号化して映像再生を行う映像伝送システムが実現されるようになった。このようなシステムでは、受信側で復号化後、送信側における映像サンプリング時のタイムスタンプに合わせて映像データを出力させている。この受信再生方法では、第１映像フレーム目として伝送する映像データのサイズがネットワークの伝送速度に比べて大きい場合、その映像フレームの伝送遅延が原因となり再生側の表示に遅延が生じ、その後の映像ストリームが全てその遅延を有するまま再生されることになっていた。例えば第１映像フレーム目のサイズをＳｖ１とし、ネットワーク伝送速度をＲｖとすると、第１映像フレームのネットワーク伝送時間はＳｖ１／Ｒｖとなる。通常、第１映像フレームが再生開始可能となった時間を起点として映像表示を開始し、続く映像フレームは各映像フレームに設定されている表示時間に合わせて表示を行っている。このことにより、撮影した映像と同じ動きの映像の再生がネットワーク経由で可能となる。 In recent years, video data typified by MPEG (Moving Picture Experts Group) -4 video and the like for high-efficiency video / audio coding is transmitted from a transmission side via a network, and this is decoded on the reception side. Video transmission systems for video playback have been realized. In such a system, after decoding on the reception side, video data is output in accordance with a time stamp at the time of video sampling on the transmission side. In this reception / playback method, when the size of the video data transmitted as the first video frame is larger than the transmission speed of the network, a delay occurs in the display on the playback side due to the transmission delay of the video frame, and the subsequent video All streams were to be played with that delay. For example, if the size of the first video frame is Sv1 and the network transmission rate is Rv, the network transmission time of the first video frame is Sv1 / Rv. Usually, video display is started from the time when the first video frame can be reproduced, and the subsequent video frames are displayed in accordance with the display time set for each video frame. As a result, it is possible to reproduce a video having the same motion as the shot video via the network.
しかし、上記状況下では、第１フレーム目の映像については、先頭のパケットが到着してから上記ネットワーク伝送時間Ｓｖ１／Ｒｖ後に全てのデータが揃うことになり、送信側遅延やデコード遅延とは別に少なくともＳｖ１／Ｒｖの遅延が生じることになる。Ｓｖ１≪Ｒｖの場合はその遅延は小さいが、Ｓｖ１≫Ｒｖの場合は遅延が大きく、さらに第１フレーム目の表示時間を起点として表示タイミングを計算する後続の映像フレーム全てがその遅延を有して再生されることになる。このような現象はライブ配信等のリアルタイム性が要求される場合においては大きな問題となっていた。 However, under the above situation, for the first frame of video, all data will be gathered after the network transmission time Sv1 / Rv after the arrival of the first packet, separately from the transmission side delay and decoding delay. A delay of at least Sv1 / Rv will occur. In the case of Sv1 << Rv, the delay is small, but in the case of Sv1 >> Rv, the delay is large, and all subsequent video frames for calculating the display timing from the display time of the first frame have the delay. Will be played. Such a phenomenon has been a serious problem when real-time performance such as live distribution is required.
この問題を解決するのに適用できそうな方法として、特開平１１−２６２００８号公報（文献１とする。）に記載された技術がある。文献１に記載されているものは、符号化ストリームのビットレートが変動するシステムにおいて、ビットレートが低く設定された場合にも遅延時間を短く維持可能とする符号化装置である。この技術は、主にＭＰＥＧをターゲットにしており、ストリームのビットレートが低く設定された場合にはＶＢＶ（Video Buffering Verifier）バッファ容量を減少させることにより、ストリーム配信中にビットレートが低ビットレートに変更された場合でも、復号化側における遅延が増加することなく映像データをストリーム配信可能とするものである。 As a method that can be applied to solve this problem, there is a technique described in Japanese Patent Laid-Open No. 11-262008 (referred to as Document 1). Document 1 describes an encoding apparatus that can maintain a short delay time even when the bit rate is set low in a system in which the bit rate of the encoded stream varies. This technology is mainly targeted for MPEG, and when the bit rate of the stream is set low, the bit rate is lowered during stream delivery by reducing the VBV (Video Buffering Verifier) buffer capacity. Even if it is changed, the video data can be streamed without increasing the delay on the decoding side.
文献１に記載された技術を上記問題点を解決するために適用する場合、最大許容遅延時間で復号化可能なＶＢＶバッファ量を設定し、そのＶＢＶバッファサイズを使用して送信側で映像を符号化することで遅延時間を最大許容遅延時間内に抑えることが可能である。しかしながら、アプリケーションによってはＶＧＡ（Video Graphics Array；640×480のサイズの表示解像度）レベルの比較的大きな画面の映像を低帯域ネットワークで送信するシステム要求も存在するので、そのような場合には最大許容遅延時間を満足するようにＶＢＶバッファを設定すると画質面で問題が生じる可能性がある。特に、第１映像フレーム目の画像はイントラフレームである可能性が高いため、最大許容遅延時間を満たすＶＢＶバッファ容量で符号化したストリームの場合、画像の劣化が予想される。 When the technique described in Document 1 is applied to solve the above problem, a VBV buffer amount that can be decoded with the maximum allowable delay time is set, and video is encoded on the transmission side using the VBV buffer size. Therefore, the delay time can be suppressed within the maximum allowable delay time. However, depending on the application, there is a system requirement to transmit a video with a relatively large screen of VGA (Video Graphics Array; 640 × 480 size) level over a low-bandwidth network. If the VBV buffer is set so as to satisfy the delay time, there may be a problem in image quality. In particular, since the image of the first video frame is likely to be an intra frame, in the case of a stream encoded with a VBV buffer capacity that satisfies the maximum allowable delay time, image degradation is expected.
この発明は、上記のような課題を解決するためになされたもので、受信側でデコード画像の表示時間管理を行うことにより、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする映像受信装置を得ることを目的とする。 The present invention has been made in order to solve the above-described problems. By managing the display time of the decoded image on the reception side, the VBV buffer capacity is not limited in accordance with the network bandwidth, and the bandwidth is low. It is an object of the present invention to provide a video receiving apparatus that can be reproduced with reduced delay time even when receiving video data via the above network.
この発明に係る映像受信装置は、符号化された映像データとこの映像データの表示タイムスタンプをパケットによりネットワークを介して受信し、第１パケットの受信時に第１パケット到着通知を出力すると共に、各パケットを順次出力する映像受信部と、順次入力されるパケットから１映像フレーム分ごとの映像データを復号して該当映像フレームの表示タイムスタンプと共に出力する映像復号化部と、映像復号化部からの映像データと該当映像フレームの表示タイムスタンプを受信した際、入手した現在の表示時間と表示タイムスタンプに基づいて映像の表示を開始すると共に、表示開始通知を出力する映像出力部と、映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、第１パケット到着通知を受けると時間計測を開始し、当該計測値が前記最大許容遅延時間に達する前に映像出力部からの表示開始通知を受信した場合、および第１パケット到着通知を受けてから表示開始通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また映像出力部からの問い合わせに対して現在の表示時間を返す時間管理部とを備え、映像出力部は、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始するようにしたものである。 The video receiving device according to the present invention receives encoded video data and a display time stamp of the video data via a network by a packet, and outputs a first packet arrival notification when receiving the first packet, A video receiving unit that sequentially outputs packets, a video decoding unit that decodes video data for each video frame from sequentially input packets, and outputs the video data together with a display time stamp of the video frame, and a video decoding unit When the video data and the display time stamp of the video frame are received, the video display is started based on the obtained current display time and the display time stamp, and a video output unit that outputs a display start notification; The maximum allowable delay time from the start of reception until the display of the first video frame is set in advance. When the display arrival notification is received, the time measurement starts, and when the display start notification is received from the video output unit before the measured value reaches the maximum allowable delay time, the display is performed after receiving the first packet arrival notification. Start display time management that measures display time starting from the earlier of the maximum allowable delay time before receiving the start notification, which is the earlier one, and in response to inquiries from the video output unit A time management unit for returning the display time, and the video output unit starts displaying video data of the next video frame based on the measured display time.
このことによって、第１映像フレームは伝送時間が大きく、最大許容遅延時間を越えて復号化された場合でも、第２映像フレーム以降は表示時間通りに表示することが可能となり、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする効果がある。 As a result, even if the first video frame has a long transmission time and is decoded beyond the maximum allowable delay time, the second and subsequent video frames can be displayed according to the display time, and the VBV buffer capacity can be increased. Even when video data is received via a low-band network without being limited in accordance with the band, there is an effect that the reproduction can be performed with a reduced delay time.
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
実施の形態１と実施の形態２では、映像としてＭＰＥＧ−４ビデオを使用し、ＩＰネットワーク上でＩＥＴＦ（Internet Engineering Task Force） ＲＦＣ（Request for Comments）３５５０で規定されているＲＴＰ（Real-time Transport Protocol）を使用して映像や音声のリアルタイムデータを伝送する映像伝送システムを例に説明を行う。本例ではＭＰＥＧ−４の１ＶＯＰ（Video Object Plane）は複数のＲＴＰ（Real-time Transport Protocol）パケットに分割されて送信され、ＭＰＥＧ−４ビデオをＲＴＰパケットに格納する方式についてはＩＥＴＦ ＲＦＣ３０１６で規定されている形式を使用するものとする。Hereinafter, in order to describe the present invention in more detail, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
In the first embodiment and the second embodiment, MPEG-4 video is used as a video, and RTP (Real-time Transport) defined by IETF (Internet Engineering Task Force) RFC (Request for Comments) 3550 on the IP network. A video transmission system that transmits real-time video and audio data using the Protocol will be described as an example. In this example, 1 VOP (Video Object Plane) of MPEG-4 is transmitted after being divided into a plurality of RTP (Real-time Transport Protocol) packets, and a method for storing MPEG-4 video in RTP packets is defined by IETF RFC3016. Shall be used.
図１はこの発明の実施の形態１および実施の形態２による映像受信装置が適用された映像伝送システムの基本構成を示すブロック図である。このシステムは、映像送信装置１０１、映像受信装置１０２、カメラ１０３、モニタ１０４およびネットワーク１０５から構成されている。
図において、カメラ１０３から取り込まれた映像データは、映像送信装置１０１でＭＰＥＧ−４ビデオに符号化され、ＲＴＰパケットによりネットワーク１０５を介して映像受信装置１０２に送信される。このとき、ＲＴＰパケットには、映像データを構成する映像フレームごとのサンプリング時間を表すタイムスタンプも共に組み込まれる。このタイムスタンプは、再生する際の表示時間として用いられる。映像受信装置１０２では、受信したＲＴＰパケットから得られる符号化映像データを復号し、復号された映像データに対応する映像再生をモニタ１０４で行う。FIG. 1 is a block diagram showing a basic configuration of a video transmission system to which video receivers according to Embodiments 1 and 2 of the present invention are applied. This system includes a
In the figure, video data captured from the
図２は実施の形態１による映像受信装置１０２の機能構成を示すブロック図である。図において、映像受信装置１０２は、映像受信部２０１、映像復号化部２０２、映像出力部２０３および時間管理部２０４を備えている。なお、時間管理部２０４は、ここでは機能の説明上、映像出力部２０３と別に示されているが、映像出力部２０３内に含まれていてもよく、このことは実施の形態２においても同様である。
図２において、時間管理部２０４では、映像データを受信開始後から第１映像フレーム目の表示を行うまでの時間に対する最大許容値を表す最大許容遅延時間を予め設定しておく。映像受信部２０１は、ネットワーク１０５を通じて映像送信装置１０１から送信されたＲＴＰパケットを受信する。映像受信部２０１では、第１パケットを受信すると、時間管理部２０４に対し第１パケット到着通知を送り、パケットの順序入れ替えを保証するためにバッファリングを行う。バッファリング後、映像受信部２０１は、第１パケットから順に映像復号化部２０２にパケットを入力していく。映像復号化部２０２では、入力されたパケットが１映像フレーム分揃うと、１映像フレーム分の復号した映像データを生成し、表示用のタイムスタンプと共に映像出力部２０３に渡す。FIG. 2 is a block diagram showing a functional configuration of the
In FIG. 2, the
映像出力部２０３では、映像復号化部２０２からの映像データと表示用のタイムスタンプを受信すると、時間管理部２０４に対して表示開始通知を送り、モニタ１０４で映像の表示を開始する。ここで、映像の表示は、映像復号化部２０２から入力された表示用のタイムスタンプが示す表示時間のタイミングに合わせて行われるものとする。現在の表示時間については定期的に映像出力部２０３が時間管理部２０４に問い合わせることで知ることができるようになっている。時間管理部２０４は、第１パケット到着通知を受けてから表示開始通知を受けるまでの間に、設定した最大許容遅延時間が経過した場合、表示開始通知が到着する前であっても表示時間の時間管理を開始する。
When the
次に、第１パケット受信から表示時間管理開始までの時間管理部２０４の動作を図３のフローチャートで説明する。
映像受信部２０１から第１パケット到着通知を受信すると（ステップＳＴ１）、時間管理部２０４は内蔵した表示遅延タイマにより時間計測を開始する（ステップＳＴ２）。この表示遅延タイマの計測値が予め設定されている最大許容遅延時間を越えたかどうかを監視する（ステップＳＴ３）。計測値が最大許容遅延時間に達する前に映像出力部２０３より表示開始通知を受信した場合（ステップＳＴ４）、表示遅延タイマは時間計測を終了し、その時点を起点に内蔵した表示時間タイマを用いて表示時間の計測を行う表示時間管理を開始する（ステップＳＴ５）。この場合、表示開始通知を出した映像出力部２０３は映像の表示を開始する。Next, the operation of the
When the first packet arrival notification is received from the video reception unit 201 (step ST1), the
一方、ステップＳＴ３において、映像出力部２０３から表示開始通知を未だ受信していない状態で表示遅延タイマが予め設定されている最大許容遅延時間に達した場合、その時点で表示時間タイマによる表示時間を計測する表示時間管理を開始する（ステップＳＴ５）。その後、映像出力部２０３から表示開始通知を受信した場合、時間管理部２０４は、すでに表示時間管理が開始されている旨と表示時間タイマの現在の表示時間とを映像出力部２０３へ応答する。これにより映像出力部２０３は最大許容遅延時間を超えていることを認識し、第１映像フレーム分を受け取った時点で映像の表示を開始する。
On the other hand, when the display delay timer reaches the preset maximum allowable delay time in a state where the display start notification has not yet been received from the
映像の表示を開始した後、映像出力部２０３は、定期的に時間管理部２０４に問い合わせることにより現在の表示時間を獲得し、復号映像データを映像復号化部２０２から受け取った時点で、その復号映像データの表示用のタイムスタンプが現在の表示時間よりも以前の値の場合には直ちに映像の表示を実施する。
After starting the video display, the
図４は、映像送信装置１０１のカメラ１０３により取り込まれた各映像フレームが映像受信装置１０２に伝送され、表示されるまでの状況を簡易的に示したタイムチャートである。９０１は時間軸を表している。一方、図５は、図４に対比させたタイムチャートで、最大許容遅延時間の設定機能を持たない映像受信装置を用いた場合の状況を示したものである。１００１は時間軸、１００２は最大許容遅延時間の設定機能を有さない映像受信装置である。図４と図５を用いてこの発明の効果について説明する。
FIG. 4 is a time chart schematically showing a situation until each video frame captured by the
両図において、映像送信装置１０１は、カメラ１０３から入力された映像をサンプリングし、符号化し、ネットワークを介して映像送信装置に送信する。ＶＯＰは映像フレームを表しており、ＶＯＰ１のサンプリング時間を表すタイムスタンプＴＳは０、ＶＯＰ２のタイムスタンプＴＳはＴ１、ＶＯＰ３のタイムスタンプＴＳはＴ２、ＶＯＰ４のタイムスタンプＴＳはＴ３である。映像送信装置１０１において、時間０にサンプリングした映像を符号化し、映像フレームＶＯＰ１を取得したとする。この映像フレームＶＯＰ１を、映像送信装置１０１からネットワーク１０５を介して映像受信装置１０２に伝送すると、ネットワーク伝送時間としてＴ１時間費やす。ここでは、映像フレームＶＯＰ１は複数のＲＴＰパケットに分割され伝送されているものとする。次の符号化される映像はＴ１時間後の映像となり、符号化した映像フレームはＶＯＰ２である。同様にＶＯＰ３、ＶＯＰ４も符号化されていく。
In both figures, the
映像送信装置１０１から送信された信号が図５に示される最大許容遅延時間の設定機能を持たない映像受信装置１００２で受信された場合、映像受信装置１００２は、映像フレームＶＯＰ１の全てのＲＴＰパケットを受信すると、映像フレームのデータを復号し、表示可能になった時点で表示時間の計測を行う表示時間管理を開始する。そのため、基本的には映像フレームＶＯＰ２はＶＯＰ１の表示後のＴ１時間後に表示が行われ、映像フレームＶＯＰ３はＶＯＰ２表示後のＴ２時間後に表示が実施される。このため、第１映像フレームＶＯＰ１に生じた遅延は、ＶＯＰ２以降の映像フレームにも影響を与え、ＶＯＰ２以降の映像フレームもその遅延を有したまま再生を続けることになる。
When the signal transmitted from the
一方、映像送信装置１０１から送信された信号が図４に示される最大許容遅延時間の設定を有する映像受信装置１０２で受信された場合、映像受信装置１０２は、映像フレームＶＯＰ１をペイロードに格納する先頭パケットを受信したところで、表示遅延タイマにより最大遅延時間の計測を開始する。この例では、第１映像フレームＶＯＰ１は伝送速度に対して大きなサイズとなっており、ＶＯＰ１の最初のパケットを受信開始して、ＶＯＰ１の最終パケットを受信し終える前に最大許容遅延時間を経過してしまうことになる。そのため、映像フレームＶＯＰ１を表示する前に表示時間管理を開始する。この場合、映像フレームＶＯＰ１が表示可能になった時点では、既に表示時間管理は開始されているため、ＶＯＰ１は直ちに表示される。続く映像フレームＶＯＰ２では、ネットワーク伝送時間に対して大きな映像フレームではなく、その映像フレームに設定されている表示時間より前に復号が可能であるため、設定された表示時間通りに表示される。その後、映像フレームＶＯＰ３、ＶＯＰ４、…と順次それぞれの設定された表示時間通りに表示することが可能である。
On the other hand, when the signal transmitted from the
以上のように、第１映像フレームＶＯＰ１は伝送時間が最大許容遅延時間より長かったため管理している平均的な表示時間より遅れて表示を開始するが、第２映像フレームＶＯＰ２以降は表示時間通りに表示することが可能となる。つまり、伝送速度に対してサイズが大きい映像フレームが第１映像フレーム目に存在した場合でも、第１映像フレームの映像表示は最大許容遅延時間分より遅延するが、その後システムで想定している平均的なサイズの映像フレームで構成される映像が送信される場合には、第１映像フレーム目の遅延は後続の映像フレームの表示時間には影響せず、映像ストリームの第１パケットを受信してから最大でも最大許容遅延時間の遅延で時間管理をしながら映像表示を行うことが可能となる。なお、映像出力部２０３において、表示時間に遅れて復号された映像フレームについては復号のみ行い、表示を実施しないことも可能である。その場合、この発明では、映像フレーム落ちは発生するが、遅れて到着した映像フレームを表示したことにより生じる不自然な速度の動きの発生を防止することも可能となる。
As described above, since the transmission time of the first video frame VOP1 is longer than the maximum allowable delay time, the display starts after the average display time managed, but after the second video frame VOP2, the display time is in accordance with the display time. It is possible to display. That is, even if a video frame having a size larger than the transmission speed exists in the first video frame, the video display of the first video frame is delayed by the maximum allowable delay time, but the average assumed by the system thereafter When a video composed of video frames of a certain size is transmitted, the delay of the first video frame does not affect the display time of the subsequent video frame, and the first packet of the video stream is received. Therefore, video display can be performed while managing the time with a maximum allowable delay time. Note that in the
以上のように、この実施の形態１によれば、時間管理部２０４において、映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、映像受信部２０１から第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像出力部２０３からの表示開始通知を受信した場合、および第１パケット到着通知を受けてから表示開始通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また映像出力部２０３からの問い合わせに対して現在の表示時間を返すようにし、映像出力部２０３が、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始するようにしている。したがって、第１映像フレームは伝送時間が大きく、最大許容遅延時間を越えて復号化された場合でも、第２映像フレーム以降は表示時間通りに表示することが可能となる。そのため、ＶＢＶバッファ容量をネットワーク帯域に対応して制限することなく、低帯域のネットワークを介して映像データを受信する場合でも遅延時間を少なくして再生可能にする。
As described above, according to the first embodiment, in the
実施の形態２．
図６は実施の形態２による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置１０２の構成は、実施の形態１の図２と比較すると、表示時間変換部３０１が追加され、映像出力部２０３の代わりに映像出力部３０３が設けられている。この映像出力部３０３は、上記映像出力部２０３の機能に加え、映像表示前に表示する映像フレームの表示用のタイムスタンプと現在の表示時間を表示時間変換部３０１に渡す機能を有している。表示時間変換部３０１は、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータを用いタイムスタンプと現在の表示時間に遅れによる差がある場合、その後順次受信される映像フレームのタイムスタンプを現在の表示時間と一致するまで徐々に補正していく手段である。以下の説明において、図２に相当する部分に対する重複説明を原則として省略するものとする。Embodiment 2. FIG.
FIG. 6 is a block diagram showing a functional configuration of the video receiving apparatus according to the second embodiment. Compared with FIG. 2 of the first embodiment, the configuration of the
映像出力部３０３は、映像復号化部２０２で復号された映像フレームを受信すると、時間管理部２０４に現在の表示時間を問い合わせる。映像出力部３０３は、得られた現在の表示時間を、受信した映像フレームの表示用のタイムスタンプと共に表示時間変換部３０１に渡す。表示時間変換部３０１は、受け取ったタイムスタンプを現在の表示時間と比較し、そのタイムスタンプが現在の表示時間よりも遅れている場合には、遅延時間ΔＴｄを求め、その遅延時間ΔＴｄと現在の表示時間Ｔｍを記憶し、タイムスタンプと現在の表示時間についてはそのまま映像出力部３０３に対して返す。映像出力部３０３は、その映像フレームをモニタ１０４に表示させ、その後、続く次の映像フレームを映像復号化部２０２より受信すると、時間管理部２０４に現在の表示時間を問い合わせ、同様に表示時間変換部３０１にその映像フレームの表示用のタイムスタンプＴＳｐと現在の表示時間Ｔｐを渡す。
When receiving the video frame decoded by the
ここで、表示時間変換部３０１には、表示時間に遅れた映像フレームが存在した場合にその表示時間を徐々に戻すための時間パラメータＴｒが予め設定されているものとする。表示時間変換部３０１では、記憶していた遅延時間ΔＴｄを時間パラメータＴｒで割った値（ΔＴｄ÷Ｔｒ）を得る。次に、記憶している表示時間ＴｍとタイムスタンプＴＳｐの差分をこの（ΔＴｄ÷Ｔｒ）に乗算した値ΔＴを求め、さらにΔＴを遅延時間ΔＴｄから減じた値を計算し、映像出力部３０３から受け取ったタイムスタンプＴＳｐに（ΔＴｄ−ΔＴ）を加算した値ＴＳｐ’を補正後の表示用のタイムスタンプとして返す。この補正動作は、映像出力部３０３が復号化した映像を受け取る度に一度のみ実行する。
Here, it is assumed that the display
最終的に表示時間変換部３０１が映像出力部３０３に返す補正後の表示用のタイムスタンプＴＳｐ’の計算式は（１）、（２）式のようになる。
ΔＴ＝（ＴＳｐ−Ｔｍ）×（ΔＴｄ÷Ｔｒ） （１）
ＴＳｐ’＝ＴＳｐ＋（ΔＴｄ−ΔＴ） （２）
ここで、（ΔＴｄ−ΔＴ）が負の値になった場合には表示時間変換処理は終了し、受信した表示用のタイムスタンプをそのまま返すこととする。また、表示用のタイムスタンプＴＳｐに（ΔＴｄ−ΔＴ）を加算した値（補正後の表示用タイムスタンプＴＳｐ’）が現在の表示時間より小さかった（過去の時間を示している）場合、再度遅延時間ΔＴと現在の表示時間Ｔｍを受信した値として記憶し直す。The calculation formulas of the corrected display time stamp TSp ′ finally returned to the
ΔT = (TSp−Tm) × (ΔTd ÷ Tr) (1)
TSp ′ = TSp + (ΔTd−ΔT) (2)
Here, when (ΔTd−ΔT) becomes a negative value, the display time conversion process ends, and the received display time stamp is returned as it is. If the value obtained by adding (ΔTd−ΔT) to the display time stamp TSp (the corrected display time stamp TSp ′) is smaller than the current display time (indicating the past time), the delay is again made. The time ΔT and the current display time Tm are stored again as received values.
以上のように、この実施の形態２によれば、表示時間変換部３０１において、復号された映像フレームを順次受信した際に映像出力部３０３が時間管理部２０４から得た現在の表示時間を、対応する映像フレームのタイムスタンプと共に受信し、最初の映像フレームのタイムスタンプが現在の表示時間よりも遅れている場合にはその遅延時間を求めて現在の表示時間と共に記憶しておき、表示時間に遅れた映像フレームの当該表示時間を徐々に戻すための予め設定された所定の時間パラメータと、記憶していた遅延時間および表示時間と、次に受け取った映像フレームに関する現在の表示時間に基づいて、次に受け取ったタイムスタンプを補正し、映像出力部３０３が、表示時間変換部３０１から返される元のタイムスタンプまたは補正後のタイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしている。したがって、管理する表示時間に対し、表示時間に遅延して復号された映像フレームが存在した場合には、次映像フレーム以降の映像の表示時間を一度に正常に戻すと、動きが不自然になる可能性があるが、上記のように一定時間かけて徐々に正常な表示時間に近付けることで、自然に表示時間を元に戻すことが可能となる。
As described above, according to the second embodiment, the display
実施の形態３．
この実施の形態３では、上記各実施の形態と同様に、映像としてＭＰＥＧ−４ビデオを使用し、ＩＰネットワーク上でＩＥＴＦ ＲＦＣ３５５０で規定されているＲＴＰを使用して伝送する映像・音声伝送システムを例に説明する。また、ＭＰＥＧ−４の１ＶＯＰは複数のＲＴＰパケットに分割されて送信され、ＭＰＥＧ−４ビデオをＲＴＰパケットに格納する方式についてはＩＥＴＦ ＲＦＣ３０１６で規定されている形式を使用するものとする。なお、続く実施の形態４および実施の形態５の場合も同じ条件に適用されたものとする。Embodiment 3 FIG.
In this third embodiment, a video / audio transmission system that uses MPEG-4 video as video and transmits using RTP defined by IETF RFC3550 on the IP network, as in the above embodiments. Explained as an example. Further, one VOP of MPEG-4 is transmitted after being divided into a plurality of RTP packets, and the format defined in IETF RFC3016 is used as a method for storing MPEG-4 video in RTP packets. In the following fourth and fifth embodiments, the same conditions are applied.
図７は実施の形態３乃至実施の形態５の映像受信装置が適用される映像・音声伝送システムの基本構成を示すブロック図である。この場合の映像伝送システムは、映像送信装置４０１、映像受信装置４０２、マイク４０３、スピーカ４０４およびネットワーク１０５から構成されている。
図において、映像送信装置４０１は、カメラ１０３から入力された映像データとマイク４０３から入力された音声データを符号化し、両者を同期させて別々のポートを使用してＲＴＰでストリーミング送信を行う。映像受信装置４０２は、別々のポートで受信した映像と音声のストリームから映像データと音声データを復号し、それぞれのタイムスタンプ情報を基に同期してそれぞれモニタ１０４とスピーカ４０４に出力し、映像と音声の再生を行う。FIG. 7 is a block diagram showing a basic configuration of a video / audio transmission system to which the video receivers according to the third to fifth embodiments are applied. The video transmission system in this case includes a
In the figure, a
図８は実施の形態３による映像受信装置４０２の機能構成を示すブロック図である。図において、映像受信装置４０２は、映像受信部５０１、映像復号化部５０２、映像出力部５０３、時間管理部５０４、音声受信部５０５、音声復号化部５０６および音声出力部５０７を備えている。映像受信部５０１と映像復号化部５０２は、図２の映像受信部２０１と映像復号化部２０２と機能的に同じである。
図８において、映像受信部５０１は、映像の第１パケットを受信すると、時間管理部５０４に対し第１パケット到着通知を送る。映像復号化部５０２では、バッファリング後、映像受信部５０１から入力されるパケットが１映像フレーム分揃うと、１映像フレーム分の復号した映像データを生成し、表示用のタイムスタンプと共に映像出力部５０３に渡す。映像出力部５０３では、復号された第１映像フレームを映像復号化部５０２より受け取ると、表示準備完了通知とその第１映像フレームの表示用のタイムスタンプを時間管理部５０４に対して送る。FIG. 8 is a block diagram illustrating a functional configuration of the
In FIG. 8, when receiving the first packet of video, the
一方、音声受信部５０５は、音声パケットを受信すると、時間管理部５０４に対して第１パケットの到着通知を送り、映像と同様にバッファリングすることでパケットの順序入れ替わりを保証し、その後、音声復号化部５０６に音声パケットを出力する。音声復号化部５０６では、符号化された音声を復号化し、復号データとしてＰＣＭ（Pulse Code Modulation）データを音声出力部５０７に出力する。音声出力部５０７では、最初のＰＣＭデータを音声復号化部５０６より受信すると、時間管理部５０４に対して、表示準備完了通知と先頭のＰＣＭデータのタイムスタンプを送る。
On the other hand, when receiving the audio packet, the
時間管理部５０４では、映像と音声のタイムスタンプの同期をとる機能を有している。時間管理部５０４は、あらかじめ同一時刻を示す映像と音声のタイムスタンプの対応付けを知っており、双方の表示準備完了通知を受け取った場合、双方のタイムスタンプの内、時刻として過去を表しているタイムスタンプを起点に時間管理を開始して、その時点で、映像出力部５０３と音声出力部５０７に対して表示開始指示を返す。映像出力部５０３と音声出力部５０７は、表示開始指示を受信すると、定期的に時間管理部５０４に対して表示時間の問い合わせを行いながら同期したタイムスタンプに基づいて映像の表示と音声の再生を行う。ここで時間管理部５０４は各メディアのタイムスタンプの時刻表示に変換した値で時間情報を返すものとする。
The
また、時間管理部５０４には、図２の時間管理部２０４と同様に最大許容遅延時間が設定されている。時間管理部５０４は、映像または音声のいずれか一方の第１パケット到着通知を受信すると内蔵の表示遅延タイマにより時間計測を開始し、当該第１パケット到着通知を受けてから映像表示準備完了通知を受けるまでの間に、設定した最大許容遅延時間が経過した場合、映像の表示準備完了通知が到着する前であっても、その時点で、内蔵の表示時間タイマを用いて表示時間の計測を行う表示時間管理を開始する。この表示時間管理の開始時点では、既に音声出力部５０７からの音声の表示準備完了通知を受信しているので、表示開始指示を音声出力部５０７に送り音声の第１パケットのタイムスタンプを起点に表示時間管理を開始して、映像の表示と音声の再生を行わせる。
In the
以上のように、この実施の形態３によれば、時間管理部５０４において、最大許容遅延時間の設定に加え、かつ映像と音声のタイムスタンプの同期関係を知っており、映像または音声のいずれか一方の第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像側の表示準備完了通知を受けた場合、および第１パケット到着通知を受けてから映像側の表示準備完了通知を受ける前に最大許容遅延時間を経過した場合のいずれか早い方を起点にして表示時間の計測を行う表示時間管理を開始し、当該表示時間管理の開始時点に表示開始指示を映像出力部と前記音声出力部に対して送り、また前記映像出力部と前記音声出力部からの定期的な問い合わせに対して現在の表示時間を返すようにし、映像出力部５０３と音声出力部５０７は、前記表示開始指示をそれぞれ受信すると、タイムスタンプと現在の表示時間に基づいて映像の表示および音声の再生を開始するようにしている。
As described above, according to the third embodiment, in addition to setting the maximum allowable delay time, the
通常、音声の１サンプルはネットワーク帯域と比較してネットワーク伝送時間が問題になるほど大きなサイズになることは無いため、この実施の形態３でも、最大許容遅延時間の処理対象は映像ストリームについて行うことになる。したがって、伝送速度に対してサイズが大きい映像フレームが第１映像フレーム目に存在した場合には、その第１映像フレームの映像表示は最大許容遅延時間分より遅延して行われる。そのため、本来対応している音声と同期しないことになる。しかし、その後、この映像・音声伝送システムで想定している平均的なサイズの映像フレームで構成される映像が送信される場合、第１映像フレーム目の遅延は、この実施の形態３で許容範囲に補正されることにより、後続する映像フレームの表示時間には影響を及ぼさなくなる。その結果、音声は、第１映像フレームを構成する最終のパケットを受信してから最大でも最大許容遅延時間分の遅延で映像表示と同期しながら再生されることが可能となる。 Normally, one sample of audio is not so large that the network transmission time becomes a problem as compared with the network bandwidth. Therefore, even in the third embodiment, the processing target of the maximum allowable delay time is performed on the video stream. Become. Therefore, when a video frame having a size larger than the transmission speed exists in the first video frame, the video display of the first video frame is delayed with respect to the maximum allowable delay time. Therefore, it is not synchronized with the sound that is originally supported. However, after that, when a video composed of video frames of an average size assumed in this video / audio transmission system is transmitted, the delay of the first video frame is within an allowable range in the third embodiment. As a result of the correction, the display time of the subsequent video frame is not affected. As a result, the audio can be played back in synchronization with the video display with a delay equivalent to the maximum allowable delay time after receiving the last packet constituting the first video frame.
実施の形態４．
図９は実施の形態４による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置４０２の構成は、実施の形態３の図８と比較すると、表示履歴記憶部６０１が追加され、時間管理部５０４の代わりに時間管理部６０４が設けられている。表示履歴記憶部６０１は映像の表示用のタイムスタンプと対応する表示時間を表示履歴情報として記憶する手段である。また、映像出力部６０２は、映像を出力した時間とタイムスタンプを時間管理部６０４に通知する機能を加えたものである。時間管理部６０４は、図８の時間管理部５０４の機能に追加して、表示履歴記憶部６０１の表示履歴情報を監視し、タイムスタンプが表示時間に対して一定以上の時間連続して遅れた場合には一時停止時間を含む再同期通知を行う機能を有している。以下の説明において、図８に相当する部分に対する重複説明は原則として省略するものとする。Embodiment 4 FIG.
FIG. 9 is a block diagram showing a functional configuration of a video receiving apparatus according to the fourth embodiment. Compared with FIG. 8 of the third embodiment, the configuration of the
時間管理部６０４は、最大許容遅延時間を経過した場合の表示時間管理を開始したときには、映像フレームの表示用のタイムスタンプと対応する表示時間を表示履歴記憶部６０１に記録して、表示履歴情報を監視する。表示履歴情報において、タイムスタンプが一定以上の時間連続して対応する表示時間に対して遅れている場合、再同期通知を音声出力部５０７に送る。この再同期通知は一時停止時間を含むものである。一時停止時間は、表示履歴記憶部６０１の表示履歴情報に基づいて、映像が表示時間に合わせて十分表示可能となるように設定されている。再同期通知を行った場合、音声出力部５０７は一時停止時間に合わせて音声の再生を停止し、映像が表示可能となった状態で再開する。再同期通知以降、時間管理部６０４は一時停止時間分遅れた時間を現在の表示時間として映像出力部６０２および音声出力部５０７からの問い合わせに対し返すようにし、音声出力部５０７は返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生する。
When starting the display time management when the maximum allowable delay time has elapsed, the
以上のように、この実施の形態４によれば、時間管理部６０４は、最大許容遅延時間を経過した場合の表示時間管理の開始において該当する映像のタイムスタンプと対応する表示時間を表示履歴情報として表示履歴記憶部６０１に記憶し、この表示履歴情報におけるタイムスタンプが対応する表示時間に対して一定以上の時間連続して遅れている場合には一時停止時間を含む再同期通知を音声出力部５０７に通知し、その再同期通知以降、一時停止時間分遅れた時間を現在の表示時間として映像出力部６０２と音声出力部５０７からの問い合わせに対し返し、音声出力部５０７は、時間管理部６０４から受信した再同期通知の一時停止時間に従って音声の再生を停止し、その後返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生するようにしている。したがって、最大許容遅延時間の設定時に想定していた平均的なサイズ以上の映像フレームが続いた場合には、音声の再生を一時停止し、再同期を行うことで映像の表示と音声の同期を可能にする。
As described above, according to the fourth embodiment, the
実施の形態５．
図１０は実施の形態５による映像受信装置の機能構成を示すブロック図である。この図に示される映像受信装置４０２の構成は、実施の形態４の図９と比較すると、出力時間変換部７０１が追加され、音声出力部５０７の代わりに音声出力部７０７が設けられている。音声出力部７０７は、上記音声出力部５０７のように一時停止通知の受信時に音声再生の一時停止を行うのではなく、出力時間変換部７０１で変換されたタイムスタンプに合わせて音声を出力する機能を有しているものである。そのため、出力時間変換部７０１は、後述するように、音声データと映像データ間の遅延時間を算出し、音声のタイムスタンプを当該遅延時間で補正した変換タイムスタンプを生成する手段である。
FIG. 10 is a block diagram showing a functional configuration of the video receiving apparatus according to the fifth embodiment. Compared with FIG. 9 of the fourth embodiment, the configuration of the
図１０の場合の音声出力部７０７では、時間管理部６０４より一時停止時間を含む再同期通知を受信すると、出力時間変換部７０１に対して、現在の表示時間と一時停止時間を通知する。出力時間変換部７０１は、受信した一時停止時間Ｔｓを予め設定された再同期処理時間で除算した値ΔＴｐを求める。その後出力する音声データが音声出力部７０７に到着した場合、音声出力部７０７は、時間管理部６０４に問い合わせて得た音声の表示用のタイムスタンプＴＳｐを出力時間変換部７０１に渡す。出力時間変換部７０１では、タイムスタンプＴＳｐから一時停止時間Ｔｓを減算した値Ｔｔを求める。さらに、タイムスタンプＴＳｐと再同期通知が到着した時間Ｔｍの差分を上記値ΔＴｐに乗算し、その積を上記値Ｔｔに加算した結果ＴＳｐ’を、出力タイムスタンプとして音声出力部７０７に返す。最終的に出力時間変換部７０１が音声出力部７０７に返す変換タイムスタンプＴＳｐ’の計算式は（３）、（４）式のようになる。
Ｔｔ＝ＴＳｐ−Ｔｓ （３）
ＴＳｐ’＝Ｔｔ＋（ＴＳｐ−Ｔｍ）×ΔＴｐ （４）When receiving the resynchronization notification including the pause time from the
Tt = TSp−Ts (3)
TSp ′ = Tt + (TSp−Tm) × ΔTp (4)
出力時間変換部７０１は、再同期通知が到着した時刻から、設定されている再同期処理時間が経過した時点で出力時間変換の処理を終了する。音声出力部７０７は、変換タイムスタンプによる出力時間に合わせて音声を出力することになり、音声が途切れることなく、映像の表示と音声の再生を再同期することが可能となる。但し音声の場合は、サンプリングタイミングと同様のタイミングで再生を行わないと雑音や歪みが発生する可能性があり、サンプルの補正等を行うことも必要となるが、その方法についてはこの実施の形態５では特定せず、一般的な方法を使用することとする。
The output
以上のように、この実施の形態５によれば、出力時間変換部７０１により、一時停止時間、予め設定された再同期処理時間、音声のタイムスタンプおよび再同期通知が到着した時間に基づいて、音声データと映像データ間の遅延時間を算出し、音声のタイムスタンプに当該遅延時間を加算した変換タイムスタンプを生成して音声出力部７０７に返し、音声出力部７０７が、この変換タイムスタンプに合わせて音声の再生を行うようにしたものである。したがって、音声データの再生開始後、一定時間経過後も音声データと映像データ間に遅延時間が存在し、同期再生処理が不可能な場合には、映像データと音声データとの同期再生が正常に戻るまで音声の再生時間に遅延時間を加算して再生することができる。
As described above, according to the fifth embodiment, the output
以上のように、この発明に係る映像受信装置は、受信側でデコード画像の表示時間管理を行うことにより、低帯域のネットワークを介して映像データを受信する場合において遅延時間を少なくして再生可能にすることができるので、リアルタイムな映像を遠隔で扱う監視システムに適している。 As described above, the video receiving apparatus according to the present invention can reproduce with reduced delay time when video data is received via a low bandwidth network by managing the display time of the decoded image on the receiving side. Therefore, it is suitable for a monitoring system that remotely handles real-time video.
Claims (6)
順次入力されるパケットから１映像フレーム分ごとの映像データを復号して該当映像フレームの表示タイムスタンプと共に出力する映像復号化部と、
復号された映像データと該当映像フレームの表示タイムスタンプを受信した際、入手した現在の表示時間と前記表示タイムスタンプに基づいて映像の表示を開始すると共に、表示開始通知を出力する映像出力部と、
映像データの受信開始後から第１映像フレーム目の表示を行うまでの最大許容遅延時間が予め設定されており、前記第１パケット到着通知を受けると時間計測を開始し、当該計測値が前記最大許容遅延時間に達する前に前記映像出力部からの表示開始通知を受信した場合、および前記第１パケット到着通知を受けてから前記表示開始通知を受ける前に前記最大許容遅延時間を経過した場合のいずれか早い方の場合を起点にして表示時間の計測を行う表示時間管理を開始し、また前記映像出力部からの問い合わせに対して現在の表示時間を返す時間管理部とを備え、
前記映像出力部は、計測された表示時間に基づいて次の映像フレームの映像データの表示を開始することを特徴とする映像受信装置。A video reception unit that receives the encoded video data and a display time stamp of the video data via a network, outputs a first packet arrival notification when receiving the first packet, and sequentially outputs each packet; ,
A video decoding unit that decodes video data for each video frame from sequentially input packets and outputs the video data together with a display time stamp of the video frame;
When receiving the decoded video data and the display time stamp of the corresponding video frame, a video output unit for starting display of the video based on the acquired current display time and the display time stamp and outputting a display start notification; ,
The maximum allowable delay time from the start of the reception of the video data until the display of the first video frame is set in advance. When the first packet arrival notification is received, the time measurement is started, and the measured value is the maximum When the display start notification is received from the video output unit before reaching the allowable delay time, and when the maximum allowable delay time has elapsed before receiving the display start notification after receiving the first packet arrival notification A time management unit that starts display time measurement for measuring display time starting from whichever one is earlier, and that returns a current display time in response to an inquiry from the video output unit, and
The video output device, wherein the video output unit starts displaying video data of a next video frame based on the measured display time.
前記映像出力部は、前記表示時間変換部から返される元の表示タイムスタンプまたは補正後の表示タイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしたことを特徴とする請求の範囲第１項記載の映像表示装置。When the decoded video frames are sequentially received, the video output unit receives the current display time obtained from the time management unit together with the display time stamp of the corresponding video frame, and the display time stamp of the first video frame is the current If the display time is later than the display time, the delay time is obtained and stored together with the current display time, and a predetermined time for gradually returning the display time of the video frame delayed to the display time. A display time conversion unit that corrects the next received display time stamp based on the parameter, the stored delay time and display time, and the current display time for the next received video frame;
The video output unit displays video based on an original display time stamp returned from the display time conversion unit or a corrected display time stamp and a corresponding current display time. The video display device according to claim 1.
順次入力される音声パケットから音声データを復号してその表示タイムスタンプと共に出力する音声復号化部と、
最初の復号音声データを受信した際に表示準備完了通知と、対応する表示タイムスタンプとを出力し、その後入力される表示開始指示に従って音声の再生を開始する音声出力部と、
時間管理部は、最大許容遅延時間の設定に加え、同一時刻を示す映像と音声の表示タイムスタンプの対応づけをあらかじめ知っており、映像または音声のいずれか一方の第１パケット到着通知を受けると時間計測を開始し、当該計測値が最大許容遅延時間に達する前に映像側の表示準備完了通知を受けた場合、および前記第１パケット到着通知を受けてから映像側の表示準備完了通知を受ける前に前記最大許容遅延時間を経過した場合のいずれか早い方を起点にして表示時間の計測を行う表示時間管理を開始し、当該表示時間管理の開始時点に表示開始指示を映像出力部と前記音声出力部に対して送り、また前記映像出力部と前記音声出力部からの定期的な問い合わせに対して現在の表示時間を返すようにし、
前記映像出力部と前記音声出力部は、前記表示開始指示をそれぞれ受信すると、表示タイムスタンプと現在の表示時間に基づいて映像の表示および音声の再生を開始することを特徴とする請求の範囲第１項記載の映像受信装置。An audio reception unit that receives a packet of encoded audio data synchronized with video data, outputs a first packet arrival notification upon reception of the first audio packet, and sequentially outputs the audio packet;
A voice decoding unit that decodes voice data from voice packets that are sequentially input and outputs the voice data together with the display time stamp;
An audio output unit that outputs a display preparation completion notification and a corresponding display time stamp when the first decoded audio data is received, and starts audio reproduction in accordance with a display start instruction that is input thereafter;
In addition to setting the maximum allowable delay time, the time management unit knows in advance the correspondence between video and audio display time stamps indicating the same time, and upon receiving the first packet arrival notification of either video or audio When time measurement is started and a video-side display preparation completion notice is received before the measured value reaches the maximum allowable delay time, and after receiving the first packet arrival notice, a video-side display preparation completion notice is received. Start display time management for measuring display time starting from the earlier one when the maximum allowable delay time has elapsed before, and display start instruction at the start time of the display time management and the video output unit Send to the audio output unit, and to return the current display time in response to regular inquiries from the video output unit and the audio output unit,
The video output unit and the audio output unit, when receiving the display start instruction, respectively, start video display and audio playback based on a display time stamp and a current display time. The video receiver according to claim 1.
時間管理部は、最大許容遅延時間を経過した場合の表示時間管理の開始において該当する映像の表示タイムスタンプと対応する表示時間を表示履歴情報として前記表示履歴記憶部に記憶し、前記表示履歴情報における表示タイムスタンプが対応する表示時間に対して一定以上の時間連続して遅れている場合には一時停止時間を含む再同期通知を音声出力部に通知し、当該再同期通知以降、一時停止時間分遅れた時間を現在の表示時間として前記映像出力部と前記音声出力部からの問い合わせに対し返し、
前記音声出力部は、前記時間管理部から受信した再同期通知の一時停止時間に従って音声の再生を停止し、その後返された一時停止時間分遅れた現在の表示時間に基づいて音声を再生することを特徴とする請求の範囲第３項記載の映像受信装置。A display history storage unit for storing display time stamps corresponding to video display time stamps as display history information;
The time management unit stores the display time corresponding to the display time stamp of the corresponding video at the start of display time management when the maximum allowable delay time has elapsed in the display history storage unit as display history information, and the display history information If the display time stamp in is continuously delayed for a certain time or longer than the corresponding display time, a resynchronization notification including the suspension time is sent to the audio output unit, and after the resynchronization notification, the suspension time In response to the inquiry from the video output unit and the audio output unit as the current display time the time delayed by minutes,
The audio output unit stops the audio reproduction according to the pause time of the resynchronization notification received from the time management unit, and then reproduces the audio based on the current display time delayed by the returned pause time. The video receiver according to claim 3, wherein:
前記音声出力部は、前記変換表示タイムスタンプに合わせて音声の再生を行うことを特徴とする請求の範囲第４項記載の映像受信装置。Based on the pause time, the preset resynchronization processing time, the audio display time stamp, and the time when the resynchronization notification arrives, the delay time between the audio data and the video data is calculated, and the audio display time stamp An output time conversion unit that generates a conversion display time stamp added with the delay time and returns it to the audio output unit,
5. The video receiving apparatus according to claim 4, wherein the audio output unit reproduces audio in accordance with the converted display time stamp.
前記映像出力部は、前記表示時間変換部から返される元のタイムスタンプまたは補正後のタイムスタンプと、対応した現在の表示時間に基づいて映像の表示を行うようにしたことを特徴とする請求の範囲第３項記載の映像受信装置。When the decoded video frames are sequentially received, the video output unit receives the current display time obtained from the time management unit together with the time stamp of the corresponding video frame, and the time stamp of the first video frame is the current display time. A predetermined time parameter set in advance for gradually returning the display time of the video frame delayed to the display time. A display time conversion unit that corrects the next received time stamp based on the stored delay time and display time and the current display time for the next received video frame,
The video output unit displays video based on an original time stamp returned from the display time conversion unit or a corrected time stamp and a corresponding current display time. The video receiver according to claim 3.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2004/007954 WO2005122578A1 (en) | 2004-06-08 | 2004-06-08 | Video receiver apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2005122578A1 JPWO2005122578A1 (en) | 2008-04-10 |
| JP4188402B2 true JP4188402B2 (en) | 2008-11-26 |
Family
ID=35503514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006514365A Expired - Fee Related JP4188402B2 (en) | 2004-06-08 | 2004-06-08 | Video receiver |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4188402B2 (en) |
| WO (1) | WO2005122578A1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0951515A (en) * | 1995-08-04 | 1997-02-18 | Canon Inc | Data transmission system and communication device |
| JPH09214936A (en) * | 1996-02-06 | 1997-08-15 | Nippon Telegr & Teleph Corp <Ntt> | Network moving image distribution system |
| JP4616537B2 (en) * | 2002-03-26 | 2011-01-19 | パナソニック電工株式会社 | Video communication system |
-
2004
- 2004-06-08 WO PCT/JP2004/007954 patent/WO2005122578A1/en active Application Filing
- 2004-06-08 JP JP2006514365A patent/JP4188402B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005122578A1 (en) | 2005-12-22 |
| JPWO2005122578A1 (en) | 2008-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8189679B2 (en) | Content receiving apparatus, method of controlling video-audio output timing and content providing system | |
| EP1879347B1 (en) | System and method of audio/video streaming | |
| JP5489675B2 (en) | Video information playback method and system, and video information content | |
| KR101350754B1 (en) | Method for reducing channel change times and synchronizing audio/video content during channel change | |
| US8745432B2 (en) | Delay controller, control method, and communication system | |
| US8526501B2 (en) | Decoder and decoding method based on video and audio time information | |
| JP2004507178A (en) | Video signal encoding method | |
| JP2009512265A (en) | Video data transmission control system and method on network | |
| KR20140104969A (en) | Apparatus and method for synchronized transmission of multimedia content over an asynchronous network | |
| KR20060134911A (en) | Content reception device, video/audio output timing control method, and content providing system | |
| EP1879346A1 (en) | System and method of audio/video streaming | |
| JP2004509491A (en) | Synchronization of audio and video signals | |
| US20060161676A1 (en) | Apparatus for IP streaming capable of smoothing multimedia stream | |
| JP5186094B2 (en) | Communication terminal, multimedia playback control method, and program | |
| JP2005286749A (en) | Video image decoding device and video image transmission system using it | |
| JP2004289295A (en) | Data processing system, data processor, and data processing method | |
| JP4188402B2 (en) | Video receiver | |
| JP4882213B2 (en) | Content receiving apparatus, video / audio output timing control method, and content providing system | |
| JP2008278323A (en) | Network camera | |
| JP4735932B2 (en) | Content receiving apparatus, video / audio output timing control method, and content providing system | |
| JP4506222B2 (en) | COMMUNICATION SYSTEM, TRANSMISSION DEVICE AND METHOD, AND PROGRAM | |
| WO2021006137A1 (en) | Reception device, reception method, and transmission/reception system | |
| JP5720285B2 (en) | Streaming system | |
| JP6335775B2 (en) | Media receiver | |
| JP2005252515A (en) | Data distribution method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080910 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |