JP5806980B2 - Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method - Google Patents

Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method Download PDF

Info

Publication number
JP5806980B2
JP5806980B2 JP2012142115A JP2012142115A JP5806980B2 JP 5806980 B2 JP5806980 B2 JP 5806980B2 JP 2012142115 A JP2012142115 A JP 2012142115A JP 2012142115 A JP2012142115 A JP 2012142115A JP 5806980 B2 JP5806980 B2 JP 5806980B2
Authority
JP
Japan
Prior art keywords
delay
packet
sdi
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012142115A
Other languages
Japanese (ja)
Other versions
JP2014007584A (en
Inventor
康弘 持田
康弘 持田
白井　大介
大介 白井
知子 澤邉
知子 澤邉
藤井　竜也
竜也 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012142115A priority Critical patent/JP5806980B2/en
Publication of JP2014007584A publication Critical patent/JP2014007584A/en
Application granted granted Critical
Publication of JP5806980B2 publication Critical patent/JP5806980B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像符号化遅延測定装置及び映像復号遅延測定装置及び方法に係り、特に、HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を、受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置及び、映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置及び方法に関する。   The present invention relates to a video encoding delay measuring apparatus and a video decoding delay measuring apparatus and method, and in particular, a video signal transmitted by an HD-SDI (High Definition Serial Digital Interface) system is encoded after being received, and IP Video encoding delay measurement device for measuring the delay time required for sending as a packet, and for measuring the delay time required for receiving and decoding a video signal IP packet and sending it in HD-SDI format The present invention relates to a video decoding delay measuring apparatus and method.

従来、高速な映像信号フォーマットの一つであるHD-SDI信号の符号化並びにIPパケットからの復号に要する遅延時間を精度良く計測することは、従来のHD-SDIの入出力ボード自身が持つ大きな遅延のために困難であった。これは従来のHD-SDI入出力ボードがフレーム単位で映像を読み込んでいたためであり、近年水平ライン単位で読み込むボードが登場したため遅延による困難は解決している。しかし、近年登場したライン単位のHD-SDI入出力ボードを使用し、その特性を活かした測定方法は存在しない。   Conventionally, the HD-SDI input / output board itself has high accuracy in measuring the delay time required for encoding and decoding from an IP packet, which is one of the high-speed video signal formats. It was difficult because of the delay. This is because the conventional HD-SDI input / output board reads images in units of frames. In recent years, boards that read in units of horizontal lines have appeared, and the difficulty due to delay has been solved. However, there is no measurement method that uses the line-by-line HD-SDI I / O board that has recently appeared and takes advantage of its characteristics.

映像の処理にかかる遅延を測定するという点で関連する技術として、映像処理に要する遅延時間を測定する技術（例えば、特許文献1参照）があるが、これは映像処理のプロセッサ部で生じる（色味などの映像調整やスケーリングなどの処理に要する）遅延を測定するための、プロセッサ内部構成に関する技術であり、既存の映像処理装置に対しては適用できない。   As a related technique in measuring the delay required for video processing, there is a technique for measuring the delay time required for video processing (for example, see Patent Document 1), which occurs in the video processing processor unit (color This is a technique related to the internal configuration of the processor for measuring delay (required for video adjustment such as taste and processing such as scaling) and cannot be applied to existing video processing apparatuses.

現在、遅延計測に用いられている再撮方式（例えば非特許文献1参照）を図１に示す。図１では、２つのタイムコードを１画面で撮像してタイムコードの値の差を測定する。HD-SDI出力端子を持つカメラの中にはタイムコードを映像中にオーバーレイして出力する機能を持つものがあり、その差分から符号化および復号に要する合計遅延時間を計測する。   FIG. 1 shows a re-imaging method (for example, see Non-Patent Document 1) currently used for delay measurement. In FIG. 1, two time codes are imaged on one screen, and the difference between the time code values is measured. Some cameras with HD-SDI output terminals have the function of overlaying and outputting the time code in the video, and the total delay time required for encoding and decoding is measured from the difference.

特許04669854号公報Japanese Patent No. 04669854

岩崎裕江、大西孝之、長沼次郎、遠藤真、八島由幸「サーバレス多地点ＴＶ会議ソフトウェア」，信学技報，TECHNICAL REPORET OF IEICE. SIP2004-7, IE2004-7, pp. 35-40.Hiroe Iwasaki, Takayuki Onishi, Jiro Naganuma, Makoto Endo, Yoshiyuki Yashima “Serverless Multipoint Video Conference Software”, IEICE Technical Report, Technical REPORET OF IEICE. SIP2004-7, IE2004-7, pp. 35-40.

しかしながら上記従来の再撮方式では、
１）測定に２フレームの不確定性が残る（60fpsで約33ms）、
２）符号化と復号の遅延を分離できない
という２つの問題点がある。 However, in the conventional re-shooting method,
1) Uncertainty of 2 frames remains in measurement (about 33ms at 60fps),
2) There are two problems that the encoding and decoding delay cannot be separated.

本発明は、上記の点に鑑みなされたもので、パケット伝送ネットワークを用いた映像伝送システムを設計する上での重要な指標となる、映像を伝送する装置における、映像入力からパケット出力まで、またパケット入力から映像出力までの遅延測定を1ms以下の計測誤差とすることが可能な映像符号化遅延測定装置及び映像復号遅延測定装置及び方法を提供することを目的とする。   The present invention has been made in view of the above points, and is an important index in designing a video transmission system using a packet transmission network, from video input to packet output in a video transmission apparatus, or An object of the present invention is to provide a video encoding delay measuring apparatus, a video decoding delay measuring apparatus and a method capable of measuring a delay from packet input to video output as a measurement error of 1 ms or less.

上記の課題を解決するため、本発明（請求項１）は、HD-SDI方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置であって、
分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有する。 In order to solve the above-mentioned problems, the present invention (Claim 1) is for measuring a delay time required from receiving a video signal transmitted in HD-SDI format to encoding it and transmitting it as an IP packet. A video encoding delay measuring device,
IP packet processing means for assigning time information to an IP packet that is input via a coding device and one of the branched HD-SDI signals is stored in a storage means;
HD-SDI signal processing means for receiving the other of the branched HD-SDI signal, the CPU giving time information to the time code line number of the HD-SDI signal and storing it in the storage means;
Obtaining the time information given to the IP packet stored by the IP packet processing means from the storage means and the time information given to the time code line number stored by the HD-SDI signal processing means, A delay calculating means for calculating a delay time by calculating an average of a plurality of lines;
Have

また、本発明（請求項２）は、前記IPパケット処理手段において、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する手段を含む。 The present invention (Claim 2) provides the IP packet processing means,
In the case where an HD-SDI time code is inserted in the IP packet, a means for storing the time code in the storage means is also included.

また、本発明（請求項３）は、前記遅延計算手段において、前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する。 Further, according to the present invention (Claim 3), when calculating the average in the delay calculation means,
The arithmetic mean and the geometric mean are calculated using either the harmonic mean or the median.

また、本発明（請求項４）は、映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置であって、
映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたもう一方のIPパケットから復号装置により復号されたHD-SDI信号を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有する。
Further, the present invention (Claim 4) is a video decoding delay measuring apparatus for measuring a delay time required for receiving and decoding an IP packet of a video signal and transmitting it in HD-SDI format,
IP packet processing means for giving time information to one of the branched IP packets output from the video encoding device and storing it in the storage means,
The HD-SDI signal decoded by the decoding device from the other branched IP packet is received, and the CPU assigns time information to the time code / line number of the HD-SDI signal and stores it in the storage means HD-SDI signal processing means to
Obtaining the time information given to the IP packet stored by the IP packet processing means from the storage means and the time information given to the time code line number stored by the HD-SDI signal processing means, A delay calculating means for calculating a delay time by calculating an average of a plurality of lines;
Have

また、本発明（請求項５）は、前記遅延計算手段において、前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する。 Further, according to the present invention (Claim 5), when calculating the average in the delay calculation means,
The arithmetic mean and the geometric mean are calculated using either the harmonic mean or the median.

上記のように、本発明によれば、既存の符号化装置や復号装置に変更を加えることなく、HD-SDI方式の映像信号の受信から符号化・IPパケット送出までに遅延時間と、IPパケットの受信から復号化・HD-SDI方式の映像信号送出までの遅延時間をそれぞれ独立に１ms以下の誤差で計測することが可能となる。   As described above, according to the present invention, the delay time from the reception of the HD-SDI video signal to the encoding / IP packet transmission, and the IP packet can be changed without changing the existing encoding device and decoding device. It is possible to independently measure the delay time from the reception of the video to the decoding / HD-SDI video signal transmission with an error of 1 ms or less.

従来技術における再撮方式による遅延計測の例である。It is an example of the delay measurement by the re-imaging system in a prior art. 本発明の一実施の形態における符号化遅延計測装置の基本構成図である。It is a basic lineblock diagram of the coding delay measuring device in one embodiment of the present invention. 本発明の一実施の形態におけるHD-SDI信号とIPパケットの対応関係である。4 is a correspondence relationship between an HD-SDI signal and an IP packet in an embodiment of the present invention. 本発明の一実施の形態における復号遅延計測装置の構成図である。It is a block diagram of the decoding delay measuring device in one embodiment of this invention. 本発明の一実施の形態における符号化遅延及び復号遅延同時計測装置の構成図である。It is a block diagram of the encoding delay and decoding delay simultaneous measurement apparatus in one embodiment of this invention. 本発明を適用した実際の使用時のシステム構成図である。It is a system configuration diagram at the time of actual use to which the present invention is applied.

以下、図面と共に本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明は、映像プロセッサが要する遅延を測定するのではなく、HD-SDI信号をIPパケットに符号化するまでに要する遅延及び、IPパケットをHD-SDI信号に復号するまでの遅延を測定するものである。   The present invention does not measure the delay required by the video processor, but measures the delay required to encode an HD-SDI signal into an IP packet and the delay until the IP packet is decoded into an HD-SDI signal. It is.

［符号化遅延計測装置の構成］
図２は、本発明の一実施の形態における符号化遅延計測装置の基本構成図である。 [Configuration of encoding delay measurement device]
FIG. 2 is a basic configuration diagram of an encoding delay measuring apparatus according to an embodiment of the present invention.

同図に示す符号化遅延測定装置１００は、IPパケット受信部１１０、バッファ１２０，１７０、CPU１３０，１８０、メモリ１４０、時刻計測部１５０、HD-SDI信号受信部１６０、遅延計算部１９０を有する。   The coding delay measuring apparatus 100 shown in the figure includes an IP packet receiving unit 110, buffers 120 and 170, CPUs 130 and 180, a memory 140, a time measuring unit 150, an HD-SDI signal receiving unit 160, and a delay calculating unit 190.

同図の構成において、符号化装置１０の前段でHD-SDI信号を分岐し、一方は符号化装置１０を経由して遅延計測装置１００のIPパケット受信部１１０へ、他方は遅延計測装置１００のHD-SDI受信部１６０に入力される。   In the configuration shown in the figure, the HD-SDI signal is branched at the previous stage of the encoding device 10, one through the encoding device 10 to the IP packet receiving unit 110 of the delay measuring device 100, and the other of the delay measuring device 100. The data is input to the HD-SDI receiving unit 160.

遅延計測装置１００のIPパケット受信部１１０で受信したパケットを、バッファ１２０からCPU１３０に取り込む際に時刻計測部１５０から時刻を取得し、パケットのデータと時刻情報をセットにしてメモリ１４０に格納する。   When a packet received by the IP packet receiving unit 110 of the delay measuring apparatus 100 is fetched from the buffer 120 into the CPU 130, the time is acquired from the time measuring unit 150, and the packet data and time information are set and stored in the memory 140.

また、遅延計測装置１００のHD-SDI受信部１６０で受信したHD-SDI信号を、バッファ１７０からCPU１８０に取り込む。HD-SDI信号には、水平方向の１ライン毎にタイムコードとライン番号を含んでいる。CPU１８０がラインを読み込んだときにその時刻を取得し、タイムコード・ライン番号・時刻情報をセットにしてメモリ１４０に格納する。   In addition, the HD-SDI signal received by the HD-SDI receiver 160 of the delay measuring apparatus 100 is taken into the CPU 180 from the buffer 170. The HD-SDI signal includes a time code and a line number for each horizontal line. When the CPU 180 reads the line, the time is acquired, and the time code, line number, and time information are set and stored in the memory 140.

このような方法は、近年登場した水平ライン単位で映像を読み込むHD-SDI入出力ボードを用いることで可能になる。遅延計算部１９０は、事後的にメモリ１４０に格納されたパケットのデータを解析してHD-SDI信号との対応関係を決定し、以下に示す「遅延時間の計算法」に基づき時刻情報を比較することで遅延時間を算出する。   Such a method can be achieved by using an HD-SDI input / output board that reads video in units of horizontal lines, which has recently appeared. The delay calculation unit 190 subsequently analyzes the packet data stored in the memory 140 to determine the correspondence with the HD-SDI signal, and compares time information based on the “delay time calculation method” shown below. To calculate the delay time.

［遅延時間の計算法］
遅延計算部１９０における遅延時間の計算について説明する。 [Calculation method of delay time]
The calculation of the delay time in the delay calculation unit 190 will be described.

符号化装置１０の真の遅延をa[ms]、本発明の方法によって計算される遅延をd[ms]、測定系に含まれる遅延に起因する測定誤差をe[ms]とすると、
d=a+e
符号化装置１０と遅延計測装置１００の距離は伝搬遅延が無視できるほどに近い場合、誤差eの主な要因はIPパケット受信部１１０とHD-SDI信号受信部１６０の後段にあるバッファ１２０と１７０でのそれぞれの遅延時間であるため、それぞれの仕様を調べれば値を知ることができる。CPU１８０の読み込みのタイミングに揺らぎが生じることは十分に考えられるが、以下の理由により誤差eの大きさは１msより小さく抑えられると考えられる。 If the true delay of the encoder 10 is a [ms], the delay calculated by the method of the present invention is d [ms], and the measurement error due to the delay included in the measurement system is e [ms],
d = a + e
When the distance between the encoding device 10 and the delay measuring device 100 is so close that the propagation delay is negligible, the main cause of the error e is the buffers 120 and 170 at the subsequent stage of the IP packet receiving unit 110 and the HD-SDI signal receiving unit 160. Since each delay time is, the value can be obtained by examining each specification. Although fluctuations in the reading timing of the CPU 180 can be sufficiently considered, the magnitude of the error e is considered to be kept smaller than 1 ms for the following reason.

・IPパケット受信部１１０にギガビットイーサNICを用いるとして、このNICが（多めに見積もって）10パケットをまとめてCPUに読み込むとしても、CPU１３０からの読み込みの基本間隔は約120us。   ・ Assuming that a Gigabit Ethernet NIC is used for the IP packet receiving unit 110, even if this NIC reads 10 packets into the CPU collectively (more estimates), the basic interval of reading from the CPU 130 is about 120 us.

・HD-SDI側のバッファ１７０をライン単位でCPU１８０に読み込む実装ならば、CPU１８０からの読み込みの基本間隔は約30us。   ・ If the HD-SDI side buffer 170 is read into the CPU 180 line by line, the basic interval for reading from the CPU 180 is about 30 us.

IPパケット受信部のバッファ１２０とHD-SDI側のバッファ１７０に同時にデータが入ったとき、両方ともバッファで待たされてからCPUに読み込まれた場合には、先に読み込まれたデータの待ち時間は時刻比較の際にキャンセルされる。最悪のケースは、同時に入ったものの一方がすぐにCPUに読み込まれ、他方がバッファで最大限待たされるケースで、CPU読み込みが要因となる誤差の最大値は120usである。この他に、CPUにおける命令の実行待ちによって、さらなる誤差が生じることが有り得るが（例えば取り込んでから時刻情報を記録する間の遅延など）、1msを超えることは無いと思われる。   When data enters the buffer 120 of the IP packet receiver and the buffer 170 on the HD-SDI side at the same time, if both are waited in the buffer and then read into the CPU, the waiting time of the data read first is Canceled when comparing time. In the worst case, one of the ones entered at the same time is immediately read into the CPU, and the other is waited to the maximum in the buffer. The maximum error caused by CPU reading is 120us. In addition to this, there is a possibility that further error may occur due to the execution of the instruction in the CPU (for example, a delay between taking in and recording time information), but it seems that it does not exceed 1 ms.

［遅延時刻計算の例］
遅延計算部１９０では、MPEGやJPEG2000などの符号化方式では、仕様によりIPパケットのコードストリーム中ではタイムスタンプによってフレームの同一性を判別する。HD-SDIのタイムコードとコードストリームのタイムスタンプを結び付ける仕組みを符号化装置に追加しない限り、タイムコードとの対応を取ることができない。もし、遅延が１フレーム未満であることが事前に分かっていれば、タイムスタンプによってフレームの切れ目がわかるので、遅延時間が計算できるが、何の事前情報も無い場合には何フレーム遅延しているのかを判別することができない。以下では、タイムコードが伝送されない一般的な場合と、オプション機能によりタイムコードが伝送される場合の２パターンで遅延時間を計算する方法を述べる。 [Example of delay time calculation]
In the encoding method such as MPEG and JPEG2000, the delay calculation unit 190 determines the identity of the frame by the time stamp in the code stream of the IP packet according to the specification. Unless a mechanism for associating the HD-SDI time code and the time stamp of the code stream is added to the encoding device, it is not possible to take correspondence with the time code. If you know in advance that the delay is less than one frame, you can calculate the delay time because you can see the frame breaks with the time stamp, but if there is no prior information, how many frames are delayed Cannot be determined. Hereinafter, a method for calculating the delay time in two patterns, that is, a general case where the time code is not transmitted and a case where the time code is transmitted by an optional function will be described.

＜タイムコードが伝送されない場合＞
ひとつの解決として相互相関を利用する方法が挙げられる。IP側では受信したパケットの中身をメモリ１４０に保存し解析することで非圧縮の画像が得られる。一方、HD-SDI側では，いくつかのラインにおいて、タイムコード・ライン番号・時刻情報に加えてラインのデータをメモリ１４０に保存しておく。ライン番号を利用して、近い時刻にIP側に到着した画像データの該当箇所と相互相関を取ることにより、対応フレームを特定する。相互相関を計算するラインが多いほどより確実な値が得られる。 <When time code is not transmitted>
One solution is to use cross-correlation. On the IP side, the contents of the received packet are stored in the memory 140 and analyzed to obtain an uncompressed image. On the other hand, on the HD-SDI side, line data is stored in the memory 140 in addition to the time code, line number, and time information for some lines. Using the line number, the corresponding frame is identified by taking a cross-correlation with the corresponding part of the image data arriving at the IP side at a close time. The more lines that calculate cross-correlation, the more reliable the value is obtained.

HD-SDIの１フレームあたりのライン数をN、そのうちアクティブ領域のライン数をn、IPパケットに符号化された際の１ラインあたりのパケット数をkとする（図３）。   The number of lines per frame of HD-SDI is N, of which n is the number of lines in the active area, and k is the number of packets per line when encoded into an IP packet (Fig. 3).

図３（ａ）は、HD-SDIの画像信号を示し、（ｂ）は、それがIPパケット化された状態を表す。IPパケットでは水平1ラインがいくつかのパケットに分割されて伝送される。アクティブ領域はHD-SDI信号の中で画素値が入っている部分で、アンシラリ領域は音声などの付加的な情報をオプションとして乗せることができる部分である。符号化装置１０でIPパケット化される際にはアクティブ領域だけが伝送される。なお、コーデックの仕様によっては、アンシラリ領域もIPパケットに格納して伝送する場合、SMPTEの規格によりアンシラリ領域に含まれるタイムコードが伝送されるため、より簡単にフレーム間の対応を取ることができる。タイムコードの挿入位置は、文献１「SMPTE291M(SMPTE 291M-2006, "SMPTE STANDARD for Television Ancillary Data Packet and Space Formatting", September 20, 2006、12頁ANNEX B)」に図示される。   FIG. 3A shows an HD-SDI image signal, and FIG. 3B shows a state in which it is converted into an IP packet. In an IP packet, one horizontal line is divided into several packets for transmission. The active area is a part where the pixel value is included in the HD-SDI signal, and the ancillary area is a part where additional information such as sound can be put as an option. When the encoding device 10 converts the packet into an IP packet, only the active area is transmitted. Depending on the codec specifications, when the ancillary area is also stored in the IP packet and transmitted, the time code included in the ancillary area is transmitted according to the SMPTE standard, so it is possible to easily deal with the frame. . The insertion position of the time code is illustrated in Reference 1, “SMPTE 291M (SMPTE 291M-2006,“ SMPTE STANDARD for Television Ancillary Data Packet and Space Formatting ”, September 20, 2006, page 12 ANNEX B)”.

１フレームでHD-SDI信号をNライン分受信する間に、IPパケット受信部１１０はnk個のパケットを受信する。すなわち、仮にこれらの信号が同時に送信され始めたとすれば、HD-SDI信号受信部１６０でi（1≦i≦n）番目のラインを受信すると同時に、IPパケット受信部１１０でkn(i‐1)/N+1番目のパケットを受信するはずである。符号化の遅延を計測するには、この間の遅延時間を比較すればよい。いずれの規格でもN=1125，n=1080なので、kn(i‐1)/Nが整数値になるようにi=25p+1（pは非負の整数）と選ぶ。HD-SDIは、文献２「SMPTE292(SMPTE292-2008, "SMPTE STANDARD 1.5 Gb/s Signal/Data Serial Interface", Feburuary 7, 2008)」に、画像フォーマットは、文献３「SMPTE274M(SMPTE 274M-2008, "SMPTE STANDARD for Television - 1920 x 1080 Image Sample Structure, Digital Representation and Digital Timing Reference Sequences for Multiple Picture Rates", January 29, 2008)」に規格化されている。   While receiving HD-SDI signals for N lines in one frame, the IP packet receiving unit 110 receives nk packets. That is, if these signals start to be transmitted at the same time, the HD-SDI signal receiving unit 160 receives the i (1 ≦ i ≦ n) -th line, and at the same time, the IP packet receiving unit 110 receives kn (i−1). ) / N + 1th packet should be received. In order to measure the encoding delay, the delay time between them may be compared. Since N = 1125 and n = 1080 in both standards, i = 25p + 1 (p is a non-negative integer) is selected so that kn (i−1) / N is an integer value. HD-SDI is described in Reference 2 “SMPTE292 (SMPTE292-2008,“ SMPTE STANDARD 1.5 Gb / s Signal / Data Serial Interface ”, Feburuary 7, 2008)”, and the image format is Reference 3 “SMPTE274M (SMPTE 274M-2008, "SMPTE STANDARD for Television-1920 x 1080 Image Sample Structure, Digital Representation and Digital Timing Reference Sequences for Multiple Picture Rates", January 29, 2008) ".

CPU１８０で刻印された25p+1番目のラインの時刻情報をtp 1、CPU１３０で刻印された25pkn/N+1 番目のパケットの時刻情報tp 2とする。このフレーム内での遅延時間は複数のラインでの平均を取ることにより、 The time information of the 25p + 1-th line stamped by the CPU 180 is t p 1 , and the time information t p 2 of the 25 pkn / N + 1-th packet stamped by the CPU 130 is assumed. By taking the average of multiple lines for the delay time in this frame,

Figure 0005806980
によって求める。
Figure 0005806980
 Ask for.

なお、複数のラインでの平均を算出する際に、二乗誤差を最小化する意味で相加平均を用いているが、算術平均（相加平均）以外の幾何平均（相乗平均）、調和平均、中央値等を用いてもよい。   In calculating the average of multiple lines, arithmetic mean is used to minimize the square error, but geometric mean (geometric mean) other than arithmetic mean (arithmetic mean), harmonic mean, A median or the like may be used.

＜タイムコードが伝送される場合＞
符号化装置１０の中には、IPパケットにHD-SDIのタイムコードを挿入して伝送するものがある。そのような場合には、タイムコードも合わせてメモリに格納しておくことにより、相互相関を計算することなくフレームの対応を取ることができる。遅延時間の計算はタイムコードが伝送されない場合と同様である。 <When time code is transmitted>
Some encoding apparatuses 10 transmit HD-SDI time codes inserted into IP packets. In such a case, by storing the time code together in the memory, it is possible to correspond to the frame without calculating the cross-correlation. The calculation of the delay time is the same as when the time code is not transmitted.

［復号遅延計測装置の構成］
図４は、本発明の一実施の形態における復号遅延計測装置の構成図である。 [Configuration of decoding delay measurement device]
FIG. 4 is a configuration diagram of a decoding delay measuring apparatus according to an embodiment of the present invention.

復号遅延計測装置２００は、図２に示す符号遅延計測装置と同様に、IPパケット受信部２１０、バッファ２２０，２７０、CPU２３０，２８０、メモリ２４０、時刻計測部２５０、HD-SDI信号受信部２６０、遅延計算部２９０を有する。   Similar to the code delay measuring apparatus shown in FIG. 2, the decoding delay measuring apparatus 200 includes an IP packet receiving unit 210, buffers 220 and 270, CPUs 230 and 280, a memory 240, a time measuring unit 250, an HD-SDI signal receiving unit 260, A delay calculation unit 290 is included.

符号化装置１０から出力されたIPパケットを分岐し、一方は遅延計測装置２００のIPパケット受信部２１０に入力され、他方は復号装置２０を通して遅延計測装置２００のHD-SDI信号受信部２６０へ入力する。符号化遅延計測の場合と同様、CPU２３０，２８０は、受信したデータに時刻計測部２５０から取得した時刻情報を刻印してメモリ２４０に格納し、遅延計算部２９０において時刻情報の比較によって遅延時間を算出する。   The IP packet output from the encoding device 10 is branched, one is input to the IP packet receiving unit 210 of the delay measuring device 200, and the other is input to the HD-SDI signal receiving unit 260 of the delay measuring device 200 through the decoding device 20. To do. As in the case of the encoding delay measurement, the CPUs 230 and 280 imprint the time information acquired from the time measurement unit 250 on the received data and store it in the memory 240, and the delay calculation unit 290 compares the time information to determine the delay time. calculate.

さらに、2つのHD-SDI端子を遅延計測装置に搭載すれば、符号化と復号の遅延を同時に計測することができる。同時計測装置の基本的構成を図５に示す。図５に示す遅延計測装置３００は、IPパケット受信部３１０、バッファ３２０，３７０１，３７０２、CPU３３０、３８０、HD-SDI信号受信部３６０１，３６０２、遅延計算部３９０を有する。 Furthermore, if two HD-SDI terminals are installed in the delay measurement device, the encoding and decoding delays can be measured simultaneously. The basic configuration of the simultaneous measurement apparatus is shown in FIG. 5 includes an IP packet receiving unit 310, buffers 320, 370 1 and 370 2 , CPUs 330 and 380, HD-SDI signal receiving units 360 1 and 360 2 , and a delay calculation unit 390.

図５に示す構成では、 2つのHD-SDI端子３６０１，３６０２、IPパケット受信部３１０で信号を受信した時刻をメモリ３４０に記録しておけば、遅延計算部３９０における遅延時間の算出は符号化遅延計測装置１００、復号遅延計測装置２００単独の場合と同様に行うことができる。 In the configuration shown in FIG. 5, if the time when signals are received by the two HD-SDI terminals 360 1 and 360 2 and the IP packet receiving unit 310 is recorded in the memory 340, the delay time is calculated by the delay calculating unit 390. This can be performed in the same manner as in the case of the encoding delay measuring apparatus 100 and the decoding delay measuring apparatus 200 alone.

［復号化遅延時間の計算法］
遅延計算部２９０，３９０における、復号化遅延は符号化遅延の計算と同様にして計算できる。符号化時にHD-SDIのタイムコードがIPパケットで伝送される場合、復号装置２０側にもタイムコードをHD-SDIのアンシラリ領域に刻印する機能を持たせることで、タイムコードによってフレーム対応を決定できる。 [Decoding delay calculation method]
The decoding delays in the delay calculation units 290 and 390 can be calculated in the same manner as the calculation of the encoding delay. When HD-SDI time code is transmitted as an IP packet at the time of encoding, the decoding device 20 also has a function of marking the time code in the HD-SDI ancillary area, thereby determining the frame correspondence according to the time code. it can.

上記のように、本発明により、既存の符号化装置・復号装置に変更を加えることなく、映像入力からパケット出力まで、またパケット入力から映像出力までの遅延測定が1ms以下の計測誤差で可能になる。ここで、「変更を加えることなく」とは、規格に定められた最低限の情報の伝送以外のコーデックに独自仕様でタイムコード伝送機能を持たせるなど、「本来の機能とは別に何らかの機能を付加することなく」であることを意味する。計測に用いる映像に対しての制約が無いので、図６のように、実際に使用しながらの遅延計測が可能である。「実際に使用しながらの遅延計測」とは、撮像部（カメラ）３０からHD-SDI信号を送出し、符号化装置１０で符号化されたIPパケットをネットワーク５０を通して伝送し、復号装置２０でHD-SDI信号に復号した後にディスプレイ等の映像表示装置４０に入力する実際に使用をする際の構成で、信号を途中で分流することで、本発明の方式での遅延計測を同時に行うことを意味する。図６における遅延計測装置１００，２００は、図２、図４の構成と同様である。   As described above, according to the present invention, delay measurement from video input to packet output and from packet input to video output can be performed with a measurement error of 1 ms or less without changing the existing encoder / decoder. Become. Here, “without change” means that the codec other than the minimum information transmission specified in the standard has a time code transmission function with its own specifications, such as “some function apart from the original function”. It means "without adding". Since there is no restriction on the video used for measurement, it is possible to perform delay measurement while actually using it as shown in FIG. “Delay measurement while actually using” means that an HD-SDI signal is transmitted from the imaging unit (camera) 30, an IP packet encoded by the encoding device 10 is transmitted through the network 50, and the decoding device 20 In the configuration of actual use that is input to the video display device 40 such as a display after being decoded into the HD-SDI signal, the signal can be divided in the middle to simultaneously perform the delay measurement in the method of the present invention. means. The delay measurement apparatuses 100 and 200 in FIG. 6 have the same configurations as those in FIGS.

本願で計測する、これらの値は、パケット伝送ネットワークを用いた映像伝送システムの設計において重要な指針となるものである。   These values measured in the present application are important guidelines for designing a video transmission system using a packet transmission network.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

１０ 符号化装置
１１ HD-SDI受信部
１２ 映像符号化部
１３ IPパケット送信部
２０ 復号装置
２１ IPパケット受信部
２２ 映像符号化部
２３ HD-SDI送信部
３０ 撮像部
４０ 映像表示部
５０ ネットワーク
１００ 遅延計測装置（符号化側）
１１０，２１０ IPパケット受信部
１２０，１７０，２２０，２７０ バッファ
１３０，１８０，２３０，２８０ CPU
１４０，２４０ メモリ
１５０，２５０ 時刻計測部
１６０，２６０ HD-SDI信号受信部
１９０，２９０ 遅延計算部 DESCRIPTION OF SYMBOLS 10 Encoding apparatus 11 HD-SDI receiving part 12 Video encoding part 13 IP packet transmission part 20 Decoding apparatus 21 IP packet receiving part 22 Video encoding part 23 HD-SDI transmission part 30 Imaging part 40 Video display part 50 Network 100 Delay Measuring device (encoding side)
110, 210 IP packet receiver 120, 170, 220, 270 Buffer 130, 180, 230, 280 CPU
140, 240 Memory 150, 250 Time measurement unit 160, 260 HD-SDI signal reception unit 190, 290 Delay calculation unit

Claims (8)

HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定装置であって、
分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有することを特徴とする映像符号化遅延測定装置。 A video encoding delay measurement device for measuring a delay time required for receiving and encoding a video signal transmitted by HD-SDI (High Definition Serial Digital Interface) system and transmitting it as an IP packet,
IP packet processing means for assigning time information to an IP packet that is input via a coding device and one of the branched HD-SDI signals is stored in a storage means;
HD-SDI signal processing means for receiving the other of the branched HD-SDI signal, the CPU giving time information to the time code line number of the HD-SDI signal and storing it in the storage means;
Obtaining the time information given to the IP packet stored by the IP packet processing means from the storage means and the time information given to the time code line number stored by the HD-SDI signal processing means, A delay calculating means for calculating a delay time by calculating an average of a plurality of lines;
A video encoding delay measuring apparatus comprising: 前記IPパケット処理手段は、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する手段を含む
請求項１記載の映像符号化遅延測定装置。 The IP packet processing means includes
2. The video encoding delay measuring device according to claim 1, further comprising means for storing the time code in the storage means together with an HD-SDI time code inserted in the IP packet. 前記遅延計算手段は、
前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する
請求項１記載の映像符号化遅延測定装置。 The delay calculation means includes
When calculating the average,
The video coding delay measuring apparatus according to claim 1, wherein the arithmetic unit calculates the arithmetic mean or the geometric mean using a harmonic mean or a median. 映像信号のIPパケットを受信して復号し、HD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定装置であって、
映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して記憶手段に格納するIPパケット処理手段と、
前記分岐されたもう一方のIPパケットから復号装置により復号されたHD-SDI信号を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理手段と、
前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算手段と、
を有することを特徴とする映像復号遅延測定装置。 A video decoding delay measuring device for measuring a delay time required for receiving and decoding an IP packet of a video signal and transmitting it in HD-SDI format,
IP packet processing means for giving time information to one of the branched IP packets output from the video encoding device and storing it in the storage means,
The HD-SDI signal decoded by the decoding device from the other branched IP packet is received, and the CPU assigns time information to the time code / line number of the HD-SDI signal and stores it in the storage means HD-SDI signal processing means to
Obtaining the time information given to the IP packet stored by the IP packet processing means from the storage means and the time information given to the time code line number stored by the HD-SDI signal processing means, A delay calculating means for calculating a delay time by calculating an average of a plurality of lines;
A video decoding delay measuring apparatus comprising: 前記遅延計算手段は、
前記平均を算出する際に、
相加平均、相乗平均に、調和平均、中央値のいずれかを用いて算出する
請求項４記載の映像復号遅延測定装置。 The delay calculation means includes
When calculating the average,
5. The video decoding delay measuring apparatus according to claim 4, wherein the arithmetic unit calculates the arithmetic mean or the geometric mean using a harmonic mean or a median. HD-SDI(High Definition Serial Digital Interface)方式で送出された映像信号を受信してから符号化し、IPパケットとして送出するまでに要する遅延時間を測定するための映像符号化遅延測定方法であって、
時刻情報が付与されたIPパケット及びタイムコード・ライン番号を格納する記憶手段と、
IPパケット処理手段、
HD-SDI信号処理手段、
遅延計算手段、を有する装置において、
前記IPパケット処理手段が、分岐されたHD-SDI信号の一方が符号化装置を経由して入力されたIPパケットに、時刻情報を付与して前記記憶手段に格納するIPパケット処理ステップと、
前記HD-SDI信号処理手段が、前記分岐されたHD-SDI信号のもう一方を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理ステップと、
前記遅延計算手段が、前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算ステップと、
を行うことを特徴とする映像符号化遅延測定方法。 A video encoding delay measurement method for measuring a delay time required for receiving and encoding a video signal transmitted by HD-SDI (High Definition Serial Digital Interface) system and transmitting it as an IP packet,
Storage means for storing the IP packet and time code / line number to which time information is attached;
IP packet processing means,
HD-SDI signal processing means,
In an apparatus having delay calculation means,
An IP packet processing step in which the IP packet processing means assigns time information to an IP packet in which one of the branched HD-SDI signals is input via an encoding device and stores the time information in the storage means;
The HD-SDI signal processing means receives the other of the branched HD-SDI signals, and the CPU assigns time information to the time code line number of the HD-SDI signal and stores it in the storage means. HD-SDI signal processing step to
Time said delay calculating means, and the time information attached to the stored IP packet by the IP packet processing means from said storage means, given to the time code line numbers stored by the HD-SDI signal processing means A delay calculation step of calculating a delay time by obtaining information and calculating an average of a plurality of lines;
And a video encoding delay measuring method. 前記IPパケット処理ステップにおいて、
前記IPパケットにHD-SDIタイムコードが挿入されている場合には、該タイムコードも合わせて前記記憶手段に格納する
請求項６記載の映像符号化遅延測定方法。 In the IP packet processing step,
7. The video coding delay measurement method according to claim 6, wherein when an HD-SDI time code is inserted in the IP packet, the time code is also stored in the storage means. 映像信号のIPパケットを受信して復号してHD-SDI方式で送出するまでに要する遅延時間を測定するための映像復号遅延測定方法であって、
時刻情報が付与されたIPパケット及びタイムコード・ライン番号を格納する記憶手段と、
IPパケット処理手段、
HD-SDI信号処理手段、
遅延計算手段、を有する装置において、
前記IPパケット処理手段が、映像符号化装置から出力され、分岐された一方のIPパケットに、時刻情報を付与して前記記憶手段に格納するIPパケット処理ステップと、
前記HD-SDI信号処理手段が、前記分岐されたもう一方のIPパケットから復号装置により復号されたHD-SDI信号を受信し、CPUが該HD-SDI信号のタイムコード・ライン番号に、時刻情報を付与して前記記憶手段に格納するHD-SDI信号処理ステップと、
遅延計算手段が、前記記憶手段から前記IPパケット処理手段により格納されたIPパケットに付与された時刻情報と、前記HD-SDI信号処理手段により格納されたタイムコード・ライン番号に付与された時刻情報を取得して、複数のラインでの平均を算出することにより、遅延時間を算出する遅延計算ステップと、
を行うことを特徴とする映像復号遅延測定方法。 A video decoding delay measurement method for measuring a delay time required for receiving and decoding an IP packet of a video signal and transmitting it in HD-SDI format,
Storage means for storing the IP packet and time code / line number to which time information is attached;
IP packet processing means,
HD-SDI signal processing means,
In an apparatus having delay calculation means,
The IP packet processing means outputs an IP packet processing step of adding time information to one of the branched IP packets output from the video encoding device and storing it in the storage means;
The HD-SDI signal processing means receives an HD-SDI signal decoded by the decoding device from the other branched IP packet, and the CPU adds time information to the time code line number of the HD-SDI signal. and HD-SDI signal processing step of storing in said storage means by applying,
Time information delay calculation means, and time information attached to the stored IP packet by the IP packet processing means from said storage means, given to the time code line numbers stored by the HD-SDI signal processing means And calculating a delay time by calculating an average of a plurality of lines,
And a video decoding delay measuring method.
JP2012142115A 2012-06-25 2012-06-25 Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method Active JP5806980B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012142115A JP5806980B2 (en) 2012-06-25 2012-06-25 Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012142115A JP5806980B2 (en) 2012-06-25 2012-06-25 Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method

Publications (2)

Publication Number Publication Date
JP2014007584A JP2014007584A (en) 2014-01-16
JP5806980B2 true JP5806980B2 (en) 2015-11-10

Family

ID=50104951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012142115A Active JP5806980B2 (en) 2012-06-25 2012-06-25 Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method

Country Status (1)

Country Link
JP (1) JP5806980B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112601078B (en) * 2020-12-11 2022-07-26 杭州当虹科技股份有限公司 Automatic encoder delay measuring method based on video

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0516734A (en) * 2004-10-01 2008-09-23 Toshiba Kk Toshiba Corp radio signal time measuring apparatus, transmission apparatus and relay apparatus using it, and time delay measuring apparatus
JP5068224B2 (en) * 2008-06-27 2012-11-07 日本電信電話株式会社 Video transmission / reception system and control method thereof
JP2010028642A (en) * 2008-07-23 2010-02-04 Hitachi Kokusai Electric Inc Image transmission system
JP2011234341A (en) * 2010-04-09 2011-11-17 Sony Corp Receiving apparatus and camera system

Also Published As

Publication number Publication date
JP2014007584A (en) 2014-01-16

Similar Documents

Publication Publication Date Title
US11423942B2 (en) Reference and non-reference video quality evaluation
CN103621085B (en) Reduce method and the computing system of the delay in video decode
EP2134092B1 (en) Information processing apparatus and method, and program
JP5475855B2 (en) Virtual reference decoder for multiview video coding
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
US20220159288A1 (en) Encoding device, decoding device, streaming system, and streaming method
JPH10174111A (en) Encoder and decoder for high-definition television signal
JP2008199606A (en) Method of detecting media rate for measuring network jitter
KR101659514B1 (en) Frame rate control method, frame rate control device, and frame rate control program
JP4303535B2 (en) Decode display device, imaging device, and image transmission system including the same
JP5806980B2 (en) Video encoding delay measuring apparatus and video decoding delay measuring apparatus and method
JP2007013419A (en) Image processor and image processing method
CN112055174B (en) Video transmission method and device and computer readable storage medium
KR101732995B1 (en) System with minimized streaming latency and the method using thereof
KR20090030779A (en) A low delay intra-frame coding method using data partition
JP5335294B2 (en) Moving image processing system, moving image processing method, program, and storage medium
JP2010239433A (en) Video coding apparatus, method and program
US10284865B2 (en) Encoding device, encoding method, and recording medium
CN106685904B (en) Method and device for coding scheduling of streaming data
JPWO2008123126A1 (en) Image quality evaluation system, method and program
Neborovski et al. Video quality assessment approach with field programmable gate arrays
CN117676146A (en) Encoding and decoding method and device
KR101336820B1 (en) Apparatus and method for decoding specialized multi-channel trick mode
KR101600284B1 (en) method for measuring video quality
Jiayan et al. Dynamic control for real-time video decoding in wireless channel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150907

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5806980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150