JP2006279436A - Multimedia communication system and data deleting method for re-transmission - Google Patents

Multimedia communication system and data deleting method for re-transmission Download PDF

Info

Publication number
JP2006279436A
JP2006279436A JP2005094521A JP2005094521A JP2006279436A JP 2006279436 A JP2006279436 A JP 2006279436A JP 2005094521 A JP2005094521 A JP 2005094521A JP 2005094521 A JP2005094521 A JP 2005094521A JP 2006279436 A JP2006279436 A JP 2006279436A
Authority
JP
Japan
Prior art keywords
packet
data
retransmission
buffer
reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005094521A
Other languages
Japanese (ja)
Other versions
JP2006279436A5 (en
Inventor
Takeshi Nagai
剛 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005094521A priority Critical patent/JP2006279436A/en
Publication of JP2006279436A publication Critical patent/JP2006279436A/en
Publication of JP2006279436A5 publication Critical patent/JP2006279436A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a multimedia communication system for controlling compress of a buffer area by effectively deleting the data for re-transmission and also provide a data deleting method for re-transmission. <P>SOLUTION: An apparatus 10 in the transmitting side transmits the data for transmission to an apparatus 20 in the receiving side as the packet data and stores the packet transmitted for a constant time or in a constant amount within a transmitting data buffer 11 as the data for re-transmission (packet group for re-transmission). The data for re-transmission stored in the transmitting data buffer 11 is deleted with a data canceling unit 15 based on the result of judgment for the receiving condition data (ACK(acknowledgment of reception), NACK(non-acknowledgment of reception)) from the apparatus 20 in the receiving side by a data cancellation judging unit 14. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムおよび再送用データ削除方法に係わり、詳しくは、再送用データを効率的に削除して、バッファ領域の圧迫を抑制するようにしたマルチメディア通信システムおよび再送用データ削除方法に関する。   The present invention relates to a multimedia communication system and a retransmission data deletion method for packetizing media information such as text, audio, and video and transmitting them to a receiving side. Specifically, the present invention relates to a method for efficiently deleting retransmission data and a buffer. The present invention relates to a multimedia communication system and a data deletion method for retransmission, which are designed to suppress area compression.

一般的に、テキスト、音声、映像データ等のメディア情報を伝送する際には、そのデータを圧縮してデータ量を小さくして伝送する。このような各種音声・映像データの圧縮技術(圧縮符号化技術)の代表的なものとして、MPEG(Moving Picture Experts Group)規格が知られている。   In general, when transmitting media information such as text, audio, and video data, the data is compressed to reduce the data amount. The MPEG (Moving Picture Experts Group) standard is known as a representative example of such various audio / video data compression techniques (compression encoding techniques).

MPEGによる圧縮符号化技術には、時間軸の方向(フレーム(画面)間)の冗長性を削減するフレーム間予測符号化方法と、空間的な方向(フレーム(画面)内)の冗長性を削減するフレーム内符号化方法とがあり、これら2つの方法を用いて動画像の冗長性を削減する。   MPEG compression coding technology uses inter-frame predictive coding that reduces redundancy in the direction of the time axis (between frames (screens), and redundancy in the spatial direction (within frames (screens)). Intra-frame encoding methods are used, and redundancy of moving images is reduced by using these two methods.

特に、前者のフレーム間予測符号化方法では、早送り、巻戻し、途中からの再生等に対応するために、主にI(Intra-coded)フレーム、P(Predictive-coded)フレーム、B(Bidirectionally predictive-coded)フレームといった3種類のフレームタイプを規定し、Iフレームに対して、N個のPフレームまたはBフレームからなるフレームグループ(Group of Picture)を単位として、フレームグループ単位での途中再生等を可能とする。   In particular, in the former inter-frame predictive encoding method, mainly I (Intra-coded) frame, P (Predictive-coded) frame, and B (Bidirectionally predictive) are used in order to cope with fast forward, rewind, and playback from the middle. -coded) Three frame types such as frames are specified. For I frame, frame group (Group of Picture) consisting of N P frames or B frames is used as a unit, and halfway playback in frame group unit, etc. Make it possible.

Iフレームは、フレームタイプの中で最も圧縮率が低く、そのデータ量は大きいが、動画像の再生の起点となるキーフレームであり、PフレームまたはBフレームは、キーフレームであるIフレームに対する差分情報を持つ差分フレームである。   The I frame has the lowest compression rate among the frame types and has a large amount of data, but is a key frame that is a starting point for moving image reproduction, and the P frame or B frame is a difference from the I frame that is a key frame. It is a difference frame with information.

ところで従来、上述したメディア情報をパケット化して伝送する際に、パケットの消失、すなわちパケットロスが大きな問題となっている。   Conventionally, when the above-described media information is packetized and transmitted, packet loss, that is, packet loss has been a big problem.

特に、音声、映像データのリアルタイム伝送では、UDP(User Datagram Protocol)を利用するため、パケットロスが起こる可能性がある。また、パケットロスが起こった場合の画質への影響はパケットにより異なるため一定ではない。例えば、Iフレームを構成するパケット群を消失するのと、Pフレームを構成するパケット群を消失するのとでは、Iフレームを構成するパケット群を消失した場合の方が圧倒的に画質への影響が多い。   In particular, real-time transmission of audio and video data uses UDP (User Datagram Protocol), which may cause packet loss. In addition, the effect on image quality when packet loss occurs differs depending on the packet and is not constant. For example, the loss of the packet group constituting the I frame and the loss of the packet group constituting the P frame are overwhelmingly affected when the packet group constituting the I frame is lost. There are many.

通常、パケットロスが生じた場合には、受信側でパケットロスを検出し、送信側に再送を要求することで、パケットの補完が行われることとなるが、伝送路の帯域制限等の問題により、ロスしたパケット全てを再送する方法は得策ではない。   Normally, when packet loss occurs, the packet is complemented by detecting the packet loss on the receiving side and requesting retransmission on the transmitting side. However, due to problems such as bandwidth limitations of the transmission path, etc. Retransmitting all lost packets is not a good idea.

このような問題に対処した技術としては、特許文献1に記載されたものが知られており、この特許文献1の発明によると、紛失したデータフレームの再送を、そのフレームの優先度レベルと閾値との比較に基づいて行うことで、送出機能を実際の伝送路特性などの多くの要因に適応させることができる。そのため、極力無駄を省いた方法で紛失したデータフレームの再送が行え、映像品質を向上させることができるという技術について言及されている。
特開2001−274861号
As a technique for coping with such a problem, one described in Patent Document 1 is known. According to the invention of Patent Document 1, retransmission of a lost data frame is performed by using the priority level and threshold value of the frame. The transmission function can be adapted to many factors such as actual transmission line characteristics. For this reason, a technique has been mentioned in which a lost data frame can be retransmitted by a method that minimizes waste and the video quality can be improved.
Japanese Patent Application Laid-Open No. 2001-274861

しかしながら、上記特許文献1の発明では、Iフレームに最初に従属するフレームから順番に優先度を高く設定し、優先度に応じて再送処理を行うため、再送処理に関しては効率的に制御することができるが、再送用のデータを保持するバッファについては、どのように処理すればよいかについて考慮されていなかった。   However, in the invention of the above-mentioned Patent Document 1, since the priority is set higher in order from the frame first subordinate to the I frame and retransmission processing is performed according to the priority, the retransmission processing can be controlled efficiently. However, it has not been considered how to process a buffer that holds data for retransmission.

そのため、送信側では、パケットロスに対応するために送信済みのパケットデータを一定時間バッファに保持しておくが、このような再送用のパケットを単純にバッファに全て保存しておいた場合には、バッファ領域を圧迫する恐れがあった。   Therefore, on the transmission side, the transmitted packet data is held in the buffer for a certain period of time in order to cope with the packet loss, but if all such retransmission packets are simply stored in the buffer, There was a risk of squeezing the buffer area.

そこで、本発明は上記問題点に鑑みてなされたものであり、再送用データを効率的に削除して、バッファ領域の圧迫を抑制するようにしたマルチメディア通信システムおよび再送用データ削除方法を提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and provides a multimedia communication system and a retransmission data deletion method that efficiently delete retransmission data and suppress compression of the buffer area. The purpose is to do.

上記目的を達成するため、請求項1の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、前記受信側から受信状況データを受信する受信状況データ受信手段と、前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定する判定手段と、前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から削除する破棄手段とを具備することを特徴とする。   In order to achieve the above object, a first aspect of the present invention provides a multimedia communication system that packetizes media information such as text, audio, video, etc. and transmits it to a receiving side, and temporarily transmits retransmission data corresponding to the transmitted packet. Buffer means for holding the received data, receiving status data receiving means for receiving the receiving status data from the receiving side, and packets normally transmitted to the receiving side based on the receiving status data received by the receiving status data receiving means And determining means for determining, and discarding means for deleting, from the buffer means, retransmission data corresponding to a packet determined to have been normally transmitted to the receiving side by the determining means.

また、請求項5の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段と、前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定する判定手段と、前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを削除する破棄手段とを具備することを特徴とする。   Further, the invention of claim 5 is a multimedia communication system for packetizing media information such as text, audio, video, etc. and transmitting it to the receiving side, and a buffer for temporarily holding retransmission data corresponding to the transmitted packet Means, priority setting means for setting a priority for each packet based on the time until the effect can be recovered when a packet error, loss, etc. occurs, and each priority packet is assigned to each packet by the priority setting means. A determination unit configured to determine retransmission data to be deleted based on a set priority; and a discard unit configured to delete the retransmission data from the buffer unit based on a determination result by the determination unit. .

また、請求項6の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、前記受信側から受信状況データを受信状況データ受信手段で受信し、前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定手段で判定し、前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から破棄手段で削除することを特徴とする。   According to a sixth aspect of the present invention, there is provided a data deletion method for retransmission in a multimedia communication system in which media information such as text, audio, and video is packetized and transmitted to a receiving side. A packet that is temporarily stored in the buffer means, received from the reception side by the reception status data reception means, and normally transmitted to the reception side based on the reception status data received by the reception status data reception means It is characterized by determining by the determining means, and the retransmission data corresponding to the packet determined to be normally transmitted to the receiving side by the determining means is deleted from the buffer means by the discarding means.

また、請求項7の発明は、テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を優先度設定手段で設定し、前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定手段で判定し、前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを破棄手段で削除することを特徴とする。   The invention of claim 7 relates to a retransmission data deletion method of a multimedia communication system for packetizing media information such as text, audio, video, etc. and transmitting it to the receiving side. Temporarily held in the buffer means, and when a packet error, loss, etc. occurs, the priority is set for each packet by the priority setting means based on the time until the effect can be recovered, and the priority The determination unit determines retransmission data to be deleted based on the priority set for each packet by the setting unit, and the retransmission unit deletes the retransmission data from the buffer unit based on the determination result by the determination unit. Features.

本発明によれば、テキスト、音声、映像等のメディア情報をパケット化して送信し、該送信済みのパケットに対応する再送用データを一時的にバッファに保持するとともに、受信側から受信する受信状況データに基づいて正常に受信側に送信されたパケットを判定し、正常に受信側に送信されたと判定されたパケットに対応する再送用データをバッファから削除するように構成したため、再送用データを効率的に削除できるので、バッファ領域の圧迫を抑制することができる。   According to the present invention, media information such as text, audio, and video is packetized and transmitted, and retransmission data corresponding to the transmitted packet is temporarily held in the buffer and received from the receiving side. Based on the data, the packet that is normally transmitted to the receiving side is determined, and the retransmission data corresponding to the packet that is determined to be normally transmitted to the receiving side is deleted from the buffer. Since it can be deleted automatically, compression of the buffer area can be suppressed.

また、テキスト、音声、映像等のメディア情報をパケット化して送信し、該送信済みのパケットに対応する再送用データを一時的にバッファに保持するとともに、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定し、該設定された優先度に基づき削除する再送用データを判定し、判定結果に基づいてバッファから当該再送用データを削除するように構成したため、パケットの重要度に応じて再送用データを効率的に削除できる。さらに、重要度の低いパケットに対応する再送用データを先に削除することにより、かかるパケットが消失したとしても、削除されているため再送等でリカバリが行えないため、不要な再送処理による帯域の圧迫も防止することができる。   In addition, when media information such as text, audio, video, etc. is packetized and transmitted, the retransmission data corresponding to the transmitted packet is temporarily held in the buffer, and an error or loss of the packet occurs. The priority is set for each packet based on the time until the influence can be recovered, the retransmission data to be deleted is determined based on the set priority, and the retransmission data is determined from the buffer based on the determination result. Therefore, retransmission data can be efficiently deleted according to the importance of the packet. Furthermore, by deleting the retransmission data corresponding to the low-importance packet first, even if the packet is lost, it cannot be recovered by retransmission because it is deleted. Compression can also be prevented.

以下、この発明に係わるマルチメディア通信システムおよび再送用データ削除方法の実施例について添付図面を参照して詳細に説明する。   Hereinafter, embodiments of a multimedia communication system and a retransmission data deleting method according to the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明に係わるマルチメディア通信システムの概略構成の一例を示す図である。なお、本実施例においては、送信側装置10に本発明に係わる再送用データ削除方法を適用した場合を示す。   FIG. 1 is a diagram showing an example of a schematic configuration of a multimedia communication system according to the present invention. In this embodiment, a case where the retransmission data deletion method according to the present invention is applied to the transmission side apparatus 10 is shown.

このマルチメディア通信システムは、送信側装置10と受信側装置20とを具備して構成される。なお、ここでは、本発明に係わる構成要素のみを挙げて説明する。   This multimedia communication system includes a transmission side device 10 and a reception side device 20. Here, only the constituent elements according to the present invention will be described.

送信側装置10は、動画データ等の送信用データをパケット化して受信側装置20へ送信する役割を果たし、受信側装置20では、送信側装置10から送信されたパケットを受信する役割を果たす。   The transmission side device 10 plays a role of packetizing transmission data such as moving image data and transmitting it to the reception side device 20, and the reception side device 20 plays a role of receiving a packet transmitted from the transmission side device 10.

送信側装置10は、各種処理機能部として、送信データバッファ11と、データ送信部12と、受信状況データ受信部13と、データ破棄判定部14と、データ破棄部15とを具備して構成される。   The transmission side device 10 includes a transmission data buffer 11, a data transmission unit 12, a reception status data reception unit 13, a data discard determination unit 14, and a data discard unit 15 as various processing function units. The

送信データバッファ11は、送信用データを保持するバッファである。また、受信側装置20にデータ送信後、その送信済みデータを、再送用データ(再送用パケット群)として一定時間、若しくは一定量保持しておく。   The transmission data buffer 11 is a buffer that holds transmission data. Further, after the data is transmitted to the receiving side device 20, the transmitted data is held as retransmission data (retransmission packet group) for a certain period of time or a certain amount.

データ送信部12は、受信側装置20へ送信用データをパケット化して送信する処理部である。具体的には、送信データバッファに保持されたデータを取得し、取得したデータをパケット化して受信側装置20へ送信する。また、データ送信部12は、後述する受信状況データ受信部13からの受信状況データに基づいて、送信データバッファ11内に保持された再送用データをパケット化してパケットの再送処理を行う。   The data transmission unit 12 is a processing unit that packetizes transmission data to the reception side device 20 and transmits the packetized data. Specifically, the data held in the transmission data buffer is acquired, and the acquired data is packetized and transmitted to the reception-side apparatus 20. In addition, the data transmission unit 12 packetizes retransmission data held in the transmission data buffer 11 based on reception status data from a reception status data reception unit 13 described later, and performs packet retransmission processing.

受信状況データ受信部13は、受信側装置20から受信状況データを受信する処理部である。具体的には、データ送信部12にて送信したパケットの受信状況データ(ACK(受信確認)、NACK(受信未確認))を受信側装置20から受信する。   The reception status data receiving unit 13 is a processing unit that receives reception status data from the receiving-side device 20. Specifically, the reception status data (ACK (reception confirmation), NACK (reception unconfirmed)) of the packet transmitted by the data transmission unit 12 is received from the reception-side device 20.

データ破棄判定部14は、送信データバッファ11に保持された再送用データの削除要否を判定する処理部である。詳細は後述するが、受信状況データ受信部13で受信した受信状況データに従って、送信データバッファ11に保持された再送用データの内、どの送信済みパケットに対応する再送用データを削除するのかを判定する。   The data discard determination unit 14 is a processing unit that determines whether it is necessary to delete the retransmission data held in the transmission data buffer 11. Although details will be described later, according to the reception status data received by the reception status data receiving unit 13, it is determined which retransmission data corresponding to which transmitted packet is to be deleted from among the retransmission data held in the transmission data buffer 11. To do.

データ破棄部15は、データ破棄判定部14の判定結果に基づいて、送信データバッファ11から再送用データの削除処理を行う処理部である。以上が本発明に係わる送信側装置10の各種処理機能部の説明である。   The data discarding unit 15 is a processing unit that performs a process of deleting retransmission data from the transmission data buffer 11 based on the determination result of the data discarding determination unit 14. The above is description of the various processing function parts of the transmission side apparatus 10 concerning this invention.

一方、受信側装置20は、内部に受信状況通知部21を具備して構成される。受信側装置20は、送信側装置10からパケットを受信するとともに、その受信状況を受信状況通知部21にて送信側装置10に通知する。具体的には、送信側装置10からパケット#1を受信すると、かかるパケットの受信が正常に行われた旨のACKを送信し一方、パケット#1の受信が正常に行われなかった場合には、NACKを送信する。   On the other hand, the reception-side device 20 is configured to include a reception status notification unit 21 therein. The reception side device 20 receives the packet from the transmission side device 10 and notifies the transmission side device 10 of the reception status by the reception status notification unit 21. Specifically, when the packet # 1 is received from the transmission side apparatus 10, an ACK indicating that the reception of the packet has been normally performed is transmitted, while the reception of the packet # 1 is not normally performed. , NACK is transmitted.

次に、図2および図3を用いて、本発明に係わる再送用データ削除処理の概要を説明する。なお、再送用データ削除処理には、大きく2通りあり、ACK(受信確認)を受信した場合に、送信データバッファ11内のデータを削除する方法と、NACK(受信未確認)を受信した場合に、送信データバッファ11内のデータを削除する方法とがある。   Next, the outline of the data deletion process for retransmission according to the present invention will be described with reference to FIGS. There are two main types of data deletion processing for retransmission. When ACK (reception confirmation) is received, a method of deleting data in the transmission data buffer 11 and when NACK (reception unconfirmed) is received, There is a method of deleting data in the transmission data buffer 11.

まず、図2を用いて、ACK(受信確認)を受信した場合の再送用データ削除処理の概要について説明する。   First, the outline of the data deletion process for retransmission when an ACK (acknowledgement) is received will be described with reference to FIG.

送信データバッファ11内には、パケット#1〜#7に対応する再送用データが保持され、送信データバッファ11は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある(ステップS1)。   The transmission data buffer 11 holds retransmission data corresponding to the packets # 1 to # 7. The transmission data buffer 11 has the maximum capacity, and stores retransmission data corresponding to the next transmitted packet. It is in a state where it cannot be performed (step S1).

ここで、受信側装置20からパケット#1〜#4までのACKを受信した場合、かかるACKに対応するパケット#1〜#4の送信が正常に行われたと判断し、パケット#1〜#4に対応する再送用データを削除する(ステップS2)。再送用データが削除されたことに伴って、送信データバッファ11に空き領域が生じる(ステップS3)。   Here, when the ACKs of the packets # 1 to # 4 are received from the receiving side apparatus 20, it is determined that the packets # 1 to # 4 corresponding to the ACKs are normally transmitted, and the packets # 1 to # 4 are determined. The data for retransmission corresponding to is deleted (step S2). As the retransmission data is deleted, an empty area is generated in the transmission data buffer 11 (step S3).

そして、空いた領域にパケット#7以降に続く、パケット#8〜パケット#11に対応する再送用データを格納し、以降同様に、ACKに対応して再送用データの削除処理を進めることとなる。   Then, the data for retransmission corresponding to packet # 8 to packet # 11 following packet # 7 and subsequent packets are stored in the vacant area, and similarly, the deletion process of data for retransmission is advanced corresponding to ACK thereafter. .

次に、図3を用いて、NACK(受信未確認)を受信した場合の再送用データ削除処理の概要について説明する。なお、この場合、送信側装置10と受信側装置20とを接続する接続環境(ネットワーク環境等)の受信順序(NACK受信順序)が送信順序と変わらないものとする。   Next, the outline of the data deletion process for retransmission when NACK (reception unconfirmed) is received will be described with reference to FIG. In this case, it is assumed that the reception order (NACK reception order) of the connection environment (network environment or the like) for connecting the transmission side apparatus 10 and the reception side apparatus 20 is not different from the transmission order.

送信データバッファ11内には、パケット#1〜#7に対応する再送用データが保持され、送信データバッファ11は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある(ステップS1)。   The transmission data buffer 11 holds retransmission data corresponding to the packets # 1 to # 7. The transmission data buffer 11 has the maximum capacity, and stores retransmission data corresponding to the next transmitted packet. It is in a state where it cannot be performed (step S1).

ここで、受信側装置20からパケット#4のNACKを受信した場合、かかるNACKに対応するパケット#4よりも以前に送信されたパケット#1〜#3の送信は正常に行われたと判断し、パケット#1〜#3に対応する再送用データを削除する(ステップS2)。再送用データが削除されたことに伴って、送信データバッファ11に空き領域が生じる(ステップS3)。   Here, when the NACK of the packet # 4 is received from the receiving side apparatus 20, it is determined that the transmission of the packets # 1 to # 3 transmitted before the packet # 4 corresponding to the NACK is normally performed, Data for retransmission corresponding to packets # 1 to # 3 is deleted (step S2). As the retransmission data is deleted, an empty area is generated in the transmission data buffer 11 (step S3).

そして、空いた領域にパケット#7以降に続く、パケット#8〜#10に対応する再送用データを格納し、以降同様に、NACKに対応して再送用データの削除処理を進めることとなる。   Then, the retransmission data corresponding to the packets # 8 to # 10 following the packet # 7 and subsequent packets are stored in the vacant area, and similarly, the deletion process of the retransmission data is advanced corresponding to the NACK thereafter.

なお、受信順序(NACK受信順序)が送信順序と変わる可能性がある接続環境においては、上記のような方式の他に、順序が変わる可能性のある期間(例えば、パケット数や時間)より前のパケットに対応する再送用データを、送信データバッファ11から削除するといった方式で対応することもできる。   In a connection environment in which the reception order (NACK reception order) may change from the transmission order, in addition to the methods described above, a period before the order may change (for example, the number of packets or time). It is also possible to cope with such a method that the data for retransmission corresponding to this packet is deleted from the transmission data buffer 11.

また、NACKの場合、NACK自身がパケットロスする可能性がある。そのため、NACK自身のパケットロスを考慮する場合には、NACKと対応する以前のパケットの再送用データを即時削除するのではなく、一定時間待ってから削除する等の方法により対応できる。   Further, in the case of NACK, there is a possibility that NACK itself may lose a packet. Therefore, when considering the packet loss of the NACK itself, it is possible to cope with a method such as deleting the data for retransmission of the previous packet corresponding to the NACK without waiting immediately, but deleting after waiting for a certain time.

図4は、本発明に係わる送信側装置10の動作を説明するフローチャートである。なお、ここでは、送信データバッファ11に保持された再送用データを削除する場合の動作について説明する。   FIG. 4 is a flowchart for explaining the operation of the transmission side apparatus 10 according to the present invention. Here, an operation when the retransmission data held in the transmission data buffer 11 is deleted will be described.

送信側装置10は、データ送信部12により受信側装置20に対してパケット送信済みであり、受信状況データ(ACK(受信確認)、NACK(受信未確認))の受信待ち状態である(ステップS101でNO)。   The transmission side device 10 has already transmitted a packet to the reception side device 20 by the data transmission unit 12, and is waiting to receive reception status data (ACK (reception confirmation), NACK (reception unconfirmed)) (in step S101). NO).

ここで、受信側装置20から受信状況データを受信状況データ受信部13にて受信すると(ステップS101でYES)、データ破棄判定部14は、受信した受信状況データがACKであるのかNACKであるのかを判定し(ステップS102)、ACKである場合には(ステップS102でACK)、データ破棄部15は、判定結果に基づいて、送信データバッファ11内から受信したACKと対応するパケット[N]の再送用データを削除し(ステップS103)、この処理を終了する。   Here, when reception status data is received by the reception status data receiving unit 13 from the receiving-side device 20 (YES in step S101), the data discard determination unit 14 determines whether the received reception status data is ACK or NACK. (Step S102), if it is an ACK (ACK in step S102), the data discarding unit 15 determines the packet [N] corresponding to the ACK received from the transmission data buffer 11 based on the determination result. The retransmission data is deleted (step S103), and this process is terminated.

一方、受信した受信状況データがNACKであると判定された場合には(ステプS102でNACK)、データ破棄部15は、判定結果に基づいて、送信データバッファ11内から受信したNACKと対応するパケット[N]以前のパケット[N−1]までの再送用データを削除し(ステップS104)、この処理を終了する。   On the other hand, when it is determined that the received reception status data is NACK (NACK in step S102), the data discarding unit 15 determines a packet corresponding to the NACK received from the transmission data buffer 11 based on the determination result. [N] The data for retransmission up to the previous packet [N−1] is deleted (step S104), and this process ends.

以上説明したように本発明においては、受信側装置20からの受信状況データ(ACK(受信確認)、NACK(受信未確認))に基づいて、送信データバッファ11内の再送用データを削除するようにしたため、送信データバッファ11内の再送用データを効率良く削除できるとともに、その容量を圧迫することを抑止できる。   As described above, in the present invention, the retransmission data in the transmission data buffer 11 is deleted based on the reception status data (ACK (reception confirmation), NACK (reception unconfirmed)) from the reception side device 20. Therefore, it is possible to efficiently delete the data for retransmission in the transmission data buffer 11 and to suppress pressing the capacity.

実施例2では、各パケットに優先度を設け、かかる優先度に基づいてパケットと対応する再送用データを削除する場合の実施形態について説明する。   In the second embodiment, an embodiment will be described in which priority is given to each packet and retransmission data corresponding to the packet is deleted based on the priority.

図5は、実施例2に係わるマルチメディア通信システムの概略構成の一例を示す図である。なお、上記実施例1を説明した図1と同一の符号が付してあるものは略同様に動作するため、ここでは相違点についてのみ説明する。   FIG. 5 is a diagram illustrating an example of a schematic configuration of a multimedia communication system according to the second embodiment. In addition, since what attached | subjected the code | symbol same as FIG. 1 which demonstrated the said Example 1 operate | moves substantially the same, only a different point is demonstrated here.

送信側装置10は、動画データ等の送信用データをパケット化して受信側装置20へ送信する役割を果たし、受信側装置20では、送信側装置10から送信されたパケットを受信する役割を果たす。   The transmission side device 10 plays a role of packetizing transmission data such as moving image data and transmitting it to the reception side device 20, and the reception side device 20 plays a role of receiving a packet transmitted from the transmission side device 10.

また、送信側装置10から送信されるパケットには、Iフレーム(Iフレームを構成するパケット群)、Pフレーム(Pフレームを構成するパケット群)の2種あり、パケットロスが起こった場合の画質への影響度合いにより、それぞれ優先度が異なる。詳細は後述するが、同一フレームグループ内に、IフレームとPフレームがあるならば、Iフレームには、Pフレームより高い優先度を設け、さらにPフレームの中でも、次のフレームグループのIフレームに時間的に近いものから順番に優先度を低く設定する。   Further, there are two types of packets transmitted from the transmission side device 10: I frame (packet group constituting the I frame) and P frame (packet group constituting the P frame), and image quality when packet loss occurs. The priority differs depending on the degree of influence. Although details will be described later, if there are an I frame and a P frame in the same frame group, the I frame is given higher priority than the P frame, and among the P frames, the I frame of the next frame group is assigned. Set the priority in descending order of time.

これらフレームに設けられた優先度は、送信データバッファ11内に保持された再送用データを削除する際に使用され、その優先度が低いものから順番に削除されることとなる。   The priorities provided in these frames are used when data for retransmission held in the transmission data buffer 11 is deleted, and are deleted in order from the lowest priority.

送信側装置10は、各種処理機能部として、送信データバッファ11と、データ送信部12と、受信状況データ受信部13と、データ破棄判定部14と、データ破棄部15と、優先度設定部16とを具備して構成される。すなわち、上記図1の構成に、優先度設定部16を設けた構成となる。   The transmission side device 10 includes a transmission data buffer 11, a data transmission unit 12, a reception status data reception unit 13, a data discard determination unit 14, a data discard unit 15, and a priority setting unit 16 as various processing function units. And is configured. That is, the priority setting unit 16 is provided in the configuration of FIG.

優先度設定部16は、動画データ等の送信用データを受信するとともに、そのパケット毎に優先度を設定し、送信データバッファ11に送信用データを格納する処理部である。この優先度の設定方法としては、パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する。具体的には、同一フレームグループ内に、IフレームとPフレームがあるならば、Iフレームには、Pフレームより高い優先度を設け、さらにPフレームの中でも、次のフレームグループのIフレームに時間的に近いものから順番に優先度を低く設定する。   The priority setting unit 16 is a processing unit that receives transmission data such as moving image data, sets priority for each packet, and stores the transmission data in the transmission data buffer 11. As a priority setting method, when a packet error or loss occurs, the priority is set for each packet based on the time until the influence can be recovered. Specifically, if there are an I frame and a P frame in the same frame group, the I frame is given a higher priority than the P frame, and among the P frames, the I frame of the next frame group has a time. Set the priority in order from the closest to the lowest.

例えば、図6に示すように、フレームグループ1とフレームグループ2があり、フレームグループ1内のIフレームとPフレームに優先度を設定する場合、まず、Iフレーム(1)に最も高い優先度を設定する。Pフレームは、次のフレームグループ2のIフレーム(2)に時間的に近いものから順番に優先度を低く設定し、Pフレーム(1−3)には、最も低い優先度を設定し、Pフレーム(1−2)には、Pフレーム(1−3)の次に低い優先度を設定し、Pフレーム(1−1)には、Pフレーム(1−2)の次に低い優先度を設定する。すなわち、未来のIフレームを予測して、予測したIフレームに基づいてPフレームの優先度を設定することとなる。   For example, as shown in FIG. 6, when there are frame group 1 and frame group 2 and priority is set for I frame and P frame in frame group 1, first, the highest priority is assigned to I frame (1). Set. The P frames are set to have a lower priority in order from the temporally closest I frame (2) of the next frame group 2, and the lowest priority is set to the P frame (1-3). The frame (1-2) is assigned the next lowest priority after the P frame (1-3), and the frame (1-1) is assigned the second lowest priority after the P frame (1-2). Set. That is, a future I frame is predicted, and the priority of the P frame is set based on the predicted I frame.

また、優先度設定部16は、時間的に後に受信したフレームグループに対しては、時間的に先に受信したフレームグループよりも優先度を高く設定する。図6で言うと、フレームグループ2に属する各フレームに対しては、フレームグループ1に属する最も優先度の高いフレーム、すなわちIフレーム(1)よりも高い優先度を設定する。すなわち、古いフレームに低い優先度を設定し、先に削除する。   The priority setting unit 16 sets a higher priority for a frame group received later in time than a frame group received earlier in time. Referring to FIG. 6, for each frame belonging to frame group 2, a frame having the highest priority belonging to frame group 1, that is, a higher priority than I frame (1) is set. That is, a low priority is set for the old frame and deleted first.

受信状況データ受信部13は、受信側装置20から受信状況データを受信する処理部である。具体的には、データ送信部12にて送信したパケットの受信状況データ(ACK(受信確認)、NACK(受信未確認))を受信する。但し、実施例2においては、受信状況データは、再送用データを削除する際の判定基準には用いず、受信側装置20が受信できなかったパケットを再送する際の情報として用いる。   The reception status data receiving unit 13 is a processing unit that receives reception status data from the receiving-side device 20. Specifically, the reception status data (ACK (reception confirmation), NACK (reception unconfirmed)) of the packet transmitted by the data transmission unit 12 is received. However, in the second embodiment, the reception status data is not used as a criterion for deleting retransmission data, but is used as information for retransmitting a packet that could not be received by the receiving device 20.

データ破棄判定部14は、送信データバッファ11に保持された再送用データの削除要否を判定する処理部である。詳細は後述するが、送信データバッファ11のバッファ容量と、パケットに付与された優先度に応じて、送信データバッファ11に保持された再送用データの内、どの送信済みパケットに対応する再送用データを削除するのかを判定する。以上が本発明に係わる送信側装置10の各種処理機能部の説明である。   The data discard determination unit 14 is a processing unit that determines whether it is necessary to delete the retransmission data held in the transmission data buffer 11. Although details will be described later, retransmission data corresponding to a transmitted packet among retransmission data held in the transmission data buffer 11 according to the buffer capacity of the transmission data buffer 11 and the priority given to the packet. Determine whether to delete. The above is description of the various processing function parts of the transmission side apparatus 10 concerning this invention.

次に、図7を用いて、実施例2に係わる再送用データ削除処理の概要を説明する。   Next, the outline of the retransmission data deletion process according to the second embodiment will be described with reference to FIG.

送信データバッファ11内には、パケット#1〜#8に対応する再送用データが保持され、送信データバッファ11は、その容量が最大となり、次の送信済みパケットに対応する再送用データの格納ができない状態にある(ステップS1)。   The transmission data buffer 11 holds retransmission data corresponding to the packets # 1 to # 8. The transmission data buffer 11 has the maximum capacity, and stores retransmission data corresponding to the next transmitted packet. It is in a state where it cannot be performed (step S1).

この場合、パケット#1およびパケット#5はIフレームであり、それ以外のパケットはPフレームであり、上記図2で説明した方法により各フレームには、優先度が設定されている。また、パケット#1〜#4でフレームグループ(以下、GOP−1)を構成し、パケット#5〜#8でフレームグループ(以下、GOP−2)を構成し、GOP−2は、GOP−1に続くフレームグループである。すなわち、GOP−1は、GOP−2よりも先に送信データバッファ11に格納され、GOP−2に比べて、その経過時間も長いため、まず、GDP−1内のパケットに対応する再送用データから削除することとなる。   In this case, packet # 1 and packet # 5 are I frames, and the other packets are P frames, and the priority is set for each frame by the method described with reference to FIG. Packets # 1 to # 4 constitute a frame group (hereinafter referred to as GOP-1), packets # 5 to # 8 constitute a frame group (hereinafter referred to as GOP-2), and GOP-2 is GOP-1 It is a frame group that follows. That is, GOP-1 is stored in the transmission data buffer 11 before GOP-2, and its elapsed time is longer than that of GOP-2. Therefore, first, the data for retransmission corresponding to the packet in GDP-1 Will be deleted.

したがって、GDP−1内で最も優先度の低いパケットは、パケット#4であるため、最初に削除されるデータは、パケット#4に対応する再送用データである。以降同様に、パケット#3、#2の順にPフレームが削除され、最後にIプレームのパケット#1が削除される。その後、GOP−2内の優先度の低いパケット#8、#7…と削除されることとなる(ステップS2)。   Therefore, since the packet with the lowest priority in GDP-1 is packet # 4, the data to be deleted first is data for retransmission corresponding to packet # 4. Similarly, the P frames are deleted in the order of packets # 3 and # 2, and finally the I-frame packet # 1 is deleted. Thereafter, packets # 8, # 7,... With low priority in GOP-2 are deleted (step S2).

図8は、本発明に係わる送信側装置10の動作を説明するフローチャートである。なお、ここでは、送信データバッファ11に保持された再送用データを削除する場合の動作について説明する。   FIG. 8 is a flowchart for explaining the operation of the transmission side apparatus 10 according to the present invention. Here, an operation when the retransmission data held in the transmission data buffer 11 is deleted will be described.

送信側装置10は、データ送信部12により受信側装置20に対してパケット送信処理を行う。ここで、送信データバッファ11が再送用データのために、そのバッファ容量が圧迫されると(ステップS201でYES)、この処理は開始される。   The transmission side device 10 performs packet transmission processing on the reception side device 20 by the data transmission unit 12. Here, when the buffer capacity of the transmission data buffer 11 is reduced due to retransmission data (YES in step S201), this processing is started.

この処理が開始されると、まず、データ破棄判定部14により、送信データバッファ11に格納された時点から、その経過時間が最も長いフレームグループが判定されるとともに(ステップS201)、かかるフレームグループ内で最も優先度の低いフレームが判定される(ステップS202)。   When this processing is started, first, the data discard determination unit 14 determines the frame group having the longest elapsed time from the time when it was stored in the transmission data buffer 11 (step S201), and within the frame group The frame with the lowest priority is determined (step S202).

データ破棄部15は、判定結果に基づいて、最も優先度の低いフレームに対応する再送用データを削除すると(ステップS204)、ステップS201に戻り、再び、送信データバッファ11が圧迫されているか否かの判断が行われる。   If the data discarding unit 15 deletes the retransmission data corresponding to the frame having the lowest priority based on the determination result (step S204), the data discarding unit 15 returns to step S201 to check whether or not the transmission data buffer 11 is compressed again. Judgment is made.

以上説明したように実施例2においては、各パケットに優先度を設け、優先度の低いパケットに対応する送信データバッファ11内の再送用データから順に削除するようにしたため、パケットの重要度に応じて再送用データを効率的に削除できる。さらに、重要度の低いパケットに対応する再送用データを先に削除することにより、かかるパケットが消失したとしても、削除されているため再送等でリカバリが行えないため、不要な再送処理による帯域の圧迫も防止することができる。   As described above, in the second embodiment, priority is given to each packet, and the retransmission data in the transmission data buffer 11 corresponding to the low priority packet is deleted in order, so that the priority depends on the importance of the packet. The data for retransmission can be deleted efficiently. Furthermore, by deleting the retransmission data corresponding to the low-importance packet first, even if the packet is lost, it cannot be recovered by retransmission because it is deleted. Compression can also be prevented.

なお、上記実施例1および実施例2においては、受信側装置20から受信状況データを受信すると、受信状況データ受信部13からデータ送信部12にその旨を通知することで、パケットの再送処理を行う場合を説明したが、これに限られず、受信側装置20から受信状況データを受信するとともに、受信状況データ受信部13から送信データバッファ11に対して再送指示を行い、送信データバッファ11からデータ送信部12に再送用データを渡すことで、パケットの再送処理を行うようにしてもよい。   In the first and second embodiments, when reception status data is received from the receiving-side device 20, the reception status data receiving unit 13 notifies the data transmitting unit 12 of the fact, thereby performing packet retransmission processing. However, the present invention is not limited to this. The reception status data is received from the reception-side device 20, the retransmission status is received from the reception status data receiving unit 13 to the transmission data buffer 11, and the data is transmitted from the transmission data buffer 11. Packet retransmission processing may be performed by passing retransmission data to the transmission unit 12.

また、実施例1および実施例2を用いて、本発明に係わるマルチメディア通信システムについて説明したが、この実施例1および実施例2の実施形態を組み合わせて実施してもよい。具体的には、受信側装置20からの受信状況データ(ACK(受信確認)、NACK(受信未確認))に対応するパケットの再送用データを削除するとともに、各パケットに設定された優先度情報を考慮して再送用データ削除処理を実行する。   Further, although the multimedia communication system according to the present invention has been described using the first and second embodiments, the embodiments of the first and second embodiments may be combined. Specifically, the data for retransmission of the packet corresponding to the reception status data (ACK (reception confirmation), NACK (reception unconfirmed)) from the receiving side device 20 is deleted, and the priority information set in each packet is displayed. The retransmission data deletion process is executed in consideration.

この他、本発明は、上記および図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものであり、上述した実施例で説明したマルチメディア通信システムにおけるその他変形実施例を下記にいくつか列挙する。   In addition, the present invention is not limited to the embodiments described above and shown in the drawings, and can be appropriately modified without departing from the gist of the present invention. In the multimedia communication system described in the above embodiments, Several other modified embodiments are listed below.

1)上記実施例2では、IフレームとPフレームとを用いて説明したが、この他、Bフレームを加えてもよい。Bフレームについては、IフレームやPフレームよりさらに優先度を低く設定し、最も削除され易くする。すなわち、未来のIフレームを予測して、予測したIフレームに基づいて優先度を設定する方式(上記実施例2参照)に加えて、フレームタイプによる優先度設定を組み合わせる。   1) In the second embodiment, the I frame and the P frame have been described. However, a B frame may be added. For the B frame, the priority is set lower than that of the I frame and the P frame so as to be most easily deleted. That is, in addition to a method of predicting future I frames and setting priorities based on the predicted I frames (see the second embodiment), priority setting by frame type is combined.

2)上記1)に加えて、Bフレームを加えた場合には、Bフレームは、消失したとしても画質への影響が非常に小さいため、送信データバッファ11内に格納せずに、Bフレームを始めからバッファ内に書き込まないようにしてもよい。   2) In addition to the above 1), when a B frame is added, even if the B frame is lost, the influence on the image quality is very small. It may not be written in the buffer from the beginning.

3)上記2)に加えて、ある所定の優先度以下のパケットについては、バッファの状況にかかわらず、送信データバッファ11に書き込まないようにしてもよい。   3) In addition to the above 2), packets having a predetermined priority or lower may not be written to the transmission data buffer 11 regardless of the buffer status.

4)H.264などの符号化方式では、他のフレームを再構成するために必要な被参照フレームと、どのフレームの再構成にも依存しない未参照フレームとが存在する。この場合、前者の被参照フレームの優先度を高くし、未参照フレームの優先度を低くする。さらに、この方式に、未来のIフレームを予測して、予測したIフレームに基づいて優先度を設定する方式(上記実施例2参照)と、フレームタイプによる優先度設定方式とを組み合わせてもよい。   4) H.M. In an encoding scheme such as H.264, there are referenced frames necessary for reconstructing other frames and unreferenced frames that do not depend on the reconstruction of any frame. In this case, the priority of the former referenced frame is increased, and the priority of the unreferenced frame is decreased. Further, this method may be combined with a method for predicting future I frames and setting the priority based on the predicted I frames (see the second embodiment) and a priority setting method based on the frame type. .

5)送信データバッファ11に格納しようとするデータが、既に送信データバッファ11に保持されたデータよりも優先度が低い場合には、送信データバッファ11内のデータは削除せずに、格納しようとするデータ自身を破棄してもよい。   5) If the data to be stored in the transmission data buffer 11 has a lower priority than the data already held in the transmission data buffer 11, the data in the transmission data buffer 11 is not deleted but is stored. The data itself may be discarded.

6)パケットのデータサイズが可変の場合、パケットが使用するデータサイズが大きいものから優先して削除するようにしてもよい。但しこの場合、送信データバッファ11の構成により削除処理を適宜変更する。   6) When the data size of the packet is variable, the packet may be deleted with priority given to the data size used by the packet. However, in this case, the deletion process is appropriately changed depending on the configuration of the transmission data buffer 11.

例えば、1パケットの取り得る最大サイズ分のバッファ領域を各パケットに対し確保するような構成を採る送信データバッファ11の場合には、パケットのデータサイズに関係なく、パケットを格納するときに使用されるデータサイズは、同一となるため、この場合は、パケットのデータサイズにより、優先して削除処理を行わない。   For example, in the case of the transmission data buffer 11 having a configuration in which a buffer area corresponding to the maximum size that one packet can take is secured for each packet, it is used when storing the packet regardless of the data size of the packet. In this case, the deletion process is not preferentially performed according to the data size of the packet.

7)上記6)に加えて、パケットのデータサイズに応じてバッファ領域を確保する(バッファ領域に冗長性なし)構成を採る送信データバッファ11の場合には、例えば、Iフレームのデータ量は、Pフレーム等に比べて非常に大きくなる傾向が強いため、単純にPフレームを削除しただけでは、削除した領域にIフレームを記録できないという問題が生じる恐れがある。そこで、フレームデータを削除する場合には、1フレームの最大サイズ以上のバッファ領域が空くように、複数のパケットを一括して削除する。   7) In addition to the above 6), in the case of the transmission data buffer 11 adopting a configuration that secures a buffer area according to the data size of the packet (no redundancy in the buffer area), for example, the data amount of the I frame is Since it tends to be very large compared to a P frame or the like, simply deleting the P frame may cause a problem that the I frame cannot be recorded in the deleted area. Therefore, when deleting the frame data, a plurality of packets are deleted at a time so that a buffer area equal to or larger than the maximum size of one frame is freed.

8)パーソナルコンピュータなどのファイルシステムとして採用されるFATのように、データを細切れに記録し、どの断片がどのデータのどの位置に当たるかをテーブルとして管理するような構成を採る送信データバッファ11の場合には、1つずつのパケットの優先度だけで判断し、必要な個数分のパケットに対応する再送用データを削除する。この場合、パケットは連続して記録されている必要はなく、バッファ内に分散して記録されていてもよい。   8) In the case of a transmission data buffer 11 having a configuration in which data is recorded in small pieces and managed as a table in which position of which data corresponds to which position, as in a FAT adopted as a file system of a personal computer or the like Is determined only by the priority of each packet, and the retransmission data corresponding to the required number of packets is deleted. In this case, the packets need not be recorded continuously, and may be recorded in a distributed manner in the buffer.

9)上記実施例2では、パケットに対応する再送用データを削除するタイミングとして、送信データバッファ11のバッファ領域が圧迫された場合を説明したが、この他、所定の閾値を設け、バッファ空き領域が、かかる閾値以下になったタイミングを、再送用データ削除タイミングとしてもよい。   9) In the second embodiment, the case where the buffer area of the transmission data buffer 11 is compressed as the timing for deleting the retransmission data corresponding to the packet has been described. However, the timing when the threshold value is not more than the threshold may be used as the retransmission data deletion timing.

本発明のマルチメディア通信システムおよび再送用データ削除方法は、音声、映像データ等のメディア情報の授受を行うマルチメディア通信システム全般に適用可能であり、特に、バッファ領域が比較的小さい携帯電話機、PDA等に適用することにより有効利用することができる。   INDUSTRIAL APPLICABILITY The multimedia communication system and the retransmission data deletion method of the present invention can be applied to all multimedia communication systems that exchange media information such as audio and video data, and in particular, mobile phones and PDAs having a relatively small buffer area. It can be used effectively by applying to the above.

本発明に係わるマルチメディア通信システムの概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the multimedia communication system concerning this invention. 本発明に係わる再送用データ削除処理の概要を説明する図である(ACK)。It is a figure explaining the outline | summary of the data deletion process for retransmission concerning this invention (ACK). 本発明に係わる再送用データ削除処理の概要を説明する図である(NACK)。It is a figure explaining the outline | summary of the data deletion process for retransmission concerning this invention (NACK). 本発明に係わる送信側装置10の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the transmission side apparatus 10 concerning this invention. 実施例2に係わるマルチメディア通信システムの概略構成の一例を示す図である。6 is a diagram illustrating an example of a schematic configuration of a multimedia communication system according to Embodiment 2. FIG. 実施例2に係わる優先度設定処理の概要を説明する図である。FIG. 10 is a diagram illustrating an overview of priority setting processing according to the second embodiment. 実施例2に係わる再送用データ削除処理の概要を説明する図である。FIG. 10 is a diagram illustrating an outline of retransmission data deletion processing according to the second embodiment. 実施例2に係わる送信側装置10の動作を説明するフローチャートである。10 is a flowchart for explaining the operation of the transmission-side apparatus 10 according to the second embodiment.

符号の説明Explanation of symbols

10 送信側装置
11 送信データバッファ
12 データ送信部
13 受信状況データ受信部
14 データ破棄判定部
15 データ破棄部
16 優先度設定部
20 受信側装置
21 受信状況通知部
DESCRIPTION OF SYMBOLS 10 Transmission side apparatus 11 Transmission data buffer 12 Data transmission part 13 Reception condition data reception part 14 Data discard determination part 15 Data discard part 16 Priority setting part 20 Reception side apparatus 21 Reception condition notification part

Claims (7)

テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、
送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、
前記受信側から受信状況データを受信する受信状況データ受信手段と、
前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定する判定手段と、
前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から削除する破棄手段と
を具備することを特徴とするマルチメディア通信システム。
In a multimedia communication system that packetizes media information such as text, audio, video, etc. and transmits it to the receiving side,
Buffer means for temporarily holding data for retransmission corresponding to a transmitted packet;
Reception status data receiving means for receiving reception status data from the receiving side;
A determination unit that determines a packet that is normally transmitted to the reception side based on the reception status data received by the reception status data reception unit;
A multimedia communication system, comprising: discarding means for deleting from the buffer means retransmission data corresponding to a packet that is judged to have been normally transmitted to the receiving side by the judging means.
前記判定手段は、
前記受信状況データ受信手段で受信側からパケット受信確認を受信した場合には、該パケット受信確認を受信したパケットが前記受信側に正常に送信されたと判定し、
前記破棄手段は、
該パケット受信確認を受信したパケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項1記載のマルチメディア通信システム。
The determination means includes
If the reception status data receiving means has received a packet reception confirmation from the receiving side, it is determined that the packet that has received the packet reception confirmation has been successfully transmitted to the receiving side,
The discarding means
The multimedia communication system according to claim 1, wherein retransmission data corresponding to the packet for which the packet reception confirmation has been received is deleted from the buffer means.
前記判定手段は、
前記受信状況データ受信手段で受信側からパケット受信未確認を受信した場合には、該パケット受信未確認を受信したパケット以前のパケットが前記受信側に正常に送信されたと判定し、
前記破棄手段は、
該パケット受信未確認を受信したパケット以前に前記バッファ手段内に保持されたパケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項1または2記載のマルチメディア通信システム。
The determination means includes
When receiving the packet reception unconfirmed from the receiving side in the reception status data receiving means, it is determined that the packet before the packet that received the packet reception unconfirmed has been normally transmitted to the receiving side,
The discarding means
3. The multimedia communication system according to claim 1, wherein retransmission data corresponding to a packet held in the buffer unit before the packet that has received the packet unconfirmed confirmation is deleted from the buffer unit. 4.
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段
を更に具備し、
前記破棄手段は、
前記優先度設定手段により各パケットに設定された優先度に基づき各パケットに対応する再送用データを前記バッファ手段から削除する
ことを特徴とする請求項1乃至3いずれかに記載のマルチメディア通信システム。
A priority setting means for setting a priority for each packet on the basis of the time until the influence of the packet error, loss, etc. can be recovered;
The discarding means
The multimedia communication system according to any one of claims 1 to 3, wherein retransmission data corresponding to each packet is deleted from the buffer means based on the priority set for each packet by the priority setting means. .
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムにおいて、
送信済みのパケットに対応する再送用データを一時的に保持するバッファ手段と、
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を設定する優先度設定手段と、
前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定する判定手段と、
前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを削除する破棄手段と
を具備することを特徴とするマルチメディア通信システム。
In a multimedia communication system that packetizes media information such as text, audio, video, etc. and transmits it to the receiving side,
Buffer means for temporarily holding data for retransmission corresponding to a transmitted packet;
Priority setting means for setting priority to each packet based on the time until the effect can be recovered when packet error, loss, etc. occur,
Determining means for determining data for retransmission to be deleted based on the priority set for each packet by the priority setting means;
And a discarding unit for deleting the retransmission data from the buffer unit based on a determination result by the determination unit.
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、
送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、
前記受信側から受信状況データを受信状況データ受信手段で受信し、
前記受信状況データ受信手段で受信した受信状況データに基づいて正常に受信側に送信されたパケットを判定手段で判定し、
前記判定手段により正常に受信側に送信されたと判定されたパケットに対応する再送用データを前記バッファ手段から破棄手段で削除する
ことを特徴とするマルチメディア通信システムの再送用データ削除方法。
In a method for deleting data for retransmission in a multimedia communication system in which media information such as text, audio, and video is packetized and transmitted to a receiving side.
The data for retransmission corresponding to the transmitted packet is temporarily held in the buffer means,
Receive status data is received by the status data receiving means from the receiving side,
Based on the reception status data received by the reception status data receiving means, determine the packet transmitted to the receiving side normally by the determination means,
A retransmission data deletion method for a multimedia communication system, characterized in that retransmission data corresponding to a packet determined to have been normally transmitted to the receiving side by the determination means is deleted from the buffer means by a discard means.
テキスト、音声、映像等のメディア情報をパケット化して受信側に送信するマルチメディア通信システムの再送用データ削除方法において、
送信済みのパケットに対応する再送用データを一時的にバッファ手段で保持し、
パケットの誤り、ロス等が発生した場合に、その影響を回復できるまでの時間を基準にして各パケットに優先度を優先度設定手段で設定し、
前記優先度設定手段により各パケットに設定された優先度に基づき削除する再送用データを判定手段で判定し、
前記判定手段による判定結果に基づいて前記バッファ手段から当該再送用データを破棄手段で削除する
ことを特徴とするマルチメディア通信システムの再送用データ削除方法。
In a method for deleting data for retransmission in a multimedia communication system in which media information such as text, audio, and video is packetized and transmitted to a receiving side.
The data for retransmission corresponding to the transmitted packet is temporarily held in the buffer means,
When a packet error, loss, etc. occurs, set the priority for each packet with the priority setting means based on the time until the effect can be recovered,
The determination unit determines retransmission data to be deleted based on the priority set for each packet by the priority setting unit,
The retransmission data deletion method for a multimedia communication system, wherein the retransmission data is deleted from the buffer means by the discarding means based on the determination result by the determination means.
JP2005094521A 2005-03-29 2005-03-29 Multimedia communication system and data deleting method for re-transmission Pending JP2006279436A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005094521A JP2006279436A (en) 2005-03-29 2005-03-29 Multimedia communication system and data deleting method for re-transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005094521A JP2006279436A (en) 2005-03-29 2005-03-29 Multimedia communication system and data deleting method for re-transmission

Publications (2)

Publication Number Publication Date
JP2006279436A true JP2006279436A (en) 2006-10-12
JP2006279436A5 JP2006279436A5 (en) 2008-05-15

Family

ID=37213724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005094521A Pending JP2006279436A (en) 2005-03-29 2005-03-29 Multimedia communication system and data deleting method for re-transmission

Country Status (1)

Country Link
JP (1) JP2006279436A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301139A (en) * 2007-05-31 2008-12-11 Kddi Corp Video data transmitter which assigns priority to encoded image, program, and method
JP2011501592A (en) * 2007-10-23 2011-01-06 ノキア シーメンス ネットワークス オサケユキチュア Method and apparatus for data processing and communication system including such apparatus
WO2018008237A1 (en) * 2016-07-07 2018-01-11 ソニー株式会社 Radio communication apparatus
JP2020127181A (en) * 2019-02-06 2020-08-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 Cache device, data distribution system, re-transmission method and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283813A (en) * 1994-04-05 1995-10-27 Nec Corp Output buffer type atm switch
JPH10126772A (en) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk Dynamic image data transfer system
JPH1198128A (en) * 1997-09-22 1999-04-09 Sharp Corp Data transmitter
JP2001119437A (en) * 1998-11-30 2001-04-27 Matsushita Electric Ind Co Ltd Data transmission method, data transmitter, data receiver and packet data structure
JP2001274861A (en) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd Method and device for data transmission
WO2001099355A1 (en) * 2000-06-23 2001-12-27 Mitsubishi Denki Kabushiki Kaisha Method and system for packet retransmission
JP2002026922A (en) * 2000-07-06 2002-01-25 Oki Electric Ind Co Ltd Congestion state notice method and system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283813A (en) * 1994-04-05 1995-10-27 Nec Corp Output buffer type atm switch
JPH10126772A (en) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk Dynamic image data transfer system
JPH1198128A (en) * 1997-09-22 1999-04-09 Sharp Corp Data transmitter
JP2001119437A (en) * 1998-11-30 2001-04-27 Matsushita Electric Ind Co Ltd Data transmission method, data transmitter, data receiver and packet data structure
JP2001274861A (en) * 2000-03-02 2001-10-05 Matsushita Electric Ind Co Ltd Method and device for data transmission
WO2001099355A1 (en) * 2000-06-23 2001-12-27 Mitsubishi Denki Kabushiki Kaisha Method and system for packet retransmission
JP2002026922A (en) * 2000-07-06 2002-01-25 Oki Electric Ind Co Ltd Congestion state notice method and system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301139A (en) * 2007-05-31 2008-12-11 Kddi Corp Video data transmitter which assigns priority to encoded image, program, and method
JP2011501592A (en) * 2007-10-23 2011-01-06 ノキア シーメンス ネットワークス オサケユキチュア Method and apparatus for data processing and communication system including such apparatus
WO2018008237A1 (en) * 2016-07-07 2018-01-11 ソニー株式会社 Radio communication apparatus
JPWO2018008237A1 (en) * 2016-07-07 2019-04-18 ソニー株式会社 Wireless communication device
US10841067B2 (en) 2016-07-07 2020-11-17 Sony Corporation Wireless communication apparatus
JP7070411B2 (en) 2016-07-07 2022-05-18 ソニーグループ株式会社 Wireless communication device
US11343050B2 (en) 2016-07-07 2022-05-24 Sony Corporation Wireless communication apparatus
JP2020127181A (en) * 2019-02-06 2020-08-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 Cache device, data distribution system, re-transmission method and program

Similar Documents

Publication Publication Date Title
JP4688566B2 (en) Transmitter and receiver
CN107231328B (en) Real-time video transmission method, device, equipment and system
JP5016279B2 (en) Data communication system, data transmission apparatus, and data transmission method
JP4623616B2 (en) Data transmission method and apparatus
Shan Cross-layer techniques for adaptive video streaming over wireless networks
US7443797B2 (en) Medium streaming distribution system
US7747921B2 (en) Systems and methods for transmitting data over lossy networks
EP0851685A2 (en) Video coder, decoder and transmission system
JP5207895B2 (en) Transmitting apparatus, receiving apparatus, method, and program
CN109155707B (en) Requesting data retransmission in a multicast network
JP3373130B2 (en) Image decoding device
JP5084362B2 (en) Data transmission apparatus and data transmission / reception system
CN103179466A (en) Video error control based on reverse link information
Wu et al. Streaming high-definition real-time video to mobile devices with partially reliable transfer
JP2006279436A (en) Multimedia communication system and data deleting method for re-transmission
JPH10126772A (en) Dynamic image data transfer system
JP2005033556A (en) Data transmitter, data transmitting method, data receiver, data receiving method
JPH09284774A (en) Coder, decoder and transmission system
JP4427912B2 (en) Video packet reception decoding system and transmission system
JP4888594B2 (en) Transmitter and receiver
JP2002314583A (en) Relay method and gateway
Bortoleto et al. Large-scale media delivery using a semi-reliable multicast protocol
KR19990001583A (en) Coding Device, Decoding Device, and Transmission System
JP2006285842A (en) Information processor and program
JP2009207007A (en) Transmission apparatus and transmission system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100326

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100706