JP2008092464A - Packet transmitter - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To maintain absolute minimum decoding and reproduction in a terminal on the reception side even when packets are lost in packet communication for which a real time property is requested. <P>SOLUTION: When a retransmission request arrives from a portable terminal MSm on the reception side, whether or not the information amount of video packets and sound packets of a retransmission object specified by the retransmission request can be transmitted within constraint time using a band for retransmission is judged. Then, when judging that transmission is impossible, the generation of a key frame is instructed to a video encoder 23 and an audio encoder 24, and the sound packet of the retransmission object is retransmitted utilizing the main transmission band in a period until the key frame is generated. Also, when transmitting the sound packet of the retransmission object, a plurality of sound frames of the retransmission object are multiplexed again such that a multiplex degree is lower for the sound frame whose original transmission timing is older on the basis of information stored in a multiplex table. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、例えば無線ネットワークのように伝送速度が比較的低速なチャネルを使用して映像フレーム及び音声フレームを収容したパケットを伝送する機能を備えたパケット伝送装置に関する。   The present invention relates to a packet transmission apparatus having a function of transmitting a packet containing a video frame and an audio frame using a channel having a relatively low transmission speed such as a wireless network.

近年、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末が急速に普及し、ユーザはこの携帯端末を所持することにより、場所を選ばずに通話や電子メールの送受信は勿論のこと、ウエブサイトからのコンテンツデータのダウンロードやテレビジョン電話通信を行えるようになっている。このうちテレビジョン電話通信は一般に、映像データと音声データをそれぞれ符号化したのちパケット化して伝送する。   In recent years, mobile terminals such as mobile phones and PDAs (Personal Digital Assistants) have spread rapidly, and users can carry calls and send and receive e-mails regardless of location, by holding this mobile terminal. Download content data and videophone communications. Of these, videophone communication is generally transmitted after packetizing video data and audio data.

ところで、無線ネットワークのように品質の良くない通信チャネルを介してパケット通信を行う場合には、通信チャネルＱｏＳ制御が行われる。例えばＲＴＰ（Real-time Transport Protocol）を採用したシステムでは、受信側の端末でパケットの欠落を監視し、パケットの欠落が検出された場合に送信側の端末に向け再送要求を送信する。これに対し送信側の端末は、受信側の端末から再送要求が到来すると、この再送要求に従い欠落したパケットを受信側の端末に向け再送する。このようなシステムであれば、通信チャネルの品質劣化によりパケットの欠損が発生した場合でも、受信側の端末ではパケットをもれなく受信してデータを高品質に再生することが可能となる。   By the way, when performing packet communication via a communication channel with poor quality such as a wireless network, communication channel QoS control is performed. For example, in a system employing RTP (Real-time Transport Protocol), a receiving terminal monitors for packet loss, and when a packet loss is detected, a retransmission request is transmitted to the transmitting terminal. On the other hand, when a retransmission request arrives from the reception side terminal, the transmission side terminal retransmits the lost packet to the reception side terminal in accordance with the retransmission request. With such a system, even when a packet loss occurs due to deterioration of the quality of the communication channel, the receiving terminal can receive all the packets and reproduce the data with high quality.

しかしながら、無線ネットワークにおいて干渉が発生したりハンドオーバが行われ、これにより大量のパケットが消失すると、伝送帯域の制約により送信側の端末は受信側の端末から要求されたすべてのパケットを再生に間に合うように再送することができない。この場合送信側の端末は、上記消失したパケットの再送を断念してフレーム内符号化された映像音声フレームを生成し、この生成されたフレームをパケット化して送信するようにしている。しかし、フレーム内符号化されたフレームを生成するまでにはフレームのサンプリングと符号化処理による遅延がある。このため受信側の端末では、パケットの消失が発生してから上記フレーム内符号化されたフレームのパケットを受信するまでの比較的長い期間にわたって、映像及び音声を正しく復号できなくなり再生が中断する。   However, if interference occurs in the wireless network or a handover is performed and a large number of packets are lost, the transmitting terminal may be able to reproduce all the packets requested by the receiving terminal due to transmission band restrictions. Cannot be resent. In this case, the transmitting terminal abandons the retransmission of the lost packet to generate an intra-frame encoded video / audio frame, and packetizes the generated frame for transmission. However, there is a delay due to frame sampling and encoding processing until an intra-frame encoded frame is generated. For this reason, at the receiving terminal, the video and audio cannot be correctly decoded over a relatively long period from when the packet loss occurs until the packet of the intra-coded frame is received, and reproduction is interrupted.

そこで従来では、例えばメディアストリームを配信する際に、一つのコンテンツについてフレーム内符号化フレーム（Ｉフレーム）の出現頻度の異なる２つのメディアストリームＡ１，Ａ２を予め生成して記憶しておき、受信側の端末から再送要求が到来した場合に、送信対象のメディアストリームをＩフレームの出現頻度が低いＡ１からＩフレームの出現頻度の高いＡ２に切り替えるようにしたシステムが提案されている（例えば、特許文献１を参照。）。
特開２００３−３３３５７７号公報 Therefore, conventionally, for example, when distributing a media stream, two media streams A1 and A2 having different appearance frequencies of intra-frame encoded frames (I frames) for one content are generated and stored in advance, and the receiving side A system has been proposed in which when a retransmission request arrives from a terminal, a media stream to be transmitted is switched from A1 having a low I-frame appearance frequency to A2 having a high I-frame appearance frequency (for example, Patent Literature 1). 1).
JP 2003-333577 A

上記従来のシステムによれば、受信側の端末にＩフレームが早く到着する確率が高くなり、これにより受信側の端末における受信コンテンツの再生中断期間は短縮される。しかしながら、パケットの消失が発生してから切替後のメディアストリームＡ２のＩピクチャが受信側の端末で受信されるまで間は、依然として何も送られないか又は送られてもフレーム間符号化により生成されたフレーム（Ｐピクチャ）となる。このため、受信コンテンツの再生中断は避けられない。また、送信側にＩピクチャの出現頻度の異なる２つのメディアストリームＡ１，Ａ２を予め生成して蓄積しておかなければならない。このため、テレビジョン電話通信のようにリアルタイム性が要求されるパケット通信には適用することができない。   According to the above-described conventional system, the probability that an I frame arrives at the receiving terminal early is increased, thereby shortening the reproduction interruption period of the received content at the receiving terminal. However, until the I picture of the switched media stream A2 is received by the receiving terminal after the loss of the packet occurs, nothing is still sent or even if it is sent, it is generated by interframe coding Frame (P picture). For this reason, interruption of reproduction of received content is inevitable. In addition, two media streams A1 and A2 having different appearance frequencies of I pictures must be generated and stored in advance on the transmission side. For this reason, it cannot be applied to packet communication that requires real-time performance such as television telephone communication.

この発明は上記事情に着目してなされたもので、その目的とするところは、リアルタイム性が要求されるパケット通信にあって、パケットの消失が発生しても受信側の端末で必要最低限の復号再生を維持することを可能にしたパケット伝送装置を提供することにある。   The present invention has been made paying attention to the above circumstances, and the object of the present invention is packet communication that requires real-time characteristics, and even if a packet loss occurs, the reception terminal has a minimum necessary amount. An object of the present invention is to provide a packet transmission apparatus that can maintain decoding and reproduction.

上記目的を達成するためにこの発明の一つの観点は、消失した映像パケット及び音声パケットの再送要求が受信側の端末から送られた場合に、再送対象の映像パケット及び音声パケットの情報量が本送信用として設定された第１の伝送帯域とは別に再送用として設定された第２の帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送不可能と判定された場合に、フレーム内符号化された映像フレーム及び音声フレームを生成して、この生成されたフレーム内符号化映像フレームを収容した映像パケット及びフレーム内符号化音声フレームを収容した音声パケットを上記第１の帯域を使用して上記受信側の端末へ送信すると共に、上記伝送不可能と判定された時点から上記フレーム内符号化された映像フレーム及び音声フレームが生成されるまでの期間に、再送対象の音声パケットを上記第１の帯域を使用して受信側の端末へ送信するようにしたものである。   In order to achieve the above object, according to one aspect of the present invention, when a retransmission request for a lost video packet and audio packet is sent from a receiving terminal, the information amount of the video packet and audio packet to be retransmitted is Whether or not transmission is possible within the restricted time is determined using the second band set for retransmission separately from the first transmission band set for transmission. When it is determined that transmission is not possible, an intra-frame encoded video frame and an audio frame are generated, and a video packet and an intra-frame encoded audio frame containing the generated intra-frame encoded video frame are generated. Is transmitted to the receiving terminal using the first band, and the intra-frame encoded video frame and audio frame are generated from the time when it is determined that the transmission is impossible. In this period, the voice packet to be retransmitted is transmitted to the receiving terminal using the first band.

一般に、例えばテレビジョン電話通信を行う場合、受信側の端末では受信映像が途切れたり映像の品質が著しく劣化したとしても、少なくとも通話音声さえ再生出力されれば送受間の通話は維持される。したがって、この発明のように消失した映像パケット及び音声パケットを再送し切れない状況下において、フレーム内符号化フレームが生成されるまでの期間に、パケットの本送信用として設定されている第１の伝送帯域を利用して上記消失した映像及び音声パケットのうち音声パケットのみを再送することにより、送受間では少なくとも音声通話を維持することが可能となる。
すなわち、この発明によれば、リアルタイム性が要求されるパケット通信にあって、パケットの消失が発生しても受信側端末で必要最低限の通信を維持することを可能にしたパケット伝送装置を提供することができる。 In general, for example, in the case of videophone communication, even if the received video is interrupted or the quality of the video is remarkably deteriorated, the communication between the transmission and reception is maintained as long as at least the call voice is reproduced and output. Therefore, in a situation in which the lost video packet and audio packet cannot be retransmitted as in the present invention, the first packet set for main transmission of the packet is generated until the intra-frame encoded frame is generated. By retransmitting only the voice packet out of the lost video and voice packets using the transmission band, at least a voice call can be maintained between transmission and reception.
In other words, according to the present invention, there is provided a packet transmission apparatus capable of maintaining a minimum necessary communication at a receiving side terminal even when packet loss occurs in packet communication requiring real-time characteristics. can do.

以下、図面を参照してこの発明の実施形態を説明する。
図１は、この発明の一実施形態に係わるパケット伝送装置を使用した移動通信システムの概略構成図である。このシステムは、移動通信交換機能を有する通信ネットワークＮＷと、サービスエリアに分散配置された複数の基地局ＢＳ１〜ＢＳｎとを備え、パケット伝送装置としての携帯端末ＭＳ１〜ＭＳｍを上記基地局ＢＳ１〜ＢＳｎ及び通信ネットワークＮＷを介して相互に接続してテレビジョン電話通信を可能にしたものである。通信プロトコルとしては、例えばＲＴＰ（Real-time Transport Protocol）が用いられる。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic configuration diagram of a mobile communication system using a packet transmission apparatus according to an embodiment of the present invention. This system includes a communication network NW having a mobile communication switching function and a plurality of base stations BS1 to BSn distributed in a service area, and mobile terminals MS1 to MSm as packet transmission apparatuses are connected to the base stations BS1 to BSn. In addition, they are connected to each other via a communication network NW to enable videophone communication. For example, RTP (Real-time Transport Protocol) is used as the communication protocol.

上記携帯端末ＭＳ１〜ＭＳｍは次のように構成される。図２はその機能構成を示すブロック図である。すなわち携帯端末ＭＳ１〜ＭＳｍは、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、電源ユニット４とを備えている。
同図において、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号は、ベースバンドユニット２のオーディオエンコーダ２４に入力される。オーディオエンコーダ２４は、ＧＳＭ−ＡＭＲ（Global System for Mobile communications-Adaptive Multi-rate）やＥＶＲＣ（Enhanced Variable Rate Codec）等の移動通信規格で定められた通話用の符号化方式により上記送話音声信号を符号化する。そして、この符号化処理により生成されたオーディオデータを多重分離部２２及びパケット変換部２７にそれぞれ入力する。 The portable terminals MS1 to MSm are configured as follows. FIG. 2 is a block diagram showing the functional configuration. That is, the mobile terminals MS <b> 1 to MSm include a wireless unit 1, a baseband unit 2, a user interface unit 3, and a power supply unit 4.
In the figure, the user's transmitted voice signal output from the microphone 32 of the user interface unit 3 is input to the audio encoder 24 of the baseband unit 2. The audio encoder 24 converts the transmitted voice signal into the above-described transmission voice signal according to a coding scheme for a call defined in mobile communication standards such as GSM-AMR (Global System for Mobile communications-Adaptive Multi-rate) and EVRC (Enhanced Variable Rate Codec). Encode. Then, the audio data generated by this encoding process is input to the demultiplexing unit 22 and the packet converting unit 27, respectively.

また、同時にカメラ（ＣＡＭ）３１から出力された映像信号は、ベースバンドユニット２のビデオエンコーダ２３に入力される。ビデオエンコーダ２３は、上記映像信号を例えばＭＰＥＧ４（Moving Picture Coding Experts Group 4）方式に従い符号化処理し、この符号化された映像データを上記多重分離部２２及びパケット変換部２７にそれぞれ入力する。   At the same time, the video signal output from the camera (CAM) 31 is input to the video encoder 23 of the baseband unit 2. The video encoder 23 encodes the video signal in accordance with, for example, MPEG4 (Moving Picture Coding Experts Group 4) system, and inputs the encoded video data to the demultiplexer 22 and the packet converter 27, respectively.

パケット変換部２７は、制御モジュール２１の指示に従い、上記ビデオエンコーダ２３から出力された映像データと、オーディオエンコーダ２４から出力されたオーディオデータをそれぞれパケット化し、生成された映像パケット及び音声パケットを上記多重分離部２２に入力する。多重分離部２２は、上記パケット変換部２７から供給される映像パケット及び音声パケットを、制御モジュール２１において生成された制御パケットと多重化する。そして、この多重分離部２２により多重化されたマルチメディア送信データは、無線ユニット１の送信回路（ＴＸ）１５に供給される。   The packet conversion unit 27 packetizes the video data output from the video encoder 23 and the audio data output from the audio encoder 24 in accordance with an instruction from the control module 21, and multiplexes the generated video packet and audio packet into the multiplex. Input to the separation unit 22. The demultiplexing unit 22 multiplexes the video packet and audio packet supplied from the packet conversion unit 27 with the control packet generated in the control module 21. The multimedia transmission data multiplexed by the demultiplexing unit 22 is supplied to the transmission circuit (TX) 15 of the wireless unit 1.

送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ（ＳＹＮ）１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式及びＱＡＭ（Quadrature Amplitude Modulation）方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から最寄りの基地局に向け送信される。   The transmission circuit 15 includes a modulator, a frequency converter, and a transmission power amplifier. The transmission data is digitally modulated by a modulator, and then mixed with a transmission local oscillation signal generated from a frequency synthesizer (SYN) 14 by a frequency converter and frequency-converted to a radio frequency signal. As a modulation method, a QPSK (Quadriphase Phase Shift Keying) method, a QAM (Quadrature Amplitude Modulation) method, and a spread spectrum method using a spread code are used. The generated transmission radio frequency signal is amplified to a predetermined transmission level by a transmission power amplifier and then supplied to the antenna 11 via the antenna duplexer (DUP) 12. Sent to.

一方、基地局ＢＳ１〜ＢＳｎから無線チャネルを介して到来した無線信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。   On the other hand, a radio signal arriving from the base stations BS1 to BSn via the radio channel is received by the antenna 11 and then input to the receiving circuit (RX) 13 via the antenna duplexer 12. The reception circuit 13 includes a high frequency amplifier, a frequency converter, and a demodulator. Then, after the radio frequency signal is amplified with a low noise amplifier, the frequency converter mixes the received local oscillation signal generated from the frequency synthesizer (SYN) 14 with the received signal and converts the frequency into a received baseband signal. The signal is digitally demodulated with a demodulator. As the demodulation method, for example, an orthogonal demodulation method and a spectrum despreading method using a spreading code are used. The reception local oscillation signal frequency generated from the frequency synthesizer 14 is instructed from the control module 21 provided in the baseband unit 2.

上記復調器から出力された復調信号は、ベースバンドユニット２に入力される。この復調信号は、多重分離部２２において制御パケットとデータパケットとに分離される。そして、このうちデータパケットはパケット逆変換部２８に入力される。なお、制御パケットには例えば発信元番号や、自端末及び相手通信端末の位置情報などが含まれ、これらは制御モジュール２１において接続制御等を行うために使用される。また、再送要求等の転送制御のためのコマンドも上記制御パケットにより伝送される。   The demodulated signal output from the demodulator is input to the baseband unit 2. The demodulated signal is separated into a control packet and a data packet by the demultiplexing unit 22. Of these, the data packet is input to the packet reverse conversion unit 28. The control packet includes, for example, a transmission source number, location information of the own terminal and the partner communication terminal, and these are used in the control module 21 for connection control and the like. A command for transfer control such as a retransmission request is also transmitted by the control packet.

パケット逆変換部２８は、上記入力されたデータパケットからオーディオデータ及び映像データを分離して抽出し、これらのデータをそれぞれ復号処理が可能な情報形式に変換してオーディオデコーダ２６及びビデオデコーダ２５に入力する。オーディオデコーダ２６は、上記入力されたオーディオデータを例えばＧＳＭ−ＡＭＲ方式又はＥＶＲＣ方式に従い復号処理してオーディオ信号を再生し、この再生したオーディオ信号をユーザインタフェースユニット３のスピーカ３４から拡声出力する。ビデオデコーダ２５は、上記入力された映像データを例えばＭＰＥＧ４方式に従い復号処理して映像信号を再生し、この再生した映像信号を図示しない表示制御部を介して液晶表示器（ＬＣＤ）３３に供給し表示させる。   The packet reverse conversion unit 28 separates and extracts audio data and video data from the input data packet, converts these data into information formats that can be decoded, and sends them to the audio decoder 26 and the video decoder 25. input. The audio decoder 26 decodes the input audio data according to, for example, the GSM-AMR system or the EVRC system, reproduces an audio signal, and outputs the reproduced audio signal from the speaker 34 of the user interface unit 3 as a loud sound. The video decoder 25 decodes the input video data according to, for example, the MPEG4 system to reproduce a video signal, and supplies the reproduced video signal to a liquid crystal display (LCD) 33 via a display control unit (not shown). Display.

なお、電源ユニット４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。   The power supply unit 4 includes a battery 41 such as a lithium ion battery, a charging circuit 42 for charging the battery 41 based on a commercial power output (AC 100 V), and a voltage generation circuit (PS) 43. It has been. The voltage generation circuit 43 is composed of, for example, a DC / DC converter, and generates a predetermined power supply voltage Vcc based on the output voltage of the battery 41.

ところで、上記ベースバンドユニット２は、端末全体の動作を統括的に制御する制御モジュール２１と、例えばＮＡＮＤ型フラッシュメモリを使用したメモリ（ＭＥＭ）２９とを備えている。
メモリ２９には、送受信メールや留守録データ等の送受信データや、電話帳データ、発着信履歴及び各種制御データ等の管理用データがそれぞれ格納される。管理用データには音声パケットの再送制御に使用する多重化テーブルが含まれる。多重化テーブルには、再送対象の音声フレームの元々の送信タイミングに対応付けて多重度を表す情報が記憶されている。図５はこの多重化テーブルの構成の一例を示すもので、送信タイミングｘが古い音声フレームほど多重度が小さくなるように多重度が設定してある。 By the way, the baseband unit 2 includes a control module 21 that comprehensively controls the operation of the entire terminal, and a memory (MEM) 29 using, for example, a NAND flash memory.
The memory 29 stores transmission / reception data such as transmission / reception mail and answering record data, management data such as telephone directory data, outgoing / incoming call history, and various control data. The management data includes a multiplexing table used for voice packet retransmission control. In the multiplexing table, information representing the multiplicity is stored in association with the original transmission timing of the audio frame to be retransmitted. FIG. 5 shows an example of the configuration of this multiplexing table. The multiplicity is set so that the multiplicity decreases as the audio frame has an older transmission timing x.

制御モジュール２１は、マイクロプロセッサを使用したＣＰＵ（Central Processing Unit）と、アプリケーション・プログラムを記憶したＲＯＭと、送受信パケットを一時保持するバッファメモリとを備える。そして、この発明に係わる制御機能として、再送可否判定処理機能２１１と、キーフレーム送信制御機能２１２と、音声パケット再送制御機能２１３とを備えている。これらの機能はいずれも、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。   The control module 21 includes a central processing unit (CPU) that uses a microprocessor, a ROM that stores application programs, and a buffer memory that temporarily stores transmission and reception packets. As control functions according to the present invention, a resendability determination processing function 211, a key frame transmission control function 212, and a voice packet retransmission control function 213 are provided. All of these functions are realized by causing the CPU to execute an application program.

再送可否判定処理機能２１１は、受信側の携帯端末から再送要求が到来した場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が、再送用帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送可能と判定した場合には、上記再送対象の映像パケット及び音声パケットをバッファメモリから読み出して、上記再送用帯域を使用して受信側の携帯端末へ再送する。   When the retransmission request arrives from the mobile terminal on the receiving side, the retransmission permission determination function 211 restricts the amount of information of the video packet and audio packet to be retransmitted specified by the retransmission request using the retransmission band. It is determined whether transmission is possible within the time. If it is determined that transmission is possible, the video packet and audio packet to be retransmitted are read from the buffer memory and retransmitted to the mobile terminal on the receiving side using the retransmission band.

キーフレーム送信制御機能２１２は、上記再送可否判定処理機能２１１により伝送不可能と判定された場合に、ビデオエンコーダ２３及びオーディオエンコーダ２４に対しフレーム内符号化された映像フレーム及びオーディオフレーム、つまりキーフレームの生成を指示する。そして、生成されたキーフレームを本送信帯域を使用して受信側の携帯端末に向け送信する。   The key frame transmission control function 212, when it is determined that the transmission is not possible by the retransmission enable / disable determination processing function 211, the video frame and the audio frame that are intra-frame encoded for the video encoder 23 and the audio encoder 24, that is, the key frame Instruct the generation of. Then, the generated key frame is transmitted to the receiving-side mobile terminal using this transmission band.

音声パケット再送制御機能２１３は、上記再送可否判定処理機能２１１により伝送不可能と判定された時点から、上記キーフレーム送信制御機能２１２によりキーフレームが生成されるまでの期間に、本送信帯域による新たな映像パケット及び音声パケットの送信を停止させ、代わりに再送対象の音声パケットをバッファメモリから読み出し、この音声パケットを上記本送信帯域を使用して受信側の携帯端末へ再送させる。   The voice packet retransmission control function 213 performs a new transmission band based on this transmission band during a period from when it is determined that transmission is impossible by the retransmission permission determination processing function 211 to when a key frame is generated by the key frame transmission control function 212. The transmission of the correct video packet and audio packet is stopped, and instead, the audio packet to be retransmitted is read from the buffer memory, and this audio packet is retransmitted to the mobile terminal on the receiving side using the transmission band.

また音声パケット再送制御機能２１３は再多重化処理機能２１３１を有している。この再多重化処理機能２１３１は、上記再送対象の音声パケットを送信する際に、多重化テーブルに記憶された情報に基づいて、元々の送信タイミングｘが古い音声フレームほど多重度が小さくなるように再送対象の複数の音声フレームを再多重化する。そして、この再多重化により再構成された再送用の音声パケットを、本送信帯域を使用して受信側の端末へ送信させる。   The voice packet retransmission control function 213 has a remultiplex processing function 2131. When the remultiplex processing function 2131 transmits the voice packet to be retransmitted, based on the information stored in the multiplexing table, the remultiplexing function 2131 decreases the multiplicity of the voice frame whose original transmission timing x is older. Remultiplex a plurality of audio frames to be retransmitted. Then, the voice packet for retransmission reconfigured by this remultiplexing is transmitted to the terminal on the receiving side using this transmission band.

次に、以上のように構成された携帯端末ＭＳ１〜ＭＳｍの伝送動作を説明する。図３及び図４は、その制御手順と制御内容を示すフローチャートである。なお、ここでは携帯端末ＭＳ１と携帯端末ＭＳｎとの間でテレビジョン電話通信を行う場合を例にとって説明する。   Next, the transmission operation of the mobile terminals MS1 to MSm configured as described above will be described. 3 and 4 are flowcharts showing the control procedure and control contents. Here, a case where videophone communication is performed between the mobile terminal MS1 and the mobile terminal MSn will be described as an example.

テレビジョン電話通信が開始されると送信側の携帯端末ＭＳ１では、カメラ３１により撮像された映像信号がビデオエンコーダ２３により符号化されたのち、パケット変換部２７により映像ＲＴＰパケットに変換される。また、それと共にマイクロホン３２から出力された送話音声信号がオーディオエンコーダ２４により符号化されたのち、パケット変換部２７により音声ＲＴＰパケットに変換される。そして、これらの映像ＲＴＰパケット及び音声ＲＴＰパケットは、制御モジュール２１の制御の下でステップＳ３１により無線ユニット１から上りの無線伝送チャネルを使用して送信される。なお、携帯端末ＭＳ１と携帯端末ＭＳｍとの間の伝送チャネルには、例えば図７（ｂ）に示すように本送信用帯域と再送用帯域とが固定的に割り当てられており、上記映像ＲＴＰパケット及び音声ＲＴＰパケットは本送信用帯域を使用して送信される。
また、上記映像ＲＴＰパケット及び音声ＲＴＰパケットの送信を行いながら携帯端末ＭＳ１では、制御モジュール２１がステップＳ３２において受信側の携帯端末ＭＳｍからの再送要求の到来を監視している。 When videophone communication is started, in the mobile terminal MS1 on the transmission side, the video signal captured by the camera 31 is encoded by the video encoder 23, and then converted into a video RTP packet by the packet converter 27. At the same time, the transmitted voice signal output from the microphone 32 is encoded by the audio encoder 24 and then converted into a voice RTP packet by the packet converter 27. These video RTP packets and audio RTP packets are transmitted from the wireless unit 1 using the upstream wireless transmission channel in step S31 under the control of the control module 21. For example, as shown in FIG. 7B, the transmission band and the retransmission band are fixedly assigned to the transmission channel between the portable terminal MS1 and the portable terminal MSm. The voice RTP packet is transmitted using this transmission band.
In the mobile terminal MS1, while transmitting the video RTP packet and the audio RTP packet, the control module 21 monitors the arrival of a retransmission request from the mobile terminal MSm on the receiving side in step S32.

さて、この状態で例えば無線伝搬路の品質劣化により、上記携帯端末ＭＳ１が送信した映像ＲＴＰパケット及び音声ＲＴＰパケットの一部が図７（ａ）に示すように消失したとする。そうすると受信側の携帯端末ＭＳｍから再送要求が送信される。再送要求には、欠落したパケットの番号が挿入される。   Now, let us say that part of the video RTP packet and the audio RTP packet transmitted by the mobile terminal MS1 are lost as shown in FIG. Then, a retransmission request is transmitted from the mobile terminal MSm on the receiving side. The number of the missing packet is inserted into the retransmission request.

上記再送要求を受信すると携帯端末ＭＳ１では、制御モジュール２１がステップＳ３３により、上記再送要求により指定された再送対象の映像ＲＴＰパケット及び音声ＲＴＰパケットの情報量を算出し、この算出した情報量を再送用帯域による再送可能容量とステップＳ３４で比較する。ここで、再送可能容量とは、例えば図６に示すように、本送信帯域を使用して新たな映像パケット及び音声パケットを伝送しながら再送用帯域を使用して消失パケットを再送したときに、携帯端末間におけるパケット転送時間を考慮して求められる再送が間に合う制約時間内に消失パケットを再送することが可能な情報量である。   Upon receiving the retransmission request, in the mobile terminal MS1, the control module 21 calculates the information amount of the video RTP packet and the audio RTP packet to be retransmitted designated by the retransmission request in step S33, and retransmits the calculated information amount. The retransmittable capacity based on the bandwidth is compared in step S34. Here, the retransmittable capacity is, for example, as shown in FIG. 6, when a lost packet is retransmitted using a retransmission band while transmitting a new video packet and audio packet using this transmission band. This is the amount of information that allows a lost packet to be retransmitted within a limited time that allows a retransmission required in consideration of the packet transfer time between portable terminals.

上記比較の結果、上記算出した再送対象パケットの情報量が再送用帯域による再送可能容量以内だったとする。この場合携帯端末ＭＳ１の制御モジュール２１は、再送用帯域を使用した再送処理が可能と判断してステップＳ３５に移行し、上記再送対象の映像パケット及び音声パケット、つまり消失パケットを、図７（ａ），（ｂ）に示すように再送用帯域を使用して再送する。したがって、受信側の携帯端末ＭＳｍでは、送信側の携帯端末ＭＳ１から送信されたパケットが一部区間において消失しても、再送用帯域を使用して再送された上記消失パケットをもとに上記消失区間の映像及び音声を正しく復号し再生することが可能となる。また、上記消失パケットの再送と並行して、本送信用帯域では新たな映像ＲＴＰパケット及び音声ＲＴＰパケットが引き続き送信される。このため、受信側の携帯端末ＭＳｍでは、上記消失区間の映像及び音声の復号再生が終了した後も引き続き新たな映像及び音声の復号再生が行われる。   As a result of the comparison, it is assumed that the calculated information amount of the retransmission target packet is within the retransmittable capacity by the retransmission band. In this case, the control module 21 of the portable terminal MS1 determines that retransmission processing using the retransmission band is possible, and proceeds to step S35, and displays the video packet and audio packet to be retransmitted, that is, the lost packet as shown in FIG. ) And retransmission using the retransmission band as shown in (b). Therefore, in the mobile terminal MSm on the receiving side, even if the packet transmitted from the mobile terminal MS1 on the transmitting side is lost in a part of the section, the loss is performed based on the lost packet retransmitted using the retransmission band. It is possible to correctly decode and reproduce the video and audio in the section. In parallel with the retransmission of the lost packet, new video RTP packets and audio RTP packets are continuously transmitted in this transmission band. For this reason, in the mobile terminal MSm on the receiving side, new video and audio decoding / reproduction is continuously performed even after decoding and reproduction of the video and audio in the erasure section are completed.

一方、消失した区間が長く、再送対象パケットの情報量が再送用帯域による再送可能容量を超えていたとする。この場合携帯端末ＭＳ１の制御モジュール２１は、再送用帯域を使用した再送処理が不可能と判断して、キーフレームの生成とその送信処理及び本送信帯域を使用した音声パケットの再送処理を以下のように実行する。   On the other hand, it is assumed that the lost section is long and the information amount of the retransmission target packet exceeds the retransmittable capacity of the retransmission band. In this case, the control module 21 of the mobile terminal MS1 determines that retransmission processing using the retransmission band is impossible, and performs key frame generation and transmission processing and voice packet retransmission processing using the transmission band as follows. Run like so.

すなわち、先ずステップＳ３６において、本送信帯域で再送可能な音声パケットの長さを算出する。例えば、いま伝送速度が１０fps、６４kbpsの場合には最大１００msecの伝送容量（６４００bit相当）がある。また、符号化方式としてＡＭＲを使用した場合には、Ｏｃｔｅｔ−ａｌｉｇｎｅｄ ＭｏｄｅでＲＴＰパケットを構成した場合に、ＲＴＰ／ＵＤＰ／ＩＰヘッダ３２０bit＋ペイロードヘッダ８bit＋ＴｏＣ（１スピーチデータ当たり８ｂｉｔ）＋スピーチデータ９６〜２４８bitとなる。そして、この条件の下で、最大パケット長Max Ptimeが１００msec、モード＝０としたときの音声パケット長は８４８bitであるため、６４００bitで０．７秒分の音声パケットを伝送可能である。また、伝送速度が３８４kbps、モード＝７としたときには、２．３秒分の音声パケットを再送することが可能となる。   That is, first, in step S36, the length of a voice packet that can be retransmitted in this transmission band is calculated. For example, when the transmission rate is 10 fps and 64 kbps, there is a maximum transmission capacity of 100 msec (corresponding to 6400 bits). Also, when AMR is used as an encoding method, when an RTP packet is configured in Octet-aligned Mode, RTP / UDP / IP header 320 bits + payload header 8 bits + ToC (8 bits per speech data) + speech data 96 to 248 bits It becomes. Under this condition, since the voice packet length is 848 bits when the maximum packet length Max Ptime is 100 msec and the mode = 0, voice packets for 0.7 seconds can be transmitted at 6400 bits. Also, when the transmission rate is 384 kbps and mode = 7, it is possible to retransmit a voice packet for 2.3 seconds.

次に制御モジュール２１は、ステップＳ３７において、ビデオエンコーダ２３及びオーディオエンコーダ２４に対し、フレーム内符号化された映像フレーム及び音声フレーム、つまりキーフレームの生成を指示する。そして、上記ビデオエンコーダ２３及びオーディオエンコーダ２４によりキーフレームが生成されるまでの時間を利用して、再送対象の音声パケットを本送信用帯域により再送する処理を以下のように実行する。   Next, in step S37, the control module 21 instructs the video encoder 23 and the audio encoder 24 to generate an intra-frame encoded video frame and audio frame, that is, a key frame. Then, using the time until the key frame is generated by the video encoder 23 and the audio encoder 24, the process of retransmitting the audio packet to be retransmitted by this transmission band is executed as follows.

すなわち、先ずステップＳ３８により再送対象の音声パケットの再構成を行う。この音声パケットの再構成は、再送対象の音声パケットに含まれていた複数の音声フレームを、多重化テーブルに記憶された情報に基づいて再多重化することにより行われる。
図４はその処理手順と処理内容を示すフローチャートである。制御モジュール２１は先ずステップＳ４３により、再送対象の音声フレームを送信タイミングの古いものから選択し、この選択された音声フレームの送信タイミングに対応する多重度をステップＳ４４により多重化テーブルから読み出す。そして、上記選択された音声フレームを上記読み出した多重度に従い再多重化して再送用の音声パケットを生成する。以後同様に、再送対象のすべての音声フレームの選択が終了したことをステップＳ４６で検出するまで、上記ステップＳ４３〜Ｓ４５による再多重化処理を繰り返す。 That is, first, a voice packet to be retransmitted is reconstructed in step S38. The voice packet is reconfigured by remultiplexing a plurality of voice frames included in the voice packet to be retransmitted based on information stored in the multiplexing table.
FIG. 4 is a flowchart showing the processing procedure and processing contents. First, in step S43, the control module 21 selects a speech frame to be retransmitted from those with the oldest transmission timing, and reads out the multiplicity corresponding to the transmission timing of the selected audio frame from the multiplexing table in step S44. Then, the selected voice frame is re-multiplexed according to the read multiplicity to generate a voice packet for retransmission. Thereafter, similarly, the re-multiplexing process in steps S43 to S45 is repeated until it is detected in step S46 that selection of all the audio frames to be retransmitted has been completed.

例えば、いま図１０に示すように音声フレームＦ１〜Ｆ２０のうち、Ｆ１〜Ｆ９が再生対象の音声フレームだったとする。なお、図中Ｐ１〜Ｐ６は本送信時における音声パケットを示す。制御モジュール２１は、先ず再送対象の音声フレームのうち送信タイミングが最も古い音声フレームＦ１を読み出す。この音声フレームＦ１の送信タイミングｘは、最新の再送対象音声フレームの送信タイミングを基準（ｔ０）とすると−ｔ９であるため、多重度は図５の多重化テーブルから“１”となる。したがって、制御モジュール２１は上記音声フレームＦ１のみでペイロードＰ１′を構成し、これに例えば図９（ａ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ１を構成する。   For example, as shown in FIG. 10, it is assumed that F1 to F9 among the audio frames F1 to F20 are audio frames to be reproduced. In the figure, P1 to P6 indicate voice packets at the time of actual transmission. First, the control module 21 reads out the audio frame F1 having the oldest transmission timing among the audio frames to be retransmitted. Since the transmission timing x of the voice frame F1 is −t9 when the transmission timing of the latest retransmission target voice frame is set as a reference (t0), the multiplicity is “1” from the multiplexing table of FIG. Therefore, the control module 21 forms the payload P1 'only by the voice frame F1, and adds the RTP / UDP / IP header to the payload P1', for example, as shown in FIG.

次に制御モジュール２１は、音声フレームＦ２，Ｆ３，Ｆ４を順に読み出す。これらの音声フレームＦ２，Ｆ３，Ｆ４の送信タイミングｘは−ｔ８〜−ｔ６であるため、多重度は図５の多重化テーブルからいずれも“３”となる。したがって、制御モジュール２１は上記３個の音声フレームＦ２，Ｆ３，Ｆ４を多重化して１つのペイロードＰ２′を構成し、これに例えば図９（ｂ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ２を構成する。   Next, the control module 21 reads out the audio frames F2, F3, and F4 in order. Since the transmission timings x of these audio frames F2, F3, and F4 are -t8 to -t6, the multiplicity is "3" from the multiplexing table of FIG. Therefore, the control module 21 multiplexes the above three audio frames F2, F3, and F4 to form one payload P2 ', and adds an RTP / UDP / IP header to this, for example, as shown in FIG. 9B. Thus, the voice packet RP2 is configured.

以後同様に、音声フレームＦ５〜Ｆ９の多重度は図５の多重化テーブルによればいずれも“５”となるので、これら５個の音声フレームＦ５〜Ｆ９を多重化して１つのペイロードＰ３′を構成し、これに例えば図９（ｃ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ３を構成する。   Similarly, since the multiplicity of the audio frames F5 to F9 is all “5” according to the multiplexing table of FIG. 5, these five audio frames F5 to F9 are multiplexed to form one payload P3 ′. For example, as shown in FIG. 9C, an RTP / UDP / IP header is added to the voice packet RP3.

以上のように再送対象の音声パケットの再構成が終了すると、制御モジュール２１は続いてステップＳ３９に移行し、ここで上記再構成した各音声パケットＲＰ１，ＲＰ２，ＲＰ３を送信タイミングの古い順に、図８（ｂ）に示すように本送信帯域を使用して再送する。そして、ステップＳ４０でビデオエンコーダ２３及びオーディオエンコーダ２４によるキーフレームの生成終了が検出され、さらにステップＳ４１で上記再構成された音声パケットの送信終了が検出されると、制御モジュール２１はステップＳ４２に移行し、ここで上記生成されたキーフレームによる映像パケット及び音声パケットを、図８（ａ），（ｂ）に示すように本送信用帯域を使用して送信する。以後制御モジュール２１は、上記キーフレームを基準に差分符号化された後続の映像及び音声フレームをそれぞれパケット化し、これらのパケットを本送信用帯域を使用して送信する。   When the reconfiguration of the voice packet to be retransmitted is completed as described above, the control module 21 subsequently proceeds to step S39, where the reconfigured voice packets RP1, RP2, and RP3 are displayed in order of oldest transmission timing. Retransmission is performed using this transmission band as shown in FIG. If the end of key frame generation by the video encoder 23 and the audio encoder 24 is detected in step S40, and the end of transmission of the reconstructed voice packet is detected in step S41, the control module 21 proceeds to step S42. Then, the video packet and the audio packet by the generated key frame are transmitted using the main transmission band as shown in FIGS. 8 (a) and 8 (b). Thereafter, the control module 21 packetizes subsequent video and audio frames that have been differentially encoded with reference to the key frame, and transmits these packets using this transmission band.

以上述べたようにこの実施形態では、受信側の携帯端末ＭＳｍから再送要求が到来した場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が再送用帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送不可能と判定された場合に、ビデオエンコーダ２３及びオーディオエンコーダ２４に対しキーフレームの生成を指示すると共に、このキーフレームが生成されるまでの期間に本送信帯域を利用して再送対象の音声パケットを再送するようにしている。   As described above, in this embodiment, when a retransmission request arrives from the mobile terminal MSm on the receiving side, the information amount of the video packet and audio packet to be retransmitted designated by the retransmission request uses the retransmission band. And determine whether transmission is possible within the restricted time. If it is determined that transmission is not possible, the video encoder 23 and the audio encoder 24 are instructed to generate a key frame, and the transmission target is retransmitted using this transmission band until the key frame is generated. The voice packet is retransmitted.

したがって、消失した映像パケット及び音声パケットを再送し切れない場合でも、キーフレームが生成されるまでの期間を利用しかつ本送信用帯域を利用して、上記消失した音声パケットが再送される。このため、受信側の携帯端末ＭＳｍにおいて受話再生音が途切れないようにすることができ、これにより少なくとも音声通話による端末間の通信状態を維持することが可能となる。   Therefore, even when the lost video packet and audio packet cannot be retransmitted, the lost audio packet is retransmitted using the period until the key frame is generated and using this transmission band. For this reason, it is possible to prevent the reception / playback sound from being interrupted in the mobile terminal MSm on the receiving side, and thus it is possible to maintain at least the communication state between the terminals by voice call.

本来であれば、再送中においても本送信帯域は新たな映像ＲＴＰパケット及び音声ＲＴＰパケットを送信するために使用される。しかし、先行するパケットが消失している場合には、受信側の携帯端末ＭＳｍでは上記新たなパケットを受信しても正しく復号再生することができない。つまり、上記新たなＲＴＰパケットを送信することは無駄である。これに対し本実施形態では、上記したように本送信帯域における新たな映像及び音声ＲＴＰパケットの送信を中止して、代わりに再送対象の音声パケットを再送するようにしている。   Originally, even during retransmission, this transmission band is used to transmit new video RTP packets and audio RTP packets. However, when the preceding packet is lost, the mobile terminal MSm on the receiving side cannot correctly decode and reproduce it even if the new packet is received. That is, it is useless to transmit the new RTP packet. On the other hand, in the present embodiment, as described above, transmission of new video and audio RTP packets in this transmission band is stopped, and the audio packets to be retransmitted are retransmitted instead.

したがって、再送対象のパケットを再送領域よりも帯域の広い本送信用帯域を使用して効率良く再送することが可能となる。しかも、再送用パケットを映像パケットに比べ情報量の少ない音声パケットのみに限定しているので、仮に消失区間が長く大容量の消失パケットを再送しなければならない場合でも、多くの音声パケットを再送することが可能となり、これにより受信側の端末における通話の切断を効果的に防止することができる。   Therefore, it is possible to efficiently retransmit the packet to be retransmitted using the main transmission band having a wider band than the retransmission area. In addition, since retransmission packets are limited to only voice packets with a smaller amount of information than video packets, a large number of voice packets are retransmitted even when a lost packet with a long lost period must be retransmitted. This makes it possible to effectively prevent disconnection of the call at the receiving terminal.

なお、本実施形態では、図３のステップＳ４０，Ｓ４１に示すようにキーフレームが生成されるまでの間に音声パケットを再送しきれなかった場合には、音声パケットの再送が終了するまでキーフレームの送信を待機するようにしている。このため、再送対象の音声パケットの情報量が多い場合でも、すべての音声パケットをもれなく再送することができ、これによりさらに確実に音声通話を維持することができる。   In the present embodiment, as shown in steps S40 and S41 of FIG. 3, if the voice packet cannot be retransmitted until the key frame is generated, the key frame is retransmitted until the retransmission of the voice packet is completed. Waiting to be sent. For this reason, even when the amount of information of the voice packet to be retransmitted is large, all the voice packets can be retransmitted without fail, so that the voice call can be maintained more reliably.

またこの実施形態では、上記再送対象の音声パケットを送信する際に、多重化テーブルに記憶された情報に基づいて、元々の送信タイミングｘが古い音声フレームほど多重度が小さくなるように再送対象の複数の音声フレームを再多重化し、この再多重化により再構成された再送用の音声パケットを本送信帯域を使用して受信側の携帯端末へ送信するようにしている。したがって、再生までの許容遅延が短い古い音声フレームが単独又は多重度の小さいパケットにより受信端末に伝送される。このため、受信側の携帯端末では送信タイミングの旧い音声フレームを許容される遅延時間の範囲で確実に復号再生することが可能となる。   Further, in this embodiment, when transmitting the voice packet to be retransmitted, based on the information stored in the multiplexing table, the retransmission target so that the multiplicity becomes lower as the voice frame with the original transmission timing x becomes older. A plurality of voice frames are remultiplexed, and a voice packet for retransmission reconfigured by this remultiplexing is transmitted to the mobile terminal on the receiving side using this transmission band. Therefore, an old audio frame with a short allowable delay until reproduction is transmitted to the receiving terminal by a single packet or a packet having a low multiplicity. For this reason, the reception-side mobile terminal can reliably decode and reproduce an audio frame having an old transmission timing within the allowable delay time range.

なお、この発明は上記実施形態に限定されるものではない。例えば、音声フレームを再多重化する際に、再多重化処理機能２１３１において無音等のフレームサイズが比較的小さい音声フレームを優先的に多重化するとよい。このようにすることで、受信側の携帯端末において違和感がより少ない再生音を出力させることができる。   The present invention is not limited to the above embodiment. For example, when re-multiplexing audio frames, the re-multiplex processing function 2131 may preferentially multiplex audio frames having a relatively small frame size such as silence. By doing so, it is possible to output a reproduced sound with less discomfort in the mobile terminal on the receiving side.

また、前記実施形態では再送対象の音声パケットを本送信用帯域のみを利用して送信するようにしたが、本送信用帯域と再送用帯域の両方を併用して送信するようにしてもよい。このようにすると、より広帯域の再送帯域を確保することができ、これにより消失パケットの情報量が多い場合でも、比較的短時間に再送対象の音声パケットの送信を完了することができる。   In the above embodiment, the voice packet to be retransmitted is transmitted using only the main transmission band. However, both the main transmission band and the retransmission band may be transmitted together. In this way, it is possible to secure a wider retransmission band, and thereby complete the transmission of the voice packet to be retransmitted in a relatively short time even when the information amount of lost packets is large.

その他、パケット伝送装置の種類やその構成、パケット再送制御の手順とその内容、再送対象の音声パケットを再構成する際の音声フレーム間の多重度数等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In addition, the type and configuration of the packet transmission apparatus, the packet retransmission control procedure and contents, the multiplicity between voice frames when reconfiguring the voice packet to be retransmitted, and the like are within the scope of the present invention. Various modifications can be made.
In short, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

この発明に係わるパケット伝送装置の一実施形態である携帯端末を使用した移動通信システムの構成を示す図である。It is a figure which shows the structure of the mobile communication system using the portable terminal which is one Embodiment of the packet transmission apparatus concerning this invention. この発明に係わるパケット伝送装置の一実施形態である携帯端末の構成を示すブロック図である。It is a block diagram which shows the structure of the portable terminal which is one Embodiment of the packet transmission apparatus concerning this invention. 図２に示した携帯端末によるパケット再送制御の手順と内容を示すフローチャートである。3 is a flowchart showing a procedure and contents of packet retransmission control by the mobile terminal shown in FIG. 図３に示したフローチャート中における音声パケット再構成処理の手順と内容を示すフローチャートである。It is a flowchart which shows the procedure and content of the audio | voice packet reconstruction process in the flowchart shown in FIG. 図４に示した音声パケット再構成処理において使用される多重化テーブルの一例を示す図である。It is a figure which shows an example of the multiplexing table used in the audio | voice packet reconstruction process shown in FIG. 本送信用帯域と再送用帯域の一例を示す図である。It is a figure which shows an example of this transmission band and a resending band. 図３に示したパケット再送制御の動作の一例を説明するための図である。FIG. 4 is a diagram for explaining an example of an operation of packet retransmission control illustrated in FIG. 3. 図３に示したパケット再送制御の動作の他の例を説明するための図である。FIG. 6 is a diagram for explaining another example of the packet retransmission control operation shown in FIG. 3. 図４に示した音声パケット再構成処理において生成された音声パケットの一例を示す図である。It is a figure which shows an example of the audio | voice packet produced | generated in the audio | voice packet reconstruction process shown in FIG. 図４に示した音声パケット再構成処理を説明するための図である。It is a figure for demonstrating the audio | voice packet reconstruction process shown in FIG.

符号の説明Explanation of symbols

１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…電源ユニット、１１…アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…周波数シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２１１…再送可否判定処理機能、２１２…キーフレーム送信制御機能、２１３…音声パケット再送制御機能、２１３１…再多重化処理機能、２２…多重分離部、２３…ビデオエンコーダ、２４…オーディオエンコーダ、２５…ビデオデコーダ、２６…オーディオデコーダ、２７…パケット変換部、２８…パケット逆変換部、２９…メモリ（ＭＥＭ）、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…液晶表示器（ＬＣＤ）、３４…スピーカ、３５…入力デバイス、４１…バッテリ、４２…充電回路（ＣＨＧ）、４３…電圧生成回路（ＰＳ）。   DESCRIPTION OF SYMBOLS 1 ... Wireless unit, 2 ... Baseband unit, 3 ... User interface unit, 4 ... Power supply unit, 11 ... Antenna, 12 ... Antenna duplexer (DUP), 13 ... Reception circuit (RX), 14 ... Frequency synthesizer (SYN) 15 ... Transmission circuit (TX), 21 ... Control module, 211 ... Resendability determination processing function, 212 ... Key frame transmission control function, 213 ... Voice packet retransmission control function, 2131 ... Remultiplexing processing function, 22 ... Demultiplexing , 23 ... Video encoder, 24 ... Audio encoder, 25 ... Video decoder, 26 ... Audio decoder, 27 ... Packet converter, 28 ... Packet inverse converter, 29 ... Memory (MEM), 31 ... Camera (CAM), 32 ... Microphone, 33 ... Liquid crystal display (LCD), 34 ... Speaker, 35 ... Input device Scan, 41 ... battery, 42 ... charging circuit (CHG), 43 ... voltage generation circuit (PS).

Claims (4)

映像フレームを収容した映像パケット及び音声フレームを収容した音声パケットを、通信ネットワーク上に設定される第１の帯域を使用して受信側の端末へ送信する手段と、
前記映像パケット及び音声パケットの送信に対する再送要求が前記受信側の端末から送られた場合に、当該再送要求を受信する手段と、
前記再送要求が受信された場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が、前記通信ネットワーク上に前記第１の帯域とは別に設定される再送用の第２の帯域を使用して制約時間内に伝送可能か否かを判定する判定手段と、
前記判定手段により伝送不可能と判定された場合に、フレーム内符号化された映像フレーム及び音声フレームを生成し、この生成されたフレーム内符号化映像フレームを収容した映像パケット及びフレーム内符号化音声フレームを収容した音声パケットを前記第１の帯域を使用して前記受信側の端末へ送信する手段と、
前記伝送不可能と判定された時点から前記フレーム内符号化された映像フレーム及び音声フレームが生成されるまでの期間に、前記再送対象の音声パケットを前記第１の帯域を使用して前記受信側の端末へ再送する音声パケット再送手段と
を具備することを特徴とするパケット伝送装置。 Means for transmitting a video packet containing a video frame and a voice packet containing a voice frame to a receiving terminal using a first band set on a communication network;
Means for receiving a retransmission request when a retransmission request for transmission of the video packet and audio packet is sent from the receiving terminal;
When the retransmission request is received, the amount of information of the video packets and audio packets to be retransmitted designated by the retransmission request is set on the communication network separately from the first band. Determining means for determining whether or not transmission is possible within the restricted time using the bandwidth of 2;
When it is determined by the determination means that transmission is not possible, an intra-frame encoded video frame and audio frame are generated, and a video packet and intra-frame encoded audio containing the generated intra-frame encoded video frame are generated. Means for transmitting a voice packet containing a frame to the receiving terminal using the first band;
During the period from the time when it is determined that transmission is impossible to the time when the intra-coded video frame and audio frame are generated, the audio packet to be retransmitted is transmitted to the receiving side using the first band. A packet transmission apparatus comprising voice packet retransmission means for retransmitting to a terminal of 前記音声パケット再送手段は、前記第１の伝送帯域を使用して制約時間内に伝送可能な音声パケットの情報量の範囲内で、再送対象の複数の音声フレームを再多重化することにより再送用の音声パケットを再構成することを特徴とする請求項１記載のパケット伝送装置。   The voice packet retransmission means retransmits a plurality of voice frames to be retransmitted by remultiplexing a plurality of voice frames to be retransmitted within a range of information amount of a voice packet that can be transmitted within a restricted time using the first transmission band. The packet transmission apparatus according to claim 1, wherein the voice packet is reconstructed. 前記音声パケット再送手段は、再送対象の複数の音声フレームのうちフレームサイズがしきい値以下の音声フレームを優先的に再多重化することを特徴とする請求項２記載のパケット伝送装置。   3. The packet transmission apparatus according to claim 2, wherein the voice packet retransmission means preferentially remultiplexes a voice frame having a frame size equal to or smaller than a threshold value among a plurality of voice frames to be retransmitted. 前記音声パケット再送手段は、再生対象の音声フレームの時間位置と多重度との関係を表す情報を記憶するメモリテーブルを備え、このメモリテーブルに記憶された情報に基づいて、前記再送対象の複数の音声フレームのうち時間位置が旧い音声フレームほど小さい多重度で再多重化し、時間位置が新しい音声フレームほど大きい多重度で再多重化することを特徴とする請求項２記載のパケット伝送装置。   The voice packet retransmission unit includes a memory table that stores information representing a relationship between a time position of a voice frame to be reproduced and a multiplicity, and based on the information stored in the memory table, 3. The packet transmission apparatus according to claim 2, wherein among the voice frames, a voice frame having an older time position is remultiplexed with a smaller multiplicity, and a voice frame having a new time position is remultiplexed with a larger multiplicity.

Images