JPH1051495A - Multimedia multiplex communication system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To realize multimedia communication with high efficiency while ensuring simultaneous transmission by using a communication equipment whose transmission speed is comparatively low but constant such as a portable telephone set. SOLUTION: A transmitter side equipment 16 stores a packet for each medium generated from media data to packet buffers 23, 26 while adding packet generating time information to each packet and the packets of each media stored in the packet buffers 23, 26 are stored in a multiplex buffer 27 sequentially in the order of older generating time. Then the packets stored in the multiplex buffer 27 are read sequentially and send from a communication equipment 13 as a packet stream. A receiver side equipment 18 stores the received packet stream into a multiplex buffer 31 sequentially and the packets for each medium are extracted from the packet stream and stores them to buffers 32, 35 in the order of the original generating time and stored packets are disassembled to reproduce medium data.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、パケット化したマ
ルチメディアデータの多重化技術に関し、特に、複数種
類のメディアデータのパケットをその生成時刻順に応じ
てパケット列へ多重化して通信するシステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multiplexing technique for packetized multimedia data, and more particularly to a system for multiplexing and communicating a plurality of types of media data packets into a packet sequence in the order of generation time.

【０００２】[0002]

【従来の技術】従来では画像、音声、文字等といった種
類の異なる複数のメディアデータはそれぞれ別個なデー
タとして通信されていたが、情報通信が多様化するにつ
れて複数種類のメディアデータを多重化させて通信する
マルチメディア通信の必要性が高まっている。例えば、
パーソナルハンディホン（ＰＨＳ）等の携帯電話を用い
て音声データと共に画像データを通信する場合、従来で
は音声データと画像データとは多重化させずに別々に伝
送していたが、通話中は画像を伝送することができず、
また画像伝送中は通話することができないことから、即
時性を要するマルチメディア通信には不便であった。こ
のため、種類の異なる複数のメディアデータを多重化さ
せて同時に通信することが求められていた。2. Description of the Related Art Conventionally, a plurality of different types of media data such as images, sounds, characters, etc., have been communicated as separate data. However, as information communication has diversified, a plurality of types of media data have been multiplexed. The need for multimedia communication to communicate is growing. For example,
When communicating image data with audio data using a mobile phone such as a personal handy phone (PHS), conventionally, audio data and image data were separately transmitted without being multiplexed. Cannot be transmitted,
In addition, since it is not possible to talk during image transmission, it is inconvenient for multimedia communication requiring immediacy. For this reason, it has been demanded that a plurality of different types of media data be multiplexed and communicated simultaneously.

【０００３】また、音声データと画像データとを多重化
する従来の主な方法は、各メディアデータに予め固定的
に帯域（例えば、音声データには８Ｋｂｐｓ、画像デー
タには１６Ｋｂｐｓ）を割り当てて伝送するものであっ
た。しかしながら、この方法では、マルチメディア通信
の即時性は得られるものの、各メディアデータに一定の
帯域（伝送速度）を割り当てているため、マルチメディ
ア通信の伝送効率が悪いという問題があった。例えば、
音声のレベルや画像の種類によって単位時間当たりに発
生するデータ量は変動するが、各メディアデータに一定
の帯域を割り当てていることにより、データ量が大幅に
増えてしまったときには伝送できずに廃棄されるデータ
が生じ、逆に、データ量が減ってしまったときには無効
なデータを伝送することとなってしまっていた。A conventional main method of multiplexing audio data and image data is that a fixed bandwidth (for example, 8 Kbps for audio data and 16 Kbps for image data) is allocated to each media data before transmission. Was to do. However, in this method, although the immediacy of multimedia communication is obtained, there is a problem that the transmission efficiency of multimedia communication is poor because a fixed band (transmission speed) is allocated to each media data. For example,
The amount of data generated per unit time varies depending on the audio level and the type of image.However, since a certain band is allocated to each media data, when the data amount increases significantly, it cannot be transmitted and discarded. Data is generated, and conversely, when the data amount is reduced, invalid data is transmitted.

【０００４】[0004]

【発明が解決しようとする課題】上記のように、マルチ
メディア通信においては多重化による即時性の実現が求
められているが、従来の多重化通信では満足のいく伝送
効率が得られなかった。特に、携帯電話のように伝送速
度が比較的低速な通信システムを用いてマルチメディア
多重化通信を実現しようとする場合には、同時通信は行
われるものの通信全体が遅延し、この点での即時性が失
われてしまっていた。As described above, realization of immediacy by multiplexing is required in multimedia communication, but satisfactory transmission efficiency has not been obtained by conventional multiplexing communication. In particular, when attempting to realize multimedia multiplex communication using a communication system having a relatively low transmission speed such as a mobile phone, simultaneous communication is performed, but the entire communication is delayed. Sex has been lost.

【０００５】本発明は、このような従来の課題を解決す
るためになされたもので、例えば携帯電話のように伝送
速度が比較的低速で且つ一定な通信装置が用いられる際
に、複数種類のメディアデータのパケットをその生成時
刻順に応じて混合多重化し、このように多重化されたマ
ルチメディアパケット列を伝送させることにより、各メ
ディアデータのデータ量の増減を許容して、各メディア
データの同時性を確保しながら伝送効率の高い通信を実
現するマルチメディア通信システムを提供することを目
的とする。The present invention has been made to solve such a conventional problem. For example, when a communication device having a relatively low transmission speed and a constant communication speed such as a mobile phone is used, a plurality of types of communication devices are required. The media data packets are mixed and multiplexed in accordance with the order of generation time, and by transmitting the multiplexed multimedia packet sequence, the data amount of each media data can be increased or decreased to allow simultaneous transmission of each media data. It is an object of the present invention to provide a multimedia communication system that realizes communication with high transmission efficiency while ensuring performance.

【０００６】[0006]

【課題を解決するための手段】上記目的を達成するた
め、本発明に係るマルチメディア多重化通信システム
は、送信側装置に、各メディアデータをパケット化する
パケット生成手段と、生成されたパケットに対してその
生成時刻順に応じて多重化順序を決定する多重化制御手
段と、決定された多重化順序に基づいて各メディアデー
タのパケットを混合配列させるパケット多重化手段と、
混合配列により生成されたパケット列を送信する送信手
段と、を備え、受信側装置に、パケット列を受信する受
信手段と、受信したパケット列を各メディアデータ毎の
パケットに分離するパケット分離手段と、分離された各
メディアデータ毎のパケットからメディアデータを再生
するデータ再生手段と、を備え、送信側装置によりパケ
ット化された複数種類のメディアデータを混合多重化し
て送信し、受信側装置によりパケット列を受信して各メ
ディアデータを再生する。In order to achieve the above object, a multimedia multiplexing communication system according to the present invention comprises: a transmitting side apparatus comprising: packet generating means for packetizing each media data; Multiplexing control means for determining a multiplexing order according to the generation time order; packet multiplexing means for mixing and arranging packets of each media data based on the determined multiplexing order;
A transmitting unit for transmitting a packet sequence generated by the mixed array, a receiving unit for receiving the packet sequence, and a packet separating unit for separating the received packet sequence into packets for each media data. Data reproducing means for reproducing the media data from the packet for each separated media data, and a plurality of types of media data packetized by the transmitting device are mixed and multiplexed and transmitted, and the packet is transmitted by the receiving device. Receive the sequence and play each media data.

【０００７】すなわち、送信側装置では、多重化制御手
段が各メディアデータのパケットの生成時刻を管理し、
パケット多重化手段がこれら全てのパケットについてそ
の生成時刻の古い順に配列し直して、効率よく多重化さ
れたマルチメディアパケット列を構成し、このパケット
列を携帯電話機等の通信手段を介して送信する。そし
て、受信側装置では、このパケット列を同様な受信手段
によって受信し、パケット分離手段で各メディアデータ
毎のパケットに分離し、データ再生手段で各メディアデ
ータ毎のパケットからメディアデータを再生する。した
がって、効率よく多重化されたマルチメディアパケット
列が無線伝送路或いは有線伝送路を介して伝送され、効
率のよいマルチメディア伝送が実現される。That is, in the transmitting device, the multiplexing control means manages the generation time of each media data packet,
The packet multiplexing means rearranges all these packets in the order of generation time to form an efficient multiplexed multimedia packet sequence, and transmits this packet sequence via communication means such as a mobile phone. . Then, in the receiving apparatus, this packet sequence is received by the similar receiving means, separated into packets for each media data by the packet separating means, and the data reproducing means reproduces the media data from the packets for each media data. Therefore, the efficiently multiplexed multimedia packet sequence is transmitted via the wireless transmission path or the wired transmission path, and efficient multimedia transmission is realized.

【０００８】[0008]

【発明の実施の形態】本発明の一実施例を図面を参照し
て説明する。図１には、本発明に係るマルチメディア多
重化通信システムの一例を示してあり、このマルチメデ
ィア多重化通信システムには、画像データと音声データ
とを多重化させたパケット列として無線送信し、また、
このように多重化されたパケット列を無線受信して画像
データと音声データとを再生するマルチメディア多重化
通信装置１０と、画像を撮像して画像データ（ビデオ信
号）を入力するカメラ１１と、音声を取り込んで音声デ
ータ（音声信号）を入力するマイクロホン１２と、多重
化されたパケット列を無線送受信するパーソナルハンデ
ィホン等の通信装置１３と、再生された画像データに基
づく画像を表示する液晶ディスプレイ等の表示装置１４
と、再生された音声データに基づく音声を出力するスピ
ーカ１５とが備えられている。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an example of a multimedia multiplex communication system according to the present invention. In this multimedia multiplex communication system, image data and audio data are wirelessly transmitted as a multiplexed packet sequence, Also,
A multimedia multiplexing communication device 10 for wirelessly receiving the multiplexed packet sequence to reproduce image data and audio data, a camera 11 for capturing an image and inputting image data (video signal), A microphone 12 for capturing audio and inputting audio data (audio signal), a communication device 13 such as a personal handyphone for wirelessly transmitting / receiving a multiplexed packet sequence, and a liquid crystal display for displaying an image based on the reproduced image data Display device 14 such as
And a speaker 15 that outputs a sound based on the reproduced sound data.

【０００９】なお、これらデータ入力装置１１、１２、
通信装置１３、再生データ出力装置１４、１５は多重化
通信装置１０とは別体の構成としているが、その一部或
いは全部を多重化通信装置１０に一体的に組み込んで構
成する等してもよく、各装置１０〜１５をどのような組
み込み関係で構成するかは任意である。また、本実施例
では、カメラ１１は静止画アナログデータを多重化通信
装置１０に入力するものとしているが、カメラ１１から
動画データを入力して多重化通信装置１０で動画像を多
重化通信することもできる。また、本実施例では２種類
のメディアデータを多重化通信するが、文字データ等も
含めた３種類以上のメディアデータを多重化通信するこ
ともでき、そのメディア種類の組合せも任意である。The data input devices 11, 12,
Although the communication device 13 and the reproduction data output devices 14 and 15 are configured separately from the multiplex communication device 10, a part or all of them may be integrated into the multiplex communication device 10 or the like. Often, the devices 10 to 15 are arbitrarily configured in what kind of integration relationship. In the present embodiment, the camera 11 inputs still image analog data to the multiplex communication device 10. However, moving image data is input from the camera 11 and the multiplex communication device 10 performs multiplex communication of moving images. You can also. In this embodiment, two types of media data are multiplexed and communicated. However, three or more types of media data including character data and the like can be multiplexed and communicated, and the combination of the media types is arbitrary.

【００１０】多重化通信装置１０には、画像データ及び
音声データをパケット化して多重パケット列に構成する
送信部１６と、多重化されたパケット列を通信装置１３
から送信させ或いは多重化されたパケット列を通信装置
１３から受信する通信制御部１７と、受信した多重化パ
ケット列をメディア毎に分離分解して画像データ及び音
声データを再生する受信部１８と、これら各機能部１６
〜１８を統括して制御する主制御部１９と、が内蔵され
ている。The multiplexing communication device 10 includes a transmission unit 16 that packetizes image data and audio data to form a multiplexed packet sequence, and a multiplexed packet sequence that transmits the multiplexed packet sequence to the communication device 13.
A communication control unit 17 for receiving the multiplexed packet sequence transmitted or transmitted from the communication device 13, a receiving unit 18 for separating and decomposing the received multiplexed packet sequence for each medium to reproduce image data and audio data, Each of these functional units 16
And a main control unit 19 that controls the entire system.

【００１１】送信部１６には、カメラ１１から入力され
たビデオ信号をデジタル画像データに変換するアナログ
／デジタル変換器（Ａ／Ｄ変換器）２１と、デジタル化
された画像データをＪＰＥＧ方式等によって圧縮符号化
する符号化器２２と、圧縮符号化された画像データを複
数のパケットとして格納するパケットバッファ（ＰＡＤ
バッファ）２３と、マイクロホン１２から入力された音
声信号をデジタル音声データに変換するアナログ／デジ
タル変換器２４と、デジタル化された音声データを圧縮
符号化する符号化器２５と、圧縮符号化された音声デー
タを複数のパケットとして格納するパケットバッファ
（ＰＡＤバッファ）２６と、パケットバッファ２３と２
６から取り出された画像データと音声データとのパケッ
トを多重化したパケット列として格納する多重化バッフ
ァ（ＭＵＸバッファ）２７と、が備えられている。The transmitting unit 16 includes an analog / digital converter (A / D converter) 21 for converting a video signal input from the camera 11 into digital image data, and converts the digitized image data according to the JPEG method or the like. An encoder 22 that performs compression encoding and a packet buffer (PAD) that stores the compression-encoded image data as a plurality of packets.
Buffer) 23, an analog / digital converter 24 for converting an audio signal input from the microphone 12 into digital audio data, an encoder 25 for compression-encoding the digitized audio data, and a compression-encoding A packet buffer (PAD buffer) 26 for storing audio data as a plurality of packets;
And a multiplexing buffer (MUX buffer) 27 for storing a packet of image data and audio data extracted from the device 6 as a multiplexed packet sequence.

【００１２】受信部１８には、通信装置１３及び通信制
御部１７を介して受信した多重化パケット列を格納する
多重化バッファ３１と、多重化バッファ３１から取り出
された画像データのパケットを格納するパケットバッフ
ァ３２と、画像データパケットから取り出された画像デ
ータストリームを伸長復号化する復号器３３と、復号化
された画像データをアナログデータに変換して表示装置
１４へ出力するデジタルアナログ変換器（Ｄ／Ａ変換
器）３４と、多重化バッファ３１から取り出された音声
データのパケットを格納するパケットバッファ３５と、
音声データパケットから取り出された音声データストリ
ームを伸長復号化する復号器３６と、復号化された音声
データをアナログデータに変換してスピーカ１５へ出力
するデジタルアナログ変換器３７と、が備えられてい
る。The receiving unit 18 stores a multiplexing buffer 31 for storing a multiplexed packet sequence received via the communication device 13 and the communication control unit 17 and a packet of image data extracted from the multiplexing buffer 31. A packet buffer 32, a decoder 33 for expanding and decoding the image data stream extracted from the image data packet, and a digital-to-analog converter (D) for converting the decoded image data into analog data and outputting the analog data to the display device 14. A / A converter) 34, a packet buffer 35 for storing packets of audio data extracted from the multiplexing buffer 31,
A decoder 36 for expanding and decoding the audio data stream extracted from the audio data packet, and a digital-to-analog converter 37 for converting the decoded audio data into analog data and outputting the analog data to the speaker 15 are provided. .

【００１３】ここで、画像データ等の通信においては一
般的にデータ圧縮が行われることから、本実施例では上
記のように、送信部１６にパケット化されるメディアデ
ータを圧縮する符号器２２、２５を備え、受信部１８に
圧縮されたメディアデータを伸長する復号器３３、３６
を備えた。上記の圧縮及び復号手段により画像データを
圧縮処理する場合には、平坦で相関性の高い風景画等を
撮像したときには圧縮処理によってデータストリームは
比較的短くなるが、複雑で細かい人物画等を撮像したと
きには圧縮処理を行ってもデータストリームは比較的長
くなるため、画像パケットバッファ２３に格納されるパ
ケット数が変動する。Here, since data compression is generally performed in communication of image data and the like, in this embodiment, as described above, the encoder 22, which compresses the media data packetized by the transmission unit 16, And decoders 33, 36 for expanding the compressed media data in the receiving unit 18.
With. When the image data is compressed by the above-described compression and decoding means, when a flat and highly correlated landscape image or the like is captured, the data stream is relatively short due to the compression process, but a complicated and detailed portrait image is captured. In this case, the data stream becomes relatively long even if the compression processing is performed, so that the number of packets stored in the image packet buffer 23 varies.

【００１４】また、本実施例では、音声レベルに閾値を
設け、閾値以上の音量の音声データについては一定速度
（例えば、３２Ｋｂｐｓ）の符号化方法でデータストリ
ームに作成し、閾値に満たない音量の音声データについ
てはデータストリームを作成しないようにした場合につ
いて説明する。この場合には、単位時間当たりに発生す
る音声データ量は一定とならないため、音声パケットバ
ッファ２６に格納されるパケット数が変動する。In this embodiment, a threshold is set for the audio level, and audio data having a volume higher than the threshold is created in a data stream by a coding method of a constant speed (for example, 32 Kbps). A case in which a data stream is not created for audio data will be described. In this case, since the amount of audio data generated per unit time is not constant, the number of packets stored in the audio packet buffer 26 varies.

【００１５】上記のように、システムに圧縮伸長手段や
音声レベルの閾値を設けた場合には、単位時間当たりに
生成される画像データや音声データのパケット数の変動
はそれらのデータ量が変動する場合に生ずるばかりでは
なく、圧縮率や音声レベルが変動した場合にも生ずるた
め、本例では、生成された全てのパケットの生成時刻を
監視し、これらパケットを生成時刻の古い順に混合多重
化して送信することにより、上記のようなパケット数の
変動を許容して効率よく且つ同時性を満たして多重化し
たパケット列の送信を行う。As described above, when the system is provided with the compression / expansion means and the threshold value of the audio level, the number of packets of the image data and the audio data generated per unit time fluctuates in the data amount. In this example, the generation times of all the generated packets are monitored, and these packets are mixed and multiplexed in the order of generation time. By transmitting, the multiplexed packet sequence is transmitted efficiently and satisfactorily while allowing the above-mentioned variation in the number of packets.

【００１６】主制御部１９には、制御プログラムを格納
したＲＯＭ４１と、制御プログラムを実行するマイクロ
プロセッサ（ＭＰＵ）４２と、ＭＰＵ４２の作業領域と
なるＲＡＭ４３と、各メディア毎のパケット生成時刻を
計時するタイマ４４とが備えられており、制御プログラ
ムを実行することによって、パケットバッファ２３及び
２６を用いた画像データ及び音声データのパケット化処
理、多重化バッファ２７を用いたパケット列の多重化処
理、多重化バッファ３１及びパケットバッファ３２、３
５を用いた多重化パケット列の分離処理、及び、パケッ
トの分解処理等を行う。The main control section 19 has a ROM 41 storing a control program, a microprocessor (MPU) 42 for executing the control program, a RAM 43 serving as a work area of the MPU 42, and clocking a packet generation time for each medium. A timer 44 is provided, and by executing a control program, packetization processing of image data and audio data using the packet buffers 23 and 26, multiplexing processing of a packet sequence using the multiplexing buffer 27, and multiplexing. Buffer 31 and packet buffers 32, 3
5, a separation process of the multiplexed packet sequence, a packet disassembly process, and the like.

【００１７】すなわち、主制御部１９とパケットバッフ
ァ２３及び２６とによりパケット生成手段が構成され、
主制御部１９と多重化バッファ２７とによりパケット多
重化手段が構成され、主制御部１９と多重化バッファ３
１及びパケットバッファ３２、３５とによりパケット分
離手段が構成され、更に、後述するように主制御部１９
とパケットバッファ２３、２６のパケット数ポインタ及
び各パケットに付されたタイムスタンプ（生成時刻）と
により多重化制御手段が構成される。なお、これら機能
手段はプログラム制御によるソフトウエア手段として構
成せずとも、機能毎の回路として構成することも可能で
ある。また、上記の装置構成において、画像データ処理
と音声信号処理とで、Ａ／Ｄ変換器２１と２４、符号器
２２と２５、復号器３３と３６、Ｄ／Ａ変換器３４と３
７をそれぞれ共用化することも可能であり、また、パケ
ットバッファ２３、２６、３２、３５及び多重化バッフ
ァ２７、３１を１つのメモリに領域を区切って構成する
ことも可能である。That is, the main control unit 19 and the packet buffers 23 and 26 constitute packet generating means.
The main control unit 19 and the multiplexing buffer 27 constitute a packet multiplexing unit, and the main control unit 19 and the multiplexing buffer 3
1 and the packet buffers 32 and 35 constitute a packet separating means.
The multiplexing control means is constituted by the packet number pointers of the packet buffers 23 and 26 and the time stamp (generation time) attached to each packet. Note that these functional units may be configured as circuits for each function, instead of being configured as software units under program control. Further, in the above-described apparatus configuration, A / D converters 21 and 24, encoders 22 and 25, decoders 33 and 36, and D / A converters 34 and 3 perform image data processing and audio signal processing.
7 can be shared, and the packet buffers 23, 26, 32, 35 and the multiplexing buffers 27, 31 can also be configured by dividing the area into one memory.

【００１８】次に、図２を参照して、上記したパケット
化処理を説明するとともにパケットバッファ２３及び２
６の構成を更に詳しく説明する。なお、明確化のために
画像データを例にとって説明するが、パケットバッファ
２６及び音声データのパケット化処理についても同様で
ある。同図に示すデータストリームはカメラ１１から取
り込まれた後に符号器２２で圧縮符号化された画像デー
タであり、主制御部１９が、符号器２２から出力される
画像データストリームを固定長のデータブロックに分割
し、図３に示すように各データブロックにその生成時刻
情報を有するタイムスタンプ部５０を付してパケットと
し、生成されたタイムスタンプ部５０とデータ部５１と
から成るパケットをパケットバッファ２３に格納させ
る。なお、符号器２２からデータストリームが出力され
ないときにはパケットも生成されない。Next, the packetizing process will be described with reference to FIG.
6 will be described in more detail. Note that the image data will be described as an example for clarity, but the same applies to the packet buffer 26 and the packetization processing of audio data. The data stream shown in FIG. 3 is image data compressed and encoded by the encoder 22 after being captured from the camera 11, and the main control unit 19 converts the image data stream output from the encoder 22 into a fixed-length data block. As shown in FIG. 3, each data block is provided with a time stamp unit 50 having the generation time information to form a packet, and the packet composed of the generated time stamp unit 50 and the data unit 51 is packetized into a packet buffer 23. To be stored. When no data stream is output from the encoder 22, no packet is generated.

【００１９】ここで、上記パケットの生成時刻とは、分
割されたデータブロックがパケットとしてパケットバッ
ファ２３に格納される時の時刻のことであり、パケット
に付されるタイムスタンプとしては、主制御部１９に備
えられたタイマ４４に基づいて、例えば１ｍｓ単位のタ
イマカウンタの値等がタイムスタンプとしてパケットに
付されればよい。また、上記パケット生成の際に、主制
御部１９は各データブロックにヘッダや誤り制御符号を
付してもよく、本実施例では、ヘッダにデータの種類を
示すメディア種別情報を含ませ、この種別情報に基づい
て多重化されたパケット列をメディア毎のパケットに分
離する。Here, the packet generation time is the time when the divided data block is stored as a packet in the packet buffer 23. The time stamp attached to the packet is the main control unit. Based on the timer 44 provided in the timer 19, a value of a timer counter in units of 1 ms, for example, may be added to the packet as a time stamp. In generating the packet, the main control unit 19 may attach a header or an error control code to each data block. In the present embodiment, the main control unit 19 includes media type information indicating the type of data in the header. The multiplexed packet sequence is separated into packets for each medium based on the type information.

【００２０】パケットバッファ２３は先入れ先出し方式
でパケットをタイムスタンプ順に格納し、パケットが格
納される毎にＰＵＴポインタの値が主制御部１９によっ
て１つずつ増加され、パケットが取り出される毎にＧＥ
Ｔポインタの値が主制御部１９によって１つずつ増加さ
れる。したがって、ＰＵＴポインタとＧＥＴポインタと
に記述された値の差が、パケットバッファ２３に格納さ
れているパケット数を示している。The packet buffer 23 stores the packets in a time-stamp order in a first-in first-out manner. Each time a packet is stored, the value of the PUT pointer is incremented by one by the main control unit 19, and every time a packet is taken out, the GEUT is used.
The value of the T pointer is incremented by one by the main control unit 19. Therefore, the difference between the values described in the PUT pointer and the GET pointer indicates the number of packets stored in the packet buffer 23.

【００２１】上記のパケット化処理によって、図４に示
すように、画像パケットバッファ２３には複数の画像パ
ケットが”画像パケット１”、”画像パケット２”・・
・といったように画像データストリーム中の並び（すな
わち、画像パケットの生成時刻順）に従って格納され、
音声パケットバッファ２６には複数の音声パケットが”
音声パケット１”、”音声パケット２”・・・といった
ように音声データストリーム中の並び（すなわち、音声
パケットの生成時刻順）に従って格納される。As a result of the above-described packetization processing, as shown in FIG. 4, a plurality of image packets are stored in the image packet buffer 23 as "image packet 1", "image packet 2",.
· Stored in accordance with the arrangement in the image data stream (that is, the order of generation time of the image packet),
The voice packet buffer 26 stores a plurality of voice packets.
Audio packets 1 "," audio packets 2 ",... Are stored according to the arrangement in the audio data stream (that is, in the order of generation time of the audio packets).

【００２２】次に、上記パケットバッファ２３及び２６
に格納されたパケットを混合配列して多重化バッファ２
７に格納する多重化処理方法を、図５に示すフローチャ
ートを参照して説明する。まず、主制御部１９が画像パ
ケットバッファ２３のＧＥＴポインタとＰＵＴポインタ
との値の差から当該バッファ２３に送信すべき画像パケ
ットが格納されているか否かを確認し（ステップＳ
１）、当該バッファ２３にパケットが格納されている場
合には、主制御部１９が音声パケットバッファ２６のＧ
ＥＴポインタとＰＵＴポインタとの値の差から当該バッ
ファ２６に送信すべき音声パケットが格納されているか
否かを確認する（ステップＳ２）。Next, the packet buffers 23 and 26
Multiplex buffer 2 by mixing and arranging the packets stored in
7 will be described with reference to the flowchart shown in FIG. First, the main control unit 19 checks whether or not an image packet to be transmitted is stored in the buffer 23 based on the difference between the value of the GET pointer and the value of the PUT pointer of the image packet buffer 23 (Step S).
1) When a packet is stored in the buffer 23, the main control unit 19
From the difference between the values of the ET pointer and the PUT pointer, it is confirmed whether or not a voice packet to be transmitted is stored in the buffer 26 (step S2).

【００２３】次に、上記ステップＳ２において、画像パ
ケットバッファ２３と同様に、音声パケットバッファ２
６にもパケットが格納されている場合には、主制御部１
９が画像パケットバッファ２３に格納されているパケッ
トの中で最も生成時刻の古いパケットに付されたタイム
スタンプを読み取って当該画像パケットの生成時刻を検
出し（ステップＳ３）、それと同様に、主制御部１９が
音声パケットバッファ２６に格納されているパケットの
中で最も生成時刻の古いパケットに付されたタイムスタ
ンプを読み取って当該音声パケットの生成時刻を検出す
る（ステップＳ４）。Next, in step S2, the audio packet buffer 2
6 also stores a packet, the main control unit 1
9 detects the generation time of the image packet by reading the time stamp attached to the packet with the oldest generation time among the packets stored in the image packet buffer 23 (step S3). The unit 19 detects the generation time of the audio packet by reading the time stamp attached to the packet with the oldest generation time among the packets stored in the audio packet buffer 26 (step S4).

【００２４】そして、主制御部１９が上記検出された画
像パケットの生成時刻と音声パケットの生成時刻とを比
較して（ステップＳ５）、画像パケットの生成時刻の方
が音声パケットの生成時刻よりも古い場合には当該画像
パケットを多重化バッファ２７に格納し（ステップＳ
６）、音声パケットの生成時刻の方が画像パケットの生
成時刻よりも古い場合には当該音声パケットを多重化バ
ッファ２７に格納して（ステップＳ７）、多重化処理を
ステップＳ１に戻す。ここで、画像パケットバッファ２
３及び音声パケットバッファ２６は上記のように先入れ
先出し方式でパケットを順次格納するため、これらのバ
ッファ２３及び２６から最も生成時刻の古いパケットを
取り出す場合には、先入れ先出し方式にしたがってパケ
ットが取り出されればよい。Then, the main controller 19 compares the detected generation time of the image packet with the generation time of the audio packet (step S5), and the generation time of the image packet is longer than the generation time of the audio packet. If it is older, the image packet is stored in the multiplexing buffer 27 (step S
6) If the audio packet generation time is earlier than the image packet generation time, the audio packet is stored in the multiplexing buffer 27 (step S7), and the multiplexing process returns to step S1. Here, the image packet buffer 2
3 and the voice packet buffer 26 sequentially store packets in a first-in first-out manner as described above. Therefore, when taking out the packet with the oldest generation time from these buffers 23 and 26, the packet may be taken out according to the first-in first-out scheme. .

【００２５】また、上記ステップＳ５での生成時刻比較
処理において、画像パケットの生成時刻と音声パケット
の生成時刻とが一致する場合には、例えば音声パケット
を先に多重化バッファ２７に格納してもよく、また、画
像パケットを先に多重化バッファ２７に格納してもよ
く、生成時刻が一致するパケットの多重化バッファ２７
への格納順序としては任意に設定しておけばよい。な
お、本説明に用いた図５には、画像パケットと音声パケ
ットの生成時刻が一致する場合には音声パケットを多重
化バッファ２７に格納するようにしており、情報通信に
おける音声と画像との性質の相違から、音声の即時性を
優先させている。In the generation time comparison process in step S5, when the generation time of the image packet and the generation time of the audio packet match, for example, the audio packet may be stored in the multiplexing buffer 27 first. Alternatively, the image packet may be stored in the multiplexing buffer 27 first, and the multiplexing buffer 27
The order in which the files are stored may be set arbitrarily. In FIG. 5 used in this description, when the generation times of the image packet and the audio packet coincide with each other, the audio packet is stored in the multiplexing buffer 27. Because of this difference, the immediacy of voice is prioritized.

【００２６】一方、上記ステップＳ２において、画像パ
ケットバッファ２３と異なり、音声パケットバッファ２
６にはパケットが格納されていない場合には、主制御部
１９が画像パケットバッファ２３に格納されているパケ
ットの中で最も生成時刻の古いパケットを当該バッファ
２３から取り出して多重化バッファ２７に格納し（ステ
ップＳ６）、多重化処理をステップＳ１に戻す。On the other hand, in step S2, unlike the image packet buffer 23, the audio packet buffer 2
When no packet is stored in the packet 6, the main control unit 19 takes out the packet with the oldest generation time from among the packets stored in the image packet buffer 23 and stores it in the multiplexing buffer 27. (Step S6), and returns the multiplexing process to step S1.

【００２７】また、上記ステップＳ１において、画像パ
ケットバッファ２３にパケットが格納されていない場合
には、主制御部１９が音声パケットバッファ２６のＧＥ
ＴポインタとＰＵＴポインタとの値の差から当該バッフ
ァ２６に送信すべき音声パケットが格納されているか否
かを確認し（ステップＳ８）、音声パケットバッファ２
６にパケットが格納されている場合には、主制御部１９
が音声パケットバッファ２６に格納されているパケット
の中で最も生成時刻の古いパケットを当該バッファ２６
から取り出して多重化バッファ２７に格納し（ステップ
Ｓ７）、多重化処理をステップＳ１に戻す。If no packet is stored in the image packet buffer 23 in step S 1, the main control unit 19
From the difference between the value of the T pointer and the value of the PUT pointer, it is determined whether or not a voice packet to be transmitted is stored in the buffer 26 (step S8).
6 stores a packet, the main control unit 19
Is the packet with the earliest generation time among the packets stored in the audio packet buffer 26.
And stores it in the multiplexing buffer 27 (step S7), and returns the multiplexing process to step S1.

【００２８】一方、上記ステップＳ８において、画像パ
ケットバッファ２３と同様に、音声パケットバッファ２
６にもパケットが格納されていない場合には、主制御部
１９はどちらのバッファからもパケット取り出しを行う
ことなく、多重化処理をステップＳ１に戻す。On the other hand, in step S8, similarly to the image packet buffer 23, the audio packet buffer 2
If no packet is stored in 6, the main control unit 19 returns the multiplexing process to step S <b> 1 without taking out the packet from either buffer.

【００２９】以上説明した多重化処理方法により、画像
パケットバッファ２３及び音声パケットバッファ２６に
格納された画像及び音声パケットがその生成時刻順に応
じた多重化順序にしたがって多重化バッファ２７に順次
格納される。例えば、図４に示した画像パケットバッフ
ァ２３及び音声パケットバッファ２６に格納されたパケ
ットが、”画像パケット１”、”音声パケット１”、”
画像パケット２”、”音声パケット２”・・・という順
序で生成されたパケットである場合には、多重化バッフ
ァ２７には、同図に示すように、これら各パケットの生
成時刻順にしたがって画像及び音声データのパケットが
混合配列されて順次格納される。そして、生成時刻順に
応じて混合多重化されたパケット列が通信制御手段１７
を介して通信装置１３から順次送信される。According to the multiplexing method described above, the image and audio packets stored in the image packet buffer 23 and the audio packet buffer 26 are sequentially stored in the multiplexing buffer 27 in the multiplexing order according to the order of generation time. . For example, packets stored in the image packet buffer 23 and the audio packet buffer 26 shown in FIG. 4 are “image packet 1”, “audio packet 1”, “
When the packets are generated in the order of "image packet 2", "audio packet 2",..., The multiplexing buffer 27 stores the image and the packet in the order of generation time of each packet as shown in FIG. The packets of the audio data are mixed and arranged and stored sequentially, and a packet sequence mixed and multiplexed according to the generation time order is stored in the communication control unit 17.
Are sequentially transmitted from the communication device 13 via the communication device 13.

【００３０】したがって、画像データの圧縮率や音声の
レベルが変動する等して各メディアの単位時間当たりに
生成されるパケット数が変動した場合にあっても、送信
するために多重化バッファ２７から順次取り出されたパ
ケット列には各メディアのパケットがその生成時刻順に
応じて配列され、受信側装置での各メディアデータの同
時性が確保される。Therefore, even if the number of packets generated per unit time of each medium fluctuates due to fluctuations in the compression rate of image data and the level of audio, the multiplexing buffer 27 transmits the data. The packets of each media are arranged in the sequentially extracted packet sequence in the order of their generation time, and the synchronization of each media data in the receiving side device is ensured.

【００３１】次に、上記のようにして多重化されたパケ
ット列の受信処理について説明する。通信装置１３から
多重化パケット列を受信すると、このパケット列は通信
制御部１７を介して受信部１８の多重化バッファ３１に
順次格納される。そして、主制御部１９が各パケットを
メディア種別情報に基づいてメディア毎に識別分離し、
画像パケットは元の生成時刻順に画像パケットバッファ
３２に順次格納するとともに、音声パケットは元の生成
時刻順に音声パケットバッファ３５に順次格納する。Next, the reception processing of the packet sequence multiplexed as described above will be described. When a multiplexed packet sequence is received from the communication device 13, the packet sequence is sequentially stored in the multiplexing buffer 31 of the receiving unit 18 via the communication control unit 17. Then, the main control unit 19 identifies and separates each packet for each medium based on the media type information,
The image packets are sequentially stored in the image packet buffer 32 in the order of the original generation time, and the audio packets are sequentially stored in the audio packet buffer 35 in the order of the original generation time.

【００３２】画像パケットバッファ３２に格納された各
画像パケットは復号器３３によって分解され、それぞれ
のデータ部分が伸長処理されて画像データストリームに
再生される。そして、画像データストリームはＤ／Ａ変
換器３４によってアナログ化された後、表示装置１４へ
出力されて原画像が再生表示される。また、音声パケッ
トバッファ３５に格納された各音声パケットは復号器３
６によって分解され、それぞれのデータ部分が伸長処理
されて音声データストリームに再生される。そして、音
声データストリームはＤ／Ａ変換器３７によってアナロ
グ化された後、スピーカ１５へ出力されて原音声が再生
出力される。このように、各メディアのパケットが高密
度且つ生成時刻順に応じて配列されたパケット列により
データ伝送がなされるため、効率の高いマルチメディア
伝送が実現されるとともに画像と音声との極めて高い即
時性及び同時性が実現される。Each of the image packets stored in the image packet buffer 32 is decomposed by the decoder 33, and the respective data portions are decompressed and reproduced into an image data stream. Then, the image data stream is converted into an analog signal by the D / A converter 34, and then output to the display device 14, where the original image is reproduced and displayed. Each audio packet stored in the audio packet buffer 35 is transmitted to the decoder 3.
6, the respective data portions are decompressed and reproduced into an audio data stream. Then, the audio data stream is converted into an analog signal by the D / A converter 37, and then output to the speaker 15 to reproduce and output the original audio. As described above, since data transmission is performed by the packet sequence in which the packets of each medium are arranged in high density and in the order of generation time, highly efficient multimedia transmission is realized and the extremely high immediacy of the image and the sound is realized. And concurrency is achieved.

【００３３】ここで、上記実施例では、カメラやマイク
ロホンで入力したデータをパケット通信する例を示した
が、記憶装置に予め記憶されたメディアデータをパケッ
ト通信するようにしてもよく、また、本発明の多重化処
理は予めパケット化されたマルチメディアデータに対し
ても適用することができる。また、上記実施例では、各
パケットにメディア種別情報を付加したが、例えば、パ
ケット列内でのメディア毎の配列を送信側と受信側とに
予め設定する或いはパケット列の送信に際して送信側か
ら受信側へ通知するようにすれば、メディア種別は省略
することができる。Here, in the above embodiment, an example in which data input by a camera or a microphone is packet-communicated has been described. However, media data stored in a storage device in advance may be packet-communicated. The multiplexing process of the present invention can also be applied to multimedia data that has been packetized in advance. Also, in the above embodiment, the media type information is added to each packet. For example, the arrangement of each medium in the packet sequence is set in advance on the transmission side and the reception side, or the reception from the transmission side is performed when transmitting the packet sequence. If the notification is sent to the side, the media type can be omitted.

【００３４】また、上記実施例では、各パケット生成時
にその生成時刻情報を有するタイムスタンプを付加して
おき、多重化処理を行う際に主制御部１９により各パケ
ットのタイムスタンプに基づいてその生成時刻を検出し
たが、主制御部１９が各メディアの生成されたパケット
を例えばその識別子により識別するとともに、これらパ
ケットの生成時刻を管理し、これらパケットを生成時刻
の古い順に送信されるようにしてもよく、要は、どのよ
うな手段が用いられる場合であっても、複数種類のメデ
ィアデータのパケットをその生成時刻順に応じて混合多
重化することができるような手段であればよい。In the above embodiment, a time stamp having the generation time information is added when each packet is generated, and the main control unit 19 generates the time stamp based on the time stamp of each packet when performing the multiplexing process. Although the time is detected, the main control unit 19 identifies the generated packet of each medium by, for example, its identifier, manages the generation time of these packets, and transmits these packets in order of generation time. In short, whatever the means used, any means may be used as long as it can mix and multiplex packets of a plurality of types of media data in the order of generation time.

【００３５】また、上記実施例では、送信側装置と受信
側装置とを通信装置１０として一体化した例を示した
が、送信側装置と受信側装置とをそれぞれ別体の単一機
能装置として構成することも可能である。Further, in the above embodiment, the example in which the transmitting device and the receiving device are integrated as the communication device 10 has been described. However, the transmitting device and the receiving device are each configured as a separate single function device. It is also possible to configure.

【００３６】[0036]

【発明の効果】以上説明したように、本発明によると、
複数種類のメディアデータが効率よく多重化されたパケ
ット列に構成され、当該パケット列によって効率のよい
マルチメディア伝送が実現される。また、各メディアの
パケットがその生成時刻順に応じて混合多重化されるた
め、マルチメディア通信における各メディアデータの即
時性及び同時性が向上する。このようにメディアデータ
の多重化効率が向上して伝送効率が向上することから、
中継伝送の速度が低速で且つ固定的（例えば、ＰＨＳで
は３２Ｋｂｐｓ）な通信手段を用いてマルチメディア通
信を行うことができ、簡易テレビ電話システム、ビデオ
フォンシステム、遠隔指示システム、工事立ち会いシス
テム、遠隔監視システム等といった広い分野への適用が
可能である。As described above, according to the present invention,
Plural types of media data are efficiently multiplexed into a packet sequence, and the packet sequence realizes efficient multimedia transmission. Also, since the packets of each media are mixed and multiplexed according to the order of their generation time, the immediacy and synchronization of each media data in multimedia communication are improved. As described above, since the multiplexing efficiency of the media data is improved and the transmission efficiency is improved,
Multimedia communication can be performed using a communication means having a low and constant (for example, 32 Kbps in PHS) relay transmission speed, and can be used as a simple videophone system, videophone system, remote instruction system, construction attendance system, remote It can be applied to a wide range of fields such as monitoring systems.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施例に係るマルチメディア多重化
通信装置の構成図である。FIG. 1 is a configuration diagram of a multimedia multiplex communication device according to an embodiment of the present invention.

【図２】データストリームのパケット化を説明する概念
図である。FIG. 2 is a conceptual diagram illustrating packetization of a data stream.

【図３】パケットの構成を説明する概念図である。FIG. 3 is a conceptual diagram illustrating a configuration of a packet.

【図４】パケットの多重化を説明する概念図である。FIG. 4 is a conceptual diagram illustrating multiplexing of packets.

【図５】パケット多重化処理手順を示すフローチャート
である。FIG. 5 is a flowchart illustrating a packet multiplexing processing procedure.

【符号の説明】[Explanation of symbols]

１１・・・カメラ、 １２・・・マイクホン、 １３・
・・通信装置、１４・・・表示装置、 １５・・・スピ
ーカ、 １６・・・送信部、１８・・・受信部、 １９
・・・主制御部、 ２２、２５・・・符号器、２３、２
６・・・送信側パケットバッファ、２７・・・送信側多
重化バッファ、 ３１・・・受信側多重化バッファ、３
２、３５・・・受信側パケットバッファ、 ３３、３６
・・・復号器、４２・・・ＭＰＵ、 ４３・・・ＲＡＭ
（タイマ）、11 ・ ・ ・ Camera, 12 ・ ・ ・ Microphone, 13 ・
..Communication device, 14 display device, 15 speaker, 16 transmission unit, 18 reception unit, 19
... Main controller, 22, 25 ... Encoders, 23, 2
6: transmission side packet buffer, 27: transmission side multiplexing buffer, 31: reception side multiplexing buffer, 3
2, 35 ... receiving side packet buffer, 33, 36
... Decoder, 42 ... MPU, 43 ... RAM
(Timer),

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 送信側装置によりパケット化された複数
種類のメディアデータを混合多重化して送信し、受信側
装置によりパケット列を受信して各メディアデータを再
生するマルチメディア多重化通信システムにおいて、 送信側装置は、各メディアデータをパケット化するパケ
ット生成手段と、生成されたパケットに対してその生成
時刻順に応じて多重化順序を決定する多重化制御手段
と、決定された多重化順序に基づいて各メディアデータ
のパケットを混合配列させるパケット多重化手段と、混
合配列により生成されたパケット列を送信する送信手段
と、を備え、 受信側装置は、パケット列を受信する受信手段と、受信
したパケット列を各メディアデータ毎のパケットに分離
するパケット分離手段と、分離された各メディアデータ
毎のパケットからメディアデータを再生するデータ再生
手段と、 を備えたことを特徴とするマルチメディア多重化通信シ
ステム。1. A multimedia multiplexing communication system in which a plurality of types of media data packetized by a transmitting device are mixed and multiplexed and transmitted, and a receiving device receives a packet sequence and reproduces each media data. The transmitting apparatus includes: a packet generating unit that packetizes each media data; a multiplexing control unit that determines a multiplexing order according to a generation time order of the generated packets; and a multiplexing control unit based on the determined multiplexing order. Packet multiplexing means for mixing and arranging the packets of each media data, and transmitting means for transmitting a packet sequence generated by the mixed arrangement, wherein the receiving device receives the packet sequence, Packet separating means for separating a packet sequence into packets for each media data, and a packet for each separated media data; Multimedia multiplex communication system comprising: the data reproduction means for reproducing the media data from the bets, the.