JP3045108B2 - Videophone equipment - Google Patents
Videophone equipmentInfo
- Publication number
- JP3045108B2 JP3045108B2 JP17391597A JP17391597A JP3045108B2 JP 3045108 B2 JP3045108 B2 JP 3045108B2 JP 17391597 A JP17391597 A JP 17391597A JP 17391597 A JP17391597 A JP 17391597A JP 3045108 B2 JP3045108 B2 JP 3045108B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data packet
- image
- packet
- retransmission request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 48
- 230000005540 biological transmission Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001890 transfection Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Telephonic Communication Services (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明はテレビ電話装置に係
り、特にディジタル動画像を前後のフレームとの相関関
係を使用して圧縮するテレビ電話装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video telephone apparatus, and more particularly to a video telephone apparatus for compressing a digital moving image by using a correlation between preceding and following frames.
【０００２】[0002]
【従来の技術】図９は従来のテレビ電話装置の一例のブ
ロック図を示す。この従来のテレビ電話装置は、特開平
８−１９５９４７号公報に記載されているテレビ電話装
置で、カメラ部１０１と、ビデオ回路部１０２と、ビデ
オ処理部１０３と、ビデオ表示部１０４と、ＮＣＵ部１
０５と、音声処理部１０６と、ＣＰＵ部１０７と、モデ
ム部１０８と、キー・ＬＥＤ１０９と、リモコン１１０
等とから構成される。2. Description of the Related Art FIG. 9 is a block diagram showing an example of a conventional video telephone. This conventional videophone device is a videophone device described in Japanese Patent Application Laid-Open No. 8-195947, which includes a camera unit 101, a video circuit unit 102, a video processing unit 103, a video display unit 104, and an NCU unit. 1
05, audio processing unit 106, CPU unit 107, modem unit 108, key / LED 109, remote controller 110
And so on.
【０００３】カメラ部１０１は、この従来のテレビ電話
装置における利用者の映像を取り込み、映像信号として
ビデオ回路部１０２へ供給する。ビデオ回路部１０２
は、カメラ部１０１から供給される映像信号と、外部入
力端子ＩＮから供給される映像信号とを、リモコン１１
０からの指示に基づいて切り替え、いずれか一方の映像
信号から同期信号、輝度信号及び色信号を分難し、ビデ
オ処理部１０３へ供給する。また、ビデオ回路部１０２
は、ビデオ処理部１０３から供給される映像信号（アナ
ログ信号）を画像出力端子ＯＵＴへ送出する。[0003] A camera unit 101 captures a user's image in this conventional videophone device and supplies it to a video circuit unit 102 as a video signal. Video circuit section 102
Converts the video signal supplied from the camera unit 101 and the video signal supplied from the external input terminal IN with the remote controller 11
Switching is performed based on the instruction from 0, the synchronization signal, the luminance signal, and the chrominance signal are separated from one of the video signals and supplied to the video processing unit 103. The video circuit unit 102
Sends the video signal (analog signal) supplied from the video processing unit 103 to the image output terminal OUT.
【０００４】ビデオ処理部１０３は、ビデオ回路部１０
２からの同期信号、輝度信号及び色信号を各々ディジタ
ル信号（以下、画像データという）に変換する一方、ビ
デオ表示部１０４からの画像データをアナログ映像信号
に変換してビデオ回路部１０２に供給する。また、ビデ
オ処理部１０３は、ＣＰＵ部１０７の指示に基づき、ビ
デオ回路部１０２から供給された画像データを格納する
と共に、例えばＪＰＥＧ（Joint Photographic coding
Experts Group）アルゴリズムなどで上記の画像データ
を圧縮符号化して得た圧縮画像データ、更に、この圧縮
画像データを復号、伸長した伸長画像データをそれぞれ
格納するメモリを有する。[0004] The video processing unit 103 includes a video circuit unit 10.
2 is converted into a digital signal (hereinafter, referred to as image data), while the image data from the video display unit 104 is converted into an analog video signal and supplied to the video circuit unit 102. . The video processing unit 103 stores the image data supplied from the video circuit unit 102 based on an instruction from the CPU unit 107 and, for example, JPEG (Joint Photographic coding).
It has a memory for storing compressed image data obtained by compression-encoding the above-mentioned image data by an Experts Group algorithm or the like, and a memory for storing expanded image data obtained by decoding and expanding the compressed image data.
【０００５】ビデオ表示部１０４は、画像データをＣＰ
Ｕ部１０７からの命令に基づいて、ビデオ処理部１０３
内のメモリから読み出した画像データや伸長画像データ
を受け、表示しように応じて補間、間引き処理などを行
うと共に、ＣＰＵ部１０７からの命令に応じたキャラク
タを合成した表示画像データをビデオ処理部１０３へ出
力する。[0005] The video display unit 104 converts the image data into a CP.
On the basis of the instruction from the U unit 107, the video processing unit 103
The video processing unit 103 receives the image data and the decompressed image data read from the memory in the video processing unit 103, performs interpolation, thinning-out processing, and the like according to the display, and synthesizes a character according to a command from the CPU unit 107. Output to
【０００６】ＮＣＵ部１０５は、電話機からの音声入力
信号、外部音声入力、及びマイク入力信号を合成し、音
声処理部１０６へ供給する。また、ＮＣＵ部１０５は、
音声処理部１０６から供給される出力音声信号を電話機
及び音声出力端子へ送出する。[0006] The NCU unit 105 synthesizes a voice input signal from a telephone, an external voice input, and a microphone input signal, and supplies the synthesized signal to the voice processing unit 106. Also, the NCU unit 105
The output audio signal supplied from the audio processing unit 106 is sent to the telephone and the audio output terminal.
【０００７】音声処理部１０６は、ＮＣＵ部１０５から
の音声信号（アナログ信号）をディジタル変換する。ま
た逆に復号化、伸長処理が行われたディジタル音声デー
タをアナログ音声データに変換してＮＣＵ部１０５へ供
給する。音声処理部１０６は、ディジタル音声データ
を、例えばＣＥＬＰ（Code-Excited Linear Predictio
n）アルゴリズムなどで圧縮または伸長する。[0007] The audio processing unit 106 converts the audio signal (analog signal) from the NCU 105 into a digital signal. Conversely, the digital audio data that has been decoded and decompressed is converted into analog audio data and supplied to the NCU 105. The audio processing unit 106 converts the digital audio data into, for example, CELP (Code-Excited Linear Predictio).
n) Compress or decompress by algorithm or the like.
【０００８】ＣＰＵ部１０７は、この従来のテレビ電話
装置の各部の制御を行う。ＣＰＵ部１０７は、カメラ部
１０１又は外部入力端子ＩＮから供給される映像信号が
ディジタル化、圧縮・符号化されてビデオ処理部１０３
内のメモリに格納されている圧縮画像データと、電話機
または外部音声入力、マイク入力からの音声信号がディ
ジタル化、圧縮・符号化されて音声処理部１０６内のメ
モリに格納されている圧縮音声データとを多重化して、
モデム部１０８に供給する。また、ＣＰＵ部１０７は、
相手先のテレビ電話装置から多重化して送信されてくる
画像・音声データがモデム部１０８で復調された後、画
像・音声データを分離処理し、それぞれビデオ処理部１
０３と音声処理部１０６に送る。[0008] A CPU unit 107 controls each unit of the conventional video telephone apparatus. The CPU unit 107 converts the video signal supplied from the camera unit 101 or the external input terminal IN into a digital signal,
Compressed image data stored in a memory in the voice processing unit 106 and compressed image data stored in a memory in the voice processing unit 106, and voice signals from a telephone, an external voice input, and a microphone input are digitized, compressed, and encoded. Is multiplexed with
It is supplied to the modem unit 108. Also, the CPU unit 107
After the video / audio data multiplexed and transmitted from the other party's videophone device is demodulated by the modem unit 108, the video / audio data is separated and processed by the video processing unit 1.
03 and the voice processing unit 106.
【０００９】モデム部１０８は、ＣＰＵ部１０７によっ
て多重化された画像・音声圧縮データを、通信回線で伝
送可能な伝送信号（アナログ信号）に変換して送信する
変調器（モジュレータ）としての機能と、逆に、通信回
線を介して送られてきた伝送信号（アナログ信号）を、
再びＣＰＵ部１０７で解読可能なディジタル信号に戻す
復調器（デモジュレータ）としての機能を備えており、
ＮＣＵ部１０５によって利用する通信回線として一般加
入者回線での使用が可能となっている。The modem unit 108 functions as a modulator that converts the compressed image / audio data multiplexed by the CPU unit 107 into a transmission signal (analog signal) that can be transmitted through a communication line and transmits the signal. Conversely, the transmission signal (analog signal) sent via the communication line is
It has a function as a demodulator (demodulator) for returning to a digital signal readable by the CPU unit 107 again.
The communication line used by the NCU unit 105 can be used on a general subscriber line.
【００１０】次に、この従来のテレビ電話装置の送信側
の動作を、図１０のフローチャートと共に説明する。ま
ず、これから送信する１画面分の画像データの総バイト
数を受信側に送信するとともに、送信するパケット番号
を示す変数ｘを「０」にする（ステップＳ１０）。次
に、再送要求ＲＥＱを受信したか否かを判断する（ステ
ップＳ１１）。この再送要求ＲＥＱは、転送エラー（Ｃ
ＲＣエラー）の発生頻度が所定値（例えば、１０秒に１
回）より多くなった場合にのみ、転送エラーが生じた際
に、受信側のテレビ電話装置から送信側のテレビ電話装
置に対して送信されるものである。そして、再送要求Ｒ
ＥＱを受信していない場合には、ステップＳ１２へ進
み、変数ｘで示される画像データパケット（ｘ）を送信
する。Next, the operation of the transmitting side of the conventional video telephone will be described with reference to the flowchart of FIG. First, the total number of bytes of image data for one screen to be transmitted is transmitted to the receiving side, and a variable x indicating a packet number to be transmitted is set to "0" (step S10). Next, it is determined whether a retransmission request REQ has been received (step S11). This retransmission request REQ indicates a transfer error (C
The occurrence frequency of the RC error is a predetermined value (for example, 1 every 10 seconds).
Only when the number of times is greater than the number of times, a transmission error is transmitted from the receiving-side videophone to the transmitting-side videophone. Then, the retransmission request R
If the EQ has not been received, the process proceeds to step S12, and the image data packet (x) indicated by the variable x is transmitted.
【００１１】一方、再送要求ＲＥＱを受信した場合に
は、ステップＳ１１からステップＳ１３に進み、再送要
求ＲＥＱに対応する画像データパケットを再度送信す
る。On the other hand, when the retransmission request REQ is received, the process proceeds from step S11 to step S13, where the image data packet corresponding to the retransmission request REQ is transmitted again.
【００１２】次に、上記ステップＳ１２またはステップ
Ｓ１３の処理が終了すると、ステップＳ１４へ進み、全
パケットの送信が完了したか否かを判断する。そして、
まだ、全パケットの送信が終了していない場合には、変
数ｘを「１」だけインクリメントした後（ステップＳ１
５）、ステップＳ１１へ戻る。以下、ステップＳ１１〜
ステップＳ１５の処理を繰り返し実行し、１画面分の画
像パケットデータを送信する。Next, when the processing in step S12 or S13 is completed, the flow advances to step S14 to determine whether or not transmission of all packets has been completed. And
If the transmission of all packets has not been completed yet, the variable x is incremented by “1” (step S1).
5) Return to step S11. Hereinafter, steps S11 to S11
The process of step S15 is repeatedly executed, and image packet data for one screen is transmitted.
【００１３】上述した画像データパケット送信処理にお
いて、全パケットの送信が終了すると、ステップＳ１４
からステップＳ１６へ進み、受信側のテレビ電話装置か
らの全パケット完了通知ＥＮＤを受信したか否かを判断
する。この全パケット完了通知ＥＮＤは、再送要求ＲＥ
Ｑと同様に、転送エラー（ＣＲＣエラー）の発生頻度が
所定値（例えば、１０秒に１回）より多くなった場合に
のみ、全パケットの受信が完了した時点で、受信側のテ
レビ電話装置から送信側のテレビ電話装置に対して送信
されるものである。In the above-described image data packet transmission process, when transmission of all packets is completed, step S14 is performed.
Then, the process proceeds to step S16, and it is determined whether or not the all-packet completion notification END from the receiving-side videophone device has been received. This all-packet completion notification END indicates the retransmission request RE.
Similarly to Q, only when the frequency of occurrence of transfer errors (CRC errors) exceeds a predetermined value (for example, once every 10 seconds), when the reception of all packets is completed, Is transmitted from to the transmitting-side videophone device.
【００１４】ステップＳ１６において、全パケット完了
通知ＥＮＤを受信していない場合には、再送要求ＲＥＱ
を受信したか否かを判断する（ステップＳ１７）。ここ
で、再送要求ＲＥＱの受信の有無を判断するのは、全パ
ケット完了通知ＥＮＤを受信する前に、次の画像データ
を送信してしまうと、その前の画像データに対する再送
要求ＲＥＱが生じた際に、受信側のテレビ電話装置が該
当画像データパケットを受信する前に次の画像データパ
ケットを受信する可能性があるためである。In step S16, if the all-packet completion notification END has not been received, the retransmission request REQ
Is determined (step S17). Here, it is determined whether or not the retransmission request REQ has been received. If the next image data is transmitted before receiving the all-packet completion notification END, the retransmission request REQ for the previous image data is generated. This is because, at this time, there is a possibility that the receiving videophone device receives the next image data packet before receiving the image data packet.
【００１５】そして、再送要求ＲＥＱを受信した場合に
は、ステップＳ１７からステップＳ１８に進み、再送要
求ＲＥＱに対応する画像データパケットを受信側のテレ
ビ電話装置に再度送信した後、ステップＳ１６へ戻る。
一方、再送要求ＲＥＱを受信していない場合には、ステ
ップＳ１７から何もせずにステップＳ１６へ戻る。以
下、全パケット完了通知ＥＮＤを受信するまで、ステッ
プＳ１６、Ｓ１７、もしくはステップＳ１６、Ｓ１７、
Ｓ１８を繰り返し実行する。If the retransmission request REQ has been received, the process proceeds from step S17 to step S18, where the image data packet corresponding to the retransmission request REQ is transmitted again to the videophone device on the receiving side, and then the process returns to step S16.
On the other hand, if the retransmission request REQ has not been received, the process returns from step S17 to step S16 without doing anything. Hereinafter, steps S16 and S17, or steps S16 and S17, until all packet completion notification END is received.
S18 is repeatedly executed.
【００１６】受信側のテレビ電話装置からの全パケット
完了通知ＥＮＤを受信すると、ステップＳ１６から最初
のステップＳ１０へ戻る。この時点で、１画面分の画像
データの送信が完了したことになる。以下、ステップＳ
１０からＳ１８を繰り返し実行して、次の画像データを
パケット単位で送信する。Upon receiving the all-packet completion notification END from the video telephone on the receiving side, the process returns from step S16 to the first step S10. At this point, transmission of image data for one screen is completed. Hereinafter, step S
Steps S18 to S18 are repeatedly executed to transmit the next image data in packet units.
【００１７】次に、従来のテレビ電話装置の受信側の動
作を、図１１のフローチャートと共に説明する。受信側
のテレビ電話装置は、まず、送信側のテレビ電話装置か
ら送信された総バイト数を受信するとともに、変数ｘを
「０」とする（ステップＳ２０）。次に、変数ｘで示さ
れる画像データパケット（ｘ）を受信し（ステップＳ２
１）、その受信画像データパケット（ｘ）が正常に受信
されたか否かを判別するために、ＣＲＣエラーが発生し
たか否かを判断する（ステップＳ２２）。Next, the operation of the receiving side of the conventional videophone device will be described with reference to the flowchart of FIG. The receiving-side videophone device first receives the total number of bytes transmitted from the transmitting-side videophone device, and sets the variable x to “0” (step S20). Next, the image data packet (x) indicated by the variable x is received (step S2).
1) In order to determine whether or not the received image data packet (x) has been normally received, it is determined whether or not a CRC error has occurred (step S22).
【００１８】そして、ＣＲＣエラーが発生した場合に
は、ＣＲＣエラーが発生した該当画像データパケット
（ｘ）を再度送信するよう再送要求ＲＥＱを送信側のテ
レビ電話装置に送信する（ステップＳ２３）。なお、こ
の再送要求ＲＥＱは、前述したように、転送エラー（Ｃ
ＲＣ）の発生頻度が所定値（例えば、１０秒に１回）よ
り多くなった場合にのみ送信される。If a CRC error has occurred, a retransmission request REQ is transmitted to the transmitting-side videophone device so as to retransmit the image data packet (x) in which the CRC error has occurred (step S23). Note that this retransmission request REQ is, as described above, a transfer error (C
It is transmitted only when the frequency of occurrence of (RC) exceeds a predetermined value (for example, once every 10 seconds).
【００１９】上記ステップＳ２３の処理が終了すると、
ステップＳ２４へ進む。一方、ＣＲＣエラーが発生しな
ければ、何もせずに、そのままステップＳ２４へ進む。
ステップＳ２４では、全パケットの受信が完了したか否
かを判断する。全パケットの受信が完了していなけれ
ば、変数ｘを「１」だけインクリメントした後（ステッ
プＳ２５）、ステップＳ２１へ戻り、次の画像データパ
ケットを受信する。以下、全パケットの受信が完了する
まで、ステップＳ２１〜ステップＳ２５の処理を繰り返
し実行し、１画面分の画像データパケットを受信する。When the processing in step S23 is completed,
Proceed to step S24. On the other hand, if no CRC error occurs, the process directly proceeds to step S24 without doing anything.
In step S24, it is determined whether or not reception of all packets has been completed. If the reception of all the packets has not been completed, the variable x is incremented by "1" (step S25), and the process returns to step S21 to receive the next image data packet. Thereafter, the processes of steps S21 to S25 are repeatedly executed until the reception of all the packets is completed, and the image data packet for one screen is received.
【００２０】上述した画像データパケットの受信処理に
おいて、全パケットの受信が終了すると、全パケットを
受信したことを示す全パケット完了通知ＥＮＤを送信側
のテレビ電話装置に送信した後（ステップＳ２６）、最
初のステップＳ２０へ戻る。この時点で、１画面分の画
像データの受信が完了したことになる。以下、ステップ
Ｓ２０〜ステップＳ２６の処理を繰り返し実行して、次
の画像データをパケット単位で受信する。In the above-described image data packet receiving process, when the reception of all the packets is completed, an all-packet completion notification END indicating that all the packets have been received is transmitted to the transmitting-side videophone device (step S26). It returns to the first step S20. At this point, the reception of the image data for one screen has been completed. Hereinafter, the processing of steps S20 to S26 is repeatedly executed to receive the next image data in packet units.
【００２１】[0021]
【発明が解決しようとする課題】しかるに、上記の従来
のテレビ電話装置では、例えばＭＰＥＧ方式のような前
後のフレームとの相関関係を使用することによって、画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合、１フレームのすべてのパケットが正し
く受信できた場合でも、そのフレームが全く伸長できな
くなり転送した実効データ量が減少するか、あるいは伸
長した画像データにノイズが入る可能性が高いという問
題点がある。However, in the above-mentioned conventional video telephone apparatus, image data is efficiently compressed by using the correlation between the preceding and succeeding frames such as the MPEG system. When image data is transmitted, even if all packets of one frame can be received correctly, the frame cannot be decompressed at all, and the effective data amount transferred may be reduced, or noise may be included in the decompressed image data. There is a problem that it is expensive.
【００２２】その理由は、前後のフレームの伸長に必要
なキーフレーム（ＭＰＥＧ方式ではＩまたはＰピクチ
ャ）が欠落した場合、伸長に前後のフレームの情報が必
要なフレーム（ＭＰＥＧ方式ではＰまたはＢピクチャ）
のパケットをすべて受信できた場合でも、当該フレーム
の伸長が不可能になるか、仮に伸長を行ったとしても伸
長した画像データにはエラーが含まれるためである。The reason is that if a key frame (I or P picture in the MPEG system) required for decompression of the preceding and following frames is lost, a frame (P or B picture in the MPEG system) requiring information of the preceding and following frames is required. )
This is because, even if all of the packets have been received, it is impossible to expand the frame, or even if the frame is expanded, the expanded image data contains an error.
【００２３】本発明は上記の点に鑑みなされたもので、
前後のフレームとの相関関係を使用することによって画
像データを効率良く圧縮する方式で圧縮した画像データ
を送信した場合でも、転送した実効データ量を低下させ
ず、画像をエラー無く伸長するテレビ電話装置を提供す
ることを目的とする。The present invention has been made in view of the above points,
A videophone device that expands an image without error without reducing the amount of transferred effective data even when transmitting compressed image data by a method that efficiently compresses image data by using the correlation with the preceding and following frames. The purpose is to provide.
【００２４】[0024]
【課題を解決するための手段】上記の目的を達成するた
め、請求項１の発明は画像信号を前後のフレームとの相
関関係を使用することによって効率的に圧縮した画像デ
ータを、音声信号を圧縮符号化した音声データと共にパ
ケット化して生成して送信する送信側電話装置と、受信
した画像データパケットを伸長して元の画像信号を復元
すると共に、受信した音声データパケットを伸長して元
の音声信号に復元する受信側電話装置とからなるテレビ
電話装置において、送信側電話装置は、再送要求の有無
を判定し、再送要求がある時は指定されたキーフレーム
の画像データパケットを再送するキーフレーム再送手段
と、前後のフレームの伸長に必要なキーフレームの画像
データパケットの再送率を判定し、画像データパケット
の再送率が予め設定した値よりも高いときには、キーフ
レームの間隔を現在の値よりも長くするキーフレーム間
隔調整手段とを備え、受信側電話装置は、受信画像デー
タパケットにエラーが発生したか否か判定するエラー判
定手段と、エラー判定手段によりエラー発生と判定され
た受信画像データパケットがキーフレームの画像データ
パケットであるときに、そのキーフレームの画像データ
パケットを指定した再送要求を送信側電話装置へ送信す
る再送要求手段とを備えた構成としたものである。In order to achieve the above object, according to the present invention, an image signal obtained by efficiently compressing an image signal by using a correlation between the preceding and succeeding frames is converted into an audio signal. A transmitting-side telephone device that packetizes and generates the compressed audio data together with the audio data, transmits the generated image data packet, restores the original image signal, and expands the received audio data packet to restore the original image signal. In a video telephone device comprising a receiving telephone device for restoring an audio signal, a transmitting telephone device determines whether or not there is a retransmission request, and when there is a retransmission request, retransmits an image data packet of a designated key frame. Frame retransmission means
And key frame images required to expand the previous and next frames
The retransmission rate of the data packet is determined, and the
If the retransmission rate is higher than the preset value,
Between keyframes that make the frame interval longer than the current value
The reception-side telephone device includes: an error determination unit that determines whether an error has occurred in the received image data packet; and the reception image data packet determined to have an error by the error determination unit includes a key frame. When it is an image data packet, retransmission request means for transmitting a retransmission request designating the image data packet of the key frame to the transmitting telephone device is provided.
【００２５】 この発明では、受信側電話装置において
エラー発生と判定された受信画像データパケットがキー
フレームの画像データパケットであるときに、そのキー
フレームの画像データパケットを指定した再送要求を
し、送信側電話装置から当該キーフレームの画像データ
パケットを再送するようにしているため、前後のフレー
ムの伸長に必要なキーフレームの欠落を防止することが
でき、また、再送率が大きくなりキーフレームの画像デ
ータパケットが増加すると、データ転送量が大きくなり
過ぎる可能性があるが、キーフレームの間隔を長くする
ようにしているので、データ転送量の増加を低減でき
る。 According to the present invention, when a received image data packet determined to have an error in the receiving telephone device is a key frame image data packet, a retransmission request specifying the key frame image data packet is made and transmitted. Since the side telephone device retransmits the image data packet of the key frame, it is possible to prevent the loss of the key frame necessary for decompression of the preceding and succeeding frames, and to increase the retransmission rate and increase the image of the key frame. De
As the number of data packets increases, the data transfer volume increases.
May be too long, but increase keyframe interval
So that the increase in data transfer volume can be reduced.
You.
【００２６】[0026]
【００２７】[0027]
【００２８】[0028]
【００２９】[0029]
【発明の実施の形態】次に、本発明の実施の形態の動作
について説明する。図１は本発明の第１の実施の形態の
送信側及び受信側の電話装置のブロック図を示す。本発
明の第１の実施の形態は画像信号を前後のフレームとの
相関関係を使用することによって効率的に圧縮した画像
データを、音声信号を圧縮符号化した音声データと共に
パケット化して生成して送信する送信側電話装置と、受
信した画像データパケットを伸長して元の画像信号を復
元すると共に、受信した音声データパケットを伸長して
元の音声信号に復元する受信側電話装置とからなるテレ
ビ電話装置において、送信側電話装置及び受信側電話装
置のそれぞれを図１のブロック図に示す如き構成とした
ものである。Next, the operation of the embodiment of the present invention will be described. FIG. 1 shows a block diagram of a telephone device on a transmitting side and a receiving side according to a first embodiment of the present invention. In the first embodiment of the present invention, image data obtained by efficiently compressing an image signal by using the correlation with the preceding and succeeding frames is generated by packetizing the audio signal together with the audio data obtained by compressing and encoding the audio signal. A television comprising a transmitting telephone device for transmitting and a receiving telephone device for expanding a received image data packet to restore an original image signal and expanding a received audio data packet to restore an original audio signal. In the telephone device, each of the transmitting-side telephone device and the receiving-side telephone device has a configuration as shown in the block diagram of FIG.
【００３０】図１の第１の実施の形態の電話装置は、キ
ーボード等の入力装置１と、プログラム動作により動作
するデータ処理装置２と、画像や音声等の情報を記憶す
る記憶装置３と、ビデオカメラ等の画像を入力する画像
入力装置４と、マイク等の音声を入力する音声入力装置
５と、ディスプレイ等の画像出力装置６と、スピーカ等
の音声出力装置７と、モデム等の通信装置８とを含む。The telephone apparatus according to the first embodiment shown in FIG. 1 includes an input device 1 such as a keyboard, a data processing device 2 operated by a program operation, and a storage device 3 for storing information such as images and sounds. An image input device 4 for inputting an image such as a video camera, an audio input device 5 for inputting audio such as a microphone, an image output device 6 such as a display, an audio output device 7 such as a speaker, and a communication device such as a modem. 8 is included.
【００３１】データ処理装置２は、画像処理手段２０
と、音声処理手段２１と、キーフレーム再送手段２２
と、キーフレーム間隔調整手段２３と、通信処理手段２
４とを備えている。画像処理手段２０は、送信側では、
画像入力装置４からの画像データを前後のフレームとの
相関関係を使用して圧縮し、通信処理手段２４を通して
圧縮した画像データを通信装置８から受信側へ送る。画
像処理手段２０は、受信側では、通信装置８で受け取っ
た圧縮した画像データを通信処理手段２４を通して受け
取り、伸長後、画像出力装置６へ送り画像を表示する。The data processing device 2 includes an image processing unit 20
Voice processing means 21 and key frame retransmission means 22
, Key frame interval adjusting means 23 and communication processing means 2
4 is provided. The image processing means 20 includes:
The image data from the image input device 4 is compressed using the correlation with the preceding and succeeding frames, and the compressed image data is sent from the communication device 8 to the receiving side through the communication processing unit 24. On the receiving side, the image processing means 20 receives the compressed image data received by the communication device 8 through the communication processing means 24, decompresses the image data, and sends it to the image output device 6 to display the image.
【００３２】音声処理手段２１は、送信側では、音声入
力装置５からの音声データを圧縮し、通信処理手段２４
を通して通信装置８から受信側へ送る。音声処理手段２
１は、受信側では、通信装置８で受け取った圧縮した音
声データを通信処理手段２４を通して受け取り、伸長
後、音声出力装置７へ送り音声を再生する。The voice processing means 21 compresses voice data from the voice input device 5 on the transmission side, and
From the communication device 8 to the receiving side. Voice processing means 2
On the receiving side, the receiving side receives the compressed audio data received by the communication device 8 through the communication processing means 24, decompresses it, sends it to the audio output device 7, and reproduces the audio.
【００３３】キーフレーム再送手段２２は、受信側で
は、前後のフレームの伸長に必要なキーフレームの画像
データのパケットがエラーとなり受信できなかった場合
に、送信側に対して再送要求を行う。キーフレーム再送
手段２２は、送信側では、受信側からの再送要求を受け
た場合にエラーとなったパケットを受信側に再送する。The key frame retransmitting means 22 requests the transmitting side to retransmit when the packet of the image data of the key frame necessary for decompression of the preceding and succeeding frames cannot be received due to an error. The key frame retransmitting means 22 retransmits an error packet to the receiving side when the transmitting side receives a retransmission request from the receiving side.
【００３４】キーフレーム間隔調整手段２３は、送信側
で、受信側へのパケット再送率に応じてキーフレームの
間隔を調整する。通信処理手段２４は、圧縮した画像デ
ータ及び音声データをパケット化して通信装置８を制御
して送受信を行う。The key frame interval adjusting means 23 adjusts the key frame interval on the transmitting side according to the packet retransmission rate to the receiving side. The communication processing unit 24 packetizes the compressed image data and audio data and controls the communication device 8 to perform transmission and reception.
【００３５】次に、図１及び図２及び図３を参照して、
本発明の第１の実施の形態の動作について説明する。Next, referring to FIG. 1, FIG. 2 and FIG.
The operation of the first embodiment of the present invention will be described.
【００３６】図２は、本発明の第１の実施の形態の送信
側のデータ処理装置２の動作を説明する流れ図である。
ここでは、画像１フレーム分の送信について説明する。FIG. 2 is a flowchart for explaining the operation of the data processor 2 on the transmitting side according to the first embodiment of the present invention.
Here, transmission of one frame of an image will be described.
【００３７】画像処理手段２０は、画像入力装置４から
の画像データを１フレーム圧縮する（ステップＡ１）。
この時、画像処理手段２０は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームを圧縮す
る。この間隔はキーフレーム間隔調整手段２３が後のス
テップＡ６で調整する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step A1).
At this time, the image processing means 20 compresses a key frame that becomes a reference frame at the time of expansion of the preceding and succeeding frames at a constant interval. This interval is adjusted by the key frame interval adjusting means 23 in a subsequent step A6.
【００３８】通信処理手段２４は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号ｘを０に初期化する（ステップＡ２）。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step A2).
【００３９】キーフレーム再送手段２２は、受信側から
の再送要求が無いか判定し、再送要求があった場合はス
テップＡ４に進み、無かった場合はステップＡ７に進む
（ステップＡ３）。The key frame retransmitting means 22 determines whether there is a retransmission request from the receiving side. If there is a retransmission request, the process proceeds to step A4, and if not, the process proceeds to step A7 (step A3).
【００４０】再送要求が無かった場合、通信処理手段２
４は、画像データパケット番号ｘの画像データを送信し
た後（ステップＡ７）、画像データパケット番号を更新
する（ステップＡ８）。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step A7), updates the image data packet number (step A8).
【００４１】再送要求があった場合、キーフレーム再送
手段２２は、受信側の指定したパケットを再送する（ス
テップＡ４）。キーフレーム間隔調整手段２３は、再送
要求率が一定値以上になった場合（ステップＡ５）、キ
ーフレームの間隔を再送率に応じて変更する（ステップ
Ａ６）。If there is a retransmission request, the key frame retransmitting means 22 retransmits the packet specified by the receiving side (step A4). When the retransmission request rate becomes equal to or more than a certain value (step A5), the key frame interval adjusting unit 23 changes the key frame interval according to the retransmission rate (step A6).
【００４２】以下、通信処理手段２４は、ステップＡ３
からＡ８を全パケットの送信完了まで繰り返す（ステッ
プＡ９）。In the following, the communication processing means 24 performs step A3
To A8 are repeated until transmission of all packets is completed (step A9).
【００４３】通信処理手段２４は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ（ス
テップＡ１０）。通信処理手段２４は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
（ステップＡ１１）、受信側の指定したパケットを送信
する（ステップＡ１２）。After completing the transmission of all the packets, the communication processing means 24 waits for an all-packet reception completion signal from the transmitting side (step A10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step A12) when there is a retransmission request from the receiving side (Step A11).
【００４４】図３は、本発明の第１の実施の形態の受信
側のデータ処理装置２の動作を説明する流れ図である。
ここでは、画像１フレーム分の受信について説明する。FIG. 3 is a flowchart for explaining the operation of the data processing device 2 on the receiving side according to the first embodiment of the present invention.
Here, reception of one frame of an image will be described.
【００４５】通信処理手段２４は、送信側から送られて
くる全データ量を受信し、受信する画像データパケット
番号ｘを０に初期化する（ステップＢ１）。The communication processing means 24 receives the total amount of data sent from the transmitting side and initializes the received image data packet number x to 0 (step B1).
【００４６】次に通信処理手段２４は、送信側から送ら
れてくる画像データのパケットを受信し（ステップＢ
２）、受信エラーが発生したか判定する（ステップＢ
３）。キーフレーム再送手段２２は、受信エラーが発生
した場合、現在受信中のフレームがキーフレームだった
場合（ステップＢ４）、現在のパケットの再送要求を送
信側に送る（ステップＢ５）。Next, the communication processing means 24 receives the image data packet sent from the transmitting side (step B).
2), determine whether a reception error has occurred (step B)
3). When a reception error occurs or when the frame currently being received is a key frame (step B4), the key frame retransmitting unit 22 sends a request for retransmission of the current packet to the transmitting side (step B5).
【００４７】以下、通信処理手段２４は、すべてのパケ
ットの受信が終了する（ステップＢ６）まで受信パケッ
ト番号を更新（ステップＢ７）しながらステップＢ２か
らＢ５を繰り返す。Thereafter, the communication processing means 24 repeats steps B2 to B5 while updating the received packet number (step B7) until all the packets have been received (step B6).
【００４８】 全パケットの受信が完了したら、通信処
理手段２４は、全パケット受信完了信号を送信側に送り
（ステップＢ８）、画像処理手段２０は、１フレーム分
の画像データを伸長する（ステップＢ９）。When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step B8), and the image processing means 20 decompresses one frame of image data (step B9). ) .
【００４９】この本発明の第１の実施の形態によれば、
他のフレームの伸長に必要なキーフレームを必ず伸長す
るので、フレームのパケットをすべて受信できた場合に
もそのフレームが参照する必要があるキーフレームが伸
長されていないことが無くなり、これが原因で転送エラ
ーが生じた際にデータ転送の実効量が減少したり伸長し
た画像にエラーが含まれたりすることが無いという効果
がある。According to the first embodiment of the present invention,
Since key frames required for decompressing other frames are always decompressed, even if all the packets of the frame can be received, the key frames that need to be referred to by that frame are not decompressed, and this causes the transfer. There is an effect that when an error occurs, the effective amount of data transfer does not decrease, and no error is included in the decompressed image.
【００５０】次に、本発明の第２の実施の形態について
図面を参照して説明する。図５は本発明の第２の実施の
形態の送信側及び受信側の電話装置のブロック図を示
す。同図中、図１と同一構成部分には同一符号を付し、
その説明を省略する。図５に示す本発明の第２の実施の
形態における電話装置は、データ処理装置９が、図１に
示された第１の実施の形態におけるデータ処理装置２の
構成からキーフレーム再送手段２２を除き、フレーム再
送手段９２を有する点で異なる。Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a block diagram showing a telephone device on the transmitting side and the receiving side according to the second embodiment of the present invention. In the figure, the same components as those in FIG.
The description is omitted. In the telephone device according to the second embodiment of the present invention shown in FIG. 5, the data processing device 9 is different from the data processing device 2 in the first embodiment shown in FIG. Except for this point, a difference is that a frame retransmission unit 92 is provided.
【００５１】フレーム再送手段９２は、受信側では、画
像データのパケットがエラーとなり受信できなかった場
合に、送信側に対して再送要求を行う。フレーム再送手
段９２は、送信側では、受信側からの再送要求を受けた
場合にエラーとなったパケットを受信側に再送する。The frame retransmitting means 92 sends a retransmission request to the transmitting side when the packet of the image data has an error and cannot be received on the receiving side. The frame retransmitting means 92 retransmits an error packet to the receiving side when the transmitting side receives a retransmission request from the receiving side.
【００５２】次に、図５及び図６及び図７を参照して、
本発明の第２の実施の形態の動作について説明する。図
６は、本発明の第２の実施の形態の送信側のデータ処理
装置９の動作を説明用フローチャートである。ここで
は、画像１フレーム分の送信について説明する。Next, referring to FIG. 5, FIG. 6 and FIG.
The operation of the second embodiment of the present invention will be described. FIG. 6 is a flowchart for explaining the operation of the data processing device 9 on the transmission side according to the second embodiment of this invention. Here, transmission of one frame of an image will be described.
【００５３】画像処理手段２０は、画像入力装置４から
の画像データを１フレーム圧縮する（ステップＣ１）。
この時、画像処理手段２０は、一定間隔で前後のフレー
ムの伸長時に参照フレームとなるキーフレームとして圧
縮する。この間隔はキーフレーム間隔調整手段２３が後
のステップＣ６で調整する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step C1).
At this time, the image processing means 20 compresses the image as a key frame that becomes a reference frame at the time of expansion of the preceding and succeeding frames at a constant interval. This interval is adjusted by the key frame interval adjusting means 23 in the subsequent step C6.
【００５４】通信処理手段２４は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号ｘを０に初期化する（ステップＣ２）。フレーム再
送手段９２は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップＣ４に進み、無かった
場合はステップＣ７に進む（ステップＣ３）。再送要求
が無かった場合、通信処理手段２４は、画像データパケ
ット番号ｘの画像データを送信した後（ステップＣ
７）、画像データパケット番号を更新する（ステップＣ
８）。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step C2). The frame retransmitting means 92 determines whether there is a retransmission request from the receiving side,
If there is a retransmission request, the process proceeds to step C4, and if not, the process proceeds to step C7 (step C3). If there is no retransmission request, the communication processing unit 24 transmits the image data of the image data packet number x (step C
7) Update the image data packet number (Step C)
8).
【００５５】再送要求があった場合、フレーム再送手段
９２は、受信側の指定したパケットを再送する（ステッ
プＣ４）。キーフレーム間隔調整手段２３は、再送要求
率が一定値以上になった場合（ステップＣ５）、キーフ
レームの間隔を再送率に応じて変更する（ステップＣ
６）。以下、通信処理手段２４は、ステップＣ３からＣ
８を全パケットの送信完了まで繰り返す（ステップＣ
９）。When there is a retransmission request, the frame retransmitting means 92 retransmits the packet specified by the receiving side (step C4). When the retransmission request rate becomes equal to or more than a certain value (step C5), the key frame interval adjusting means 23 changes the key frame interval according to the retransmission rate (step C5).
6). Hereinafter, the communication processing unit 24 performs steps C3 to C3.
8 until all packets have been transmitted (step C
9).
【００５６】通信処理手段２４は、全パケットの送信完
了後、送信側からの全パケット受信完了信号を待つ（ス
テップＣ１０）。通信処理手段２４は、全パケット受信
完了信号を待つ間、受信側からの再送要求があった場合
（ステップＣ１１）、受信側の指定したパケットを送信
する（ステップＣ１２）。After completing the transmission of all the packets, the communication processing means 24 waits for an all-packet reception completion signal from the transmitting side (step C10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step C12) when there is a retransmission request from the receiving side (Step C11).
【００５７】図７は、本発明の第２の実施の形態の受信
側のデータ処理装置９の動作説明用フローチャートであ
る。ここでは、画像１フレーム分の受信について説明す
る。通信処理手段２４は、送信側から送られてくる全デ
ータ量を受信し、受信する画像データパケット番号ｘを
０に初期化する（ステップＤ１）。FIG. 7 is a flowchart for explaining the operation of the data processing device 9 on the receiving side according to the second embodiment of the present invention. Here, reception of one frame of an image will be described. The communication processing unit 24 receives the entire data amount sent from the transmission side, and initializes the received image data packet number x to 0 (step D1).
【００５８】次に、通信処理手段２４は、送信側から送
られてくる画像データのパケットを受信し（ステップＤ
２）、受信エラーが発生したか判定する（ステップＤ
３）。フレーム再送手段９２は、受信エラーが発生した
場合、エラーの発生率が一定値以上だった場合（ステッ
プＤ４）、現在のパケットの再送要求を送信側に送る
（ステップＤ５）。Next, the communication processing means 24 receives the image data packet transmitted from the transmission side (step D).
2), determine whether a reception error has occurred (step D)
3). When a reception error occurs, or when the error occurrence rate is equal to or more than a certain value (step D4), the frame retransmission unit 92 sends a request for retransmission of the current packet to the transmission side (step D5).
【００５９】以下、通信処理手段２４は、すべてのパケ
ットの受信が終了する（ステップＤ６）まで受信パケッ
ト番号を更新（ステップＤ７）しながらステップＤ２か
らＤ５を繰り返す。Thereafter, the communication processing means 24 repeats steps D2 to D5 while updating the received packet number (step D7) until the reception of all the packets is completed (step D6).
【００６０】 全パケットの受信が完了したら、通信処
理手段２４は、全パケット受信完了信号を送信側に送り
（ステップＤ８）、画像処理手段２０は、１フレーム分
の画像データを伸長する（ステップＤ９）。When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step D8), and the image processing means 20 decompresses one frame of image data (step D9). ) .
【００６１】[0061]
【実施例】次に、本発明の第１の実施の形態の一実施例
（第１実施例）の動作を詳細に説明する。この第１実施
例では、画像の圧縮にＭＰＥＧ（Moving Picture Exper
tsGroup）方式を使用した例をあげる。Next, the operation of one example (first example) of the first embodiment of the present invention will be described in detail. In the first embodiment, MPEG (Moving Picture Exper
tsGroup) method.
【００６２】ＭＰＥＧ方式では、動画像データは、動き
補償フレーム間予測とＤＣＴ（discrete cosine transf
orm：離散コサイン変換）を複合したアルゴリズムで圧
縮される。フレーム間予測を行うため、静止画像の圧縮
アルゴリズム、例えばＪＰＥＧ（Joint Photographic c
oding Experts Group）方式などと比べると圧縮効率に
優れているが、フレームの伸長に前後のフレームの情報
が必要なため、フレーム単位のランダムアクセスができ
ない。このため、ＧＯＰ（Group of Picture）とよばれ
る複数の画像フレームから構成されるレイヤを設け、Ｇ
ＯＰ単位でランダムアクセスを行う。In the MPEG system, moving picture data is obtained by motion-compensated inter-frame prediction and DCT (discrete cosine transfection).
orm: discrete cosine transform). In order to perform inter-frame prediction, a still image compression algorithm, for example, JPEG (Joint Photographic c)
Although the compression efficiency is superior to that of the oding expert group, the random access in units of frames cannot be performed because information of the frames before and after the expansion of the frames is required. For this reason, a layer composed of a plurality of image frames called a GOP (Group of Picture) is provided,
Random access is performed in OP units.
【００６３】ＧＯＰはそのフレームのみで伸長が可能な
フレーム内符号化フレーム（Ｉピクチャ）と、伸長には
前のフレームが必要なフレーム間符号化フレーム（Ｐピ
クチャ）と、伸長には前後のフレームが必要なフレーム
内挿符号化フレーム（Ｂピクチャ）の３種類のフレーム
から構成される。一般的には、同程度の符号量に圧縮し
た場合、Ｂピクチャが最も画質が良くなり、次いでＰピ
クチャ、Ｉピクチャの順となる。ただし、Ｂピクチャを
増やすとランダムアクセス性が悪くなり、また動きの激
しい画像の場合、逆に圧縮効率が低下する。１つのＧＯ
Ｐには１つ以上のＩピクチャと、０または複数のＰピク
チャ及びＢピクチャが存在する。The GOP includes an intra-coded frame (I picture) which can be decompressed only by that frame, an inter-frame coded frame (P picture) requiring a previous frame for decompression, and a preceding and succeeding frame for decompression. , And three types of frames, ie, frame interpolation coded frames (B pictures). Generally, when compressed to the same amount of code, the B picture has the highest image quality, followed by the P picture and the I picture. However, when the number of B pictures is increased, the random accessibility deteriorates, and in the case of an image having a lot of motion, the compression efficiency decreases. One GO
P has one or more I pictures and zero or more P pictures and B pictures.
【００６４】図４（Ａ）及び図８（Ａ）は、ＧＯＰ構成
の一例である。矢印は伸長時に必要なフレームの依存関
係をあらわす（矢印の元のフレームを伸長する際に矢印
の先のフレームをあらかじめ伸長しておく必要があ
る）。ＩピクチャまたはＰピクチャが受信エラーのため
伸長できなかった場合、ＧＯＰの残りのフレームはすべ
て伸長できなくなる。このような事態を避けるため、第
１の形態の実施例では、キーフレーム再送手段２２を設
けてＩピクチャまたはＰピクチャを必ず再送するように
している。FIGS. 4A and 8A show an example of the GOP structure. The arrow indicates the dependency of the frame required at the time of expansion (when expanding the original frame of the arrow, it is necessary to expand the frame preceding the arrow in advance). If the I picture or P picture cannot be expanded due to a reception error, all the remaining frames of the GOP cannot be expanded. In order to avoid such a situation, in the embodiment of the first embodiment, the key frame retransmitting means 22 is provided so that the I picture or the P picture is always retransmitted.
【００６５】しかし、パケットの再送率が大きくなって
も、すべてのＩピクチャとＰピクチャの再送を続けると
データ転送量が多くなりすぎる可能性があるため、パケ
ットの再送率が一定値以上になった場合にＧＯＰのＢピ
クチャの構成比率を増やすことによってキーフレームの
間隔を長くするキーフレーム間隔調整手段２３を設けて
いる。However, even if the retransmission rate of the packet increases, if the retransmission of all the I and P pictures is continued, the amount of data transfer may become too large. In this case, a key frame interval adjusting means 23 is provided to increase the interval between key frames by increasing the composition ratio of the B pictures of the GOP.
【００６６】Ｂピクチャを増やすと前述のようにランダ
ムアクセス性の低下と、動きの激しい画像の場合の圧縮
効率低下をまねく恐れがあるが、通常のテレビ電話装置
の用途ではこれらの点はあまり大きな問題にはならな
い。When the number of B pictures is increased, there is a risk that the random access property is reduced and the compression efficiency is reduced in the case of a rapidly moving image, as described above. It doesn't matter.
【００６７】以下、図２を参照して第１の形態の実施例
の送信側の動作を述べる。Hereinafter, the operation on the transmitting side of the embodiment of the first embodiment will be described with reference to FIG.
【００６８】画像処理手段２０は、画像入力装置４から
の画像データを１フレーム圧縮する（ステップＡ１）。
この時、画像処理手段２０は、所定のＧＯＰ、例えば図
４（Ａ）のようなＧＯＰ構成でフレームを圧縮する。こ
のＧＯＰ構成は、画像データの再送率が一定値を超えた
場合に後のステップＡ６でキーフレーム間隔調整手段２
３が変更する。The image processing means 20 compresses the image data from the image input device 4 by one frame (step A1).
At this time, the image processing means 20 compresses the frame with a predetermined GOP, for example, a GOP configuration as shown in FIG. This GOP configuration is such that when the retransmission rate of image data exceeds a certain value, the key frame interval
3 changes.
【００６９】通信処理手段２４は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号ｘを０に初期化する（ステップＡ２）。キーフレー
ム再送手段２２は、受信側からの再送要求が無いか判定
し、再送要求があった場合はステップＡ４に進み、無か
った場合はステップＡ７に進む（ステップＡ３）。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step A2). The key frame retransmitting means 22 determines whether there is a retransmission request from the receiving side, and if there is a retransmission request, proceeds to step A4, and if not, proceeds to step A7 (step A3).
【００７０】再送要求が無かった場合、通信処理手段２
４は、画像データパケット番号ｘの画像データを送信し
た後（ステップＡ７）、画像データパケット番号を更新
する（ステップＡ８）。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step A7), updates the image data packet number (step A8).
【００７１】再送要求があった場合、キーフレーム再送
手段２２は、受信側の指定したパケットを再送する（ス
テップＡ４）。キーフレーム間隔調整手段２３は、再送
要求率が一定値以上になった場合（ステップＡ５）、Ｉ
ピクチャまたはＰピクチャの間隔を再送率に応じて変更
する（ステップＡ６）。例えば、最初は図４（Ｂ）に示
すように、ＧＯＰ内のＰピクチャをＢピクチャに変更す
る。さらに再送率が大きくなった場合は、図４（Ｃ）に
示すようにＧＯＰの長さを変更してＩピクチャの間隔を
長くする。When there is a retransmission request, the key frame retransmitting means 22 retransmits the packet specified by the receiving side (step A4). If the retransmission request rate is equal to or more than a certain value (step A5),
The interval between pictures or P pictures is changed according to the retransmission rate (step A6). For example, first, as shown in FIG. 4B, a P picture in a GOP is changed to a B picture. When the retransmission rate further increases, the length of the GOP is changed to increase the interval between I pictures as shown in FIG.
【００７２】以下、通信処理手段２４は、ステップＡ３
からＡ８を全パケットの送信完了まで繰り返す（ステッ
プＡ９）。通信処理手段２４は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ（ステ
ップＡ１０）。通信処理手段２４は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
（ステップＡ１１）、受信側の指定したパケットを送信
する（ステップＡ１２）。Hereinafter, the communication processing means 24 executes step A3.
To A8 are repeated until transmission of all packets is completed (step A9). After completing the transmission of all the packets, the communication processing unit 24 waits for an all-packet reception completion signal from the transmitting side (step A10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step A12) when there is a retransmission request from the receiving side (Step A11).
【００７３】次に、図３を参照して第１実施例の受信側
の動作を説明する。通信処理手段２４は、送信側から送
られてくる全データ量を受信し、受信する画像データパ
ケット番号ｘを０に初期化する（ステップＢ１）。Next, the operation of the receiving side of the first embodiment will be described with reference to FIG. The communication processing unit 24 receives the entire data amount sent from the transmission side and initializes the received image data packet number x to 0 (step B1).
【００７４】次に通信処理手段２４は、送信側から送ら
れてくる画像データのパケットを受信し（ステップＢ
２）、受信エラーが発生したか判定する（ステップＢ
３）。キーフレーム再送手段２２は、受信エラーが発生
した場合、現在受信中のフレームがＩピクチャまたはＰ
ピクチャだった場合（ステップＢ４）、現在のパケット
の再送要求を送信側に送る（ステップＢ５）ことですべ
てのＩピクチャとＰピクチャを確実に伸長する。Next, the communication processing means 24 receives the image data packet transmitted from the transmitting side (step B).
2), determine whether a reception error has occurred (step B)
3). When a reception error occurs, the key frame retransmitting means 22 determines whether the currently received frame is an I picture or a P frame.
If it is a picture (step B4), a request for retransmission of the current packet is sent to the transmitting side (step B5), so that all I and P pictures are reliably expanded.
【００７５】以下、通信処理手段２４は、すべてのパケ
ットの受信が終了する（ステップＢ６）まで受信パケッ
ト番号を更新（ステップＢ７）しながらステップＢ２か
らＢ５を繰り返す。全パケットの受信が完了したなら
ば、通信処理手段２４は、全パケット受信完了信号を送
信側に送り（ステップＢ８）、画像処理手段２０は、１
フレーム分の画像データを伸長する。Thereafter, the communication processing means 24 repeats steps B2 to B5 while updating the received packet number (step B7) until all the packets have been received (step B6). When the reception of all the packets is completed, the communication processing means 24 sends an all-packet reception completion signal to the transmitting side (step B8), and the image processing means 20 outputs
Decompress the image data for the frame.
【００７６】次に、本発明の第２の実施の形態の一実施
例（第２実施例）の動作を詳細に説明する。この第２実
施例でも画像の圧縮にＭＰＥＧ方式を使用した例をあげ
る。Next, the operation of one example (second example) of the second embodiment of the present invention will be described in detail. Also in the second embodiment, an example in which the MPEG system is used for image compression will be described.
【００７７】まず、図６を参照して第２実施例の送信側
の動作を説明する。画像処理手段２０は、画像入力装置
４からの画像データを１フレーム圧縮する（ステップＣ
１）。この時、画像処理手段２０は、所定のＧＯＰ、例
えば図８（Ａ）のようなＧＯＰ構成でフレームを圧縮す
る。このＧＯＰ構成は、画像データの再送率が一定値を
超えた場合に後のステップＣ６でキーフレーム間隔調整
手段２３が変更する。First, the operation on the transmitting side of the second embodiment will be described with reference to FIG. The image processing means 20 compresses the image data from the image input device 4 by one frame (step C).
1). At this time, the image processing means 20 compresses the frame in a predetermined GOP, for example, a GOP configuration as shown in FIG. This GOP configuration is changed by the key frame interval adjusting means 23 in a subsequent step C6 when the retransmission rate of the image data exceeds a certain value.
【００７８】通信処理手段２４は、受信側に対して送信
する全データ量を送信し、送信する画像データパケット
番号ｘを０に初期化する（ステップＣ２）。フレーム再
送手段９２は、受信側からの再送要求が無いか判定し、
再送要求があった場合はステップＣ４に進み、無かった
場合はステップＣ７に進む（ステップＣ３）。The communication processing means 24 transmits the total amount of data to be transmitted to the receiving side, and initializes the image data packet number x to be transmitted to 0 (step C2). The frame retransmitting means 92 determines whether there is a retransmission request from the receiving side,
If there is a retransmission request, the process proceeds to step C4, and if not, the process proceeds to step C7 (step C3).
【００７９】再送要求が無かった場合、通信処理手段２
４は、画像データパケット番号ｘの画像データを送信し
た後（ステップＣ７）、画像データパケット番号を更新
する（ステップＣ８）。If there is no retransmission request, the communication processing means 2
4, after transmitting the image data of the image data packet number x (step C7), updates the image data packet number (step C8).
【００８０】再送要求があった場合、フレーム再送手段
９２は、受信側の指定したパケットを再送する（ステッ
プＣ４）。キーフレーム間隔調整手段２３は、再送要求
率が一定値以上になった場合（ステップＣ５）、キーフ
レームの間隔を再送率に応じて変更する（ステップＣ
６）。例えば、最初は図８（Ｂ）のようにＧＯＰ内のＰ
ピクチャをＩピクチャに変更する。さらに再送率が大き
くなった場合は、ＧＯＰ内のＩピクチャの比率を図８
（Ｃ）に示すように増やし、最終的には図８（Ｄ）に示
すようにＧＯＰ内のピクチャをすべてＩピクチャにする
（または、ＧＯＰの長さを短くする）。これにより、ピ
クチャがエラーのため伸長できなかった場合でも、次の
フレームの展開が不可能になる可能性を低減することが
できる。When there is a retransmission request, the frame retransmitting means 92 retransmits the packet specified by the receiving side (step C4). When the retransmission request rate becomes equal to or more than a certain value (step C5), the key frame interval adjusting means 23 changes the key frame interval according to the retransmission rate (step C5).
6). For example, first, as shown in FIG.
Change the picture to an I picture. If the retransmission rate further increases, the ratio of I pictures in the GOP is
The picture is increased as shown in (C), and finally all pictures in the GOP are made I pictures (or the length of the GOP is shortened) as shown in FIG. As a result, even if a picture cannot be expanded due to an error, it is possible to reduce the possibility that expansion of the next frame becomes impossible.
【００８１】以下、通信処理手段２４は、ステップＣ３
からＣ８を全パケットの送信完了まで繰り返す（ステッ
プＣ９）。通信処理手段２４は、全パケットの送信完了
後、送信側からの全パケット受信完了信号を待つ（ステ
ップＣ１０）。通信処理手段２４は、全パケット受信完
了信号を待つ間、受信側からの再送要求があった場合
（ステップＣ１１）、受信側の指定したパケットを送信
する（ステップＣ１２）。Hereinafter, the communication processing means 24 executes step C3.
To C8 are repeated until transmission of all packets is completed (step C9). After completing the transmission of all packets, the communication processing unit 24 waits for an all-packet reception completion signal from the transmission side (step C10). While waiting for the all-packet reception completion signal, the communication processing unit 24 transmits a packet specified by the receiving side (Step C12) when there is a retransmission request from the receiving side (Step C11).
【００８２】この第２実施例では、第１実施例と比べ
て、Ｉピクチャの構成比率が高くなるため、圧縮の効率
（画質またはデータ量）は劣るが、画像データを記録し
て後で再生する場合のランダムアクセス性や、動きの激
しい画像を送信する場合に有利である。In the second embodiment, the compression ratio (image quality or data amount) is inferior to that of the first embodiment because the composition ratio of I-pictures is high. However, image data is recorded and reproduced later. This is advantageous in the case of random accessibility in the case of transmitting the image or in the case of transmitting an image with a lot of movement.
【００８３】[0083]
【発明の効果】以上説明したように、本発明によれば、
受信側電話装置においてエラー発生と判定された受信画
像データパケットがキーフレームの画像データパケット
であるときに、そのキーフレームの画像データパケット
を指定した再送要求をし、送信側電話装置から当該キー
フレームの画像データパケットを再送することで、前後
のフレームの伸長に必要なキーフレームの欠落を防止す
るようにしたため、例えばＭＰＥＧ方式のような前後の
フレームとの相関関係を使用することによって画像デー
タを効率良く圧縮する方式で圧縮した画像データを送信
した場合に、転送した実効データ量を低下させずに、キ
ーフレーム欠落に起因して伸長画像にエラーが含まれる
ことを防止することができる。As described above, according to the present invention,
When the received image data packet determined to have an error in the receiving side telephone device is a key frame image data packet, a retransmission request specifying the image data packet of the key frame is made, and the key frame is transmitted from the transmitting side telephone device. The retransmission of the image data packet prevents the loss of key frames required for decompression of the preceding and succeeding frames. Therefore, for example, the image data is reconstructed by using the correlation with the preceding and succeeding frames such as the MPEG method. When image data compressed by a method of efficiently compressing is transmitted, it is possible to prevent an error from being included in a decompressed image due to a missing key frame without reducing the amount of transferred effective data.
【００８４】また、本発明によれば、再送率が大きくな
りキーフレームの画像データパケットが増加すると、デ
ータ転送量が大きくなり過ぎる可能性があるが、キーフ
レームの間隔を長くするようにしているため、データ転
送量の増加を低減できる。According to the present invention, when the retransmission rate increases and the number of key frame image data packets increases, the data transfer amount may become too large, but the key frame interval is increased. Therefore, an increase in the data transfer amount can be reduced.
【００８５】[0085]
【図１】本発明の送信側及び受信側の各電話装置の第１
の実施の形態を示すブロック図である。FIG. 1 is a diagram showing a first example of each of a telephone device on a transmitting side and a telephone device on a receiving side according to the present invention.
It is a block diagram showing an embodiment.
【図２】本発明の第１の実施の形態の送信側の動作説明
用フローチャートである。FIG. 2 is a flowchart for explaining an operation on a transmission side according to the first embodiment of the present invention.
【図３】本発明の第１の実施の形態の受信側の動作説明
用フローチャートである。FIG. 3 is a flowchart for explaining the operation of the receiving side according to the first embodiment of the present invention.
【図４】本発明の第１の実施の形態の実施例のキーフレ
ーム間隔調整手段２３の動作を説明する説明図である。FIG. 4 is an explanatory diagram for explaining an operation of the key frame interval adjusting means 23 according to an example of the first embodiment of the present invention.
【図５】本発明の送信側及び受信側の各電話装置の第２
の実施の形態を示すブロック図である。FIG. 5 is a diagram showing a second example of each of the telephone devices on the transmitting side and the receiving side according to the present invention.
It is a block diagram showing an embodiment.
【図６】本発明の第２の実施の形態の送信側の動作説明
用フローチャートである。FIG. 6 is a flowchart for explaining an operation on the transmission side according to the second embodiment of this invention.
【図７】本発明の第２の実施の形態の受信側の動作説明
用フローチャートである。FIG. 7 is a flowchart illustrating an operation of a receiving side according to the second embodiment of this invention.
【図８】本発明の第２の実施の形態の実施例のキーフレ
ーム間隔調整手段２３の動作を説明する説明図である。FIG. 8 is an explanatory diagram for explaining the operation of a key frame interval adjusting means 23 according to an example of the second embodiment of the present invention.
【図９】従来の一例のブロック図である。FIG. 9 is a block diagram of an example of the related art.
【図１０】従来の送信側電話装置の動作説明用フローチ
ャートである。FIG. 10 is a flowchart for explaining the operation of a conventional transmitting-side telephone device.
【図１１】従来の受信側電話装置の動作説明用フローチ
ャートである。FIG. 11 is a flowchart for explaining the operation of the conventional receiving-side telephone device.
１ 入力装置 ２ データ処理装置 ３ 記憶装置 ４ 画像入力装置 ５ 音声入力装置 ６ 画像出力装置 ７ 音声出力装置 ８ 通信装置 ９ データ処理装置 ２０ 画像処理手段 ２１ 音声処理手段 ２２ キーフレーム再送手段 ２３ キーフレーム間隔調整手段 ２４ 通信処理手段 ９２ フレーム再送手段 REFERENCE SIGNS LIST 1 input device 2 data processing device 3 storage device 4 image input device 5 audio input device 6 image output device 7 audio output device 8 communication device 9 data processing device 20 image processing means 21 audio processing means 22 keyframe retransmission means 23 keyframe interval Adjustment means 24 communication processing means 92 frame retransmission means
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/14 - 7/173 H04N 7/24 - 7/68 H04L 1/16 H04M 11/06 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 7 /14-7/173 H04N 7/24-7/68 H04L 1/16 H04M 11/06
Claims (1)
を使用することによって効率的に圧縮した画像データ
を、音声信号を圧縮符号化した音声データと共にパケッ
ト化して生成して送信する送信側電話装置と、受信した
画像データパケットを伸長して元の画像信号を復元する
と共に、受信した音声データパケットを伸長して元の音
声信号に復元する受信側電話装置とからなるテレビ電話
装置において、 前記送信側電話装置は、再送要求の有無を判定し、該再
送要求がある時は指定されたキーフレームの画像データ
パケットを再送するキーフレーム再送手段と、 前後のフレームの伸長に必要な前記キーフレームの画像
データパケットの再送率を判定し、前記画像データパケ
ットの再送率が予め設定した値よりも高いときには、前
記キーフレームの間隔を現在の値よりも長くするキーフ
レーム間隔調整手段と を備え、 前記受信側電話装置は、受信画像データパケットにエラ
ーが発生したか否か判定するエラー判定手段と、 前記エラー判定手段によりエラー発生と判定された受信
画像データパケットが前記キーフレームの画像データパ
ケットであるときに、そのキーフレームの画像データパ
ケットを指定した前記再送要求を前記送信側電話装置へ
送信する再送要求手段とを備えたことを特徴とするテレ
ビ電話装置。1. A transmitting telephone for generating and transmitting image data obtained by efficiently compressing an image signal by using a correlation with a preceding and succeeding frame together with audio data obtained by compressing and encoding an audio signal. A video telephone device comprising: a device and a receiving telephone device that expands a received image data packet to restore an original image signal and expands a received audio data packet to restore the original audio signal. The transmitting side telephone device determines whether or not there is a retransmission request, and when there is a retransmission request, retransmits the image data packet of the designated key frame, and the key frame required for decompressing the preceding and following frames. Image of
The retransmission rate of the data packet is determined, and the image data packet
If the packet retransmission rate is higher than the preset value,
Keyframe to increase the interval between keyframes longer than the current value
An error determining unit that determines whether an error has occurred in a received image data packet; and a receiving image data packet that is determined to have an error by the error determining unit. A video telephone device comprising: a retransmission request unit that transmits the retransmission request specifying the image data packet of the key frame to the transmitting telephone device when the image data packet is the key frame image data packet.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17391597A JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17391597A JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1127645A JPH1127645A (en) | 1999-01-29 |
| JP3045108B2 true JP3045108B2 (en) | 2000-05-29 |
Family
ID=15969446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17391597A Expired - Fee Related JP3045108B2 (en) | 1997-06-30 | 1997-06-30 | Videophone equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3045108B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| US6771659B1 (en) * | 2000-01-21 | 2004-08-03 | Nokia Mobile Phones Ltd. | Method and apparatus for a selective acknowledgement scheme in a modified unacknowledge mode for use over a communications link |
| JP3699910B2 (en) | 2000-10-31 | 2005-09-28 | 株式会社東芝 | Data transmission apparatus, data transmission method and program |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| JP2007013419A (en) | 2005-06-29 | 2007-01-18 | Canon Inc | Image processor and image processing method |
| JP2007166479A (en) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | Moving picture display device and moving picture display method |
| JP4790446B2 (en) * | 2006-03-01 | 2011-10-12 | 三菱電機株式会社 | Moving picture decoding apparatus and moving picture encoding apparatus |
| JP4973381B2 (en) * | 2007-08-15 | 2012-07-11 | ソニー株式会社 | Monitoring device, monitoring method and monitoring system |
| JP2012156650A (en) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | Moving image transmission system |
| JP2011217416A (en) * | 2011-08-01 | 2011-10-27 | Canon Inc | Image processing apparatus and method |
| CN111541897A (en) * | 2020-04-21 | 2020-08-14 | 西安万像电子科技有限公司 | Data transmission method and device |
-
1997
- 1997-06-30 JP JP17391597A patent/JP3045108B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1127645A (en) | 1999-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4949591B2 (en) | Video error recovery method | |
| JP3931595B2 (en) | Data correction apparatus and data correction method | |
| AU774040B2 (en) | Video coding | |
| US5930526A (en) | System for progressive transmission of compressed video including video data of first type of video frame played independently of video data of second type of video frame | |
| JP2002543705A (en) | Data transmission | |
| JP2004507178A (en) | Video signal encoding method | |
| EP1356684A1 (en) | Switching between bit-streams in video transmission | |
| JP3045108B2 (en) | Videophone equipment | |
| US6646674B1 (en) | TV telephone system | |
| JP2002077838A (en) | Method and system for transmitting alternative visual data during interruption of video transmission system | |
| JP3651706B2 (en) | Video encoding device | |
| JP2003061095A (en) | Image encoder and image-encoding method | |
| US20050289626A1 (en) | IP based interactive multimedia communication system | |
| JPH11331843A (en) | Method and device for generating unlimitedly selected picture view from large picture | |
| US5740282A (en) | System and method for contractive mapping resynchronization of a data transmission | |
| KR100363550B1 (en) | Encoder and decoder in a wireless terminal for retransmitting a moving picture | |
| JP2001045490A (en) | Device and method for encoding moving image signal | |
| JP3805748B2 (en) | Image transfer device | |
| JPH10285565A (en) | Image transfer device | |
| JP2945245B2 (en) | Still image transmission device | |
| JP2000209592A (en) | Image transmitter, image transmitting method and system and its control method | |
| JP3804953B2 (en) | Image transfer device | |
| KR100212544B1 (en) | Method for detecting error of bit stream in h.263 algorithm | |
| KR100647369B1 (en) | Video phone and lipsysnc processing method of video phone | |
| JPH09130263A (en) | Data communication equipment, encoding device and decoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080317 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090317 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |