JP3202575B2 - Videophone equipment - Google Patents

Videophone equipment

Info

Publication number
JP3202575B2
JP3202575B2 JP01432096A JP1432096A JP3202575B2 JP 3202575 B2 JP3202575 B2 JP 3202575B2 JP 01432096 A JP01432096 A JP 01432096A JP 1432096 A JP1432096 A JP 1432096A JP 3202575 B2 JP3202575 B2 JP 3202575B2
Authority
JP
Japan
Prior art keywords
transmission
unit
distance
transmitting
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01432096A
Other languages
Japanese (ja)
Other versions
JPH09214619A (en
Inventor
勇一 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP01432096A priority Critical patent/JP3202575B2/en
Publication of JPH09214619A publication Critical patent/JPH09214619A/en
Application granted granted Critical
Publication of JP3202575B2 publication Critical patent/JP3202575B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、通信回線を利用し
て音声と画像を同時に送受信できるコードレス子機を備
えたテレビ電話に関し、通話者による特別の操作を要す
ることなく、コードレス子機を手に持って移動しながら
でも利用できる当該テレビ電話に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a videophone equipped with a cordless handset capable of simultaneously transmitting and receiving voice and image using a communication line, and relates to a videophone handset without a special operation by a caller. Related to a videophone that can be used while moving with the phone.

【0002】[0002]

【従来の技術】図8は、テレビ電話装置の従来例の外観
図を示すものである。コードレス子機17として使用で
きるハンドセットを有しているテレビ電話装置におい
て、親機18がコードレス子機17の方向と距離を検出
する手段を具備しているテレビ電話装置で通信する場合
に、コードレス子機17が親機18から離脱されると、
コードレス子機17に設けられた発光部14より赤外線
が発光され、親機18に取付けられた受光部15でその
赤外線を受光することによって、親機18がコードレス
子機17の方向と距離を検出する。親機18に内蔵され
たカメラ8はズーム比を変えて、コードレス子機17を
手にする通話者が近くにいるときはカメラ8をワイド
に、遠ざかるに従ってカメラ8のズーム比を上げてゆ
き、当該通話者の顔を主体にした人物像を撮影する。
2. Description of the Related Art FIG. 8 shows an external view of a conventional example of a videophone device. In a videophone device having a handset that can be used as a cordless handset 17, when the base unit 18 communicates with a videophone device provided with means for detecting the direction and distance of the cordless handset 17, the cordless handset can be used. When the machine 17 is detached from the parent machine 18,
Infrared light is emitted from the light emitting unit 14 provided in the cordless handset 17, and the infrared light is received by the light receiving unit 15 attached to the base unit 18, so that the base unit 18 detects the direction and distance of the cordless handset 17. I do. The camera 8 incorporated in the base unit 18 changes the zoom ratio. When a caller holding the cordless handset 17 is near, the camera 8 is widened, and the zoom ratio of the camera 8 is increased as the caller moves away. An image of a person mainly including the face of the caller is taken.

【0003】[0003]

【発明が解決しようとする課題】上記した従来のテレビ
電話装置で通信する場合に、コードレス子機を手に持つ
通話者が親機から離れ、親機の検出領域外に出ると、親
機はコードレス子機を手に持って移動している当該通話
者を撮影できなくなるに至る。この場合、テレビ電話装
置を使用する意味が失われるばかりでなく、当該通話者
のいる部屋の風景などが当該通話者の意図と無関係に撮
影・送信されるといった不都合が生じる。本発明は、こ
のような事態に鑑みてなされたもので、コードレス子機
を手に持つ通話者が撮影領域外に出た場合の送信画像に
上述の不都合が生じることなく、また、通話状態を良好
に保つようにしたテレビ電話装置を提供することをその
課題とする。
When a caller holding a cordless handset moves away from the base station and goes out of the detection area of the base station during communication with the above-mentioned conventional videophone apparatus, the base station starts to operate. It becomes impossible to image the caller who is moving with the cordless handset in hand. In this case, not only does the meaning of using the video telephone device be lost, but also the inconvenience occurs that the scenery of the room where the caller is located is photographed and transmitted irrespective of the caller's intention. The present invention has been made in view of such a situation, and the above-described inconvenience does not occur in the transmitted image when the caller holding the cordless handset goes out of the shooting area, and the call state is reduced. It is an object of the present invention to provide a videophone device which can be kept good.

【0004】[0004]

【課題を解決するための手段】請求項1の発明は、音声
入出力手段及び距離・方向検出用送信手段を少なくとも
有するコードレス子機として使用するハンドセットと、
カメラ,モニタ等を含む映像入出力手段及び前記距離・
方向検出用送信手段からの送信信号を受信する距離・方
向検出用受信手段を少なくとも有する親機と、前記距離
・方向検出用受信手段の受信信号による検出結果に基づ
いて、前記カメラ等の映像入力手段を前記ハンドセット
近辺の映像を撮影するように制御する手段と、音声,画
像データ及び通信制御用データを通信回線を介して送受
信する送受信手段と、該送受信手段からの受信画像デー
タを復号した後、前記映像出力手段に入力する復号化手
段と、前記映像入力手段からの送信映像信号を符号化し
た後、前記送受信手段に入力する符号化手段と、送受信
に関連するシステム動作を制御するシステム制御手段と
を備えるテレビ電話装置において、前記システム制御手
段は、更に、前記距離・方向検出用受信手段の受信信号
による検出結果によって、送信データの送信の制御を行
うようにし、検出信号により、カメラが不必要な映像
を撮っていると判断される場合の画像を通信相手に送ら
ないようにすることを可能し、前記システム制御手段に
よる制御は、前記距離・方向検出用受信手段の受信信号
による検出結果が検出不能又は所定検出範囲外にある期
間、画像データの送信を停止するとともに、通信相手へ
該停止を知らせるデータを送信する制御を行うようにし
て、双方向で音声のみによる通話を可能とするものであ
る。
According to a first aspect of the present invention, there is provided a handset used as a cordless handset having at least voice input / output means and transmission means for distance / direction detection,
Image input / output means including a camera, a monitor, etc .;
A base unit having at least a distance / direction detection receiving unit for receiving a transmission signal from the direction detection transmitting unit; and a video input from the camera or the like based on a detection result of the distance / direction detection receiving unit based on a reception signal. Means for controlling the means to capture an image near the handset, transmitting and receiving means for transmitting and receiving voice, image data and communication control data via a communication line, and after decoding image data received from the transmitting and receiving means. Decoding means for inputting to the video output means, coding means for inputting the transmission video signal from the video input means to the transmission / reception means, and system control for controlling system operation related to transmission / reception Means, the system control means further includes a detection result based on a reception signal of the distance / direction detection receiving means. I, so as to perform control of the transmission of the transmission data, by the detection signal, and allows the camera to prevent transmitted to the image communication partner when it is determined that taking unnecessary image, The system control means
Control by the reception signal of the distance / direction detection receiving means.
Period during which the detection result by
While the image data transmission is stopped,
Control to transmit data indicating the stop.
To enable two-way voice-only calls.
You.

【0005】[0005]

【0006】請求項の発明は、音声入出力手段及び距
離・方向検出用送信手段を少なくとも有するコードレス
子機として使用するハンドセットと、カメラ,モニタ等
を含む映像入出力手段及び前記距離・方向検出用送信手
段からの送信信号を受信する距離・方向検出用受信手段
を少なくとも有する親機と、前記距離・方向検出用受信
手段の受信信号による検出結果に基づいて、前記カメラ
等の映像入力手段を前記ハンドセット近辺の映像を撮影
するように制御する手段と、音声,画像データ及び通信
制御用データを通信回線を介して送受信する送受信手段
と、該送受信手段からの受信画像データを復号した後、
前記映像出力手段に入力する復号化手段と、前記映像入
力手段からの送信映像信号を符号化した後、前記送受信
手段に入力する符号化手段と、送受信に関連するシステ
ム動作を制御するシステム制御手段とを備えるテレビ電
話装置において、前記復号化手段及び前記符号化手段
は、少なくとも静止画に対応する手段とし、前記システ
ム制御手段は、更に、前記距離・方向検出用受信手段の
受信信号による検出結果によって、送信データの送信の
制御を行い、該システム制御手段による制御は、前記距
離・方向検出用受信手段の受信信号による検出結果が検
出不能又は所定検出範囲外にある期間、その期間直前に
おける送信画像データを静止画データとして送信する制
御を行うようにし、不必要な画像が送られることがない
ようにするものである。
According to a second aspect of the present invention, there is provided a voice input / output means and a distance.
Cordless having at least separation / direction detection transmitting means
Handset used as a handset, camera, monitor, etc.
Input / output means and a transmitter for detecting the distance / direction
Receiving means for detecting the distance and direction to receive the transmission signal from the stage
And a distance / direction detection receiver
The camera based on the detection result of the means by the received signal
Use a video input device such as a camera to capture video near the handset
Means for controlling sound, image data and communication
Transmission / reception means for transmitting / receiving control data via a communication line
And after decoding the received image data from the transmitting and receiving means,
Decoding means for inputting to the video output means;
After encoding the transmission video signal from the input means,
Encoding means input to the means and a system related to transmission and reception.
System control means for controlling system operation
In talking device, said decoding means and said encoding means, and means corresponding to at least a still image, the system
Means for controlling the distance / direction detection.
Depending on the detection result by the received signal, the transmission data transmission
The control is performed by the system control unit , and the transmission image data immediately before the period in which the detection result by the reception signal of the distance / direction detection receiving unit is undetectable or out of the predetermined detection range is regarded as still image data. The transmission is controlled so that unnecessary images are not transmitted.

【0007】請求項の発明は、音声入出力手段及び距
離・方向検出用送信手段を少なくとも有するコードレス
子機として使用するハンドセットと、カメラ,モニタ等
を含む映像入出力手段及び前記距離・方向検出用送信手
段からの送信信号を受信する距離・方向検出用受信手段
を少なくとも有する親機と、前記距離・方向検出用受信
手段の受信信号による検出結果に基づいて、前記カメラ
等の映像入力手段を前記ハンドセット近辺の映像を撮影
するように制御する手段と、音声,画像データ及び通信
制御用データを通信回線を介して送受信する送受信手段
と、該送受信手段からの受信画像データを復号した後、
前記映像出力手段に入力する復号化手段と、前記映像入
力手段からの送信映像信号を符号化した後、前記送受信
手段に入力する符号化手段と、送受信に関連するシステ
ム動作を制御するシステム制御手段とを備えるテレビ電
話装置において、前記復号化手段及び前記符号化手段
は、少なくとも静止画に対応する手段とし、前記システ
ム制御手段は、更に、前記距離・方向検出用受信手段の
受信信号による検出結果によって、送信データの送信の
制御を行い、該システム制御手段による制御は、前記距
離・方向検出用受信手段の受信信号による検出結果が検
出不能又は所定検出範囲外にある期間、あらかじめ、登
録された静止画データを送信する制御を行うようにし、
不必要な画像が送られることがなく、状況に応じた画像
を送ることも可能とするものである。
According to a third aspect of the present invention, there is provided a voice input / output means and a distance.
Cordless having at least separation / direction detection transmitting means
Handset used as a handset, camera, monitor, etc.
Input / output means and a transmitter for detecting the distance / direction
Receiving means for detecting the distance and direction to receive the transmission signal from the stage
And a distance / direction detection receiver
The camera based on the detection result of the means by the received signal
Use a video input device such as a camera to capture video near the handset
Means for controlling sound, image data and communication
Transmission / reception means for transmitting / receiving control data via a communication line
And after decoding the received image data from the transmitting and receiving means,
Decoding means for inputting to the video output means;
After encoding the transmission video signal from the input means,
Encoding means input to the means and a system related to transmission and reception.
System control means for controlling system operation
In talking device, said decoding means and said encoding means, and means corresponding to at least a still image, the system
Means for controlling the distance / direction detection.
Depending on the detection result by the received signal, the transmission data transmission
The control by the system control means is performed by transmitting the still image data registered in advance while the detection result by the reception signal of the distance / direction detection receiving means is not detectable or out of the predetermined detection range. To do
Unnecessary images are not sent, and it is also possible to send images according to the situation.

【0008】[0008]

【発明の実施の形態】本発明の実施の形態について図面
を参照しながら以下に説明する。図8は、本発明のテレ
ビ電話装置の実施の一形態の外観を示す図である。この
テレビ電話装置は、親機18とコードレス子機17とに
分かれており、親機18には、通話者を撮影する内蔵カ
メラ8と、通信相手のテレビ電話装置から送られてきた
受信画像又は当該通話者の人物像を撮影した送信画像を
映し出す液晶モニタ7と、通信開始時に相手方の電話番
号を入力する操作部13がある。コードレス子機17に
は、赤外線を発光する発光部14が装備されており、そ
れに対応して親機18には赤外線を受光する受光部15
が装備されている。テレビ電話装置の操作は一般の電話
と同様に、オフフック状態にした後、操作部13のテン
キーにより通信相手の電話番号を入力する。同様の機能
を備えるテレビ電話装置を使用している通信相手がオフ
フック状態になれば、画像の送受信が開始される。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 8 is a diagram showing an appearance of a videophone device according to an embodiment of the present invention. This videophone device is divided into a base unit 18 and a cordless handset 17. The base unit 18 has a built-in camera 8 for photographing a caller and a received image or There is a liquid crystal monitor 7 for displaying a transmission image obtained by photographing the person image of the caller, and an operation unit 13 for inputting the telephone number of the other party at the start of communication. The cordless handset 17 is provided with a light emitting unit 14 that emits infrared light, and the base unit 18 has a light receiving unit 15 that receives infrared light correspondingly.
Is equipped. The operation of the videophone device is set to an off-hook state in the same manner as a general telephone, and then the telephone number of the communication partner is input using the numeric keypad of the operation unit 13. When a communication partner using a videophone device having the same function goes off-hook, image transmission / reception starts.

【0009】図1は、上記で外観を示した本発明のテレ
ビ電話装置の一実施形態の概要ブロック図を示すもので
ある。図1において、カメラ8で入力されたアナログ映
像信号は、映像入力部9で画像データにA/D変換さ
れ、送信メモリ10に蓄えられる。通常、送信メモリ1
0に蓄えられた画像データは、画像処理部4で圧縮・符
号化処理され、画像送受信バッファメモリ3を経て通信
インタフェース部2に送られる。また、コードレス子機
17のマイクから入力されたアナログ音声信号は、音声
データにA/D変換され、電波で親機18に送出され
る。親機18のコードレスインタフェース部16で受波
された音声データは、通信インタフェース部2で画像デ
ータと多重化されて、通信回線1を経由して通信相手の
テレビ電話装置に送信される。通信相手から送られてく
る多重化された画像データと音声データは、通信インタ
フェース部2で分けられる。画像データは、画像送受信
バッファメモリ3を経て、画像処理部4で伸長・復号化
され、受信メモリ5に蓄えられる。そして、映像出力部
6でアナログ映像信号にD/A変換され、必要に応じて
モニタ7に通信相手の人物像として映し出される。一
方、音声データは、コードレスインタフェース部16か
ら電波でコードレス子機17に送出される。コードレス
子機17で受波された音声データは、アナログ音声信号
にD/A変換されて、スピーカ(図示せず)から音声と
して出力される。
FIG. 1 is a schematic block diagram showing an embodiment of the videophone apparatus according to the present invention, which has the above appearance. In FIG. 1, an analog video signal input by a camera 8 is A / D converted into image data by a video input unit 9 and stored in a transmission memory 10. Normally, transmission memory 1
The image data stored in 0 is subjected to compression / encoding processing in the image processing unit 4 and sent to the communication interface unit 2 via the image transmission / reception buffer memory 3. The analog audio signal input from the microphone of the cordless handset 17 is A / D converted to audio data and transmitted to the base unit 18 by radio waves. The audio data received by the cordless interface unit 16 of the parent device 18 is multiplexed with image data by the communication interface unit 2 and transmitted to the videophone device of the communication partner via the communication line 1. The multiplexed image data and audio data sent from the communication partner are separated by the communication interface unit 2. The image data passes through the image transmission / reception buffer memory 3, is decompressed and decoded by the image processing unit 4, and is stored in the reception memory 5. Then, it is D / A converted into an analog video signal by the video output unit 6, and is displayed on the monitor 7 as a person image of the communication partner as necessary. On the other hand, the audio data is transmitted from the cordless interface unit 16 to the cordless handset 17 by radio waves. The audio data received by the cordless handset 17 is D / A converted into an analog audio signal and output as audio from a speaker (not shown).

【0010】図2は、この実施形態におけるテレビ電話
装置による人物撮影の処理動作を示すフローチャートで
ある。図2に従って説明すると、まず、親機18からコ
ードレス子機17が離脱される(ステップS1)と、コ
ードレス子機17に内蔵された発光部14は、赤外線を
発光し(ステップS2)、親機18は、受光部15でそ
の赤外線を受光する(ステップS3)。受光された赤外
線は増幅回路20で増幅され(ステップS4)、最大値
を検出するように方向制御回路21が働き(ステップS
5)、モータ制御回路19がDCモータ22を駆動させ
る。ここでは、内蔵カメラ8は左右に回転、上下に傾け
させることができ、モータ制御回路19から、左右およ
び上下方向への駆動の命令が出されて(ステップS
6)、コードレス子機17の方へ向けられるように駆動
される(ステップS7)。親機18の受光部15はカメ
ラ部8のレンズの脇に設けられており、受光部15の検
出値が最大になるように、受光部15が移動するに伴っ
てカメラのレンズも同様にコードレス子機17の方を向
く(ステップS8)。図3は、カメラのズーム比切り替
えを行うための構成をより詳細に示すブロック図であ
る。図3において、親機18の受光部15より受光され
た赤外線の値は、増幅回路20を通してシステム制御部
11の距離算出部11aでコードレス子機17と親機1
8との距離を算出する(ステップS9)。次に、コード
レス子機17の距離に対して当該通話者の顔を主体とし
た映像がちょうど撮影できるように、あらかじめ設定さ
れたズーム比に調整する(ステップS10)距離/ズー
ム比変換部11bを通して、カメラ制御部11cからカ
メラ8内のカメラコントロール部23に指令を送り、カ
メラ8のズーム比を変えてゆく(ステップS11)。こ
の実施の形態によって、当該通話者が親機18から離れ
た位置で、親機の内蔵カメラ8を眺めながら通話してい
る場合でも、周りの景色などが撮影されることなく、当
該通話者の顔を主体にした映像だけに限定した映像を撮
影することが可能となる(ステップS12)。
FIG. 2 is a flow chart showing a processing operation of photographing a person by the video telephone in this embodiment. Referring to FIG. 2, first, when the cordless slave 17 is detached from the master 18 (step S1), the light emitting unit 14 incorporated in the cordless slave 17 emits infrared rays (step S2), In 18, the light receiving unit 15 receives the infrared ray (step S3). The received infrared light is amplified by the amplifier circuit 20 (step S4), and the direction control circuit 21 operates to detect the maximum value (step S4).
5), the motor control circuit 19 drives the DC motor 22. Here, the built-in camera 8 can be rotated left and right and tilted up and down, and commands for driving in the left and right and up and down directions are issued from the motor control circuit 19 (step S).
6), it is driven so as to be directed toward the cordless child device 17 (step S7). The light receiving unit 15 of the base unit 18 is provided beside the lens of the camera unit 8, and the lens of the camera is similarly cordless as the light receiving unit 15 moves so that the detection value of the light receiving unit 15 is maximized. The child turns to the slave 17 (step S8). FIG. 3 is a block diagram showing the configuration for switching the zoom ratio of the camera in more detail. In FIG. 3, the value of the infrared light received from the light receiving unit 15 of the base unit 18 is passed through an amplifier circuit 20 to a distance calculation unit 11 a of the system control unit 11, where the cordless handset 17 and the base unit 1 are transmitted.
Then, the distance to the position No. 8 is calculated (step S9). Next, the zoom ratio is adjusted to a preset zoom ratio so that an image mainly including the face of the caller can be taken just for the distance of the cordless handset 17 (step S10) through the distance / zoom ratio converter 11b. Then, a command is sent from the camera control unit 11c to the camera control unit 23 in the camera 8 to change the zoom ratio of the camera 8 (step S11). According to this embodiment, even when the caller is talking while looking at the built-in camera 8 of the base unit at a position away from the base unit 18, the surrounding scenery and the like are not photographed, and the caller's It is possible to capture an image limited to only an image mainly composed of a face (step S12).

【0011】ここで、コードレス子機17が親機18か
ら遠く離れて、コードレス子機17の方向と距離が検出
できる領域から外れてしまった場合に、画像の送受信を
停止させて、通常の電話のように音声だけの通信に切り
替えるという動作を行わせる。図4は、この動作の手順
を示すフローチャートで、これに沿って、動作説明を行
なう。親機18の受光部15がコードレス子機17の方
向と距離を確認できなくなる(ステップS41)と、シ
ステム制御部11は、画像送受信バッファメモリ3から
通信インタフェース部2への画像データの送信を停止す
る命令を出して(ステップS42)、音声と画像を多重
化して通信を行なっていたのを、音声だけの通信に切り
替える(ステップS43)。それと同時に、画像の通信
を停止する制御信号は、通信回線1を通して通信相手の
テレビ電話装置にも伝達して、通信相手のテレビ電話装
置にも画像の受信を停止させて、一般の電話のように、
音声のみの通信に切り替える。逆に、コードレス子機1
7が検出領域内に戻ってきた場合には(ステップS4
4)、親機18の受光部15がコードレス子機17の方
向と距離を確認し、それに呼応してシステム制御部11
は、画像送受信バッファメモリ3から通信インタフェー
ス部2へ画像データを送信するよう命令を出して(ステ
ップS45)、音声だけの通信を行っていたのを音声と
画像の多重化通信に切り替えさせる。それと同時に、音
声と画像の多重化通信に戻す制御信号は、通信回線1を
通して通信相手のテレビ電話装置にも伝達され、通常の
テレビ電話通信が回復される(ステップS46)。
Here, when the cordless handset 17 is far away from the base unit 18 and out of the area where the direction and distance of the cordless handset 17 can be detected, the transmission and reception of the image is stopped and the ordinary telephone is stopped. The operation of switching to communication using only voice is performed. FIG. 4 is a flowchart showing the procedure of this operation, and the operation will be described along this flowchart. When the light receiving unit 15 of the base unit 18 cannot confirm the direction and distance of the cordless handset 17 (step S41), the system control unit 11 stops transmitting image data from the image transmission / reception buffer memory 3 to the communication interface unit 2. (Step S42), and the communication which multiplexes the voice and the image and performs the communication is switched to the communication using only the voice (step S43). At the same time, the control signal for stopping the communication of the image is also transmitted to the videophone device of the communication partner through the communication line 1 so that the videophone device of the communication partner also stops receiving the image, and receives a signal like a general telephone. To
Switch to voice-only communication. Conversely, cordless handset 1
7 returns to the detection area (step S4).
4) The light receiving unit 15 of the base unit 18 checks the direction and the distance of the cordless handset 17 and responds accordingly.
Issues an instruction to transmit image data from the image transmission / reception buffer memory 3 to the communication interface unit 2 (step S45), and switches from performing only voice communication to multiplexing voice and image communication. At the same time, the control signal for returning to the multiplex communication of voice and image is also transmitted to the other party's videophone device through the communication line 1, and normal videophone communication is restored (step S46).

【0012】次に、コードレス子機17が検出領域外に
出た場合に、動画の送受信を停止して、停止する直前に
送信された画像を静止画として通信相手に送信するよう
に切り替えるという動作を行わせる。図5は、この動作
の手順を示すフローチャートで、これに沿って動作説明
を行う。図6は、図1に示される本発明のテレビ電話装
置の一実施形態の一部をより詳細に示す図である。図1
及び図6を参照すると、カメラ8で入力されたアナログ
映像信号は、映像入力部9で画像データにA/D変換さ
れる。通常、送信メモリ10に蓄えられた画像データ
は、画像処理部4の動画符号化部4aに送られる。動画
符号下部4aは、基本となる画像データに対し動きのあ
った部分だけのデータを処理して画像送受信バッファメ
モリ3に送り込んでいる。ある時、コードレス子機17
が検出領域外に出た場合に(ステップS51)、カメラ
8は通話者を捉えることができなくなって、通話者が送
信を意図していない画像(通話者のいる部屋の風景な
ど)が撮影されることになる。そこで、通信相手にその
画像が送信さないようにするために、システム制御部1
1は、動画符号化部4aから静止画符号化部4bへの切
り替え信号を送り(ステップS52)、受光部15がコ
ードレス子機17を検出していたときに最後に送信した
画像データを動画符号化部4aから静止画符号化部4b
に移して(ステップS53)、静止画処理を行い画像送
受信バッファメモリ3に画像データとして送り込む。通
信インタフェース部2は音声と静止画の多重化を行い
(ステップS54)通信回線1を経由して通信相手のテ
レビ電話装置に送信する(ステップS55)。通信相手
のテレビ電話装置は、静止画が送られたことを検出し
て、動画復号化部4cから静止画復号化部4dに画像デ
ータの復号化を切り替えて処理を行う。その後、コード
レス子機17が親機18の検出領域内に戻ってくると
(ステップS56)、システム制御部11から画像デー
タの動画処理への切り替え命令が出され、静止画符号化
部4bから動画符号化部4aへ画像データの処理を切り
替えて(ステップS57)、画像送受信バッファメモリ
3に画像データとして送り込む。通信インタフェース部
2は音声と動画の多重化を行い送信する。通信相手のテ
レビ電話装置は、動画が送られて来たことを検出して、
静止画復号化部4dから動画復号化部4cに画像データ
の復号化を切り替えて処理を行い、通常の動画によるテ
レビ電話通信が回復される(ステップS58)。
Next, when the cordless handset 17 goes out of the detection area, the transmission / reception of the moving image is stopped, and the image transmitted immediately before the stop is switched as a still image to the communication partner. Is performed. FIG. 5 is a flowchart showing the procedure of this operation, and the operation will be described along this flowchart. FIG. 6 is a diagram showing a part of one embodiment of the videophone device of the present invention shown in FIG. 1 in more detail. FIG.
Referring to FIG. 6 and FIG. 6, an analog video signal input by the camera 8 is A / D converted by the video input unit 9 into image data. Normally, the image data stored in the transmission memory 10 is sent to the moving image encoding unit 4a of the image processing unit 4. The moving image code lower part 4a processes only the part of the basic image data that has moved with respect to the image data and sends the processed data to the image transmission / reception buffer memory 3. One time, cordless handset 17
Is out of the detection area (step S51), the camera 8 cannot capture the caller, and an image that the caller does not intend to transmit (such as a scenery of the room where the caller is present) is captured. Will be. Therefore, in order to prevent the image from being transmitted to the communication partner, the system control unit 1
1 sends a switching signal from the moving image encoding unit 4a to the still image encoding unit 4b (step S52), and converts the last image data transmitted when the light receiving unit 15 detects the cordless handset 17 into the moving image code. Conversion unit 4a to still image coding unit 4b
(Step S53), the still image processing is performed, and the image data is sent to the image transmission / reception buffer memory 3 as image data. The communication interface unit 2 multiplexes the voice and the still image (step S54) and transmits the multiplexed image to the videophone device of the communication partner via the communication line 1 (step S55). The videophone device of the communication partner detects that a still image has been sent, and performs processing by switching the decoding of image data from the moving image decoding unit 4c to the still image decoding unit 4d. Thereafter, when the cordless handset 17 returns to the detection area of the base unit 18 (step S56), the system control unit 11 issues a command to switch to moving image processing of image data, and the still image encoding unit 4b outputs a moving image. The processing of the image data is switched to the encoding unit 4a (step S57), and is sent to the image transmission / reception buffer memory 3 as image data. The communication interface unit 2 multiplexes audio and moving images and transmits them. The videophone device of the communication partner detects that the moving image has been sent,
The processing is performed by switching the decoding of the image data from the still image decoding unit 4d to the moving image decoding unit 4c, and the videophone communication using the normal moving image is restored (step S58).

【0013】次に、コードレス子機17が親機18の検
出領域外に出た場合に、動画での送受信を停止して、あ
らかじめ登録された静止画を、通信相手に送信するよう
に切り替えるという動作を行わせる。静止画の登録は、
図1では、蓄積装置12による。図7は、この動作の手
順を示すフローチャートで、これに沿って、図1及び図
6を参照しつつ動作説明を行う。カメラ8で入力された
アナログ映像信号は、映像入力部9で画像データにA/
D変換される。通常、送信メモリ10に蓄えられた画像
データは、画像処理部4の動画符号化部4aで圧縮・符
号化処理され、画像送受信バッファメモリ3を経て通信
インタフェース部2に送られる。動画符号化部4aは、
基本となる画像データに対し動きのあった部分だけのデ
ータを処理して画像送受信バッファメモリ3に送り込ん
でいる。ある時、コードレス子機17が親機18の検出
領域外に出た場合(ステップS71)、カメラ8は、通
話者の人物像を捉えることができなくなって、通話者の
意図しない画像(通話者のいる部屋の風景など)が撮影
されることになる。そこで、その画像データが送信され
ないようにするために、システム制御部11が画像処理
部4から画像送受信バッファメモリ3に画像データを送
信するのを停止させ(ステップS72)、蓄積装置12
にあらかじめ登録しておいた静止画の画像データを通信
インタフェース部2に送り込む(ステップS73)。通
信インタフェース部2は、音声と静止画の多重化を行い
送信する(ステップS74)。通信相手のテレビ電話装
置は、静止画が送られて来たことを検出して、動画復号
化部4cから静止画復号化部4dに画像データの復号化
を切り替えて処理を行う(ステップS75)。その後、
コードレス子機17が親機18の検出領域内に戻って来
ると(ステップS76)、システム制御部11から画像
データの動画処理への切り替え命令が出され、静止画符
号化部4bから動画符号化部4aへ画像データの処理を
切り替えて(ステップS77)、画像送受信バッファメ
モリ3に画像データとして送り込む。通信相手のテレビ
電話装置は、動画が送られてきたことを検出して、静止
画復号化部4dから動画復号化部4cに画像データの復
号化を切り替えて処理を行い、通常の動画によるテレビ
電話通信が回復される(ステップS78)。
Next, when the cordless slave unit 17 goes out of the detection area of the master unit 18, transmission / reception of a moving image is stopped, and switching is performed so that a still image registered in advance is transmitted to a communication partner. Perform the operation. To register a still image,
In FIG. 1, the storage device 12 is used. FIG. 7 is a flowchart showing the procedure of this operation, and the operation will be described along this flowchart with reference to FIGS. The analog video signal input by the camera 8 is converted into A /
D conversion is performed. Normally, the image data stored in the transmission memory 10 is compressed / encoded by the moving image encoding unit 4 a of the image processing unit 4 and sent to the communication interface unit 2 via the image transmission / reception buffer memory 3. The video encoding unit 4a
Only the moving part of the basic image data is processed and sent to the image transmission / reception buffer memory 3. At one time, if the cordless handset 17 goes out of the detection area of the base unit 18 (step S71), the camera 8 cannot capture a person image of the caller, and an image (caller Scenery of the room where the room is). Therefore, in order to prevent the image data from being transmitted, the system control unit 11 stops transmitting the image data from the image processing unit 4 to the image transmission / reception buffer memory 3 (step S72), and the storage device 12
The image data of the still image registered in advance is sent to the communication interface unit 2 (step S73). The communication interface unit 2 multiplexes the audio and the still image and transmits them (step S74). The videophone device of the communication partner detects that a still image has been sent, and switches the decoding of image data from the moving image decoding unit 4c to the still image decoding unit 4d to perform processing (step S75). . afterwards,
When the cordless handset 17 returns to the detection area of the base unit 18 (step S76), a command to switch the image data to the moving image processing is issued from the system control unit 11, and the still image coding unit 4b outputs the moving image coding. The processing of the image data is switched to the section 4a (step S77), and is sent to the image transmission / reception buffer memory 3 as image data. The videophone device of the communication partner detects that the moving image has been transmitted, switches the decoding of the image data from the still image decoding unit 4d to the moving image decoding unit 4c, performs the processing, and executes the normal moving image TV. The telephone communication is restored (Step S78).

【0014】[0014]

【発明の効果】以上の説明から明らかなように、本発明
によると以下のような効果がある。ードレス子機とし
て使用できるハンドセットを有しているテレビ電話装置
において、同装置を持っている相手との通話中に、親機
がコードレス子機の位置を検出可能な範囲内であれば、
コードレス子機を持って移動しても、親機はコードレス
子機から発光される赤外線を受光することによって、コ
ードレス子機の位置を的確に判断し、ズーム比を変える
ことが可能であるので、部屋の風景などが撮影されるこ
となく、通話者の顔を主に撮影した画像が通信相手に送
信できる効果がある。
As apparent from the above description, the present invention has the following effects. In the television telephone apparatus having a handset which can be used as co Doresuko machine, during the call with the other party to have the device, if the detectable range of the position of the master unit is cordless handset,
Even if you move with the cordless handset, the master unit can accurately determine the position of the cordless handset and change the zoom ratio by receiving the infrared light emitted from the cordless handset, There is an effect that an image mainly photographing the face of the caller can be transmitted to the communication partner without photographing the scenery of the room or the like.

【0015】また、コードレス子機として使用できるハ
ンドセットを有しているテレビ電話装置において、同装
置を持っている相手との通話中に、親機がコードレス子
機の位置を検出できなくなるところまでコードレス子機
を持って移動しても(親機とコードレス子機の間に遮蔽
物が生じた時など)、画像送信を停止したり、静止画像
を送信して通話者の意図しない画像(通話者がいる部屋
の風景など)を通信相手に見られるという心配もなく会
話が楽しめる効果がある。
Also , in a videophone device having a handset that can be used as a cordless handset, the cordless handset can not detect the position of the cordless handset during a call with the other party having the device. Even if you move with the handset (such as when there is an obstruction between the base unit and the cordless handset), you can stop image transmission or send a still image to send unintended images (caller The conversation can be enjoyed without worrying that the communication partner can see the scenery of the room where the person is.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明によるテレビ電話装置の一実施形態の概
要ブロック図である。
FIG. 1 is a schematic block diagram of an embodiment of a videophone device according to the present invention.

【図2】この実施形態におけるテレビ電話装置による人
物撮影の処理動作を示すフローチャートである。
FIG. 2 is a flowchart illustrating a processing operation of photographing a person by the videophone device according to the embodiment;

【図3】カメラのズーム比切り替えを行うための構成を
より詳細に示すブロック図である。
FIG. 3 is a block diagram illustrating a configuration for switching a zoom ratio of a camera in more detail.

【図4】画像の送受信停止動作の手順を示すフローチャ
ートである。
FIG. 4 is a flowchart illustrating a procedure of an image transmission / reception stop operation.

【図5】撮影画像を静止画として送信す動作の手順を示
すフローチャートである。
FIG. 5 is a flowchart illustrating a procedure of an operation of transmitting a captured image as a still image.

【図6】図1に示される本発明のテレビ電話装置の一実
施形態の一部をより詳細に示す図である。
FIG. 6 is a diagram showing a part of an embodiment of the videophone device of the present invention shown in FIG. 1 in more detail.

【図7】 あらかじめ蓄積された静止画を送信する動作
の手順を示すフローチャートである。
FIG. 7 is a flowchart illustrating a procedure of an operation of transmitting a still image stored in advance.

【図8】本発明及び従来例のテレビ電話装置の外観図を
示すものである。
FIG. 8 is an external view of a videophone device according to the present invention and a conventional example.

【符号の説明】[Explanation of symbols]

1…通信回線、2…通信インタフェース部、3…画像送
受信バッファメモリ、4…画像処理部、4a…動画符号
化部、4b…静止画符号化部、4c…動画復号化部、4
d…静止画復号化部、5…受信メモリ、6…映像出力
部、7…モニタ、8…内蔵カメラ、9…映像入力部、1
0…送信メモリ、11…システム制御部、11a…距離
算出部、11b…距離/ズーム比変換部、11c…カメ
ラ制御部、12…蓄積装置、13…操作部、14…発光
部、15…受光部、16…コードレスインタフェース
部、17…コードレス子機、18…親機、19…モータ
制御回路、20…増幅回路、21…方向制御回路、22
…DCモータ、23…カメラコントロール部。
DESCRIPTION OF SYMBOLS 1 ... Communication line, 2 ... Communication interface unit, 3 ... Image transmission / reception buffer memory, 4 ... Image processing unit, 4a ... Moving picture coding unit, 4b ... Still picture coding unit, 4c ... Moving picture decoding unit, 4
d: Still image decoding unit, 5: Reception memory, 6: Video output unit, 7: Monitor, 8: Built-in camera, 9: Video input unit, 1
0: Transmission memory, 11: System control unit, 11a: Distance calculation unit, 11b: Distance / zoom ratio conversion unit, 11c: Camera control unit, 12: Storage device, 13: Operation unit, 14: Light emitting unit, 15: Light reception Unit, 16: cordless interface unit, 17: cordless slave unit, 18: master unit, 19: motor control circuit, 20: amplifier circuit, 21: direction control circuit, 22
... DC motor, 23 ... Camera control unit.

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04M 3/42 - 3/58 H04M 11/00 - 11/10 H04N 7/14 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04M 3/42-3/58 H04M 11/00-11/10 H04N 7/14

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 音声入出力手段及び距離・方向検出用送
信手段を少なくとも有するコードレス子機として使用す
るハンドセットと、カメラ,モニタ等を含む映像入出力
手段及び前記距離・方向検出用送信手段からの送信信号
を受信する距離・方向検出用受信手段を少なくとも有す
る親機と、前記距離・方向検出用受信手段の受信信号に
よる検出結果に基づいて、前記カメラ等の映像入力手段
を前記ハンドセット近辺の映像を撮影するように制御す
る手段と、音声,画像データ及び通信制御用データを通
信回線を介して送受信する送受信手段と、該送受信手段
からの受信画像データを復号した後、前記映像出力手段
に入力する復号化手段と、前記映像入力手段からの送信
映像信号を符号化した後、前記送受信手段に入力する符
号化手段と、送受信に関連するシステム動作を制御する
システム制御手段とを備えるテレビ電話装置において、
前記システム制御手段は、更に、前記距離・方向検出用
受信手段の受信信号による検出結果によって、送信デー
タの送信の制御を行い、該システム制御手段による制御
は、前記距離・方向検出用受信手段の受信信号による検
出結果が検出不能又は所定検出範囲外にある期間、画像
データの送信を停止するとともに、通信相手へ該停止を
知らせるデータを送信する制御を行うようにすること
特徴とするテレビ電話装置。
1. A handset used as a cordless handset having at least an audio input / output unit and a distance / direction detection transmission unit, a video input / output unit including a camera, a monitor, and the like, and a signal transmitted from the distance / direction detection transmission unit. A base unit having at least a distance / direction detection receiving unit for receiving a transmission signal; and, based on a detection result of the distance / direction detection receiving unit based on the reception signal, the image input unit such as the camera is connected to an image near the handset. Means for controlling an image to be captured, transmitting / receiving means for transmitting / receiving audio, image data and communication control data via a communication line, and decoding the image data received from the transmitting / receiving means and then inputting the data to the video output means. Decoding means for encoding the transmission video signal from the video input means, and then inputting the encoded video signal to the transmission / reception means; And a system control means for controlling a system operation related to the videophone device,
The system control unit further by the detection result of the reception signal of the distance and direction detecting reception means, have row control of transmission of the transmission data, control by the system control unit
Is detected by the reception signal of the distance / direction detection receiving means.
During the period when the output result is undetectable or out of the predetermined detection range, the image
Stop transmitting data and stop the communication
A videophone device for performing control for transmitting data to be notified .
【請求項2】 音声入出力手段及び距離・方向検出用送
信手段を少なくとも有するコードレス子機として使用す
るハンドセットと、カメラ,モニタ等を含む映像入出力
手段及び前記距離・方向検出用送信手段からの送信信号
を受信する距離・方向検出用受信手段を少なくとも有す
る親機と、前記距離・方向検出用受信手段の受信信号に
よる検出結果に基づいて、前記カメラ等の映像入力手段
を前記ハンドセット近辺の映像を撮影するように制御す
る手段と、音声,画像データ及び通信制御用データを通
信回線を介して送受信する送受信手段と、該送受信手段
からの受信画像データを復号した後、前記映像出力手段
に入力する復号化手段と、前記映像入力手段からの送信
映像信号を符号化した後、前記送受信手段に入力する符
号化手段と、送受信に関連するシステム動作を制御する
システム制御手段とを備えるテレビ電話装置において、
前記復号化手段及び前記符号化手段は、少なくとも静止
画に対応する手段とし、前記システム制御手段は、更
に、前記距離 ・方向検出用受信手段の受信信号による検
出結果によって、送信データの送信の制御を行い、該
ステム制御手段による制御は、前記距離・方向検出用受
信手段の受信信号による検出結果が検出不能又は所定検
出範囲外にある期間、その期間直前における送信画像デ
ータを静止画データとして送信する制御を行うようにす
ることを特徴とするテレビ電話装置。
2. An audio input / output means and a distance / direction detection transmission.
Use as a cordless handset with at least communication means
Handset and video input / output including camera, monitor, etc.
Means and transmission signals from the distance / direction detection transmitting means
At least distance / direction detection receiving means for receiving
And the received signal of the distance / direction detection receiving means.
Video input means such as the camera based on the detection result
Control to shoot video near the handset.
Communication means and audio, image data and communication control data.
Transmitting / receiving means for transmitting / receiving via a communication line, and the transmitting / receiving means
The video output means after decoding the received image data from
Decoding means for inputting to the video signal, and transmission from the video input means.
After encoding the video signal, the code input to the transmitting / receiving means
Control the system operation related to the transmission and reception
In a videophone device comprising a system control means,
The decoding unit and the encoding unit are at least units corresponding to still images, and the system control unit is
The detection based on the reception signal of the distance / direction detection receiving means
The output result, and controls the transmission of the transmission data, the control by said sheet <br/> system control means, the detection result of the reception signal is outside the range undetectable or predetermined detection of said distance and direction detecting reception means A videophone device for performing control for transmitting, as a still image data, transmission image data in a period and immediately before the period.
【請求項3】 音声入出力手段及び距離・方向検出用送
信手段を少なくとも有するコードレス子機として使用す
るハンドセットと、カメラ,モニタ等を含む映像入出力
手段及び前記距離・方向検出用送信手段からの送信信号
を受信する距離・方向検出用受信手段を少なくとも有す
る親機と、前記距離・方向検出用受信手段の受信信号に
よる検出結果に基づいて、前記カメラ等の映像入力手段
を前記ハンドセット近辺の映像を撮影するように制御す
る手段と、音声,画像データ及び通信制御用データを通
信回線を介して送受信する送受信手段と、該送受信手段
からの受信画像データを復号した後、前記映像出力手段
に入力する復号化手段と、前記映像入力手段からの送信
映像信号を符号化した後、前記送受信手段に入力する符
号化手段と、送受信に関連するシステム動作を制御する
システム制御手段とを備えるテレビ電話装置において、
前記復号化手段及び前記符号化手段は、少なくとも静止
画に対応する手段とし、前記システム制御手段は、更
に、前記距離・方向検出用受信手段の受信信号による検
出結果によって、送信データの送信の制御を行い、該
ステム制御手段による制御は、前記距離・方向検出用受
信手段の受信信号による検出結果が検出不能又は所定検
出範囲外にある期間、あらかじめ、登録された静止画デ
ータを送信する制御を行うようにすることを特徴とする
テレビ電話装置。
3. An audio input / output means and a distance / direction detection transmission.
Use as a cordless handset with at least communication means
Handset and video input / output including camera, monitor, etc.
Means and transmission signals from the distance / direction detection transmitting means
At least distance / direction detection receiving means for receiving
And the received signal of the distance / direction detection receiving means.
Video input means such as the camera based on the detection result
Control to shoot video near the handset.
Communication means and audio, image data and communication control data.
Transmitting / receiving means for transmitting / receiving via a communication line, and the transmitting / receiving means
The video output means after decoding the received image data from
Decoding means for inputting to the video signal, and transmission from the video input means.
After encoding the video signal, the code input to the transmitting / receiving means
Control the system operation related to the transmission and reception
In a videophone device comprising a system control means,
The decoding unit and the encoding unit are at least units corresponding to still images, and the system control unit is
The detection based on the reception signal of the distance / direction detection receiving means
The output result, and controls the transmission of the transmission data, the control by said sheet <br/> system control means, the detection result of the reception signal is outside the range undetectable or predetermined detection of said distance and direction detecting reception means A videophone device for performing control for transmitting registered still image data during a period.
JP01432096A 1996-01-30 1996-01-30 Videophone equipment Expired - Fee Related JP3202575B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01432096A JP3202575B2 (en) 1996-01-30 1996-01-30 Videophone equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01432096A JP3202575B2 (en) 1996-01-30 1996-01-30 Videophone equipment

Publications (2)

Publication Number Publication Date
JPH09214619A JPH09214619A (en) 1997-08-15
JP3202575B2 true JP3202575B2 (en) 2001-08-27

Family

ID=11857800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01432096A Expired - Fee Related JP3202575B2 (en) 1996-01-30 1996-01-30 Videophone equipment

Country Status (1)

Country Link
JP (1) JP3202575B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792235B1 (en) * 2001-09-28 2008-01-07 엘지전자 주식회사 Calling conversion apparatus and method for video terminal
US20040150713A1 (en) * 2003-01-31 2004-08-05 Cheng Y. P. Cordless IP video phone
JP4185891B2 (en) 2004-06-08 2008-11-26 キヤノン株式会社 Communication terminal and communication terminal control method

Also Published As

Publication number Publication date
JPH09214619A (en) 1997-08-15

Similar Documents

Publication Publication Date Title
JP3202575B2 (en) Videophone equipment
JPH0646413A (en) Cordless video telephone set
KR20010019901A (en) Doorphone system capable of taking over the telephone with a visitor during my absence
JP3434640B2 (en) Videophone equipment
KR100705169B1 (en) Imagephone and imagephone control method
JP3512828B2 (en) Video conference system
JP2552503Y2 (en) Videophone equipment
JP3726549B2 (en) Door phone cordless handset adapter
KR100292569B1 (en) Portable Digital Video Monitoring System
JP2006332968A (en) Video television device
JP2859968B2 (en) TV monitor system with telephone function
KR100289437B1 (en) Close-up Control and Method of Video Phone
JP3586094B2 (en) TV door phone equipment
KR20000031665A (en) Method and apparatus for controlling crime prevention of image telephone
JP2003283650A (en) Portable apparatus
JP2001016558A (en) System and method for communication and terminal device
JPH05300506A (en) Image/voice communication terminal equipment
JPH05219500A (en) Visual telephone set
KR20000038151A (en) Automatic response apparatus for video telephone
JPH08204836A (en) Doorphone system
KR19980040838A (en) Videophone systems
JPH04122183A (en) Video telephone set
JPH04237287A (en) Cordless television telephone set
JPH0690446A (en) Visual telephone equipment
JP2002281466A (en) Telephone system with camera

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees