KR100778715B1 - Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation - Google Patents
Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation Download PDFInfo
- Publication number
- KR100778715B1 KR100778715B1 KR1020060095850A KR20060095850A KR100778715B1 KR 100778715 B1 KR100778715 B1 KR 100778715B1 KR 1020060095850 A KR1020060095850 A KR 1020060095850A KR 20060095850 A KR20060095850 A KR 20060095850A KR 100778715 B1 KR100778715 B1 KR 100778715B1
- Authority
- KR
- South Korea
- Prior art keywords
- video call
- home server
- home
- video
- visitor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004891 communication Methods 0.000 title description 2
- 238000012790 confirmation Methods 0.000 claims abstract description 53
- 230000002093 peripheral effect Effects 0.000 claims abstract description 4
- 230000005236 sound signal Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
- H04M11/02—Telephonic communication systems specially adapted for combination with other electrical systems with bell or annunciator systems
- H04M11/025—Door telephones
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
도 1은 본 발명에 따른 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치의 구성을 나타낸 블록도,1 is a block diagram showing a configuration of an apparatus mounted to a home server according to the present invention and controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode;
도 2는 도 1에 나타낸 본 발명에 따른 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치의 오디오 믹서부의 내부 구성을 나타낸 블록도,FIG. 2 is a block diagram illustrating an internal configuration of an audio mixer of an apparatus mounted to a home server according to the present invention shown in FIG. 1 and controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode.
도 3은 도 1에 나타낸 본 발명에 따른 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치를 이용한 그 제어 방법의 절차를 나타낸 흐름도이다.FIG. 3 is a flowchart illustrating a procedure of a control method using an apparatus mounted on a home server according to the present invention shown in FIG. 1 and controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
101. PCI 인터페이스부 102. PCI 브릿지부101.PCI interface unit 102.PCI bridge unit
103. MPEG4 코덱부 104. 비디오 쿼드부103.
105. 오디오 믹서부 106. CPLD105.
107. 미디어 인터페이스부 108. 홈오토 인터페이스부107.
본 발명은 다자간 화상통화 및 방문자 확인 제어 장치 및 방법에 관한 것으로서, 더욱 상세하게는 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 서비스 및 방문자 확인 서비스를 CPLD(Comlex Programmable Logic Device)의 서비스 모드별 제어를 통해 제공함으로써 댁내 거주자를 포함한 여러 사람이 IP 네트워크상에서 동일 화면을 보면서 화상통화가 가능하게 하거나, 방문자가 댁내 거주자와 거주자의 외출여부에 상관없이 통화할 수 있도록 하는 장치 및 방법에 관한 것이다.The present invention relates to a multi-party video call and visitor confirmation control device and method, and more particularly, is mounted on a home server, CPLD (Comlex) and multi-party video call service and visitor confirmation service by interworking with the home server and home automation for each service mode Programmable Logic Device) provides service mode control to allow multiple people, including home residents, to make video calls while viewing the same screen on the IP network, or to allow visitors to make calls regardless of whether they are away from home or residents. It relates to an apparatus and a method.
일반적인 홈오토메이션 장치는 현관문 밖에 설치된 도어폰을 통하여 방문자의 영상신호 및 음성신호를 수신하여 댁내 거주자와 통화 후 현관문 개폐를 제어하는 정도의 수준이다. 또한 일반적인 MPEG4 기반의 화상회의 시스템은 MPEG4로 압축한 멀티미디어 화상통신만이 가능하다. A general home automation device receives a video signal and a voice signal of a visitor through a door phone installed outside the front door, and controls the opening and closing of the front door after a call with a resident. Also, a general MPEG4 based video conferencing system is only capable of multimedia video communication compressed with MPEG4.
따라서 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 홈서버에 장착되고, 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 CPLD(Comlex Programmable Logic Device)의 서비스 모드별 제어에 의해 제어하는 것으로, 방문자 확인 서비스 모드시에는, 댁내 거주자의 외출 여부에 따라 거주자가 집에 있으면, 도어폰을 통해서 들어오는 방문자의 음성신호 및 영상 신호를 홈서버로 전달하여 방문자와 댁내 거주자가 통화할 수 있게 하고, 거주자가 외출했으면, 방문자의 음성신호 및 영상신호를 MPEG4 데이터로 압축하여 외출중인 댁내 거주자의 네트워크가 지원되는 이동단말로 전송하여 방문자와 댁내 거주자가 통화할 수 있게 하고, 다자간 화상통화 서비스 모드시에는, 화상통화를 주재하는 주재자의 화면 이외에 네트워크를 통해 입력받은 화상통화에 참가하는 참가자들의 영상화면을 MPEG4 디코딩한 후 한 화면으로 재구성하여 홈서버로 전달하거나 화상통화에 참가하는 참가자들에게 재전송하여 댁내 거주자와 참가자들이 동일한 화면을 보면서 화상통화할 수 있도록 제어하는 장치와 방법을 제공하는 것이다.Accordingly, an object of the present invention is to solve the above-described problems of the prior art, an object of the present invention is mounted on a home server, multi-party video call and visitor confirmation in conjunction with a home server and home automation CPLD (Comlex Programmable Logic) Control by service mode of the device), and in the visitor confirmation service mode, if the resident is at home according to whether the resident is out of the house, the voice signal and the video signal of the visitor coming through the door phone are transmitted to the home server. The visitor and the resident can make a call, and when the resident goes out, the visitor and the resident make a call by compressing the visitor's voice signal and video signal into MPEG4 data and transmitting it to a mobile terminal supported by the network of the resident's house. In a multi-party video call service mode, the video call is presided over. In addition to the host's screen, MPEG-4 decodes the video screen of participants participating in the video call received through the network, reconstructs it into one screen, and delivers it to the home server or retransmits it to the participants in the video call. The present invention provides an apparatus and method for controlling video calls while watching a video.
상기와 같은 목적을 달성하기 위한 본 발명의 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치는, 다자간 화상통화 및 방문자 확인을 제어하는 장치에 있어서, 홈서 버에 장착되고, 홈서버 및 홈오토메이션과 연동하여 상기 방문자 확인 서비스 모드 동작시에는 댁내 거주자의 외출 여부에 상관없이 방문자와 댁내 거주자가 통화하도록 제어하고, 상기 다자간 화상통화 서비스 모드 동작시에는 입력되는 화상통화 참가자의 영상화면을 한 화면으로 재구성하고, 상기 재구성된 화면을 상기 화상통화 참가자에게 재전송하도록 제어하는 것을 특징으로 한다.An apparatus mounted to the home server of the present invention for achieving the above object, and controlling the multi-party video call and visitor confirmation by interworking with the home server and home automation for each service mode, the apparatus for controlling the multi-party video call and visitor confirmation In the home server, the home server and the home automation in conjunction with a home server and the visitor confirmation service mode operation, whether or not the resident of the home, whether or not the visitor to control the call, the multi-party video call service mode operation At the time, the video screen of the video call participant is reconfigured into one screen, and the reconstructed screen is controlled to be retransmitted to the video call participant.
상기한 본 발명의 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치의 내부 구성은, 상기 홈서버에 장착되어 댁내 거주자의 음성신호 및 영상신호를 상기 홈서버로부터 입력받고, 상기 방문자 또는 화상통화 참가자의 음성신호 및 영상신호를 홈서버에 전달하는 PCI(Peripheral Component Interconnect: 장치들간의 상호 접속 시스템) 인터페이스부, 상기 방문자 또는 화상통화 참가자의 음성신호 및 영상신호를 상기 홈서버의 화면표시장치로 전달하는 미디어 인터페이스부, 상기 방문자의 음성신호와 영상신호를 도어폰으로부터 입력받는 홈오토메이션 인터페이스부, 상기 PCI 인터페이스부로부터 입력받은 영상신호를 분배하여 전달하는 PCI 브릿지부, 상기 분배된 영상신호에 대해 인코딩과 디코딩을 수행하는 MPEG4 코덱부, 상기 인코딩된 화상통화 참가자들의 영상을 한 화면으로 재구성하는 비디오 쿼드부, 상기 화상통화 참가자들의 음성신호를 혼합하는 오디오 믹서부 및 상기 다자간 화상통화 서비스 모드와 방문자 확인 서비스 모드를 구분하여 각 서비스 모드별로 상기 MPEG4 코덱부, 상기 비디오 쿼드부 및 상기 오디오 믹서부를 제어하는 CPLD(Comlex Programmable Logic Device)를 포함한다.The internal configuration of the apparatus mounted on the home server of the present invention and controlling the multi-party video call and visitor confirmation by interworking with the home server and the home automation for each service mode is mounted on the home server, and the voice signal and the image of the in-house occupants. Peripheral Component Interconnect (PCI) interface unit for receiving a signal from the home server and transmitting a voice signal and a video signal of the visitor or video call participant to the home server, and the visitor or video call participant. A media interface unit for transmitting audio signals and video signals to a screen display device of the home server, a home automation interface unit for receiving the visitor's audio and video signals from a door phone, and a video signal input from the PCI interface unit. PCI bridge unit for transmitting by, encoding for the distributed video signal And a MPEG4 codec unit for performing decoding, a video quad unit for reconstructing the encoded video call participants' images into a single screen, an audio mixer unit for mixing voice signals of the video call participants, and the multiparty video call service mode and visitor confirmation. The service mode may include a CPLD (Complex Programmable Logic Device) for controlling the MPEG4 codec unit, the video quad unit, and the audio mixer unit for each service mode.
한편, 본 발명의 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 방법은, 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치를 이용한 다자간 화상통화 및 방문자 확인을 제어하는 방법에 있어서, 상기 장치의 레지스터 및 제어값을 초기화하는 초기화 단계, 사용자의 설정에 의해 다자간 화상통화 서비스 모드와 방문자 확인 서비스 모드가 결정되는 단계, 상기 결정된 서비스 모드에 따라 상기 레지스터 및 제어값을 설정하여 서비스 모드를 세팅하는 단계, 상기 세팅된 서비스 모드에 따라 다자간 화상통화 서비스 또는 방문자 확인 서비스를 제공하는 단계를 포함하여 이루어진 것을 특징으로 한다.On the other hand, the method of controlling the multi-party video call and visitor confirmation by interlocking with the home server and home automation for each service mode, mounted on the home server of the present invention, is mounted on the home server, interworking with the home server and home automation for each service mode A method of controlling a multi-party video call and a visitor confirmation using a device for controlling a multi-party video call and visitor confirmation, the method comprising: an initialization step of initializing a register and a control value of the device; Determining a visitor confirmation service mode, setting a register and a control value according to the determined service mode, and setting a service mode; providing a multi-party video call service or a visitor confirmation service according to the set service mode. Characterized in that the made up.
상기 세팅된 서비스 모드가 방문자 확인 서비스 모드인 경우, 댁내 거주자의 외출 여부를 확인하는 단계, 상기 확인 결과, 상기 댁내 거주자가 집에 있는 경우, 방문자의 음성신호 및 영상신호를 미디어 인터페이스를 통해 홈서버로 전달하고, 상기 홈서버와 연결된 화면표시장치로 재생하여 댁내 거주자와 방문자가 통화하는 단계를 더 포함하고, 상기 확인 결과, 상기 댁내 거주자가 집에 없는 경우, 방문자의 음성신호 및 영상신호를 MPEG4 인코딩하고, 상기 MPEG4 인코딩된 신호를 PCI 인터페이스를 통해 홈서버의 네트워크에 연결되어 있는 댁내 거주자의 이동단말로 전 달하여 상기 댁내 거주자와 방문자가 통화한다.When the set service mode is a visitor confirmation service mode, confirming whether or not the resident is out of the house, and as a result of the check, when the resident is at home, a voice signal and a video signal of the visitor are transmitted through a home interface through a home server. And transmitting to a home screen display device connected to the home server and making a call between the inhabitants and the visitor. When the check result indicates that the inhabitants are not at home, the audio signal and the video signal of the visitor are MPEG4. After encoding, the MPEG4 encoded signal is transmitted to a mobile terminal of a resident who is connected to a network of a home server through a PCI interface, so that the resident and the visitor talk.
또한 상기 세팅된 서비스 모드가 다자간 화상통화 서비스 모드인 경우, 상기 댁내 거주자가 다자간 화상통화 참가자인지 주재자인지 확인하는 단계, 상기 확인결과, 상기 댁내 거주자가 다자간 화상통화 참가자이면, 화상통화 주재자와 타참가자들의 영상화면을 네트워크를 통하여 전달받아 홈서버와 연결된 화면표시장치에 재생하는 단계 및 홈서버에 연결된 카메라를 이용해 촬영한 자신의 화면을 MPEG4 인코딩한 후 네트워크를 통해 상기 화상통화 주재자에게 전달하는 단계를 더 포함한다.In addition, when the set service mode is a multi-party video call service mode, the step of confirming whether the resident is a multi-party video call participant or presiding person, if the result of the check, if the resident resident is a multi-party video call participant, the video call host and other participants Receiving a video screen of the user through a network and playing it on a display device connected to a home server, and encoding an image of the user's screen taken using a camera connected to the home server, and then transmitting the video to the video call host via a network. It includes more.
이하, 본 발명의 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, an apparatus installed in a home server of the present invention and controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode will be described in detail with reference to the accompanying drawings.
하기 설명 및 첨부 도면은 본 발명의 전반적인 이해를 돕기 위한 것이며 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.The following description and the annexed drawings are provided to aid the overall understanding of the present invention, and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.
도 1은 본 발명에 따른 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치의 일실시예 를 나타낸 구성도이다. 1 is a block diagram showing an embodiment of an apparatus mounted to a home server according to the present invention and controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode.
홈서버 관리자(거주자)가 홈서버에서 다자간 화상회의 서비스나 방문자 확인 서비스 중 필요한 모드를 세팅하는 것에 의해 장치의 동작이 시작된다. 일상적으로 방문자 확인 서비스 모드로 세팅하고, 화상회의 서비스가 필요한 경우 거주자가 홈서버에서 화상회의 서비스 모드로 설정하는 것에 의해 화상회의 서비스 모드로 변환하게 된다. The operation of the device is started by the home server administrator (resident) setting the required mode in the home server for the multi-conference video conferencing service or the visitor confirmation service. In general, the visitor confirmation service mode is set, and when the videoconferencing service is required, the resident switches to the videoconferencing service mode by setting the videoconferencing service mode on the home server.
또한, 댁내 거주자가 외출하는 경우, 홈서버에서 외출모드를 설정함으로써 댁내 거주자의 외출여부를 알 수 있다. 즉, 본 발명에 따른 장치는 홈서버에 장착되어 거주자에 의해 설정된 서비스 모드에 따라 홈서버와 연동하여 다자간 화상통화 서비스를, 홈오토메이션과 연동하여 방문자 확인 서비스가 가능하도록 하는 보조기능을 담당하는 것이다.In addition, when the in-home residents go out, it is possible to know whether the in-home residents go out by setting the outing mode in the home server. That is, the apparatus according to the present invention is to be in charge of the auxiliary function to enable the visitor confirmation service in conjunction with the home server, multi-party video call service in conjunction with the home server according to the service mode set by the resident in the home server .
도 1에 도시된 바와 같이, 본 발명의 구성은 PCI(Peripheral Component Interconnect: 장치들간의 상호 접속 시스템) 인터페이스부(101), PCI 브릿지부(102), MPEG4 코덱부(103), 비디오 쿼드부(104), 오디오 믹서부(105)와 다자간 화상토화 서비스 및 방문자 확인 서비스에 따라 MPEG4 코덱부(103), 비디오 쿼드부(104), 오디오 믹서부(105)를 제어하는 CPLD(106), 미디어 인터페이스부(107), 홈오토메이션 인터페이스부(108)로 구성된다.As shown in FIG. 1, the configuration of the present invention includes a PCI (Peripheral Component Interconnect)
본 발명에 따른 장치는 PCI 인터페이스부(101)를 통하여 홈서버에 장착되고, 도어폰으로부터 전달되는 방문자의 음성신호 및 영상신호는 홈오토메이션 인터페이스부(108)를 통해서 CPLD(106)로 전달되고, 이 전달된 신호에 대해 CPLD(106)에서는 방문자 확인 서비스 모드를 실행하여 MPEG(103)와 오디오 믹서부(105)를 제어하여 전달된 방문자의 음성신호 및 영상신호를 처리한다. 이때, CPLD(106)에서는 댁내 거주자에 의해 미리 설정된 거주자의 외출모드를 확인하고, 댁내 거주자가 집에 있을 경우와 외출했을 경우를 구분하여 방문자의 음성신호 및 영상신호의 처리를 다르게 제어하여 댁내 거주자에게 전달한다.The apparatus according to the present invention is mounted to the home server through the
방문자 확인 서비스 모드의 경우, 댁내 거주자가 집에 있을 시, 홈오토메이션 인터페이스부(108)는 도어폰에서 입력된 방문자의 음성신호 및 영상신호를 CPLD(106)에 전달하고, CPLD(106)는 전달받은 음성신호와 영상신호에 대해 영상신호는 그대로 미디어 인터페이스부(107)로 전달하고, 음성신호는 오디오 믹서부(105)로 전달한다. 전달된 음성신호는 오디오 믹서부(105)에서 홈서버에서 재생가능한 신호로 변환하고, 이를 CPLD(106)에서 재전송받아 영상신호와 함께 미디어 인터페이스부(107)를 통해 홈서버로 전달한다. In the visitor confirmation service mode, when the in-house resident is at home, the home
이와 같이 전달된 방문자의 음성신호와 영상신호는 홈서버와 연결된 DTV, 모니터 등의 화면표시장치를 통하여 재생되고, 댁내 거주자는 홈서버와 연결된 마이크를 통해 방문자간의 통화가 가능하게 된다. The voice signal and the video signal transmitted by the visitor are reproduced through a display device such as a DTV or a monitor connected to the home server, and the resident can make a call between the visitors through a microphone connected to the home server.
한편, 댁내 거부자가 외출 시, 홈오토메이션 인터페이스부(108)는 도어폰을 통해 입력된 방문자의 음성신호 및 영상신호를 CPLD(106)로 전달하고, CPLD(106)는 전달받은 음성신호 및 영상신호를 MPEG4 코덱부(103)로 전달하고, MPEG4 코덱부(103)는 전달받은 음성신호 및 영상신호를 인코딩하여 PCI 브릿지부(102)를 경유하여 PCI 인터페이스부(101)를 통해 홈서버로 전달한다. On the other hand, when the in-house rejector goes out, the home
이와 같이 홈서버에 전달된 신호는 네트워크가 지원되는 댁내 거주자의 이동단말로 전달되어 이동단말의 화상표시장치에서 재생된다. 이에 따라 댁내 거주자는 이동단말의 마이크를 이용하여 방문자와 통화 가능하게 된다. As such, the signal transmitted to the home server is transmitted to the mobile terminal of the in-home resident supported by the network and reproduced by the image display apparatus of the mobile terminal. Accordingly, the home resident can talk to the visitor using the microphone of the mobile terminal.
여기서, 본 발명의 MPEG4 코덱부(103)는 최대 4명의 참가자들이 화상통화에 참여할 수 있게 하기 위하여 4개의 코덱을 사용하며, 음성 코덱과 영상 코덱을 포함한다. MPEG4 코덱부(103)는 홈서버에서 제공되는 PCI 신호를 하나의 PCI 인터페이스부(101)를 통해 공유하기 위하여 PCI 브릿지부(102)를 사용하여 송수신되는 신호를 분배 및 통합한다. Here, the
다자간 화상통화 서비스 모드의 경우, 홈서버에 연결된 화상통화 장치를 통해 댁내 거주자가 다자간 화상통화를 설정하면, CPLD(106)는 다자간 화상통화 서비스 모드를 실행하여 MPEG4 코덱부(103), 비디오 쿼드부(104), 오디오 믹서부(105)를 제어한다. In the case of the multi-way video call service mode, when the in-house resident sets up the multi-way video call through the video call device connected to the home server, the CPLD 106 executes the multi-way video call service mode to execute the
이 때, 댁내 거주자가 화상통화 주재자이면, 홈서버의 네트워크를 통해 입력되는 화상통화 참가자들의 음성신호 및 영상신호를 PCI 인터페이스부(101)를 경유하여 PCI 브릿지부(102)를 통해 MPEG4 코덱부(103)에 전달된다. MPEG4 코덱부(103)는 전달된 음성신호와 영상신호에 대해, 우선, 음성신호는 디코딩되어 오디오 믹서부(105)에 전달되고, 영상신호는 디코딩되어 비디오쿼드부(104)에 전달된다.At this time, if the home resident is the video call host, the MPEG4 codec unit (eg, the audio signal and the video signal inputted through the network of the home server via the
비디오 쿼드부(104)는 참가자들의 화면을 한 화면으로 재구성하는 역할을 담당하는 곳으로, 주재자인 댁내 거주자 자신을 홈서버에 장착된 USB 카메라 등을 통해 촬영한 영상과 MPEG4(103)에서 전달된 참가자들의 영상을 비디오 쿼드부(104)의 조합에 따라 한 화면으로 재구성된다. 이 재구성된 화면을 미디어 인터페이스부(107)을 통해 홈서버에 전달하여 홈서버에 연결된 화상통화 장치, 예를 들어, DTV, 모니터와 같은 화면표시장치에 재생하여 댁내 거주자가 볼 수 있게 한다. The
동시에, 이 재구성된 화면을 다시 MPEG4 코덱부(103)로 전달하고, MPEG4 코덱부(103)는 오디오 믹서부(105)로부터 적절하게 혼합된 음성신호를 전달받아 비디오 쿼드부(104)의 재구성된 화면과 함께 결합한다. 이 결합된 신호를 PCI 인터페이스부(101)를 경유하여 홈서버의 네트워크를 통해 참가자들의 화상통화 장치로 재전송하여 모든 참가자의 영상이 한 화면으로 재구성된 화면을 보면서 통화할 수 있다.At the same time, the reconstructed picture is transferred back to the
도 2와 같이 구성된 오디오 믹서부(105)는 MPEG4 코덱부(103)에서 전달된 음성신호에 대해 각 참가자들의 음성을 제외한 나머지 참가자들의 음성만을 혼합한다. 이 혼합된 음성을 MPEG4 코덱부(103)로 전달하여 영상신호와 결합하도록 한다. 즉, 비디오 쿼드부(104)는 원격의 참가자 모두가 같은 장소에서 이야기하는 것처럼 자신의 음성은 제외한 다른 화상통화 참가자들의 혼합된 음성만 재생하고, 자신의 음성은 다른 화상통화 참가자에게 보내는 역할을 담당한다.The
한편, 댁내 거주자가 화상통화 참가자이면, 화상통화 주재자의 화상통화 장치로부터 주재자 및 참가자들의 영상이 한 화면으로 재구성된 화면을 댁내 거주자의 홈서버의 네트워크를 통해 전송받고, 이를 PCI 인터페이스부(101)를 통해 전달받아 PCI 브릿지부(102)를 경유하여 MPEG4 코덱부(103)에서 디코딩하여 비디오 쿼드부(104)를 통해 미디어 인터페이스부(107)를 경유하여 홈서버에 전달되고, 홈서버에 연결된 DTV, 모니터와 같은 화면표시장치를 통해 재생한다. On the other hand, if the resident is a video call participant, the screen of the video call host receives a screen reconstructed by the video of the host and participants of the participant through a network of the home resident's home server, the
또한, 홈서버에 연결된 USB 카메라 등을 이용하여 자신의 모습을 촬영하여 PCI 인터페이스부(101), PCI브릿지부(102)를 통해 MPEG4 코덱부(103)에 전달하며, 마이크를 이용하여 얻어진 댁내 거주자의 음성을 오디오 믹서부(105)를 통해 MPEG4 코덱부(104)로 전달한다. MPEG4 코덱부(104)에서는 촬영된 자신의 영상과 음성을 함께 다시 PCI 브릿지부(102) 및 PCI 인터페이스부(101)를 통해 홈서버에 전달하여 네트워크를 통해 화상통화 주재자의 화상통화 장치로 전송한다. In addition, by taking a picture of yourself using a USB camera connected to the home server, and transmits to the
여기서, 본 발명의 비디오 쿼드부(104)는 CPLD(106) 사이의 인터페이스로서 로컬버스 인터페이스를 가지므로, CPLD(106)에서는 비디오 쿼드부(104)를 제어하기 위한 제어신호를 로컬버스 인터페이스로 변환한다. 즉, 홈서버의 메인보드에 장착된 프로세서에서 GPIO 중 세 개의 출력을 이용해 chip select, clock, data로 구성되는 3-wire Serial Control 신호를 구현하고, 이 구현된 제어신호를 PCI 인터페이스부(101)를 통하여 CPLD(106)에서 수신하고, 이 수신한 제어신호를 로컬버스 인터페이스를 통해 비디오 쿼드부(104)를 제어한다. Here, since the
상기한 바와 같이, 본 발명에 따른 장치는 다자간 화상통화 서비스 모드와 방문자 확인 서비스 모드를 구분하고, 다자간 화상통화 서비스 모드시 각 화상통화 참가자의 목소리를 개별적으로 혼합/조절하도록 오디오 믹서부(105)를 제어하고, 3-wire Serial Control 신호를 수신하여 로컬버스 인터페이스로 변환하여 비디오 쿼드부(104)를 제어한다.As described above, the apparatus according to the present invention distinguishes between the multi-party video call service mode and the visitor confirmation service mode, and separately mixes / adjusts the voices of each video call participant in the multi-party video call service mode. Control the
도 2는 도 1에 나타낸 본 발명에 따른 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치에 있어서 다자간 화상통화 서비스 모드시 각 화상통화 참가자의 목소리를 개별적으로 혼합/조절하도록 구성된 오디오 믹서부(105)의 내부 구조를 나타낸 것이다.FIG. 2 is a device mounted on a home server according to the present invention shown in FIG. 1, and in a device for controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation for each service mode. It shows the internal structure of the
도 3은 도 1에 나타낸 본 발명에 따른 장치를 이용하여 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 방법을 설명하는 흐름도이다. FIG. 3 is a flowchart illustrating a method of controlling a multi-party video call and visitor confirmation by interworking with a home server and a home automation using a device according to the present invention shown in FIG.
도 3에 도시된 바와 같이 본 발명에 따른 방법은 장치를 초기화하면서 시작한다(ST301). 여기서 장치의 초기화는 서비스 모드별로 설정되는 MPEG4 코덱부(103), 비디오 쿼드부(104), 오디오 믹서부(105)에 대한 레지스터 및 각종 제어값의 초기화를 의미하며, 서비스 모드가 설정되지 않은 상태를 말한다. 특히 오디오 믹서부(105)의 초기화는 CPLD(106) 내부에 미리 정의된 레지스터를 세팅하여 이루어지게 된다.As shown in Fig. 3, the method according to the invention starts by initializing the device (ST301). Here, the initialization of the device means initialization of registers and various control values for the
그런 다음, 상기 장치의 초기화(ST301)가 이루어진 후에는 서비스 모드를 결정하게 되는데 이때, 댁내 거주자가 홈서버를 통해 방문자 확인 서비스 모드 혹은 다자간 화상통화 서비스 모드 중 하나를 결정한다(ST302). 즉, 서비스 모드의 결정은 댁내 거주자의 설정에 의해 이루어지는 것으로, 기본적으로 방문자 확인 서비스 모드가 설정되고, 다자간 화상통화 서비스 모드는 사용자의 설정이 있는 경우 방문자 확인 서비스 모드에서 변환되어 실행된다.Then, after the initialization of the device (ST301) is made, the service mode is determined, wherein the resident determines one of the visitor confirmation service mode or the multi-party video call service mode through the home server (ST302). That is, the determination of the service mode is made by the setting of the home resident. Basically, the visitor confirmation service mode is set, and the multi-party video call service mode is executed by being converted from the visitor confirmation service mode when the user has a setting.
그런 다음, 서비스 모드 결정(ST302)에서 방문자 확인 서비스 모드가 결정되는 경우, CPLD(106)의 내부에 초기화된 레지스터 및 제어값을 설정하여 방문자 확 인 서비스 모드를 세팅한다(ST303). Then, when the visitor confirmation service mode is determined in the service mode decision ST302, the visitor confirmation service mode is set by setting an initialized register and a control value in the CPLD 106 (ST303).
방문자 확인 서비스가 세팅되면(ST303), 댁내 거주자의 외출 여부를 확인하고(ST304), 확인 결과, 댁내 거주자에 의해 미리 외출모드가 설정되어 있는 경우(yes), 코덱#1을 열고 비디오 쿼드부(104)의 모든 채널을 닫은 후(ST307), 도어폰을 통해 홈오토메이션 인터페이스부(108)로 전달되는 방문자의 음성신호 및 영상신호는 CPLD(106)를 거쳐 코덱#1에서 MPEG4 인코딩되고, 이 MPEG4 인코딩된 신호는 PCI 인터페이스부(101)를 경유하여 홈서버의 네트워크를 통해 외부에 있는 거주자의 무선 이동단말로 전달된다(ST308). If the visitor confirmation service is set (ST303), the home resident checks whether or not to go out (ST304). If the check result indicates that the home resident is set to go out in advance (yes), the
한편 댁내 거주자의 외출 여부를 확인하여(ST304) 외출모드가 설정되어 있지 않은 경우(No), 코덱#1 ~ 코덱#4를 모두 닫고, 비디오 쿼드부(104)의 5번째 채널을 열은 후(ST305), 도어폰으로부터 홈오토메이션 인터페이스부(108)에 전달된 방문자의 음성신호 및 영상신호를 CPLD(106)를 거쳐 비디오 쿼드부(104)의 5번째 채널을 통해 미디어 인터페이스부(107)에 전달되고, 이 전달된 신호를 홈서버와 연결된 DTV, 모니터 등의 화면표시장치를 통하여 재생하여 댁내 거주자와 방문자가 통화하게 된다(ST306).On the other hand, if the home resident checks out (ST304) when the outing mode is not set (No), closes all the
다음으로 서비스 모드 결정(ST302)에서 댁내 거주자가 다자간 화상통화 서비스 모드를 결정한 경우, CPLD(106)는 초기화된 레지스터 및 제어값을 설정하여 다 자간 화상통화 서비스 모드를 세팅한 후(ST303), 댁내 거주자가 화상통화를 주재하느냐, 화상통화에 참가하느냐의 여부를 확인한다(ST309).Next, when the resident determines the multiparty video call service mode in the service mode determination (ST302), the
확인 결과, 댁내 거주자가 화상통화에 참가하는 경우, 화상통화 주재자의 비디오 쿼드부(104)에서 한 화면으로 재구성된 화상통화 참가자들의 화면이 네트워크를 통해 입력되어 PCI 인터페이스부(101)로 전달되고, PCI 브릿지부(102)를 통해 MPEG4 코덱부(103)로 전달되어 디코딩된 후 비디오 쿼드부(106)에 전달된다. 이 신호를 미디어 인터페이스부(107)를 통해 홈서버에 전달되고, 홈서버에 연결된 DTV, 모니터와 같은 화면표시장치를 통해 전달된 참가자들의 화면을 댁내 거주자가 볼 수 있게 된다.As a result, when the resident residents participate in the video call, the video call participant screen reconstructed into one screen in the
그리고, 홈서버와 연결된 USB 카메라 등을 이용하여 화상통화에 참가하는 참가자 자신의 화면을 촬영하고, 이 화면을 MPEG4 코덱부(103)의 코덱#2, 코덱#3을 열고 비디오 쿼드부(104)의 2번, 3번 채널을 열은 후(ST310) MPEG4 인코딩하고, 이 MPEG4 인코딩된 신호를 PCI 인터페이스부(101)를 통하여 홈서버의 네트워크를 통해 화상통화 주재자의 홈서버에 장착된 화상통화 장치에 전달한다(ST311). Then, the participant himself or herself participating in the video call is taken by using a USB camera connected to a home server, and the
상기 선택(ST309)에서 화상통화를 주재하는 경우, 각 참가자의 영상 및 음성을 홈서버의 네트워크를 경유하여 PCI 인터페이스부(101)를 통해 댁내 거주자의 화상통화 장치에 입력되고, 이 입력된 각 참가자의 영상 및 음성은 MPEG4 코덱 부(103)의 코덱#1 ~ 코덱#4를 모두 열고, 비디오 쿼드부(104)의 1번 ~ 4번 채널을 모두 열은 후(ST312), 코덱#1 ~ 코덱#4에서 MPEG4 디코딩된 후 비디오 쿼드부(104)에서 한 화면으로 재구성된다(ST313). When presiding the video call in the selection (ST309), the video and audio of each participant are input to the video call device of the in-home residents through the
재구성된 화면(ST313)은 PCI 인터페이스부(101)를 통해 각 참가자의 화상통화 장치에 전달되고(ST314), 미디어 인터페이스부(107)를 통해 홈서버와 연결된 DTV, 모니터 등의 화면표시장치를 통하여 재생하여 화상통화 주재자와 참가자 모두 동일한 화면을 보면서 통화할 수 있다.The reconstructed screen ST313 is transmitted to the video call device of each participant through the PCI interface unit 101 (ST314), and through a screen display device such as a DTV or a monitor connected to the home server through the
본 발명의 상세한 설명 및 도면에는 본 발명을 이해를 돕기 위한 바람직한 일실시예를 개시한 것으로서 본 발명의 권리범위를 한정하는 것은 아니며, 본 발명의 권리의 범위는 상기한 상세한 설명에 의해 결정되는 것이 아니라 첨부한 청구범위에 결정되어야만 할 것이다.The detailed description and drawings of the present invention disclose a preferred embodiment to help understand the present invention, and do not limit the scope of the present invention, and the scope of the present invention is determined by the above detailed description. Rather, it should be determined in the appended claims.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고, 본 발명의 기술사상을 벗어 나지 않는 범위 내에서 다양하게 변형실시될 수 있다.Although the present invention has been described in more detail with reference to some embodiments, the present invention is not necessarily limited to these embodiments, and various modifications can be made without departing from the spirit of the present invention.
상술한 바와 같이, 본 발명의 홈서버에 장착되고, 서비스 모드별로 홈서버 및 홈오토메이션과 연동하여 다자간 화상통화 및 방문자 확인을 제어하는 장치 및 방법은 홈오토메이션 인터페이스를 통해서 전달되는 방문자의 음성신호 및 영상신호를 전달받아 거주자의 외출여부와 상관없이 방문자와 통화할 수 있고, 홈서버와 연동하여 댁내 거주자를 포함한 여러 사람이 IP 네트워크상에서 참가자 및 주재자가 한 화면으로 구성된 동일 화면을 보면서 다자간 화상통화가 가능하도록 함으로써 하나의 시스템에서 서비스 모드 별로 방문자 확인 서비스와 다자간 화상통화 서비스를 선별하여 제공할 수 있는 효과가 있다.As described above, the apparatus and method for controlling the multi-party video call and visitor confirmation by interworking with the home server and the home automation for each service mode according to the present invention include a voice signal of the visitor transmitted through the home automation interface; Receive the video signal and call the visitor regardless of whether or not the resident goes out, and in conjunction with the home server, multiple people including the resident can watch the same screen consisting of one participant and the host on the IP network. By enabling it, it is possible to select and provide a visitor identification service and a multi-party video call service for each service mode in one system.
또한 본 발명의 다자간 화상통화 서비스는 기존의 소프트웨어 코덱을 이용하여 서비스를 제공하는 일반적인 화상통화 시스템과는 달리 하드웨어 MPEG4 코덱을 이용하여 부하가 많이 필요한 영상과 음성 통화를 실시간으로 빠르게 처리할 수 있게 한다.In addition, unlike a general video call system that provides a service using a conventional software codec, the multi-party video call service of the present invention enables fast processing of video and audio calls that require a lot of load in real time using a hardware MPEG4 codec. .
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060095850A KR100778715B1 (en) | 2006-09-29 | 2006-09-29 | Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060095850A KR100778715B1 (en) | 2006-09-29 | 2006-09-29 | Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100778715B1 true KR100778715B1 (en) | 2007-11-22 |
Family
ID=39080587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060095850A KR100778715B1 (en) | 2006-09-29 | 2006-09-29 | Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100778715B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100984111B1 (en) | 2008-09-24 | 2010-09-28 | 서울통신기술 주식회사 | apparatus and method of process image in home network system |
CN103236122A (en) * | 2013-04-08 | 2013-08-07 | 浪潮集团有限公司 | Tax control verification card based on PCI (peripheral component interconnect) bus interface chip and CPLD (complex programmable logic device) chips |
KR101289619B1 (en) | 2012-03-30 | 2013-08-07 | 주식회사 코맥스 | Allocation device by sensing loop voltage of video signal of videophone |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020001894A (en) * | 2000-01-04 | 2002-01-09 | 구자홍 | multi-communication method of image data transmitter |
KR20020072895A (en) * | 2001-03-13 | 2002-09-19 | 윤여창 | System and method for television portrait service using set-top box |
KR20030082670A (en) * | 2002-04-18 | 2003-10-23 | 에스케이 텔레콤주식회사 | Home network system and method using mobile network |
KR20050014357A (en) * | 2003-07-31 | 2005-02-07 | (주)유비큐 | Home networking system connected with home automation machine using home gateway and computer |
KR20050043597A (en) * | 2003-11-04 | 2005-05-11 | 한국전자통신연구원 | Method of visitor confirming and communication service using internet |
KR20050105542A (en) * | 2004-04-30 | 2005-11-04 | 브이케이 주식회사 | A mobile communication terminal having a function of dividing the display screen |
KR20070025270A (en) * | 2005-09-01 | 2007-03-08 | 삼성전자주식회사 | Method for performing video telephone call of multilateral in wireless terminal |
KR20070027943A (en) * | 2005-08-30 | 2007-03-12 | 삼성전자주식회사 | Method for performing video telephone of sign language in wireless terminal |
KR20070058299A (en) * | 2005-12-02 | 2007-06-08 | 한국전자통신연구원 | Home server having multilateral image communication using tv |
-
2006
- 2006-09-29 KR KR1020060095850A patent/KR100778715B1/en not_active IP Right Cessation
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020001894A (en) * | 2000-01-04 | 2002-01-09 | 구자홍 | multi-communication method of image data transmitter |
KR20020072895A (en) * | 2001-03-13 | 2002-09-19 | 윤여창 | System and method for television portrait service using set-top box |
KR20030082670A (en) * | 2002-04-18 | 2003-10-23 | 에스케이 텔레콤주식회사 | Home network system and method using mobile network |
KR20050014357A (en) * | 2003-07-31 | 2005-02-07 | (주)유비큐 | Home networking system connected with home automation machine using home gateway and computer |
KR20050043597A (en) * | 2003-11-04 | 2005-05-11 | 한국전자통신연구원 | Method of visitor confirming and communication service using internet |
KR20050105542A (en) * | 2004-04-30 | 2005-11-04 | 브이케이 주식회사 | A mobile communication terminal having a function of dividing the display screen |
KR20070027943A (en) * | 2005-08-30 | 2007-03-12 | 삼성전자주식회사 | Method for performing video telephone of sign language in wireless terminal |
KR20070025270A (en) * | 2005-09-01 | 2007-03-08 | 삼성전자주식회사 | Method for performing video telephone call of multilateral in wireless terminal |
KR20070058299A (en) * | 2005-12-02 | 2007-06-08 | 한국전자통신연구원 | Home server having multilateral image communication using tv |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100984111B1 (en) | 2008-09-24 | 2010-09-28 | 서울통신기술 주식회사 | apparatus and method of process image in home network system |
KR101289619B1 (en) | 2012-03-30 | 2013-08-07 | 주식회사 코맥스 | Allocation device by sensing loop voltage of video signal of videophone |
CN103236122A (en) * | 2013-04-08 | 2013-08-07 | 浪潮集团有限公司 | Tax control verification card based on PCI (peripheral component interconnect) bus interface chip and CPLD (complex programmable logic device) chips |
CN103236122B (en) * | 2013-04-08 | 2016-03-16 | 浪潮集团有限公司 | The tax control validity check card of Based PC I Bus Interface Chip and CPLD chip |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7061521B2 (en) | Video conference system providing private and attorney-client privileged communications | |
JP4482330B2 (en) | System and method for providing recognition of a remote person in a room during a video conference | |
US8730297B2 (en) | System and method for providing camera functions in a video environment | |
US9462228B2 (en) | Distributed real-time media composer | |
US9338394B2 (en) | System and method for providing enhanced audio in a video environment | |
US8407287B2 (en) | Systems, methods, and media for identifying and associating user devices with media cues | |
US20040041902A1 (en) | Portable videoconferencing system | |
US7884844B2 (en) | System for conducting videoconferencing session over television network | |
CN100459711C (en) | Video compression method and video system using the method | |
US7973859B2 (en) | Apparatus, network device and method for video/audio data transmission | |
US8749611B2 (en) | Video conference system | |
US20040021764A1 (en) | Visual teleconferencing apparatus | |
US9088690B2 (en) | Video conference system | |
US8743172B2 (en) | Image capturing for video conference system | |
US20050243810A1 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
CN101478642A (en) | Multi-picture mixing method and apparatus for video meeting system | |
WO2008141539A1 (en) | A caption display method and a video communication system, apparatus | |
US8704868B2 (en) | Video conferencing system, video conferencing apparatus, video conferencing control method, and video conferencing control program | |
WO2016008457A1 (en) | Third party application conference processing method and communication device | |
US20110261150A1 (en) | Selective Audio Combination for a Conference | |
KR100778715B1 (en) | Apparatus and method of controlling for multilateral image communication and visitor confirm in service mode connected home server and home automation | |
JP3818054B2 (en) | Multipoint video conference control apparatus, audio switching method, and recording medium recording the program | |
JP2010239641A (en) | Communication device, communication system, control program of communication device, and recording media-recording control program of communication device | |
KR100850350B1 (en) | Home Server having Multilateral Image Communication Using TV | |
JP4680034B2 (en) | COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION DEVICE CONTROL PROGRAM, AND RECORDING MEDIUM CONTAINING COMMUNICATION DEVICE CONTROL PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121031 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20131024 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |