KR101373785B1 - Method and Device for configuring Multi-point Conference - Google Patents

Method and Device for configuring Multi-point Conference Download PDF

Info

Publication number
KR101373785B1
KR101373785B1 KR1020110134636A KR20110134636A KR101373785B1 KR 101373785 B1 KR101373785 B1 KR 101373785B1 KR 1020110134636 A KR1020110134636 A KR 1020110134636A KR 20110134636 A KR20110134636 A KR 20110134636A KR 101373785 B1 KR101373785 B1 KR 101373785B1
Authority
KR
South Korea
Prior art keywords
terminal
user terminals
list
connection
user
Prior art date
Application number
KR1020110134636A
Other languages
Korean (ko)
Other versions
KR20130067754A (en
Inventor
박은성
성동수
이건배
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020110134636A priority Critical patent/KR101373785B1/en
Publication of KR20130067754A publication Critical patent/KR20130067754A/en
Application granted granted Critical
Publication of KR101373785B1 publication Critical patent/KR101373785B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H04W40/16—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality based on interference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08—User group management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

다자간 회의를 구성하는 사용자 단말 및 다자간 회의 구성 방법이 제공된다. 다자간 회의를 구성하는 사용자 단말은, 다자간 회의에 참가하는 다수의 사용자 단말의 목록을 관리하는 단말 목록 관리부, 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고 이에 대응되는 응답 메시지를 수신하는 전송부하 수집부, 상기 수신된 응답 메시지를 기초로 취득한 전송부하 데이터를 기초로 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정하는 경로 설정부 및 상기 결정된 연결경로에 기초하여 상기 다자간 회의에 참가하는 사용자 단말간에 통신 채널을 연결하는 연결 관리부를 포함하며, 상기 전체 평균 미디어 지연값은 상기 단말 목록의 모든 사용자 단말 각각의 평균 미디어 지연값의 총합의 평균값이고, 어느 하나의 사용자 단말에 대한 상기 평균 미디어 지연값은 모든 사용자 단말로부터 상기 어느 하나의 사용자 단말에 이르는 전송부하의 총합의 평균값이다.Provided are a user terminal and a method of configuring a multi-party conference. The user terminal constituting the multi-party conference may include a terminal list manager for managing a list of a plurality of user terminals participating in the multi-party conference, transmitting a response request message to all user terminals included in the terminal list, and receiving a corresponding response message. A transmission load collecting unit, a path setting unit for determining a connection path between user terminals for which a total average media delay value is minimum based on the transmission load data acquired based on the received response message, and the multilateral communication based on the determined connection path. And a connection manager for connecting a communication channel between user terminals participating in the conference, wherein the total average media delay value is an average value of the sum of the average media delay values of all the user terminals in the terminal list. The average media delay value for every user terminal Group is the mean value of the total sum of the load transmitted up to any of the user terminals.

Description

다자간 회의 구성 방법 및 단말 {Method and Device for configuring Multi-point Conference}{Method and Device for configuring Multi-point Conference}

본 발명은 다자간 회의에서 멀티미디어 전송지연을 최소화하는 사용자 단말간 통신 채널의 연결을 구성하는 다자간 회의 구성 방법 및 이를 위한 사용자 단말에 관한 것이다.The present invention relates to a multi-party conferencing method for configuring a connection of a communication channel between user terminals for minimizing multimedia transmission delay in a multi-party conference, and a user terminal for the same.

시간과 공간의 제약 없이 원하는 통신서비스를 제공받을 수 있는 유비쿼터스라는 새로운 통신 패러다임이 점차로 보급되고 있다. 이러한 유비쿼터스 통신환경은 특정한 서비스 분야에서 특히 유용하게 적용될 수 있으며, 그 중 하나가 바로 사용자들 간의 멀티미디어 회의 서비스이다.A new communication paradigm called ubiquitous, which can provide desired communication services without time and space constraints, is gradually being spread. This ubiquitous communication environment can be particularly useful in particular service fields, one of which is a multimedia conference service between users.

다자간 멀티미디어 회의 서비스 방식은 크게 회의 서버가 존재하는 집중식, 분산식과, 회의 서버가 존재하지 않는 단말혼합방식으로 나뉠 수 있다. 집중식은 회의 서비스를 제공하는 회의 서버가 존재하는 방식이다. 분산식은 집중식과 달리 회의 서비스를 제공하는 회의 서버가 분산되어 있는 방식이다. 그리고, 단말혼합방식은 별도의 회의 서버가 존재하지 않는 방식을 말한다.The multi-party multimedia conference service method can be largely divided into a centralized and distributed type in which a conference server exists and a terminal mixed method in which a conference server does not exist. Centralized is the way in which conferencing servers exist that provide conferencing services. Unlike centralized, distributed is a method in which conference servers that provide conferencing services are distributed. The terminal mixing scheme refers to a scheme in which no separate conference server exists.

일반적으로 서버가 존재하는 회의 방식은 미리 계획된 넓은 지역의 참가자들이 유선을 통해 연결된 경우에 주로 사용되고, 서버가 존재하지 않는 회의 방식은 좁은 지역의 소수의 참가자들이 즉흥적인 회의를 개최하기 위해 사용된다.In general, the conference method in which the server exists is mainly used when participants in a large area planned in advance are connected by wire, and the conference method in which the server does not exist is used to hold an impromptu meeting by a small number of participants in a small area.

하지만, 서버가 존재하는 회의 방식은 모든 회의 참가자의 미디어가 원거리에 있는 회의 서버에서 처리되기 때문에 회의의 형태가 비효율적이다. 또한, 분산식의 경우에는 회의 참가자들의 단말기들 사이에 미디어를 직접 교환하기 때문에 회의 참가자 무선 단말기들의 전력 과다 소비 문제가 발생하게 된다.However, the conferencing method in which the server exists is inefficient in the form of conferencing because the media of all the conference participants are processed at the remote conferencing server. In addition, in the distributed case, since the media are directly exchanged between the conference participants 'terminals, the problem of excessive power consumption of the conference participants' wireless terminals occurs.

따라서, 새로운 통신 환경인 유비쿼터스 환경에 가장 적합한 회의 구성방식은 단말혼합방식이라 할 수 있다. 하지만, 이러한 단말혼합방법을 유비쿼터스 환경에 적용하려면 여러 문제가 발생하게 된다. 예를 들어, 참가자들의 연결 구성에 따라 미디어 지연이 늘어날 수 있다. 또한, 미디어 지연이 늘어나게 될수록 미디어의 품질이 떨어지게 된다.Therefore, a conference configuration method most suitable for a ubiquitous environment, which is a new communication environment, may be referred to as a terminal mixing method. However, there are various problems in applying the terminal mixing method to the ubiquitous environment. For example, media delays may increase depending on the connection configuration of the participants. In addition, the higher the media delay, the lower the quality of the media.

따라서, 회의 서비스의 제공 시에 단말기 사이에서 송수신되는 데이터 부하를 최소화할 수 있도록 회의 참가자들의 연결 구성을 계층적으로 관리할 수 있는 계층적 회의 구성 기술이 요구되고 있다.
Accordingly, there is a demand for a hierarchical conference configuration technology capable of hierarchically managing connection configurations of conference participants in order to minimize data load transmitted and received between terminals when providing a conference service.

이와 관련하여, 한국공개특허 제2011-0062570호에는, "화상 회의 시스템 및 그 방법"에 관해 개시되어 있다. 한국공개특허 제2011-0062570호의 발명은 화상 회의 단말기의 초기 설정 완료 후, 화상 회의 시스템에 연결된 서버와의 시험 호출을 통해 설정 상태를 확인할 수 있는 화상 회의 시스템 및 그 방법에 관한 것으로서, 화상 회의 방법은 기저장된 관리 정보를 근거로 단말에 대한 초기 설정을 수행하는 단계; 상기 단말에 연결된 서버와의 시험 호출을 수행하는 단계; 상기 서버로부터 전송된 상기 시험 호출에 따른 결과 정보를 수신하는 단계; 및 상기 수신된 시험 호출에 따른 결과 정보를 근거로 상기 관리 정보를 재설정하는 단계를 포함한다.In this regard, Korean Patent Laid-Open No. 2011-0062570 discloses an "image conference system and method thereof". The invention of Korean Patent Laid-Open No. 2011-0062570 relates to a videoconferencing system and method for verifying a setting state through a test call with a server connected to a videoconferencing system after completion of initial setting of a videoconferencing terminal. Performing initial setting for the terminal based on previously stored management information; Performing a test call with a server connected to the terminal; Receiving result information according to the test call sent from the server; And resetting the management information based on the result information according to the received test call.

한국공개특허 제2011-0062570호, "화상 회의 시스템 및 그 방법"Korean Laid-Open Patent No. 2011-0062570, "Video Conference System and Method thereof"

본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 회의 서비스를 제공하는 경우에 단말기 사이에서 송수신되는 데이터의 부하를 최소화할 수 있는 단말기간 연결을 구성하는 계층적 회의 구성 서비스를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a hierarchical conferencing service that configures a terminal-to-terminal connection that can minimize the load of data transmitted and received between terminals when providing a conference service. To provide.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.

상기 목적을 달성하기 위하여, 본 발명의 제1측면에 따른 다자간 회의를 구성하는 사용자 단말은, 다자간 회의에 참가하는 다수의 사용자 단말의 목록을 관리하는 단말 목록 관리부, 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고 이에 대응되는 응답 메시지를 수신하는 전송부하 수집부, 상기 수신된 응답 메시지를 기초로 취득한 전송부하 데이터를 기초로 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정하는 경로 설정부 및 상기 결정된 연결경로에 기초하여 상기 다자간 회의에 참가하는 사용자 단말간에 통신 채널을 연결하는 연결 관리부를 포함하며, 상기 전체 평균 미디어 지연값은 상기 단말 목록의 모든 사용자 단말 각각의 평균 미디어 지연값의 총합의 평균값이고, 어느 하나의 사용자 단말에 대한 상기 평균 미디어 지연값은 모든 사용자 단말로부터 상기 어느 하나의 사용자 단말에 이르는 전송부하의 총합의 평균값이다.In order to achieve the above object, a user terminal constituting a multi-party conference according to the first aspect of the present invention, a terminal list management unit for managing a list of a plurality of user terminals participating in the multi-party conference, all user terminals included in the terminal list A transmission load collection unit which transmits a response request message to the terminal and receives a response message corresponding thereto, and determines a connection path between user terminals having a minimum average media delay value based on the transmission load data acquired based on the received response message. A connection manager configured to connect a communication channel between the user terminal participating in the multi-party conference based on the determined path setting unit and the determined connection path, wherein the total average media delay value is an average of each user terminal in the terminal list. Is the average value of the sum of the media delay values, A media delay and the average value is the average value of the sum of the load transmitted up to the any one of the user terminals from all the user terminals.

여기서, 상기 단말 목록 관리부는 상기 경로 설정부에서 상기 연결경로가 결정된 사용자 단말들의 목록인 연결 완료 목록을 관리할 수 있다.Here, the terminal list manager may manage a connection complete list which is a list of user terminals whose connection path is determined by the path setting unit.

여기서, 상기 단말 목록 관리부는 상기 다자간 회의를 개설하는 사용자 단말을 호스트 단말로서 등록하고, 상기 호스트 단말을 상기 연결 완료 목록에 추가할 수 있다.Here, the terminal list manager may register a user terminal for establishing the multi-party conference as a host terminal and add the host terminal to the connection complete list.

여기서, 상기 경로 설정부는 상기 연결 완료 목록에 포함된 사용자 단말과 미포함사용자 단말이 쌍을 이루는 모든 연결경로에 대해 상기 전체 평균 미디어 지연값을 계산하여, 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로를 선택할 수 있다.Here, the path setting unit calculates the total average media delay value for all connection paths in which the user terminal and the non-user terminal included in the connection complete list are paired, so that the total average media delay value is the minimum. Can be selected.

여기서, 상기 경로 설정부는 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로에 대응되는 미포함 사용자 단말을 상기 연결 완료 목록에 추가할 수 있다.Here, the path setting unit may add a non-user terminal corresponding to the connection path of which the total average media delay value is minimum to the connection complete list.

여기서, 상기 경로 설정부는 모든 사용자 단말이 상기 연결 완료 목록에 포함될 때까지 상기 전체 평균 미디어 지연값이 최소가 되는 미포함 사용자 단말을 선택하여 상기 연결 완료 목록에 추가할 수 있다.Here, the path setting unit may select the non-contained user terminal having the minimum average media delay value until all the user terminals are included in the connection complete list, and add the user terminal to the connection complete list.

여기서, 상기 연결 관리부는 자신과 직접 연결되는 사용자 단말에 관한 정보 및 자신과 직접 연결되지 않는 사용자 단말과의 통신을 위해 경유하는 사용자 단말의 정보를 관리할 수 있다.Here, the connection manager may manage information about a user terminal directly connected to itself and information of a user terminal passing through for communication with a user terminal not directly connected to the user.

여기서, 상기 전송부하 수집부는 호스트 단말로부터 전송부하 요청메시지를 수신하면 상기 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고, 이에 대응하는 응답 메시지를 수신할 수 있다.Here, when the transmission load collector receives the transmission load request message from the host terminal, the transmission load collection unit may transmit a response request message to all user terminals included in the terminal list, and receive a response message corresponding thereto.

여기서, 상기 전송부하 수집부는 상기 수신된 응답 메시지를 기초로 사용자 단말간 전송부하를 취합하여 상기 전송부하 요청메시지를 전송한 호스트 단말로 전송할 수 있다.
Here, the transmission load collection unit may collect the transmission load between user terminals based on the received response message and transmit the transmission load request message to the host terminal.

또한, 본 발명의 제 2 측면에 따른 다수의 사용자 단말로 구성되는 다자간 회의 구성 방법은, 다자간 회의에 참가하는 모든 사용자 단말을 포함하는 단말 목록을 작성하는 단말목록 작성단계, 상기 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고 이에 대응되는 응답 메시지를 수신하는 메시지 수신단계, 상기 수신된 응답 메시지로부터 단말간의 전송부하 데이터를 취득하는 전송부하 취득단계, 상기 전송부하 데이터를 기초로 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정하는 연결경로 결정단계 및 상기 결정된 연결경로에 기초하여 상기 다자간 회의에 참가하는 사용자 단말간에 통신 채널을 연결하는 통신채널 연결단계를 포함하며, 상기 전체 평균 미디어 지연값은 상기 단말 목록의 모든 사용자 단말 각각의 평균 미디어 지연값의 총합의 평균값이고, 어느 하나의 사용자 단말에 대한 상기 평균 미디어 지연값은 모든 사용자 단말로부터 상기 어느 하나의 사용자 단말에 이르는 전송부하의 총합의 평균값이다.In addition, a multi-party conference configuration method consisting of a plurality of user terminals according to the second aspect of the present invention, a terminal list creation step of creating a terminal list including all user terminals participating in the multi-party conference, included in the terminal list A message receiving step of transmitting a response request message to all user terminals and receiving a response message corresponding thereto, a transmission load acquiring step of acquiring transmission load data between terminals from the received response message, and an overall average based on the transmission load data A connection path determining step of determining a connection path between user terminals having a minimum media delay value, and a communication channel connection step of connecting a communication channel between user terminals participating in the multi-party conference based on the determined connection path; The total average media delay value is determined by all user terminals of the terminal list. And the average value of the sum total of the respective average media delay value, the average media delay value for any one user terminal is the average value of the sum of the load transmitted up to the any one of the user terminals from all the user terminals.

여기서, 상기 단말목록 작성단계는 상기 호스트 단말을 연결 완료 목록에 추가하는 단계를 더 포함할 수 있다.Here, the terminal list preparation step may further include adding the host terminal to the connection complete list.

여기서, 상기 연결경로 결정단계는 상기 연결 완료 목록에 포함된 사용자 단말과 미포함사용자 단말이 쌍을 이루는 모든 연결경로에 대해 상기 전체 평균 미디어 지연값을 계산하여, 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로를 선택하는 단계를 더 포함할 수 있다.The determining of the connection path may include calculating the total average media delay value for all connection paths in which the user terminal and the non-user terminal included in the connection complete list are paired, so that the total average media delay value is minimized. The method may further include selecting a connection path.

여기서, 상기 연결경로 결정단계는, 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로에 대응되는 미포함 사용자 단말을 상기 연결 완료 목록에 추가하는 단계를 더 포함할 수 있다.The determining of the connection path may further include adding a user terminal not included corresponding to the connection path of which the total average media delay value is minimum, to the connection complete list.

여기서, 상기 연결경로 결정단계는 모든 사용자 단말이 상기 연결 완료 목록에 포함될 때까지 반복 수행될 수 있다.The determining of the connection path may be repeated until all user terminals are included in the connection complete list.

여기서, 상기 단말목록 작성단계 이전에, 상기 다수의 사용자 단말 중에서 선택된 호스트 단말이 상기 다자간 회의를 개설하는 단계를 더 포함할 수 있다.Here, before the terminal list preparation step, the host terminal selected from the plurality of user terminals may further include opening the multi-party conference.

여기서, 상기 메시지 수신단계는, 상기 호스트 단말로부터 전송부하 요청메시지를 수신하면 상기 단말 목록에 포함된 모든 사용자 단말로 상기 응답 요청 메시지를 전송하고, 이에 대응하는 상기 응답 메시지를 수신하는 단계일 수 있다.The receiving of the message may include transmitting the response request message to all user terminals included in the terminal list and receiving the corresponding response message when the transmission load request message is received from the host terminal. .

여기서, 상기 전송부하 취득단계는 상기 수신된 응답 메시지를 기초로 사용자 단말간 전송부하를 취합하여 상기 전송부하 요청메시지를 전송한 호스트 단말로 전송하는 단계를 더 포함할 수 있다.The transmission load acquiring step may further include collecting transmission loads between user terminals based on the received response message, and transmitting the transmission load request message to a host terminal.

여기서, 상기 연결 완료 그룹에 포함된 임의의 두 사용자 단말 간의 연결경로는 하나이며, 상기 임의의 두 사용자 단말 간의 연결경로는 루프를 형성하지 않도록 구성될 수 있다.
Here, the connection path between any two user terminals included in the connection completion group is one, and the connection path between the two arbitrary user terminals may be configured not to form a loop.

상기 목적을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술된 실시예들을 참조하면 명확해질 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. It is provided to fully inform the owner of the scope of the invention.

전술한 본 발명의 위치정보를 이용한 다자간 회의 구성 방법 및 단말의 과제 해결 수단 중 하나에 의하면, 다자간 회의에 참가하는 단말간에 송수신되는 데이터 부하를 최소화할 수 있는 최적화된 단말간 연결을 구성할 수 있다.According to one of the methods for configuring a multi-party conference using the location information of the present invention and the problem solving means of the terminal, it is possible to configure an optimized terminal-to-device connection that can minimize the data load transmitted and received between the terminals participating in the multi-party conference. .

도 1은 본 발명의 일 실시예에 따른 다수의 사용자 단말들로 구성되는 다자간 회의 서비스의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 다자간 회의를 구성하는 사용자 단말의 구성도이다.
도 3a~3c는 본 발명의 일 실시예에 따른 다자간 회의 서비스에서 전송부하 데이터를 수집하는 과정을 설명하기 위한 도면이다.
도 4a~4b는 본 발명의 일 실시예에 따른 다자간 회의 서비스에서 전체 평균 미디어 지연을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말을 이용한 다자간 회의 구성 방법을 나타내는 흐름도이다.
도 6a~6f는 본 발명의 일 실시예에 따른 다자간 회의 구성 방법에서 전체 평균 미디어 지연값이 최소가 되는 연결경로들을 순차적으로 결정하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 다자간 회의 구성 방법에서 전체 평균 미디어 지연값이 최소가 되는 연결경로들을 순차적으로 결정하는 과정을 설명하기 위한 다른 도면이다.1 is a schematic diagram of a multi-party conference service composed of a plurality of user terminals according to an embodiment of the present invention.
2 is a block diagram of a user terminal constituting a multi-party conference according to an embodiment of the present invention.
3A to 3C are diagrams for explaining a process of collecting transmission load data in a multiparty conference service according to an embodiment of the present invention.
4A and 4B illustrate an overall average media delay in a multiparty conference service according to an embodiment of the present invention.
5 is a flowchart illustrating a method of configuring a multiparty conference using a user terminal according to an embodiment of the present invention.
6A to 6F are views for explaining a process of sequentially determining connection paths of which a total average media delay value is minimum in a method of configuring a multi-party conference according to an embodiment of the present invention.
FIG. 7 is another diagram for describing a process of sequentially determining connection paths of which a total average media delay value is minimum in a method of configuring a multi-party conference according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.

이하, 첨부된 도면들을 참조하여 본 발명을 상세히 설명하기로 한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 다수의 사용자 단말들로 구성되는 다자간 회의 서비스의 개요도이다.1 is a schematic diagram of a multi-party conference service composed of a plurality of user terminals according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 계층적 다자간 회의 서비스는 다자간 회의에 참가하는 다수의 사용자 단말(100-1~100-5) 간의 데이터 전송 부하로 인한 미디어 지연의 발생을 최소화하기 위하여, 사용자 단말 간의 데이터 전송 부하를 고려한 다자간 회의 전체의 평균 미디어 지연 값을 최소화하는 방향으로 사용자 단말 간의 통신 채널을 연결한다.As shown in FIG. 1, the hierarchical multi-party conference service is provided between user terminals in order to minimize occurrence of media delay due to data transmission load between a plurality of user terminals 100-1 to 100-5 participating in the multi-party conference. The communication channel is connected between user terminals in a way to minimize the average media delay value of the entire multiparty conference considering the data transmission load.

이를 위해 본 발명의 일 실시예에 따른 다자간 회의 서비스는 별도의 회의 서버를 두지 않고 회의에 참가하는 사용자 단말(100-1~100-5)들 간에 네트워크(10)를 경유하여 직접 통신 채널을 연결한다. 이러한 네트워크(10)에는, 이동 통신망, 무선 인터넷 망, 유선 인터넷 망 등이 포함될 수 있다.To this end, the multi-party conference service according to an embodiment of the present invention connects a direct communication channel via a network 10 between user terminals 100-1 to 100-5 participating in a conference without having a separate conference server. do. The network 10 may include a mobile communication network, a wireless internet network, a wired internet network, and the like.

이때, 다자간 회의에 참가하는 임의의 두 사용자 단말 간에는 단일의 연결경로만이 생성되며, 따라서, 임의의 두 사용자 단말 간의 연결경로는 루프 경로를 형성하지 않게 된다.In this case, only a single connection path is generated between any two user terminals participating in the multi-party conference, and thus, the connection path between any two user terminals does not form a loop path.

이하에서, 도 2를 참조하여 다자간 회의 서비스를 제공하기 위한 사용자 단말의 세부 구성을 설명하기로 한다.
Hereinafter, a detailed configuration of a user terminal for providing a multi-party conference service will be described with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 다자간 회의를 구성하는 사용자 단말의 구성도이다.2 is a block diagram of a user terminal constituting a multi-party conference according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 다자간 회의를 구성하는 사용자 단말(100)은 단말 목록 관리부(110), 전송 부하 수집부(120), 경로 설정부(130) 및 연결 관리부(140)를 포함한다.As illustrated in FIG. 2, the user terminal 100 constituting the multi-party conference includes a terminal list managing unit 110, a transmission load collecting unit 120, a route setting unit 130, and a connection managing unit 140.

사용자 단말은 시스템, 장치, 가입자 유닛, 가입자 스테이션, 이동국, 모바일, 이동 단말기, 원격 스테이션, 원격 단말기, 액세스 단말기, 사용자 단말기, 단말기, 통신 장치, 사용자 에이전트, 사용자 장치 또는 사용자 장비(UE)로 불릴 수도 있다.A user terminal may be called a system, device, subscriber unit, subscriber station, mobile station, mobile, mobile terminal, remote station, remote terminal, access terminal, user terminal, terminal, communication device, user agent, user device or user equipment (UE). It may be.

또한, 사용자 단말은 유선 단말 또는 무선 단말일 수 있으며, 무선 단말은 휴대 전화, 스마트폰, 태블릿, 위성 전화, 무선 전화, SIP(Session Initiation Protocol), WLL(wireless local loop) 스테이션, PDA, 무선 접속 기능을 갖는 핸드헬드 장치, 컴퓨팅 장치 또는 다른 무선 모뎀에 연결된 프로세싱 장치일 수 있다.In addition, the user terminal may be a wired terminal or a wireless terminal, and the wireless terminal may be a mobile phone, a smartphone, a tablet, a satellite phone, a wireless phone, a Session Initiation Protocol (SIP), a wireless local loop (WLL) station, a PDA, or a wireless connection. It may be a handheld device, a computing device, or a processing device coupled to another wireless modem having a function.

단말 목록 관리부(110)는 다자간 회의에 참가하는 다수의 사용자 단말의 단말 목록을 관리한다. 다자간 회의에 참가하는 사용자 단말은 미리 결정되어 단말 목록에 저장될 수 있으며, 다자간 회의에 참가하는 모든 사용자 단말들이 동일한 단말 목록을 공유할 수 있다.The terminal list manager 110 manages terminal lists of a plurality of user terminals participating in the multi-party conference. User terminals participating in the multi-party conference may be predetermined and stored in the terminal list, and all user terminals participating in the multi-party conference may share the same terminal list.

또한, 단말 목록 관리부(110)는 후술할 경로 설정부(130)에서 연결경로가 결정된 사용자 단말들의 목록인 연결 완료 목록을 관리한다. 이때, 연결 완료 목록은 단말 목록과 별도의 저장 영역에 생성될 수 있고, 단말 목록 내의 각 사용자 단말 레코드에 식별 필드를 추가하는 방법으로 관리할 수도 있다. 또한, 연결 완료 목록은 어느 사용자 단말에서 나머지 사용자 단말들로의 연결경로 정보를 저장, 관리할 수 있다.In addition, the terminal list manager 110 manages a connection complete list which is a list of user terminals whose connection paths are determined by the path setting unit 130 to be described later. In this case, the connection complete list may be generated in a storage area separate from the terminal list, and may be managed by adding an identification field to each user terminal record in the terminal list. In addition, the connection completion list may store and manage connection path information from one user terminal to the other user terminals.

또한, 단말 목록 관리부(110)는 단말 목록 중의 어느 하나의 사용자 단말(100)이 다자간 회의를 개설하는 경우에, 해당 사용자 단말(100)을 호스트 단말로서 등록하고, 상기 호스트 단말을 연결 완료 목록에 추가할 수 있다. 다자간 회의의 개설은 임의의 사용자 단말 중 누구라도 가능하다.In addition, the terminal list manager 110 registers the user terminal 100 as a host terminal when one of the user terminals 100 in the terminal list establishes a multi-party conference, and registers the host terminal on the connection completion list. You can add The establishment of the multiparty conference can be made by any user terminal.

전송 부하 수집부(120)는 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고, 응답 요청 메시지를 전송받은 사용자 단말들로부터 이에 대응되는 응답 메시지를 수신한다. 또한, 전송부하 수집부(120)는 응답 요청 메시지 및 응답 메시지를 기초로 사용자 단말 간의 부하정보를 취득한다.The transmission load collection unit 120 transmits a response request message to all user terminals included in the terminal list, and receives a response message corresponding to the response request messages from the user terminals receiving the response request message. In addition, the transmission load collector 120 acquires load information between user terminals based on the response request message and the response message.

도 3을 참조하여 구체적으로 설명하면, 도 3a에서 다자간 회의를 개설하는 사용자 단말인 호스트 단말(A)에서 회의에 참가하는 나머지 사용자 단말들(B, C, D, E)로 부하정보 요청메시지를 전송한다. 부하정보 요청메시지는 호스트 단말(A)의 전송 부하 수집부(120)를 통해 생성되어 전송된다.Specifically, referring to FIG. 3, the load information request message is transmitted from the host terminal A, which is a user terminal for establishing a multi-party conference, to the remaining user terminals B, C, D, and E participating in the conference. send. The load information request message is generated and transmitted through the transmission load collection unit 120 of the host terminal A.

이후, 도 3b에서, 부하정보 요청메시지를 수신한 사용자 단말(B, C, D, E) 및 부하정보 요청메시지를 전송한 호스트 단말(A)은 자신을 제외한 다른 모든 사용자 단말들로 응답 요청 메시지를 전송한다. 응답 요청 메시지를 수신한 경우, 사용자 단말(A, B, C, D, E)의 전송 부하 수집부(120)는 응답 요청 메시지를 전송한 사용자 단말로 상기 응답 요청 메시지에 대응하는 응답 메시지를 전송한다. 이후, 각각의 사용자 단말의 전송 부하 수집부(120)에서 상기 응답 요청 메시지 및 응답 메시지를 이용하여 사용자 단말 간의 전송부하 데이터를 취득한다. 예를 들어, 전송 부하 수집부(120)는 응답 요청 메시지를 보낸 시각과 응답 메시지가 도착한 시간을 계산하여 해당 사용자 단말간의 데이터 전송 부하를 판단할 수 있다. 각각의 사용자 단말(B, C, D, E)에서 수집된 전송부하 데이터는 도 3c와 같이 호스트 단말(A)로 전달되어 취합될 수 있다.Then, in FIG. 3B, the user terminal (B, C, D, E) receiving the load information request message and the host terminal (A) transmitting the load information request message to all other user terminals except the response request message Send it. When receiving the response request message, the transmission load collection unit 120 of the user terminal (A, B, C, D, E) transmits the response message corresponding to the response request message to the user terminal that sent the response request message do. Thereafter, the transmission load collection unit 120 of each user terminal acquires transmission load data between user terminals using the response request message and the response message. For example, the transmission load collector 120 may determine the data transmission load between corresponding user terminals by calculating the time at which the response request message is sent and the time at which the response message arrives. Transmission load data collected at each user terminal (B, C, D, E) can be collected and delivered to the host terminal (A) as shown in Figure 3c.

경로 설정부(130)는 수신된 응답 메시지로부터 취득한 전송부하 데이터를 기초로 전체 평균 미디어 지연 값이 최소가 되는 사용자 단말간 연결 경로를 결정한다.The route setting unit 130 determines the connection path between user terminals for which the total average media delay value is minimum based on the transmission load data acquired from the received response message.

구체적으로, 호스트 단말의 경로 설정부(130)는 다른 사용자 단말들로부터 취득한 전송부하 데이터를 이용하여 다자간 회의 전체의 미디어 지연 값이 최소화가 될 수 있도록 사용자 단말간 연결 경로를 설정한다. 미디어 지연은 임의의 두 사용자 단말기 사이의 홉(hop) 수와 두 사용자 단말 사이를 연결해 주는 다른 사용자 단말 사이의 전송부하에 의해 결정된다. 두 사용자 단말 사이의 홉 수가 늘어날수록 미디어 지연이 늘어난다. 또한, 두 사용자 단말을 연결해 주는 다른 사용자 단말들 사이의 전송 부하의 합이 클수록 미디어 지연이 늘어난다.In detail, the path setting unit 130 of the host terminal sets a connection path between user terminals so that the media delay value of the entire multi-party conference can be minimized using transmission load data acquired from other user terminals. The media delay is determined by the number of hops between any two user terminals and the transmission load between the other user terminals connecting the two user terminals. As the number of hops between two user terminals increases, the media delay increases. In addition, as the sum of the transmission loads between the other user terminals connecting the two user terminals increases, the media delay increases.

도 4a를 참조하면, 4개의 사용자 단말 A, B, C, D 간에 통신 채널이 연결되어 있는 경우에, 사용자 단말 A와 D 사이에는 사용자 단말 B와 C가 있으며, 사용자 단말 B, C는 사용자 단말 A와 D를 연결해 주고 있다. 이 경우, 사용자 단말 A와 D 사이에는 A-B, B-C, C-D의 세 개의 연결이 있으므로 홉수는 3이 된다. 각각의 연결의 괄호 안의 숫자는 각 사용자 단말 간의 데이터 전송부하이며, 이 경우, 사용자 A와 D 간의 데이터 전송부하는 28 + 48 + 14 = 90이므로, 사용자 단말 A의 사용자 단말 D에 대한 미디어 지연 값은 90이 된다. 다자간 회의에 참가한 사용자 단말 중에 임의의 한 사용자 단말과 회의에 참가한 나머지 모든 사용자 단말들 사이에서 계산한 값의 평균을 그 사용자 단말의 평균 미디어 지연이라고 하며, 회의에 참가한 모든 사용자 단말들의 평균 미디어 지연의 평균을 전체 평균 미디어 지연이라 한다.Referring to FIG. 4A, when a communication channel is connected between four user terminals A, B, C, and D, there are user terminals B and C between user terminals A and D, and user terminals B and C are user terminals. It is connecting A and D. In this case, since there are three connections between A-B, B-C, and C-D, the number of hops is three. The number in parentheses of each connection is the data transmission load between each user terminal. In this case, the data transmission load between user A and D is 28 + 48 + 14 = 90, so the media delay value for user terminal D of user terminal A is Becomes 90. The average of the calculated median value between any one of the user terminals in the conference and all other user terminals in the conference is called the average media delay of the user terminal. The average is called the overall average media delay.

임의의 두 사용자 단말 X와 Y 사이의 미디어 지연을 D(x, y)라고 하고, n명의 참가자들이 회의를 구성하고 있다고 가정할 때, 회의에 참가하고 있는 임의의 사용자 단말 j의 평균 미디어 지연은 수식 1과 같다.Assuming that the media delay between any two user terminals X and Y is D (x, y), and assuming n participants form the conference, the average media delay of any user terminal j participating in the conference is Equation 1

(수식 1)

Figure 112011099421573-pat00001
(Equation 1)
Figure 112011099421573-pat00001

임의의 사용자 단말 j의 평균 미디어 지연 값은, 회의에 참가하는 모든 사용자 단말로부터 사용자 단말 j에 이르는 전송부하의 총합을 구한 뒤 사용자 단말 j를 제외한 사용자 단말 수 (n-1)로 나누어 평균을 구한 값이다.The average media delay value of an arbitrary user terminal j is obtained by calculating the sum of the transmission loads from all the user terminals participating in the conference to the user terminal j and dividing by the number of user terminals (n-1) excluding the user terminal j. Value.

또한, 다자간 회의에 참가한 모든 사용자 단말의 평균 미디어 지연의 평균을 구하면 전체 평균 미디어 지연이 되며, 이는 수식 2에 표현되어 있다.In addition, if the average of the average media delay of all the user terminals participating in the multi-party conference is calculated, the average media delay is expressed by Equation 2.

(수식 2)

Figure 112011099421573-pat00002

(Equation 2)
Figure 112011099421573-pat00002

도 4b는 이와 같은 방법으로 5명의 회의 참가자들이 도면과 같이 연결되어 있는 경우의 다자간 회의의 전체 평균 미디어 지연을 도시한 것이다. 이 경우, 다자간 회의의 전체 평균 미디어 지연 Davr 은 60.6이 됨을 알 수 있다.FIG. 4B shows the overall average media delay of the multi-party conference when five conference participants are connected as shown in this manner. In this case, it can be seen that the overall average media delay D avr of the multiparty conference is 60.6.

전체 평균 미디어 지연 Davr을 구하는 과정은 도 5를 참조하여 상세히 후술하기로 한다.The process of obtaining the total average media delay D avr will be described in detail later with reference to FIG. 5.

연결 관리부(140)는 상기 경로 설정부(130)에 의해 결정된 사용자 단말간 연결경로 정보를 기초로 상기 다자간 회의에 참가하는 모든 사용자 단말 간에 통신 채널을 설정한다.The connection manager 140 establishes a communication channel between all user terminals participating in the multi-party conference based on the connection path information between the user terminals determined by the path setting unit 130.

또한, 연결 관리부(140)는 자신과 직접 연결되는 사용자 단말에 관한 정보 및 자신과 직접 연결되지 않는 사용자 단말의 연결 경로 상에 위치하는 사용자 단말의 정보를 관리한다.In addition, the connection manager 140 manages information about a user terminal directly connected to the user and information of the user terminal located on the connection path of the user terminal that is not directly connected to the user.

이하에서, 도 5 및 도 6을 참조하여, 다수의 사용자 단말을 이용하여 다자간 회의를 구성하는 방법을 설명하기로 한다.Hereinafter, a method of configuring a multi-party conference using a plurality of user terminals will be described with reference to FIGS. 5 and 6.

도 5는 본 발명의 일 실시예에 따른 사용자 단말을 이용한 다자간 회의 구성 방법을 나타내는 흐름도이고, 도 6a~6f는 본 발명의 일 실시예에 따른 다자간 회의 구성 방법에서 전체 평균 미디어 지연값이 최소가 되는 연결경로들을 순차적으로 결정하는 과정을 설명하기 위한 도면이다.5 is a flowchart illustrating a method for configuring a multi-party conference using a user terminal according to an embodiment of the present invention, and FIGS. 6A to 6F are minimum average media delay values in a method for configuring a multi-party conference according to an embodiment of the present invention. A diagram for describing a process of sequentially determining connection paths to be used.

우선, 다자간 회의에 참가하는 사용자 단말들 중 어느 하나의 사용자 단말(A)에서 다자간 회의를 개설한다(S100). 이하, 설명의 편의를 위하여 다자간 회의를 개설하는 사용자 단말을 호스트 단말이라고 칭하기로 한다.First, a multi-party conference is established at any one user terminal A among the user terminals participating in the multi-party conference (S100). Hereinafter, for convenience of description, a user terminal for establishing a multi-party conference will be referred to as a host terminal.

이후, 호스트 단말(A)에서 나머지 사용자 단말(B, C, D, E)로 전송부하 요청 메시지를 전송하여 각각의 사용자 단말에서 다른 사용자 단말로의 전송부하 데이터를 요청한다(S102).Thereafter, the host terminal A transmits a transmission load request message to the remaining user terminals B, C, D, and E to request transmission load data from each user terminal to another user terminal (S102).

이후, 전송부하 요청 메시지를 수신한 사용자 단말(B, C, D) 및 전송부하 요청 메시지를 발송한 호스트 단말(A)은 자신을 제외한 나머지 사용자 단말들로 응답 요청 메시지를 발송하고 이에 대응하는 응답 메시지를 수신한다. 사용자 단말은 응답 요청 메시지의 전송 시간 및 응답 메시지의 수신 시간을 계산하여 사용자 단말 간의 전송부하 데이터를 취득하고 이를 호스트 단말로 전송한다(S104).Then, the user terminal (B, C, D) receiving the transmission load request message and the host terminal (A) that sent the transmission load request message sends a response request message to the other user terminals except itself and responds to the corresponding. Receive the message. The user terminal calculates the transmission time of the response request message and the reception time of the response message, acquires transmission load data between the user terminals, and transmits it to the host terminal (S104).

한편, 다자간 회의를 개설한 호스트 단말에 관한 정보가 단말 목록 관리부(110)에 의해 단말 목록 상에 저장된다(S106). 이때, 단계 S104 와 S106의 수행되는 순서는 서로 바뀔 수 있다.On the other hand, the information on the host terminal established the multi-party conference is stored on the terminal list by the terminal list management unit 110 (S106). At this time, the order in which steps S104 and S106 are performed may be interchanged.

이후, 호스트 단말(A)의 경로 설정부(130)는 상기 수신된 전송부하 데이터를 기초로 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정한다(S108).Thereafter, the path setting unit 130 of the host terminal A determines a connection path between user terminals for which the total average media delay value is minimum based on the received transmission load data (S108).

구체적으로, 호스트 단말(A)은 상기 수식 2를 이용하여 계산된 전체 회의 미디어 지연값(Davr)을 최소로 하도록 연결경로를 순차적으로 결정한다. 이를 위해 호스트 단말(A)로부터 Davr이 최소가 되는 노드를 하나씩 순차적으로 선택하여 연결 완료 그룹에 추가하며, 이 과정은 연결 완료 그룹에 모든 사용자 단말이 포함될 때까지 계속된다.Specifically, the host terminal A sequentially determines the connection path so as to minimize the total conference media delay value D avr calculated using Equation 2. To this end, the nodes with minimum D avr are sequentially selected one by one from the host terminal A and added to the connected group, and the process is continued until all the user terminals are included in the connected group.

예를 들어, 도 6b에서, 사용자 단말(A, B, C, D, E)간을 연결하는 각각의 간선에 표시된 숫자는 해당 사용자 단말간의 전송부하이다. 가령, A-B 간의 전송부하는 16이고, B-E 간의 전송부하는 77이다. 최초에는 연결 확정 목록에 호스트 단말(A) 만이 포함되어 있으므로, 호스트 단말(A)로부터 과정을 수행하게 된다.For example, in FIG. 6B, the numbers displayed on the respective trunk lines connecting the user terminals A, B, C, D, and E are transmission loads between the corresponding user terminals. For example, the transmission load between A-B is 16, and the transmission load between B-E is 77. Initially, since only the host terminal A is included in the connection determination list, the process is performed from the host terminal A. FIG.

먼저, 연결 확정 목록에 포함된 호스트 단말(A)와 미포함된 나머지 사용자 단말(B, C, D, E)를 임시로 1:1 로 연결한 후, 각각의 경우에 대하여 수식 2를 이용하여 Davr를 계산한다. 이 경우, 단말 A-B 쌍의 Davr 는 (16+16)/(2*(2-1))=16이다. 여기서, 앞의 16은 사용자 단말 A에서 B로의 전송부하이고, 뒤의 16은 사용자 단말 B에서 A로의 전송부하이며, 연결된 사용자 단말의 수는 2개 이므로 n은 2가 된다. 같은 방법으로, 단말 A-C 쌍, A-D 쌍 및 A-E 쌍의 Davr을 계산하면 각각 45, 26, 22 가 된다(S108).First, the host terminal A included in the connection confirmation list and the remaining user terminals B, C, D, and E that are not included are temporarily connected 1: 1, and then, in each case, D Calculate avr In this case, D avr of the terminal AB pair Is (16 + 16) / (2 * (2-1)) = 16. Here, the first 16 is the transmission load from the user terminal A to B, the second 16 is the transmission load from the user terminal B to A, and n is 2 since the number of connected user terminals is two. In the same manner, when the D avr of the terminal AC pair, the AD pair, and the AE pair is calculated, the values are 45, 26, and 22, respectively (S108).

따라서, 단말 A-B 쌍이 연결된 경우의 Davr이 최소이므로 사용자 단말(A)과 사용자 단말(B)를 연결하는 연결경로를 선택한다. 또한, 연결경로가 확정된 사용자 단말(B)를 연결 완료 그룹에 추가한다(S110). 이 결과는 도 6c에 도시되어 있다.Therefore, since D avr is minimal when the terminal AB pair is connected, the connection path connecting the user terminal A and the user terminal B is selected. In addition, the user terminal B whose connection path is determined is added to the connection complete group (S110). This result is shown in FIG. 6C.

이후, 연결 완료 그룹에 모든 사용자 단말이 포함되었는지를 판단하여, 포함되지 않은 사용자 단말이 있는 경우에는 상기의 단계 S108, S110를 반복하고(S112), 모든 사용자 단말이 포함된 경우에는 연결경로 결정 과정을 종료한다.Subsequently, it is determined whether all the user terminals are included in the connection complete group, and if there are no user terminals included in the connection completion group, the above steps S108 and S110 are repeated (S112). To exit.

이 과정을 상세하게 설명하면, 연결 완료 목록에 포함된 사용자 단말(A, B)와 나머지 사용자 단말(C, D, E)를 임시로 1:1 로 연결한 후, 각각의 경우에 대하여 수식 2를 이용하여 Davr를 계산한다. 이 경우, 연결 가능한 쌍은 A-C, A-D, A-E, B-C, B-D, B-E의 총 6가지 경우가 가능하며, 각각에 대하여 Davr를 구한다.If this process is described in detail, after temporarily connecting the user terminals (A, B) and the remaining user terminals (C, D, E) included in the connection complete list 1: 1, the equation 2 for each case Calculate D avr using. In this case, the connectable pair can be six cases of AC, AD, AE, BC, BD, and BE, and D avr is obtained for each.

단말 A-C 쌍의 경우, 세 단말 A, B, C 간의 Davr는 ((16+45)+(16+61)+(45+61))/(3*(3-1)) = 40.66 이 된다.For a terminal AC pair, D avr between three terminals A, B, and C is ((16 + 45) + (16 + 61) + (45 + 61)) / (3 * (3-1)) = 40.66 .

마찬가지 방법으로 계산하면, A-D, A-E, B-C, B-D, B-E 쌍의 경우에 Davr는 각각 28, 25.33, 35.33, 28, 62 가 된다. 따라서, 사용자 단말(A)와 사용자 단말(E)를 연결하는 경우의 Davr이 최소이므로 A-E 연결 경로를 선택하고, 연결 완료 목록에 사용자 단말(E)를 추가한다. 이 결과는 도 6d에 도시되어 있다.In the same manner, D avr becomes 28, 25.33, 35.33, 28, 62 in the case of AD, AE, BC, BD, and BE pairs. Therefore, since D avr is minimal when connecting the user terminal A and the user terminal E, the AE connection path is selected, and the user terminal E is added to the connection completion list. This result is shown in FIG. 6D.

다음으로, 연결 완료 목록에 포함된 사용자 단말(A, B, E)와 나머지 사용자 단말(C, D)를 임시로 1:1 로 연결한 후, 각각의 경우에 대하여 수식 2를 이용하여 Davr를 계산한다. 이 경우, 연결 가능한 쌍은 A-C, A-D, B-C, B-D, E-C, E-D의 총 6가지 경우가 가능하며, 각각에 대하여 Davr를 구한다.Next, temporarily connect the user terminals (A, B, E) included in the connection completion list with the remaining user terminals (C, D) 1: 1, and then use D avr using Equation 2 for each case. Calculate In this case, the connectable pair can be six cases of AC, AD, BC, BD, EC, and ED, and D avr is obtained for each.

단말 A-C 쌍의 경우, 네 단말 A, B, E, C 간의 Davr은 ((16+26+22)+(16+42+38)+(26+42+48)+(22+38+48))/(4*(4-1)) = 32.5 가 된다. 여기서, 앞에서부터 순서대로 첫 괄호 안의 16은 A-B, 26은 A-D, 22는 A-E이고, 두번째 괄호 안의 16은 B-A, 42는 B-A-D, 38은 B-A-E이고, 세번째 괄호안의 26은 D-A, 42는 D-A-B, 48은 D-A-E이고, 네번째 괄호안의 22는 E-A, 38은 E-A-B, 48은 E-A-D 경로의 전송부하이다.For a terminal AC pair, D avr between four terminals A, B, E, and C is ((16 + 26 + 22) + (16 + 42 + 38) + (26 + 42 + 48) + (22 + 38 + 48) )) / (4 * (4-1)) = 32.5 Where 16 in the first parenthesis is AB, 26 is AD, 22 is AE, 16 in the second parenthesis is BA, 42 is BAD, 38 is BAE, and 26 in the third parenthesis is DA, 42 is DAB, 48 Is DAE, 22 in the fourth parenthesis is EA, 38 is EAB, and 48 is the transmission load of the EAD path.

마찬가지 방법으로 나머지 쌍들의 Davr를 계산하면, 사용자 단말(A)와 사용자 단말(D)를 연결하는 경우의 Davr이 최소이므로 A-D 연결 경로를 선택하고, 연결 완료 목록에 사용자 단말(D)를 추가한다. 이 결과는 도 6e에 도시되어 있다.In the same manner, when the D avrs of the remaining pairs are calculated, since the D avr is minimal when the user terminal A is connected to the user terminal D, the AD connection path is selected, and the user terminal D is added to the connection completion list. Add. This result is shown in FIG. 6E.

사용자 단말(A, B, D, E) 간의 연결 경로가 확정된 상태에서 나머지 사용자 단말(C)의 연결경로를 위와 같은 방법으로 계산하면, 사용자 단말(C)가 사용자 단말(A)와 연결되는 경우의 Davr와, 사용자 단말(C)가 사용자 단말(B)와 연결되는 경우의 Davr이 동일하게 된다. 따라서, 두 경우 중 어느 하나를 선택하여 연결 경로 설정을 완료한다. 도 6f는 A-C 쌍을 선택한 경우의 연결경로를 도시하고 있다. 반면에 도 7은 B-C 쌍을 선택한 경우의 연결경로를 도시하고 있다.When the connection paths of the remaining user terminals C are calculated in the above manner while the connection paths between the user terminals A, B, D, and E are determined, the user terminal C is connected to the user terminal A. avr of D if D avr, a user terminal (C) of the case is connected to a user terminal (B) is the same. Therefore, either of the two cases is selected to complete the connection path setting. 6F shows the connection path when the AC pair is selected. On the other hand, Figure 7 shows the connection path when the BC pair is selected.

이후, 모든 사용자 단말 간에 연결경로 결정된 경우에, 연결 관리부(140)는 상기 결정된 연결경로에 기초하여 사용자 단말간에 통신 채널을 연결하여 다자간 회의를 개통시킨다(S114).
Subsequently, when the connection path is determined between all user terminals, the connection manager 140 connects a communication channel between the user terminals based on the determined connection path to open a multi-party conference (S114).

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다.Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.

또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

Claims (18)

다자간 회의를 구성하는 사용자 단말에 있어서,
다자간 회의에 참가하는 다수의 사용자 단말의 목록을 관리하는 단말 목록 관리부;
단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고 이에 대응되는 응답 메시지를 수신하는 전송부하 수집부;
상기 수신된 응답 메시지로부터 취득한 전송부하 데이터를 참조하여 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정하는 경로 설정부; 및
상기 결정된 연결경로에 기초하여 상기 다자간 회의에 참가하는 사용자 단말간에 통신 채널을 연결하는 연결 관리부
를 포함하며,
상기 전체 평균 미디어 지연값은 상기 단말 목록의 모든 사용자 단말 각각의 평균 미디어 지연값의 총합의 평균값이고,
어느 하나의 사용자 단말에 대한 상기 평균 미디어 지연값은 모든 사용자 단말로부터 상기 어느 하나의 사용자 단말에 이르는 전송부하의 총합의 평균값이고,
상기 전송부하 수집부는 호스트 단말로부터 전송부하 요청메시지를 수신하면 상기 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고, 이에 대응하는 응답 메시지를 수신하고,
상기 전송부하 수집부는 상기 수신된 응답 메시지를 기초로 사용자 단말간 전송부하를 취합하여 상기 전송부하 요청메시지를 전송한 호스트 단말로 전송하고,
상기 단말 목록 관리부는 상기 경로 설정부에서 상기 연결경로가 결정된 사용자 단말들의 목록인 연결 완료 목록을 관리하고,
상기 경로 설정부는 상기 연결 완료 목록에 포함된 사용자 단말과 미포함사용자 단말이 쌍을 이루는 모든 연결경로에 대해 상기 전체 평균 미디어 지연값을 계산하여, 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로를 선택하고,
상기 경로 설정부는 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로에 대응되는 미포함 사용자 단말을 상기 연결 완료 목록에 추가하고,
상기 경로 설정부는 모든 사용자 단말이 상기 연결 완료 목록에 포함될 때까지 상기 전체 평균 미디어 지연값이 최소가 되는 미포함 사용자 단말을 선택하여 상기 연결 완료 목록에 추가하고,
상기 경로 설정부는 모든 사용자 단말이 상기 연결 완료 목록에 포함될 때까지 상기 전체 평균 미디어 지연값이 최소가 되는 미포함 사용자 단말을 선택하여 상기 연결 완료 목록에 추가하는, 다자간 회의를 구성하는 사용자 단말.
In the user terminal constituting the conference,
A terminal list manager for managing a list of a plurality of user terminals participating in a multiparty conference;
A transmission load collection unit transmitting a response request message to all user terminals included in the terminal list and receiving a response message corresponding thereto;
A path setting unit configured to determine a connection path between user terminals for which a total average media delay value is minimum by referring to transmission load data acquired from the received response message; And
A connection manager for connecting a communication channel between user terminals participating in the multi-party conference based on the determined connection path;
Including;
The total average media delay value is an average value of the sum of average media delay values of all user terminals in the terminal list,
The average media delay value for any one user terminal is an average value of the sum total of the transmission loads from all the user terminals to the one user terminal,
When the transmission load collector receives the transmission load request message from the host terminal, the transmission load collecting unit transmits a response request message to all user terminals included in the terminal list, and receives a response message corresponding thereto.
The transmission load collecting unit collects the transmission load between user terminals based on the received response message, and transmits the transmission load request message to the host terminal that has transmitted the transmission load request message.
The terminal list manager manages a connection complete list which is a list of user terminals whose connection path is determined by the path setting unit.
The path setting unit calculates the total average media delay value for all connection paths in which the user terminal and the non-user terminal included in the connection complete list are paired, and selects the connection path having the minimum average media delay value. and,
The path setting unit adds a user terminal not included corresponding to a connection path of which the total average media delay value is minimum, to the connection completion list,
The path setting unit selects and adds to the connection complete list the non-user terminal having the minimum average media delay value until all user terminals are included in the connection complete list.
And the path setting unit selects and adds to the connection complete list the non-user terminal having the minimum average media delay value until all the user terminals are included in the connection complete list.
삭제delete 제1 항에 있어서,
상기 단말 목록 관리부는 상기 다자간 회의를 개설하는 사용자 단말을 호스트 단말로서 등록하고, 상기 호스트 단말을 상기 연결 완료 목록에 추가하는, 다자간 회의를 구성하는 사용자 단말.
The method according to claim 1,
And the terminal list manager registers a user terminal for establishing the multi-party conference as a host terminal, and adds the host terminal to the connection complete list.
삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 연결 관리부는 자신과 직접 연결되는 사용자 단말에 관한 정보 및 자신과 직접 연결되지 않는 사용자 단말과의 통신을 위해 경유하는 사용자 단말의 정보를 관리하는, 다자간 회의를 구성하는 사용자 단말.
The method of claim 1,
And the connection manager manages information about a user terminal directly connected to the user and information of the user terminal passing through for communication with the user terminal not directly connected to the user.
삭제delete 삭제delete 다수의 사용자 단말로 구성되는 다자간 회의 구성 방법에 있어서,
다자간 회의에 참가하는 모든 사용자 단말을 포함하는 단말 목록을 작성하는 단말목록 작성단계,
상기 단말 목록에 포함된 모든 사용자 단말로 응답 요청 메시지를 전송하고 이에 대응되는 응답 메시지를 수신하는 메시지 수신단계,
상기 수신된 응답 메시지로부터 단말간의 전송부하 데이터를 취득하는 전송부하 취득단계,
상기 전송부하 데이터를 참조하여 전체 평균 미디어 지연값이 최소가 되는 사용자 단말간 연결경로를 결정하는 연결경로 결정단계 및
상기 결정된 연결경로에 기초하여 상기 다자간 회의에 참가하는 사용자 단말간에 통신 채널을 연결하는 통신채널 연결단계
를 포함하며,
상기 전체 평균 미디어 지연값은 상기 단말 목록의 모든 사용자 단말 각각의 평균 미디어 지연값의 총합의 평균값이고,
어느 하나의 사용자 단말에 대한 상기 평균 미디어 지연값은 모든 사용자 단말로부터 상기 어느 하나의 사용자 단말에 이르는 전송부하의 총합의 평균값이고,
상기 단말목록 작성단계 이전에,
상기 다수의 사용자 단말 중에서 선택된 호스트 단말이 상기 다자간 회의를 개설하는 단계를 더 포함하고,
상기 메시지 수신단계는,
상기 호스트 단말로부터 전송부하 요청메시지를 수신하면 상기 단말 목록에 포함된 모든 사용자 단말로 상기 응답 요청 메시지를 전송하고, 이에 대응하는 상기 응답 메시지를 수신하는 단계이고,
상기 전송부하 취득단계는 상기 수신된 응답 메시지를 기초로 사용자 단말간 전송부하를 취합하여 상기 전송부하 요청메시지를 전송한 호스트 단말로 전송하는 단계를 더 포함하고,
상기 단말목록 작성단계는 상기 호스트 단말을 연결 완료 목록에 추가하는 단계를 더 포함하고,
상기 연결경로 결정단계는, 상기 연결 완료 목록에 포함된 사용자 단말과 미포함사용자 단말이 쌍을 이루는 모든 연결경로에 대해 상기 전체 평균 미디어 지연값을 계산하여, 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로를 선택하는 단계; 및 상기 전체 평균 미디어 지연값이 최소가 되는 연결경로에 대응되는 미포함 사용자 단말을 상기 연결 완료 목록에 추가하는 단계를 더 포함하고,
상기 연결경로 결정단계는 모든 사용자 단말이 상기 연결 완료 목록에 포함될 때까지 반복 수행되는 것을 특징으로 하는 다자간 회의 구성 방법.
In the multi-party conference configuration method consisting of a plurality of user terminals,
A terminal list preparation step of creating a terminal list including all user terminals participating in a multi-party conference,
A message receiving step of transmitting a response request message to all user terminals included in the terminal list and receiving a response message corresponding thereto;
A transmission load acquiring step of acquiring transmission load data between terminals from the received response message;
A connection path determining step of determining a connection path between user terminals for which a total average media delay value is minimum by referring to the transmission load data;
A communication channel connection step of connecting a communication channel between user terminals participating in the multi-party conference based on the determined connection path;
Including;
The total average media delay value is an average value of the sum of average media delay values of all user terminals in the terminal list,
The average media delay value for any one user terminal is an average value of the sum total of the transmission loads from all the user terminals to the one user terminal,
Before the terminal list creation step,
The host terminal selected from the plurality of user terminals further comprises the step of establishing the multi-party conference,
The message receiving step,
Receiving the transmission load request message from the host terminal, transmitting the response request message to all user terminals included in the terminal list, and receiving the response message corresponding thereto;
The transmission load acquiring step may further include collecting transmission loads between user terminals based on the received response message and transmitting the transmission load request message to a host terminal that has transmitted the transmission load request message.
The terminal list creation step further includes the step of adding the host terminal to the connection complete list,
The determining of the connection path may include: calculating the total average media delay value for all connection paths in which the user terminal and the non-user terminal included in the connection completion list are paired with each other so that the total average media delay value is minimum. Selecting a path; And adding, to the connection complete list, a non-user terminal corresponding to a connection path of which the overall average media delay value is minimum.
The determining of the connection path is a method of configuring a multi-party conference, characterized in that repeatedly performed until all the user terminal is included in the connection complete list.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제 10 항에 있어서,
상기 연결 완료 그룹에 포함된 임의의 두 사용자 단말 간의 연결경로는 하나이며, 상기 임의의 두 사용자 단말 간의 연결경로는 루프를 형성하지 않도록 구성되는, 다자간 회의 구성 방법.11. The method of claim 10,
The connection path between any two user terminals included in the connection complete group is one, and the connection path between the two arbitrary user terminals is configured not to form a loop.
KR1020110134636A 2011-12-14 2011-12-14 Method and Device for configuring Multi-point Conference KR101373785B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134636A KR101373785B1 (en) 2011-12-14 2011-12-14 Method and Device for configuring Multi-point Conference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134636A KR101373785B1 (en) 2011-12-14 2011-12-14 Method and Device for configuring Multi-point Conference

Publications (2)

Publication Number Publication Date
KR20130067754A KR20130067754A (en) 2013-06-25
KR101373785B1 true KR101373785B1 (en) 2014-03-14

Family

ID=48863521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134636A KR101373785B1 (en) 2011-12-14 2011-12-14 Method and Device for configuring Multi-point Conference

Country Status (1)

Country Link
KR (1) KR101373785B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540579B1 (en) * 2022-01-05 2023-06-05 주식회사 엘지유플러스 Video conference server and video service providing method capable of audio synchronization in an online performance or video conference, and video service system using the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013944B1 (en) * 2009-05-29 2011-02-14 경기대학교 산학협력단 Method and system for hierarchical multipoint communication
KR101050499B1 (en) * 2009-05-29 2011-07-20 경기대학교 산학협력단 Hierarchical Multilateral Communication Method and System Using PIP

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013944B1 (en) * 2009-05-29 2011-02-14 경기대학교 산학협력단 Method and system for hierarchical multipoint communication
KR101050499B1 (en) * 2009-05-29 2011-07-20 경기대학교 산학협력단 Hierarchical Multilateral Communication Method and System Using PIP

Also Published As

Publication number Publication date
KR20130067754A (en) 2013-06-25

Similar Documents

Publication Publication Date Title
TWI377803B (en) Methods and apparatus for supporting multiple connections
US20100085916A1 (en) Systems and Methods for Hybrid Wired and Wireless Universal Access Networks
US20080175190A1 (en) Multi-node media content distribution system
US20100085948A1 (en) Apparatuses for Hybrid Wired and Wireless Universal Access Networks
US20070037563A1 (en) Method and system for downloading data to mobile terminals and for implementing data sharing between mobile terminals
US20120270576A1 (en) System and method for partnered media streaming
CN101277248A (en) Method and system for distributing network data
CN102017663A (en) Mehtod, apparatus, and computer program product for providing internet protocol multicast transport
Ippisch et al. Infrastructure mode based opportunistic networks on android devices
JP5011433B2 (en) Method for determining a pair group in the vicinity of another pair, related server, and analysis apparatus
Toledano et al. CoCam: A collaborative content sharing framework based on opportunistic P2P networking
KR101612475B1 (en) Apparatus and Method for establishing partnership of P2P service based on gossip
WO2013166762A1 (en) Networking method and system for personal area network devices
KR101236729B1 (en) Apparatus and method of automatically selecting packet transmission method for data distribution service
Perra Wireless cooperative access to images
CN105898550A (en) End-to-end peer video assistance transmission method
Belblidia et al. Part-whole dissemination of large multimedia contents in opportunistic networks
JP4792495B2 (en) Communication control apparatus and method
CN107959704A (en) A kind of data processing method and home gateway
KR101373785B1 (en) Method and Device for configuring Multi-point Conference
CN106209927A (en) The interaction relation of a kind of multiple terminals safeguards system and method
JP4660682B2 (en) Network communication system and communication apparatus and program used in the communication system
US20150067050A1 (en) Method and system for social networking in a multi-screen environment
US20160295501A1 (en) Method for providing community service based on proximity
KR20070048021A (en) System and method for transmitting media stream using automatic tree rmcp

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee