KR101918676B1 - 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 - Google Patents

복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 Download PDF

Info

Publication number
KR101918676B1
KR101918676B1 KR1020180058605A KR20180058605A KR101918676B1 KR 101918676 B1 KR101918676 B1 KR 101918676B1 KR 1020180058605 A KR1020180058605 A KR 1020180058605A KR 20180058605 A KR20180058605 A KR 20180058605A KR 101918676 B1 KR101918676 B1 KR 101918676B1
Authority
KR
South Korea
Prior art keywords
terminal
physical
video conference
logical terminal
target
Prior art date
Application number
KR1020180058605A
Other languages
English (en)
Inventor
차민수
Original Assignee
(주)유프리즘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유프리즘 filed Critical (주)유프리즘
Priority to KR1020180058605A priority Critical patent/KR101918676B1/ko
Application granted granted Critical
Publication of KR101918676B1 publication Critical patent/KR101918676B1/ko
Priority to JP2020564909A priority patent/JP2021525035A/ja
Priority to US16/616,242 priority patent/US20210336813A1/en
Priority to EP19807483.3A priority patent/EP3813361A4/en
Priority to PCT/KR2019/001905 priority patent/WO2019225836A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법이 개시된다. 본 발명의 영상회의 서버는 하나 또는 두 개의 디스플레이를 구비한 종래의 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 '논리적 단말'처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있으며, 논리적 단말에서 발언 중인 타깃을 인식하여 추적하는 기능을 제공한다.

Description

복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법{Videoconferencing Server for Providing Multi-Screen Videoconferencing by Using Plural Videoconferencing Terminals and Camera Tracking Method therefor}
본 발명은 다중-포인트 영상회의 시스템에 관한 것으로서, 종래의 텔레프레즌스(Telepresence) 장비가 없이도 복수 개의 영상회의용 단말을 이용하여 다중-포인트 영상회의를 위한 복수 개의 영상을 표시할 수 있는 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법에 관한 것이다.
영상회의 시스템은 일반적으로 H.323나 SIP(Session Initiation Protocol)와 같은 표준 프로토콜을 이용하는 표준 기반 영상회의 단말(또는 시스템)과, 자체 프로토콜을 이용하는 비표준 영상회의 단말로 나눈다.
시스코(CISCO), 폴리콤(POLYCOM), 어바이어(AVAYA), 라이프사이즈(LIFESIZE) 등의 메이저 영상회의 장비 업체는 위에서 언급한 표준 프로토콜을 이용한 영상회의 솔루션을 공급하고 있지만, 표준 기술만을 이용해서 제품을 만들 경우 다양한 기능을 구현하기 힘들기 때문에 비표준 영상회의 시스템을 공급하는 업체들도 많다.
<표준 단말 기반의 다중 영상회의를 위한 MCU>
영상회의 시스템은 두 개의 영상회의 단말(두 개의 포인트)가 연결되는 1:1 영상회의가 있고, 복수 개의 영상회의 단말(복수 개의 포인트)가 동시에 연결되는 다중 영상회의가 있다. 영상회의에 참여한 모든 영상회의 단말은 개별적으로 하나의 영상회의 포인트(Point)가 되며, 포인트마다 적어도 한 명의 회의 참석자가 배석하는 것이 일반적이다.
표준 영상회의 단말은 상대방과 하나의 세션을 연결하여 통상 하나의 영상과 음성만을 처리하기 때문에 기본적으로 1:1 영상회의에 적용되며, 부가적으로 표준 단말에서도 H.239와 BFCP(Binary Floor Control Protocol)를 이용하면 문서 회의를 위한 보조 영상을 하나 더 처리할 수 있다. 따라서 표준 영상회의 시스템에서 1:1 이 아닌 3개 이상의 포인트가 연결된 다중 영상회의를 하기 위해서는 엠시유(MCU: Multipoint Conferencing Unit)라는 장치가 필요하다. 엠시유는 3개 이상의 포인트에서 제공되는 영상을 믹싱(Mixing)하여 각 포인트를 위한 영상을 하나씩 만들어 표준 단말에게 제공함으로써 표준 프로토콜의 제약을 해소한다.
영상회의에 결합된 모든 영상회의 단말은 자신이 생성한 영상과 음성 데이터를 압축하여 상대방에게 송신하기 때문에, 영상을 믹싱하기 위해서는 디코딩(Decoding), 기설정된 레이아웃에 맞추어 복수 개 영상을 렌더링(Rendering)하여 새로운 영상을 만드는 믹싱, 그리고 다시 인코딩(Encoding)하는 과정을 추가로 거쳐야 한다. 따라서 믹싱은 상대적으로 비용이 많이 소요되는 작업이지만 핵심적인 장비이고, 엠시유 기능을 구비한 서버는 대개 고가로 유통된다.
영상을 믹싱하면, 단말에서는 하나의 영상을 처리하는 것이므로 기술적으로 1:1로 회의할 때와 차이가 없지만, 엠시유가 제공하는 영상에는 복수 개 포인트에서 제공되는 영상이 PBP(Picture by Picture), PIP(Picture in Picture) 등의 형태로 결합되어 있다. 게다가 단말 측에서 필요한 대역폭도 1:1과 비교했을 때 사실상 차이가 없다.
<비표준 영상회의 시스템에서 다중 영상회의>
비표준 영상회의 시스템에서는 표준적인 엠시유를 사용하지 않고 영상을 처리하며, 표준 영상 단말과 연결이 필요하면 별도의 게이트웨이(Gateway)를 이용한다. 복수 개 포인트의 단말은 하나의 서버에 로그인하고 특정 회의방에 참석하는 절차를 거친다. 일부 비표준 제품들은 서버가 존재하지 않고 P2P(Peer to Peer)로 처리하는 경우도 있다.
비표준 영상회의 시스템에서, 엠시유 또는 엠시유 기능을 수행하는 장치를 사용하지 않는 이유는 엠시유 기능을 구현하기 위해 고가의 고성능 서버가 필요하기 때문이다. 영상 믹싱을 수행하는 대신에, 각 단말은 자신이 생성한 영상을 다른 참석자들(다른 포인트의 단말들)에게 단순히 릴레이(Relay)하는 방법을 많이 사용한다. 릴레이 방식은 믹싱보다 서버의 시스템 자원을 적게 사용하는 장점이 있으나 영상 릴레이에 필요한 네트워크 대역폭은 기하급수적으로 늘어나는 단점이 있다.
예를 들어 5명이 동일한 회의방에 참석해 있고 다른 참석자들의 화면을 한꺼번에 모두 보고 있다는 가정하에 계산을 해보면, 본인의 영상을 서버로 전송하고 다른 4명의 영상을 받아야 하므로 25 배(5×5)의 대역폭이 필요하다. 만약 10개의 영상회의 단말이 참여 중이면 100 배(10×10)의 대역폭이 필요하다. 영상회의 참여자가 많아지면 필요한 대역폭이 기하급수적으로 증가한다.
<문서 영상회의를 위한 토큰 획득>
종래의 일반적인 영상회의 단말은 메인 영상 화면과 문서 영상 화면을 동시에 두 개의 디스플레이 장치로 각각 출력할 수 있지만, 저렴한 영상회의 장비 중에는 단일 디스플레이 출력만 지원하는 경우가 많다. 단일 디스플레이만 지원되는 영상회의 단말은 문서 영상회의를 위한 H.239 또는 BFCP를 지원하기도 하고 지원하지 않기도 한다.
단일 디스플레이에서 H.239 또는 BFCP 프로토콜에 따른 문서 영상을 표시할 때에는 통상 화면을 분할하여 표시하며, 단말 자체에서 2개의 영상을 다양한 형태로 표시하기 위한 여러 레이아웃을 제공하기도 한다. 또한, 단말에서 메인 영상 또는 문서 영상 중 하나를 선택해서 확대하는 기능도 대부분 지원한다.
앞서 설명한 것처럼 영상회의 단말은 1개의 영상을 송출할 수 있지만 H.239 또는 BFCP 기술을 이용하면 문서 영상을 추가로 송출할 수 있다. 문서 영상을 송출하기 위해서 발표자는 발표자 토큰(Token)을 획득해야 하는데 영상회의에 참석한 단말 중 오직 하나의 단말(즉, 하나의 포인트)만이 토큰을 가질 수 있다. 그렇기 때문에 참석자 메인 영상과 문서 영상을 동시에 서버로 송출할 수 있는 것은 발표자 토큰을 획득한 단말뿐이다.
<텔레프레즌스>
한편, 시스코 및 폴리콤 등의 메이저 업체에서는 텔레프레즌스(Telepresence) 기술의 초고가 영상회의 장비를 공급하는데, 이 장비는 3개 또는 4개의 디스플레이 출력을 지원할 뿐만 아니라, 그 지원되는 출력 디스플레이 수만큼의 영상을 발표자 토큰 없이 송출할 수 있다. 관련 업계에서는 영상회의를 위한 다중 영상 송출 기능은 텔레프레즌스 장비 만의 고유한 기능으로 인식되고 있다.
텔레프레즌스 장비는 일반적인 영상회의 단말과 연동이 안되며, 별도로 제공되는 고가의 게이트웨이 장비가 있어야만 상호 연동이 가능하다. 그렇게 연동하더라도 일반 영상회의 장비끼리 통화하는 것에 비해서 영상 품질이 매우 떨어진다. 이러한 이유들로 인하여 3개의 디스플레이 출력을 가진 영상회의 단말은 상대적으로 거의 보급되지 않고 있으며, 표준 기술이라는 제약으로 인하여 확장성에 제한이 걸려있는 상태이다.
<발언자의 인식 및 촬영>
회의실에 설치된 영상회의 시스템이 회의실 안에 있는 여러 참석자들의 얼굴을 동적으로 비추기 위해서는 카메라 추적 시스템이 필요하다. 종래의 카메라 추적 시스템을 사용하면, 영상회의에 참여한 사람들 중에서 발언자를 인식하고, 해당 발언자를 촬영한 영상을 상대방 측에 제공하여, 주된 이미지로 표시하는 등의 이미지 처리를 할 수 있다.
따라서 카메라 추적 시스템은 발언자를 촬영하는 카메라와 발언자를 인식하는 수단이 필요하며, 종래의 카메라 추적 시스템은 영상회의 단말과 별도로 제작 공급되었다.
영상회의 단말에 연결된 카메라는 대개 지정된 방향만 바라보는 고정형과 자유롭게 카메라 방향과 초점거리를 조정할 수 있는 팬틸트줌(PTZ) 카메라로 나뉜다. 저가형 영상회의 단말 제품은 카메라가 모니터에 일체로 고정된 것이 대부분이고, 중간 가격대에서 PTZ 카메라를 적용한 제품이 나온다. 다만, 3개 이상의 멀티 스크린을 지원하는 텔레프레즌스형 초고가 영상회의 장비는 스크린마다 고정형 카메라를 설치한 형태가 대부분이다.
대부분의 PTZ 카메라는 기준점으로부터 패닝 각도와 틸팅 각도를 저장하는 방법으로 특정 자세(Position)를 기억할 수 있는 '프리셋(Preset) 기능'을 지원한다. 사용자가 기억된 프리셋 식별번호를 입력하면, 카메라는 현재 자세에서 프리셋된 자세로 바꾸어 촬영하며, 프리셋 방식에 따라서는 기설정된 확대 비율로 촬영할 수도 있다.
종래의 카메라 추적 시스템은 영상회의를 위한 단말과 별개로 제작되며, 대개 수 백만원에서 수 천만원대의 고가 장비이다. 카메라 추적 시스템은 단말 측에 설치하는 장비이기 때문에, 여러 곳의 회의실에 영상회의 시스템을 구축한다면 그만큼 더 많은 비용이 든다.
발언자를 인식하기 위해, 카메라 추적 시스템은 회의 테이블 탁자 위에 지정된 자리마다 마이크와 버튼을 설치한다. 마이크는 거위 목처럼 구부러진 형태의 소위 '구즈넥(Gooseneck) 마이크'가 통상 사용되며, 구즈넥 마이크에 발언용 버튼이 일체화되어 있는 경우가 대부분이다. 참석자가 자신의 자리에 있는 마이크 버튼을 누르면, 마이크의 위치가 고정되어 있기 때문에 발언자의 위치를 인식할 수 있다. 마이크의 위치를 고려하여 카메라의 프리셋이 저장되면, 참석자가 자신의 자리에 있는 마이크 버튼을 누를 때 카메라가 프리셋된 위치로 자세를 바꾼다.
종래에 알려진 다른 카메라 추적 시스템은 버튼 등을 조작하는 기계적인 방식 대신에 마이크에 입력되는 음성 볼륨 크기에 따라서 발언자를 인지하는 방법을 제시한다. 영상회의에서 특정 발언자가 발언을 하면, 발언자의 마이크 뿐만 아니라 가까운 거리에 있는 다른 마이크에도 발언자의 음성이 입력될 수 있다. 그러나 발언자 마이크로 입력되는 음성의 크기가 일반적으로는 가장 크기 때문에, 단말 측에 설치된 추적 시스템이 여러 마이크에서 입력되는 음성 신호의 세기를 비교하여 발언자의 위치를 인식하는 방법이다.
<영상회의 시스템의 오디오 장치>
대부분의 영상회의 단말은 에코 제거 기능을 가지고 있다. 예를 들어, A 단말과 B 단말이 영상통화를 한다고 가정할 경우, A 단말은 발언자의 음성을 마이크를 통해 입력받아 영상통화 상대방인 B 단말에게 전달하지만 A 단말의 스피커로 출력하지 않는다. 반면에 B 단말에서 전달되는 오디오 신호는 A 단말의 스피커를 통해 출력됨으로써 회의가 진행된다.
B 단말에서 전달되는 오디오 신호가 A 단말의 스피커를 통해 출력되면, 그 오디오 신호가 다시 A 단말의 마이크를 통해 입력되면서 에코가 발생하는 것이다. 그러나 에코 제거 기능을 가진 A 단말은 마이크를 통해 입력되는 신호에서 B 단말에서 전달되는 오디오 신호와 파형이 동일한 것을 제거함으로써 에코를 제거한다.
A 단말은 마이크를 통해 입력된 오디오 신호를 스피커로 직접 출력하지 않기 때문에, A 단말이 에코 신호를 제거하지 않더라도 즉시 A 단말의 스피커로 출력되지 않는다. 에코 신호는 B 단말에게 전달되면서 B 측은 A 단말이 제공한 오디오 신호이므로 그대로 출력하면서 에코를 만든다. 또한, 그 에코 신호는 동일한 과정으로 다시 A 단말로 전달되는데, A 단말은 B 단말에서 제공된 오디오 신호이므로 에코 신호를 스피커로 출력하게 된다. 이런 과정이 연속적으로 반복해서 일어나면서 큰 잡음이 되는 것이다.
에코 제거 방법은 입력된 오디오신호에서 출력 오디오 신호와 일치하는 파형을 제거하는 것이다. 통상 오디오가 출력 장치로부터 재생되어 다시 마이크로 입력되어 처리되기까지 통상 수십에서 수백 밀리 세컨드(ms)의 지연시간이 발생한다. 지연시간은 장치마다 다르기 때문에, 입력된 오디오 신호에서 에코 제거기능으로 제거할 오디오 신호를 검출하는 것이 용이하지 않다. 다시 마이크로 입력될 때의 신호 세기가 출력 신호의 세기와 다른 부분도, 음성 파형을 제거를 어렵게 한다. 당연히, 잡음이 많거나 음향이 울리는 공간에서는 에코 제거가 더욱 어렵다. 따라서, 에코 제거는 영상회의 분야에서 복잡하고 어려운 기술이다.
대한민국공개특허 제10-2016-0062787호 (비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템)
본 발명의 목적은 다중-포인트의 영상회의 서비스를 제공하되, 복수 개의 영상회의용 단말을 하나의 영상회의 포인트로 처리하는 논리적 단말 서비스를 제공할 수 있는 영상회의 서버를 제공함에 있다.
본 발명의 목적은, 별도의 카메라 추적 시스템을 구비하지 않더라도, 다양한 카메라 추적 이벤트에 따라 카메라의 촬영을 제어할 수 있는 영상회의 서버를 제공함에 있다.
본 발명의 목적은 하나의 논리적 단말에서 제공되는 복수 개의 오디오 신호 또는 영상 신호를 이용하여 발언자 위치를 인식함으로써 카메라 추적 이벤트를 생성할 수 있는 영상회의 서버 및 그 카메라 추적방법을 제공함에 있다.
본 발명의 다른 목적은 영상회의 포인트에서 제공되는 제어명령에 따라 카메라 추적 이벤트를 생성할 수 있는 영상회의 서버 및 그 카메라 추적방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상회의 서버의 영상회의 서비스 제공방법은, 등록단계, 호연결단계, 소스 수신단계, 타깃 인식단계 및 카메라추적단계를 포함하여 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 서비스한다.
등록단계는 복수 개의 물리적 단말을 제1 논리적 단말로 등록함으로써 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록한다. 이때, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록할 수 있다. 호연결단계는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결한다. 소스 수신단계는 상기 복수 개 영상회의 포인트가 제공하는 소스 영상과 소스 오디오 신호를 수신하되, 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상과 소스 오디오 신호를 수신한다.
타깃 인식단계는 상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 타깃의 위치를 인식한다. 이에 따라, 카메라 추적단계는 상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어한다.
실시 예에 따라, 상기 타깃 인식단계는, 상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식할 수 있다.
상기 타깃 인식의 다른 방법으로 제어명령을 사용할 수 있다. 이때 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것이 바람직하다.
다른 실시 예에 따라, 상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에, 상기 카메라 추적단계는 상기 타깃 인식단계에서 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공할 수 있다. 이를 통해, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하게 된다.
또 다른 실시 예에 따라, 상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록할 수 있다. 이 경우, 상기 카메라 추적단계는 상기 타깃 위치에 해당하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출할 수 있다. 또한, 또 다른 실시 예에 따른 상기 등록단계에는, 상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 단계를 더 포함할 수 있다.
한편, 본 발명의 영상회의 서버의 영상회의 서비스 제공방법은, 상기 소스 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하는 멀티 스크린 영상 제공단계와; 상기 소스 오디오 수신단계를 통해 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오 신호를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하는 오디오 처리단계와; 및 상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 오디오 출력단계를 포함할 수 있다.
실시 예에 따라, 상기 멀티 스크린 영상 제공단계는, 상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치할 수 있다. 다른 방법으로, 상기 멀티 스크린 영상 제공단계는 상기 복수 개 영상회의 포인트들 중에서 상기 오디오 신호의 세기가 가장 높은 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치할 수도 있다.
또한, 상기 호연결단계는, 발신측 포인트로부터 호 연결 요청 메시지를 수신하는 단계와; 상기 호 연결 요청 메시지 수신에 따라 발신측과 수신측을 연결하는 중에, 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하는 단계와; 상기 조회 결과에 따라 상기 발신측이 제1 논리적 단말의 물리적 단말이면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계와; 상기 조회 결과에 따라 상기 호 연결 요청된 수신측이 제2 논리적 단말의 물리적 단말이면 상기 제2 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계를 수행할 수 있다.
본 발명은 영상회의 서비스 제공할 수 있는 영상회의 서버에도 미친다. 본 발명의 서버는, 단말등록부, 통화연결부 타깃인식부 및 카메라추적부를 포함한다.
단말등록부는 복수 개의 물리적 단말을 하나의 영상회의 포인트(Point)처럼 동작하는 제1 논리적 단말로 등록하되, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록한다. 통화연결부는 상기 제1 논리적 단말을 포함하는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하며, 상기 복수 개 영상회의 포인트들로부터 소스 영상 및 소스 오디오 신호를 수신하되 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상 및 소스 오디오 신호를 수신한다.
타깃인식부는 상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 타깃의 위치를 인식한다. 카메라추적부는 상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어한다.
본 발명의 영상회의 서버는 제한된 개수(통상 하나 또는 두 개)의 디스플레이를 구비한 영상회의 단말(물리적 단말) 복수 개를 논리적으로 묶어 마치 하나의 영상회의 포인트로 동작하는 논리적 단말처럼 동작하도록 구현할 수 있다. 영상회의 서버는 논리적 단말을 구성하는 복수 개의 물리적 단말에게 제공하는 영상의 분배를 통해 논리적 단말이 멀티 스크린을 지원하는 것처럼 처리할 수 있다.
멀티 포인트 영상회의에서, 영상회의 서버는 논리적 단말이 구비한 스크린, 즉 디스플레이 장치의 개수에 맞추어 다른 영상회의 포인트의 영상을 분배하기 때문에, 논리적 단말에 포함된 물리적 단말의 입장에서는 종래에 비해 표시해야 하는 다른 영상회의 포인트의 수가 줄어든 효과가 있고, 따라서 하나의 스크린에 표시되는 영상의 복잡도도 낮아진다. 영상의 복잡도가 낮아지므로 가령 성능이 떨어지는 물리적 단말이나 속도가 낮은 네트워크에서 영상 품질이 개선되는 효과가 있다.
본 발명의 논리적 단말은 단지 영상회의 서버의 내부 처리를 통해 구현되는 것이고 물리적 단말 사이에 직접적인 연결이 없으므로, 설사 서로 다른 영상코덱을 구비하거나 시스템 성능이 서로 다르거나 서로 다른 제조사의 물리적 단말이라도 하나의 논리적 단말로 묶어 처리하는데 문제가 없다. 당연히, 논리적 단말을 통해 멀티 스크린을 제공하는 것이므로, 멀티 스크린 지원을 위해 개별 영상회의 단말의 시스템 자원을 업그레이드할 필요도 없다.
본 발명에 의하면, 복수 개의 물리적 단말로 구현된 논리적 영상회의 단말에 대해 마치 하나의 영상회의 단말처럼 오디오가 제공되도록 오디오 신호를 제공할 수 있다. 따라서 논리적 단말에 속하는 복수 개의 물리적 단말이 개별적으로 스피커를 구비하더라도 특정 출력담당-물리적 단말만 오디오 신호를 출력함으로써 논리적 단말이 하나의 영상회의 포인트처럼 동작하도록 한다.
본 발명에 의하면, 영상회의 서버는 각종 상황에 따라 논리적 단말 측 카메라의 촬영을 제어할 수 있다. 예를 들어, 영상회의 서버는 복수 개의 영상회의 단말로 구성된 논리적 단말 차원에서, 카메라 추적 제어의 대상이 될 타깃을 인식(예컨대, 발언자)를 인식하고, 논리적 단말이 구비한 복수 개의 카메라 중 하나로 발언자를 촬영하도록 제어할 수 있다. 또한, 영상회의 서버는 영상회의 포인트에서 제공되는 제어명령에 따라 카메라 추적 이벤트를 생성할 수 있다.
본 발명의 논리적 단말은 복수 개 영상회의 물리적 단말로 구성되기 때문에, 종래에 사용되던 개별 영상회의 단말 차원에서 동작하는 종래의 카메라 추적 시스템으로는 발언자 인식 및 카메라 추적을 수행할 수 없는 문제를 해결한다.
또한, 본 발명에 의하면, 복수 개의 물리적 단말을 마치 하나의 논리적 단말인 것처럼 오디오 신호를 처리하는 과정에서, 출력담당-물리적 단말이 아닌 이유로 오디오 신호를 출력하지 않는 물리적 단말을 통해 입력되는 오디오 신호에 포함될 수 있는 에코를 제거할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상회의 시스템의 구성도,
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도,
도 3은 본 발명의 영상회의 서버의 멀티 스크린 영상회의 서비스 제공방법,
도 4는 본 발명의 카메라 추적방법의 설명에 제공되는 예시도,
도 5는 본 발명의 논리적 단말의 등록과정에 사용되는 화면의 예시도,
도 6은 본 발명의 카메라 추적방법의 설명에 제공되는 흐름도,
도 7은 도 1의 영상회의 시스템에서의 오디오 신호 처리를 도시한 도면,
도 8은 본 발명의 오디오 처리 방법의 설명에 제공되는 흐름도, 그리고
도 9는 논리적 단말에서 에코 제거방법의 설명에 제공되는 흐름도이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 영상회의 시스템(100)은 서버(110)와 복수 개의 영상회의 단말이 네트워크(30)를 통해 연결된 것으로서, 2개 연결 포인트(Point)가 연결된 1:1 영상회의뿐만 아니라 3개 이상의 포인트가 연결된 다중 영상회의를 지원한다. 도 1에 도시된 영상회의 단말(11, 13, 15, 17, 19)은 연결 가능한 영상회의 단말을 예시적으로 도시한 것이다.
서버(110)와 영상회의 단말(11, 13, 15, 17, 19) 간의 연결 네트워크(30)는 아이피 망(IP Network)이며, 게이트웨이(Gateway)를 통해 연결되는 이종 네트워크를 포함하거나 이종 네트워크와 연결될 수 있다. 예컨대, 이동통신망을 이용하는 무선 전화기도 본 발명의 영상회의 단말이 될 수 있으며, 이 경우 네트워크(30)는 게이트웨이(Gateway)를 통해 연결되어 아이피 패킷을 처리할 수 있는 이동통신망을 포함한다.
서버(110)는 본 발명의 영상회의 시스템(100)을 전반적으로 제어하며, 종래의 일반적인 영상회의 처리용 서버 기능에 더하여, 단말등록부(111), 통화연결부(113), 영상처리부(115), 오디오처리부(117), 타깃인식부(119), 카메라추적부(121) 및 에코처리부(123)를 포함한다.
단말등록부(111)는 아래에서 설명하는 물리적 단말과 논리적 단말의 등록, 설정 및 관리 등을 수행하며, 통화연결부(113)는 본 발명의 영상회의 호(Call) 연결을 제어한다. 영상처리부(115)는 영상회의 호가 연결된 경우에 물리적 단말 및/또는 논리적 단말들 간으로 제공하는 영상을 처리(믹싱, 디코딩, 인코딩 등)함으로써 텔레프레즌스와 같은 멀티 스크린(Multi Screen)을 구현한다.
본 발명에서 특징적인 오디오처리부(117)는 논리적 단말에서의 오디오 처리를 제어하며, 타깃인식부(119)와 카메라추적부(121)는 논리적 단말에서의 카메라 추적 제어의 대상이 될 타깃(Target)의 위치를 인식하고 카메라 추적 제어를 수행한다. 에코처리부(123)는 논리적 단말에서 전송되는 오디오 신호에 대해 에코를 제거한다.
단말등록부(111), 통화연결부(113), 영상처리부(115), 오디오처리부(117), 타깃인식부(119), 카메라추적부(121) 및 에코처리부(123)의 동작은 아래에서 다시 설명한다.
논리적 단말
본 발명의 영상회의 시스템(100)은 논리적 단말이라는 개념을 제시한다. 논리적 단말은 종래의 일반적인 영상회의 단말 복수 개를 마치 하나의 영상회의 단말인 것처럼 논리적으로 조합한 것이다. 논리적 단말은 2개 이상의 영상회의 단말로 구성하지만, 논리적 단말을 구성하는 복수 개의 영상회의 단말들 간의 직접 연결은 없다. 다시 말해, 논리적 단말을 구성하기 위해, 논리적 단말을 구성하는 복수 개 영상회의 단말들간의 직접 연결은 필요없다.
이하에서는 논리적 단말과 종래의 일반적인 영상회의 단말을 구분하기 위해, 종래의 일반적인 영상회의 단말을 '물리적 단말'이라고 칭한다. 다시 말해, 논리적 단말은 복수 개의 영상회의용 물리적 단말이 단지 논리적으로 결합된 것이다.
도 1의 영상회의 시스템(100)에 포함된 모든 영상회의 단말(11, 13, 15, 17, 19)은 물리적 단말이다. 물리적 단말은 영상회의에 관한 표준 프로토콜을 지원하되 배경기술에서 설명한 텔레플레즌스 서비스를 제공할 수 있는 단말이 아니며, 하나의 디스플레이 장치가 연결되거나 문서 회의를 위해 두 개의 디스플레이 장치가 연결될 수 있는 영상회의 단말이다.
표준 프로토콜로는 H.323 또는 SIP(Session Initiation Protocol) 등이 있다. 당연히, 각 영상회의 단말(11, 13, 15, 17, 19) 중에 문서회의를 지원하는 단말은 H.239와 BFCP(Binary Floor Control Protocol)를 지원한다. 예컨대, 서버(110)와 물리적 단말(11, 13, 15, 17, 19)들 사이에 SIP 프로토콜에 따른 SIP 세션이 생성된다고 할 경우에, 아래에서 설명하는 영상신호 또는 오디오 신호는 RTP 패킷의 형태로 전송된다.
각 물리적 단말(11, 13, 15, 17, 19)은 영상/음성 코덱(Codec)을 구비하고, 개별적으로 발언자의 음성을 오디오 신호로 변환하는 마이크(11-1, 13-1, 15-1, 17-1, 19-1)와, 오디오 출력을 위한 스피커(11-2, 13-2, 15-2, 17-2, 19-2)와, 카메라(11-3, 13-3, 15-3, 17-3, 19-3)를 구비한다.
물리적 단말 각각은 종래의 영상회의 시스템에서 하나의 영상회의 포인트로 동작한다. 그러나 본 발명의 논리적 단말에 속하는 복수 개의 영상회의 단말들은 전체로서 하나의 단말처럼 동작하기 때문에 전체로서 하나의 영상회의 포인트로 동작하기 때문에, 논리적 단말은 그 구성원인 복수 개의 물리적 단말들이 개별적으로 보유한 디스플레이 장치를 전부 합친 개수만큼의 디스플레이 장치를 구비한 하나의 영상회의 포인트가 된다. 필요에 따라, 논리적 단말은 그 복수 개의 구성 단말 중 하나를 '대표 단말'로 지정할 수 있다. 논리적 단말이 아무리 많은 물리적 단말을 포함하더라도 영상회의 내에서는 하나의 영상회의 포인트로 취급된다.
예컨대 도 1은 제1 포인트(A), 제2 포인트(B) 및 제3 포인트(C)가 상호 연결된 다중 영상회의 시스템(100)이다. 제1 포인트(A)에는 제1 논리적 단말(130)이 배치되고, 제2 포인트(B)에는 제2 논리적 단말(150)이 배치되었고, 제3 포인트(C)에는 제5 물리적 단말(19)이 배치됨으로써, 도 1의 시스템(100)은 2개의 논리적 단말(130, 150)과 하나의 물리적 단말(19)이 서버(110)에 의해 영상통화를 위해 연결된 상태이다. 제1 논리적 단말(130)은 각각 1개의 디스플레이 장치를 가진 제1 물리적 단말(11)과 제2 물리적 단말(13)로 구성되었고, 제2 논리적 단말(150)은 2개의 디스플레이 장치를 가진 제3 물리적 단말(15)과 1개의 디스플레이 장치를 가진 제4 물리적 단말(17)로 구성되었다.
물리적 단말(11, 13, 15, 17, 19)에는 고정형 카메라가 연결될 수도 있고, 팬틸트줌(PTZ) 카메라가 연결될 수도 있다. 다만, 본 발명이 제시하는 카메라 추적 기능을 수행하기 위해서는, (첫 째) 적어도 논리적 단말에 속하는 물리적 단말(11, 13, 15, 17)에 연결된 카메라(11-3, 13-3, 15-3, 17-3)는 PTZ 카메라이어야 한다. (둘 째) 논리적 단말에 속하는 물리적 단말들 각각은 적어도 하나의 카메라-자세를 프리셋(Preset)할 수 있어야 한다. (셋 째) 마지막으로, 논리적 단말에 속하는 물리적 단말은 카메라의 프리셋과 관련하여 표준 또는 비표준 원격 카메라 제어(FECC: Far End Camera Control)를 허용해야 한다. 예를 들어, 제1 논리적 단말(130)에 속하는 제1 물리적 단말(11)이 제1 자세와 제2 자세를 프리셋되었다고 가정하자. 서버(110)가 제1 자세에 대한 프리셋 식별번호를 제1 물리적 단말(11)에게 제공하면 제1 물리적 단말(11)은 제1 카메라(11-3)가 제1 자세를 취하도록 제어할 수 있어야 한다. 제1 카메라(11-3)는 패닝(Panning)/틸팅(Tilting)을 통해 제1 자세를 취하게 된다.
논리적 단말은 서버(110)에 의해 관리되는 논리적 구성이고 서버(110)와 단말 사이의 표준 프로토콜은 1:1 연결만을 지원하므로, 서버(110)와 논리적 단말의 연결은 논리적 단말을 구성하는 복수 개 물리적 단말 각각이 서버(110)와 표준 프로토콜에 따라 개별적으로 연결되는 것을 의미한다. 예컨대, SIP 프로토콜에 의하면, 도 1은 논리적 단말의 구성을 불문하고, 5개의 물리적 단말(11, 13, 15, 17, 19) 각각이 서버(110)와 SIP 세션(Session)을 생성하여 전체 5개의 세션이 생성된 것이다.
본 발명은 영상회의 시스템의 서버(110)는 다음의 연결을 지원한다.
(1) 하나의 물리적 단말이 하나의 논리적 단말과 연결되는 영상회의
예컨대 도 1의 제5 물리적 단말(19)이 제1 논리적 단말(130)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 제1 및 제2 물리적 단말(11, 13)을 동시 또는 순차 호출하여 연결한다.
(2) 논리적 단일 단말이 하나의 물리적 단말을 호출하는 영상회의
예컨대 사용자가 제1 논리적 단말(130) 중 대표 단말인 제1 물리적 단말(11)로 제5 물리적 단말(19)을 호출하는 경우이다. 서버(110)는 제1 논리적 단말(130)을 구성하는 다른 물리적 단말인 제2 물리적 단말(13)과 수신측인 제5 물리적 단말(19)을 동시 또는 순차 호출하여 연결한다.
(3) 하나의 논리적 단말이 다른 논리적 단말을 호출하는 영상 통화
예컨대, 도 1의 제1 논리적 단말(130)이 제2 논리적 단말(150)을 호출하는 경우이다. 사용자가 제1 논리적 단말(130)의 대표 단말인 제1 물리적 단말(11)을 이용하여 제2 논리적 단말(150)을 호출할 경우에 서버(110)는 제2 논리적 단말(150)을 구성하는 2개의 물리적 단말(15, 17)을 동시 또는 순차 호출하고, 발신 측의 대표 단말 이외의 나머지 단말인 제2 물리적 단말(13)도 호출하여 연결한다.
(4) 다중 포인트 영상회의
본 발명의 영상회의 시스템은 도 1에서처럼, 논리적 단말이 하나의 포인트로 연결된 3개 포인트 이상의 연결을 지원한다. 하나의 논리적 단말과 2개의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말과 하나의 물리적 단말이 연결될 수도 있고, 두 개 이상의 논리적 단말끼리 연결될 수도 있다. 다중 포인트의 연결은 종래에 알려진 방법으로 처리할 수 있다. 다만, 새로 참여하는 포인트가 논리적 단말이면 그 구성원인 물리적 단말 모두와 연결해야 한다는 것이 다르다.
<멀티 스크린 지원>
본 발명의 영상회의 시스템(100)은 논리적 단말 체계를 이용하여 텔레프레즌스와 같은 멀티 스크린을 제공할 수 있다. 논리적 단말은 비록 가상의 단말이지만, 구성원인 복수 개 물리적 단말 전체가 제공할 수 있는 스크린의 수만큼을 구비한 것으로 처리된다.
서버(110)는 각 논리적 단말에 포함된 디스플레이 장치의 개수(m1, 또는 서버가 각 논리적 단말에게 제공해야 하는 영상의 개수)와, 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수(M, 소스 영상의 개수)를 매칭하는 방법으로 다중 영상회의 영상을 재구성함으로써, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 제공한다. 여기서 m3은 논리적 단말이 영상회의를 위해 표시해야 하는 소스 영상의 개수로서, 다음의 수학식 1과 같다.
Figure 112018050668503-pat00001
이때, m2는 각 논리적 단말을 구성하는 물리적 단말의 개수이다.
한편, 각 물리적 단말은 자신의 영상(소스 영상)이 표시되도록 설정하거나 요청할 수 있다. 이 경우에, 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하여 논리적 단말을 구성하는 각 물리적 단말에게 분배할 때, 해당 물리적 단말이 제공한 소스 영상을 함께 믹싱하여 제공할 수 있다.
m3이 m1과 동일한 값이 아닌 한, 서버(110)는 소스 영상을 믹싱하는 재처리가 필요하다. 다만, 실시 예에 따라, 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집하지 않고, m3 개의 영상을 일정한 시간간격으로 순차적으로 제공할 수 있다. 예를 들어, m3=3이고 m1=1인 경우에 3개의 소스 영상을 믹싱 등을 통해 재편집하지 않고 3개의 소스 영상을 순차적으로 제공할 수도 있다. 이러한 경우, 종래의 표준 영상회의 단말에서는 불가능했던 릴레이 방식의 영상회의 처리도 가능해진다.
한편, 논리적 단말의 구성 여부를 불문하고, 본 발명의 영상회의에 참여한 어느 물리적 단말이라도 발표자 토큰을 획득하면 2개의 소스 영상을 제공할 수 있다. 예를 들어, 발표자 토큰의 획득에 따라, 제1 물리적 단말(11)은 메인 영상과 함께 문서회의용 영상을 함께 서버(110)로 제공할 수 있다. 이 경우, M은 영상회의 연결된 포인트들에 포함된 전체 물리적 단말의 개수에 1을 더한 값이 된다.
도 2는 도 1의 3개 포인트가 모두 참여하는 다중 영상회의 연결도로서, 제1 논리적 단말(130)과 제2 논리적 단말(150) 및 제5 물리적 단말(19)이 상호 연결되어 3개 포인트의 다중 영상회의가 연결되었다고 가정하자. 도 2를 참조하면, 이 영상회의에 포함된 물리적 단말(11, 13, 15, 17, 19)의 개수는 5개(M=5)이다. 즉, 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)이 서버(110)로 제공되므로, 서버(110)는 각 포인트가 구비한 디스플레이 장치의 개수(m1)에 맞추어 5개 소스 영상을 편집하여 각 포인트로 제공한다.
제1 논리적 단말(130)은 제1 물리적 단말(11)과 제2 물리적 단말(13)을 합쳐 2개의 디스플레이 장치를 구비하므로, m1=2, m2=2 이다. 이번 3개 포인트 다중 영상회의에서 제1 논리적 단말(130)에 영상회의 연결된 단말은 물리적 단말을 기준으로 제3 내지 제5 물리적 단말(15, 17, 19)로서 3개(m3, 3=5-2)이므로, 3개의 물리적 단말이 제공하는 3개의 소스 영상을 2개의 영상으로 재편집하여 표시해야 한다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제1 물리적 단말(11)이 제5 물리적 단말(19)의 소스 영상을 표시하고, 제2 물리적 단말(13)이 제3 물리적 단말(15)과 제4 물리적 단말(17)의 소스 영상을 하나로 믹싱한 영상을 표시한다.
제2 논리적 단말(150)은 제3 물리적 단말(15)이 2개의 디스플레이 장치를 구비하고 제4 물리적 단말(17)이 하나의 디스플레이 장치를 구비하여 3개의 디스플레이 장치를 포함하므로, m1=3이고 m2=2이다. 따라서 제2 논리적 단말(150)에 대해, 서버(110)는 3개의 물리적 단말이 제공하는 소스 영상을 3개의 영상으로 표시한다. 표시해야 할 소스 영상의 개수와 스크린의 개수가 일치하므로, 하나씩 다시 표시하면 된다. 어느 스크린에 어떤 소스 영상을 표시할 지 여부는 별개로 결정할 수 있으며, 도 2에서는 제3 물리적 단말(15)이 제1 및 제2 물리적 단말(11, 13)의 소스 영상을 각각 표시하고, 제4 물리적 단말(17)은 제5 물리적 단말(19)이 제공하는 소스 영상을 표시하도록 구성되었다.
제5 물리적 단말(19)은 종래와 같이 자체로 하나의 영상회의 포인트이지만, 수학식 1이 동일하게 적용된다. 제5 물리적 단말(19)에서 m1=2, m2=1 이므로, 서버(110)는 4개 소스 영상(m3=5-1)을 2개(m1)의 영상으로 재편집하여 제5 물리적 단말(19)에게 제공한다. 제5 물리적 단말(19)은 2개의 디스플레이 장치에 제1 논리적 단말(130)과 제2 논리적 단말(150)의 전체 4개 물리적 단말(11, 13, 15, 17)이 제공하는 소스 영상을 표시해야 하므로, 4개 소스 영상을 적절히 편집하여 2개 영상으로 표시하도록 구성되었다.
만약, 제2 논리적 단말(150)을 구성하는 제3 물리적 단말(15)이 발표자 토큰을 획득하였다면 2개의 소스 영상을 제공할 수 있다. 이 경우, 제2 논리적 단말(150)는 전체 3개의 소스 영상을 제공하는 것이 되고, M은 6이 된다. 서버(110)가 제1 논리적 단말(130), 제2 논리적 단말(150) 및 제5 물리적 단말(19)에게 전송하기 위해 처리해야 하는 소스 영상의 개수도 위에 설명한 것보다 하나씩 많아진다.
논리적 단말에 대한 영상회의 서비스 (호 연결 및 영상처리)
이하에서는 도 3을 참조하여, 서버(110)의 멀티 스크린 영상회의 서비스 제공방법을 설명한다. 설명의 편리를 위해, 도 2에서 제1 논리적 단말(130)의 제1 물리적 단말(11)이 발신 측이 되어 제2 논리적 단말(150)을 수신 측으로 통화 연결하는 과정을 중심으로 설명한다. 우선 논리적 단말을 등록하는 과정이 필요하다.
<논리적 단말의 등록단계: S301>
서버(110)의 단말등록부(111)는 물리적 단말과 논리적 단말의 등록을 진행하고 그 등록정보를 관리한다. 물리적 단말의 등록은 논리적 단말의 등록에 우선하거나 동시에 수행되어야 하며, 각 물리적 단말의 등록에는 각 단말의 아이피 어드레스(IP Address)가 필수적이다.
물리적 단말의 등록과정은 종래에 알려진 다양한 방법으로 등록할 수 있다. 예를 들어, SIP 프로토콜 상의 Register 명령을 통한 위치 등록 과정을 이용하여 물리적 단말의 등록을 진행할 수도 있는데, 이때는 물리적 단말의 전화번호 등이 포함될 수 있다. 물리적 단말의 위치를 등록하게 되면, 서버(110)는 해당 물리적 단말이 현재 턴 온(Turn On)되어 동작 중인지 여부를 확인할 수 있다.
논리적 단말에는 다른 논리적 단말 또는 물리적 단말과 구분하기 위한 식별번호가 지정되어 등록될 수 있다. 논리적 단말의 등록은 해당 논리적 단말에 포함되는 물리적 단말들을 지정하고, 각 물리적 단말에 연결된 디스플레이 장치의 개수가 등록된다. 실시 예에 따라서는 논리적 단말에 포함된 디스플레이 장치 간의 배치(또는 상대적 위치)와, 소스 영상의 개수(m3)에 따른 영상 믹싱 방식(릴레이 방식 포함) 또는 믹싱 영상의 레이아웃(Layout) 등을 설정할 수도 있다. 예컨대, 단말등록부(111)는 제1 물리적 단말(11)과 제2 물리적 단말(13)을 제1 논리적 단말(130)로 구성하는 구성정보를 입력받아 등록하고 관리한다. 논리적 단말의 등록은 단말등록부(111)가 제공하는 웹 페이지를 이용하거나 별도의 접속 단말을 이용할 수 있다.
또한, 논리적 단말의 등록정보에는, 아래에서 설명하는 논리적 단말을 구성하는 물리적 단말 중 하나를 아래에서 설명하는 '출력담당-물리적 단말'로 등록한다. 상대방 영상회의 포인트로부터 제공되는 오디오 신호(아래에서 설명하는 '출력용 오디오 신호')는 논리적 단말의 구성 물리적 단말들 중 출력담당-물리적 단말이 보유한 스피커를 통해 출력한다.
또한, 논리적 단말의 등록정보에는, 구성원인 물리적 단말에 대한 정보와, 기설정된 카메라의 프리셋과, 아래에서 설명하는 카메라 추적 제어의 대상이 될 '가상의 타깃 위치'에 대한 상호 매핑정보가 등록된다. 프리셋은 특정 카메라와 가상의 타깃 위치에 매핑되어 있고, 카메라는 특정 물리적 단말에 매핑되어 있다. 따라서 서버(110)는 카메라 추적 제어의 대상이 될 타깃 위치를 확인하면, 타깃 위치에 매핑된 프리셋 정보, 카메라 및 물리적 단말을 확인할 수 있다. 이러한 등록은 도 4와 같이, 각 논리적 단말이 보유한 전체 카메라와 마이크의 배치 관계와 함께, 각 카메라의 프리셋 상태를 등록하는 것과 같다. 실시 예에 따라, 논리적 단말에 대한 카메라와 마이크 등록을 위해, 단말등록부(111)는 도 5와 같은 등록화면(pp)을 관리자에게 표시할 수 있다.
도 4와 도 5에 의하면, 발언자의 관점에서, 제1 물리적 단말(11)에 연결된 제1 마이크(11-1)와 제1 카메라(11-3)가 왼쪽에 배치되고, 제2 물리적 단말(13)에 연결된 제2 마이크(13-1)와 제2 카메라(13-3)가 오른쪽에 배치된 것으로 등록되었다. 이때, 도 4에서, P1, P2, P3, P4는 '가상의 타깃 위치'로서, 제1 카메라(11-3)는 P1을 촬영하기 위한 카메라-자세에 대한 프리셋 PS1과 P2를 촬영하기 위한 카메라-자세에 대한 프리셋 PS2를 설정할 수 있다. 제2 카메라(13-3)는 P3을 촬영하기 위한 카메라-자세에 대한 프리셋 PS3과 P4를 촬영하기 위한 카메라-자세에 대한 프리셋 PS4를 설정하고 있다. 도 5의 등록화면(pp)을 통해, 관리자는 제1 마이크(11-1)와 제2 마이크(13-1)의 배치를 조정하고, 가상의 타깃 위치에 맞추어 프리셋된 카메라-자세에 대한 식별번호 PS1, PS2, PS3, PS4 사이의 배치를 조정하며, 화살표(pp1)를 이용하여 카메라와 프리셋을 연결하는 방식으로 제1 논리적 단말(130)에서의 카메라와 마이크, 그리고 카메라의 프리셋 설정상태를 등록할 수 있다.
<영상회의를 위한 발신 호-연결 단계: S303>
각 영상회의 포인트 사이의 영상회의 호 설정은 서버(110)의 통화연결부(113)가 하나의 포인트에서 호 연결 요청을 수신함으로써 개시된다. SIP 프로토콜의 경우, 통화연결부(113)는 SIP 시그널링 메시지인 INVITE를 수신하게 된다. 도 2의 예에서, 제1 논리적 단말(130)의 제1 물리적 단말(11)이 제2 논리적 단말(150)의 제3 물리적 단말(15)을 호출하는 것이므로, 통화연결부(113)는 발신 측인 제1 물리적 단말(11)이 제3 물리적 단말(15)의 전화번호 또는 아이피 어드레스 이용하여 제3 물리적 단말(15)을 호출하는 INVITE 메시지를 수신하게 된다.
<발신자 및/또는 수신자가 논리적 단말인지 조회: S305>
서버(110)의 통화연결부(113)는 수신 측 전화번호가 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지를 단말등록부(111)에 조회한다. 마찬가지로, 발신 측이 논리적 단말을 구성하는 물리적 단말 중 하나의 전화번호(또는 아이피 어드레스) 인지 여부를 단말등록부(111)에 조회한다. 이를 통해, 통화연결부(113)는 해당 호 연결이 논리적 단말로의 연결인지 여부를 확인하게 된다.
실시 예에 따라서, 통화연결부(113)는 부가적으로 수신 측이 논리적 단말을 구성하는 물리적 단말인 경우에 해당 물리적 단말이 그 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써 수신 측 대표 단말이 아닌 경우에는 수신 측을 논리적 단말로 처리하지 않을 수도 있다. 발신측의 경우에도 해당 발신측이 속한 논리적 단말의 대표 단말인지를 추가적으로 확인함으로써, 발신 측 대표 단말이 아닌 경우에는 발신 측을 논리적 단말로 처리하지 않을 수도 있다.
<영상회의 연결: S307, S309>
수신측 전화번호가 논리적 단말이면, 통화연결부(113)는 수신측 논리적 단말에 속한 모든 물리적 단말과 SIP 세션 생성을 위한 절차를 수행한다. 도 2의 예에서, 수신측이 제2 논리적 단말(150)이므로, 통화연결부(113)는 제3 물리적 단말(15) 및 제4 물리적 단말(17)과 개별적으로 SIP 세션을 생성한다. 이때, 통화연결부(113)는 제3 물리적 단말(15)과 제4 물리적 단말(17)에게 동시에 INVITE 메시지를 전달할 수도 있고, 순차적으로 전달할 수도 있다(S307).
도 2의 예에서, 발신측도 논리적 단말이므로, 통화연결부(113)는 제1 논리적 단말(130)의 제2 물리적 단말(13)과도 SIP 세션을 생성한다. 도 2의 예에서, 제5 물리적 단말(19)이 영상회의에 참여하였다면, 제5 물리적 단말(19)과도 SIP 세션을 생성한다. 따라서, 제1 논리적 단말(130)과 제2 논리적 단말(150) 그리고 제5 물리적 단말(19)이 영상회의에 참여하면서, 전체 5개의 SIP 세션이 생성된다(S309).
INVITE를 수신한 수신 측 및/또는 발신 측의 모든 물리적 단말은 SDP(Session Description Protocol) 정보를 통하여 영상 및 음성 코덱 등을 선택하는 협상을 한다. 성공적으로 협상이 완료되면 실제 세션이 성립되어 호가 연결된다.
<각 물리적 단일 단말로부터 소스 영상을 수신하는 단계: S311>
앞서 설명한 것처럼, 논리적 단말의 통화 연결은 실제로 논리적 단말을 구성하는 개별 물리적 단말과의 연결이므로, 복수 개의 세션이 성립된 것이다. 논리적 단말을 구성하는 물리적 단말도 개별적으로 소스 영상을 생성하여 서버(110)로 전송한다. 소스 영상은 아래에서 설명하는 소스 오디오 신호와 함께 RTP 패킷의 형태로 전송된다.
따라서, 도 2의 경우, 영상회의에 제1 논리적 단말(130), 제2 논리적 단말(150) 그리고 제5 물리적 단말(19)이 영상회의에 참여하였기 때문에, 통화연결부(113)는 세션 연결된 5개의 물리적 단말(11, 13, 15, 17, 19)이 제공하는 5개의 소스 영상(11a, 13a, 15a, 17a, 19a)을 수신하게 된다.
<서버의 소스 영상의 재처리: S313>
서버(110)의 영상처리부(115)는 SIP 세션을 통해 수신된 RTP 패킷을 디코딩하여 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공한 소스 영상을 획득하고, 각 포인트를 위한 영상으로 다시 렌더링(Rendering)하기 위하여 소스 영상을 믹싱하고 다시 인코딩한다. 다시 말해, 영상처리부(115)는 각 논리적 단말에 대하여 m3 개의 영상을 m1 개의 영상으로 재편집할 수 있다.
영상처리부(115)는 각 논리적 단말 또는 물리적 단말별로 기설정된 레이아웃에 따르거나, 각 단말 쪽에서 요청하는 레이아웃에 맞추어 소스영상의 믹싱을 수행한다.
앞서 설명한 것처럼, 영상처리부(115)의 영상처리 없이, 통화연결부(113)가 기설정된 시간간격으로 순차적으로 제공함으로써 릴레이 형태로 소스영상이 표시되도록 할 수도 있다. 이 경우에는 믹싱 등의 과정이 없이 그대로 전송하면 되고, 해당 단말의 영상 코덱에 매칭시킬 필요가 있는 경우에 영상 포맷을 변경하거나 트랜스 코딩(TransCoding)하는 정도로 충분하다.
<인코딩된 영상 데이타를 각 물리적 단말에게 전송: S315>
통화연결부(113)는 영상처리부(115)가 각 물리적 단말(11, 13, 15, 17, 19)을 위해 처리한 영상을 영상회의에 참여 중인 각 물리적 단말(11, 13, 15, 17, 19)에게 제공한다. 이로써 영상회의에 참여 중인 각 포인트는 마치 멀티 스크린에 의한 텔레프레즌스와 같은 서비스를 제공받을 수 있다.
이상의 방법에 의하여 본 발명의 영상회의 시스템(100)의 영상회의용 멀티 스크린이 처리된다.
(실시 예) S305 단계의 다른 방법
단말등록부(111)는 논리적 단말을 등록할 때, 해당 논리적 단말을 위한 가상의 전화번호를 생성하여 등록할 수 있다. 이러한 경우에 S305 단계에서 수신측 전화번호가 논리적 단말의 가상 전화번호인 경우에만 수신측을 논리적 단말로 처리할 수도 있다.
논리적 단말에서의 카메라 추적
이하에서는 도 6을 참조하여, 논리적 단말에서의 카메라 추적방법을 설명한다.
<소스 영상 및 소스 오디오 수신>
S301 내지 S309 단계를 통해 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 서버(110)와 SIP 세션을 개별적으로 형성하면, 논리적 단말의 구성에 관계없이 모든 물리적 단말(11, 13, 15, 17, 19)은 S311 단계를 통해 카메라(11-3, 13-3, 15-3, 17-3, 19-3)로 촬영한 소스 영상과, 마이크(11-1, 13-1, 15-1, 17-1, 19-1)로 입력받은 소스 오디오 신호를 RTP 패킷의 형태로 서버(110)에게 제공한다. 따라서 서버(110)의 통화연결부(113)는 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공하는 모든 RTP 패킷을 수신한다. 도 3의 S311 단계는 소스 영상의 수신만을 도시하고 설명하고 있으나, RTP 패킷을 통해 소스 영상과 소스 오디오가 같이 수신된다.
실시 예에 따라서는, 논리적 단말에 속하는 물리적 단말은 자신의 제어명령을 서버(110)로 제공할 수도 있다. 이때, 제어명령에는 마이크 버튼의 조작 여부 등이 포함된다.
<카메라 추적 대상이 될 타깃 인식: S601>
타깃인식부(119)는 카메라 추적 제어의 대상이 되는 타깃의 위치를 인식한다. 카메라 추적 이벤트는 논리적 단말 측에 배치된 카메라의 촬영을 제어하는 이벤트로서, ① 발언자의 위치를 자동 인식하는 과정을 통해 타깃의 위치를 인식하거나 ② 논리적 단말 또는 물리적 단말 측에서 제공되는 제어명령을 이용하여 타깃의 위치를 인식한다.
타깃인식부(119)의 타깃 위치 인식은 일부 예외적인 경우를 제외하면 각 논리적 단말에서 발언자의 위치 인식과 같다. 타깃의 위치 인식을 위해, 타깃인식부(119)는 해당 논리적 단말이 등록한 마이크와 프리셋 관련 등록정보를 기초로, 논리적 단말을 구성하는 복수 개의 물리적 단말이 제공한 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 해당 논리적 단말에서 타깃의 위치를 인식한다. 따라서 여기서의 제어명령은 통상 발언자 위치와 관련되며, 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호에 대응된다. 발언자의 위치를 인식하는 구체적인 방법은 아래에서 다시 설명한다.
다만, 타깃인식부(119)의 타깃 위치 인식은 S301 과정에서 등록된 해당 논리적 단말의 '가상 타깃 위치' 중에서 선택된다. 따라서, 도 4의 예에서, 제1 논리적 단말(130)에 대한 발언자 인식은 가상의 타깃 위치 P1, P2, P3, P4 중 하나를 선택하는 것과 같다.
또한, 제어명령에 따라서는 다른 영상회의 포인트에 배치된 카메라의 촬영을 제어하기 위한 것도 포함된다. 다만, 이때의 제어명령도 발언자 위치와 관련되지 만 현재 발언 중인 발언자가 아닐 수 있다.
<카메라가 타깃을 촬영하도록 제어: S603>
앞서 S301 단계에서 설명한 것처럼, 서버(110)에 등록된 프리셋은 특정 카메라와 가상의 타깃 위치에 매핑되어 있고, 카메라는 특정 물리적 단말에 매핑되어 있다.
카메라추적부(121)는 해당 논리적 단말에 등록된 카메라 중에서 S601 단계에서 인식된 타깃 위치 또는 제어명령에 따른 타깃 위치를 촬영하기 위한 '추적용 카메라'를 선정하고, 추적용 카메라가 타깃을 촬영하도록 제어한다. S601 단계에서 이벤트가 발생하면, 카메라추적부(121)는 논리적 단말의 등록정보에서 해당 이벤트와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다.
예를 들어, S601 단계의 이벤트가 발언자 인식에 따른 타깃 인식이라면, 카메라추적부(121)는 인식된 발언자 위치(가상의 타깃 위치와 동일)와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다. 만약, 발언자가 P2에 위치하는 것으로 인식되면, 카메라추적부(121)는 제1 물리적 단말(11)에게 프리셋 식별번호 PS2를 제공하여, 제1 물리적 단말(11)이 P2 위치를 촬영하도록 제어한다. 제1 카메라(11-3)는 프리셋 식별번호 PS2로 설정된 패닝 각도/ 틸팅 각도 및 줌 파라미터에 따라 자세를 바꾸어 P2 위치를 촬영하게 된다.
예를 들어, S601 단계의 이벤트가 다른 영상회의 포인트의 카메라 제어명령에 따른 이벤트라면, 카메라추적부(121)는 제어명령으로 수신한 위치(가상의 타깃 위치와 동일)와 연결된 물리적 단말과, 프리셋 식별번호를 확인한다.
이상의 방법으로 본 발명의 논리적 단말에서의 카메라 추적이 수행된다.
타깃 위치의 자동 인식
S601 단계의 카메라 추적 제어를 위한 타깃의 위치 인식은 다양한 방법으로 수행될 수 있다.
<소스 오디오를 이용하는 방법>
타깃인식부(119)는 S301 단계에서 논리적 단말에 대해 등록된 정보를 기초로, S311 단계에서 수신한 소스 오디오 신호를 이용하여 발언자의 위치를 인식하고 그 발언자의 위치를 타깃 위치로 인식할 수 있다. 논리적 단말 쪽에 위치한 특정 발언자가 발언을 하면, 해당 논리적 단말에 등록된 거의 대부분의 마이크를 통해 입력된다. 예를 들어, 도 4에서 P1 내지 P4 어디에서 발언하더라도 제1 마이크(11-1)와 제2 마이크(13-1)로 입력된다. 다만, 발언자의 위치에 따라 마이크로 입력되는 오디오 신호의 세기가 다르다.
가령, A1은 제1 마이크로 입력된 소스 오디오 신호의 평균 세기이고, A2는 제2 마이크로 입력된 소스 오디오 신호의 평균 세기라고 할 때, P1에서 발언하면 A1 >> A2가 되고, P2에서 발언하면 A1 > A2가 된다. P2에서 발언할 때보다 P1에서 발언할 때 A2로 입력되는 신호가 작다. 마찬가지로, P3에서 발언하면 A1 < A2가 되고, P4에서 발언하면 A1 << A2가 된다. 위와 같은 방법으로 소스 오디오 신호를 분석하여, 타깃인식부(119)는 해당 발언자의 위치를 판단할 수 있다.
이때, 제1 마이크로 입력된 소스 오디오 신호와 제2 마이크로 입력된 소스 오디오 신호에는 발언자의 오디오만 입력된다고 가정한다. 실제로 다른 잡음은 에코 제거 등을 통해 제거한다.
<소스 영상을 이용하는 방법>
타깃인식부(119)는 논리적 단말에서 제공되는 모든 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 발언자를 판단할 수 있다. 당연히, 타깃인식부(119)는 소스 오디오 신호를 이용하는 방법과 병행해서 발언자의 위치를 인식할 수도 있다. 이 방법도 발언자 위치를 타깃 위치로 인식하는 방법에 해당한다.
제어명령에 의한 타깃 위치 인식방법
S601 단계의 타깃 인식은 영상회의 단말이 제공하는 제어명령을 이용할 수 있다. 제어명령은 각 논리적 또는 물리적 단말측에서 제공된다. 제어명령은 아래에서 설명하는 것처럼 다양한 방식으로 제공될 수 있지만, 본 발명에서 제어명령은 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호이다. 따라서 본 발명의 서버(110)와 물리적 단말 사이에 제어명령의 전송에 관한 프로토콜을 설정하고, 제어명령에 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 포함시키는 방식으로 영상회의 포인트에서는 타깃의 위치를 지정할 수 있다. 타깃인식부(119)는 제어명령을 수신함으로써 타깃의 위치를 즉시 인식할 수 있다.
<DTMF 신호 이용>
다른 방법으로, 종래의 영상회의 단말이 보유한 DTMF 신호 전송기술을 이용할 수도 있다. 통상적인 영상회의 단말은 리모콘에 DTMF 신호를 전송하는 기능을 내장하고 있으며, 영상회의 서버에 DTMF 신호를 보낼 수도 있다. 또한, 종래의 영상전화기의 경우에는 단말 본체에 일반 전화기처럼 DTMF 신호를 생성할 수 있는 다이얼 패드가 부착되어 있고, DTMF 신호를 영상회의 서버에 전송할 수 있다. 따라서 물리적 단말은 서버(110)로 프리셋된 카메라-자세에 대한 식별번호가 포함된 제어명령을 DTMF 신호로 보낼 수 있다.
<사용자 모바일 단말기의 어플리케이션 이용>
다른 방법으로, 타깃인식부(119)는 사용자가 보유한 모바일 단말기의 어플리케이션을 통해 제어명령을 수신할 수도 있다. 어플리케이션은 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 입력받을 수 있으며, 그 입력을 위한 그래픽 인터페이스를 제시할 수 있다. 여기서, 모바일 단말기는 스마트 폰, 태블릿 등이 해당할 수 있다.
<FECC 제어기능 이용>
또 다른 방법으로, 제어명령은 종래의 영상회의 단말이 보유한 리모컨의 PTZ 제어 기능과 표준 또는 비표준 원격 카메라 제어(FECC: Far End Camera Control)에 의해 생성될 수도 있다. 따라서 물리적 단말 측에서 기설정된 가상의 타깃 위치 또는 프리셋된 카메라-자세에 대한 식별번호를 리모컨에 설정하고 표준 또는 비표준 FECC 프로토콜에 따라 제어명령을 생성하여 서버(110)로 전송할 수 있다.
<마이크 버튼 이용>
논리적 단말에 포함된 마이크에는 마이크 버튼이 부착되어 있고, 논리적 단말을 구성하는 물리적 단말은 마이크 버튼의 조작 여부를 제어명령으로 서버(110)로 제공할 수 있다. 타깃인식부(119)는 논리적 단말 측에서 제공되는 제어명령을 기초로 해당 논리적 단말에 포함된 마이크 중에서 어떤 마이크 버튼이 조작되었는지 확인함으로써, 타깃 위치가 등록된 '가상의 타깃 위치' 중 어디인지 확인할 수 있다.
<제어명령에 의한 다른 영상회의 포인트에 대한 원격 카메라 추적제어>
한편, 제어명령을 이용하면, 다른 영상회의 포인트에 대한 카메라 추적 제어를 수행할 수 있다. 앞서 설명한 물리적 단말에서 생성하는 DTMF 제어신호 또는 FECC에 따른 제어신호가 다른 영상회의 포인트에 등록된 '가상의 타깃 위치' 또는 '프리셋된 카메라-자세에 대한 식별번호'일 수도 있다. 이러한 경우, 다른 영상회의 포인트의 카메라 추적 제어를 위해 서버(110)로 제공하는 제어명령에는 제어 타깃이 되는 영상회의 포인트를 지정하기 위한 식별번호가 포함되어야 한다. 이때의 식별번호는 논리적 단말 단위로 부여된 식별번호일 수도 있고, 그 논리적 단말에 등록된 대표 단말의 전화번호일 수도 있다.
S601 단계에서 타깃인식부(119)는 영상회의 포인트 측에서 제공된 제어명령에 포함된 단말의 식별번호가 다른 영상회의 포인트를 지정하는 경우에, 해당 영상회의 포인트(논리적 단말 또는 물리적 단말)의 등록정보를 확인하여, 제어명령에 의해 지정된 '가상의 타깃 위치' 또는 '프리셋된 카메라-자세에 대한 식별번호'를 확인한다. S603 단계에서 카메라추적부(121)는 '프리셋된 카메라-자세에 대한 식별번호'에 연결된 물리적 단말을 확인하고, 프리셋 식별번호를 확인한 다음, 해당 영상회의 포인트의 물리적 단말에게 프리셋 식별번호를 제공함으로써 원격의 카메라 제어가 수행되도록 한다.
타깃 물리적 단말을 이용한 영상 구성
S601 단계에서 타깃 위치가 인식되면, 영상처리부(115)는 S313 단계를 수행하는 과정에서 추적용 카메라가 촬영한 영상을 중심으로 영상 레이아웃을 구성할 수 있다.
앞서 설명한 것처럼, 영상처리부(115)는 각 논리적 단말 또는 물리적 단말별로 기설정된 레이아웃에 따르거나, 각 단말 쪽에서 요청하는 레이아웃에 맞추어 소스영상의 믹싱을 수행한다. 영상처리부(115)는 각 영상회의 포인트로 제공할 영상을 복수 개의 영상 셀(영역)로 구분하여 표시할 수 있다.
만약, 영상회의 포인트로 제공할 영상에 '타깃용'으로 설정된 영상 셀이 있는 경우에, S601 단계에서 카메라 추적 제어 이벤트가 생성되면, 영상처리부(115)는 추적용 카메라가 촬영한 영상(즉, 발언자 영상)을 '타깃용'으로 설정된 영상 셀에 표시할 수 있다. 예를 들어, 소스 오디오 신호의 세기가 가장 큰 물리적 단말에서 제공되는 영상이 타깃용으로 설정된 영상 셀에 표시될 수 있다. 또는, 모든 영상회의 포인트 중에서 오디오 신호의 세기가 가장 높은 논리적 단말에서 제공하는 모든 소스 영상을 발언자 영상으로 처리하여 표시할 수도 있다.
만약, 또 다른 영상 셀에 또 다른 발언자를 표시하도록 되어 있다면, 두 번째 발언 레벨이 높은 물리적 단말 또는 해당 논리적 단말의 모든 영상들을 표시할 수도 있다.
또한, 영상 레이아웃과 관련되어 발언자를 인식하고 촬영한다는 관점에서는, 반드시 PTZ 카메라일 필요는 없고 특정 위치의 발언자를 촬영하도록 고정된 고정형 카메라도 무방하다. 따라서 본 발명의 논리적 단말이 물리적 단말의 수만큼의 고정형 카메라를 보유한 경우에도 소스 오디오 신호의 세기를 비교하는 방법으로 발언자를 인식하고, 그 인식 결과에 따라 발언자를 촬영한 영상을 중심으로 영상 레이아웃을 배치할 수 있다.
논리적 단말에 대한 영상회의 서비스 제공 (오디오처리)
본 발명의 영상회의 시스템(100)은 논리적 단말이라는 기능을 제공하기 때문에, 종래의 영상회의 시스템 또는 장치와 달리 서버(110)에서의 오디오 신호처리가 종래와 달라진다.
서버(110)의 오디오처리부(117)는 통화연결부(113)가 영상회의에 참여 중인 각 포인트로부터 수신한 RTP 패킷으로부터 오디오 신호를 디코딩한다. 도 7의 영상회의 시스템(100)은 도 1의 영상회의 시스템(100)을 오디오 신호의 처리의 측면에서 도시한 것이다. 앞서 설명한 것처럼, 각 영상회의 단말(11, 13, 15, 17, 19)은 영상/음성 코덱(Codec)을 구비하고, 개별적으로 발언자의 음성을 오디오 신호로 변환하는 마이크(11-1, 13-1, 15-1, 17-1, 19-1)와 오디오 출력을 위한 스피커(11-2, 13-2, 15-2, 17-2, 19-2)를 구비하고 있다.
앞서 설명한 것처럼, 각 영상회의 단말(11, 13, 15, 17, 19)은 서버(110)와 개별적으로 SIP 세션을 형성할 뿐만 아니라 각각이 영상회의용 단말이다. 따라서, 다른 설정을 하지 않으면, 서버(110)가 구성한 영상회의에 참여한 모든 물리적 단말은 논리적 단말의 구성 여부와 관계없이 오디오 신호를 SIP 세션을 통해 서버(110)로 전송할 수 있다. 이하에서는 도 8을 참조하여 오디오처리부(117)에 의한 오디오 신호처리과정을 설명한다. 도 8의 방법은 S307 및 S309 단계를 통해 SIP 세션이 생성된 후에 진행된다.
<소스 오디오 수신단계: S801>
도 7를 참조하면, 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)은 서버(110)와 SIP 세션을 개별적으로 형성하고 있으며, 각자 마이크(11-1, 13-1, 15-1, 17-1, 19-1)로 입력되는 음성 또는 오디오를 오디오 신호로 변환하여 RTP 패킷의 형태로 서버(110)에게 제공한다. 따라서 서버(110)의 통화연결부(113)는 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공하는 모든 RTP 패킷을 수신한다. 이 단계는 소스 영상 수신에 관한 S311 단계에 대응된다.
<소스 오디오 처리단계: S803>
오디오처리부(117)는 SIP 세션을 통해 수신된 RTP 패킷을 디코딩하여 영상회의에 참여 중인 모든 물리적 단말(11, 13, 15, 17, 19)이 제공한 오디오 신호(이하, '소스 오디오 신호'라 함)를 획득하고, 각 영상회의 포인트로 제공할 오디오 신호(이하, '출력용 오디오 신호'라 함)로 다시 믹싱한다. S313 단계에 대응된다.
각 영상회의 포인트로 제공할 출력용 오디오 신호는 다른 영상회의 포인트에서 제공하는 오디오 신호를 믹싱한 것인데, 이때 다양한 방법이 가능하다.
(방법 1) 우선, 각 영상회의 포인트가 물리적 단말인지 논리적 단말인지를 불문하고, 해당 영상회의 포인트에서 제공되는 모든 오디오 신호를 믹싱할 수 있다. 예를 들어, 제1 논리적 단말(130) 쪽으로 보낼 출력용 오디오 신호에는 제2 논리적 단말(150)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제3 물리적 단말(15), 제4 물리적 단말(17) 및 제5 물리적 단말(19)이 제공한 소스 오디오 신호를 믹싱한다. 제2 논리적 단말(150) 쪽으로 보낼 오디오 신호에는 제1 논리적 단말(130)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제1 물리적 단말(11), 제2 물리적 단말(13) 및 제5 물리적 단말(19)이 제공한 소스 오디오 신호를 믹싱한다. 제5 물리적 단말(19)로 보낼 오디오 신호에는 제1 논리적 단말(130)과 제2 논리적 단말(150)이 제공한 소스 오디오 신호가 믹싱되어야 하므로, 오디오처리부(117)는 제1 물리적 단말(11), 제2 물리적 단말(13), 제3 물리적 단말(15) 및 제4 물리적 단말(17)이 제공한 소스 오디오 신호를 믹싱한다.
(방법 2) 다른 영상회의 포인트가 논리적 단말이면, 해당 논리적 단말에 속하는 물리적 단말 중 선택된 하나의 물리적 단말이 제공하는 오디오 신호만을 출력용 오디오 신호에 믹싱할 수도 있다. 예를 들어, 제1 논리적 단말(130) 쪽으로 보낼 출력용 오디오 신호에는 제2 논리적 단말(150)과 제5 물리적 단말(19)이 제공한 소스 오디오 신호가 믹싱되어야 한다. 제2 논리적 단말(150)에는 제3 물리적 단말(15)과 제4 물리적 단말(17)이 포함되므로, 오디오처리부(117)는 제3 물리적 단말(15)과 제4 물리적 단말(17) 중에서 선택된 하나의 단말에서 제공한 소스 오디오 신호만을 제5 물리적 단말(19)이 제공한 소스 오디오 신호와 믹싱하는 것이다. 이때 믹싱을 위해 선택되는 소스 오디오 신호가 반드시 출력담당-물리적 단말이 제공하는 소스 오디오 신호일 필요는 없다.
이러한 방식을 채택하는 이유는 다양할 수 있다. 예를 들어, 이 방식의 구체적 적용단계에서, 제2 논리적 단말(150) 측 발언자의 위치에 가장 가까운 마이크를 통해 입력받은 오디오 신호가 믹싱용으로 선택되고 제2 논리적 단말(150)의 나머지 물리적 단말이 제공하는 오디오 신호는 믹싱하지 않을 수 있다. 이렇게 하면, 발언자의 발언이 제2 논리적 단말(150)의 모든 마이크(15-1, 17-1)를 입력될 때 발생하는 미세한 시간 차이로 인해 오디오나 음성이 명료하지 않게 들리지 않게 되는 문제를 해결할 수 있다.
<출력용 오디오 신호 전송: S805>
오디오처리부(117)는 각 영상회의 포인트로 제공하기 위해 다시 믹싱한 '출력용 오디오 신호'를 기설정된 오디오 신호 포맷으로 압축하고 RTP 패킷으로 인코딩하여 다시 각 영상회의 포인트로 전송한다. 다만, 논리적 단말 측에는 아래에서 설명하는 출력담당-물리적 단말로 '출력용 오디오 신호'가 전송된다.
출력담당-물리적 단말
논리적 단말 설정과 무관하게, 서버(110)는 영상회의에 참여 중인 모든 물리적 단말과 SIP 세션을 형성하며, 오디오 신호는 그 SIP 세션을 통해 전송된다. 이때, 제1 포인트(A)와 제2 포인트(B)처럼 영상회의 포인트가 논리적 단말이면 오디오처리부(117)는 출력담당-물리적 단말에게만 새로 인코딩한 오디오 신호를 전송하고, 제3 포인트(C)처럼 영상회의 포인트가 논리적 단말이 아닌 물리적 단말이면 오디오처리부(117)는 종래와 동일하게 그 물리적 단말에게 새로 인코딩한 오디오 신호를 전송한다. 이를 위해, 서버(110)의 단말등록부(111)는 논리적 단말의 등록 과정에서, 논리적 단말을 구성하는 물리적 단말 중 하나를 '출력담당-물리적 단말'로 입력받아 등록한다. '출력담당-물리적 단말'은 앞서 설명한 논리적 단말의 '대표 단말일 수도 있고, 대표 단말과 다른 단말로 정할 수도 있다.
논리적 단말이 영상회의에 참여하는 경우, 다른 영상회의 포인트가 제공하는 오디오 신호는 논리적 단말을 구성하는 모든 물리적 단말을 통해 출력되는 것이 아니라, 출력담당-물리적 단말을 통해서만 출력된다. 그렇지 않으면, 동일한 오디오 신호가 복수 개의 스피커를 통해 미세한 시간차를 두고 출력되기 때문에 명료한 오디오를 출력할 수 없다. 그 밖에도 출력담당-물리적 단말을 정하지 않으면, 에코 제거에 관하여 복잡한 경우의 수가 발생하기 때문에도 적절하지 않다.
따라서 논리적 단말을 구성하는 모든 물리적 단말이 발언자의 음성 등을 오디오 신호를 변환하여 서버(110)로 제공할 수는 있지만, 서버(110)가 제공하는 오디오 신호는 오직 출력담당-물리적 단말에게 제공된다.
도 7을 참조하면, 제1 포인트(A)의 제1 논리적 단말(130)에서는 제1 물리적 단말(11)이 출력담당-물리적 단말로 등록되었고, 제2 포인트(B)의 제2 논리적 단말(150)에서는 제4 물리적 단말(17)이 출력담당-물리적 단말로 등록되었다고 가정하자.
오디오처리부(117)는 제1 포인트(A)로 제공할 출력용 오디오 신호(15b+17b+19b)를 출력담당-물리적 단말인 제1 물리적 단말(11)에게만 제공하고, 제2 포인트(B)로 제공할 출력용 오디오 신호(11b+13b+19b)를 제4 물리적 단말(17)에게만 제공한다. 제3 포인트(C)는 물리적 단말이므로, 오디오처리부(117)는 제3 포인트(C)로 제공할 출력용 오디오 신호(11b+13b+15b+17b)를 제5 물리적 단말(19)에게 전송한다.
논리적 단말을 구성하는 물리적 단말 중 출력담당-물리적 단말이 아닌 단말에는 오디오 신호가 없는 RTP 패킷을 전송할 수 있다. 여기서, '오디오 신호가 없다'는 것은 예를 들어, 진폭이 없는 오디오 신호를 포함한다. 실시 예에 따라서는 오디오 신호용 RTP 패킷 자체를 전송하지 않을 수도 있다.
따라서 논리적 단말인 제1 포인트(A)에서는 제1 물리적 단말(11)이 자신의 스피커(11-2)를 통해 출력용 오디오 신호(15b+17b+19b)를 출력하고, 제2 물리적 단말(13)의 스피커(13-2)를 통해서는 어떤 오디오도 출력되지 않는다. 마찬가지로, 논리적 단말인 제2 포인트(B)에서는 제4 물리적 단말(17)이 자신의 스피커(17-2)를 통해 출력용 오디오 신호(11b+13b+19b)를 출력하고, 제3 물리적 단말(15)의 스피커(15-2)를 통해서는 어떤 오디오도 출력되지 않는다.
논리적 단말에서의 페어링 에코 캔슬링 (도 9)
앞서 설명한 것처럼, 서버(110)가 구성한 영상회의에 참여한 모든 물리적 단말은 논리적 단말의 구성 여부와 관계없이 각각이 영상회의용 단말이기 때문에, 자신의 마이크로 입력되는 소스 오디오 신호를 자신의 스피커로 출력하지 않는다.
또한, 서버(110)가 구성한 영상회의에 참여한 물리적 단말은 논리적 단말의 구성 여부와 관계없이 에코 제거 기능을 구비할 수 있다. 그러나 입력되는 소스 오디오 신호에서 에코를 제거하기 위해서는 기준이 되는 오디오 신호(출력용 오디오 신호)가 있어야 하는데, 논리적 단말로 전송할 출력용 오디오 신호는 출력담당-물리적 단말에게만 전송된다. 따라서 논리적 단말에 속하면서 출력담당-물리적 단말이 아닌 영상회의 단말은 에코 제거 기능을 수행할 기준 오디오 신호를 보유하지 못한다.
도 7의 예에서, 제1 논리적 단말(130)에서는 제1 물리적 단말(11)이 출력담당-물리적 단말로 설정되어 있기 때문에, 오디오처리부(117)는 제1 논리적 단말(130)로 전송해야 할 출력용 오디오 신호를 제1 물리적 단말(11)에게만 전송하고, 제2 물리적 단말(13)에게는 전송하지 않는다. 이해를 위해 설명하면, 오디오처리부(117)가 제2 물리적 단말(13)에게 어떠한 RTP 패킷도 전송하지 않는 것을 의미하는 것은 아니며, 단지 출력을 위한 제1 물리적 단말(11)에게 제공한 오디오 신호가 제공되지 않는 것이다.
반대로, 제1 논리적 단말(130) 쪽에서는 제1 물리적 단말(11)과 제2 물리적 단말(13)이 각각 자신의 마이크(11-1, 13-1)를 통해 수신한 소스 오디오 신호(11b, 13b)를 서버(110)로 전송한다. 이때, 출력담당-물리적 단말인 제1 물리적 단말(11)은 서버(110)로부터 출력을 위한 오디오 신호를 수신했기 때문에, 마이크(11-1)로 입력된 신호에 대해 에코 제거를 수행할 수 있다. 그러나 제2 물리적 단말(13)은 출력담당-물리적 단말이 아니므로 서버(110)로부터 출력용 오디오 신호를 수신하지 못했고 에코 제거의 기준이 되는 신호를 보유하지 못한 상태다.
따라서 제2 물리적 단말(13)은 마이크(13-1)로 입력된 소스 오디오 신호에 대해 에코 제거를 수행할 수 없다. 따라서 본 발명은 영상회의 서버(110)의 에코처리부(123)가 에코 제거 기능을 수행한다.
에코처리부(123)는 각 영상회의 포인트로 제공하기 위한 출력용 오디오 신호를 믹싱하기 전에, 에코 제거 기능을 수행하며, 필요에 따라 기본적인 잡음 제거를 수행할 수도 있다. 본 발명의 에코 제거는 종래의 일반적인 영상회의 시스템 또는 장비에서의 에코 제거와 완전히 다르다. 이하에서는 본 발명의 특징적인 에코 제거 기능을 '페어링 에코 캔슬링(Paring Echo Cancelling)'이라 한다.
에코처리부(123)는 논리적 단말 측에서 수신된 소스 오디오가 출력담당-물리적 단말이 제공한 것이 아니면, 그 논리적 단말로 전송한 출력용 오디오 신호를 이용하여 에코를 제거한다. 이하에서는 도 9를 참조하여, 영상회의 서버(110)의 에코 제거방법을 설명한다. 도 9의 방법도 도 3의 S307 및 S309 단계에 따라 서버(110)와 각 물리적 단말 사이에 SIP 세션이 생성된 상태에서 수행된다.
우선, S801 단계에서 오디오처리부(117)가 영상회의에 참여한 각 물리적 단말(11, 13, 15, 17, 19)로부터 소스 오디오 신호를 수신하면, 에코처리부(123)는 해당 소스 오디오 신호가 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 아닌 단말이 제공한 신호인지 판단한다(S901, S903).
S901, S903 단계의 판단결과, 해당 소스 오디오 신호가 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 아닌 단말이 제공한 신호이면, 에코처리부(123)는 해당 논리적 단말에게 전송하였던 출력용 오디오 신호를 기준으로 에코 제거 기능을 수행한다. 에코처리부(123)의 에코 제거 알고리즘은 입력된 오디오 신호에서 출력 오디오 신호와 일치하는 파형을 제거하는 것으로서 통상 알려진 에코 제거 알고리즘을 사용할 수 있다. 도 7의 예에서, 에코처리부(123)는 제2 물리적 단말(13)이 제공하는 소스 오디오 신호를 출력담당-물리적 단말인 제1 물리적 단말(11)에게 전송하였던 출력용 오디오 신호와 비교하여 에코를 제거한다. 만약, 제2 물리적 단말(13)이 제공하는 소스 오디오 신호에 에코가 있었다면, 제1 물리적 단말(11)에게 전송한 출력용 오디오 신호와 동일한 파형이므로, 에코 제거 알고리즘에 의해 제거될 수 있다(S905).
S901, S903 단계의 판단결과, 해당 오디오 신호가 논리적 단말로부터 전송된 것이 아니거나, 논리적 단말에 속하는 물리적 단말로서 출력담당-물리적 단말이 제공한 신호이면, 에코처리부(123)는 에코 제거 기능를 수행하지 않아도 된다. 출력담당-물리적 단말이 자체에서 에코 제거 기능을 구비하여 에코를 제거할 수 있기 때문이다. 다른 방법으로, S603 단계와 동일하게 제1 물리적 단말(11)에게 이미 전송하였던 출력용 오디오 신호와 비교하면서 에코를 제거할 수 있다.
이상의 방법으로, 본 발명의 페어링 에코 캔슬링이 수행된다.
(실시 예) 논리적 단말에서의 오디오 처리 및 에코 제거의 다른 방법
앞에서 설명한 예에서, 오디오처리부(117)는 출력담당-물리적 단말에게만 출력용 오디오 신호를 제공하는 것으로 설명하였으나, 반드시 이에 한정될 필요는 없다. 예를 들어, 논리적 단말을 구성하는 모든 물리적 단말에게 동일한 출력용 오디오 신호를 제공할 수 있다. 다만, 출력담당-물리적 단말만이 해당 출력용 오디오 신호를 출력하고, 나머지 물리적 단말은 단순히 에코 제거용 기준 오디오 신호로 사용한다.
오디오처리부(117)는 논리적 단말을 구성하는 모든 물리적 단말에게 동일한 출력용 오디오 신호를 보내되, 출력담당-물리적 단말에게 제공하는 RTP 패킷에는 '출력용'으로 표시하고, 나머지 물리적 단말에게 제공하는 RTP 패킷에는 해당 오디오 신호를 '에코제거용'으로 표시한다. 이 경우, 에코 제거는 각 물리적 단말에서 수행되므로, 서버(110)는 에코처리부(123)를 구비할 필요가 없다.
예를 들어, 도 7의 예에서, 오디오처리부(117)는 제1 논리적 단말(130)로 제공할 출력용 오디오 신호가 있는 경우에, 출력담당-물리적 단말인 제1 물리적 단말(11)에게는 '출력용'으로 표시하여 전송하고, 제2 물리적 단말(13)에게는 '에코제거용'으로 표시하여 전송한다.
이에 따라, 제1 물리적 단말(11은 출력용 오디오 신호를 스피커(11-2)를 통해 출력하고, 제2 물리적 단말(13)은 서버(110)로부터 제공받은 출력용 오디오 신호를 스피커(13-2)를 통해 출력하지 않고 보유하며, 마이크(13-1)를 통해 수신하는 오디오 신호에서 에코를 제거하는 용도로 사용한다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (22)

  1. 영상회의 서버의 영상회의 서비스 제공방법에 있어서,
    복수 개의 물리적 단말을 제1 논리적 단말로 등록함으로써 상기 복수 개의 물리적 단말이 하나의 영상회의 포인트(Point)처럼 동작하도록 등록하되, 상기 제1 논리적 단말의 등록정보에는 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록하는 등록단계;
    복수 개 영상회의 포인트들 사이의 영상회의를 연결하되, 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하는 호연결단계;
    상기 복수 개 영상회의 포인트가 제공하는 소스 영상과 소스 오디오 신호를 수신하되, 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상과 소스 오디오 신호를 수신하는 소스 수신단계;
    상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 추적 제어 대상이 되는 타깃의 위치를 인식하는 타깃 인식단계; 및
    상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어하는 카메라 추적단계를 포함하여, 상기 제1 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하되,
    상기 호연결단계는,
    발신측 포인트로부터 호 연결 요청 메시지를 수신하는 단계;
    상기 호 연결 요청 메시지 수신에 따라 발신측과 수신측을 연결하는 중에, 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하는 단계;
    상기 조회 결과에 따라 상기 발신측이 제1 논리적 단말의 물리적 단말이면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계; 및
    상기 조회 결과에 따라 상기 호 연결 요청된 수신측이 상기 제1 논리적 단말의 물리적 단말이면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 단계를 수행하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  2. 제1항에 있어서,
    상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에,
    상기 카메라 추적단계는, 상기 타깃 인식단계에서 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공함으로써, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하도록 제어하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  3. 제2항에 있어서,
    상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록되며,
    상기 카메라 추적단계는 상기 타깃 인식단계에서 인식된 타깃 위치에 대응하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  4. 제3항에 있어서,
    상기 등록단계는 상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  5. 제2항에 있어서,
    상기 소스 수신단계를 통해 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하는 멀티 스크린 영상 제공단계;
    상기 소스 오디오 수신단계를 통해 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오 신호를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하는 오디오 처리단계; 및
    상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 오디오 출력단계를 포함하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  6. 제5항에 있어서,
    상기 멀티 스크린 영상 제공단계는,
    상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  7. 제5항에 있어서,
    상기 멀티 스크린 영상 제공단계는 상기 복수 개 영상회의 포인트들 중에서 상기 타깃의 위치에 대응되는 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  9. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 타깃 인식단계는,
    상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  10. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 타깃 인식단계는,
    상기 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버의 영상회의 서비스 제공방법.
  11. 삭제
  12. 영상회의 서비스 제공할 수 있는 영상회의 서버에 있어서,
    복수 개의 물리적 단말을 하나의 영상회의 포인트(Point)처럼 동작하는 제1 논리적 단말로 등록하되, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크 사이의 배치 관계를 등록하는 단말등록부;
    상기 제1 논리적 단말을 포함하는 복수 개 영상회의 포인트들 사이의 영상회의를 연결하되 상기 제1 논리적 단말에 대해서는 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말과 개별적으로 연결하며, 상기 복수 개 영상회의 포인트들로부터 소스 영상 및 소스 오디오 신호를 수신하되 상기 제1 논리적 단말에 대해서는 상기 복수 개의 물리적 단말 각각으로부터 상기 소스 영상 및 소스 오디오 신호를 수신하는 통화연결부; 및
    상기 복수 개 마이크 사이의 배치 관계를 기초로, 상기 복수 개의 물리적 단말이 제공한 상기 소스 영상, 소스 오디오 신호 및 제어명령 중에서 선택된 하나를 이용하여 상기 제1 논리적 단말에서 추적 제어 대상이 되는 타깃의 위치를 인식하는 타깃인식부; 및
    상기 타깃 위치를 기초로 상기 복수 개의 물리적 단말에 연결된 카메라들 중 하나를 추적용 카메라로 선택하고, 상기 추적용 카메라가 상기 타깃을 촬영하도록 제어하는 카메라추적부를 포함하여, 상기 제1 논리적 단말이 하나의 가상의 영상회의 포인트로 동작하도록 하되,
    상기 통화연결부는, 발신측 포인트로부터 호 연결 요청 메시지에 따라 발신측과 수신측을 연결하는 중에 상기 발신측 또는 수신측이 상기 제1 논리적 단말인지 여부를 조회하고, 상기 발신측이 제1 논리적 단말의 물리적 단말로 조회되면 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하고, 상기 수신측이 상기 제1 논리적 단말의 물리적 단말로 조회되면, 상기 제1 논리적 단말의 나머지 물리적 단말과도 개별 연결을 생성하는 것을 특징으로 하는 영상회의 서버.
  13. 제12항에 있어서,
    상기 제1 논리적 단말에 포함된 물리적 단말이 복수 개의 카메라-자세를 프리셋한 경우에,
    상기 카메라추적부는, 상기 타깃인식부가 인식한 타깃의 위치에 대응하는 카메라-자세의 식별번호를 상기 복수 개 물리적 단말 중에서 상기 추적용 카메라가 연결된 물리적 단말에게 제공함으로써, 상기 추적용 카메라가 자세를 바꾸어 타깃을 추적하도록 제어하는 것을 특징으로 하는 영상회의 서버.
  14. 제13항에 있어서,
    상기 제1 논리적 단말의 등록정보에는, 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계가 등록되며,
    상기 카메라추적부는 상기 타깃 위치에 해당하는 가상의 타깃 위치를 확인하여 상기 등록정보에서 상기 추적용 카메라와 상기 카메라-자세의 식별번호를 추출하는 것을 특징으로 하는 영상회의 서버.
  15. 제14항에 있어서,
    상기 단말등록부는,
    상기 기설정된 가상의 타깃 위치와, 상기 복수 개의 물리적 단말에 연결된 복수 개 마이크와, 상기 카메라-자세의 식별번호 사이의 배치관계를 도식적으로 입력받기 위한 화면을 사용자에게 표시하는 것을 특징으로 하는 영상회의 서버.
  16. 제12항에 있어서,
    상기 통화연결부가 수신한 전체 소스 영상 중에서 다른 영상회의 포인트에서 제공한 영상을 상기 제1 논리적 단말의 복수 개 물리적 단말에게 분배하도록 처리하는 영상처리부; 및
    상기 통화연결부가 수신한 전체 소스 오디오 중에서 다른 영상회의 포인트에서 제공한 오디오를 상기 제1 논리적 단말에게 제공할 출력용 오디오 신호로 믹싱하며, 상기 제1 논리적 단말에 속하는 복수 개의 물리적 단말 중에서 출력담당-물리적 단말에게 상기 출력용 오디오 신호를 전송하는 오디오처리부를 포함하는 것을 특징으로 하는 영상회의 서버.
  17. 제16항에 있어서,
    상기 영상처리부는,
    상기 제1 논리적 단말의 복수 개의 물리적 단말 각각으로부터 수신한 소스 영상을 상기 다른 영상회의 포인트에게 제공할 영상에 배치하되, 상기 복수 개의 물리적 단말 중 상기 타깃 위치에 대응되는 물리적 단말로부터 제공되는 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버
  18. 제16항에 있어서,
    상기 영상처리부는 상기 복수 개 영상회의 포인트들 중에서 상기 타깃의 위치에 대응되는 논리적 단말에서 제공하는 모든 소스 영상을 타깃용으로 설정된 영역에 배치하는 것을 특징으로 하는 영상회의 서버.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 제어명령은 상기 카메라-자세의 식별번호 중 하나로서, 상기 제1 논리적 단말을 구성하는 복수 개의 물리적 단말로부터 제공되거나 사용자 모바일 단말기로부터 제공되거나 다른 영상회의 포인트로부터 제공되는 것을 특징으로 하는 영상회의 서버.
  20. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 타깃인식부는,
    상기 복수 개 마이크 사이의 배치 관계와 상기 복수 개의 물리적 단말이 제공한 상기 소스 오디오 신호의 세기를 기초로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버.
  21. 제12항 내지 제18항 중 어느 한 항에 있어서,
    상기 타깃인식부는,
    상기 소스 영상에 대한 영상처리를 통해 발언 중인 사람의 입을 인식하는 방법으로 상기 제1 논리적 단말에서 타깃의 위치를 인식하는 것을 특징으로 하는 영상회의 서버.
  22. 삭제
KR1020180058605A 2018-05-23 2018-05-23 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 KR101918676B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180058605A KR101918676B1 (ko) 2018-05-23 2018-05-23 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
JP2020564909A JP2021525035A (ja) 2018-05-23 2019-02-18 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法
US16/616,242 US20210336813A1 (en) 2018-05-23 2019-02-18 Videoconferencing server for providing videoconferencing by using multiple videoconferencing terminals and camera tracking method therefor
EP19807483.3A EP3813361A4 (en) 2018-05-23 2019-02-18 VIDEO CONFERENCE SERVER TO DELIVER A VIDEO CONFERENCE BY USING A VARIETY OF VIDEO CONFERENCE DEVICES AND CAMERA FOLLOWING METHODS THEREOF
PCT/KR2019/001905 WO2019225836A1 (ko) 2018-05-23 2019-02-18 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058605A KR101918676B1 (ko) 2018-05-23 2018-05-23 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법

Publications (1)

Publication Number Publication Date
KR101918676B1 true KR101918676B1 (ko) 2018-11-14

Family

ID=64328227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058605A KR101918676B1 (ko) 2018-05-23 2018-05-23 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법

Country Status (5)

Country Link
US (1) US20210336813A1 (ko)
EP (1) EP3813361A4 (ko)
JP (1) JP2021525035A (ko)
KR (1) KR101918676B1 (ko)
WO (1) WO2019225836A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114184A (ko) 2021-02-08 2022-08-17 한밭대학교 산학협력단 온라인 강의 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3096312C (en) 2020-10-19 2021-12-28 Light Wave Technology Inc. System for tracking a user during a videotelephony session and method ofuse thereof
CN114095290B (zh) * 2021-09-30 2024-03-22 联想(北京)有限公司 一种信息处理方法、信息处理装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143473A (ja) * 1993-11-19 1995-06-02 Nec Eng Ltd カメラプリセット機能付テレビ会議端末
KR20000037652A (ko) * 1998-12-01 2000-07-05 전주범 영상회의 시스템에서의 음원 추적에 의한 카메라 제어 방법
JP2001339703A (ja) * 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
KR100725780B1 (ko) * 2005-11-24 2007-06-08 삼성전자주식회사 이동통신단말기에서 화상통화 연결 방법
JP2009017330A (ja) * 2007-07-06 2009-01-22 Sony Corp テレビ会議システム、テレビ会議方法およびテレビ会議プログラム
KR101393077B1 (ko) * 2012-06-29 2014-05-12 (주)티아이스퀘어 네트워크를 통해 다자간 영상 회의 서비스를 제공하는 방법 및 시스템
US8892079B1 (en) * 2012-09-14 2014-11-18 Google Inc. Ad hoc endpoint device association for multimedia conferencing
KR20140098573A (ko) * 2013-01-31 2014-08-08 한국전자통신연구원 영상 회의 서비스 제공 장치 및 방법
KR101641184B1 (ko) 2014-11-25 2016-08-01 (주)유프리즘 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템
EP3070876A1 (en) * 2015-03-17 2016-09-21 Telefonica Digital España, S.L.U. Method and system for improving teleconference services

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114184A (ko) 2021-02-08 2022-08-17 한밭대학교 산학협력단 온라인 강의 시스템 및 방법

Also Published As

Publication number Publication date
WO2019225836A1 (ko) 2019-11-28
JP2021525035A (ja) 2021-09-16
EP3813361A1 (en) 2021-04-28
US20210336813A1 (en) 2021-10-28
EP3813361A4 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
US8379076B2 (en) System and method for displaying a multipoint videoconference
US8289369B2 (en) Distributed real-time media composer
US9041767B2 (en) Method and system for adapting a CP layout according to interaction between conferees
JP5129989B2 (ja) 会議レイアウト制御及び制御プロトコル
US20040021764A1 (en) Visual teleconferencing apparatus
EP2154885A1 (en) A caption display method and a video communication system, apparatus
US20120056971A1 (en) Virtual Presence Via Mobile
KR101918676B1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
CN101675623A (zh) 多点会议中的媒体检测和分组分发
JP2018056719A (ja) テレビ会議装置
US9516272B2 (en) Adapting a continuous presence layout to a discussion situation
KR101918674B1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법
TW201320708A (zh) 視訊會議系統及視訊會議方法
JP2003023612A (ja) 画像通信端末装置
JP5436743B2 (ja) 通信端末装置および通信制御装置
JP2009246528A (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
KR101861561B1 (ko) 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP4768578B2 (ja) テレビ会議システム、及び、テレビ会議システムにおける制御方法
JP2010028299A (ja) 会議撮影画像処理方法及び会議装置等
GB2535445A (en) Audio - visual conferencing systems
CN118042049A (zh) 多方通话实现方法、装置、设备、芯片及存储介质
JPH04137686U (ja) テレビ会議システムの自動送信画像選択装置
WO2013066290A1 (en) Videoconferencing using personal devices
JPH11275237A (ja) テレビ電話会議サポートシステム

Legal Events

Date Code Title Description
GRNT Written decision to grant