KR20170014818A - 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치 - Google Patents

다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치 Download PDF

Info

Publication number
KR20170014818A
KR20170014818A KR1020150108737A KR20150108737A KR20170014818A KR 20170014818 A KR20170014818 A KR 20170014818A KR 1020150108737 A KR1020150108737 A KR 1020150108737A KR 20150108737 A KR20150108737 A KR 20150108737A KR 20170014818 A KR20170014818 A KR 20170014818A
Authority
KR
South Korea
Prior art keywords
user
image
virtual
feature information
virtual user
Prior art date
Application number
KR1020150108737A
Other languages
English (en)
Inventor
정성화
신택선
김지훈
김성일
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020150108737A priority Critical patent/KR20170014818A/ko
Publication of KR20170014818A publication Critical patent/KR20170014818A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치가 제공된다. 본 발명의 일 실시예에 따른 다자간 영상 회의 시스템은, 사용자를 촬영하여 영상을 획득하고, 상기 영상으로부터 상기 사용자의 특징 정보를 추출하는 복수의 클라이언트 장치; 및 상기 복수의 클라이언트 장치로부터 상기 사용자의 특징 정보 각각을 수신하고, 수신된 복수의 상기 사용자의 특징 정보를 상기 복수의 클라이언트 장치에 전송하는 서버를 포함하며, 상기 클라이언트 장치는, 수신된 복수의 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키고, 상기 가상의 사용자 이미지 각각을 디스플레이한다.

Description

다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치{SYSTEM AND METHOD FOR MULTI-PARTY VIDEO CONFERENCING, AND CLIENT APPARATUS FOR EXECUTING THE SAME}
본 발명의 실시예들은 다자간 영상 회의 기술과 관련된다.
최근, 영상 처리 기술이 발전함에 따라 영상 회의 기술이 보편화되고 있다. 이러한 영상 회의는 이동 시간 및 비용을 줄일 수 있을 뿐만 아니라 회의 참석자가 직접 대면하여 회의함으로써 회의의 집중도를 향상시킬 수 있다.
그러나, 종래에는 영상 회의를 위해 참석자의 음성 정보뿐만 아니라 영상 정보를 함께 전송할 필요가 있었으며, 이에 따라 막대한 데이터 전송량이 발생하게 되는 문제점이 있었다. 막대한 데이터 전송량이 발생함에 따라 데이터 전송에 있어서 지연(delay)이 발생하게 되며, 대역폭의 소모량이 커지게 된다. 이는, 현실감을 중요시하는 영상 회의에서 치명적인 단점으로 지적되며, 특히 참석자가 많아질수록 이러한 문제점은 더욱 심각해진다.
또한, 2차원 화면으로 제공되는 영상 회의의 경우 현실감이 떨어지며, 다수의 참석자가 영상 회의에 참여하게 되는 경우 2차원 화면을 분할하여 작은 화면으로 제공하여야 하는 번거로움이 있었다.
한국공개특허공보 제10-2015-0080065호(2015.07.09)
본 발명의 실시예들은 데이터의 전송량을 최소화하고 현실감을 극대화한 다자간 영상 회의 시스템을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 사용자를 촬영하여 영상을 획득하고, 상기 영상으로부터 상기 사용자의 특징 정보를 추출하는 복수의 클라이언트 장치 및 상기 복수의 클라이언트 장치로부터 상기 사용자의 특징 정보 각각을 수신하고, 수신된 복수의 상기 사용자의 특징 정보를 상기 복수의 클라이언트 장치에 전송하는 서버를 포함하며, 상기 클라이언트 장치는, 수신된 복수의 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키고, 상기 가상의 사용자 이미지 각각을 디스플레이하는 다자간 영상 회의 시스템이 제공된다.
상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함할 수 있다.
상기 클라이언트 장치는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 클라이언트 장치는, 상기 사용자의 전방 영상을 획득하고, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링될 수 있다.
상기 클라이언트 장치는, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 다자간 영상 회의를 위한 클라이언트 장치로서, 하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 수신부, 수신된 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 제어부 및 상기 가상의 사용자 이미지 각각을 디스플레이하는 디스플레이부를 포함하는 클라이언트 장치가 제공된다.
상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함할 수 있다.
상기 디스플레이부는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 사용자의 전방 영상을 획득하는 전방 영상 획득부를 더 포함하며, 상기 디스플레이부는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링될 수 있다.
상기 제어부는, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 복수의 클라이언트 장치에서, 사용자를 촬영하여 영상을 획득하고 상기 영상으로부터 상기 사용자의 특징 정보를 추출하는 단계, 서버에서, 상기 복수의 클라이언트 장치로부터 상기 사용자의 특징 정보 각각을 수신하는 단계, 상기 서버에서, 수신된 복수의 상기 사용자의 특징 정보를 상기 복수의 클라이언트 장치에 전송하는 단계, 상기 클라이언트 장치에서, 수신된 복수의 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계 및 상기 클라이언트 장치에서, 상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 포함하는, 다자간 영상 회의 방법이 제공된다.
상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 사용자의 전방 영상을 획득하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링될 수 있다.
상기 클라이언트 장치에서, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는 단계를 더 포함할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 클라이언트 장치에서 다자간 영상 회의를 수행하기 위한 방법으로서, 하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 단계, 수신된 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계 및 상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 포함하는 다자간 영상 회의 방법이 제공된다.
상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
전방 영상 획득부에서, 상기 사용자의 전방 영상을 획득하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링될 수 있다.
상기 제어부에서, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는 단계를 더 포함할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 하드웨어와 결합되어, 클라이언트 장치에서 다자간 영상 회의를 수행하기 위해, 하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 단계, 수신된 상기 사용자의 특징 정보에 기초하여 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계 및 상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램이 제공된다.
본 발명의 실시예들에 따르면, 영상 회의를 위해 각 클라이언트 장치가 사용자가 포함된 영상 전체를 전송하는 것이 아니라 사용자의 특징 정보만을 서버 또는 타 클라이언트 장치로 전송함으로써, 데이터 전송량을 최소화할 수 있으며 이에 따라 데이터 전송의 지연을 방지하고 대역폭의 소모량을 최소화할 수 있다.
또한, 본 발명의 실시예들에 따르면, 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 사용자의 실제 모습과 유사한 가상의 사용자 이미지를 생성하고 생성된 상기 가상의 사용자 이미지가 영상 회의 화면에 디스플레이되도록 함으로써, 영상 회의의 현실감을 높일 수 있다.
또한, 본 발명의 실시예들에 따르면, 사용자의 전방 영상에 가상의 사용자 이미지 각각을 합성하여 디스플레이함으로써, 영상 회의의 현실감을 좀 더 극대화시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 다자간 영상 회의 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 제1 실시예에 따른 클라이언트 장치의 상세 구성을 나타낸 블록도
도 3은 본 발명의 제2 실시예에 따른 클라이언트 장치의 상세 구성을 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 다자간 영상 회의 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 다자간 영상 회의 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 다자간 영상 회의 시스템(100)은 복수의 클라이언트 장치(110) 및 서버(120)를 포함한다.
클라이언트 장치(110)는 다자간 영상 회의를 수행하기 위한 장치로서, 카메라, 캠코더 등과 같이 사용자를 촬영하는 데 사용되는 광학 모듈, 데스크탑, 노트북, 스마트폰, PDA 등과 같이 영상을 분석하고 영상 회의 화면을 디스플레이하는 데 사용되는 전자 기기, 스마트 글래스, 스마트 고글 등과 같이 사용자의 전방 영상을 획득하기 위한 웨어러블 기기 등을 포함할 수 있다. 각 클라이언트 장치(110)는 서로 다른 공간 상에 존재할 수 있으며, 사용자들은 각 클라이언트 장치(110)를 통해 원거리의 상대방의 모습을 확인하고 서로 의사소통 할 수 있다. 즉, 이하에서는 영상 회의에 참석하고자 하는 사용자들이 서로 다른 공간 상에 존재하며 각 클라이언트 장치(110)를 통해 영상 회의에 참석하는 것으로 가정한다.
클라이언트 장치(110)는 사용자를 촬영하여 사용자가 포함된 영상을 획득할 수 있다. 이를 위해, 클라이언트 장치(110)는 카메라, 캠코더 등과 같은 광학 모듈(미도시)을 구비할 수 있다. 상기 광학 모듈은 사용자를 촬영하기 위해 사용자의 전방에 설치될 수 있다.
클라이언트 장치(110)는 광학 모듈을 통해 획득한 영상으로부터 사용자의 특징 정보를 추출할 수 있다. 사용자의 특징 정보는 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함할 수 있다. 일 예시로서, 클라이언트 장치(110)는 사용자가 눈동자나 입술을 움직이는 경우 사용자의 표정 변화 정보, 예를 들어 "사용자가 오른쪽 눈을 감음", "사용자의 오른쪽 입꼬리가 3시 방향으로 5cm 올라감" 등의 특징 정보를 추출할 수 있다. 다른 예시로서, 클라이언트 장치(110)는 사용자의 시선이 변하는 경우 사용자의 시선 변화 정보, 예를 들어 "사용자의 눈동자가 오른쪽을 향함", "사용자의 눈동자가 전방을 향함" 등의 특징 정보를 추출할 수 있다. 다른 예시로서, 클라이언트 장치(110)는 사용자가 손짓 또는 몸짓을 취하는 경우 사용자의 동작 변화 정보, 예를 들어 "사용자가 손을 흔듦", "사용자가 머리를 긁적임" 등의 특징 정보를 추출할 수 있다. 클라이언트 장치(110)는 예를 들어, SIFT(Scale-Invariant Feature Transform), HOG(Histogram Of Gradient), SURF(Speeded Up Robust Features), FAST(Features from Accelerated Segment Test) 등과 같은 다양한 알고리즘을 이용하여 사용자의 특징 정보를 추출할 수 있다.
클라이언트 장치(110)는 추출된 상기 사용자의 특징 정보를 서버(120)로 전송할 수 있다. 이때, 서버(120)는 각 클라이언트 장치(110)로부터 사용자의 특징 정보를 각각 수신할 수 있다. 만약, 영상 회의 참석자가 3명인 경우, 서버(120)는 상기 3명의 특징 정보를 해당 클라이언트 장치(110) 각각으로부터 수신할 수 있다. 서버(120)는 각 클라이언트 장치(110)로부터 사용자의 특징 정보를 수집하고, 수집된 복수의 사용자의 특징 정보를 각 클라이언트 장치(110)로 전송할 수 있다. 이와 같이, 각 클라이언트 장치(110)는 사용자가 포함된 영상 전체를 서버(120)로 전송하는 것이 아니라 사용자의 특징 정보만을 서버(120)로 전송함으로써, 데이터 전송량을 최소화할 수 있으며 이에 따라 데이터 전송의 지연을 방지하고 대역폭의 소모량을 최소화할 수 있다.
한편, 각 클라이언트 장치(110)는 서버(120)를 통하지 않고 추출된 사용자의 특징 정보를 곧바로 타 클라이언트 장치로 전송할 수도 있다. 각 클라이언트 장치(110)는 서버(120)의 중계 없이 타 클라이언트 장치로부터 복수의 사용자의 특징 정보를 각각 수신할 수 있으며, 이 경우 서버(120)는 생략될 수 있다.
클라이언트 장치(110)는 서버(120)로부터 수신된 복수의 사용자의 특징 정보에 기초하여 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시킬 수 있다. 상기 가상의 사용자 이미지는 영상 회의에 참석하는 사용자별로 미리 설정되어 있을 수 있다. 이때, 상기 가상의 사용자 이미지는 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링될 수 있다. 예를 들어, 사용자는 영상 회의의 참석 전 자신의 실제 모습과 유사한 가상의 사용자 이미지의 생성을 위한 등록 절차를 거칠 수 있으며, 이 과정에서 클라이언트 장치(110)는 스캐너 등을 통해 사용자의 신체를 3차원 스캐닝함으로써 사용자의 3차원 스캐너 이미지가 획득할 수 있다. 클라이언트 장치(110)는 획득된 3차원 스캐너 이미지를 기초로 사용자의 실제 모습과 유사한 가상의 사용자 이미지를 모델링할 수 있으며, 생성된 상기 가상의 사용자 이미지의 정보를 서버(120)로 전송할 수 있다. 한편, 여기서는 클라이언트 장치(110)에서 가상의 사용자 이미지를 생성하는 것으로 설명하였으나, 이는 하나의 실시예에 불과하며 상기 가상의 사용자 이미지는 서버(120) 측에서 생성되어 해당 클라이언트 장치(110)로 전송될 수도 있다. 이와 같이, 본 발명의 실시예들에 따르면, 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 사용자의 실제 모습과 유사한 가상의 사용자 이미지를 생성하고 생성된 상기 가상의 사용자 이미지가 영상 회의 화면에 디스플레이되도록 함으로써, 영상 회의의 현실감을 높일 수 있다. 다만, 상술한 가상의 사용자 이미지의 생성 방법(3차원 스캔 방법)은 일 실시예에 불과하며, 가상의 사용자 이미지의 생성 방법이 이에 한정되는 것은 아니다. 가상의 사용자 이미지는 예를 들어, 사용자가 포함된 사진 또는 영상에 기초하여 모델링될 수도 있다.
만약, 서버(120)로부터 수신된 A 사용자의 특징 정보에 "사용자가 손을 흔듦" 정보가 포함되고 B 사용자의 특징 정보에 "사용자가 오른쪽 눈을 감음" 정보가 포함되는 경우, 클라이언트 장치(110)는 A 사용자의 가상의 사용자 이미지가 손을 흔들도록 가상의 사용자 이미지의 손 움직임을 제어하고 B 사용자의 가상의 사용자 이미지가 오른쪽 눈을 감도록 가상의 사용자 이미지의 눈동자 움직임을 제어할 수 있다. 이와 같이, 클라이언트 장치(110)는 서버(120)로부터 수신된 복수의 사용자의 특징 정보를 해당 사용자의 가상의 사용자 이미지에 매핑시킴으로써, 사용자의 가상의 사용자 이미지가 실제 사용자와 동일한 움직임을 취하도록 할 수 있다.
클라이언트 장치(110)는 상기 사용자의 특징 정보가 매핑된 사용자의 가상의 사용자 이미지를 화면에 디스플레이할 수 있다.
일 예시로서, 클라이언트 장치(110)는 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 상기 배경 이미지는 예를 들어, 회의실, 강의실, 강당 등을 나타낼 수 있으며, 사용자에 의해 선택될 수 있다. 만약, 사용자가 회의실을 나타내는 배경 이미지를 선택하는 경우, 상기 배경 이미지에 사용자의 가상의 사용자 이미지가 합성되어 디스플레이될 수 있다. 이에 따라, 사용자는 실제 회의실에 있는 것과 같은 현실감을 느낄 수 있으며, 영상 회의에 좀 더 몰입할 수 있다. 상기 배경 이미지 및 가상의 사용자 이미지는 예를 들어, 데스크탑, 노트북, 스마트폰, PDA 등과 같은 전자 기기의 화면을 통해 디스플레이될 수 있다.
다른 예시로서, 클라이언트 장치(110)는 사용자의 전방 영상을 획득하고, 상기 전방 영상에 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 상술한 바와 같이, 클라이언트 장치(110)는 스마트 글래스, 스마트 고글 등과 같이 사용자의 전방 영상을 획득하기 위한 웨어러블 기기 등을 포함할 수 있다. 상기 웨어러블 기기는 사용자의 얼굴 또는 머리에 장착될 수 있으며, 사용자가 바라보는 사용자의 전방 영상을 획득할 수 있다. 클라이언트 장치(110)는 웨어러블 기기를 통해 획득된 사용자의 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 이 경우, 현실 세계의 영상에 가상의 사용자 이미지가 합성된 증강 현실 상태의 영상이 디스플레이되며, 영상 회의의 현실감이 좀 더 극대화될 수 있다.
또한, 클라이언트 장치(110)는 사용자의 입력에 따라 디스플레이되는 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경할 수 있다. 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 등은 여러 가지 버전으로 클라이언트 장치(110) 또는 서버(120)에 미리 저장되어 있을 수 있으며, 클라이언트 장치(110)는 사용자의 입력에 따라 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경할 수 있다. 예를 들어, 사용자가 가상의 사용자 이미지의 옷을 정장으로 변경하고자 하는 경우, 클라이언트 장치(110)는 미리 저장된 정장 이미지를 가상의 사용자 이미지에 합성하여 디스플레이함으로써, 사용자가 원하는 가상의 사용자 이미지의 모습을 나타낼 수 있다. 이에 따라, 사용자가 적절치 않은 복장을 착용한 상황에서 영상 회의에 참석하여야 하는 경우 영상 회의에 맞는 복장을 착용한 가상의 사용자 이미지를 상대방에게 디스플레이할 수 있다. 또한, 사용자가 가상의 사용자 이미지의 화장 상태 또는 신체를 변경하고자 하는 경우(예를 들어, 메이크업 상태로 변경, 다리 길이 늘림 등), 클라이언트 장치(110)는 사용자의 입력에 따라 가상의 사용자 이미지의 모습을 변경시킬 수 있다. 한편, 여기서는 사용자의 입력에 따라 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는 것으로 설명하였으나, 이는 실시예들에 불과하며 사용자의 입력에 따라 가상의 사용자 이미지의 헤어 스타일, 액세서리 등을 변경될 수도 있다.
서버(120)는 각 클라이언트 장치(110)로부터 수신한 사용자의 특징 정보를 중계하는 장치이다. 상술한 바와 같이, 서버(120)는 각 클라이언트 장치(110)로부터 사용자의 특징 정보를 각각 수신할 수 있으며, 수신된 복수의 사용자의 특징 정보를 각 클라이언트 장치(110)로 전송할 수 있다. 또한, 서버(120)는 다자간 영상 회의에 참여하고자 하는 사용자의 정보(예를 들어, 사용자의 아이디 및 패스워드 등), 클라이언트 장치(110)에 포함된 전자 기기의 정보(예를 들어, 전자 기기의 아이피 주소 등), 사용자별로 설정된 가상의 사용자 이미지의 정보 등을 관리할 수 있다.
한편, 상술한 바와 같이, 각 클라이언트 장치(110)는 서버(120)를 통하지 않고 추출된 사용자의 특징 정보를 곧바로 타 클라이언트 장치로 전송할 수 있다. 각 클라이언트 장치(110)는 서버(120)의 중계 없이 타 클라이언트 장치로부터 복수의 사용자의 특징 정보를 각각 수신할 수 있으며, 이 경우 서버(120)는 생략될 수 있다.
도 2는 본 발명의 제1 실시예에 따른 클라이언트 장치(110)의 상세 구성을 나타낸 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 클라이언트 장치(110)는 촬영부(210), 특징 정보 추출부(220), 송신부(230), 수신부(240), 제어부(250) 및 디스플레이부(260)를 포함할 수 있다. 상기 클라이언트 장치(110)의 각 구성들은 하나의 장치(예를 들어 데스크탑, 노트북, 스마트폰, PDA 등)에서 구현될 수 있으나 이에 한정되는 것은 아니다. 상기 클라이언트 장치(110)의 구성들 중 일부는 서로 다른 장치의 구성으로서 존재할 수도 있다. 예를 들어, 촬영부(210)는 카메라, 캠코더 등과 같은 광학 모듈의 일 구성으로서 존재하며, 특징 정보 추출부(220), 송신부(230), 수신부(240), 제어부(250) 및 디스플레이부(260)는 데스크탑의 일 구성으로서 존재할 수 있다. 이하에서는, 클라이언트 장치(110)의 각 구성들의 기능을 상세히 살펴보기로 한다.
촬영부(210)는 사용자를 촬영하여 사용자가 포함된 영상을 획득한다. 촬영부(210)는 카메라, 캠코더 등과 같은 광학 모듈을 포함할 수 있다. 촬영부(210)는 상기 광학 모듈을 통해 사용자를 촬영할 수 있다. 상기 광학 모듈은 예를 들어, 사용자의 전방에 설치될 수 있다.
특징 정보 추출부(220)는 촬영부(210)를 통해 획득된 영상으로부터 사용자의 특징 정보를 추출한다. 상술한 바와 같이, 사용자의 특징 정보는 사용자의 표정 변화 정보, 시선 변화 정보 및 동작 변화 정보 중 하나 이상을 포함할 수 있다. 특징 정보 추출부 (220)는 사용자의 표정 변화, 시선 변화 및 동작 변화 등을 감지하고 감지된 사용자의 신체 움직임에 관한 정보를 사용자의 특징 정보로 추출할 수 있다. 특징 정보 추출부(220)는 예를 들어, SIFT, HOG, SURF, FAST 등과 같은 다양한 알고리즘을 이용하여 사용자의 특징 정보를 추출할 수 있으나, 사용자의 특징 정보를 추출하는 방법이 이에 한정되는 것은 아니다.
송신부(230)는 추출된 사용자의 특징 정보를 서버(120)로 전송한다. 본 발명의 실시예들에 따르면, 송신부(230)는 사용자가 포함된 영상 전체를 서버(120)로 전송하는 것이 아니라 사용자의 특징 정보만을 서버(120)로 전송하며, 이에 따라 데이터 전송량을 최소화함으로써 데이터 전송의 지연을 방지하고 대역폭의 소모량을 최소화할 수 있다. 또한, 송신부(230)는 서버(120)를 통하지 않고 추출된 사용자의 특징 정보를 곧바로 타 클라이언트 장치로 전송할 수도 있다.
수신부(240)는 서버(120)로부터 복수의 사용자의 특징 정보를 수신한다. 서버(120)는 각 클라이언트 장치(110)로부터 사용자의 특징 정보를 각각 수신할 수 있으며, 수신된 복수의 사용자의 특징 정보를 각 클라이언트 장치(110)의 수신부(240)로 전송할 수 있다. 또한, 수신부(240)는 서버(120)와의 중계 없이 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신할 수도 있다.
제어부(250)는 수신된 복수의 사용자의 특징 정보에 기초하여 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시킨다. 만약, 서버(120)로부터 수신된 A 사용자의 특징 정보에 "사용자가 손을 흔듦" 정보가 포함되고 B 사용자의 특징 정보에 "사용자가 오른쪽 눈을 감음" 정보가 포함되는 경우, 제어부(250)는 A 사용자의 가상의 사용자 이미지가 손을 흔들도록 가상의 사용자 이미지의 손 움직임을 제어하고 B 사용자의 가상의 사용자 이미지가 오른쪽 눈을 감도록 가상의 사용자 이미지의 눈동자 움직임을 제어할 수 있다.
디스플레이부(260)는 상기 사용자의 특징 정보가 매핑된 사용자의 가상의 사용자 이미지를 화면에 디스플레이할 수 있다. 디스플레이부(260)는 사용자의 가상의 사용자 이미지를 3차원으로 디스플레이함으로써 영상 회의의 현실감을 증대시킬 수 있다.
디스플레이부(260)는 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 이 경우, 디스플레이부(260)는 데스크탑, 노트북, 스마트폰, PDA 등과 같은 전자 기기의 일 구성으로서 존재할 수 있다. 또한, 상기 배경 이미지는 예를 들어, 회의실, 강의실, 강당 등을 나타낼 수 있으며, 사용자에 의해 선택될 수 있다. 이때, 디스플레이부(260)를 통해 디스플레이되는 배경 이미지는 각 클라이언트 장치(110)별로 다를 수 있다.
또한, 디스플레이부(260)는 입력 모듈(미도시)를 통해 사용자로부터 가상의 사용자 이미지 각각이 디스플레이되는 위치를 입력 받고, 사용자가 입력한 해당 위치에 가상의 사용자 이미지 각각을 디스플레이할 수 있다. 예를 들어, 사용자의 입력에 따라 A 사용자의 가상의 사용자 이미지는 화면의 중앙 부분에 디스플레이되며 B 사용자의 가상의 사용자 이미지는 화면의 오른쪽 부분에 디스플레이될 수 있다. 또한, 상기 가상의 사용자 이미지 각각의 위치는 서버(120)의 관리자에 의해 설정될 수도 있다. 이와 같이, 사용자들은 가상의 사용자 이미지를 통해 서로의 모습을 확인할 수 있으며, 상대방이 자신에게 특정 제스쳐를 취하는 경우 이를 인식할 수 있다.
도 3은 본 발명의 제2 실시예에 따른 클라이언트 장치(110)의 상세 구성을 나타낸 블록도이다. 도시된 바와 같이, 본 발명의 제2 실시예에 따른 클라이언트 장치(110)는 촬영부(210), 특징 정보 추출부 (220), 송신부(230), 수신부(240), 제어부(250), 디스플레이부(260) 및 전방 영상 획득부(310)를 포함할 수 있다. 본 발명의 제2 실시예에 따른 클라이언트 장치(110)는 앞에서 설명한 제1 실시예와 달리 전방 영상 획득부(310)가 더 추가되었으며, 이하에서는 추가된 전방 영상 획득부(310)를 중심으로 설명하기로 한다.
전방 영상 획득부(310)는 사용자의 전방 영상을 획득한다. 이를 위해, 전방 영상 획득부(310)는 스마트 글래스, 스마트 고글 등과 같은 웨어러블 기기를 구비할 수 있으며, 상기 웨어러블 기기를 통해 사용자의 전방 영상을 획득할 수 있다. 상기 웨어러블 기기는 사용자의 얼굴 또는 머리에 장착되는 헤드 마운티드 디스플레이(HMD : Head Mounted Display)일 수 있다. 사용자는 상기 웨어러블 기기를 통해 전방 영상을 볼 수 있으며, 상기 전방 영상에 상기 가상의 사용자 이미지 각각이 합성되어 디스플레이될 수 있다.
디스플레이부(260)는 전방 영상 획득부(310)를 통해 획득된 사용자의 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 이 경우, 디스플레이부(260)는 상기 웨어러블 기기의 일 구성으로서 존재할 수 있다. 이에 따라, 웨어러블 기기의 화면에는 현실 세계의 영상에 가상의 사용자 이미지가 합성된 증강 현실 상태의 영상이 디스플레이되며, 영상 회의의 현실감이 좀 더 극대화될 수 있다.
실시예들에서, 촬영부(210), 특징 정보 추출부 (220), 송신부(230), 수신부(240), 제어부(250), 디스플레이부(260) 및 전방 영상 획득부(310)는 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 다자간 영상 회의 방법(400)을 설명하기 위한 흐름도이다. 도 4에 도시된 방법은 예를 들어, 전술한 다자간 영상 회의 시스템(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
402 단계에서, 클라이언트 장치 1(110-1)은 사용자를 촬영하여 사용자가 포함된 영상을 획득한다. 클라이언트 장치 1(110-1)은 카메라, 캠코더 등과 같은 광학 모듈을 통해 사용자를 촬영할 수 있다.
404 단계에서, 클라이언트 장치 1(110-1)은 획득한 영상으로부터 사용자의 특징 정보를 추출한다. 상술한 바와 같이, 사용자의 특징 정보는 사용자의 표정 변화 정보, 시선 변화 정보 및 동작 변화 정보 중 하나 이상을 포함할 수 있다.
406 및 408 단계에서, 클라이언트 장치 1(110-1)은 획득된 사용자의 특징 정보를 서버(120)에 전송하고, 서버(120)는 수신된 사용자의 특징 정보를 클라이언트 장치 2에 전송할 수 있다. 도 4에서는 설명의 편의를 위해 2개의 클라이언트 장치만을 도시하였으나, 2 이상의 클라이언트 장치 간에 사용자의 특징 정보를 송수신할 수 있음은 앞에서 설명한 바와 같다. 또한, 여기서는 복수의 클라이언트 장치(110-1, 110-2) 사이에서 서버(120)가 사용자의 특징 정보를 중계하는 것으로 도시하였으나 이에 한정되는 것은 아니며, 서버(120)를 통하지 않고 클라이언트 장치(110-1, 110-2)끼리 직접 사용자의 특징 정보를 송수신할 수도 있다.
410 단계에서, 클라이언트 장치 2(110-2)는 서버(120)로부터 수신된 사용자 특징 정보에 기초하여 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시킨다. 예를 들어, 서버(120)로부터 수신된 A 사용자의 특징 정보에 "사용자가 손을 흔듦" 정보가 포함되고 B 사용자의 특징 정보에 "사용자가 오른쪽 눈을 감음" 정보가 포함되는 경우, 클라이언트 장치(110)는 A 사용자의 가상의 사용자 이미지가 손을 흔들도록 가상의 사용자 이미지의 손 움직임을 제어하고 B 사용자의 가상의 사용자 이미지가 오른쪽 눈을 감도록 가상의 사용자 이미지의 눈동자 움직임을 제어할 수 있다.
412 단계에서, 클라이언트 장치 2(110-2)는 사용자의 특징 정보가 매핑된 가상의 사용자 이미지 각각을 디스플레이할 수 있다. 일 예시로서, 클라이언트 장치 2(110-2)는 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다. 다른 예시로서, 클라이언트 장치 2(110-2)는 사용자의 전방 영상을 획득하고, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이할 수 있다.
한편, 도 4에서는 설명의 편의상 클라이언트 장치 1(110-1)의 사용자에 대응되는 가상의 사용자 이미지가 클라이언트 장치 2(110-2)의 화면에 디스플레이되는 실시예만을 도시하였으나, 클라이언트 장치 2(110-2)의 사용자에 대응되는 가상의 사용자 이미지가 클라이언트 장치 1(110-1)의 화면에 디스플레이될 수도 있음은 물론이다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 다자간 영상 회의 시스템
110 : 클라이언트 장치
120 : 서버
210 : 촬영부
220 : 특징 정보 추출부
230 : 송신부
240 : 수신부
250 : 제어부
260 : 디스플레이부
310 : 전방 영상 획득부

Claims (25)

  1. 사용자를 촬영하여 영상을 획득하고, 상기 영상으로부터 상기 사용자의 특징 정보를 추출하는 복수의 클라이언트 장치; 및
    상기 복수의 클라이언트 장치로부터 상기 사용자의 특징 정보 각각을 수신하고, 수신된 복수의 상기 사용자의 특징 정보를 상기 복수의 클라이언트 장치에 전송하는 서버를 포함하며,
    상기 클라이언트 장치는, 수신된 복수의 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키고, 상기 가상의 사용자 이미지 각각을 디스플레이하는, 다자간 영상 회의 시스템.
  2. 청구항 1에 있어서,
    상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함하는, 다자간 영상 회의 시스템.
  3. 청구항 1에 있어서,
    상기 클라이언트 장치는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 시스템.
  4. 청구항 1에 있어서,
    상기 클라이언트 장치는, 상기 사용자의 전방 영상을 획득하고, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 시스템.
  5. 청구항 1에 있어서,
    상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링되는, 다자간 영상 회의 시스템.
  6. 청구항 1에 있어서,
    상기 클라이언트 장치는, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는, 다자간 영상 회의 시스템.
  7. 다자간 영상 회의를 위한 클라이언트 장치로서,
    하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 수신부;
    수신된 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 제어부; 및
    상기 가상의 사용자 이미지 각각을 디스플레이하는 디스플레이부를 포함하는, 클라이언트 장치.
  8. 청구항 7에 있어서,
    상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함하는, 클라이언트 장치.
  9. 청구항 7에 있어서,
    상기 디스플레이부는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 클라이언트 장치.
  10. 청구항 7에 있어서,
    상기 사용자의 전방 영상을 획득하는 전방 영상 획득부를 더 포함하며,
    상기 디스플레이부는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 클라이언트 장치.
  11. 청구항 7에 있어서,
    상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링되는, 클라이언트 장치.
  12. 청구항 7에 있어서,
    상기 제어부는, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는, 클라이언트 장치.
  13. 복수의 클라이언트 장치에서, 사용자를 촬영하여 영상을 획득하고 상기 영상으로부터 상기 사용자의 특징 정보를 추출하는 단계;
    서버에서, 상기 복수의 클라이언트 장치로부터 상기 사용자의 특징 정보 각각을 수신하는 단계;
    상기 서버에서, 수신된 복수의 상기 사용자의 특징 정보를 상기 복수의 클라이언트 장치에 전송하는 단계;
    상기 클라이언트 장치에서, 수신된 복수의 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계; 및
    상기 클라이언트 장치에서, 상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 포함하는, 다자간 영상 회의 방법.
  14. 청구항 13에 있어서,
    상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함하는, 다자간 영상 회의 방법.
  15. 청구항 13에 있어서,
    상기 디스플레이하는 단계는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 방법.
  16. 청구항 13에 있어서,
    상기 사용자의 전방 영상을 획득하는 단계를 더 포함하며,
    상기 디스플레이하는 단계는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 방법.
  17. 청구항 13에 있어서,
    상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링되는, 다자간 영상 회의 방법.
  18. 청구항 13에 있어서,
    상기 클라이언트 장치에서, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는 단계를 더 포함하는, 다자간 영상 회의 방법.
  19. 클라이언트 장치에서 다자간 영상 회의를 수행하기 위한 방법으로서,
    하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 단계;
    수신된 상기 사용자의 특징 정보에 기초하여 상기 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계; 및
    상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 포함하는, 다자간 영상 회의 방법.
  20. 청구항 19에 있어서,
    상기 사용자의 특징 정보는, 상기 사용자의 표정 변화 정보, 시선 변화 정보 및 동작(gesture) 변화 정보 중 하나 이상을 포함하는, 다자간 영상 회의 방법.
  21. 청구항 19에 있어서,
    상기 디스플레이하는 단계는, 상기 사용자로부터 선택된 가상의 배경 이미지에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 방법.
  22. 청구항 19에 있어서,
    전방 영상 획득부에서, 상기 사용자의 전방 영상을 획득하는 단계를 더 포함하며,
    상기 디스플레이하는 단계는, 상기 전방 영상에 상기 가상의 사용자 이미지 각각을 합성하여 디스플레이하는, 다자간 영상 회의 방법.
  23. 청구항 19에 있어서,
    상기 가상의 사용자 이미지는, 상기 사용자의 신체를 3차원 스캐닝함으로써 획득되는 3차원 스캔 이미지를 기초로 모델링되는, 다자간 영상 회의 방법.
  24. 청구항 19에 있어서,
    상기 제어부에서, 상기 사용자의 입력에 따라 상기 가상의 사용자 이미지의 옷, 화장 상태, 신체 중 하나 이상을 변경하는 단계를 더 포함하는, 다자간 영상 회의 방법.
  25. 하드웨어와 결합되어, 클라이언트 장치에서 다자간 영상 회의를 수행하기 위해,
    하나 이상의 타 클라이언트 장치 각각으로부터 사용자의 특징 정보를 수신하는 단계;
    수신된 상기 사용자의 특징 정보에 기초하여 사용자 각각에 대응되는 가상의 사용자 이미지의 신체 중 적어도 일부분의 움직임을 변화시키는 단계; 및
    상기 가상의 사용자 이미지 각각을 디스플레이하는 단계를 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램.
KR1020150108737A 2015-07-31 2015-07-31 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치 KR20170014818A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150108737A KR20170014818A (ko) 2015-07-31 2015-07-31 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150108737A KR20170014818A (ko) 2015-07-31 2015-07-31 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치

Publications (1)

Publication Number Publication Date
KR20170014818A true KR20170014818A (ko) 2017-02-08

Family

ID=58155822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150108737A KR20170014818A (ko) 2015-07-31 2015-07-31 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치

Country Status (1)

Country Link
KR (1) KR20170014818A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11139949B2 (en) 2019-09-23 2021-10-05 Macom Technology Solutions Holdings, Inc. Equalizer adaptation based on eye monitor measurements
US11196484B2 (en) 2019-10-15 2021-12-07 Macom Technology Solutions Holdings, Inc. Finding the eye center with a low-power eye monitor using a 3-dimensional algorithm
US11218345B2 (en) 2019-09-19 2022-01-04 Macom Technology Solutions Holdings, Inc. Using ISI or Q calculation to adapt equalizer settings
KR20220079213A (ko) 2020-12-04 2022-06-13 주식회사 디지포레 확장 현실 기반의 제품 시연 서비스 제공 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080065A (ko) 2013-12-30 2015-07-09 주식회사 케이티 영상회의 영상 데이터를 생성하는 방법 및 서버, 그리고 영상회의 영상 데이터를 수신하는 방법 및 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080065A (ko) 2013-12-30 2015-07-09 주식회사 케이티 영상회의 영상 데이터를 생성하는 방법 및 서버, 그리고 영상회의 영상 데이터를 수신하는 방법 및 디바이스

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11218345B2 (en) 2019-09-19 2022-01-04 Macom Technology Solutions Holdings, Inc. Using ISI or Q calculation to adapt equalizer settings
US11139949B2 (en) 2019-09-23 2021-10-05 Macom Technology Solutions Holdings, Inc. Equalizer adaptation based on eye monitor measurements
US11196484B2 (en) 2019-10-15 2021-12-07 Macom Technology Solutions Holdings, Inc. Finding the eye center with a low-power eye monitor using a 3-dimensional algorithm
KR20220079213A (ko) 2020-12-04 2022-06-13 주식회사 디지포레 확장 현실 기반의 제품 시연 서비스 제공 방법 및 시스템

Similar Documents

Publication Publication Date Title
EP3358835B1 (en) Improved method and system for video conferences with hmds
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
US20170301120A1 (en) Augmented display of information in a device view of a display screen
US9460340B2 (en) Self-initiated change of appearance for subjects in video and images
US20200349751A1 (en) Presentation interface and immersion platform
CN114365197A (zh) 在具有多个物理参与者的环境中放置虚拟内容
CN106165404B (zh) 支持增强现实的交互和协作的***和方法
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20170014818A (ko) 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치
US12020389B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
CN108427195A (zh) 一种基于增强现实的信息处理方法及设备
KR20150113795A (ko) 눈맞춤 기능 제어 장치 및 방법
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
JP7525598B2 (ja) 通信端末装置、通信方法、およびソフトウェアプログラム
WO2019037217A1 (zh) 摄像头模组和社交***
US20240202944A1 (en) Aligning scanned environments for multi-user communication sessions
Arita et al. Non-verbal human communication using avatars in a virtual space
WO2023075810A1 (en) System and method for extracting, transplanting live images for streaming blended, hyper-realistic reality
CN116977500A (zh) 一种基于视频通信***的虚拟形象展示方法和装置
CN116560511A (zh) 画面展示方法、装置、计算机设备和存储介质
JP2010213155A (ja) ビデオ会議システムおよび方法