KR20180058199A

KR20180058199A - 영상 회의를 위한 전자 장치 및 그의 동작 방법

Info

Publication number: KR20180058199A
Application number: KR1020170155550A
Authority: KR
Inventors: 지덕구; 강진아; 구기종; 문종배; 이종국; 장종현; 조정현; 최승한; 한미경
Original assignee: 한국전자통신연구원
Priority date: 2016-11-23
Filing date: 2017-11-21
Publication date: 2018-05-31
Also published as: KR102044003B1

Abstract

제1 전자 장치 및 그의 동작 방법이 개시된다. 제1 전자 장치는, 제1 사용자를 촬영한 제1 영상을 생성하는 제1 카메라; 상기 제1 사용자가 착용한 제2 카메라를 통해 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 수신기; 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하고, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하고, 상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 프로세서; 및 상기 합성 영상을 다른 전자 장치로 송신하는 송신기;를 포함한다. 따라서, 제1 전자 장치는 제2 전자 장치로 제1 사용자의 생생한 표정을 제공할 수 있다.

Description

영상 회의를 위한 전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS FOR A VIDEO CONFERENCE AND OPERATION METHOD THEREFOR}

본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 영상 회의를 위한 전자 장치 및 그의 동작 방법에 관한 것이다.

영상 회의(video conference) 시스템은 원격지에 위치한 각각의 카메라 및 마이크를 통해 각각의 사용자의 영상 및 음성 신호를 획득할 수 있다. 영상 회의 시스템은 획득된 영상 및 음성 신호를 네트워크를 통해 각각의 다른 사용자에게 송신할 수 있다. 또한, 영상 회의 시스템은 수신한 각각의 영상 및 음성 신호를 각각의 디스플레이 및 스피커를 통해 각각의 사용자에게 전달할 수 있다.

사용자는 헤드폰 마이크(headphone mic) 세트 또는 헤드 마운티드 디스플레이(head mounted display; HMD) 등의 회의용 장비를 착용할 수 있다. 영상 회의 시스템은 회의용 장비를 착용한 사용자의 영상을 다른 사용자에게 제공할 수 있다. 이때, 다른 사용자는 영상 속의 사용자가 착용한 회의용 장비로 인해 영상 회의에 대한 몰입감이 저하되는 문제점이 발생할 수 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 회의용 장비를 착용한 사용자의 영상을 회의용 장비를 착용하지 않은 사용자의 영상으로 대체하여 송신 및 표시하기 위한 영상 회의용 전자 장치 및 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 제1 전자 장치는, 제1 사용자를 촬영한 제1 영상을 생성하는 제1 카메라; 상기 제1 사용자가 착용한 제2 카메라를 통해 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 수신기; 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하고, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하고, 상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 프로세서; 및 상기 합성 영상을 다른 전자 장치로 송신하는 송신기;를 포함한다.

상기 프로세서는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하고, 상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하고, 상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성할 수 있다.

상기 프로세서는, 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보에 기초하여 상기 제1 사용자의 안면부 영상 모델을 생성하고, 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제1 사용자의 안면부 영상이 존재하는지 여부를 결정하고, 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 사용자의 안면부 방향 정보를 생성할 수 있다.

상기 프로세서는, 상기 제2 카메라 영상의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라 영상 모델을 생성하고, 그리고 상기 제2 카메라 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제2 카메라 영상이 존재하는지 여부를 결정할 수 있다.

상기 프로세서는, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대한 3차원 영상 정보를 생성하고, 상기 제1 사용자의 안면부 영상의 방향 정보 및 상기 3차원 영상 정보에 기초하여 상기 제1 사용자의 안면부 방향에 대응하는 상기 제3 영상을 생성할 수 있다.

상기 프로세서는, 상기 제1 영상의 평균 조도에 관한 제1 영상 조도 정보를 생성하고, 상기 제2 영상의 평균 조도에 관한 제2 영상 조도 정보를 생성하고, 상기 제3 영상의 평균 조도에 관한 제3 영상 조도 정보를 생성할 수 있다.

상기 프로세서는, 상기 제1 영상 조도 정보에 기초하여 상기 제2 영상 조도 정보 및 상기 제3 영상 조도 정보를 상기 제1 영상 조도 정보에 대응되도록 변경할 수 있다.

상기 프로세서는, 조도 정보가 변경된 상기 제2 영상의 왜곡을 보정하고, 상기 제1 사용자의 안면부 영상의 방향 정보에 기초하여 상기 제2 영상의 방향을 상기 제1 사용자의 안면부 방향에 대응되도록 변경할 수 있다.

상기 프로세서는, 상기 제1 사용자의 안면부 영상을 상기 제3 영상으로 변경한 변경 영상을 생성하고, 상기 제1 사용자의 안면부 영상의 위치 정보, 크기 정보 및 방향 정보, 상기 제2 카메라 영상의 위치 정보 및 방향 정보에 기초하여 상기 변경 영상과 상기 제2 영상을 합성한 상기 합성 영상을 생성할 수 있다.

상기 프로세서는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 모니터링하고, 그리고 상기 모니터링 결과에 기초하여 상기 합성 영상을 갱신할 수 있다.

본 발명의 일 실시예에 따른 제1 전자 장치의 동작 방법은, 제1 카메라를 통해, 제1 사용자를 촬영한 제1 영상을 생성하는 단계; 상기 제1 사용자가 착용한 제2 카메라를 통해, 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 단계; 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하는 단계; 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하는 단계; 상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 단계; 및 상기 합성 영상을 다른 전자 장치로 송신하는 단계;를 포함한다.

상기 제1 사용자의 안면부 영상을 검출하는 단계는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하는 단계; 상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하는 단계; 및 상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성하는 단계;를 포함할 수 있다.

상기 제1 사용자의 안면부 영상을 검출하는 단계는, 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보에 기초하여 상기 제1 사용자의 안면부 영상 모델을 생성하는 단계; 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제1 사용자의 안면부 영상이 존재하는지 여부를 결정하는 단계; 및 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 사용자의 안면부 방향 정보를 생성하는 단계;를 더 포함할 수 있다.

상기 제1 사용자의 안면부 영상을 검출하는 단계는, 상기 제2 카메라 영상의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라 영상 모델을 생성하는 단계; 및 상기 제2 카메라 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제2 카메라 영상이 존재하는지 여부를 결정하는 단계;를 더 포함할 수 있다.

제3 영상을 생성하는 단계는, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대한 3차원 영상 정보를 생성하는 단계; 및 상기 제1 사용자의 안면부 영상의 방향 정보 및 상기 3차원 영상 정보에 기초하여 상기 제1 사용자의 안면부 방향에 대응하는 상기 제3 영상을 생성하는 단계;를 포함할 수 있다.

제3 영상을 생성하는 단계는, 상기 제1 영상의 평균 조도에 관한 제1 영상 조도 정보를 생성하는 단계; 상기 제2 영상의 평균 조도에 관한 제2 영상 조도 정보를 생성하는 단계; 및 상기 제3 영상의 평균 조도에 관한 제3 영상 조도 정보를 생성하는 단계;를 더 포함할 수 있다.

제3 영상을 생성하는 단계는, 상기 제1 영상 조도 정보에 기초하여 상기 제2 영상 조도 정보 및 상기 제3 영상 조도 정보를 상기 제1 영상 조도 정보에 대응되도록 변경하도록 실행하는 단계;를 더 포함할 수 있다.

제3 영상을 생성하는 단계는, 조도 정보가 변경된 상기 제2 영상의 왜곡을 보정하는 단계; 및 상기 제1 사용자의 안면부 영상의 방향 정보에 기초하여 상기 제2 영상의 방향을 상기 제1 사용자의 안면부 방향에 대응되도록 변경하는 단계;를 더 포함할 수 있다.

상기 합성 영상을 생성하는 단계는, 상기 제1 사용자의 안면부 영상을 상기 제3 영상으로 변경한 변경 영상을 생성하는 단계; 및 상기 제1 사용자의 안면부 영상의 위치 정보, 크기 정보 및 방향 정보, 상기 제2 카메라 영상의 위치 정보 및 방향 정보에 기초하여 상기 변경 영상과 상기 제2 영상을 합성한 상기 합성 영상을 생성하는 단계;를 포함할 수 있다.

상기 합성 영상을 생성하는 단계는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 모니터링하는 단계; 및 상기 모니터링 결과에 기초하여 상기 합성 영상을 갱신하는 단계;를 더 포함할 수 있다.

본 발명에 따르면, 회의용 장비를 착용한 사용자의 영상을 회의용 장비를 착용하지 않은 사용자의 영상으로 대체하여 송신 및 출력하기 위한 영상 회의용 전자 장치 및 방법을 제공함으로써, 사용자의 생생한 표정을 영상 회의에 참여하는 다른 사용자에게 제공할 수 있다.

도 1a는 일 실시예에 따른 사용자 영상을 제공하는 영상 회의 시스템의 개념도이다.
도 1b는 일 실시예에 따른 합성된 사용자 영상을 제공하는 영상 회의 시스템의 개념도이다.
도 2는 일 실시예에 따른 영상 회의 시스템의 구성을 도시한 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
도 4는 일 실시예에 카메라의 구성을 도시한 블록도이다.
도 5는 일 실시예에 따른 헤드 마운티드 디스플레이의 구성을 도시한 블록도이다.
도 6은 일 실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
도 7은 일 실시예에 따른 전자 장치의 동작 순서를 도시한 흐름도이다.
도 8a는 일 실시예에 따른 객체 검출 및 사용자 안면부 방향을 추정하기 위한 전자 장치의 동작 순서를 도시한 흐름도이다.
도 8b는 일 실시예에 따른 합성 영상을 생성하기 위한 전자 장치의 동작 순서를 도시한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1a는 일 실시예에 따른 사용자 영상을 제공하는 영상 회의 시스템의 개념도이다.

도 1a를 참고하면, 영상 회의 시스템은 제1 사용자 시스템(110) 및 제2 사용자 시스템(120)을 포함할 수 있다. 제1 사용자 시스템(110) 및 제2 사용자 시스템(120)은 서버(미도시)를 통한 네트워크 또는 P2P(point to point) 통신을 통해 상호간에 각 사용자의 실시간 영상 및 음성 데이터를 송수신할 수 있다.

제1 사용자 시스템(110)은 카메라를 통해 회의용 장비를 착용한 제1 사용자(112)를 촬영할 수 있다. 제1 사용자 시스템(110)은 제1 디스플레이(111)를 통해 회의용 장비(113)를 착용한 제1 사용자(112)의 영상을 표시할 수 있다. 제1 사용자 시스템(110)은 회의용 장비를 착용한 제1 사용자(112)의 영상을 제2 사용자 시스템(120)으로 송신할 수 있다. 제2 사용자 시스템(120)은 제2 디스플레이(121)를 통해 회의용 장비(123)를 착용한 제1 사용자(112)의 영상을 표시할 수 있다.

예를 들어, 제1 사용자 시스템(110)은 카메라를 통해 제1 사용자(112)의 실시간 영상 및 음성을 획득할 수 있다. 제1 사용자 시스템(110)은 제1 디스플레이(111)를 통해 제1 사용자(112) 영상을 표시할 수 있다.

제1 사용자 시스템(110)은 제1 사용자(112)의 실시간 영상 및 음성을 제2 사용자 시스템(120)으로 송신할 수 있다. 예를 들어, 제1 사용자 시스템(110)은 제1 사용자(112)를 촬영한 영상 신호를 생성할 수 있다. 제1 사용자 시스템(110)은 영상 신호를 미리 정해진 레이아웃 정보에 기초하여 하나의 영상으로 믹싱(mixing)할 수 있다. 제1 사용자 시스템(110)은 믹싱된 신호를 제2 사용자 시스템(120)으로 송신할 수 있다. 제2 사용자 시스템(120)은 제1 사용자 시스템(110)으로부터 수신된 영상 신호에 기초하여 제2 사용자 시스템(120)의 제2 디스플레이(121)를 통해 제1 사용자(112) 영상을 표시할 수 있다.

이때, 제1 사용자 시스템(110) 및 제2 사용자 시스템(120) 각각은 영상 회의의 몰입도 향상 및 생생한 영상 및 음성 제공을 위한 별도의 영상 회의 룸(미도시)에 배치될 수 있다. 또한, 제1 사용자 시스템(110) 및 제2 사용자 시스템(120)은 영상 회의 룸에 대한 설비 비용을 절감하기 위하여, 증강 현실(augmented reality: AR) 및 가상 현실(virtual reality: VR) 기술을 이용할 수 있다. 예를 들어, 제1 사용자 시스템(110) 및 제2 사용자 시스템(120)은 2차원 또는 3차원 가상공간으로 표현된 영상회의 룸에서 각각의 사용자 영상을 가상의 아바타(avatar)로 대체하고, 각각의 사용자 동작 및 감정을 아바타를 통하여 표현할 수 있다.

제1 사용자(112)는 영상 회의 장치를 착용할 수 있다. 예를 들어, 제1 사용자는 제1 헤드 마운티드 디스플레이(113)를 착용할 수 있다. 제1 사용자 시스템(110)은 디스플레이를 통해 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자(112) 영상을 표시할 수 있다.

제1 헤드 마운티드 디스플레이(113)는 제1 사용자(112)의 안면부에 착용 가능한 전자 장치로, 제1 사용자(112)의 안구에 인접하게 배치되는 소형 디스플레이(미도시)를 포함할 수 있다. 또한, 제1 헤드 마운티드 디스플레이(113)는 소형 디스플레이를 통해 대형 스크린을 이용하는 것과 같은 효과를 낼 수 있다. 예를 들어, 제1 헤드 마운티드 디스플레이(113)는 소형 디스플레이를 통해 비디오 게임을 출력할 수 있다. 제1 헤드 마운티드 디스플레이(113)는 소형 디스플레이를 통해 3차원 가상 공간을 생성하여 제1 사용자(112)의 몰입도를 극대화시킬 수 있다.

또한, 제1 헤드 마운티드 디스플레이(113)는 복수의 센서들(미도시)을 포함할 수 있다. 제1 헤드 마운티드 디스플레이(113)는 복수의 센서들을 통해 제1 사용자(112)에게 다양한 상호 작용 기능을 제공할 수 있다. 예를 들어, 제1 헤드 마운티드 디스플레이(113)는 복수의 센서들을 통해 제1 사용자(112)에게 영상 회의를 제공할 수 있다.

제1 헤드 마운티드 디스플레이(113)는 제1 사용자(112)의 안면부에 착용됨으로써, 제1 사용자(112)의 안면부의 일부를 가릴 수 있다. 제1 사용자 시스템(110)은 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자(112)를 촬영한 영상을 제2 사용자 시스템(120)으로 송신할 수 있다.

제2 사용자 시스템(120)은 제1 사용자 시스템(110)으로부터 수신한 영상 신호에 기초하여, 제2 디스플레이(121)를 통해 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자 영상(112)을 출력할 수 있다. 이때, 제2 사용자는 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자(112) 영상으로 인해 영상 회의에 대한 몰입감이 감소되고, 불쾌감을 느끼게되는 문제점이 발생할 수 있다. 또한, 제2 사용자는 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자 영상(112)을 통해 제1 사용자(112)의 정확한 표정을 확인할 수 없고, 이에 따라 의사 표현 및 정보 전달에 제약을 느끼는 문제점이 발생할 수 있다.

도 1b는 일 실시예에 따른 합성된 사용자 영상을 제공하는 영상 회의 시스템의 개념도이다.

도 1b를 참고하면, 제1 사용자 시스템(110)은 일반 영상 회의 시스템 또는 가상 영상 회의 시스템에서, 제1 헤드 마운티드 디스플레이(113)가 착용된 제1 사용자(112)의 영상을 제1 헤드 마운티드 디스플레이(113)를 착용하지 않은 제1 사용자(112)의 영상으로 대체하여 제2 사용자 시스템(120)으로 송신할 수 있다. 이에 따라, 제1 사용자 시스템(110)은 제1 사용자(112)의 생생한 표정을 제2 사용자에게 제공할 수 있다.

제1 사용자 시스템(110)은 일반 영상 회의 시스템 또는 가상 영상 회의 시스템에서, 제1 사용자(112)가 제1 헤드 마운티드 디스플레이(113)를 착용하고 영상 회의에 참여하는 경우, 영상 회의 참여 전에 별도의 영상 처리 장치(미도시)를 통해 제1 사용자(112)의 안면부 또는 신체 특정 또는 전체 부위를 3차원 스캐닝할 수 있다. 이때, 제1 사용자 시스템(110)은 제1 사용자(112)가 영상 회의에 참여시, 제1 헤드 마운티드 디스플레이(113)를 착용한 제1 사용자(112) 영상에서 제1 헤드 마운티드 디스플레이(113)에 의해 가려진 제1 헤드 마운티드 디스플레이 영역(114)을 사전에 스캐닝한 3차원 이미지로 대체할 수 있다.

즉, 제1 사용자 시스템(110)은 제1 사용자(112)의 일부를 3차원 이미지와 합성할 수 있다. 제1 사용자 시스템(110)은 합성된 영상을 제2 사용자 시스템(120)으로 송신할 수 있다. 제2 사용자 시스템(120)은 제2 디스플레이(121)를 통해 제1 헤드 마운티드 디스플레이 영역(114)이 3차원 이미지로 대체된 제1 사용자(112) 영상을 출력할 수 있다. 이에 따라, 제2 사용자 시스템(120)은 제1 사용자(112)의 표정, 행동, 제스처 등을 제2 사용자에게 정확히 전달할 수 있다.

도 2는 일 실시예에 따른 영상 회의 시스템의 구성을 도시한 블록도이다.

일 실시예에 따른 영상 회의 시스템은, 증강 현실 및 가상현실을 이용한 가상 영상회의 공간에서, 헤드 마운티드 디스플레이를 이용한 사용자에게 영상 회의를 제공하는 가상 영상 회의 시스템일 수 있다.

도 2를 참고하면, 영상 회의 시스템은 제1 사용자 시스템(210), 제2 사용자 시스템(220) 및 서버(230)를 포함할 수 있다. 제1 사용자 시스템(210)은 도 1의 제1 사용자 시스템(110)과 동일 또는 유사하게 동작할 수 있다. 제2 사용자 시스템(220)은 도 1의 제2 사용자 시스템(120)과 동일 또는 유사하게 동작할 수 있다.

제1 사용자 시스템(210)은 제1 전자 장치(211), 제1 카메라(212) 및 제1 헤드 마운티드 디스플레이(213)를 포함할 수 있다. 제2 사용자 시스템(220)은 제2 전자 장치(221), 제2 카메라(222) 및 제2 헤드 마운티드 디스플레이(223)를 포함할 수 있다. 제1 사용자 시스템(210)은 별도의 제1 영상 처리 장치(미도시)를 더 포함할 수 있다. 또한, 제2 사용자 시스템(220)은 별도의 제2 영상 처리 장치(미도시)를 더 포함할 수 있다.

제1, 2 헤드 마운티드 디스플레이(213, 223) 각각은 디스플레이(미도시), 사용자 안면 촬영용 카메라(미도시) 및 각종 센서들(미도시)을 포함할 수 있다. 제1 카메라(212)는 제1 사용자의 안면부를 포함하는 신체 일부 또는 전체 영상을 촬영하여 제1 전자 장치(211)에 전송할 수 있다. 또한, 제2 카메라(222)는 제2 사용자의 안면부를 포함하는 신체 일부 또는 전체 영상을 촬영하여 제2 전자 장치(221)에 전송할 수 있다.

제1 헤드 마운티드 디스플레이(213)에 포함된 제1 사용자 안면 촬영용 카메라는 제1 헤드 마운티드 디스플레이(213)를 착용한 제1 사용자의 눈 부위를 포함하는 안면부의 일부분 영상을 촬영하여 제1 전자 장치(211)로 전송할 수 있다. 또한, 제2 헤드 마운티드 디스플레이(223)에 포함된 제2 사용자 안면 촬영용 카메라는 제2 헤드 마운티드 디스플레이(223)를 착용한 제2 사용자의 눈 부위를 포함하는 안면부의 일부분 영상을 촬영하여 제2 전자 장치(221)로 전송할 수 있다.

도 3은 일 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.

도 3을 참조하면, 전자 장치(300)는 통신부(301), 센서부(302), 카메라(303), 영상처리부(304), 디스플레이(305), 입력부(306), 메모리(307), 오디오처리부(308) 및 프로세서(309)를 포함할 수 있다. 전자 장치(300)는 도 2의 제1 전자 장치(211) 및 제2 전자 장치(221)와 동일 또는 유사하게 동작할 수 있다.

통신부(301)는 댁내에 위치한 가전 제품, 사용자의 휴대장치 및 웨어러블 장치 등의 외부장치와 통신을 수행할 수 있다. 이때, 통신부(301)는 다양한 방식으로 외부장치와 통신을 수행할 수 있다. 통신부(301)는 무선 통신 또는 유선 통신 중 적어도 어느 하나를 수행할 수 있다. 통신부(301)는 LTE(Long Term Evolution), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), WiFi(Wireless Fidelity), 블루투스(bluetooth), NFC(near field communications), BLE(Bluetooth Low Energy) 및 IR(infrared ray)에 기초하여 통신을 수행할 수 있다.

센서부(302)는 사용자의 접근을 감지하거나, 전자 장치(300)의 작동 상태를감지하여, 감지된 정보를 전기 신호로 변환할 수 있다. 센서부(302)는 예를 들면, 사용자 감지 센서, 제스처 센서, 조도 센서 등의 센서를 포함할 수 있다. 센서부(302)는 적어도 하나의 센서를 제어하기 위한 제어 회로를 포함할 수 있다. 센서부(302)는 적어도 하나의 센서로부터 센싱된 센싱정보를 프로세서(309)로 제공할 수 있다.

카메라(303)는 전자 장치(300)의 특정 위치에 배치되어 피사체에 대한 영상 데이터를 획득할 수 있다. 이를 위해, 카메라(303)는 광학적 신호를 수신할 수 있다. 카메라(303)는 광학적 신호로부터 영상데이터를 발생시킬 수 있다. 카메라(303)는 카메라 센서와 신호 변환부를 구비할 수 있다. 카메라 센서는 센서부(302)에 포함되어 구성될 수 있다. 카메라 센서는 광학적 신호를 전기적 영상 신호로 변환할 수 있다. 신호 변환부는 아날로그 영상 신호를 디지털의 영상 데이터로 변환할 수 있다. 카메라(303)은 도 2의 제1 카메라(212) 또는 제2 카메라(222)와 동일 또는 유사하게 동작할 수 있다.

영상처리부(304)는 영상 데이터를 처리할 수 있다. 영상처리부(304)는 영상 데이터를 프레임 단위로 처리하며, 디스플레이(305)의 특성 및 크기에 대응시켜 출력할 수 있다. 여기서, 영상처리부(304)는 영상 데이터를 설정된 방식으로 압축하거나, 압축된 영상 데이터를 원래의 영상 데이터로 복원할 수 있다. 영상처리부(304)는 프레임 단위로 처리된 영상 데이터를 프로세서(309)로 제공할 수 있다.

디스플레이(305)는 전자 장치(300)의 동작에 따른 표시 데이터를 표시할 수 있다. 이러한 디스플레이(305)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(305)는 입력부(306)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.

입력부(306)는 전자 장치(300)의 사용자 입력에 대응하여, 입력 데이터를 발생시킬 수 있다. 입력부(306)는 적어도 하나의 입력수단을 포함할 수 있다. 이러한 입력부(306)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 조그 셔틀(jog & shuttle), 센서(sensor), 터치 키(touch key) 및 메뉴 버튼(menu button) 등을 포함할 수 있다.

메모리(307)는 전자 장치(300)의 동작 프로그램들을 저장할 수 있다. 메모리(307)는 메모리(307)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예:DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(nonvolatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다. 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.

오디오처리부(308)는 오디오 신호를 처리할 수 있다. 오디오처리부(308)는 스피커(미도시)와 마이크(미도시)를 포함할 수 있다. 오디오처리부(308)는 프로세서(309)에서 출력되는 오디오 신호를 스피커를 통해 재생할 수 있다. 오디오처리부(308)는 마이크에서 발생되는 오디오 신호를 프로세서(309)로 전달할 수 있다.

프로세서(309)는 메모리(307)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(309)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 다양한 동작들이 수행되는 전용의 프로세서를 의미할 수 있다.

또한, 도시되지 않았으나, 전자 장치(300)가 TV일 경우, 프로세서(309)는 셋탑박스(미도시)로부터 방송 신호를 수신하여 디스플레이(305)에 출력할 수 있다. 전자 장치(300)가 리모컨을 구비한 경우, 프로세서(309)는 리모컨으로부터 사용자 입력 신호를 수신할 수 있다. 또한, 전자 장치(300)는 서버의 형태로 형성되어 댁내에 구비될 수 있다. 이 경우에 전자 장치(300)는 디스플레이(305)를 구비하지 않을 수 있다.

도 4는 일 실시예에 카메라의 구성을 도시한 블록도이다.

도 4를 참고하면, 카메라(400)는 이미지를 수집, 생성, 처리 및 전송하기 위해 배치된 임의의 적절한 장치가 될 수도 있다. 즉, 카메라(400)는 이미지 처리를 위해 수행되는 동작들의 전부 또는 일부를 수행하기 위해 배치되는 임의의 장치일 수 있다. 카메라(400)는 도 2의 제1 카메라(212) 또는 제2 카메라(222)와 동일 또는 유사하게 동작할 수 있고, 또는 동일한 장치일 수 있다. 또한, 카메라(400)는 도 3의 카메라(303)와 동일 또는 유사하게 동작할 수 있고, 또는 동일한 장치일 수 있다.

카메라(400)는 프로세서(401), 메모리(402), 컨트롤러(404), 센서부(405) 및 네트워크 인터페이스(403)를 포함할 수 있다.

네트워크 인터페이스(403)는 카메라(400)가 헤드 마운티드 디스플레이, 서버 또는 다른 디바이스와 네트워크를 통해 적절하게 통신할 수 있도록 하는 임의의 적합한 하드웨어 또는 소프트웨어를 포함할 수 있다. 네트워크 인터페이스(403)는 3차원 모델, 배경 이미지, 객체 추적 데이터, 카메라/광 센서 추적 데이터 또는 다른 종류의 데이터를 외부 소스(external sources)로부터 획득할 수 있도록 배치될 수 있다. 네트워크 인터페이스(403)는 또한 네트워크를 통해 헤드 마운티드 디스플레이로 데이터를 전송하도록 배치될 수 있고, 전송된 이미지 데이터는 렌더링되고 헤드 마운티드 디스플레이의 사용자에게 보여질 수 있다. 네트워크 인터페이스(403)는 임의의 적절한 네트워크 또는 통신 프로토콜을 이용하여 데이터를 전송 및 수신하도록 배치될 수 있다.

메모리(402)는 데이터 또는 실행 가능한 컴퓨터 코드를 저장하기 위해 적합한 임의의 하드웨어 또는 소프트웨어일 수 있다. 메모리(402)는 하드 드라이브, 플래시 드라이브, 비 휘발성 메모리, 휘발성 메모리 또는 임의의 다른 종류의 컴퓨터가 읽을 수 있는 저장 매체를 포함할 수 있지만, 이에 제한되지 않는다. 상술한 카메라(400)를 위한 모든 동작 또는 방법은 메모리(402)에 실행 가능한 컴퓨터 코드 또는 명령의 형태로 저장될 수 있다. 프로세서(401)에 의한 컴퓨터 코드 또는 명령의 실행은 카메라(400)가 전술한 모든 동작 또는 방법을 수행하도록 할 수 있다.

컨트롤러(404)는 카메라(400)에 적용되는 애플리케이션에서 설명한 모든 동작 또는 방법을 수행하기 위해 배치되는 임의의 하드웨어 또는 소프트웨어일 수 있다. 컨트롤러(404)는 카메라(400)가 3차원 모델, 배경 이미지, 헤드 마운티드 디스플레이 또는 영상 처리 장치의 추적 데이터를 얻고, 모델을 렌더링하고, 3차원 영상을 얻으며, 3차원 영상 및 사용자 영상을 합성하고, 그 결과인 합성 영상을 전송할 수 있도록 배치될 수 있다.

센서부(405)는 헤드 마운티드 디스플레이를 착용하고 있는 사용자의 얼굴 특징들을 추적 또는 모니터링하기 위해 배치되는 임의의 하드웨어 또는 소프트웨어를 포함할 수 있다. 예를 들어, 센서부(405)는 헤드 마운티드 디스플레이의 임의의 장치에 의해 방출되는 빛을 추적하기 위해 배치되는 적어도 하나 이상의 센서를 포함할 수 있다. 센서부(405)는 사용자 머리의 일반적인 방향 또는 위치는 사용자 얼굴에 있는 특정한 특징들을 추적하기 위해 이용될 수 있다. 센서부(405)는 근처의 물체 또는 사용자의 광 수준 또는 주변의 광 수준을 추적하기 위해 배치되는 적어도 하나 이상의 광 센서를 포함할 수 있다. 카메라(400)는 이미지 및 센서 데이터를 분석하고, 처리할 수 있다.

도 5는 일 실시예에 따른 헤드 마운티드 디스플레이의 구성을 도시한 블록도이다.

도 5를 참고하면, 헤드 마운티드 디스플레이(500)는 프로세서(501), 메모리(502), 디스플레이(504), 네트워크 인터페이스(503), 발광부(505), 센서부(506), 컨트롤러(507) 및 전원(508)을 포함할 수 있다. 헤드 마운티드 디스플레이(500)는 도 2의 제1 헤드 마운티드 디스플레이(213) 또는 제2 헤드 마운티드 디스플레이(223)와 동일 또는 유사하게 동작할 수 있다.

프로세서(501)는 사용되지 않거나 하기에 설명될 이미지 처리 또는 다른 동작들을 위해 (주된 구성요소로서) 필요하지 않을 수 있다. 대신에, 처리되어야 할 임의의 데이터/이미지는 원격 장치로 전송되고, 그 원격 장치(예를 들어, 서버, 게임 콘솔, 카메라 장치, 텔레비전, 임의의 적절한 컴퓨팅 디바이스 등)에 의해 처리는 수행될 수 있다.

발광부(505)는 적어도 하나 이상의 발광 장치를 포함할 수 있다. 임의의 적절한 종류의 발광 장치 또는 발광 기술(예를 들어, 적외선, LED 등)이 사용될 수 있고, 각각의 발광 장치는 헤드 마운티드 디스플레이(500)의 어느 표면 또는 부분에 위치할 수 있다. 예를 들어, 발광 장치는 헤드 마운티드 디스플레이(500)의 외부에 위치할 수 있다. 발광 장치는 헤드 마운티드 디스플레이(500)가 카메라 앞에 있는 사용자에 의해 착용되는 경우, 카메라에 의해 마커로 사용되도록 빛을 방출할 수 있다. 즉, 카메라는 사용자 얼굴의 움직임, 방향 및/또는 위치를 추적하는데 도움받기 위해 방출된 빛을 이용할 수 있다.

헤드 마운티드 디스플레이(500)의 내부는 또한 발광 장치를 포함할 수 있다. 예를 들어, 헤드 마운티드 디스플레이(500)는 헤드 마운티드 디스플레이(500)의 후면 또는 내부에 위치한 적어도 하나 이상의 적외선 발광 장치를 포함할 수 있다. 적어도 하나 이상의 광 전원 (예를 들어, 적외선 전원)이 헤드 마운티드 디스플레이(500) 상에 위치할 수 있고, 사용자가 헤드 마운티드 디스플레이(500)를 착용하는 경우 사용자의 눈을 비출 수 있다. 적외선 전원은 특정 얼굴 특징(예를 들어, 시선, 눈꺼풀 등)을 추적하는데 도움을 줄 수 있다.

센서부(506)는 헤드 마운티드 디스플레이(500)를 착용하고 있는 사용자의 얼굴 움직임을 추적하기 위해 배치된 적어도 하나 이상의 센서를 포함할 수 있다. 추적 카메라, 압력 센서, 온도 센서, 기계적 센서, 움직임 센서, 광 센서 및 전자 센서를 포함하는 임의의 적절한 센서 기술이 사용될 수 있으나, 이에 제한되지 않는다.

또한, 헤드 마운티드 디스플레이(500)에 고정된 적어도 하나 이상의 광 센서가 있을 수 있다. 광 센서는 헤드 마운티드 디스플레이(500)의 외부 표면에 고정되어 있을 수 있다. 광 센서는 헤드 마운티드 디스플레이(500)의 주변 광 수준을 탐지하도록 배치될 수 있다. 헤드 마운티드 디스플레이(500)는 네트워크 인터페이스(503)를 이용하여 이미지 처리 장치 및 서버로 광 센서 데이터를 전송할 수 있고, 그 데이터는 3차원 스캐닝 장치에서 색조 또는 광 수준이 어떻게 조정되어야 하는지 결정하는데 이용될 수 있다.

센서부(506)는 또한 헤드 마운티드 디스플레이(500)에 의해 가려지는 얼굴 특징들의 움직임을 추적하기 위해 배치되는 카메라 또는 다른 추적 장치를 적어도 하나 이상 포함할 수 있다. 예를 들어, 센서부(506)는 사용자에 의해 착용되는 경우 헤드 마운티드 디스플레이(500) 아래에 있는 시선, 안구의 회전, 눈꺼풀 움직임 및/또는 다른 얼굴 특징들을 추적하기 위해 배치된 적어도 하나 이상의 카메라를 포함할 수 있다.

디스플레이(504)는 헤드 마운티드 디스플레이(500)의 사용자에게 이미지, 비디오 또는 그래픽을 디스플레이하기 위해 사용되는 임의의 하드웨어 또는 소프트웨어도 포함할 수 있다. 디스플레이(504)는 사용자가 헤드 마운티드 디스플레이(500)를 착용하는 경우 사용자의 눈을 바로 마주하도록 위치할 수 있다. 디스플레이(504)는 사용자에게 이미지를 보여주기 위한 임의의 적절한 디스플레이 및/또는 투사 기술을 사용할 수 있다. 디스플레이(504)는 사용자에게 가상현실 경험을 제공하도록 배치될 수 있다. 즉, 헤드 마운티드 디스플레이(500)은 사용자의 눈을 완전히 가리고, 그가 실제 주변 환경(physical surroundings)을 볼 수 있는 능력을 없앨 수 있다. 일단 디스플레이(504)가 작동되면, 사용자는 디스플레이(504)가 생성하는 그래픽 및 이미지만을 볼 수 있다. 이는 사용자가 완전히 다른, 가상의 환경에 있다는 느낌을 줄 수 있다. 사용자가 그 또는 그의 머리를 돌리면, 헤드 마운티드 디스플레이(500)의 센서들은 그 움직임을 탐지하고, 사용자가 시뮬레이션된 환경 속에 물리적으로 실재하며, 사용자가 어떤 실제의, 물리적 환경에서와 같이 그 환경을 탐험할 수 있다는 느낌을 주기 위해 이미지들을 바꿀 수 있다.

디스플레이(504)는 실시간으로 또 다른 HMD 디바이스 사용자의 얼굴을, 시뮬레이션된 얼굴 표정들과 함께 디스플레이하도록 배치될 수 있다. 임의의 공지의 가상 현실 디스플레이 기술은 디스플레이(504)에서 사용될 수 있다.

전원(508)은 에너지 또는 전력을 저장하기 위해 사용되는 임의의 적합한 하드웨어 또는 소프트웨어일 수 있다. 저장된 에너지는 헤드 마운티드 디스플레이(500)의 다른 구성요소 및 동작들에 전력을 공급하기 위해 사용될 수 있다. 임의의 적합한 에너지 저장 메커니즘이 사용될 수 있다. 예를 들어, 전원(508)은 배터리일 수 있다. 헤드 마운티드 디스플레이(500)는 외부 전원으로부터 유선으로 연결되어 전력을 공급받을 수 있다.

네트워크 인터페이스(503)는 헤드 마운티드 디스플레이(500)가 네트워크를 통해 다른 장치(예를 들어, 카메라, 서버, 또 다른 헤드 마운티드 디스플레이 등)와 통신이 가능하도록 하기 위한 임의의 적합한 하드웨어 또는 소프트웨어를 포함할 수 있다.

네트워크 인터페이스(503)는 처리를 위해 카메라 장치에게 추적 및 센서 데이터를 전송하도록 배치될 수 있다. 네트워크 인터페이스(503)는 다른 카메라 및 헤드 마운티드 디스플레이로부터 네트워크를 통해 이미지 및 이미지 데이터를 수신하도록 배치될 수 있다. 네트워크 인터페이스(503)는 임의의 적합한 네트워크 또는 통신 프로토콜을 이용하여 데이터를 전송 및 수신하도록 배치될 수 있다.

메모리(502)는 데이터 또는 실행 가능한 컴퓨터 코드를 저장하기 위해 적합한 임의의 하드웨어 또는 소프트웨어를 포함할 수 있다. 메모리(502)는 하드 드라이브, 플래시 드라이브, 비 휘발성 메모리, 휘발성 메모리 또는 임의의 다른 종류의 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있지만, 이에 제한되지 않는다.

상술한 헤드 마운티드 디스플레이(500)를 위한 임의의 동작 또는 방법은 실행 가능한 컴퓨터 코드 또는 명령의 형태로 메모리(502)에 저장될 수 있다. 프로세서(501)에 의한 컴퓨터 코드 또는 명령의 실행은 헤드 마운티드 디스플레이(500)가 상술한 모든 동작 또는 방법들을 수행하도록 할 수 있다.

컨트롤러(507)는 헤드 마운티드 디스플레이(500)에 적용되는 전술한 애플리케이션에서 설명된 모든 동작 또는 방법들을 수행하기 위해 배치된 임의의 하드웨어 또는 소프트웨어일 수 있다. 컨트롤러(507)는 헤드 마운티드 디스플레이(500)가 얼굴 특징들을 추적하고, 또 다른 헤드 마운티드 디스플레이 또는 카메라로부터 수신된 이미지를 렌더링 및 디스플레이하도록 배치될 수 있다.

헤드 마운티드 디스플레이(500)는 매우 다양한 다른 형태인자(form factors), 크기(sizes), 규모(dimensions) 및 배치(configuration)를 가질 수 있다.

도 6은 일 실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.

도 6을 참고하면, 영상 처리 장치(600)는 객체 검출 모듈(601), 객체 추적 모듈(602), 객체 방향 결정 모듈(603), 조도 검출 모듈(604), 조도 매칭 모듈(605), 영상 변환 모듈(606), 3차원 스캐닝 영상 처리 모듈(607), 사용자 영상 데이터 베이스(608) 및 영상 합성 모듈(609)을 포함할 수 있다.

영상 처리 장치(600)는 도 2의 제1 사용자 시스템(110) 및 제2 사용자 시스템(120)에 각각 포함될 수 있다. 예를 들어, 영상 처리 장치(600)는 도 2의 제1 전자 장치(211) 및 제2 전자 장치(221) 각각에 포함되거나, 연결될 수 있는 별도의 장치일 수 있다. 또한, 영상 처리 장치(600)는 도 2의 제1 카메라(212) 및 제2 카메라(222) 각각에 포함되거나, 연결될 수 있는 별도의 장치일 수 있다.

객체 검출 모듈(601)은 카메라를 통해 촬영된 제1 영상에서 사용자가 착용한 적어도 하나의 객체를 검출할 수 있다. 객체 검출 모듈(601)은 적어도 하나의 객체가 검출되었는지 여부에 관한 정보를 포함하는 객체 검출 정보를 생성할 수 있다. 또한, 객체 검출 모듈(601)은 검출된 적어도 하나의 객체의 크기 및 위치에 관한 정보를 포함하는 객체 크기 및 위치 정보를 생성할 수 있다.

객체 추적 모듈(602)은 객체 검출 모듈(601)로부터 객체 크기 및 위치 정보를 수신할 수 있다. 객체 추적 모듈(602)은 객체 크기 및 위치 정보에 기초하여 제1 영상의 프레임에서 적어도 하나의 객체의 위치를 추적할 수 있다.

객체 방향 결정 모듈(603)은 제1 내지 제3 영상에서 사용자의 안면부의 정면 방향을 결정할 수 있다. 예를 들어, 객체 방향 결정 모듈(603)은 사용자의 자세 및 동작에 따라 변하는 사용자의 안면부의 정면 방향을 추정할 수 있다. 객체 방향 결정 모듈(603)은 사용자의 안면부 방향에 관한 사용자 안면부 방향 정보를 생성할 수 있다.

조도 검출 모듈(604)은 영상의 조도 정보를 검출할 수 있다. 예를 들어, 조도 검출 모듈(604)은 영상 촬영 시의 조명 상태 또는 카메라의 밝기 설정 상태에 따라 변화되는 영상의 조도를 계산할 수 있다. 객체 방향 결정 모듈(603)은 계산된 영상의 조도에 기초하여 조도 정보를 생성할 수 있다.

조도 매칭 모듈(605)은 서로 다른 2개의 영상의 조도를 비교하여 1개의 영상의 조도에 대응시킬 수 있다. 예를 들어, 조도 매칭 모듈(605)은 제1 영상의 조도를 제2 영상의 조도와 일치하도록 변경할 수 있다.

영상 변환 모듈(606)은 왜곡 현상을 보정할 수 있다. 예를 들어, 영상 변환 모듈(606)은 광각 렌즈 사용시 넓은 화각을 지원하기 위해 발생하는 곡률 왜곡 현상을 보정할 수 있다.

3차원 스캐닝 영상 처리 모듈(607)은 카메라를 통해 촬영한 영상을 3차원 영상 처리할 수 있다. 예를 들어, 3차원 스캐닝 영상 처리 모듈(607)은 촬영된 사용자의 안면부를 3차원 영상 처리할 수 있다. 3차원 스캐닝 영상 처리 모듈(607)은 촬영된 사용자의 안면부에 대한 3차원 영상을 생성할 수 있다. 3차원 스캐닝 영상 처리 모듈(607)은 사용자의 안면부에 대한 3차원 영상을 x축, y축, z축에 대하여 미리 정해진 각각의 방향 및 각도에 따라 분류할 수 있다. 예를 들어, 3차원 스캐닝 영상 처리 모듈(607)은 사용자의 안면부에 대한 3차원 영상에 기초하여 x축, y축, z축에 대하여 미리 정해진 각각의 방향 및 각도에 따라 3차원 사용자 안면부 영상 정보를 생성할 수 있다.

또한, 3차원 스캐닝 영상 처리 모듈(607)은 카메라를 통해 촬영한 사용자 영상을 처리할 수 있다. 이때, 3차원 스캐닝 영상 처리 모듈(607)은 카메라를 통해 촬영한 사용자 영상을 x축, y축, z축에 대하여 미리 정해진 각각의 방향 및 각도에 따라 분류한 사용자 안면부 영상 정보를 생성할 수 있다.

사용자 영상 데이터 베이스(608)는 3차원 스캐닝 영상 처리 모듈(607)에 의해 생성된 3차원 사용자 안면부 영상 정보 또는 사용자 안면부 영상 정보를 저장할 수 있다. 영상 합성 모듈(609)은 제1 영상의 특정 영역 이미지가 제2 영상의 특정 영역 이미지로 대체된 합성 영상을 생성할 수 있다.

도 7은 일 실시예에 따른 전자 장치의 동작 순서를 도시한 흐름도이다.

도 7을 참고하면, 전자 장치는 촬영 영상을 생성할 수 있다(S701).

전자 장치는 도 2의 제1, 2 전자 장치(211, 221) 또는 도 3의 전자 장치(300)와 동일 또는 유사하게 동작할 수 있다. 전자 장치는 전자 장치에 포함된 카메라 또는 별도의 외부 카메라를 통해 사용자 및 사용자 주변의 배경을 촬영할 수 있다. 전자 장치는 사용자 및 사용자 주변의 배경을 촬영한 제1 영상을 생성할 수 있다.

이때, 사용자는 회의용 장비 또는 안경 또는 모자 등의 객체를 착용할 수 있다. 또한, 사용자는 헤드 마운티드 디스플레이를 착용할 수 있다. 전자 장치는 사용자가 헤드 마운티드 디스플레이를 착용한 모습을 촬영할 수 있다.

전자 장치는 사용자의 안면부를 촬영한 제2 영상을 생성할 수 있다. 사용자는 헤드 마운티드 디스플레이를 착용할 수 있다. 헤드 마운티드 디스플레이는 카메라를 포함할 수 있다. 헤드 마운티드 디스플레이는 카메라를 통해 사용자의 안면부를 촬영할 수 있다. 헤드 마운티드 디스플레이는 사용자의 안면부를 촬영한 영상을 전자 장치로 송신할 수 있다. 전자 장치는 헤드 마운티드 디스플레이의 카메라를 통해 촬영된 사용자의 안면부에 대한 제2 영상을 생성할 수 있다. 또한, 전자 장치는 별도의 외부 카메라를 통해 사용자의 안면부를 촬영한 제2 영상을 생성할 수 있다.

전자 장치는 객체를 미착용한 사용자를 촬영할 수 있다. 전자 장치는 카메라를 통해 안경 또는 모자등의 객체를 미착용한 사용자의 안면부를 촬영하여 제3 영상을 생성할 수 있다. 전자 장치는 영상 처리 장치를 제3 영상을 3차원 처리할 수 있다. 전자 장치는 영상 처리 장치를 통해 3차원 영상을 생성할 수 있다. 전자 장치는 영상 처리 장치를 통해 3차원 영상을 x축, y축, z축 방향에 따라 미리 설정된 각도 간격의 영상 또는 이미지 정보를 생성할 수 있다. 전자 장치는 제1 내지 제3 영상을 전자 장치의 디스플레이를 통해 표시할 수 있다. 전자 장치는 제1 내지 제3 영상을 다른 전자 장치로 송신할 수 있다.

전자 장치는 사용자가 착용한 객체 검출 및 사용자의 안면부 방향을 결정할 수 있다(S702).

전자 장치는 제1 영상에서 사용자가 착용한 객체를 검출할 수 있다. 예를 들어, 전자 장치는 제1 영상의 사용자가 착용하고 있는 안경 또는 모자 또는 헤드 마운티드 디스플레이 등의 객체를 검출할 수 있다. 전자 장치는 객체의 위치 및 크기를 결정할 수 있다. 전자 장치는 객체가 미리 정의된 객체와 동일한지 여부를 결정할 수 있다. 또한, 전자 장치는 제3 영상에 기초하여 사용자의 안면부의 방향을 결정할 수 있다.

전자 장치는 화상 통화 또는 회의용 영상을 생성할 수 있다(S703).

전자 장치는 제2 영상에 대하여 렌즈의 특성에 따른 왜곡 현상을 조절하고 조도를 변경할 수 있다. 전자 장치는 제3 영상에 포함되는 미리 설정된 각도 간격의 영상 또는 이미지 데이터에 기초하여 현재 사용자의 안면부 방향과 일치하는 영상 또는 이미지를 결정할 수 있다. 또한, 전자 장치는 결정된 영상 또는 이미지에 대한 처리를 할 수 있다.

전자 장치는 사용자가 착용한 객체 영상을 다른 영상으로 변경할 수 있다. 전자 장치는 사용자와 객체가 중첩되는 부분의 영상을 다른 영상으로 변경할 수 있다. 예를 들어, 전자 장치는 제2 영상 및 제3 영상에 기초하여 사용자와 사용자가 착용한 객체가 중첩되는 부분의 영상을 사용자가 객체를 착용하기 전의 영상으로 변경할 수 있다. 전자 장치는 변경된 사용자 영상을 미리 정의된 레이아웃 정보에 기초하여 가상 영상 회의 공간에 배치할 수 있다.

도 8a는 일 실시예에 따른 객체 검출 및 사용자 안면부 방향을 추정하기 위한 전자 장치의 동작 순서를 도시한 흐름도이다.

전자 장치는 도 2의 제1 전자 장치(211) 또는 제2 전자 장치(222)와 동일 또는 유사하게 동작할 수 있다. 또한, 전자 장치는 도 3의 전자 장치(300)와 동일 또는 유사하게 동작할 수 있다. 또한, 또한, 전자 장치는 도 3의 전자 장치(300)의 구성들과 도 6의 영상 처리 장치(600)의 구성들을 모두 포함할 수 있다.

도 8a를 참고하면, 전자 장치는 제1 영상 및 제2 영상을 수신할 수 있다(S801).

전자 장치는 제1 카메라로부터 제1 영상을 수신할 수 있다. 제1 카메라는 사용자의 전면에 위치하여 사용자를 촬영할 수 있다. 제1 카메라는 사용자 및 사용자의 배경을 촬영한 제1 영상을 생성할 수 있다. 제1 카메라는 제1 영상을 전자 장치로 송신할 수 있다. 전자 장치는 제1 카메라를 포함할 수 있다. 또는, 제1 카메라는 전자 장치와 연결 가능한 별도의 외부 장치일 수 있다.

전자 장치는 헤드 마운티드 디스플레이로부터 제2 영상을 수신할 수 있다. 사용자는 사용자의 머리 또는 얼굴의 일부에 헤드 마운티드 디스플레이를 착용할 수 있다. 헤드 마운티드 디스플레이는 제2 카메라를 포함할 수 있다. 제2 카메라는 사용자의 안면부를 촬영할 수 있다. 헤드 마운티드 디스플레이는 사용자의 안면부를 촬영한 제2 영상을 생성할 수 있다. 헤드 마운티드 디스플레이는 제2 영상을 전자 장치로 송신할 수 있다.

전자 장치는 객체의 검출 여부를 결정할 수 있다(S802).

예를 들어, 전자 장치는 헤드 마운티드 디스플레이의 검출 여부를 결정할 수 있다. 전자 장치는 헤드 마운티드 디스플레이가 검출되지 않을 경우, 제1 영상에서 헤드 마운티드 디스플레이를 검출하는 단계를 진행할 수 있다. 또는, 전자 장치는 헤드 마운티드 디스플레이가 검출될 경우, 객체 검출 단계를 생략하고, 제1 영상에서 객체를 추적하는 단계를 진행할 수 있다.

전자 장치는 제1 영상의 프레임에서 객체를 검출할 수 있다(S803).

예를 들어, 전자 장치는 제1 영상의 특정 프레임에서 사용자가 착용한 헤드 마운티드 디스플레이 객체를 검출할 수 있다.

전자 장치는 헤드 마운티드 디스플레이의 위치및 크기 정보를 생성할 수 있다. 예를 들어, 전자 장치는 헤드 마운티드 디스플레이의 x축 및 y축 좌표 정보를 포함하는 위치 정보를 생성할 수 있다. 또한, 전자 장치는 헤드 마운티드 디스플레이의 x축에서의 크기 및 y축에서의 크기 정보를 포함하는 크기 정보를 생성할 수 있다.

전자 장치는 제1 영상 또는 제2 영상에서 사용자 안면부 이미지에 대한 전체 검색을 수행할 경우 복잡한 연산 과정을 수행할 수 있다. 전자 장치는 복잡한 연산 과정을 감소시키기 위해 사용자 안면부 검출 알고리즘에 기초하여 사용자 안면부 영역을 검출할 수 있다. 또한, 전자 장치는 검출된 사용자 안면부 영역에서 헤드 마운티드 디스플레이의 좌표를 검색할 수 있다. 이때, 전자 장치는 제2 영상에 포함되는 복수개의 사용자 안면부 영상 또는 이미지 데이터에 기초하여, 영역 기반 합성곱 신경망(convolutional neural network; CNN) 학습 데이터를 생성할 수 있다. 합성곱 신경망은 영상 내의 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 심층 신경망 중 하나의 모델일 수 있다. 예를 들어, 합성곱 신경망은 2차원 데이터의 학습에 적합한 구조를 가질 수 있다, 합성곱 신경망은 역전달(backpropagation algorithm)을 통해 훈련된 학습 데이터를 생성할 수 있다.

전자 장치는 제1 영상에서 객체를 추적할 수 있다(S804).

전자 장치는 제1 영상의 특정 프레임에서 객체가 검출될 경우, 특정 프레임 이후의 프레임에서는 객체를 검출하지 않을 수 있다. 전자 장치는 특정 프레임에서 검출된 객체의 위치 정보 및 크기 정보에 기초하여 객체를 추적할 수 있다. 전자 장치는 추적된 객체에 대한 위치 정보 및 크기 정보를 생성할 수 있다.

전자 장치는 최초에 검출된 객체의 위치 정보 및 크기 정보에 기초하여 객체 모델을 생성하고, 객체 모델에 기초하여 연속적으로 입력되는 프레임에 대하여 순차적으로 객체를 추적할 수 있다. 전자 장치는 추적하고자 하는 객체가 입력되는 프레임에 존재하지 않더라도, 객체 모델과 일치하는 객체를 추적하는 오류를 발생시킬 수 있다. 전자 장치는 추적된 객체의 위치 정보 및 크기 정보를 생성할 수 있다. 전자 장치는 추적된 객체의 위치 정보 및 크기 정보에 기초하여 입력되는 프레임에서 객체가 존재하는지 여부를 확인하는 동작을 수행할 수 있다.

전자 장치는 제1 영상에서 객체의 방향을 추적할 수 있다(S805).

전자 장치는 추적된 객체의 위치 정보 및 크기 정보에 기초하여 입력되는 프레임에서 객체가 존재하는지 여부를 확인하기 위하여 객체의 방향을 추적할 수 있다. 예를 들어, 전자 장치는 추적한 객체가 헤드 마운티드 디스플레이로 판단될 경우, 헤드 마운티드 디스플레이의 방향, 즉 사용자 안면부의 방향을 추정할 수 있다. 전자 장치는 사용자 안면부의 방향을 추정한 결과에 기초하여 사용자 안면부 방향 정보를 생성할 수 있다.

제1 카메라에 의해 촬영되는 제1 영상의 사용자의 방향은 사용자의 자세 및 동작에 따라 변경될 수 있다. 반면, 헤드 마운티드 디스플레이에 포함되는 제2 카메라에 의해 촬영되는 사용자의 안면부의 방향은, 헤드 마운티드 디스플레이가 사용자의 머리 또는 안면부의 일부에 고정되어 있기 때문에, 사용자의 자세 및 동작과 관계없이 일정할 수 있다.

도 8b는 일 실시예에 따른 합성 영상을 생성하기 위한 전자 장치의 동작 순서를 도시한 흐름도이다.

도 8b를 참고하면, 전자 장치는 사용자 영상 데이터 베이스에서 사용자 안면부 방향에 대응하는 제3 영상을 결정할 수 있다(S806).

전자 장치는 사용자 안면부 방향 정보에 기초하여 x축, y축, z축 방향에 따라 현재 사용자의 안면부 방향과 동일 또는 유사한 방향의 제3 영상을 사용자 영상 데이터 베이스에서 결정할 수 있다. 전자 장치는 사용자 안면부 방향 정보에 기초하여 제2 영상의 방향을 제1 영상의 방향으로 변환할 수 있다.

전자 장치는 제1 내지 제3 영상의 조도 정보를 생성할 수 있다(S807).

전자 장치는 제1 영상의 평균 조도를 결정할 수 있다. 전자 장치는 제1 영상의 평균 조도에 기초하여 제1 영상 조도 정보를 생성할 수 있다. 전자 장치는 제2 영상의 평균 조도를 결정할 수 있다. 전자 장치는 제2 영상의 평균 조도에 기초하여 제2 영상 조도 정보를 생성할 수 있다. 또한, 전자 장치는 제3 영상의 평균 조도를 결정할 수 있다. 전자 장치는 제3 영상의 평균 조도에 기초하여 제3 영상 조도 정보를 생성할 수 있다.

전자 장치는 제2, 제3 영상의 조도를 제1 영상의 조도와 동일하게 변경할 수 있다(S808).

전자 장치는 제2 영상의 평균 조도를 제1 영상의 사용자 안면부 영역의 평균 조도와 동일하게 변경할 수 있다. 또한, 전자 장치는 제3 영상의 평균 조도를 제1 영상의 사용자 안면부 영역의 평균 조도와 동일하게 변경할 수 있다.

전자 장치는 제2 영상의 왜곡을 보정할 수 있다(S809).

헤드 마운티드 디스플레이에 포함된 제2 카메라는 제1 카메라에 비해 상대적으로 짧은 초점 거리로 넓은 범위를 촬영하기 위한 광각 렌즈를 사용할 수 있다. 전자 장치는 조도가 변경된 제2 영상에 대하여 광각 렌즈에 의한 왜곡 제거를 위한 영상 처리를 수행할 수 있다. 또한, 전자 장치는 제2 영상의 방향을 제1 영상의 사용자 안면부 방향과 일치시키기 위한 영상 처리를 수행할 수 있다.

전자 장치는 제1 내지 제3 영상을 합성할 수 있다(S810).

전자 장치는 제3 영상에서 사용자 안면부 영역의 영상을 복사할 수 있다. 전자 장치는 복사된 사용자 안면부 영역의 영상을 제1 영상의 사용자 안면부 영역에 합성하여 제1 합성 영상을 생성할 수 있다.

전자 장치는 제2 영상의 일부를 복사하여 제1 합성 영상의 일부에 합성할 수 있다. 예를 들어, 전자 장치는 제2 영상에서 사용자의 눈 영역의 영상을 복사할 수 있다. 전자 장치는 복사된 사용자의 눈 영역의 영상을 제1 합성 영상에서 사용자의 눈 영역에 합성할 수 있다.

상기 전자 장치는, 제1 사용자를 촬영한 제1 영상을 생성하는 제1 카메라; 상기 제1 사용자가 착용한 제2 카메라를 통해 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 수신기; 상기 제1 영상을 3차원 처리하여 3차원 영상을 생성하고, 상기 제1 영상에서 상기 제2 카메라의 영역을 검출하고, 상기 제1 영상에서 제2 카메라의 영역을 상기 3차원 영상의 일부와 합성하고, 상기 합성된 영상을 생성하는 프로세서; 및 상기 합성 영상을 다른 전자 장치로 송신하는 송신기;를 포함할 수 있다.

상기 전자 장치는, 제1 사용자를 촬영한 제1 영상 신호를 생성하는 제1 카메라; 상기 제1 사용자의 일부에 배치되고 상기 제1 사용자의 다른 일부를 촬영한 제2 영상 신호를 생성하는 제2 카메라; 상기 제2 카메라를 착용한 상기 제1 사용자를 촬영한 제3 영상 신호를 생성하는 제3 카메라; 상기 제1 영상 신호에 기초하여 상기 제1 사용자의 안면부에 대한 미리 정해진 복수개의 각도 및 크기에 대응되는 복수개의 제1 사용자 안면부 영상들을 생성하고, 상기 제3 영상 신호에서 상기 제2 카메라 영역을 검출하고, 상기 제3 영상 신호에 포함된 특정 프레임에서 상기 제2 카메라 영역을 검출하고, 상기 제1 영상 신호 및 상기 제2 영상 신호에 기초하여 상기 제1 사용자의 안면부의 전면 방향을 추정하고, 상기 제1 사용자 안면부 영상들 중 상기 추정된 제1 사용자의 안면부의 전면 방향에 대응되는 제1 사용자 안면부 영상을 결정하고, 상기 제1 사용자 안면부 영상 중 상기 제2 카메라 영역에 대응되는 복사 영상을 결정하고, 상기 복사 영상을 상기 제3 영상 신호의 제2 카메라 영역과 합성하여 합성 영상을 생성하는 프로세서; 및 상기 합성 영상을 다른 전자 장치로 송신하는 송수신기;를 포함할 수 있다.

본 발명의 일 실시예에 따른 제1 전자 장치는, 제1 사용자를 촬영한 제1 영상을 생성하는 제1 카메라; 상기 제1 사용자가 착용한 제2 카메라를 통해 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 수신기; 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하고, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하고, 상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 프로세서; 및 상기 합성 영상을 다른 전자 장치로 송신하는 송신기;를 포함한다.

제1 전자 장치는, 상기 프로세서는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하고, 상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하고, 상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성할 수 있다. 상기 제2 카메라 영상은 가상 현실(virtual reality) 영상일 수 있다.

상기 제1 사용자의 안면부 영상을 검출하는 단계는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하는 단계; 상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하는 단계; 및 상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성하는 단계;를 포함할 수 있다. 상기 제2 카메라 영상은 가상 현실 영상일 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

제1 전자 장치에 있어서,
제1 사용자를 촬영한 제1 영상을 생성하는 제1 카메라;
상기 제1 사용자가 착용한 제2 카메라를 통해 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 수신기;
상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하고, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하고, 상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 프로세서; 및
상기 합성 영상을 다른 전자 장치로 송신하는 송신기;를 포함하는, 제1 전자 장치.
청구항 1에 있어서,
상기 프로세서는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하고, 상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하고, 상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성하는, 제1 전자 장치.
청구항 2에 있어서,
상기 프로세서는, 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보에 기초하여 상기 제1 사용자의 안면부 영상 모델을 생성하고, 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제1 사용자의 안면부 영상이 존재하는지 여부를 결정하고, 상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 사용자의 안면부 방향 정보를 생성하는, 제1 전자 장치.
청구항 3에 있어서,
상기 프로세서는, 상기 제2 카메라 영상의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라 영상 모델을 생성하고,
상기 제2 카메라 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제2 카메라 영상이 존재하는지 여부를 결정하도록 더 실행되는, 제1 전자 장치.
청구항 4에 있어서,
상기 프로세서는, 상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대한 3차원 영상 정보를 생성하고, 상기 제1 사용자의 안면부 영상의 방향 정보 및 상기 3차원 영상 정보에 기초하여 상기 제1 사용자의 안면부 방향에 대응하는 상기 제3 영상을 생성하는, 제1 전자 장치.
청구항 5에 있어서,
상기 프로세서는, 상기 제1 영상의 평균 조도에 관한 제1 영상 조도 정보를 생성하고, 상기 제2 영상의 평균 조도에 관한 제2 영상 조도 정보를 생성하고, 상기 제3 영상의 평균 조도에 관한 제3 영상 조도 정보를 생성하는, 제1 전자 장치.
청구항 6에 있어서,
상기 프로세서는, 상기 제1 영상 조도 정보에 기초하여 상기 제2 영상 조도 정보 및 상기 제3 영상 조도 정보를 상기 제1 영상 조도 정보에 대응되도록 변경하는, 제1 전자 장치.
청구항 7에 있어서,
상기 프로세서는, 조도 정보가 변경된 상기 제2 영상의 왜곡을 보정하고, 상기 제1 사용자의 안면부 영상의 방향 정보에 기초하여 상기 제2 영상의 방향을 상기 제1 사용자의 안면부 방향에 대응되도록 변경하는, 제1 전자 장치.
청구항 8에 있어서,
상기 프로세서는, 상기 제1 사용자의 안면부 영상을 상기 제3 영상으로 변경한 변경 영상을 생성하고, 상기 제1 사용자의 안면부 영상의 위치 정보, 크기 정보 및 방향 정보, 상기 제2 카메라 영상의 위치 정보 및 방향 정보에 기초하여 상기 변경 영상과 상기 제2 영상을 합성한 상기 합성 영상을 생성하는, 제1 전자 장치.
청구항 9에 있어서,
상기 프로세서는, 상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 모니터링하고, 상기 모니터링 결과에 기초하여 상기 합성 영상을 갱신하는, 제1 전자 장치.
제1 전자 장치의 동작 방법에 있어서,
제1 카메라를 통해, 제1 사용자를 촬영한 제1 영상을 생성하는 단계;
상기 제1 사용자가 착용한 제2 카메라를 통해, 상기 제1 카메라에 의해 촬영되지 않은 상기 제1 사용자의 특정 영역을 촬영한 제2 영상을 상기 제2 카메라로부터 수신하는 단계;
상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 검출하는 단계;
상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대응하는 3차원 입체 영상인 제3 영상을 생성하는 단계;
상기 제3 영상과 상기 제2 영상을 합성한 합성 영상을 생성하는 단계; 및
상기 합성 영상을 다른 전자 장치로 송신하는 단계;를 포함하는, 제1 전자 장치의 동작 방법.
청구항 11에 있어서,
상기 제1 사용자의 안면부 영상을 검출하는 단계는,
상기 제1 영상에서 상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보를 생성하는 단계;
상기 제1 사용자의 안면부 영상에서 상기 제2 카메라가 착용된 부분의 영상인 제2 카메라 영상을 검출하는 단계; 및
상기 제2 카메라 영상의 위치 정보 및 크기 정보를 생성하는 단계;를 포함하는, 제1 전자 장치의 동작 방법.
청구항 12에 있어서,
상기 제1 사용자의 안면부 영상을 검출하는 단계는,
상기 제1 사용자의 안면부 영상의 위치 정보 및 크기 정보에 기초하여 상기 제1 사용자의 안면부 영상 모델을 생성하는 단계;
상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제1 사용자의 안면부 영상이 존재하는지 여부를 결정하는 단계; 및
상기 제1 사용자의 안면부 영상 모델에 기초하여 상기 제1 사용자의 안면부 방향 정보를 생성하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.
청구항 13에 있어서,
상기 제1 사용자의 안면부 영상을 검출하는 단계는,
상기 제2 카메라 영상의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라 영상 모델을 생성하는 단계; 및
상기 제2 카메라 영상 모델에 기초하여 상기 제1 영상의 프레임에서 상기 제2 카메라 영상이 존재하는지 여부를 결정하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.
청구항 14에 있어서,
제3 영상을 생성하는 단계는,
상기 제1 영상에 기초하여 상기 제1 사용자의 안면부에 대한 3차원 영상 정보를 생성하는 단계; 및
상기 제1 사용자의 안면부 영상의 방향 정보 및 상기 3차원 영상 정보에 기초하여 상기 제1 사용자의 안면부 방향에 대응하는 상기 제3 영상을 생성하는 단계;를 포함하는, 제1 전자 장치의 동작 방법.
청구항 15에 있어서,
제3 영상을 생성하는 단계는,
상기 제1 영상의 평균 조도에 관한 제1 영상 조도 정보를 생성하는 단계;
상기 제2 영상의 평균 조도에 관한 제2 영상 조도 정보를 생성하는 단계; 및
상기 제3 영상의 평균 조도에 관한 제3 영상 조도 정보를 생성하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.
청구항 16에 있어서,
제3 영상을 생성하는 단계는,
상기 제1 영상 조도 정보에 기초하여 상기 제2 영상 조도 정보 및 상기 제3 영상 조도 정보를 상기 제1 영상 조도 정보에 대응되도록 변경하도록 실행하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.
청구항 17에 있어서,
제3 영상을 생성하는 단계는,
조도 정보가 변경된 상기 제2 영상의 왜곡을 보정하는 단계; 및
상기 제1 사용자의 안면부 영상의 방향 정보에 기초하여 상기 제2 영상의 방향을 상기 제1 사용자의 안면부 방향에 대응되도록 변경하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.
청구항 18에 있어서,
상기 합성 영상을 생성하는 단계는,
상기 제1 사용자의 안면부 영상을 상기 제3 영상으로 변경한 변경 영상을 생성하는 단계;
상기 제1 사용자의 안면부 영상의 위치 정보, 크기 정보 및 방향 정보, 상기 제2 카메라 영상의 위치 정보 및 방향 정보에 기초하여 상기 변경 영상과 상기 제2 영상을 합성한 상기 합성 영상을 생성하는 단계;를 포함하는, 제1 전자 장치의 동작 방법.
청구항 19에 있어서,
상기 합성 영상을 생성하는 단계는,
상기 제1 영상에서 상기 제1 사용자의 안면부 영상을 모니터링하는 단계; 및
상기 모니터링 결과에 기초하여 상기 합성 영상을 갱신하는 단계;를 더 포함하는, 제1 전자 장치의 동작 방법.