KR20190112712A

KR20190112712A - 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템

Info

Publication number: KR20190112712A
Application number: KR1020197008799A
Authority: KR
Inventors: 바바로스 키리스켄
Original assignee: 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date: 2017-02-03
Filing date: 2017-02-03
Publication date: 2019-10-07
Also published as: US20210281802A1; KR102574874B1; CN109952759B; WO2018141408A1; EP3358835A1; JP2020507221A; TR201702966A2; CN109952759A; EP3358835B1

Abstract

본 발명은 화상회의 세션 동안 비디오 데이터를 수정하는 방법에 관한 것이다. 이 방법은: 시각적 입력을 캡처하기 위한 제1 카메라 유닛(103X) 및 제1 헤드 마운트 디스플레이(102)를 포함하는 제1 단말기(100A)를 제공하는 단계; 적어도 시각적 입력을 출력하기 위한 제2 단말기(100B)를 제공하는 단계; 제1 카메라 유닛(103X)으로 제1 사람(101)의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터를 제공 또는 캡처하는 단계; 제1 사람(101)이 HMD(102)를 착용한 상태에서 제1 카메라 유닛으로 제1 사람(101)의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터를 캡처하는 단계; 제1 HMD(102)의 시각적 외관을 나타내는 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 결정하는 단계; 및 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 제1 기본 데이터 섹션들에 의해 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 생성하는 단계;를 적어도 포함하며, 제1 기본 데이터 섹션들은 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이고, 사람의 얼굴의 일부 특히 제1 사람(101)의 눈을 나타낸다.

Description

헤드 마운트 디스플레이(HMD)를 이용한 화상회의를 위한 개선된 방법 및 시스템

본 발명은 청구항 1에 따른 화상회의 세션 동안 비디오 데이터를 수정하는 방법, 청구항 14에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품, 및 청구항 15에 따른 화상회의 세션을 위한 시스템에 관한 것이다.

본 발명의 기술 분야는 화상회의(video conference) 시스템에 관한 것이다. 이러한 화상회의 시스템은 데이터 연결, 특히 인터넷 연결을 통해 컴퓨터 또는 랩톱 또는 스마트폰과 같은 분리된 단말기들를 통해 시각적 통신을 가능하게 한다. 일부 화상회의시스템에서는 헤드 마운트 디스플레이(HMD: head-mounted display)가 사용된다. 이러한 HMD는 가상현실(VR: Virtual Reality) 및/또는 증강현실(AR: Augmented Reality) 및/또는 복합현실(MR: Mixed Reality)을 가능하게 한다.

화상회의 이외에 가상 회의실, 가상공간, 롤 플레잉 게임 및 가상 환경이 일반적으로 HMD로 수행되며 HMD는 사용자의 실제 얼굴을 볼 수 없다면 이러한 애플리케이션에서도 역시 성가시거나 방해가 된다 .

문헌 US6806898B1은 각 참가자가 카메라 및 디스플레이를 갖는 화상회의 환경에서 응시 및 머리 자세를 자동으로 조정하는 시스템 및 방법을 개시한다. 참가자의 이미지는 가상 3D 공간에서 렌더링 된다. 머리-자세 방향과 응시 방향은 3D 공간의 참가자 이미지가 스크린에서 보고 있는 사람을 보고 있는 것처럼 보이도록 보정된다. 참가자가 뷰어를 보고 있는 경우, 그의 응시는 "카메라"를 향해 설정되며, 이는 눈 맞춤의 인식을 제공한다.

문헌 US20080252637은 가상현실 기반 원격화상회의를 개시한다.

문헌 US20110202306은 조정 가능한 가상현실 시스템을 개시한다.

헤드 마운트 디스플레이를 사용하는 화상회의는 짜증날 수 있는데, 왜냐하면 회의의 다른 사람들은 HMD의 크기가 크기 때문에 HMD를 착용한 사람의 얼굴 일부분만 볼 수 있기 때문이다.

따라서, 본 발명의 목적은 화상회의를 위한 방법 및 화상회의 세션 동안 사용자의 편의를 향상시키는 화상회의 시스템을 제공하는 것이다.

전술한 목적은 청구항 1에 따라 화상회의 세션 동안 비디오 데이터를 수정하는 방법에 의해 해결된다. 본 발명의 방법은 적어도 다음 단계를 포함한다: 적어도 시각적 입력의 캡처를 위한 제1 카메라 유닛 및 제1 HMD를 포함하는 제1 단말기를 제공하는 단계, 적어도 시각적 입력을 출력하기 위한 제2 단말기를 제공하는 단계, 서버 수단 또는 통신 수단 또는 전송 매체를 제공하는 단계 - 여기서, 상기 제1 단말기와 제2 단말기는 데이터 교환을 위해 상기 전송 매체 특히 서버 수단을 통해 연결됨 -, 상기 제1 카메라 유닛으로 제1 사람의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터를 제공하거나 캡처하는 단계, 상기 제1 사람이 HMD를 착용하고 있는 동안 상기 제1 카메라 유닛으로 상기 제1 사람의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터를 캡처하는 단계, 제1 HMD의 시각적 외관을 나타내는 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 결정하는 단계, 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 제1 기본 데이터 섹션들에 의해 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 생성하는 단계 - 여기서, 제1 기본 데이터 섹션들은 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이고, 적어도 하나의 추가 단말기 특히 적어도 제2 단말기를 통해, 특히 상기 사람의 완전한 얼굴을 나타내는 특히 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터를 출력하기 위해, 상기 사람의 얼굴의 일부 특히 상기 사람의 눈을 나타낸다.

따라서, 본 발명은 1명, 2명 또는 다수의 사용자가 VR 또는 AR 안경과 같은 HMD를 착용한 상태에서 바람직하게는 전체 얼굴 화상회의를 제공하는 방법을 개시한다. 1명, 2명 또는 다수의 사용자가 HMD/VR/AR 장치를 사용하는 경우에 사용자의 얼굴의 상당 부분, 특히 눈이 HMD/VR/AR 장치에 의해 덮여서 다른 사용자는 전체 얼굴을 볼 수 없기 때문에 화상회의를 다소 무의미하게 만들 수 있다. 본 발명의 신규한 방법에 의하면, 장애물 없이 얼굴 전체보기로 화상회의를 설정하기 위해 사람 또는 사용자의 하나 이상의 미리 기록된 얼굴 자세(들)가 실시간 비디오에 오버레이(중첩)되어 원격 목적지에 전송된다.

또 다른 바람직한 실시 예는 종속항 및/또는 다음의 명세서 부분의 주제이다.

본 발명의 바람직한 실시 예에 따르면, 제2 단말기는 제2 카메라 유닛 및 제2 HMD를 포함한다. 본 발명은 다음 단계들에 의해 추가로 특징지어진다: 제2 카메라 유닛으로 제2 사람의 머리의 제2 기본 이미지 데이터 또는 제2 기본 비디오 데이터를 제공하거나 캡처하는 단계, 상기 제2 사람이 제2 HMD를 착용하고 있는 동안 상기 제2 카메라 유닛으로 상기 제2 사람의 머리의 제2 프로세스 이미지 데이터 또는 제2 프로세스 비디오 데이터를 캡처하는 단계, 제2 HMD의 시각적 외관을 나타내는 제2 프로세스 이미지 데이터 또는 제2 프로세스 비디오 데이터의 제2 프로세스 데이터 섹션들을 결정하는 단계, 제2 프로세스 이미지 데이터 또는 제2 프로세스 비디오 데이터의 제2 프로세스 데이터 섹션들을 제2 기본 데이터 섹션들에 의해 대체함으로써 제2 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 생성 또는 형성하는 단계 - 여기서, 제2 기본 데이터 섹션들은 제2 기본 이미지 데이터 또는 제2 기본 비디오 데이터의 일부이고, 제1 단말기를 통해 특히 제2 수정된 이미지 데이터 또는 제2 수정된 비디오 데이터를 출력하기 위해, 상기 제2 사람의 얼굴의 일부 특히 상기 제2 사람의 눈을 나타낸다. 이 실시예는 화상회의 방법에 HMD가 단지 하나 또는 하나 이상만 통합되는 것은 아니기 때문에 유익하다. 따라서, 둘 이상의 사람 또는 사용자가 HMD를 착용한 채 본 발명의 화상회의 방법을 사용할 수 있다.

상기 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터 및/또는 제2 수정된 이미지 데이터 또는 제2 수정된 비디오 데이터는 본 발명의 추가의 바람직한 실시 예에 따르면 상기 서버 수단에 접속된 적어도 하나의 추가 단말기를 통해 출력된다. 이 실시 예는 모든 단말기가 HMD를 가질 필요가 없기 때문에 유익하다. 따라서, HMD를 착용하거나 착용하지 않은 사람 또는 사용자는 동일한 방식으로 상호 작용할 수 있으며, 특히 각 사용자 또는 사람의 얼굴, 특히 전체 얼굴 또는 HMD 없는 얼굴이 하나, 둘 또는 적어도 하나 또는 적어도 두 개 또는 다수의 단말기상에 디스플레이된다.

단말기는 스크린을 갖거나 표면 또는 공간에 시각적 이미지를 투사하는 모든 장치로서 이해될 수 있다. 따라서, 단말기는 바람직하게는 랩톱, 태블릿 PC, 데스크톱 PC, 스마트폰, TV 등이다. 또한, 단말기 및 HMD가 하나의 장치인 것을 생각할 수도 있다.

추가의 단말은 본 발명의 추가의 바람직한 실시 예에 따르면 추가의 카메라 유닛 및 추가의 헤드 마운트 디스플레이(HMD)을 포함한다. 본 발명은 다음 단계들에 의해 추가로 특징지어진다: 추가 카메라 유닛으로 추가 사람의 머리의 추가 기본 이미지 데이터 또는 추가 기본 비디오 데이터를 제공하거나 캡처하는 단계, 상기 추가 사람이 추가 HMD를 착용하고 있는 동안 상기 추가 카메라 유닛으로 상기 추가 사람의 머리의 추가 프로세스 이미지 데이터 또는 추가 프로세스 비디오 데이터를 캡처하는 단계, 상기 추가 HMD의 시각적 외관을 나타내는 상기 추가 프로세스 이미지 데이터 또는 추가 프로세스 비디오 데이터의 추가 프로세스 데이터 섹션들을 결정하는 단계, 상기 추가 프로세스 이미지 데이터 또는 상기 추가 프로세스 비디오 데이터의 추가 프로세스 데이터 섹션들을 추가 기본 데이터 섹션들에 의해 대체함으로써 추가 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 형성하는 단계 - 여기서, 상기 추가 기본 데이터 섹션들은 상기 추가 기본 이미지 데이터 또는 추가 기본 비디오 데이터의 일부이고, 제1 단말기를 통해 및/또는 제2 단말기를 통해 및/또는 임의의 추가 단말기를 통해 특히 동시에 특히 상기 수정된 추가 이미지 데이터 또는 수정된 추가 비디오 데이터를 출력하기 위해, 상기 추가 사람의 얼굴의 일부 특히 상기 추가 사람의 눈을 나타낸다. 이 실시예는 다수의 사용자 또는 사람, 특히 2명 이상 3명 이상 또는 4명 이상이 각각 HMD를 착용할 수 있기 때문에 유익하다. 또한, 상이한 유형의 HMD, 특히 VR 및 AR 장치가 동일한 화상회의 세션에서 이용되는 것도 고려할 수 있다. 따라서, 프로세스 이미지 데이터 또는 프로세스 비디오 데이터로 표현되는 각각의 HMD는 상기 각각의 HMD를 사용하는 사용자의 얼굴 부분, 특히 눈을 나타내는 데이터로 대체될 수 있다.

제1, 제2 및/또는 추가 기본 비디오 데이터 또는 제1, 제2 및/또는 추가 기본 이미지 데이터는 본 발명의 바람직한 실시 예에 따르면 각각의 단말기의 메모리 및/또는 서버 수단에 저장된다. 제1, 제2 및/또는 추가 기본 비디오 데이터 또는 제1, 제2 및/또는 추가 기본 이미지 데이터는 한 번 캡처되고, 제1, 제2 및/또는 추가 수정된 이미지 데이터 또는 제1, 제2 및/또는 추가 수정된 비디오 데이터가 필요하면 처리된다. 대안으로, 제1, 제2 및/또는 추가 기본 비디오 데이터 또는 제1, 제2 및/또는 추가 기본 이미지 데이터는 상기 제1, 제2 및/또는 제3 사람이 화상회의에 참여할 때마다 캡처되고, 제1, 제2 및/또는 추가 수정된 비디오 데이터 또는 제1, 제2 및/또는 추가 수정된 이미지 데이터가 필요한 경우 제1, 제2 및/또는 추가 기본 비디오 데이터 또는 제1, 제2 및/또는 추가 기본 이미지 데이터가 갱신 또는 대체되고 처리된다.

최소 하나의 단말기와 바람직하게는 대다수 단말기 또는 모든 단말기는 본 발명의 추가의 바람직한 실시 예에 따르면 오디오 데이터를 캡처 및/또는 출력하기 위한 수단을 포함하며, 하나의 단말기에 의해 캡처된 상기 캡처된 오디오 데이터는 하나 또는 여러 개의 추가 단말기들에 적어도 라우팅된다. 그러한 수단은 예를 들면 마이크로폰일 수있다. 오디오 캡쳐 수단은 HMD에 배치될 수 있거나 상기 단말기의 일부일 수 있다.

제1 사람의 얼굴에 대한 제1 헤드 마운트 디스플레이의 위치는 본 발명의 다른 바람직한 실시 예에 따르면 물체 인식에 의해 결정된다. 제1 헤드 마운트 디스플레이의 형상은 바람직하게는 물체 인식 및/또는 시각적으로 또는 전자적으로 제공된 식별 데이터에 의해 결정된다. 전자적 식별 데이터는 제1 헤드 마운트 디스플레이와 제1 단말기 사이의 데이터 연결로 인해 제공된다. 제2 사람의 얼굴에 대한 제2 헤드 마운트 디스플레이의 위치는 본 발명의 또 다른 바람직한 실시 예에 따르면 물체 인식에 의해 결정된다. 제2 헤드 마운트 디스플레이의 형상은 바람직하게는 물체 인식 및/또는 시각적으로 또는 전자적으로 제공된 식별 데이터에 의해 결정된다. 전자적 식별 데이터는 제2 헤드 마운트 디스플레이와 제2 단말기 사이의 데이터 연결로 인해 제공된다. 추가 사람의 얼굴에 대한 추가 헤드 마운트 디스플레이의 위치는 본 발명의 또 다른 바람직한 실시 예에 따르면 물체 인식에 의해 결정된다. 추가 헤드 마운트 디스플레이의 형상은 바람직하게는 물체 인식 및/또는 시각적 또는 전자적으로 제공된 식별 데이터에 의해 결정된다. 전자적 식별 데이터는 추가 헤드 마운트 디스플레이와 추가 단말기 사이의 데이터 연결로 인해 제공된다.

제1 사람의 얼굴의 피부 부분의 움직임을 나타내는 얼굴 움직임 데이터가 본 발명의 또 다른 바람직한 실시 예에 따라 생성되며, 여기서 피부 부분의 움직임은 제1 카메라 유닛에 의해 캡처된다. 바람직하게는 제2 사람의 얼굴의 피부 부분의 움직임을 나타내는 얼굴 움직임 데이터 또한 생성되며, 여기서 피부 부분의 움직임은 제2 카메라 유닛에 의해 캡처된다. 바람직하게는 제3 사람의 얼굴의 피부 부분의 움직임을 나타내는 얼굴 움직임 데이터 또한 생성되며, 여기서 피부 부분의 움직임은 제3 카메라 유닛에 의해 캡처된다 .

제1 사람의 적어도 하나의 눈의 움직임을 나타내는 눈 움직임 데이터가 본 발명의 또 다른 바람직한 실시 예에 따라 생성되며, 여기서 눈의 움직임은 눈 추적 수단에 의해 캡처된다. 제2 사람의 적어도 하나의 눈의 움직임을 나타내는 눈 움직임 데이터 또한 생성되며, 여기서 눈의 움직임은 제2 눈 추적 수단에 의해 캡처된다. 추가 사람의 적어도 하나의 눈의 움직임을 나타내는 눈 움직임 데이터가 또한 생성되며, 여기서 눈의 움직임은 추가의 눈 추적 수단에 의해 캡처된다. 얼굴의 피부 움직임은 옵션인 얼굴 움직임 검출기에 의해 검출될 수 있으며, 상기 얼굴 움직임 검출기는 눈 추적 수단에 부가적으로 또는 대안으로 제공될 수 있다. 결합된 눈 추적 및 얼굴 움직임 검출기가 특히 HMD의 외부 또는 내부에 또는 HMD의 일부로서 배치되어 제공되는 것이 또한 고려될 수 있다.

제1 기본 데이터 섹션은 추가의 바람직한 실시 예에 따르면 제1 사람의 얼굴의 상기 캡처된 얼굴 움직임 데이터 및/또는 제1 사람의 적어도 한쪽 눈의 상기 캡처된 눈 움직임 데이터에 따라 수정된다. 제2 기본 데이터 섹션은 추가의 바람직한 실시 예에 따르면 제2 사람의 얼굴의 상기 캡처된 얼굴 움직임 데이터 및/또는 제2 사람의 적어도 한쪽 눈의 상기 캡처된 눈 움직임 데이터에 따라 수정된다. 제3 기본 데이터 섹션은 추가의 바람직한 실시 예에 따르면 제3 사람의 얼굴의 상기 캡처된 얼굴 움직임 데이터 및/또는 제3 사람의 적어도 한쪽 눈의 상기 캡처된 눈 움직임 데이터에 따라 수정된다.

제1 기본 데이터 섹션들의 일부로서 제1 사람의 눈의 형상을 나타내는 눈 데이터는 추가의 바람직한 실시 예에 따라 식별된다. 상기 눈 데이터는 바람직하게는 상기 캡처된 눈 움직임 데이터에 따라 수정되고 및/또는 상기 제1 기본 데이터 섹션에서 눈의 위 및/또는 아래의 상기 제1 사람의 얼굴의 피부 부분들을 나타내는 피부 데이터는 바람직하게는 식별된다. 상기 피부 데이터는 바람직하게는 상기 캡처된 얼굴 움직임 데이터에 따라 수정된다. 제2 기본 데이터 섹션의 일부로서 제2 사람의 눈의 형상을 나타내는 눈 데이터는 추가의 바람직한 실시 예에 따라 식별된다. 상기 눈 데이터는 바람직하게는 상기 캡처된 눈 움직임 데이터에 따라 수정되고 및/또는 상기 제2 기본 데이터 섹션에서 눈의 위 및/또는 아래의 상기 제2 사람의 얼굴의 피부 부분들을 나타내는 피부 데이터는 바람직하게는 식별된다. 상기 피부 데이터는 바람직하게는 상기 캡처된 얼굴 움직임 데이터에 따라 수정된다. 추가 기본 데이터 섹션의 일부로서 추가 사람의 눈의 형상을 나타내는 눈 데이터가 추가의 바람직한 실시 예에 따라 식별된다. 상기 눈 데이터는 바람직하게는 상기 캡처된 눈 움직임 데이터에 따라 수정되고 및/또는 상기 추가 기본 데이터 섹션에서 눈의 위 및/또는 아래의 상기 추가 사람의 얼굴의 피부 부분들을 나타내는 피부 데이터는 바람직하게는 식별된다. 상기 피부 데이터는 바람직하게는 상기 캡처된 얼굴 움직임 데이터에 따라 수정된다. 이 실시 예는 HMD를 사용하는 각각의 사람의 눈 움직임을 나타내는 시각 데이터가 화상회의 세션 또는 시스템의 유용성 및/또는 편의를 더욱 향상시키기 위해 이용될 수 있기 때문에 유익하다.

눈 추적 수단은 바람직하게는 근안(near eye) PCCR 추적기이다. 상기 눈 추적 수단은 바람직하게는 제1 헤드 마운트 디스플레이 외부 또는 내부 및/또는 제2 헤드 마운트 디스플레이의 외부 또는 내부 및/또는 내부 또는 추가 헤드 마운트 디스플레이의 외부 또는 내부에 배치된다.

본 발명의 다른 바람직한 실시 예에 따르면 본 발명의 방법은, 제1 사람의 머리 자세에 관한 정보를 특히 카메라 유닛에 의해 수신하는 단계, 물체 특히 제1 사람의 머리의 자세에 따라 머리의 가상 모델 및 머리의 안면 응시를 조향하는 단계, 화상회의 통신의 일부로부터 상기 가상 모델로 가시 픽셀을 투사하는 단계, 공간 내 원하는 지점에서 안면 응시를 생성하는 머리의 합성 눈을 생성하는 단계, 생성된 안면 응시에 따라 가상 모델을 조향하는 단계, 및 상기 가상 모델을 화상회의 통신의 대응하는 부분에 투사하는 단계를 포함하며, 여기서 상기 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터의 적어도 일부는 상기 가상 모델로 대체된다. 이 실시 예는, 각각의(제1, 제2 및/또는 추가의) 프로세스 이미지 데이터 또는 (제1, 제2 및/또는 추가의) 프로세스 비디오 데이터가 본 발명의 방법 또는 시스템을 개선하기 위해 수정될 수 있기 때문에, 유익하다.

합성된 눈을 생성하는 것은 바람직하게는 합성 눈을 생성하기 위해 눈의 세그멘테이션 정보를 수신하고 홍채 및 눈동자 정보를 추정하는 것을 포함한다. 합성 눈은 바람직하게는 합성 눈으로 원래의 눈을 대체하기 위해 세그먼테이션 정보를 사용하여 화상회의 통신의 대응 부분에 합성 눈을 디지털 방식으로 그리는 단계를 더 포함한다. 바람직하게는, 화상회의 통신 동안 실시간으로 가상 모델의 합성된 눈을 디지털 방식으로 조정하는 단계가 제공된다. 화상회의 통신은 바람직하게는 적어도 2명의 참가자들 사이에서 이루어지고 매우 바람직하게는 인터넷, 통합 서비스 디지털 네트워크(ISDN) 또는 직접 통신 링크 중 적어도 하나에 의해 촉진되는 것이 바람직하다.

본 발명은 또한 청구항 1 내지 13에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품에 관한 것이다.

본 발명은 또한 화상회의 세션용 시스템에 관한 것이다. 상기 시스템은 바람직하게는, 적어도 시각적인 입력을 캡처하기 위한 제1 카메라 유닛 및 제1 헤드 마운트 디스플레이를 포함하는 제1 단말기, 시각적 입력을 적어도 출력하기 위한 제2 단말기, 서버 수단을 적어도 포함하며, 상기 제1 단말기와 제2 단말기는 데이터 교환을 위해 상기 서버 수단을 통해 연결되고, 제1 사람의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터가 상기 제1 카메라 유닛에 의해 제공되거나 캡처되고, 상기 제1 사람이 헤드 마운트 디스플레이를 착용하고 있는 동안 제1 카메라 유닛으로 상기 제1 사람의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터가 캡처되고, 상기 제1 헤드 마운트 디스플레이의 시각적 외관을 나타내는 제1 프로세스 비디오 데이터 또는 제1 프로세스 오디오 데이터의 제1 프로세스 데이터 섹션들이 결정되고, 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터가 상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 제1 기본 데이터 섹션으로 대체함으로써 형성되고, 상기 제1 기본 데이터 섹션은 상기 제1 기본 이미지 데이터 또는 상기 제1 기본 비디오 데이터의 일부이고, 상기 사람의 얼굴의 일부 특히 상기 사람의 눈을 나타내고, 특히 상기 사람의 완전한 얼굴을 나타내는 상기 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터는 제2 단말기를 통해 출력된다.

본 발명의 추가의 이점들, 목적들 및 특징들은 본 발명의 예시적인 구성 요소들이 도시된 첨부 도면들의 다음의 명세서에 의해 기술될 것이다. 적어도 본질적으로 그 기능과 관련하여 본질적으로 일치하는 본 발명에 따른 시스템 및 방법의 구성 요소는 동일한 참조 부호로 표시될 수 있으며, 이러한 구성 요소는 상기 도면과 관련하여 여러 번 표시되거나 기술될 필요는 없다.

이하에서, 본 발명은 첨부된 도면을 참조하여 단지 예시적으로 기술된다.

도 1은 HMD가 사용되는 최신 기술의 화상회의 세션의 개략도이고;
도 2는 HMD가 사용되는 본 발명에 따른 화상회의 세션의 제1 개략도이고;
도 3은 HMD가 사용되는 본 발명에 따른 화상회의 세션의 제2 개략도이고;
도 4는 사람의 얼굴 형상의 일부를 나타내는 픽셀에 의한 HMD를 나타내는 픽셀의 대체를 개략적으로 도시하며;
도 5는 본 발명의 화상회의 세션 동안 사용될 수 있는 몇몇 HMD를 도시하고;
도 6은 사용중인 HMD의 형상을 검출하거나 사용중인 HMD를 식별하기 위한 몇 가지 가능성을 도시하고;
도 7은 눈 추적 수단을 포함하는 개략적으로 도시된 HMD의 정면도 및 측면도를 도시하고;
도 8은 마커에 의해 또는 마커 없이 수행될 수 있는 안면 움직임 추적 동안의 한 장면을 개략적으로 도시하고;
도 9는 시스템 활성화 흐름도의 예를 도시하고;
도 10은 이미지 프로세싱 동안의 단계들을 나타내는 흐름도의 예를 개략적으로 도시하고;
도 11은 다수 사용자와의 화상회의를 개략적으로 도시하며;
도 12는 가상 환경, 전형적인 경우에 가상 회의실에 연결된 다수 사용자를 도시한다.

도 1은 종래 기술의 설정을 도시한다. 제1 사용자(101)의 머리의 정면도(101A) 및 제1 사용자(101)의 머리의 측면도(프로파일)(101B)가 도면에 도시되어 있다. 제1 사용자(101)는 HMD(102)를 착용한다. 상기 HMD(102)(전형적인 경우에 VR 안경)는 정면도(102A) 및 측면도(102B)로 도시된다. 제1 사용자(101)의 머리는 제1 카메라 유닛(103X)에 의해 캡처된다. 제1 카메라 유닛(103X)은 화상회의 세션 중에 활용될 수 있는 카메라 유닛이다. 제1 카메라 유닛(103X)은 전형적인 경우에 외부에 위치되는 것이 바람직하지만 임의의 다른 옵션이 가능하다.

참조 번호 103Y는 제2 카메라 유닛을 나타낸다. 제2 사용자(111)의 머리는 상기 제2 카메라 유닛(103Y)에 의해 캡처된다. 제2 카메라 유닛(103Y)은 화상회의 세션 중에 이용될 수 있는 카메라 유닛이다. 제2 카메라 유닛(103Y)은 바람직하게는 전형적인 경우에 외부에 위치되지만 임의의 다른 옵션이 가능하다. 또한, 제2 사용자(111)가 본 발명의 화상회의 세션 동안 HMD를 사용하거나 착용하는 것을 생각할 수도 있다.

참조 번호 103Z는 추가 카메라 유닛을 나타낸다. 추가 사용자(114)의 머리는 상기 추가 카메라 유닛(103Z)에 의해 캡처된다. 추가 카메라 유닛(103Z)은 화상회의 세션 동안 이용될 수 있는 카메라 유닛이다. 추가 카메라 유닛(103Z)은 바람직하게는 전형적인 경우에 외부에 위치되지만 임의의 다른 옵션이 가능하다.

참조 부호 A는 제1 사용자(101)와 제2 사용자(111)가 화상회의 시스템을 통해 통신하고 있는 경우를 나타낸다. 이 경우, 제1 사용자(101)만이 HMD를 착용하고, 제2 사용자(111)는 스크린과 같이 HMD와 다른 광 출력 수단을 이용한다. 이 경우 제1 카메라 및 제2 카메라에 의해 캡처된 데이터는 화상회의를 위해 임의의 전송 매체(105)를 통해 상대방에게 전송된다. 전송 매체(105)는 바람직하게는 서버 유닛, 특히 전형적인 경우에 인터넷이다. 제1 사용자(101) 측의 제1 사용자 단말기(100A)로부터 제2 사용자(111) 측의 제2 사용자 단말기(100B)로 그리고 그 반대로 경로(104)를 통해 오디오 데이터 및 비디오 데이터를 전송할 수 있다. 따라서, 제1 카메라 유닛(103X)으로 캡처된 비디오 데이터는 스크린(109)을 통해 제2 사용자(111)에게 출력된다. 따라서, 제2 사용자(111)는 HMD(110)를 착용한 제1 사용자를 본다.

참조 번호 B는 제1 사용자(101)와 추가 사용자(114)가 화상회의 시스템을 통해 통신하고 있는 경우를 나타낸다. 이 경우, 제1 사용자(101)와 추가 사용자(114)는 각각 HMD를 착용하고 있다. 이 경우, 제1 카메라(103X) 및 추가 카메라(103Z)에 의해 캡처된 데이터는 화상회의를 위해 임의의 전송 매체(105)를 통해 상대방으로 전송된다. 전송 매체(105)는 바람직하게는 서버 유닛, 특히 전형적인 경우에 인터넷이다. 제1 사용자(101) 측의 제1 사용자 단말기(100A)로부터 추가 사용자(114) 측의 추가 사용자 단말기(100C)로 그리고 그 반대로 경로(104)를 통해 오디오 데이터뿐만 아니라 비디오 데이터를 전송할 수 있다. 따라서, 제1 카메라 유닛(103X)에 의해 캡처된 비디오 데이터는 HMD(112)를 통해 제2 사용자(111)에 출력된다. 제1 카메라 유닛(103A)에 의해 캡처된 비디오 데이터는 바람직하게는 HMD(112)의 우측 스크린 및 HMD(112)의 좌측 스크린을 통해 출력된다. 따라서, 제2 사용자(111)는 HMD(110)를 착용한 제1 사용자를 본다. 이는 제1 사용자(101)의 비디오가 어떤 변경 없이 HMD(112) 또는 안경의 우측 스크린(112A) 및 HMD 또는 안경의 좌측 스크린(112B)으로 전송됨(113A, 113B)을 의미한다.

따라서, 도 1은 사용자가 HMD(도면에서 VR 안경)를 착용하기 때문에 전체 얼굴 전송이 가능하지 않고 눈 맞춤이 가능하지 않고 대면 통신이 가능하지 않아서 화상회의 참가자를 불편하게 하는, 본 발명이 적용되지 않은 선행 기술의 상태를 간단히 설명한다.

도 2는 본 발명의 방법 및 시스템의 제1 개략도이다. 참조 번호 201은, 특히 벡터(vector), 래스터(raster), 이미지 및 비디오 중 임의의 방법으로 캡처된 얼굴 움직임 캡처를 위한 제1 사용자(101)의 기록된 머리 데이터를 나타낸다. 상기 기록된 머리 데이터(201)는 바람직하게는 HMD를 나타내는 데이터를 포함하지 않고, 따라서 바람직하게는 단지 머리, 특히 얼굴, 특히 얼굴의 형상, 특히 입 위와 이마 아래, 특히 얼굴의 눈 영역을 나타내는 데이터만을 포함한다. 제1 사용자(101)의 상기 기록된 머리 데이터(201)는 컴퓨팅 시스템 또는 유닛, 특히 서버 및/또는 제1 단말기(100A) 또는 제2 단말기(100B) 또는 임의의 추가 단말기(100C)로 전송될 수 있다. 컴퓨팅 시스템 또는 장치는 기록된 데이터(201)로 제1 카메라 유닛(103X)에 의해 캡처된 데이터를 수정한다. 여기서 수정은 바람직하게는, 특히 실시간으로 결합, 대체, 오버레이 또는 중첩하는 것을 의미한다. 따라서, 비디오 또는 사진이 제2 사용자(111)로 출력되며, 여기서 상기 비디오 또는 사진은 제1 카메라 유닛(103X)에 의해 캡처된 비디오 또는 사진과는 상이하다. 출력된 또는 보이는 사진은 바람직하게는, 특히 카메라(103X)에 의해 캡처된 데이터와 기록된 머리 데이터(201)를 결합함으로써 인위적으로 생성된다. 따라서, 참조 번호 202는 HMD를 사용하더라도 제1 사용자(101)의 전체 얼굴 뷰(view)를 전송하는 이미지 데이터를 나타낸다 .

또한, B의 경우에 추가 사용자(114)는 눈, 특히 제1 사람(101)의 전체 얼굴을 본다.

따라서, 참조 번호 203A는, HMD 특히 VR 안경의 좌측 디스플레이를 위해 HMD를 사용하더라도 제1 사용자(101)의 전체 얼굴 뷰를 전송하는 이미지 데이터를 나타낸다. 따라서, 참조 번호 203B는, HMD 특히 VR 안경의 우측 디스플레이를 위해 HMD를 사용하더라도 제1 사용자(101)의 전체 얼굴 뷰를 전송하는 이미지 데이터를 나타낸다.

따라서, 본 발명은 화상회의 세션 동안 비디오 데이터를 수정하는 방법 및 또는 발전된 화상회의 세션을 제공하는 방법을 개시한다. 제1 단말기(100A)가 제공되어 사용되며, 여기서 제1 단말기(100A)는 노트북, 데스크톱, 이동 전화, 태블릿 PC, TV 등일 수 있다. 상기 단말기(100A)는 바람직하게는 적어도 시각적 입력을 캡처하기 위한 제1 카메라 유닛(103X)과 제1 헤드 마운트 디스플레이(102)를 포함한다. 또한, 적어도 시각적 입력을 출력하기 위해 제2 단말기(100B)가 제공되고 사용된다. 바람직하게는 데이터 전송 수단, 특히 서버 수단(106)이 제공되며, 여기서 상기 제1 단말기(100A)와 제2 단말기(100B)는 데이터 교환을 위해 서버 수단(106) 또는 데이터 전송 수단을 통해 연결된다. 제1 사람(101)의 머리의 기본 이미지 데이터 또는 기본 비디오 데이터가 바람직하게는 제1 카메라 유닛(103X)으로 제공되거나 캡처된다. 상기 제1 사람(101)이 제1 헤드 마운트 디스플레이(102)를 착용한 상태에서 상기 제1 사람(101)의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터가 상기 제1 카메라 유닛(103X)으로 캡처된다. 제1 헤드 마운트 디스플레이(102)의 시각적 외관을 나타내는 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션이 캡처되며, 여기서 상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션을 제1 기본 데이터 섹션으로 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터가 생성된다. 상기 제1 기본 데이터 섹션은 바람직하게는 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이며, 제1 사람(101)의 얼굴의 일부 특히 제1 사람(101) 의 눈을 나타낸다. 특히 상기 제1 사람(101)의 완전한 얼굴을 나타내는 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터는 제2 단말기(100B)의 출력 장치 특히 스크린을 통해 출력되거나 보여질 수 있다.

따라서, 본 발명은 하나 이상의 사용자가 HMD를 사용하거나 착용한 상태에서 이루어지는 화상회의(또는 임의의 다른 원격회의 기술)와 관련이 있다. HMD(헤드 마운트 디스플레이)는 자체 디스플레이를 구비한 독립형 또는 이동 전화 부착형의 임의의 가상현실 안경, 현실 세계에 증강 이미지(비디오)를 중첩하는 증강현실 안경, 복합현실 장치 및/또는 헤드업 디스플레이(HUD: Head-Up-Displays)가 될 수 있다.

카메라 장치 또는 카메라 유닛(103X-103Z)은 임의의 카메라 일 수 있고, 일부 예는 외부 카메라 또는 이동 전화 또는 임의의 컴퓨터의 내장형 카메라일 수 있다. 카메라는 단일 렌즈 카메라 또는 듀얼 렌즈(복수 렌즈) 심지어 라이트 필드(light field) 카메라일 수 있다.

화상회의는 인스턴트 메신저(IM: instant messenger) 또는 VoIP 환경으로 인터넷을 통해 이루어질 수 있다. 화상회의 기간은 바람직하게는 원격회의와 같은 모든 종류의 화상회의 활동을 포함한다.

도 3은 기록된 머리 데이터(201)가 캡쳐되고 처리되는 방법을 도시한다.

사용자 머리 데이터(301)는 학습주기 또는 기록된 비디오 또는 유사한 기술로 취득된다. 제1 사용자(101)의 머리에 대한 머리 데이터는 바람직하게는 상기 머리의 전면 투시도로 캡처된다. 참조 번호 302는 상기 머리 및/또는 상기 카메라 유닛(310)의, 특히 적어도 180 ° 또는 적어도 270 ° 또는 360 ° 의 범위에서, 회전 움직임을 나타낸다. 바람직하게는, 카메라 유닛(310)은 특히 간단한 카메라이거나 또는 바람직하게는 스캐닝 레이저를 지원하는 몰입형 또는 광 깊이(light depth) 카메라 같은 더 복잡한 장치일 수 있는 기록 장치이다. 카메라 유닛(310)이 제1 카메라 유닛(103X) 또는 다른 카메라 유닛인 것을 또한 생각할 수 있다. 제1 HMD(102)의 크기가 검출되고, 사용자 머리 데이터(301)는, HMD를 사용하거나 착용한 상태의 제1 사람(101)의 캡처된 이미지 또는 비디오의 HMD를 나타내는 데이터를 대체하기 위해, 적절하게 잘라낸다(cropping). 잘라낸 데이터는 그래픽 또는 이미지 데이터 또는 비디오 데이터 수정을 위한 유닛으로 전송된다(308).

잘라낸 데이터(305)는 제1 카메라 유닛(103X)에 의해 캡처된 이미지 또는 비디오 데이터, 특히 프로세스 이미지 데이터 또는 프로세스 비디오 데이터를 수정하기 위해 제공된다(309).

따라서, 도 2 및 도 3은 본 발명이 사용되는 동안의 상태 및 발명의 이점을 도시한다. 기록된 얼굴 데이터(얼굴 자세)는 HMD의 크기로 크로핑 되고 바람직하게는 실시간 비디오와 결합되며(오버레이 또는 중첩됨) 제1 및 추가 사용자에 전송된 비디오는 그가 HMD를 사용하고 있지 않은 것처럼 제1 사용자의 전체 얼굴이며 이는 전반적인 화상회의 경험을 향상시킨다. 도 2 및 도 3에서 이미지/비디오 프로세싱과 관련된 연산은 제1 사용자 측에서 수행되지만 임의의 다른 옵션, 예를 들어 서버 또는 각 수신자의 단말기(100A, 100B) 상에서도 가능하다. 또한, 다수의(특히 3명 이상) 사용자가, 다수 또는 모든 사용자가 HMD를 사용하거나 착용하고 있는 동일한 화상회의 세션에 참여하고 있는 것도 생각할 수 있다. 따라서, HMD를 사용하는 바람직하게는 모든 사용자의 이미지 또는 비디오 데이터(프로세스 이미지 데이터 또는 프로세스 비디오 데이터)는 각 사용자의 안면 부분, 특히 눈을 나타내는 이미지 또는 비디오 데이터를 가지고 수정되는 것이 바람직하다.

도 4는 오버레이 또는 대체 프로세스의 예를 보여줍니다. 얼굴, 특히 제1 사용자(101)의 얼굴의 미리 정의된 부분, 특히 눈을 나타내는 크로핑 된 데이터(305) 또는 데이터는 HMD를 나타내는 프로세스 이미지 데이터 또는 프로세스 비디오 데이터의 적어도 일부를 오버레이 또는 대체한다. 다시 말하면 하나의 옵션으로서, 크로핑 된 몰입형(immersive) 데이터(305)는 상기 프로세스 이미지 데이터 또는 프로세스 비디오 데이터를 부분적으로 또는 전체적으로 오버레이 하기(402) 위해 상기 프로세스 이미지 데이터 또는 상기 프로세스 비디오 데이터에 전송된다(401).

도 5는 HMD 실시 예에 대한 4가지 예를 도시한다. 참조 번호 102A는 VR 안경(스크린으로서 이동 전화/스마트폰을 구비)을 예시하고, 참조 번호 501은 독립형 VR 안경 또는 자체 스크린을 가진 VR 안경을 예시하고, 참조 번호 502는 한쪽 눈만 가리는 일종의 AR 안경 또는 복합현실 안경을 예시하며, 참조 번호 503은 양쪽 눈을 가리는 일종의 AR 안경 또는 복합현실 안경을 예시한다. 이와 같이, 도 5는 얼굴 위에 상이한 가림 영역을 갖는 상이한 HMD를 예시하며 스마트폰을 가진 VR 안경이 가장 크다.

도 6은 사용 중인 HMD에 관한 정보 특히 형상 및/또는 착색 및/또는 크기가 어떻게 수집될 수 있는지의 3가지 예를 도시한다. 참조 번호 601은 모션 캡처 및 크기 검출을 위한 마커리스(marker-less) 검출 또는 전자 검출을 나타낸다. 따라서, HMD의 특징들은 이미지 분석에 의해 수집될 수 있다. 참조 번호 602는 카메라 유닛(103X)에 보일 수 있는 HMD의 부분들 상의 특별한 형상 또는 점 또는 도트 마커(dot marker)를 나타낸다. 참조 번호 603은 QR 마커를 나타내며, 여기서 QR-코드는 HMD의 특징에 관한 정보 또는 상기 HMD의 특징을 나타내는 데이터를 다운로드 하기 위한 링크를 나타낸다. 이와 같이, 도 6은 시스템이 어떻게 사용자의 얼굴 위치 HMD 위치 및 HMD 크기를 검출하는지를 예시한다. 더욱 몰입을 위해 화상회의 시스템은 사용자가 보는 곳에 사용자의 눈을 정확하게 위치시키고 표현을 보정하는 것이 필요하며 다양한 센서 및 눈 추적 메커니즘을 사용될 수 있다.

NFC 또는 블루투스 또는 RFID 또는 WiFi와 같은 무선 기술 또는 비 무선 또는 유선 연결 기술 특히 USB를 통한 데이터 전송과 같은 추가적인 가능성이 부가적으로 또는 대안으로 고려될 수 있다.

도 7은 특수한 HMD(102A)를 보여준다. 이 HMD(102A)는 바람직하게는 눈 추적기(특히 임의의 종류의(아마 근안 PCCR 추적기))(701) 및/또는 얼굴 움직임을 검출하는 검출기(용량성(capacitive) 또는 광학)(702)를 포함한다. 사용자 머리 데이터(301) 특히 잘라낸 사용자 머리 데이터는 바람직하게는 상기 눈 추적기(701) 및/또는 상기 얼굴 움직임 검출기(702)에 의해 측정된 측정치에 의존하여 수정된다. 따라서, 제1 사용자(101)의 얼굴의 디스플레이 된 외관은 더욱 더 사실적으로 보인다.

도 8은 얼굴 움직임 추적의 예를 보여준다. 도트 마커(801)의 광학 검출은 얼굴 움직임의 결정 또는 분석을 가능하게 한다. 그러나 마커-리스 방법과 같은 다른 검출 방법이 대안으로 또는 부가적으로 가능하다.

도 9는 시스템 활성화를 나타내는 흐름도이다.

참조 번호 901에 따라, 본 발명의 시스템 또는 화상회의 세션이 시작된다. 따라서, 시스템이 실제로 시작되었는지 단계 902에서 검사된다. 시스템이 시작되지 않은 경우(902N) 아무 일도 발생하지 않는다(903). 시스템이 실제로 시작된 경우(902Y), 적어도 하나의 HMD가 검출되는지 검사된다(904). HMD 장치가 검출되지 않으면(904N) 아무 일도 일어나지 않는다. HMD 장치가 검출된 경우(904Y), 기록된 데이터(기본 이미지 데이터 또는 기본 비디오 데이터)가 요청되거나 또는 로드되거나 또는 생성된다. 그러면, 시스템의 초기화가 종료한다(908).

도 10은 이미지 프로세싱이 제1 사용자 측에서 특히 제1 사용자 단말기에 의해 어떻게 수행되는지를 예시적으로 보여주는 흐름도이다. 실시간 비디오(1001)가 캡쳐된다. 상기 캡처된 실시간 비디오(1001) 또는 상기 프로세스 이미지 데이터 또는 프로세스 비디오 데이터가 이미지/비디오 프로세싱(1002)으로 인해 수정된다(가장 바람직하게는 제1 사용자 측에서 수행되지만 클라우드, 화상회의 서버 또는 원격 사용자에서 연산을 수행하는 것과 같은 임의의 다른 옵션들이 가능하다). 프로세스 이미지 데이터 또는 프로세스 비디오 데이터의 이미지/비디오 프로세싱(1002) 또는 수정은 기록된 데이터(1004)를 가지고 수행된다. 바람직하게는 제1 사용자의 적어도 하나의 눈을 나타내는 데이터는 상기 프로세스 이미지 데이터 또는 프로세스 비디오 데이터와 결합된다. 출력(1003)으로서, 결합된 오버레이 이미지/비디오가 생성된다.

이와 같이, 도 10에 도시된 오버레이 연산은 임의의 연산 위치 및 시스템 및 장치로 전송될 수 있지만, 대부분 이 연산은 사용자 측에서 행해지며, 장치/단말기는 대부분 컴퓨터(데스크톱, PC, 랩톱) 또는 스마트폰 또는 태블릿이다.

도 11은 HMD를 갖거나 갖지 않은 다수의 사용자가 본 발명의 화상회의 세션에 참여할 수 있음을 보여주며, 이들 사용자 중 적어도 하나는 HMD를 사용하거나 착용한다. 참조 번호 1101은 제1 사용자(도 1, 2 및 3의 제1 사용자(101)에 대응함), 참조 번호 1102는 제2 사용자, 참조 번호 1103은 제3 사용자, 참조 번호 1104는 제4 사용자, 및 참조 번호 1105는 n번째 사용자를 가리킨다. 따라서, 화상회의 통신은 바람직하게는 적어도 2명의 참가자들 사이에서 이루어지며 더욱 바람직하게는 적어도 하나의 화상회의용 전송 매체(105), 특히 인터넷(106), 통합 서비스 디지털 네트워크(ISDN) 또는 직접 통신 링크에 의해 촉진된다.

도 12는 가상 환경(1200) 또는 전형적인 경우에 가상 회의실을 도시한다. 이 가상 환경(1200)은 특히 롤 플레이 게임을 위한 가상공간인 것을 생각할 수도 있다. 제1 사용자(1201)는 HMD, 특히 전형적인 경우에 VR 안경을 가진다. 제2 사용자(1202)도 또한 HMD 특히 전형적인 경우에 VR 안경을 갖는다. N 번째 사용자(1203)도 또한 전형적인 경우에 HMD 특히 VR 안경을 갖는다. 가상 환경(1200)에서 알 수 있듯이, 가상 환경에서 만나는 모든 사람들은, 본 발명에 따르면, HMD(1201A, 1202A 및 1203A) 없이 보여진다.

이와 같이, 본 발명은 시스템 및 방법에 관한 것으로서, 상기 방법은 바람직하게는 화상회의 세션 동안 비디오 데이터를 수정하는 기능을 하며 적어도 다음의 단계를 포함한다: 적어도 시각적 입력을 캡처하기 위한 제1 카메라 유닛(103X) 및 제1 헤드 마운트 디스플레이(102)를 포함하는 제1 단말기(100A)를 제공하는 단계; 적어도 시각적 입력을 출력하기 위한 제2 단말기(100B)를 제공하는 단계; 서버 수단(105)을 제공하는 단계 - 상기 제1 단말기(100AX)와 상기 제2 단말기(100B)는 데이터 교환을 위해 상기 서버 수단(105)에 의해 연결됨 -, 제1 사람의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터를 제1 카메라 유닛(103X)으로 제공하거나 캡처하는 단계; 제1 사람(101)이 헤드 마운트 디스플레이를 착용한 상태에서 제1 카메라 유닛으로 상기 제1 사람(101)의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터를 캡처하는 단계; 제1 헤드 마운트 디스플레이(102)의 시각적 외관을 나타내는 상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션을 결정하는 단계; 상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션을 제1 기본 데이터 섹션으로 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 생성하는 단계 - 여기서 상기 제1 기본 데이터 섹션은 상기 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이며 상기 사람의 얼굴의 부분들, 특히 상기 제1 사람(101)의 눈을 나타냄 -; 특히 상기 제1 사람(101)의 완전한 얼굴을 나타내는 상기 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터를 특히 제2 단말기(100B)를 통해 출력하는 단계.

따라서, 본 발명의 방법은 먼저 VR/AR 안경이 없는 사용자의 얼굴을 기록 또는 촬영한다. 광 깊이 사진이나 임의의 다른 3D 또는 몰입형 비디오/사진 기술과 같은 임의의 기술이 이 프로세스 중에 사용될 수 있다. 눈 근처의 사용자 얼굴 영역이 모델링된 후, 바람직하게는 장치 또는 단말기에 저장된다. 사용자가 화상회의 또는 화상 전화에서 VR/AR 안경을 사용하기 시작할 때, 컴퓨터는 VR/AR 안경의 가장자리를 쉽게 검출하며(또는 식별자 등의 임의의 다른 방법) 및 비디오를 VR/AR 안경과 정상적인 비디오로 결합하며, 그 결과 다른 사용자가 VR/AR 안경 없는 정상적인 얼굴을 보게 된다. 또한, VR/AR 안경 내부에서 눈을 추적하는 추가 기능은 눈을 올바르게 위치시킬 수 있다.

100A: 제1 사용자 단말기
100B: 제2 사용자 단말기
100C: 추가 사용자 단말기
101: 제1 사람/제1 사용자
101A: 사용자 머리(제1 사용자)의 정면도
101B: 사용자 머리(제1 사용자)의 측면도(프로파일)
102: 제1 HMD
102A: HMD 장치(전형적인 경우에 VR 안경)의 정면도
102B: HMD 장치(전형적인 경우에 VR 안경)의 측면도
103X: 제1 사용자의 화상회의용 제1 카메라 유닛((전형적인 경우에 외부에 배치되지만 임의의 다른 옵션도 가능함)
103Y: 제2 사용자의 화상회의용 카메라(전형적인 경우에 외부에 배치되지만 임의의 다른 옵션도 가능함)
103Z: 제3 사용자의 화상회의용 카메라(전형적인 경우에 외부에 배치되지만 임의의 다른 옵션도 가능함)
104: 두 사용자 모두 비디오-오디오 정보를 전송
105: 화상회의용 임의의 전송 매체
106: 전송 매체는 전형적인 경우에 인터넷임
A: 스크린 디스플레이를 사용하는 화상회의의 제2 사용자
109: 스크린(스크린)
110: HMD를 착용한 제1 사용자의 전송된 비디오
111: 제2 사용자
B: VR 안경을 다시 사용하는 화상회의의 제3 사용자
112: 추가 사용자의 HMD
112A: VR 안경의 우측 스크린
112B: VR 안경의 좌측 스크린
113A: 안경의 우측 스크린에 아무런 변경 없이 전송된 제1 사용자의 비디오
113B: 안경의 좌측 스크린에 아무런 변경 없이 전송된 제1 사용자의 비디오
114: 추가 사용자
115: 추가 헤드 마운트 디스플레이(HMD)
201: 안면 움직임 캡처를 위한 제1 사용자의 기록된 머리 데이터(벡터, 래스터, 이미지 및/또는 비디오 중 하나의 방법으로)
309: 기록된 데이터와 실시간 비디오를 결합(오버레이 - 중첩)하기 위해 컴퓨팅 시스템(도시되지 않음)으로 전송됨
202: HMD를 사용하는 경우에도 전송된 제1 사용자의 전체 얼굴 뷰
203A: VR 안경의 우측 디스플레이를 위해 HMD를 사용하더라도 전송된 제1 사용자의 전체 얼굴 뷰
203B: VR 안경의 좌측 디스플레이를 위해 HMD를 사용하는 경우에도 전송된 제1 사용자의 전체 얼굴 뷰
301: 사용자 머리 데이터가 학습 주기 또는 기록된 비디오 등으로 취득됨
302: 360°또는 이와 유사한 넓은 각도 데이터 회전 및 취득
303: HMD의 크기가 검출되고 적절한 크롭(crop)을 만든다
304: 적절한 크롭
305: 잘라낸 데이터
307: 적당한 HMD 크기를 얻음으로써 크롭에서 전송된 데이터
308: 잘라낸 데이터 전송
310: 기록 장치(간단한 카메라 또는 스캐닝 레이저 지원을 가진 몰입형 또는 광 깊이 카메라와 같은 더 복잡한 장치)
401: 잘라낸 몰입형 데이터가 전송됨
402: 오버레이가 완료됨
501: 독립형 VR 안경 또는 자체 스크린이 있는 VR 안경
502: 한쪽 눈을 덮는 일종의 AR 안경 또는 복합현실 안경
503: 양쪽 눈을 덮는 일종의 AR 안경 또는 복합현실 안경
601: 움직임 캡처 및 크기 검출을 위한 마커리스 검출 또는 전자식 검출
602: 도트 마커
603: QR 마커
701: 임의 종류의 눈 추적기(아마 가까운 눈 PCCR 추적기)
702: 얼굴 움직임 검출기(용량성 또는 광학식)
801: 도트 마커
901: 시작
902: 발명(개시된 시스템)이 활성화되었습니까?
902N/Y: 아니오/예
903: 아무것도 하지 않음
904: HMD가 감지되었습니까?
904N/Y: 아니오/예
905: 아무것도 하지 않음
906: 기록된 데이터와 실시간 비디오를 오버레이 함
907: 기록된 데이터
908 종료
1001 실시간 비디오
1002 이미지/비디오 처리(가장 바람직하게는 제1 사용자 측에서 수행되지만 클라우드, 화상회의 서버 또는 원격 사용자측에서 연산을 수행하는 것과 같은 다른 옵션도 가능함)
1003: 결합된 오버레이 이미지 출력
1004: 기록된 데이터
1200: 가상 환경, 전형적인 경우에 가상 회의실, 및 가상공간 및/또는 롤 플레잉 게임 등이 가능함
1201: HMD, 전형적인 경우에 VR 안경을 가진 제1 사용자
1201A: 가상 환경에서 보인 제1 사용자
1202: HMD, 전형적인 경우에 VR 안경을 가진 제2 사용자
1202A: 가상 환경에서 보인 제2 사용자
1203: HMD, 전형적인 경우에 VR 안경을 가진 N 번째 사용자
1203A: 가상 환경에서 보인 N 번째 사용자

Claims

화상회의 세션 동안 비디오 데이터를 수정하는 방법으로서,
시각적 입력을 캡처하기 위한 제1 카메라 유닛(103X) 및 제1 헤드 마운트 디스플레이(HMD)(102)를 포함하는 제1 단말기(100A)를 제공하는 단계;
적어도 시각적 입력을 출력하기 위한 제2 단말기(100B)를 제공하는 단계;
서버 수단(105)을 제공하는 단계;
상기 제1 카메라 유닛(103X)으로 제1 사람의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터를 제공 또는 캡처하는 단계;
상기 제1 사람(101)이 HMD를 착용한 상태에서 상기 제1 카메라 유닛으로 상기 제1 사람(101)의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터를 캡처하는 단계;
상기 제1 HMD(102)의 시각적 외관을 나타내는 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들을 결정하는 단계; 및
상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 상기 제1 프로세스 데이터 섹션들을 제1 기본 데이터 섹션들에 의해 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 생성하는 단계;
를 포함하며,
상기 제1 단말기(100A)와 제2 단말기(100B)는 데이터 교환을 위해 상기 서버 수단(105)을 통해 연결되며,
상기 제1 기본 데이터 섹션들은 상기 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이고, 상기 사람의 얼굴의 일부 특히 상기 제1 사람(101)의 눈을 나타내는, 방법.
제 1 항에 있어서,
상기 제2 단말기(100B)는 제2 카메라 유닛(103Y) 및 제2 헤드 마운트 디스플레이(HMD)를 포함하며,
상기 방법은,
제2 카메라 유닛(103Y)으로 제2 사람(111)의 머리의 제2 기본 이미지 데이터 또는 제2 기본 비디오 데이터를 제공 또는 캡처하는 단계;
상기 제2 사람(111)이 상기 제2 HMD를 착용한 상태에서 상기 제2 카메라 유닛(103Y)으로 상기 제2 사람(111)의 머리의 제2 프로세스 이미지 데이터 또는 제2 프로세스 비디오 데이터를 캡처하는 단계;
상기 제2 HMD의 시각적 외관을 나타내는 제2 프로세스 이미지 데이터 또는 제2 프로세스 비디오 데이터의 제2 프로세스 데이터 섹션들을 결정하는 단계; 및
상기 제2 프로세스 이미지 데이터 또는 상기 제2 프로세스 비디오 데이터의 상기 제2 프로세스 데이터 섹션들을 제2 기본 데이터 섹션들에 의해 대체함으로써 제2 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 형성하는 단계; 및
상기 제1 단말기(100A)를 통해 상기 제2 수정된 이미지 데이터 또는 상기 제2 수정된 비디오 데이터를 출력하는 단계;
를 포함하며,
상기 제2 기본 데이터 섹션은 상기 제2 기본 이미지 데이터 또는 상기 제2 기본 비디오 데이터의 일부이고, 상기 제2 사람(111)의 얼굴의 일부 특히 상기 제2 사람(111)의 눈을 나타내는, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터와 상기 제2 수정된 이미지 데이터 또는 제2 수정된 비디오 데이터 중 적어도 하나는 상기 서버 수단(105)에 접속된 하나 이상의 추가 단말기(100C)을 통해 출력되는, 방법.
제 1 항 또는 제 2 항에 있어서,
추가 카메라 유닛(103Z) 및 추가 헤드 마운트 디스플레이(HMD)(112)를 포함하는 추가 단말기(100C)를 포함하며,
상기 추가 카메라 유닛(103Z)으로 추가 사람(114)의 머리의 추가 기본 이미지 데이터 또는 추가 기본 비디오 데이터를 제공 또는 캡처하는 단계;
상기 추가 사람(114)이 상기 추가 HMD(112)를 착용한 상태에서 상기 추가 카메라 유닛(103Z)으로 상기 추가 사람(114)의 머리의 추가 프로세스 이미지 데이터 또는 추가 프로세스 비디오 데이터를 캡처하는 단계;
상기 추가 HMD(112)의 시각적 외관을 나타내는 상기 추가 프로세스 이미지 데이터 또는 상기 추가 프로세스 비디오 데이터의 추가 프로세스 데이터 섹션들을 결정하는 단계; 및
상기 추가 프로세스 이미지 데이터 또는 추가 프로세스 비디오 데이터의 상기 추가 프로세스 데이터 섹션들을 추가 기본 데이터 섹션들에 의해 대체함으로써 추가 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터를 형성하는 단계; 및
상기 제1 단말기(100A) 및 제2 단말기(100B) 중 적어도 하나를 통해 상기 추가 수정된 이미지 데이터 또는 상기 추가 수정된 비디오 데이터를 특히 동시에 출력하는 단계;
를 포함하며,
상기 추가 기본 데이터 섹션은 상기 추가 기본 이미지 데이터 또는 상기 추가 기본 비디오 데이터의 일부이고, 상기 추가 사람(114)의 얼굴의 일부 특히 상기 추가 사람(114)의 눈을 나타내는, 방법.
제 1 항 또는 제 2 항에 있어서,
제1, 제2 및 추가 기본 비디오 데이터 중 적어도 하나 또는 제1, 제2 및 추가 기본 이미지 데이터 중 적어도 하나는 각 단말기(100A, 100B, 100C)의 메모리 및 서버 수단 중 적어도 하나에 저장되며,
제1, 제2 및 추가 기본 비디오 데이터 중 적어도 하나 또는 제1, 제2 및 추가 기본 이미지 데이터 중 적어도 하나는 한 번 캡처되고 제1 및 제2 및 추가 수정된 비디오 데이터 중 적어도 하나 또는 제1, 제2 및 추가 수정된 이미지 데이터 중 적어도 하나가 필요한 경우 처리되거나, 또는
제1, 제2 및 추가 기본 비디오 데이터 중 적어도 하나 또는 제1, 제2 및 추가기본 이미지 데이터 중 적어도 하나는 상기 제1, 제2 및 제3 사람(101, 111, 114) 중 적어도 하나가 화상회의에 참여할 때마다 캡처되고, 상기 제1, 제2 및 추가 기본 비디오 데이터 중 적어도 하나 또는 상기 제1, 제2 및 추가기본 이미지 데이터 중 적어도 하나는 제1, 제2 및 추가 수정된 비디오 데이터 중 적어도 하나 또는 제1, 제2 및 추가 수정된 이미지 데이터 중 적어도 하나가 필요한 경우 갱신 또는 대체되고 처리되는, 방법.
제 1 항 또는 제 2 항에 있어서,
적어도 하나의 단말기(100A) 및 바람직하게는 대부분의 단말기(100A, 100B) 또는 모든 단말기(100A, 100B, 100C)는 오디오 데이터를 캡처, 출력, 또는 캡처 및 출력하는 수단을 포함하며,
하나의 단말기에 의해 캡처된 상기 캡처된 오디오 데이터는 하나 또는 다수의 추가 단말기로 라우팅되는, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 사람(101)의 얼굴에 대한 상기 제1 헤드 마운트 디스플레이(102)의 위치는 물체 인식에 의해 결정되며,
상기 제1 헤드 마운트 디스플레이(102)의 형상이 물체 인식에 의해 결정되거나, 식별 데이터가 시각적으로 또는 전자적으로 제공되거나, 또는 상기 제1 헤드 마운트 디스플레이(102)의 형상이 물체 인식에 의해 결정되고 식별 데이터가 시각적으로 또는 전자적으로 제공되는, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 사람의 얼굴의 피부 부분들의 움직임을 나타내는 얼굴 움직임 데이터가 생성되며,
상기 피부 부분들의 움직임은 상기 제1 카메라 유닛(103X)에 의해 캡처되는, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 사람(101)의 적어도 하나의 눈의 움직임을 나타내는 눈 움직임 데이터가 생성되고,
상기 눈의 움직임은 눈 추적 수단(702)에 의해 캡처되는, 방법.
제 8 항에 있어서 ,
제1 기본 데이터 섹션들은 상기 제1 사람(101)의 얼굴의 상기 캡처된 얼굴 움직임 데이터, 및
상기 제1 사람(101)의 적어도 하나의 눈의 상기 캡처된 운 움직임 데이터,
중 적어도 하나에 종속하여 수정되는, 방법.
제 10 항에있어서,
상기 제1 사람(101)의 눈의 형상을 나타내는 눈 데이터가 상기 제1 기본 데이터 섹션의 일부로서 식별되고, 상기 눈 데이터는 상기 캡처된 눈 움직임 데이터에 종속하여 수정되며, 및/또는
상기 제1 사람(101)의 얼굴의 피부 부분을 나타내는 피부 데이터가 상기 제1 기본 데이터 섹션에서 눈의 위, 아래, 또는 위 및 아래에서 수정되며, 상기 피부 데이터는 상기 캡처된 얼굴 움직임 데이터에 종속하는, 방법.
제 10 항에 있어서,
상기 눈 추적 수단(702)은 바람직하게는 근안(near eye) PCCR 추적기이며,
상기 눈 추적 수단(702)은 상기 제1 헤드 마운트 디스플레이(102) 상에 또는 내부에 배치되는, 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 사람(101)의 머리의 자세에 관한 정보를 수신하는 단계;
상기 물체의 자세에 따라 상기 머리의 가상 모델 및 상기 머리의 안면 응시를 조향시키는 단계;
화상회의 통신의 일부로부터 상기 가상 모델로 가시 픽셀을 투사하는 단계;
공간 내 원하는 지점에서 안면 응시를 생성하는 머리의 합성된 눈을 생성하는 단계;
상기 생성된 안면 응시에 따라 상기 가상 모델을 조향시키는 단계; 및
상기 화상회의 통신의 대응하는 부분에 상기 가상 모델을 투사하는 단계;
를 포함하며,
상기 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터의 일부 또는 전체가 상기 가상 모델에 의해 대체되는, 방법.
제 1 항 또는 제 2 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품.
화상회의 세션용 시스템으로서,
적어도 시각적 입력을 캡처하기 위한 제1 카메라 유닛(103X) 및 제1 헤드 마운트 디스플레이(HMD)(102)를 포함하는 제1 단말기(100A),
적어도 시각적 입력을 출력하기 위한 제2 단말기(100B), 및
서버 수단(105)을 포함하며,
상기 제1 단말기(100A) 및 제2 단말기(100B)는 데이터 교환을 위해 상기 서버 수단(105)을 통해 연결되고,
제1 사람(101)의 머리의 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터가 제1 카메라 유닛(103X)으로 제공 또는 캡처되고,
상기 제1 사람(101)이 제1 HMD(102)를 착용한 상태에서 상기 제1 사람(101)의 머리의 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터가 상기 제1 카메라 유닛(103X)으로 캡처되고,
상기 제1 HMD의 시각적 외관을 나타내는 상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 제1 프로세스 데이터 섹션들이 결정되고,
상기 제1 프로세스 이미지 데이터 또는 제1 프로세스 비디오 데이터의 상기 제1 프로세스 데이터 섹션들을 제1 기본 데이터 섹션들에 의해 대체함으로써 제1 세트의 수정된 이미지 데이터 또는 수정된 비디오 데이터가 형성되고,
상기 제1 기본 데이터 섹션들은 상기 제1 기본 이미지 데이터 또는 제1 기본 비디오 데이터의 일부이고, 상기 사람(101)의 얼굴의 일부 특히 상기 제1 사람(101)의 눈을 나타내며,
특히 상기 사람(101)의 완전한 얼굴을 나타내는 상기 제1 수정된 이미지 데이터 또는 제1 수정된 비디오 데이터가 상기 제2 단말기(100B)를 통해 출력되는, 화상회의 세션용 시스템.