KR20160091316A

KR20160091316A - 물리적 위치들 간 비디오 대화

Info

Publication number: KR20160091316A
Application number: KR1020167011065A
Authority: KR
Inventors: 닐 티. 제솝; 매튜 마이클 피셔
Original assignee: 울트라덴트 프로덕츠, 인코포레이티드
Priority date: 2013-11-27
Filing date: 2014-11-24
Publication date: 2016-08-02
Also published as: CN105765971A; EP3075146A4; WO2015081029A1; US20160269685A1; JP2017511615A; EP3075146A1

Abstract

물리적 위치들 간 비디오 대화를 위한 시스템 및 방법이 개시된다. 상기 시스템은 복수의 비디오 카메라를 갖는 제1 방 및 복수의 모션 검출 카메라를 갖는 제2 방을 포함할 수 있다. 제2 방 내에 위치하는 마커가 복수의 모션 검출 카메라에 의해 검출될 수 있고, 이로써 위치 좌표가 마커에 의해 계산될 수 있다. 위치 좌표를 이용해 제1 방 내 상기 마커의 상대적 위치가 결정될 수 있다. 마커의 상대적 위치를 기초로 제1 방의 관점을 제공하는 제1 방으로부터의 비디오 피드가 식별될 수 있고 비디오 피드가 제2 방 내에 위치하는 디스플레이로 제공될 수 있다.

Description

물리적 위치들 간 비디오 대화{VIDEO INTERACTION BETWEEN PHYSICAL LOCATIONS}

통신 기법의 진보에 의해 전 세계 사람들이 서로 거의 즉시 보고 들을 수 있다. 음성 기법 및 비디오 기법을 이용해, 서로 다른 지리적 장소에 위치하는 사람들의 그룹에서 회의가 열릴 수 있다. 예를 들어, 비디오 카메라 및 마이크로폰을 이용하고 비디오 카메라 및 마이크로폰에 의해 캡처되는 음성 데이터 및 비디오 데이터를 컴퓨터 네트워크를 통해 전송함으로써, 하나의 장소에서의 비즈니스 동료가 지리적으로 원격지의 상대방이 통신할 수 있다. 컴퓨터에 의해 음성 데이터 및 비디오 데이터가 수신되고 비디오 데이터가 스크린 상에 디스플레이될 수 있고 스피커를 이용해 음성 데이터가 들릴 수 있다.

컴퓨터 네트워크를 통해 회의를 진행하는 옵션이 현재 이용 가능하기 때문에, 비즈니스는 상당한 시간과 돈을 절약할 수 있다. 네트워크를 통해 회의를 진행할 수 있기 전에는, 항공요금, 대여 차, 및 숙박에 대한 비용을 지불하면서, 비즈니스의 관리, 판매 담당자, 및 그 밖의 다른 직원이 상대 위치로 이동했다. 이제 비즈니스 동료의 위치로 이동하는 대신 컴퓨터 네트워크를 이용해 비즈니스 동료와 회의함으로써 이들 비용이 피해질 수 있다.

본 발명의 특징 및 이점이, 예를 들어 본 발명의 특징을 예시로서 도시하는, 첨부된 도면과 함께, 다음의 상세한 설명으로부터 자명해질 것이다.
도 1은 2개의 물리적 위치들 간 비디오 대화를 위한 예시적 시스템의 다이어그램을 도시한다.
도 2는 2개의 물리적 위치 간 비디오 대화를 제공하는 예시적 시스템의 블록도를 도시한다.
도 3은 회의실의 주변을 둘러싸는 비디오 카메라의 어레이를 갖는 회의실을 도시하는 예시적 블록도를 제공한다.
도 4는 원격 회의실과 대화하도록 사용될 수 있는 회의실을 도시하는 예시적 다이어그램을 제공한다.
도 5는 두부 장착형 비디오 디스플레이를 도시하는 예시적 다이어그램을 제공한다.
도 6은 복수의 물리적 위치 간 비디오 대화를 위한 예시적 방법을 도시하는 흐름도이다.
도 7은 2개의 물리적 방들 간 양방향 대화를 위한 방법을 도시하는 예시적 다이어그램을 제공한다.
도시된 예시적 실시예에 대한 참조가 이뤄질 수 있고, 본 명세서에서 이를 기술하기 위한 특정 언어가 사용될 것이다. 그럼에도 본 발명의 범위의 어떠한 제한도 의도되지 않음이 이해될 것이다.

본 발명이 개시되고 기재되기 전에, 본 발명이 본 명세서에 개시된 특정 구조, 공정 단계, 또는 물질에 한정되지 않고, 해당 분야의 통상의 기술자에 의해 인지될 바와 같이 이의 균등물까지 확장됨이 이해될 것이다. 본 명세서에서 사용되는 용어는 특정 실시예를 기술하는 목적으로만 사용되며 한정으로 이해되지 않음이 또한 이해되어야 한다.

사전 사항으로서, 본 명세서에서 많은 설명이 비즈니스 분야와 회의 진행과 관련된다. 그러나 이는 예시적 목적으로 이뤄지며, 본 명세서에 기재된 시스템 및 방법이 또한 2개의 물리적 위치 간 가상 대화로부터 이익을 얻을 그 밖의 다른 환경에도 적용될 수 있다. 예를 들어, 본 명세서의 시스템 및 방법이 친구 및 가족 간 개인 통신에 유용할 수 있다. 덧붙여, 본 발명의 시스템 및 방법이 교실 교육에 적용될 수 있는데, 이때, 물리적 교실 안에 있지 않을 수 있는 학생들이 다른 위치로부터 참여할 수 있고 물리적 교실 안에 있는 것과 같은 경함이 제공될 수 있다.

이를 고려하여, 기술 실시예의 초기 개요가 이하에서 제공되며 그 후 특정 기술 실시예가 더 상세히 기재된다. 이 초기 기재는 기술의 기본 이해를 제공하려는 것이며, 기술의 모든 특징을 식별하려는 것이 아니며 청구되는 발명의 범위를 한정하려는 것도 아니다.

컴퓨터 네트워크를 통해 회의를 진행하는 것이 참가자들이 서로 간에 보고 들을 수 있게 하지만, 디스플레이, 가령, TV 모니터를 보는 참가자들은 모든 참가자들이 동일한 방에 있는 면대면 회의(face-to-face meeting)와 유사한 방식으로 회의를 경험하지 않는다. 서로 직접 말하는 대신 회의 참가자들은 살아 있는 사람이 아니라 TV 모니터 또는 스피커폰에 말하는 느낌을 받을 수 있다. 덧붙여, 비디오 카메라가 정지형일 수 있고 회의 참가자의 얼굴을 향해 지향될 수 있는 경우, 다른 참가자가 회의 참가자가 사용 중일 수 있는 몸짓 언어(가령, 손 운동) 및/또는 문서, 아이템, 시각적 실연(visual demonstration) 등을 보지 않을 수 있다.

본 발명의 기술에 의해 네트워크를 통해 진행되는 회의의 참가자는 원격지에서 참가자와 유사한 관점에서 방안의 다른 참가자를 볼 수 있게 할 수 있다. 다시 말하면, 한 회의실에 있을 수 있는 참가자에게 원격지에 있는 다른 참가자와 함께 회의실에 있는 경험이 제공될 수 있다.

본 발명의 실시예에 따르면, 2개의 물리적 위치 간 비디오 대화를 제공하기 위한 시스템 및 방법이 개시된다. 하나의 예시에 따르는 시스템 및 방법에 의해, 회의 참가자는 참가자가 원격 회의실에 있는 것과 같은 관점으로 원격 회의실 및 연관된 회의 참가자를 볼 수 있다. 원격 회의가 사용될 수 있는 의료, 교수, 비즈니스 또는 그 밖의 다른 임의의 분야에, 본 발명의 시스템 및 방법이 적용될 수 있음이 자명하다. 따라서 앞서 언급된 바와 같이 비즈니스 회의에 대한 설명이 예시적 목적으로만 제공되며 청구범위에서 특정하게 제공되는 바를 제외하고 한정으로 간주되지 않는다.

네트워크를 통해 진행되는 회의의 참가자에게 원격 회의실에 존재하는 경험을 제공하기 위해, 참가자에게 두부 장착형 디스플레이(head mountable display)가 제공될 수 있으며, 상기 두부 장착형 디스플레이에 의해 참가자는 원격 회의실에 위치하는 둘 이상의 비디오 카메라로부터 발생된 비디오 피드(video feed)를 볼 수 있다. 둘 이상의 비디오 카메라로부터의 비디오 피드가 원격 회의실의 가상 현실 뷰를 만들도록 사용될 수 있다. 참가자가 위치하는 물리적 회의실에서의 참가자의 위치 좌표가 결정될 수 있으며 위치 좌표가 원격 회의실에서의 상대적 위치에 상관될 수 있다. 원격 회의실에서의 상대적 위치를 기초로, 둘 이상의 비디오 피드가 원격 회의실에서의 상대적 위치로부터의 원격 회의의 뷰를 제공하는 가상 비디오 피드를 생성하도록 사용될 수 있다. 그 후 가상 비디오 피드가 참가자가 착용할 수 있는 두부 장착형 디스플레이에 제공될 수 있다. 그 후 비디오 피드를 볼 때, 참가자에게 참가자가 물리적 회의실 내에 위치하는 곳과 상관되는 관점에서의 원격 회의실의 뷰가 표시될 수 있다.

하나의 예시적 구성에서, 회의 참가자가 원격 회의실을 보도록 사용할 수 있는 두부 장착형 디스플레이가 사용자에게 헤드업 디스플레이(HUD)를 제공하는 투명 디스플레이를 이용해 비디오 피드를 디스플레이하는 디스플레이를 포함할 수 있다. 또 다른 예시적 구성에서, 두부 장착형 디스플레이가 거의 실시간 스테레오스코픽 비디오 이미지를 생성할 수 있는 우측 비디오 디스플레이 및 좌측 비디오 디스플레이를 포함하는 두부 장착 스테레오스코픽 디스플레이일 수 있다. 스테레오스코픽 이미지를 사용함으로써 입체시가 유지될 수 있고, 이로써 두부 장착형 디스플레이를 착용하는 사용자가 회의실에서의 심도를 지각할 수 있다. 여기서 사용될 때, 용어 "입체시"가 사람의 눈으로 투사되는 세계의 2개의 광학적으로 분리된 투사를 보는 심도의 감지를 야기하는 시지각(visual perception)에서의 프로세스를 일컫는다. 이는 비디오 스크린의 두부 장착 쌍의 사용을 통해 이뤄질 수 있고, 각각은 단일 비디오 스크린 상으로의 서로 다른 광학 투사, 또는 2개의 광학 투사의 광학 분리를 가지며, 이는 더 상세히 기재될 것이다.

덧붙여, 본 명세서에 개시되는 시스템 및 방법이 네트워크를 통해 개최되는 회의에 참여할 수 있는 모든 위치에서의 구성원이 원격 회의실을 볼 수 있다. 예를 들어, 뉴욕에 위치할 수 있는 회의의 참가자가 로스앤젤레스에 위치하는 회의의 구성원을 볼 수 있고, 로스앤젤레스에 있는 회의 구성원이 뉴욕에 있는 회의 참가자를 볼 수 있다. 다시 말하면, 두 위치 모두에 있는 회의 참가자는 참가자가 물리적으로 위치하는 회의실로부터 원격지인 회의실을 볼 수 있다.

본 발명의 하나의 실시예에 따르면, 2개의 물리적 위치 간 비디오 대화를 위한 시스템이 물리적 위치에서 제1 방(room)의 비디오 피드를 생성하도록 구성될 수 있는 복수의 비디오 카메라를 포함할 수 있다. 복수의 모션 검출 카메라가 제2 방에 위치하는 마커를 검출하도록 구성될 수 있는 경우 제2 방에 위치할 수 있는 복수의 모션 검출 카메라가 제2 방에서의 마커의 위치의 좌표를 제공한다. 두부 장착형 디스플레이는 회의 참가자가 착용할 수 있으며, 두부 장착형 디스플레이가 제1 방 내의 비디오 카메라로부터 수신된 비디오 피드를 디스플레이할 수 있는 비디오 스크린을 포함한다. 컴퓨팅 장치가 제1 방에 위치하는 비디오 카메라로부터 복수의 비디오 피드를 수신하고 제2 방 내 복수의 모션 검출 카메라로부터의 마커에 대한 좌표를 수신하도록 구성될 수 있다. 컴퓨팅 장치는 추적 모듈 및 비디오 모듈을 포함할 수 있다. 상기 추적 모듈은 모션 검출 카메라에 의해 제공되는 좌표를 이용해 제1 방 내 비디오 카메라에 대한 제2 방 내 마커의 상대적 위치를 결정하도록 구성될 수 있다. 상기 비디오 모듈은 제2 방 내 마커의 상대적 위치와 상관되는 제1 방 내 비디오 카메라로부터 비디오 피드를 식별하고 비디오 피드를 두부 장착형 디스플레이를 제공하도록 구성될 수 있다.

또 다른 실시예에서, 2개의 물리적 위치 간 비디오 대화를 위한 시스템이 제2 방 내 마커의 상대적 위치와 상관되는 제1 방 내 복수의 비디오 카메라로부터 2개의 비디오 피드를 식별할 수 있는 비디오 모듈을 갖는 컴퓨팅 장치를 더 포함할 수 있다. 2개의 비디오 피드로부터 보간(interpolating)함으로써, 제2 방 내 마커의 관점에서 제1 방의 뷰를 제공하는 가상 현실 비디오 피드가 렌더링될 수 있다.

또 다른 실시예에서, 2개의 물리적 위치 간 비디오 대화를 위한 시스템이 비디오 카메라 피드를 제공하기 위해 구성된 비디오 카메라의 어레이를 포함할 수 있다. 이미지 처리 모듈이 ⅰ) 어레이로부터 비디오 카메라 피드를 수신하며, ⅱ) 비디오 카메라 피드 중 하나 이상을 기하학적으로 변환하여 가상 카메라 피드를 생성하고, ⅲ) 적어도 2개의 카메라 피드로부터 스테레오스코픽 비디오 이미지를 생성하도록 구성될 수 있다.

본 발명의 더 상세한 예시를 더 설명하기 위해, 특정 도면이 도시되고 기재될 것이다. 구체적으로, 도 1을 참조하면, 2개의 물리적 위치 간 비디오 대화를 위한 예시적 시스템(100)이 도시된다. 상기 시스템(100)은 제1 방(128)의 둘레에 서로 공간적으로 이격되어 있는 복수의 비디오 카메라(118a-d)를 포함할 수 있다. 복수의 비디오 카메라(118a-d)는 네트워크(114)에 의해 서버(110)와 통신할 수 있다. 상기 서버(110)는 복수의 비디오 카메라(118a-d)로부터 비디오 피드를 수신하도록 구성될 수 있고, 각각의 비디오 카메라에 서버(110)가 비디오 카메라(118a-d)를 식별하고 제1 방(128) 내 비디오 카메라의 위치를 식별할 수 있도록 하는 고유의 ID가 할당될 수 있다.

상기 시스템(100)은 또한 제2 방(132) 둘레 주위에 서로 공간적으로 이격될 수 있는 복수의 모션 검출 카메라(120a-d)를 포함한다. 복수의 모션 검출 카메라(120a-d)는 네트워크(114)를 통해 서버(110)와 통신할 수 있다. 상기 복수의 모션 검출 카메라(120a-d)는 제2 방(132) 내 마커(124)를 검출하고, 상기 제2 방(132) 내 마커(124)에 대한 위치 좌표를 계산하며 상기 마커(124)의 신원 및 위치 좌표를 서버(110)로 제공할 수 있다. 하나의 실시예에서, 마커(124)는 복수의 모션 검출 카메라(120a-d)에 가시적인 발광 다이오드(LED)를 포함하는 능동 마커, 또는 모션 검출 카메라(120a-d)에 의해 인식 및 추적 가능한 그 밖의 다른 임의의 마커일 수 있다. 모션 검출 카메라(120a-d)는 방 안의 능동 마커의 위치를 찾고 추적할 수 있다. 능동 마커는 능동 마커에 대한 고유 디지털 ID를 도출하는 고유의 주파수에서 변조되는 LED를 포함할 수 있다. 또한, LED는 가시광을 발산시키거나 적외선 광을 발산시킬 수 있다. 또 다른 실시예에서, 마커(124)가 수동 마커일 수 있으며, 상기 수동 마커는 광원에 의해 조명될 때 상기 수동 마커가 모션 검출 카메라(120a-d)에게 보이게 만드는 역반사 물질로 코팅될 수 있다.

복수의 비디오 카메라(118a-d) 및 복수의 모션 검출기(120a-d)가 각각 4개의 위치에 존재하는 것으로 보인다. 특정 적용예에 대해 경우에 따라 더 많거나 더 적은 카메라가 사용될 수 있다. 예를 들어, 회의실이 5 내지 50개의 카메라 또는 5 내지 50개의 모션 검출기를 갖거나, 예를 들어, 2 또는 3개의 카메라 및/또는 2 또는 3개의 모션 검출기를 포함할 수 있다.

또한 서버(110)와 통신하는 하나 이상의 두부 장착형 디스플레이(122)가 시스템(100)에 포함된다. 하나의 실시예에서 두부 장착형 디스플레이(122)가 사용자의 눈 앞에 배치될 수 있는 단일 비디오 디스플레이를 포함하거나 대안적으로 비디오 디스플레이가 사용자의 양 눈 모두 앞에 있도록 단일 비디오 디스플레이의 크기 및 위치가 정해질 수 있다. 또 다른 실시예에서, 두부 장착형 디스플레이(122)는 투명 디스플레이를 포함할 수 있다. 비디오 피드가 사용자에게 헤드업 디스플레이(HUD)를 제공하는 투명 디스플레이 상에 투사될 수 있다. 또 다른 실시예에서, 두부 장착형 디스플레이(122)는 2개의 비디오 디스플레이를 포함할 수 있는데, 하나의 비디오 디스플레이가 사용자의 우측 눈 앞에 위치하고, 또 다른 하나의 비디오 디스플레이가 사용자의 좌측 눈 앞에 위치한다. 제1 비디오 피드가 두부 장착형 디스플레이(122)의 우측 비디오 디스플레이 상에 디스플레이될 수 있고 제2 비디오 피드가 두부 장착형 디스플레이(122)의 좌측 비디오 디스플레이 상에 디스플레이될 수 있다. 우측 및 좌측 비디오 디스플레이는 사용자의 우측 눈과 좌측 눈 상에 투사되어, 각각 스테레오스코픽 비디오 이미지를 제공한다. 스테레오스코픽 비디오 이미지는 2개의 눈의 홍채 상에 투사되는 2개의 다소 상이한 비디오 이미지로부터 심도의 감지를 이끄는 시지각을 제공한다. 이들 실시예는 예를 들어 HUD에서 스테레오스코픽을 형성하도록 조합될 수 있다.

하나의 실시예에서, 복수의 비디오 카메라(118a-d)가 서버(110)로 비디오 피드를 제공할 수 있고 상기 서버(110)는 방(132) 안의 마커(124)의 좌표 위치에 가장 밀접하게 상관시키는 비디오 피드를 결정할 수 있다. 그 후 상기 서버는 비디오 피드를 두부 장착형 디스플레이(122)로 제공할 수 있다. 또 다른 실시예에서, 2개의 비디오 피드는 마커(124)의 좌표 위치와 가장 밀접하게 상관되는 방(128) 내에 위치하는 비디오 카메라(118a-d)로부터 식별될 수 있고 가상 비디오 피드가 보간을 통해 2개의 비디오 피드로부터 생성될 수 있다. 최종 가상 비디오 피드가, 두부 장착형 디스플레이(122)의 사용자에게 제2 방(132) 내 사용자 위치 관점에서 제1 방(128)의 비디오 이미지를 제공하는 두부 장착형 디스플레이(122)로 제공될 수 있다. 덧붙여, 2개의 가상 비디오 피드가 생성될 수 있으며, 동공간 거리와 광학적으로 정렬되는 적절한 각도로 제1 가상 비디오 피드와 제2 가상 비디오 피드 간 동공간 거리를 시뮬레이션하여, 따라서 가상 스테레오스코픽 비디오 이미지를 생성할 수 있다. 그 후 스테레오스코픽 두부 장착형 디스플레이(122)로 가상 스테레오스코픽 비디오 이미지가 제공될 수 있다. 가상 비디오 피드, 또는 스테레오스코픽 가상 비디오 피드를 형성하는 것과 관련하여, 이는 복수의 카메라로부터 수집된 실제 이미지를 이용하고 이들 비디오 피드로부터의 데이터를 보간하여 카메라 자체로부터 온 것은 아니지만 복수의 카메라로부터 제공된 정보를 기초로 생성된 비디오 피드를 생성하여 제2 방 내 마커의 위치를 근사하는 가상 이미지를 형성하는 이미지이다. 이러한 방식으로, 제2 방 내 사용자가 자신의 위치 및 시선 방향을 근사하는 가상 뷰를 수신할 수 있으며, 이는 이하에서 더 상세히 설명될 것이다. 단일 가상 이미지를 이용함으로써, 사용자에게 2차원 이미지가 제공될 수 있고, 안경 내 2개의 비디오 모니터로부터 2개의 가상 이미지가 생성되고 사용자에게 제공되는 경우, 제1 방의 3차원 뷰가 제2 방에 있는 사용자에게 제공될 수 있다.

따라서 더 상세히 말하면, 비디오 카메라의 복수의 쌍이 준실시간 스테레오스코프 비디오 이미지를 생성할 수 있도록, 복수의 비디오 카메라(118a-d)가 구성될 수 있고, 복수의 쌍 각각이 제1 방(128)의 제1 비디오 피드를 생성하도록 구성된 제1 비디오 카메라 및 제1 방(128)의 제2 비디오 피드를 생성하도록 구성된 제2 비디오 카메라를 포함할 수 있다. 예를 들어, 하나의 예시에서 비디오 카메라(118a 및 118b)가 제1 비디오 카메라 및 제2 비디오 카메라일 수 있고, 또 다른 예시에서, 비디오 카메라(118c 및 118d)는 제1 비디오 카메라 및 제2 비디오 카메라일 수 있다. 덧붙여, 비디오 카메라는 항상 함께 사용되는 이산 쌍일 필요는 없다. 예를 들어, 비디오 카메라(118a) 및 비디오 카메라(118c 또는 118d)가 제3의 비디오 카메라 쌍을 구성할 수 있다. 복수의 비디오 카메라 쌍은 서로 동공간 거리만큼 공간적으로 이격되는데, 반드시 서로 동공간 거리만큼 이격되도록 위치될 필요는 없을 수 있다, 가령, 동공간 거리와 광학적으로 정렬되는 적절한 각도로 시뮬레이션된 동공간 거리를 두거나, 약간의 신호 교정이 일반적인 동공간 거리와 광학 정렬에서 벗어나도록 이격되도록 위치될 수 있다.

복수의 비디오 카메라(118a-d)가 1차원 어레이로, 가령, 3, 4, 5, ... 25개 비디오 카메라 등의 하나의 직선으로 또는 2차원 어레이, 가령, x축 및 y축을 따라 구성된, 가령, 3×3, 5×5, 4×5, 10×10, 20×20 카메라의 배열로 또는 심지어 3차원 어레이 등으로도 위치될 수 있다. 따라서 어느 실시예라도, 임의의 2개의 인접한 비디오 카메라가 제1 비디오 카메라 및 제2 비디오 카메라로서 사용될 수 있다. 대안적으로, 서로 인접하게 위치하지 않을 수 있는 임의의 2개의 비디오 카메라도 하나의 비디오 피드를 제공하도록 사용될 수 있다. 비디오 피드를 제공하는 비디오 카메라(118a-d)가 방(132) 내 마커(124)의 좌표 위치를 기초로 할 수 있다. 알려져 있다시피, 앞서 기재된 시스템(100)이 비디오 카메라(118a-d)를 제1 방(128) 및 제2 방(132) 모두에 배치시키고, 제1 방(128)과 제2 방(132) 모두에 모션 검출 카메라(120a-d)를 배치시켜, 제1 방(128)과 제1 방(132) 간 회의의 참가자들은 두부 장착형 디스플레이(122)를 통해 서로를 보고 대화할 수 있는 것을 포함할 수 있다.

도 2는 본 발명의 기법이 실행될 수 있는 시스템(200)의 다양한 구성요소의 하나의 예시를 도시하다. 시스템(200)은 하나 이상의 프로세서(225), 메모리 모듈(230) 및 처리 모듈을 갖는 컴퓨팅 장치(202)를 포함할 수 있다. 하나의 실시예에서, 컴퓨팅 장치(202)는 추적 모듈(tracking module)(204), 비디오 모듈(206), 이미지 처리처리8), 교정 모듈(214), 줌잉 모듈(216)뿐 아니라 그 밖의 다른 서비스, 프로세스, 시스템, 엔진, 또는 이하에서 더 상세히 언급되지 않는 기능을 포함할 수 있다. 컴퓨팅 장치(202)는 네트워크(228)를 통해, 방, 가령, 회의가 발생하는 회의실 내에서 발견될 수 있는 다양한 장치와 통신할 수 있다. 예를 들어, 제1 방(230)에 복수의 비디오 카메라(236) 및 하나 이상의 마이크로폰(238)이 구비될 수 있다. 제2 방(232)에 복수의 모션 검출 카메라(240), 마커 장치(242), 디스플레이(244), 및 스피커(246)가 구비될 수 있다.

추적 모듈(204)은 제1 방(230) 내 마커 장치(242)의 위치에 대한 제2 방(232) 내에 위치하는 마커 장치(242)의 상대적 위치 및/또는 방향을 결정하도록 구성될 수 있다. 특정 예시에서, 마커 장치(242)가 제2 방(232)의 남쪽 부분에 위치하고 북쪽을 향하는 경우, 제2 방(232) 내 마커 장치(242)의 남쪽 위치와 상관되는 제1 방(230) 내 상대적 위치, 즉, 북쪽을 바라보는 방의 남쪽 위치에서의 제1 방(230) 내 위치가 식별될 수 있다. 마커 장치(242)가 모션 검출 카메라(240)가 검출할 수 있는 능동 마커 또는 수동 마커일 수 있다. 예를 들어, 능동 마커가 모션 검출 카메라(240)에 가시적일 수 있는 LED를 포함할 수 있다. 능동 마커가 제2 방(232) 내에서 이동될 때, 모션 검출 카메라(240)는 능동 마커의 운동을 추적하고 능동 마커의 좌표(즉, x, y 및 z 좌표 및 방향)를 추적 모듈(204)로 제공할 수 있다. 제2 방(232)에 위치하는 모션 검출 카메라(240)에 의해 제공된 좌표를 이용해 마커 장치(242)의 상대적 위치가 결정될 수 있다. 모션 검출 카메라(240)로부터 캡처된 데이터가 제2 방(232) 내 마커 장치(242)의 3D 위치를 삼각측량하도록 사용될 수 있다. 예를 들어, 모션 검출 카메라(240)에 의해 캡처된 좌표 데이터가 추적 모듈(204)에 의해 수신될 수 있다. 좌표 데이터를 이용해, 추적 모듈(204)이 제2 방(232) 내에 마커 장치(242)의 위치를 결정하고 그 후 제1 방(230) 내 마커 장치(242)에 대한 상대적 위치를 결정할 수 있다. 다시 말하면, 제2 방(232) 내 마커 장치(242)의 위치가 제1 방(230) 내 대응하는 위치에 맵핑될 수 있다.

또 다른 예를 들면, 추적 모듈(204)은 위치 또는 특징부, 가령, 사람의 얼굴, 또는 그 밖의 다른 구별 특성을 인식할 수 있는 이미지 인식 소프트웨어를 포함할 수 있다. 사람이 제2 방(232) 내에서 이동할 때, 추적 모듈(204)은 사람의 움직임을 추적하고 제2 방(232) 내 사람에 대한 위치 좌표를 결정할 수 있다. 이미지 인식 소프트웨어는 패턴을 인식하도록 프로그램될 수 있다. 예를 들어, 안면 인식 기법을 포함하는 소프트웨어가 종래 기술의 포인트 앤드 슛 디지털 카메라에서 사용되는 것과 유사한 본 발명의 시스템에서 사용될 수 있는데, 가령, 디지털 디스플레이 스크린 내 박스가 안면 주위에 나타나 사용자에게 대상의 안면이 포커싱 또는 그 밖의 다른 목적으로 인식되었음을 알려줄 수 있다.

비디오 모듈(206)은 추적 모듈(204)에 의해 제공되는 제2 방(232) 내에 위치하는 마커 장치(242)의 상대적 위치와 상관하는 제1 방(230)에 위치하는 비디오 카메라(236)로부터의 비디오 피드를 식별하고 비디오 피드를 제2 방(232)에 위치하는 디스플레이(244)에 제공하도록 구성될 수 있다. 예를 들어, 추적 모듈(204)은 비디오 모듈(206)에 제2 방(232) 내 마커 장치(242)의 상대적 위치(즉, x, y, z 카테시안 좌표 및 방향성 좌표)를 제공하고 상대적 위치의 관점을 가장 밀접하게 제공하는 비디오 피드를 식별할 수 있다.

대안적으로, 근접하게 위치하는 2개의 비디오 카메라(236)로부터의 2개의 비디오 피드가 식별될 수 있으며, 여기서 비디오 피드가 마커 장치(242)의 상대적 위치와 상관되는 관점(perspective)을 제공한다. 비디오 피드가 이미지 처리 모듈(208)에 제공될 수 있으며 비디오 피드에 대해 기하학적 변형이 수행되어, 제2 방(232) 내 마커 장치(242)의 관점과 상관되는 관점(즉, 비디오 피드 자체로부터 직접 생성되는 관점)을 표시하는 가상 비디오 피드를 생성할 수 있다. 가상 비디오 피드가 스테레오스코픽 디스플레이에 대한 스테레오스코픽 또는 3D 신호에 멀티플렉싱되거나 두부 장착형 디스플레이(가령, 우측 눈, 좌측 눈)로 전송되어 스테레오스코픽 비디오를 생성할 수 있다. 하드웨어 및 소프트웨어 패키지, 가령, 임의의 종래 기술 패키지가 이러한 목적으로 사용되거나 수정될 수 있다. 예를 들어, NVIDIA가 사용자가 복수의 카메라 피드에서 수학적 연산을 수행하고 그 후 실제 비디오 피드의 보강인 가상 관점을 만들도록 기하학적으로 변형된 비디오 피드를 출력할 수 있는 비디오 파이프라인을 가진다. 이들 비디오 신호는 직렬 디지털 인터페이스(SDI) 포맷인 것이 일반적이다. 마찬가지로, 이러한 변한을 수행하도록 사용되는 소프트웨어가 오픈 소스로서 이용 가능하다. OpenCV, OpenGL 및 CUDA가 비디오 피드를 조작하도록 사용될 수 있다. 입체시를 만들기 위해, 좌측 및 우측 눈에 대해 설계된 이미지 또는 광학적으로 분리된 단일 스크린으로의 비디오 피드는, 가상 이미지가 디스플레이되거나 실제 이미지가 디스플레이되는지와 무관하게, 일반적으로 동공간 거리 또는 시뮬레이션된 동공간 거리만큼 이격되지만 반드시 그런 것은 아니다. 이 예시에서 나타난 이미지 처리 모듈(208)이 가상 카메라 피드를 생성하는 목적이다. 그러나 이미지 처리로부터 유리할 이 실시예 또는 그 밖의 다른 임의의 실시예에서 사용되기에 유리할 수 있는 그 밖의 다른 임의의 이미지 처리가 이미지 처리 모듈(208)을 더 포함할 수 있다.

디스플레이(244)는 비디오 디스플레이가 사용자의 눈 앞에 직접 있도록 사용자의 두부 상에 배치되도록 구성된 비디오 디스플레이를 포함할 수 있다. 하나의 실시예에서, 스테레오스코픽 디스플레이는 사람의 우측 눈이 볼 수 있는 우측 비디오 디스플레이 및 좌측 눈이 볼 수 있는 좌측 비디오 디스플레이를 갖는 두부 장착 스테레오스코픽 디스플레이일 수 있다. 제1 및 제2 좌측 비디오 디스플레이 및 우측 비디오 디스플레이를 디스플레이함으로써, 준실시간 스테레오스코픽 비디오 이미지가 생성될 수 있다. 대안적으로, 스테레오스코픽 디스플레이는 제1 비디오 피드 및 제2 비디오 피드가 광학적으로 분리, 가령, 셔터 분리, 편광 분리, 색채 분리되는 단일 비디오 스크린일 수 있다. 상기 스테레오스코픽 디스플레이에 의해 사용자가 외부 뷰잉 장치, 가령, 안경을 이용하거나 이용하지 않고, 스테레오스코픽 이미지를 보도록 구성될 수 있다. 하나의 실시예에서, 셔터 분리, 편광 분리, 색채 분리 등으로 동작하는 적절한 안경이 사용되어 스크린이 3차원으로 관찰될 수 있게 할 수 있다. 또한, 비디오 디스플레이는 복수의 사용자, 가령, 회의 참가자가 준실시간 스테레오스코픽 비디오 이미지를 볼 수 있도록 하기 위한 복수의 비디오 디스플레이를 포함할 수 있다.

교정 모듈(214)은 제1 비디오 피드 및 제2 비디오 피드의 수평방향 정렬을 교정 및 조절하도록 구성되어 제1 비디오 카메라(236)로부터의 픽셀이 제2 비디오 카메라(236)의 픽셀과 정렬될 수 있다. 디스플레이(244)가 우측 비디오 디스플레이 및 좌측 비디오 디스플레이를 포함하는 두부 장착 스테레오스코픽 디스플레이일 때, 이미지가 가능한 자연스럽게 나타나도록 수평방향으로 2개의 이미지의 적절한 정렬이 사용자의 눈에 교정될 수 있다. 이미지가 부자연스럽게 나타남에 따라 눈의 피로감이 더 초래될 수 있다. 수평방향 정렬이 (안경의 보조와 무관하게) 스크린 상에 준실시간 스테레오스코픽 비디오 이미지를 볼 때 더 선명한 이미지를 제공할 수 있다. 픽셀이 적절하게 정렬될 때, 픽셀이 조금이라도 오정렬될 때보다 이미지가 더 자연스럽고 더 선명하게 나타난다. 추가 교정이 제1 비디오 카메라와 제2 비디오 카메라의 수직 정렬을, 입체시를 제공하기에 바람직한 각도로 조절하도록 사용될 수 있다. 교정 모듈(214)은 비디오 피드 쌍의 수평 및/또는 수직 정렬의 수동 조절 및/또는 자동 조절을 가능하게 하도록 구성될 수 있다.

시스템(200)이 먼저 설정될 때 또는 복수의 사용자가 동일한 설비를 이용하는 중일 때 그 밖의 다른 교정을 위한 사용이 발생할 수 있다. 하나의 예를 들면, 교정 모듈(214)은 복수의 사용자들 간 교정을 제공할 수 있다. 따라서 시스템은 제1 모드에서 제1 사용자에 대해 그리고 제2 모드에서 제2 사용자에 대해 등등, 교정될 수 있다. 상기 시스템은 제1 사용자가 시스템을 사용 중인 또는 제2 사용자가 시스템을 사용 중인지를 기초로 자동으로 또는 수동으로 제1 모드와 제2 모드 간에 스위칭하도록 구성될 수 있다.

줌잉 모듈(216)은 비디오 피드, 가령, 준실시간 스테레오스코픽 비디오 이미지의 원하는 배율을 제공하도록 구성될 수 있다. 비디오 카메라(236)가 회의실의 벽에 부착될 수 있기 때문에, 비디오 카메라가 제공하는 비디오 피드의 관점이 회의실의 내부 내 어딘가 위치할 수 있는 회의 참가자의 관점의 거리와 상관되는 거리에 위치하지 않을 수 있다. 상기 줌잉 모듈(216)은 마커 장치(242)에 대한 상대적 위치 좌표를 수신하고 비디오 피드의 관점이 회의 참가자의 관점에 일치하도록 디지털 줌인 또는 줌아웃함으로써 비디오 피드를 조절할 수 있다. 대안적으로, 줌잉 모듈(216)은 비디오 카메라의 렌즈를 제어하여, 원하는 관점에 따라 렌즈를 줌인 또는 줌아웃할 수 있다.

하나의 실시예에서, 시스템(200)은 제1 방(230) 내에 위치하는 하나 이상의 마이크로폰에서 오디오 피드를 수신하도록 구성될 수 있는 오디오 모듈(218)을 포함할 수 있다. 하나의 실시예에서, 비디오 카메라가 비디오 피드를 제공하도록 선택될 때, 비디오 카메라(236)와 연관된 마이크로폰(238)으로부터의 오디오 피드가 역시 선택되도록, 마이크로폰(238)은 비디오 카메라(236)와 연관될 수 있다. 상기 오디오 피드는 제2 방(232)에 위치하는 하나 이상의 스피커(246)로 제공될 수 있다. 하나의 실시예에서, 방안의 누구라도 오디오 피드를 들을 수 있도록 스피커(246)는 제2 방(232) 전체에 분산될 수 있다. 또 다른 실시예에서, 하나 이상의 스피커(246)가 두부 장착형 디스플레이로 일체 구성되어, 두부 장착형 디스플레이를 착용하는 사람이 오디오 피드를 들을 수 있다.

컴퓨팅 장치(202)에 포함되는 다양한 프로세서 및/또는 그 밖의 다른 기능이 다양한 예시에 따라 하나 이상의 메모리 모듈(245)과 통신하는 하나 이상의 프로세서(240) 상에서 실행될 수 있다. 컴퓨팅 장치(202)는, 예를 들어, 컴퓨팅 능력을 제공하는 서버 또는 임의의 그 밖의 다른 시스템을 포함할 수 있다. 대안적으로, 복수의 컴퓨팅 장치(202)는 예를 들어 컴퓨팅 능력을 제공하는 서버 또는 그 밖의 다른 임의의 시스템을 포함할 수 있다. 대안적으로, 예를 들어, 하나 이상의 서버 뱅크 또는 컴퓨터 뱅크 또는 그 밖의 다른 장치로 배열되는 복수의 컴퓨팅 장치(202)가 채용될 수 있다. 편의상, 컴퓨팅 장치(202)가 단수형으로 언급된다. 그러나 복수의 컴퓨팅 장치(202)는 앞서 언급된 바와 같이 다양한 장치에서 채용될 수 있음이 이해된다.

네트워크(228)는 임의의 유용한 컴퓨팅 네트워크, 가령, 인트라넷, 인터넷, 로컬 영역 네트워크, 광역 네트워크, 무선 데이터 네트워크, 또는 그 밖의 다른 임의의 이러한 네트워크 또는 조합을 포함할 수 있다. 이러한 시스템에 대해 사용되는 구성요소가 선택된 네트워크 및/또는 환경의 유형에 적어도 부분적으로 따라 달라질 수 있다. 네트워크를 통한 통신이 유선 또는 무선 연결 및 이들의 조합에 의해 활성화될 수 있다.

도 2는 특정 처리 모듈이 이 기법과 관련하여 언급될 수 있고 이들 처리 모듈은 컴퓨팅 서비스로서 구현될 수 있음을 도시한다. 하나의 예시적 구성에서, 모듈은 서버 또는 그 밖의 다른 컴퓨터 하드웨어 상에서 실행되는 하나 이상의 프로세스를 갖는 서비스로 간주될 수 있다. 이러한 서비스는 중앙 호스팅된 기능이거나 요청을 수신하고 그 밖의 다른 서비스 또는 소비자 장치에 출력을 제공할 수 있는 서비스 애플리케이션일 수 있다. 예를 들어, 서비스 제공 모듈이 서버, 클라우드, 그리드 또는 클러스터 컴퓨팅 시스템에 호스팅되는 주문형 컴퓨팅으로 간주될 수 있다. 애플리케이션 프로그램 인터페이스(API)가 각각의 모듈에 대해 제공되어, 제2 모듈이 제1 모듈로 요청을 전송하고 상기 제1 모듈로부터 출력을 수신할 수 있다. 이러한 API에 의해, 제3자가 모듈과 인터페이싱하고 모듈로 요청을 하고 이로부터 출력을 수신할 수 있다. 도 2가 상기 기법을 구현할 수 있는 시스템의 일례를 도시하지만, 그 밖의 다른 여러 유사하거나 상이한 환경이 가능하다. 앞서 언급되고 도시된 예시적 환경은 단지 대표에 불과하며 한정이 아니다.

이제 도 3을 참조하면, 회의실(320)의 주변을 둘러싸는 카메라(316)의 어레이를 갖는 회의실(320)의 일례가 도시된다. 회의실(320)의 주변에 위치하는 카메라(316)의 어레이가 카메라 집합(304)의 복수의 섹션을 포함할 수 있고, 각각의 카메라 집합(304)은 비디오 카메라의 그리드(가령, 2×2, 3×5 등)를 포함할 수 있다. 카메라 집합(304) 내 비디오 카메라(308)이, 하나의 예시에서, 정적 비디오 피드를 제공하는 고정 비디오 카메라일 수 있다. 또 다른 예시에서, 비디오 카메라(308)는 광학적으로 줌인 및 줌아웃할 능력을 포함할 수 있다. 또 다른 예시에서, 비디오 카메라(308)가 비디오 카메라(308)의 방향 및/또는 포커스를 제어하기 위해 이와 연관되는 개별 모터를 포함할 수 있다. 상기 모터는 비디오 카메라(308)에 기계적으로 연결될 수 있다. 예를 들어, 모터는 일련의 기어 및/또는 스크류를 통해 연결될 수 있으며, 이로 인해, 모터는 비디오 카메라(308)가 지향되는 각도를 변경하도록 사용될 수 있다. 그 밖의 다른 유형의 기계적 연결이 또한 사용될 수 있음이 자명하다. 모터가 비디오 카메라(308)가 가리키는 방향을 업데이트하도록 하는 임의의 유형의 기계적 연결이 본 실시예의 범위 내에 있다.

카메라(316)의 어레이가 사용되어, 회의실(320)의 카테시안 공간 내 특정 배향으로 상기 카메라(316)의 어레이의 배치로부터 발생할 수 있는 회의실(320)의 가상 관점을 발생시킬 수 있다. 예를 들어, 다양한 비디오 카메라가 서로에 대해 그리고 회의실(320)에서 만나는 사람에 대해 알려지도록 배치될 수 있다. 회의실(320) 내 사람의 위치가 또한, 하드웨어(가령, 모션 추적 기법 또는 그 밖의 다른 추적 시스템 또는 모듈)를 통해 또는 소프트웨어를 통해 본 명세서에 기재된 또는 그 밖의 다른 방식으로 종래 기술에서 알려진 추적 방법을 통해 알려질 수 있다.

도 4는 회의실(402) 내 마커(416)를 검출하도록 구성된 복수의 모션 검출 카메라(404a-c)를 포함하는 회의실(402)의 예시적 도시이다. 복수의 검출 카메라(404a-c)가 앞서 기재된 바와 같이 마커(416)에 대한 위치 좌표를 결정할 수 있고 원격 방 내 마커(416)의 상대적 위치를 실질적으로 매칭하는 원격 회의실로부터의 비디오 피드가 생성될 수 있다. 상기 마커(416)는 회의 참가자(410)에게 부착될 수 있고, 이로써 회의실(402) 내 회의 참가자(410)의 위치가 추적될 수 있다. 상기 비디오 피드는 회의 참가자(410)가 착용할 수 있는 두부 장착형 디스플레이(412)로 제공될 수 있다. 하나의 실시예에서, 비디오 피드는 무선 라우터(408) 및 네트워크를 통해 두부 장착형 디스플레이(412)로 전송될 수 있다. 상기 네트워크는 유선 또는 무선 네트워크, 가령, 인터넷, 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 무선 로컬 영역 네트워크(WLAN), 또는 무선 광역 영역 네트워크(WWAN)일 수 있다. 무선 표준, 가령, 블루투스(Bluetooth) 또는 IEEE(Institute of Electronics and Electrical Engineers) 802.11-2012, 802.11ac, 802.11ad 또는 그 밖의 다른 WLAN 표준을 이용해 상기 WLAN은 구현될 수 있다. 상기 WWAN은 무선 표준, 가령, IEEE 802.16-2009 또는 3GPP(third generation partnership project) LTE(long term evolution) 버전 8, 9, 10 또는 11을 이용해 구현될 수 있다. 이러한 시스템을 위해 사용되는 구성요소는 적어도 부분적으로 네트워크 유형 및/또는 선택되는 환경에 따라 달라질 수 있다. 네트워크를 통한 통신이 유선 또는 무선 연결 및 이의 조합에 의해 활성화될 수 있다.

도 5는 원격 방으로부터 발생될 수 있는 비디오 피드를 보기 위해 사용될 수 있는 두부 장착형 비디오 디스플레이(500)를 도시한다. 하나의 실시예에서, 두부 장착형 비디오 디스플레이(500)는 두부 장착형 비디오 디스플레이(500)로 일체 구성될 수 있는 마커(504)를 포함할 수 있다. 예를 들어, 마커는 두부 장착형 비디오 디스플레이(500)의 프레임으로 통합되어, 마커(504)가 모션 검출 카메라에게 보이게 될 수 있다. 또한, 마커(504)가 두부 장착형 비디오 디스플레이(500)와 관련하여 전방을 향하도록 마커(504)는 두부 장착형 비디오 디스플레이(500) 상에 배치될 수 있다. 예를 들어, 마커(504)는 두부 장착형 비디오 디스플레이(500)의 전면 상에 위치하여 두부 장착형 비디오 디스플레이(500)의 사용자가 모션 검출 카메라를 향할 때(즉, 사용자의 안면이 모션 검출 카메라를 향할 때) 마커(504)가 모션 검출 카메라에게 가시적일 수 있다. 따라서 모션 검출 카메라가 마커(504)에 대한 방향 좌표를 결정할 수 있다. 방향 좌표가 실질적으로 동일한 방향으로 지향되는 비디오 카메라를 식별하도록 사용될 수 있다. 또한, 방향 좌표의 관점과 일치하는 관점을 제공하는 복수의 비디오 피드로부터 가상 비디오 피드가 생성될 수 있다.

하나의 실시예에서, 두부 장착형 비디오 디스플레이(500)는 분할 시계(split field of view)를 제공하며, 디스플레이의 하부가 좌측 눈과 우측 눈에 대해 개별적인 고해상도 디스플레이를 제공하고, 디스플레이 위에서 사용자는 방해 없이 주변을 볼 수 있다. 대안적으로, 두부 장착형 비디오 디스플레이(500)는 디스플레이의 하부 절반이 비디오 이미지를 제공하며 상부 절반이 실질적으로 투명하여 사용자가 두부 장착형 비디오 디스플레이(500)를 착용하는 동안 자연 환경을 모두 볼 수 있는 분할 화면으로 구성될 수 있다.

또 다른 실시예에서, 두부 장착형 비디오 디스플레이(500)는 제1 비디오 피드와 제2 비디오 피드를 광학적으로 분리하여 준실시간 스테레오스코픽 비디오 이미지를 생성하는 디스플레이 시스템 상에 제1 비디오 피드 및 제2 비디오 피드를 디스플레이할 수 있다. 하나의 예를 들면, 제1 비디오 피드가 두부 장착형 비디오 디스플레이(500)의 우측 비디오 디스플레이 상에 디스플레이될 수 있고 제2 비디오 피드는 두부 장착형 비디오 디스플레이(500)의 좌측 비디오 디스플레이 상에 디스플레이될 수 있다. 우측 및 좌측 비디오 디스플레이가 사용자의 우측 및 좌측 눈 상으로 각각 투사될 수 있다. 상기 스테레오스코픽 비디오 이미지가 2개의 눈의 홍채 상으로 투사되는 약간 상이한 2개의 비디오 이미지로부터의 심도의 지각을 야기하는 시지각을 제공한다.

대안적으로, 두부 장착형 비디오 디스플레이(500)와 상이한 비디오 디스플레이가 준실시간 비디오 피드까지 디스플레이하도록 배치될 수 있다. 예를 들어, 하나의 실시예에서 제1 비디오 피드 및 제2 비디오 피드가 단일 디스플레이 스크린 상에 디스플레이될 수 있으며, 이때 각자의 비디오 피드가 광학적으로 분리된다. 광학 분리를 위한 기법은 셔터 분리, 편광 분리, 및 색채 분리를 포함한다. 하나의 실시예에서, 뷰어 또는 사용자가 입체시 및 심도 지각으로 개별 이미지를 보기 위한 안경을 착용할 수 있다. 또 다른 실시예에서, 복수의 스테레오스코픽 비디오가, 예를 들어, 복수의 텔레비전 스크린 상에 디스플레이될 수 있다. 예를 들어, 스테레오스코픽 이미지가 텔레비전 스크린, 투사 디스플레이, 및 두부 장착형 스테레오스코픽 비디오 디스플레이 상에 동시에 디스플레이될 수 있다.

셔터 분리를 이용하는 특정 유형의 뷰잉 안경, 가령, LCD 안경이 디스플레이 스크린과 동기화되어 관찰자가 광학적으로 분리된 준실시간 스테레오스코픽 비디오 이미지를 볼 수 있다. 비디오 피드의 광학 분리가 2개의 눈의 홍채 상으로 투사되어 입체시를 생성하는 2개의 다소 상이한 비디오 이미지로부터의 심도의 지각을 야기하는 시지각을 제공한다.

앞서 기재된 실시예에서, 비디오 피드는 유선 통신 케이블, 가령, 디지털 비주얼 인터페이스(DVI) 케이블, 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 컴포넌트 케이블 등을 통해 두부 장착형 비디오 디스플레이(500)로 통신될 수 있다. 대안적으로, 비디오 피드는 두부 장착형 비디오 디스플레이(500)에 무선으로 통신될 수 있다. 예를 들어, 시스템은 두부 장착형 비디오 디스플레이(500)와 상기 비디오 피드를 제공하는 서버 사이에 무선 데이터 링크를 제공한다.

비디오 피드를 무선 통신하기 위해 개발되었거나 현재 개발 중인 다양한 표준은 WirelessHD 표준, WiGig(Wireless Gigabit Alliance), WHDI(Wireless Home Digital Interface), IEEE(Institute of Electronics 및 Electrical Engineers) 802.15 표준, 및 UWB(ultrawideband) 통신 프로토콜을 이용해 개발되는 표준을 포함한다. 또 다른 예시에서, IEEE 802.11 표준이 서버로부터 두부 장착형 비디오 디스플레이(500)로 신호(들)를 전송하도록 사용될 수 있다. 비디오 피드 정보를 서버로부터 실시간 디스플레이되도록 두부 장착형 비디오 디스플레이(500)로 전송되게 하는 하나 이상의 무선 표준이 사용되어 유선이 사용될 필요가 없게 하며 사용자가 더 자유롭게 이동할 수 있게 할 수 있다.

또 다른 실시예에서, 비디오 카메라 및 두부 장착형 비디오 디스플레이(500)는 비교적 높은 분해능을 디스플레이하도록 구성될 수 있다. 예를 들어, 카메라 및 디스플레이는 1280 × 720 픽셀(폭 × 높이)을 갖는 720P 순차 비디오 디스플레이, 1920 × 1080 픽셀을 갖는 1080i 비월주사식 비디오 디스플레이, 또는 1920 × 1080 픽셀을 갖는 10180p 순차 비디오 디스플레이를 제공한다. 프로세싱 전력 및 디지털 메모리가 무어의 법칙에 따라 기하급수적으로 계속 증가함에 따라, 카메라 및 디스플레이가 훨씬 더 높은 분해능, 가령, 7680 × 4320 픽셀의 4320P 순차 비디오 디스플레이를 제공할 수 있다. 분해능이 더 높아짐에 따라, 이미지 품질을 실질적으로 감소시키지 않고 디지털 배율을 제공하기 위한 소프트웨어(디지털 줌)을 이용해 이미지가 확대될 수 있다. 따라서 원격 회의실의 두부 장착형 비디오 디스플레이(500)의 착용자에게 관점을 제공하는 소프트웨어만 사용될 수 있다.

도 6은 2개의 물리적 방 간 대화를 위한 예시적 방법을 도시하는 흐름도이다. 블록(605)에서 시작해서, 물리적 위치의 제1 방에 위치하는 복수의 비디오 카메라로부터의 복수의 비디오 피드가 서버에 의해 수신될 수 있고, 이때 복수의 비디오 카메라가 제1 방 전체에 이격되어 위치할 수 있다. 예를 들어, 둘 이상의 비디오 카메라가 제1 방의 둘레에 이격되어 위치해, 제1 방의 관점을 제2 방에 위치하는 사람에게 제공할 수 있는 비디오 피드가 생성될 수 있다. 하나의 실시예에서, 비디오 카메라는 제1 방 내에서 다양한 높이로 위치하여, 다양한 높이로부터의 비디오 피드를 제공할 수 있다. 따라서 제2 방 안의 사람의 높이와 실질적으로 매칭되는 비디오 피드가 제공될 수 있다. 예를 들어, 제2 방 안의 의자에 앉아 있을 수 있는 사람과 실질적으로 동일한 높이에 있는 비디오 카메라로부터의 비디오 피드가 제공될 수 있을 뿐 아니라 제2 방 안에 서 있는 사람의 높이에 실질적으로 매칭되는 높이의 비디오 카메라로부터의 비디오 피드가 제공될 수 있다.

블록(610)에서처럼, 물리적 위치의 제2 방에 위치하는 마커에 대한 위치 좌표가 복수의 모션 검출 카메라에 의해 계산되고 서버에 의해 수신될 수 있다. 상기 위치 좌표는 제2 방 안의 마커의 상대적 위치를 제공할 수 있다. 예를 들어, 앞서 기재된 바와 같이, 마커의 상대적 위치가 제2 방 안의 위치와 상관되는 제1 방 안의 위치일 수 있다. 마커가 제2 방 둘레 주위에서 이동함에 따라, 상기 모션 검출 카메라가 마커를 추적할 수 있도록 상기 복수의 모션 검출 카메라가 제2 방의 둘레 주위에 배치될 수 있다.

하나의 실시예에서, 마커의 위치 좌표가 모션 검출 카메라로부터의 카테시안 공간 x, y 및 z 축 거리일 수 있고, 따라서 모션 검출 카메라가 제2 방 내 마커의 경도 및 위도 위치뿐 아니라 제2 방 내 마커의 높이를 제공할 수 있다. 또한, 또 다른 실시예에서, 마커가 향할 수 있는 방향이 복수의 모션 검출 카메라에 의해 결정될 수 있다. 예를 들어, 마커는 모션 검출 카메라에 가시적인 LED를 갖는 능동 마커일 수 있다. 마커의 LED가 모션 검출 카메라에 의해 식별될 때, 마커가 향하는 방향이 마커를 식별하는 모션 검출 카메라에 의해 결정될 수 있다.

하나의 실시예에서, 앞서 기재된 바와 같이, 마커가 두부 장착형 비디오 디스플레이로 일체 구성될 수 있다. 또 다른 실시예에서, 마커가 사람에게 부착될 수 있다. 예를 들어, 사람의 위치가 제2 방 내에서 식별되고 추적될 수 있도록, 상기 마커는 핀고정 또는 클립고정되거나 그 밖의 다른 방법을 이용해 사람의 옷에 부착될 수 있다. 사람은 두부 장착형 비디오 디스플레이를 착용하고 사람에게 사람의 옷에 부착된 마커의 관점에서 제1 방의 뷰를 제공하는 비디오 피드가 두부 장착형 비디오 디스플레이로 전송될 수 있다. 또한, 마커가 사람이 착용할 수 있는 물체, 가령, 손목 밴드, 목걸이, 머리띠, 벨트 등과 일체 구성될 수 있다.

블록(615)에서와 같이, 제2 방 내 마커의 상대 위치와 상관되는 복수의 비디오 피드로부터의 비디오 피드가 식별될 수 있다. 도시된 바와 같이, 제2 방 안의 사람의 상대적 위치 뒤에 위치할 수 있는 제1 방 안에 위치하는 비디오 카메라로부터의 비디오 피드가 식별될 수 있다. 따라서 제2 방 안의 마커와 연관된 사람의 관점과 유사한 제1 방의 관점이 비디오 피드에 의해 제공될 수 있다. 하나의 실시예에서, 제2 방 내 마커의 상대적 위치와 상관되는 제1 방 내 비디오 카메라로부터의 적어도 2개의 비디오 피드가 식별될 수 있다. 2개의 비디오 피드를 이용해, 제2 방 내 마커의 유리한 위치로부터의 관점과 실질적으로 매칭되는 가상 비디오 피드가 생성될 수 있다. 예를 들어, 제1 비디오 피드로부터의 제1 비디오 프레임과 제2 비디오 피드로부터의 제2 비디오 프레임 간 중간 비디오 프레임이 생성되는 경우 비디오 처리를 수행하기 위해 보간이 사용될 수 있다. 따라서 제1 방 내에서의 마커의 상대적 위치 및 방향을 이용해, 마커의 관점과 가장 유사하게 매칭되는 제1 비디오 피드 및 제 2 비디오 피드가 식별될 수 있다. 그 후 제1 비디오 피드 및 제2 비디오 피드가 사용되어, 상기 제1 비디오 피드 또는 제2 비디오 피드가 개별적으로 제공할 수 있는 것보다 제2 방 내 마커의 관점과 더 유사할 수 있는 가상 비디오 피드를 생성할 수 있다.

하나의 실시예에서, 비디오 피드에 추가로, 제1 방 내 마이크로폰으로부터 오디오 피드가 수신될 수 있고 제2 방 내 스피커로 제공될 수 있다. 오디오 피드에 의해, 제2 방 내에 위치하는 사람이 제1 방 내에 위치하는 다른 사람의 말을 들을 수 있다. 하나의 예를 들면, 마이크로폰이 비디오 피드를 제공 중인 비디오 카메라와 연관될 수 있고, 상기 마이크로폰으로부터의 오디오 피드가 상기 오디오 피드와 연관된 비디오 피드를 수신하는 중인 제2 방 안의 사람에게 제공될 수 있다.

블록(620)에서처럼, 제2 방 내에 위치하는 마커와 연관된 두부 장착형 디스플레이로 비디오 피드가 제공될 수 있고, 이때, 두부 장착형 디스플레이가 제2 방 내 마커의 위치에 대한 제1 방의 뷰를 제공한다. 따라서 두부 장착형 디스플레이를 착용하는 사람은 자신이 제1 방 안에 있는 것처럼 시뮬레이션된 관점에서 제1 방을 볼 수 있다. 예를 들어, 제2 방 내 사람이 제1 방 및 제1 방 안에 있을 수 있는 다른 사람들을 볼 수 있고 제2 방에서 물리적으로 이동할 수 있고 이때 움직임이 제1 방의 가상 뷰에서 모방된다.

도 7은 복수의 물리적 위치 간 비디오 대화를 위한 방법을 도시하는 다이어그램이다. 도 7에 도시된 바와 같이, 복수의 방(즉, 방1(706) 및 방2(708))이 복수의 비디오 카메라 및 모션 검출 카메라로 구성될 수 있다. 예를 들어, 방1(706)이 복수의 비디오 카메라(712a-d) 및 복수의 모션 검출 카메라(716a-d)를 포함할 수 있다. 마찬가지로 방2(708)가 복수의 비디오 카메라(703a-d) 및 복수의 모션 검출 카메라(734a-d)를 포함할 수 있다. 각각의 방은 각각의 비디오 카메라로부터 서버(704)로 비디오 피드 및 방 내에 위치하는 하나 이상의 마커(722 및 738)에 대한 위치 좌표를 제공할 수 있다. 본 명세서에 기재된 바와 같이, 서버(704)는 일부 실시예에서 가상 비디오 피드일 수 있는 비디오 피드를 각자의 두부 장착형 비디오 디스플레이(720 및 736)로 제공할 수 있다.

마커(722 및 738)가 방 안에서 이동할 때(가령, 마커와 연관된 사람이 방 안에서 걸을 때), 마커(722 및 738)의 상대적 위치와 가장 밀접하게 상관되는 하나 이상의 비디오 피드가 결정될 수 있다. 비디오 피드가 마커(722 및 738)에 더는 상관될 수 없을 때, 비디오 피드가 결정될 수 있고 마커의 상대적 위치에 밀접하게 상관되는 비디오 피드가 두부 장착형 비디오 디스플레이(720 및 736)로 제공될 수 있다. 덧붙여, 두부 장착형 비디오 디스플레이(720 및 736)를 착용하는 사람에게 변환이 매끄럽게 나타나게 하는 속도(rate)로 하나의 비디오 피드의 또 다른 비디오 피드로의 전환이 수행될 수 있다.

본 발명의 시스템 및 방법을 설명할 때, 구현 독립성을 특히 강조하기 위해 본 명세서에서 기재되는 기능 유닛들 중 다수가 "모듈"로 라벨링되었음이 이해되어야 한다. 예를 들어, 모듈이 커스텀 VLSI 회로 또는 게이트 어레이, 기성품 반도체, 가령, 로직 칩, 트랜지스터, 또는 그 밖의 다른 이산 소자를 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈이 프로그램 가능한 하드웨어 장치, 가령, 현장 프로그래머블 게이트 어레이, 프로그래머블 어레이 로직, 프로그래머블 로직 장치 등으로 구현될 수 있다.

또한 모듈은 다양한 유형의 프로세서에 의해 실행될 소프트웨어로 구현될 수 있다. 예를 들어, 실행 코드의 식별된 모듈은 예를 들어 객체, 절차, 또는 기능으로 조직될 수 있는 컴퓨터 명령의 하나 이상의 물리 또는 로직 블록을 포함할 수 있다. 그럼에도, 식별된 모듈의 실행 파일이 다함께 물리적으로 위치할 필요는 없으며, 논리적으로 함께 연결될 때, 모듈을 포함하고 모듈에 대해 지정된 목적을 달성하는 서로 다른 위치에 저장된 개별 명령을 포함할 수 있다.

실제로, 실행 코드의 모듈이 단일 명령 또는 복수의 명령일 수 있으며, 심지어 복수의 서로 다른 코드 세그먼트에 걸쳐, 서로 다른 프로그램 중에, 기르고 복수의 메모리 장치간에 분산될 수 있다. 마찬가지로, 모듈 내에서 연산 데이터가 식별되고 도시될 수 있으며 임의의 적절한 형태로 구현되고 임의의 적합한 유형의 데이터 구조 내에 조직될 수 있다. 연산 데이터가 단일 데이터 세트로서 수집되거나, 서로 다른 위치, 가령, 서로 다른 저장 장치에 걸쳐 분산되고, 시스템 또는 네트워크 상의 전자 신호로서 적어도 부분적으로 단독으로 위치할 수 있다. 모듈은 원하는 기능을 수행하도록 동작하는 에이전트를 포함하는 수동 또는 능동일 수 있다. 상기의 예시가 하나 이상의 특정 적용예에서 본 발명의 원리를 설명하는 것이지만, 구현의 형태, 용도 및 상세사항의 다양한 수정이 창작 능력의 발휘 없이 본 발명의 원리 및 개념 내에서 이뤄질 수 있음이 해당 분야의 통상의 기술자에게 자명할 것이다. 따라서, 본 발명은 이하의 청구범위에 의해서만 한정된다.

Claims

2개의 물리적 위치 간 비디오 대화를 위한 시스템으로서, 상기 시스템은
한 물리적 위치에서 제1 방의 비디오 피드를 생성하도록 구성된 복수의 비디오 카메라,
제2 방 내에 위치하는 복수의 모션 검출 카메라 - 복수의 모션 검출 카메라는 제2 방 내에 위치하는 마커의 모션(motion)을 검출하고 마커에 대한 좌표를 제공하도록 구성됨 - ,
제1 방의 비디오 피드를 보여주는 비디오 디스플레이를 포함하는 두부 장착형 디스플레이(head mountable display),
복수의 비디오 카메라로부터 복수의 비디오 피드를 수신하고 복수의 모션 검출 카메라로부터 마커에 대한 좌표를 수신하도록 구성된 컴퓨팅 장치
를 포함하며,
상기 컴퓨팅 장치는 프로세서와, 명령을 포함하는 메모리 장치를 포함하며, 상기 명령은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금
복수의 모션 검출 카메라와 연관된 추적 모듈(tracking module) - 상기 추적 모듈은 제2 방 내 마커의 위치를 결정하고 복수의 모션 검출 카메라에 의해 제공되는 좌표를 이용해 제1 방 내 마커에 대한 상대적 위치를 결정하도록 구성됨 - , 및
제2 방 내 마커의 상대적 위치에 상관되는 제1 방 내 복수의 비디오 카메라 중 한 비디오 카메라로부터의 비디오 피드를 식별하고 상기 비디오 피드를 두부 장착형 디스플레이로 제공하도록 구성된 비디오 모듈
을 실행시키도록 하는, 비디오 대화를 위한 시스템.
제1항에 있어서, 비디오 모듈은 제2 방 내 마커의 상대적 위치와 상관되는 제1 방 내 비디오 카메라로부터의 적어도 2개의 비디오 피드를 식별하는 것 및 적어도 2개의 비디오 피드를 보간하여 제2 방 내 마커의 관점(perspective)으로부터 제1 방의 가상 현실 뷰(virtual reality view)를 렌더링하는 것을 더 포함하는, 비디오 대화를 위한 시스템.
제1항에 있어서, 상기 두부 장착형 디스플레이는 비디오 피드를 사용자에게 헤드업 디스플레이(HUD)를 제공하는 투명 디스플레이로 포함시키는 디스플레이를 더 포함하는, 비디오 대화를 위한 시스템.
제1항에 있어서, 상기 두부 장착형 디스플레이는 우측 비디오 디스플레이 및 좌측 비디오 디스플레이를 포함하여, 제1 비디오 피드 및 제2 비디오 피드로부터 준실시간 스테레오스코픽 비디오 이미지를 생성하는 두부 장착형 스테레오스코픽 디스플레이를 더 포함하는, 비디오 대화를 위한 시스템.
제4항에 있어서, 사용자의 눈 앞에 놓이는 우측 비디오 디스플레이 및 좌측 비디오 디스플레이가 두부 장착형 장치의 하부에 위치하여, 아래를 보면 제1 방이 보이고, 전방을 보면 제2 방이 보이는 분할 뷰를 제공하는, 비디오 대화를 위한 시스템.
제1항에 있어서, 상기 비디오 카메라들은 서로 동공간 거리만큼 공간적으로 이격되어 있는, 비디오 대화를 위한 시스템.
제1항에 있어서, 상기 비디오 모듈은 서로 동공간 거리만큼 공간적으로 이격되는 적어도 2개의 카메라 피드를 식별하는 것을 더 포함하는, 비디오 대화를 위한 시스템.
제1항에 있어서, 상기 마커는 두부 장착형 디스플레이로 일체 구성되는, 비디오 대화를 위한 시스템.
제1항에 있어서, 제1 방으로부터의 오디오 피드를 생성하도록 구성된 마이크로폰을 더 포함하는, 비디오 대화를 위한 시스템.
제7항에 있어서, 마이크로폰이 비디오 카메라와 연관되는, 비디오 대화를 위한 시스템.
제7항에 있어서, 제1 방 내 마이크로폰으로부터의 오디오 피드를 식별하고 상기 오디오 피드를 스피커에게 제공하도록 구성되는 오디오 모듈을 더 포함하는, 비디오 대화를 위한 시스템.
제11항에 있어서, 상기 스피커는 두부 장착형 디스플레이로 일체 구성되는, 비디오 대화를 위한 시스템.
제1항에 있어서, 복수의 비디오 카메라는 제1 방 둘레 주위에 고르게 분산되어 있는, 비디오 대화를 위한 시스템.
제1항에 있어서, 복수의 비디오 카메라는 비디오 카메라의 어레이인, 비디오 대화를 위한 시스템.
복수의 물리적 위치 간 비디오 대화를 위한 방법으로서, 상기 방법은, 실행 명령으로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에서,
한 물리적 위치의 제1 방 내에 위치하는 복수의 비디오 카메라로부터 복수의 비디오 피드를 수신하는 단계 - 상기 복수의 비디오 카메라는 상기 제1 방 전체에 이격되어 있음 - ,
제2 방 내 마커의 상대적 위치를 제공하는 물리적 위치의 제2 방 내 위치하는 마커에 대한 위치 좌표를 수신하는 단계,
복수의 비디오 피드 중 상기 제2 방 내 마커의 상대적 위치와 상관되는 비디오 피드를 식별하는 단계, 및
제2 방 내에 위치하는 마커와 연관된 두부 장착형 디스플레이로 상기 비디오 피드를 제공하는 단계 - 상기 두부 장착형 디스플레이는 제2 방 내 마커의 위치에 대한 제1 방의 뷰를 제공함 -
를 포함하는, 비디오 대화를 위한 방법.
제15항에 있어서, 복수의 비디오 피드 중 제2 방 내 마커의 상대적 위치와 상관되는 적어도 2개의 비디오 피드를 식별하는 단계 및 적어도 2개의 비디오 피드를 보간하여 상기 마커의 관점으로 상기 제1 방의 가상 현실 뷰를 렌더링하는 단계를 더 포함하는, 비디오 대화를 위한 방법.
제15항에 있어서, 마커에 대한 위치 좌표가 제2 방 둘레 주위에 위치하는 복수의 모션 검출 카메라에 의해 제공되는, 비디오 대화를 위한 방법.
제15항에 있어서, 마커에 대한 위치 좌표가 모션 검출 카메라로부터의 x, y, 및 z 축 거리를 더 포함하는, 비디오 대화를 위한 방법.
제15항에 있어서, 복수의 비디오 카메라가 제1 방의 둘레 내에 다양한 높이로 배치되는, 비디오 대화를 위한 방법.
제15항에 있어서, 상기 마커는 모션 검출 카메라에게 보이는 적어도 하나의 발광 다이오드(LED)를 포함하는 능동 마커인, 비디오 대화를 위한 방법.
제15항에 있어서, 상기 마커는 광원에 의해 조명될 때 상기 마커를 모션 검출 카메라에게 보이게 하는 역반사 물질(retroreflective material)로 코팅된 수동 마커인, 비디오 대화를 위한 방법.
제15항에 있어서, 상기 마커는 사용자에게 부착되는 마커를 더 포함하는, 비디오 대화를 위한 방법.
제15항에 있어서, 상기 마커는 두부 장착형 디스플레이 상에 위치하는, 비디오 대화를 위한 방법.
제15항에 있어서, 제1 방 내에 위치하는 마이크로폰으로부터의 오디오 피드를 수신하는 단계 및 상기 오디오 피드를 제2 방 내 스피커로 제공하는 단계를 더 포함하는, 비디오 대화를 위한 방법.
2개의 물리적 방들 간 대화(interaction)를 위한 방법으로서, 상기 방법은, 실행 명령으로 구성된 하나 이상의 컴퓨터 시스템의 제어 하에서,
제1 방 내에 위치하는 제1 복수의 비디오 카메라 및 제2 방 내 제2 복수의 비디오 카메라로부터 비디오 피드를 수신하는 단계,
제1 방 내에 위치하는 제1 마커 및 제2 방 내에 위치하는 제2 마커에 대한 위치 좌표를 수신하는 단계 - 상기 마커의 좌표가 방 내 마커의 상대적 위치를 제공함 - ,
제1 마커의 상대적 위치와 상관되는 제2 방으로부터의 적어도 2개의 비디오 피드를 결정하고 상기 2개의 비디오 피드를 보간하여 제1 마커의 관점에서 제2 방의 가상 현실 뷰를 렌더링하고 제1 마커를 포함하는 두부 장착형 디스플레이로 상기 가상 현실 뷰를 제공하는 단계, 및
제2 마커의 상대적 위치와 상관된 제1 방으로부터의 적어도 2개의 비디오 피드를 결정하고 상기 2개의 비디오 피드를 보간하여 제2 마커의 관점에서 상기 제1 방의 가상 현실 뷰를 렌더링하고 제2 마커를 포함하는 두부 장착형 디스플레이로 상기 가상 현실 뷰를 제공하는 단계
를 포함하는, 대화를 위한 방법.
제25항에 있어서, 마커가 제1 회의실의 공간에서 이동할 때 제1 회의실 내 마커의 상대적 위치와 가장 밀접하게 상관되는 적어도 2개의 비디오 피드를 결정하는 단계를 더 포함하는, 대화를 위한 방법.
제25항에 있어서, 비디오 피드를 종료하고, 하나의 비디오 피드에서 다른 비디오 피드로의 전환이 상기 두부 장착형 디스플레이의 사용자에게 매끄럽게 나타나도록 하는 속도(rate)로 새 비디오 피드를 보간 프로세스로 제공하는 단계를 더 포함하는, 대화를 위한 방법.