KR101310498B1 - 3차원 영상 표시 장치 및 그 방법 - Google Patents

3차원 영상 표시 장치 및 그 방법 Download PDF

Info

Publication number
KR101310498B1
KR101310498B1 KR1020120022823A KR20120022823A KR101310498B1 KR 101310498 B1 KR101310498 B1 KR 101310498B1 KR 1020120022823 A KR1020120022823 A KR 1020120022823A KR 20120022823 A KR20120022823 A KR 20120022823A KR 101310498 B1 KR101310498 B1 KR 101310498B1
Authority
KR
South Korea
Prior art keywords
image
user
depth information
dimensional
conference
Prior art date
Application number
KR1020120022823A
Other languages
English (en)
Other versions
KR20130101802A (ko
Inventor
이건우
백승엽
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020120022823A priority Critical patent/KR101310498B1/ko
Publication of KR20130101802A publication Critical patent/KR20130101802A/ko
Application granted granted Critical
Publication of KR101310498B1 publication Critical patent/KR101310498B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

3차원 영상 표시 장치 및 그 방법이 개시된다. 구체적으로 사용자 및 사용자 주변 환경의 3차원 깊이 정보를 수집하는 깊이 정보 측정부; 사용자 및 사용자 주변 환경의 색채정보를 수집하는 색채 정보 측정부; 깊이 정보 측정부에서 측정된 사용자 및 사용자 주변 환경의 3차원 깊이 정보와 색채 정보 측정부에서 측정된 사용자 및 사용자 주변 환경의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하는 영상 처리부; 영상 처리부에서 생성된 3차원 회의 영상을 표시하는 표시부를 포함하는, 3차원 영상 표시 장치가 개시된다.

Description

3차원 영상 표시 장치 및 그 방법{Apparatus and Method for displaying 3 Dimensional Contents}
본 발명의 실시예는, 3차원 영상 표시 장치 및 그 방법에 관한 것으로, 보다 구체적으로 깊이 센서와 컬러 센서를 사용하여 효과적인 회의를 가능하게 하는, 3차원 회의 영상 표시 장치 및 그 방법에 관한 것이다.
기업들은 효율적인 커뮤니케이션을 위하여, IT 기술을 활용한 다양한 회의 시스템을 사용한다. 컴퓨터와 빔 프로젝터를 사용하여 회의 참석자들에게 2차원 정보 전달을 활용하는가 하면, 통신 기술을 활용하여 물리적으로 떨어진 곳의 회의 참석자와 화상으로 정보를 교환하기도 한다.
최근에는 디지털 컨버전스(Digital Convergence)라고 하여 하나의 기기와 서비스에 모든 정보통신기술을 묶은 새로운 형태의 융합 제품들이 다양하게 출시되고 있다. 하나의 제품에 다양한 기능들이 구현되므로, 복잡한 제품을 이른 시간 내에 기획하고 이해하는 것이 기업들에게는 중요한 이슈가 되었다. 또한, 정밀한 관찰이 요구되는 의료분야 및 효과적인 학습지도를 위한 교육자료분야에도 직관적으로 객체를 이해할 수 있는 수단이 필요하였다. 그 결과, 복잡한 제품을 직관적이고 자연스럽게 표현하고, 이를 빨리 이해하고 파악할 수 있는 회의 시스템을 제공하는 시도가 있었다.
한국 공개특허 10-2005-31105는 차세대 인터넷(IPv6)에서 3차원 가상 학술회의장 구현과 사용자 이벤트 구현에 관한 것으로, 대용량의 실시간 VRML(Virtual Reality Modeling Language)을 이용하여 3차원 가상학술 회의장을 구현하고 3차원 가상공간에서 이벤트(Event) 정보에 대한 처리부분을 기술한다. 그러나 한국 공개특허 10-2005-31105는 2차원 영상을 복수의 공간에 디스플레이함으로써 3차원적인 효과를 노리는 것에 불과하고, 회의 공간 전체를 직접 3차원적으로 활용하지 못해, 다양한 기능을 가진 제품을 3차원으로 정밀하게 표현하기에는 한계가 있었다.
한국 공개특허 10-2005-31105
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여, 깊이 센서와 색채 센서를 활용한 3차원 회의 영상을 제공한다. 이로써, 회의 참석자가 직관적이고 자연스러운 방식으로 자신의 생각을 형상화할 수 있도록 한다.
또한, 통신기술을 통하여 실시간으로 3차원 회의 영상을 공유할 수 있기 때문에, 원거리의 회의 참석자와의 복잡한 주제의 회의가 효율적으로 이루어질 수 있도록 한다.
이로써, 회의 참석자들의 의사소통능력이 대폭 강화되어, 복잡한 내용을 이른 시간 내에 이해할 수 있도록 한다.
본 발명의 일 측면에 의하면, 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보를 수집하는 깊이 정보 측정부; 상기 사용자 및 상기 사용자 주변 환경의 색채정보를 수집하는 색채 정보 측정부; 상기 깊이 정보 측정부에서 측정된 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보와 상기 색채 정보 측정부에서 측정된 상기 사용자 및 상기 사용자 주변 환경의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하는 영상 처리부; 상기 영상 처리부에서 생성된 3차원 회의 영상을 표시하는 표시부를 포함하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 다른 측면에 의하면, 상기 깊이 정보 측정부에서 측정된 상기 사용자의 3차원 깊이 정보가 소정의 제스처 정보에 대응되는지를 판별하여, 소정의 이벤트를 생성하는 이벤트부를 더 포함하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 이벤트는, 상기 3차원 영상 표시 장치의 중단, 종료, 상기 3차원 회의 영상의 저장 및 해상도 증가 중 어느 하나인, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 영상 처리부는, 상기 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 증강 객체 변형부를 더 포함하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 증강 객체 변형부는, 객체의 3차원 영상을 회전, 확대, 축소, 내부 구성의 표시 및 작동 중 어느 하나를 하는, 3차원 영상 표시 장가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 영상 처리부는, 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 및 색채 정보의 노이즈를 제거하는 노이즈 제거부를 더 포함하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 노이즈 제거부는, 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 또는 색채 정보를 이미 저장되어 있는 사용자 정보 또는 환경 객체와 정합하여, 상기 사용자의 깊이 정보 및 색채 정보의 노이즈를 제거하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 별도의 3차원 영상 표시 장치와 통신하는 통신부; 및 상기 통신부에 의하여 통신할 대상을 상기 3차원 회의 영상에 기반하여 결정하는 회의 영상 공유부를 더 포함하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 회의 영상 공유부는, 상기 사용자의 영상, 상기 사용자 주변의 환경의 영상 및 상기 객체의 3차원 영상 중 적어도 하나를 통신할 대상으로 결정하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 증강 객체 변형부는, 상기 별도의 3차원 영상 표시 장치의 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는, 3차원 영상 표시 장치가 제공된다.
본 발명의 또 다른 측면에 의하면, 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보를 수집하는 단계; 상기 사용자 및 상기 사용자 주변 환경의 색채 정보를 수집하는 단계; 상기 측정된 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보와 상기 측정된 상기 사용자 및 상기 사용자 주변 환경의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하는 단계; 상기 영상 처리부에서 생성된 3차원 회의 영상을 표시하는 단계를 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 3차원 회의 영상을 생성하는 단계는, 상기 사용자의 3차원 깊이 정보가 소정의 제스처 정보에 대응되는지를 판별하여, 소정의 이벤트를 생성하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 이벤트는, 상기 3차원 회의의 중단, 종료, 상기 3차원 회의 영상의 저장 및 해상도 증가 중 어느 하나인, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 3차원 회의 영상을 생성하는 단계는, 상기 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 객체의 3차원 영상을 변형하는 단계는, 객체의 3차원 영상을 회전, 확대, 축소, 내부 구성의 표시 및 작동 중 어느 하나를 하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 객체의 3차원 영상을 변형하는 단계는, 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 및 색채 정보의 노이즈를 제거하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 노이즈를 제거하는 단계는, 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 또는 색채 정보를 이미 저장되어 있는 사용자 정보 또는 환경 객체와 정합하여, 상기 사용자의 깊이 정보 및 색채 정보의 노이즈를 제거하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 3차원 회의 영상을 생성하는 단계는, 별도의 3차원 영상 표시 장치와 통신하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 3차원 표시 장치와 통신하는 단계는, 상기 사용자의 영상, 상기 사용자 주변의 환경의 영상 및 상기 객체의 3차원 영상 중 적어도 하나를 통신하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, 상기 3차원 표시 장치와 통신하는 단계는, 상기 별도의 3차원 회의 영상 표시 장치 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 단계를 더 포함하는, 3차원 영상 표시 방법이 제공된다.
본 발명의 일 측면에 의하면, 회의 참석자가 3차원 영상을 통하여 직접 회의 주제에 대하여 설명할 수 있으므로 다른 회의 참석자의 빠른 이해를 도울 수 있는 효과가 있다.
본 발명의 다른 측면에 의하면, 원거리의 회의 참석자도 실제 회의에 참석한 것처럼, 의견을 교환하며 정보를 제공할 수 있는 효과가 있다.
그 결과, 전체 회의 참석자의 의사소통능력 및 이해능력이 향상되어, 복잡한 제품을 단시간에 정확하게 이해할 수 있다. 즉, 회의 업무의 효율성을 극대화할 수 있는 효과가 있다.
도1은 본 발명의 실시예에 따른 3차원 영상 표시 장치의 제1실시예를 나타낸 도면이다.
도2는 본 발명의 실시예에 따른 3차원 영상 표시 장치의 내부 구성을 나타낸 도면이다.
도3은 본 발명의 실시예에 따른 복수의 3차원 영상 표시 장치의 네트워크 구성을 나타낸 도면이다.
도4는 본 발명의 실시예에 따른 3차원 영상의 제1변형예를 나타낸 도면이다.
도5는 본 발명의 실시예에 따른 3차원 영상의 제2변형예를 나타낸 도면이다.
도6는 본 발명의 실시예에 따른 3차원 영상의 제3변형예를 나타낸 도면이다.
도7a는 본 발명의 실시예에 따른 3차원 영상의 제4변형 시도를 나타낸 도면이다.
도7b는 본 발명의 실시예에 따른 3차원 영상의 제4변형예를 나타낸 도면이다.
도8a는 본 발명의 실시예에 따른 원격지에서의 3차원 영상 표시 장치의 제1실시예를 나타낸 도면이다.
도8b는 본 발명의 실시예에 따른 원격지에서의 3차원 영상 표시 장치의 제2실시예를 나타낸 도면이다.
도8c는 본 발명의 실시예에 따른 원격지에서의 3차원 영상 표시 장치의 제3실시예를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도1은 본 발명의 실시예에 따른 3차원 영상 표시 장치의 제1실시예를 나타낸 도면이다. 도1에서는 3명의 회의 참석자(10, 11, 12)가 회의를 진행하고 있으며, 스마트폰의 디자인에 대해서 논의하고 있다. 시제품 작성 전 디자인만 고안된 다양한 스마트폰의 형상을 비교하기 위하여 회의를 개최하였다. 회의실 주변에는 테이블(20), 화분(22) 등의 객체가 놓여있으며, 참석자 중 1인(12)은 의자(21)에 앉아 있다. 3차원 영상 표시 장치(1000)는 회의실 전체를 촬영하면서, 동시에 스마트폰의 3차원 영상(30)을 회의 참석자(10, 11, 12)들에게 3차원으로 제공하고 있다. 3차원 영상 표시 장치(1000)는 촬영한 영상을 원격지로 전송하여 원격 회의를 지원할 수도 있다.
도2를 참조하여 3차원 영상 표시 장치(1000)에 대해서 좀 더 자세히 살펴보자. 도2는 본 발명의 실시예에 따른 3차원 영상 표시 장치(1000)의 내부 구성을 나타낸 도면이다. 3차원 영상 표시 장치(1000)는 입력부(100), 영상 처리부(200), 이벤트부(300), 표시부(400), 통신부(500), 회의영상공유부(600)를 포함할 수 있다.
입력부(100)는 3차원 회의 영상을 제공하기 위하여 회의에 참석한 사용자(10, 11, 12), 사용자 주변 환경(20, 21, 22)에 대한 정보를 수집하는 역할을 한다. 입력부(100)는 정보 수집을 위하여 깊이 정보 측정부(110)와 색채 정보 측정부(120)를 포함할 수 있다.
깊이 정보 측정부(110)는 회의 참석자(10, 11, 12) 또는 사용자의 주변 환경(20, 21, 22)에 대한 깊이 정보를 수집하는 역할을 한다. 일 실시예에서, 깊이 정보 측정부(110)는 깊이 측정 센서(Depth Sensor)일 수 있으며, 깊이 측정 센서는 CMOS 센서와 결합된 적외선 레이저 프로젝터(Infrared laser projector)로 구성될 수도 있다.
적외선 레이저 프로젝터는 Time of Flight 방식을 통해 깊이 정보를 측정할 수 있으며, 적외선 패턴(Structured light)을 대상물에 투영하고 스테레오 매칭(Stereo matching)을 통해 깊이 정보를 측정할 수도 있다.
일 실시예에서, 깊이 정보 측정부(110)는 하나의 적외선 레이저 프로젝터에서 무수한 적외선 빔을 쏘고 반사되는 적외선을 통하여 어떠한 밝기 조건에서도 3차원을 감지할 수도 있다. 또한, 깊이 정보 측정부(110)와 멀고 가까운 거리까지 감지해 회의 참석자(10, 11, 12) 및 주변 사물(20, 21, 22)이 어디에 위치 하는지, 회의 참석자(10, 11, 12)가 어떻게 행동하는지를 실시간으로 파악할 수 있다.
색채 정보 측정부(120)는 회의 참석자(10, 11, 12) 또는 회의 참석자(10, 1, 12) 주변 환경(20, 21, 22)에 대한 색채 정보를 수집하는 역할을 한다. 일 실시예에서, 색채 정보 측정부(120)는 적색(Red), 녹색(Green), 청색(Blue)의 3색을 이용하는 RGB센서 또는 광학 카메라일 수도 있다.
일 실시예에서, 색채 정보 측정부(120)를 통하여 3차원 영상 표시 장치(1000)는 회의 참석자(10, 11, 12) 상호를 서로 구분하기도 하며, 화분(21)과 의자(22) 같은 회의 참석자 주변의 환경을 구분할 수 있다.
영상 처리부(200)는 깊이 정보 측정부(110)에서 측정된 회의 참석자(10, 11, 12) 및 주변 환경(20, 21, 22)의 3차원 깊이 정보와 상기 색채 정보 측정부(120)에서 측정된 회의 참석자(10, 11, 12) 및 주변 환경(20, 21, 22)의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하는 역할을 한다. 영상 처리부(200)는 기본적으로 회의와 관련된 객체를 증강시켜 3차원 영상을 생성한다(3차원 영상의 표시는 후술할 표시부(400)에서 담당함). 도1의 경우를 참조하면, 테이블 위에 증강되어 있는 스마트폰의 3차원 영상이 실제 스마트폰의 증강된 3차원 회의영상이다. 도시하지는 않았지만 저장부에 이미 저장되어 있는 객체의 3차원 데이터를 이용하여 객체의 3차원 영상을 생성한다. 영상 처리부(200)는 증강 객체 변형부(210)와 노이즈제거부(220)를 포함할 수 있다.
증강 객체 변형부(210)는 회의 참석자의 3차원 깊이 정보가 증강된 객체의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 객체의 3차원 영상을 변형하는 역할을 한다. 회의 참석자가 직관적으로 객체를 설명하고 이해하기 위하여, 객체를 회전, 확대, 축소, 내부 구성의 표시 및 작동시킬 수가 있다. 회의 참석자(10, 11, 12)의 손으로부터 측정된 3차원 깊이 정보가 현재 표시되고 있는 스마트폰의 3차원 영상(30)의 깊이 정보와 일치(회의 참석자의 손이 가상 객체에 접촉)하거나, 소정의 거리 내에 있는 경우(회의 참석자의 손이 가상 객체에 매우 근접한 경우) 스마트폰의 3차원 영상(30)을 변형할 수 있는 준비상태가 된다.
도4를 참조하여 설명하면, 회의 참석자(10)는 스마트폰의 증강된 3차원 영상(30)에 한 손을 근접시켜, 이를 회전하려는 제스처를 취한다. 깊이 정보 측정부(110)에 의하여 회의 참석자의 회전 제스처가 측정되고, 증강 객체 변형부(210)는 회의 참석자(10) 손의 회전 속도에 맞추어 스마트폰의 증강된 3차원 영상(30)이 회전되도록 3차원 영상을 변형한다.
도5를 참조하여 설명하면, 회의 참석자(20)는 스마트폰의 3차원 영상(30)에 두 손을 근접시켜, 이를 확대하려는 제스처를 취한다. 깊이 정보 측정부(110)에 의하여 회의 참석자의 확대 제스처가 측정되고, 증강 객체 변형부(210)는 회의 참석자(10) 손의 확대 속도에 맞추어 스마트폰의 증강된 3차원 영상(30)이 확대되도록 3차원 영상을 변형한다.
도6을 참조하여 설명하면, 회의 참석자(20)는 스마트폰의 3차원 영상(30)에 두 손을 근접시켜, 이를 축소하려는 제스처를 취한다. 깊이 정보 측정부(110)에 의하여 회의 참석자의 확대 제스처가 측정되고, 증강 객체 변형부(210)는 회의 참석자 손의 확대 속도에 맞추어 스마트폰의 증강된 3차원 영상(30)이 축소되도록 3차원 영상을 변형한다.
도7a 및 도7b를 참조하여 설명하면, 회의 참석자(20)가 스마트폰의 3차원 영상(30)의 소정의 부분을 터치하는 제스처를 취한다. 터치 전 스마트폰 3차원 영상(30)의 모니터 부분에 표현된 로봇(도7a)이 터치 이후에는 팔을 움직이게 된다(도7b). 즉 실제로 스마트폰을 동작시키는 제스처가 증강된 스마트폰의 3차원 영상(30)에도 반영될 수 있는 것이다.
노이즈 제거부(220)는 깊이 정보 측정부(110)에서 측정된 회의 참석자(10, 11, 12) 및 주변 환경(20, 21, 22)의 3차원 깊이 정보 및 색채 정보의 노이즈를 제거하는 역할을 한다. 일 실시예에서, 회의 참석자(10, 11, 12) 및 주변 환경(20, 21, 22)의 3차원 깊이 정보 또는 색채 정보를 이미 저장되어 있는 사용자 정보 또는 환경 객체와 정합하여, 사용자의 깊이 정보 및 색채 정보의 노이즈를 제거한다.
도1을 참조하여 설명하면, 깊이 정보 측정부(110)의 측정 오류로 인하여 회의 참석자(10)의 손가락이 여섯 개로 인식된 경우를 가정하자. 깊이 정보 측정부(110)는 저장부(미도시)에 이미 저장된 회의 참석자(보통의 사람)의 일반적인 형상에 대한 깊이 정보 또는 색채 정보와 대비할 수 있다. 저장부(미도시)의 회의 참석자 정보는 손가락이 다섯 개로 표시되어 있기 때문에, 깊이 정보 측정을 다시 하거나, 상대적으로 가장 노이즈가 높은 것으로 추정되는 손가락을 삭제하도록 깊이 정보를 수정할 수도 있다.
또한, 도1에서는 환경 정보로써, 테이블(20), 화분(21), 의자(22) 등이 표현되어 있는데, 마찬가지로 저장부(미도시)에 이미 저장되어 있는 일반적인 형상에 대한 깊이 정보 또는 색채 정보와 대비하여 노이즈를 제거하도록 깊이 정보 측정을 다시 하거나 깊이 정보를 수정할 수 있다.
이벤트부(300)는 깊이 정보 측정부에서 측정된 회의 참석자(10, 11, 12)의 3차원 깊이 정보가 소정의 제스처 정보에 대응되는지를 판별하여 소정의 이벤트를 생성하는 역할을 한다. 일 실시예에서 이벤트는 상기 3차원 영상 표시 장치의 중단, 종료, 상기 3차원 회의 영상의 저장 및 해상도 증가 중 어느 하나일 수 있다. 예를 들어, 회의 참석자가 양손으로 머리를 잡는 제스처의 경우 3차원 영상 표시 장치(1000)의 작동을 중단시킬 수 있으며, 양손을 교차하여 X 표시를 하는 제스처의 경우 3차원 영상 표시 장치를 종료시킬 수 있다. 또한, 손뼉을 치는 제스처의 경우 3차원 회의 영상을 저장하도록 하며, 오른손을 우측으로 뻗는 제스처는 해상도의 증가, 왼손을 왼쪽으로 뻗는 제스처는 해상도를 감소시키게 할 수 있다. 제스처의 설정은 전술한 예시에 제한되지 아니하며, 회의 참석자가 별도로 설정할 수도 있다.
표시부(400)는 영상 처리부(200)에서 생성된 3차원 회의 영상을 표시하는 역할을 한다.
일 실시예에서 표시부(400)는 특수 안경의 도움을 받아 3차원 회의 영상을 표시할 수 있다. 좌우에 3차원 영상이 연이어 놓이고 이를 렌즈를 통해 두 눈에 따로따로 결상되게 하여 입체감을 느끼도록 하는 렌즈입체경 방식, 왼쪽 눈의 이미지는 적색으로, 오른쪽의 이미지는 청색으로 나타내고 눈에 적청방식의 안경을 착용함으로써 입체감을 느끼게 하는 적청안경(애널그리프) 방식이 가능하다. 또한, 두 대의 영사기에 각각 수직 또는 수평방향으로만 빛을 투사하게 하는 편광필터를 씌우고 사람의 눈에도 같은 종류의 필터가 부착된 편광 안경을 씌움으로써 입체감을 느끼게 하는 편광안경 방식도 가능하다. 그리고 전기를 가하면 LCD의 빛의 방향이 바뀌는 특성을 이용하여 모니터 화면과 동기되어 매우 빠르게 셔터를 열고 닫게 함으로써 입체를 보게 하는 방식인 LCD SG(Liquid Crystal Display shuffered Glasses) 방식도 가능하다.
다른 실시예에서 표시부(400)는 안경의 도움을 받지 않고 3차원 회의 영상을 표시할 수도 있다. 좌우의 영상이 시차장벽 뒤에 놓이게 하여 좌우에 각각 다른 영상이 보기에 함으로써 입체감을 느끼게 하는 Parallax 방식, 좌우의 영상이 디스플레이될 수 있는 소자 앞에 하나의 좌우 간격에 해당하는 반원통형 렌티큘러(Lenticular) 시트를 부착하여 좌우 각각의 눈에 좌우에 해당하는 영상만 보이도록 함으로써 임체를 느끼게 하는 렌티큘러 방식이 가능하다. 또한, 1장의 인화판에 완전한 3차원의 화상을 기록하여 실상을 재생하는 인테그럴 방식, 오목 거울 및 볼록렌즈의 결상 작용을 이용하여 양안시차 화상 혹은 복수안 화상을 양안에 제시하여 입체감을 느끼게 하는 대형 오목거울 및 대형 볼록렌즈 방식도 가능하다. 그리고 결상계의 이동에 의해 깊이 방향의 정보를 분할 표시함으로써 눈의 잔상현상을 이용하여 공간에 화상을 띄어 올리는 깊이 방향 표본화 방식(Varifocal Mirror)방식, 홀로그램에서 처음의 물체광이 재생되고, 재생된 파면 안에서 들여다보면 물체가 보이기는 하나 마치 물체가 저 안쪽에 있는 것처럼 보이게 하는 홀로그래피방식 역시 적용이 가능하다.
구체적으로 표시부(400)는 상기 다양한 3차원 표시 방식을 이용한 3D TV, 3차원 홀로그래피 장치 및 셔터글라스 장치를 포함할 수 있으며, 회의 참석자에게 마치 실제 현실에서 일어나는 일과 같은 실감나는 피드백을 제공할 수 있다.
통신부(500)는 별도의 3차원 영상 표시 장치(1000)와 통신하는 역할을 한다. 도3을 참조하면 3차원 영상 표시 장치(1000)는 다른 3차원 영상 표시 장치(1001, 1002, 1003, 1004, 1005) 또는 그 외의 다른 객체(미도시)와 네트워크를 통하여 서로 통신할 수 있다.
통신부(500)는 장치 데이터의 송신을 위한 데이터 변조부(510), 데이터의 수신을 위한 데이터 복조부(520) 및 직접적인 데이터의 송수신을 위한 데이터 송수신부(530)를 포함할 수 있다. 통신부(500)의 통신방법은 객체와 객체가 네트워킹할 수 있는 모든 통신 방법을 포함할 수 있을 것이며, 유선/무선 통신, 3G, 4G, 혹은 그 이외의 방법에도 제한되지 않는다. 3차원 영상 표시 장치(1000)의 3차원 회의 영상의 전부 또는 일부만을 송신하고 수신할 수 있다. 무선 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법으로 통신할 수 있으나 이에 제한되지는 않는다.
회의영상공유부(600)는 하나의 3차원 회의 영상 장치(1000)에서 생성된 3차원 회의 영상을 실시간으로 공유하기 위해 통신대상이 될 3차원 회의 영상을 결정하는 역할을 한다.
도8a를 참조하면, 원격지에 있는 회의 참석자(18, 19)와 회의 내용을 공유하기 위하여 필요에 따라 다양한 3차원 회의 영상이 결정되고 전송된다. 회의 참석자(10, 11, 12)의 영상, 회의 참석자 주변의 환경의 영상(20, 21, 22) 및 상기 스마트폰의 3차원 영상 (30) 중 적어도 하나를 포함한 3차원 회의 영상이 가능하다.
도9a를 참조하면 도1의 3차원 영상 표시 장치(1000)에서 입력된 스마트폰의 3차원 영상(30)이 원격지의 3차원 영상 표시 장치(1001)로 전송되어 원격지에 있는 회의 참석자(18, 19)가 스마트폰의 3차원 영상(30’)을 바라보며 스마트폰의 디자인을 기존 회의 참석자(10, 11, 12)들과 논의할 수 있다. 기존 회의 참석자(10, 11, 12) 외에 원격지에 있는 회의 참석자(18, 19)가 스마트폰의 3차원 영상(30)을 조작하여 변형시킬 수도 있으며, 실시간으로 3차원 영상 표시 장치(1000, 1001)의 3차원 영상(30, 30’)에 반영된다.
도8b를 참조하면, 스마트폰의 3차원 영상(30) 외에 기존 회의 참석자(10, 11)를 포함한 3차원 영상이 원격지의 3차원 영상 표시 장치(1001)로 전송되어 기존 회의 참석자의 영상(10’, 11’)이 표시되어, 마치 참석자(10, 11)가 같은 공간에 있는 듯한 효과를 줄 수 있다. 도9b에는 설명의 편의를 위하여 스마트폰의 3차원 영상(30’)을 제외하였으나, 이가 포함될 수 있음은 물론이다.
도8c를 참조하면, 회의 참석자 주변의 환경인 화분(21) 및 의자(22)를 포함한 3차원 영상이 원격지의 3차원 영상 표시 장치(1001)로 전송되어 회의 참석자 주변 환경의 영상(21’, 22’)이 표시되어, 주변 환경까지도 원격지에 옮겨와 같은 공간에 있는 듯한 효과를 줄 수 있다. 도9c에는 설명의 편의를 위하여 스마트폰의 3차원 영상(30’) 및 다른 회의 참석자(10’, 11’)를 제외하였으나, 이가 포함될 수 있음은 물론이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10, 11, 12: 회의 참석자
10’, 11’, 12’: 회의 참석자의 3차원 영상
18, 19: 원격지의 회의 참석자
20: 테이블
21: 화분
21’: 원격지로 전송된 화분의 3차원 영상
22: 의자
22’: 원격지로 전송된 의자의 3차원 영상
30: 스마트폰의 3차원 영상
30’: 원격지로 전송된 스마트폰의 3차원 영상
100: 입력부
110: 깊이 정보 측정부
120: 색채 정보 측정부
200: 영상 처리부
210: 증강 객체 변형부
220: 노이즈 제거부
300: 이벤트부
400: 표시부
500: 통신부
510: 데이터 변조부
520: 데이터 복조부
530: 데이터 송수신부
600: 회의영상공유부
1000, 1001, 1002, 1003, 1004, 1005: 3차원 영상 표시 장치

Claims (20)

  1. 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보를 수집하는 깊이 정보 측정부;
    상기 사용자 및 상기 사용자 주변 환경의 색채정보를 수집하는 색채 정보 측정부;
    상기 깊이 정보 측정부에서 측정된 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보와 상기 색채 정보 측정부에서 측정된 상기 사용자 및 상기 사용자 주변 환경의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하고, 상기 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 증강 객체 변형부를 더 포함하는 영상 처리부;
    상기 영상 처리부에서 생성된 3차원 회의 영상을 표시하는 표시부;
    별도의 3차원 영상 표시 장치와 통신하는 통신부; 및
    상기 통신부에 의하여 통신할 대상을 상기 3차원 회의 영상에 기반하여 결정하는 회의 영상 공유부를 포함하는 것을 특징으로 하는, 3차원 영상 표시 장치.
  2. 제1항에 있어서,
    상기 깊이 정보 측정부에서 측정된 상기 사용자의 3차원 깊이 정보가 소정의 제스처 정보에 대응되는지를 판별하여, 소정의 이벤트를 생성하는 이벤트부를 더 포함하는, 3차원 영상 표시 장치.
  3. 제2항에 있어서,
    상기 이벤트는,
    상기 3차원 영상 표시 장치의 중단, 종료, 상기 3차원 회의 영상의 저장 및 해상도 증가 중 어느 하나인, 3차원 영상 표시 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 증강 객체 변형부는,
    객체의 3차원 영상을 회전, 확대, 축소, 내부 구성의 표시 및 작동 중 어느 하나를 하는, 3차원 영상 표시 장치.
  6. 제1항에 있어서,
    상기 영상 처리부는,
    상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 및 색채 정보의 노이즈를 제거하는 노이즈 제거부를 더 포함하는, 3차원 영상 표시 장치.
  7. 제6항에 있어서,
    상기 노이즈 제거부는,
    상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 또는 색채 정보를 이미 저장되어 있는 사용자 정보 또는 환경 객체와 정합하여, 상기 사용자의 깊이 정보 및 색채 정보의 노이즈를 제거하는, 3차원 영상 표시 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 회의 영상 공유부는,
    상기 사용자의 영상, 상기 사용자 주변의 환경의 영상 및 상기 객체의 3차원 영상 중 적어도 하나를 통신할 대상으로 결정하는, 3차원 영상 표시 장치.
  10. 제1항에 있어서,
    상기 증강 객체 변형부는,
    상기 별도의 3차원 영상 표시 장치의 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는, 3차원 영상 표시 장치.
  11. 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보를 수집하는 단계;
    상기 사용자 및 상기 사용자 주변 환경의 색채 정보를 수집하는 단계;
    상기 수집된 상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보와 상기 수집된 상기 사용자 및 상기 사용자 주변 환경의 색채정보에 기반하여, 객체의 3차원 영상을 포함하는 3차원 회의 영상을 생성하는 단계로서, 상기 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 단계 및 별도의 3차원 영상 표시 장치와 통신하는 단계를 더 포함하는 3차원 회의 영상을 생성하는 단계; 및
    상기 영상 처리부에서 생성된 3차원 회의 영상을 표시하는 단계를 포함하는, 3차원 영상 표시 방법.
  12. 제11항에 있어서,
    상기 3차원 회의 영상을 생성하는 단계는,
    상기 사용자의 3차원 깊이 정보가 소정의 제스처 정보에 대응되는지를 판별하여, 소정의 이벤트를 생성하는 단계를 더 포함하는, 3차원 영상 표시 방법.
  13. 제12항에 있어서,
    상기 이벤트는,
    상기 3차원 회의의 중단, 종료, 상기 3차원 회의 영상의 저장 및 해상도 증가 중 어느 하나인, 3차원 영상 표시 방법.
  14. 삭제
  15. 제11항에 있어서,
    상기 객체의 3차원 영상을 변형하는 단계는,
    객체의 3차원 영상을 회전, 확대, 축소, 내부 구성의 표시 및 작동 중 어느 하나를 하는 단계를 더 포함하는, 3차원 영상 표시 방법.
  16. 제11항에 있어서,
    상기 객체의 3차원 영상을 변형하는 단계는,
    상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 및 색채 정보의 노이즈를 제거하는 단계를 더 포함하는, 3차원 영상 표시 방법.
  17. 제16항에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 사용자 및 상기 사용자 주변 환경의 3차원 깊이 정보 또는 색채 정보를 이미 저장되어 있는 사용자 정보 또는 환경 객체와 정합하여, 상기 사용자의 깊이 정보 및 색채 정보의 노이즈를 제거하는 단계를 더 포함하는, 3차원 영상 표시 방법.
  18. 삭제
  19. 제11항에 있어서,
    상기 3차원 표시 장치와 통신하는 단계는,
    상기 사용자의 영상, 상기 사용자 주변의 환경의 영상 및 상기 객체의 3차원 영상 중 적어도 하나를 통신하는 단계를 더 포함하는, 3차원 영상 표시 방법.
  20. 제19항에 있어서,
    상기 3차원 표시 장치와 통신하는 단계는,
    상기 별도의 3차원 회의 영상 표시 장치 사용자의 3차원 깊이 정보가 상기 객체의 3차원 영상의 깊이 정보에 대응되거나 소정의 거리 내에 있는 경우, 상기 객체의 3차원 영상을 변형하는 단계를 더 포함하는, 3차원 영상 표시 방법.
KR1020120022823A 2012-03-06 2012-03-06 3차원 영상 표시 장치 및 그 방법 KR101310498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120022823A KR101310498B1 (ko) 2012-03-06 2012-03-06 3차원 영상 표시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120022823A KR101310498B1 (ko) 2012-03-06 2012-03-06 3차원 영상 표시 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130101802A KR20130101802A (ko) 2013-09-16
KR101310498B1 true KR101310498B1 (ko) 2013-10-10

Family

ID=49451809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120022823A KR101310498B1 (ko) 2012-03-06 2012-03-06 3차원 영상 표시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101310498B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007422B1 (en) 2014-09-03 2015-04-14 Center Of Human-Centered Interaction For Coexistence Method and system for mutual interaction using space based augmentation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049295A (ja) * 2000-08-04 2002-02-15 Nippon Hoso Kyokai <Nhk> ホログラムディスプレイ
KR20100027976A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049295A (ja) * 2000-08-04 2002-02-15 Nippon Hoso Kyokai <Nhk> ホログラムディスプレイ
KR20100027976A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007422B1 (en) 2014-09-03 2015-04-14 Center Of Human-Centered Interaction For Coexistence Method and system for mutual interaction using space based augmentation

Also Published As

Publication number Publication date
KR20130101802A (ko) 2013-09-16

Similar Documents

Publication Publication Date Title
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US10477149B2 (en) Holographic video capture and telepresence system
EP3510768B1 (en) Three-dimensional telepresence system
US10171792B2 (en) Device and method for three-dimensional video communication
JP6023801B2 (ja) シミュレーション装置
JP2017525052A (ja) 表示のためにキャプチャ画像の視野を調整する技術
US20160269685A1 (en) Video interaction between physical locations
EP3642692B1 (en) System and method for interacting with a user via a mirror
US10321126B2 (en) User input device camera
CN108427194A (zh) 一种基于增强现实的显示方法及设备
KR101310498B1 (ko) 3차원 영상 표시 장치 및 그 방법
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
Grogorick et al. Gaze and motion-aware real-time dome projection system
JP6855493B2 (ja) ホログラフィックビデオキャプチャー及びテレプレゼンスシステム
JP2022055732A (ja) 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
Pan et al. 3D displays: their evolution, inherent challenges and future perspectives
Yu et al. Projective Bisector Mirror (PBM): Concept and Rationale
Mock et al. Direct 3D-collaboration with Face2Face-implementation details and application concepts
Majumderl Ubiquitous displays: Spatially augmenting reality via multi-projector agents
KR101540110B1 (ko) 사용자 간 아이콘택트를 하기 위한 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN114449246A (zh) 一种圆柱形显示器动态多视点立体图像方法
CN116560511A (zh) 画面展示方法、装置、计算机设备和存储介质
TW201228354A (en) Portable electric apparatus having stereoscopic projection function and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170824

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 7