KR101696243B1 - 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 - Google Patents

가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 Download PDF

Info

Publication number
KR101696243B1
KR101696243B1 KR1020160138326A KR20160138326A KR101696243B1 KR 101696243 B1 KR101696243 B1 KR 101696243B1 KR 1020160138326 A KR1020160138326 A KR 1020160138326A KR 20160138326 A KR20160138326 A KR 20160138326A KR 101696243 B1 KR101696243 B1 KR 101696243B1
Authority
KR
South Korea
Prior art keywords
image data
wearable device
virtual
virtual object
virtual reality
Prior art date
Application number
KR1020160138326A
Other languages
English (en)
Inventor
김계현
Original Assignee
김계현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김계현 filed Critical 김계현
Application granted granted Critical
Publication of KR101696243B1 publication Critical patent/KR101696243B1/ko
Priority to PCT/KR2017/007944 priority Critical patent/WO2018016928A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법에 관한 것이다. 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스의 디스플레이 패널에 특정 공간에 존재하는 실제 사물과, 특정 공간 내에 가상으로 구현되어 표시되는 가상 물체가 표시된다. 특정 공간은 복수 개의 위치 정보 송수신 센서에 의해 규정된다. 서버는 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터를 3 차원적 영상으로 저장하고, 특정 공간 내의 사용자 컴퓨터로 제공한다. 서버는 특정 공간 내의 실제 사물의 위치 정보와 웨어러블 디바이스의 위치 정보를 판단하여 실제 사물과 가상 물체가 일부 중첩되면, 웨어러블 디바이스의 디스플레이 패널에 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 중첩되는 부분이 갈려지거나 보이게 표시되도록 처리한다. 본 발명에 의하면, 다양한 공간에서 웨어러블 디바이스를 이용하여 실제 사물과 가상 물체를 현실감있게 표현하도록 함으로써, 가상 현실과 증강 현실의 융합적인 구현이 가능하다.

Description

가상 현실 구현 시스템 및 그의 가상 현실 구현 방법{VIRTUAL REALITY SYSTEM AND METHOD FOR REALIZING VIRTUAL REALITY THEROF}
본 발명은 가상 현실 구현 시스템에 관한 것으로, 좀 더 구체적으로 예술작품을 광학 이미지를 통해 고해상도 가상공간을 구현함과 동시에, 위치기반의 정보를 이용하여 다수의 갤러리 및 작품을 구현하고, 개별 작품에 대한 부가적 서비스를 제공하며, 가상의 광고를 구현함으로써, 특히 특정한 실재 공간에서 다수의 갤러리 및 작품 관람이 가능할 수 있도록 하는 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법에 관한 것이다.
최근, 디지털 정보를 언제 어디서나 볼 수 있는 착용형 안경이 경량화되면서, 이를 활용하여 가상공간의 디지털 정보들 (예를들어, 지역 정보, 사진, 트윗, 지도, 광고, 숙박, 식당, 위키피디아 등)을 현장에서 즉시적으로 사용자에게 제공하고자 하는 시도가 많은 주목을 받고 있다.
이는, 기존의 정보 획득의 미디어로서 사용되고 있는 휴대용 인터넷 단말기를 대체할 수 있는 뉴 미디어로의 역할을 할 수 있다.
즉, 현장의 사용자에게 관심 정보를 즉시적으로 제공할 수 있으며, 기존의 페이스 북/트위터/유투브와 같은 라이프 로깅 서비스를 언제 어디서나 즉각적으로 수행할 수 있으며, 다양한 정보를 손쉽게 획득 할 수 있을 것이다.
특히, 유저로 하여금 몰입감 있는 가상체험을 제공하는 기술들의 개발이 매우 절실하게 요구된다.
이를 위해, 대한민국 등록특허 제10-1106857호에서는, 도 9에 도시된 바와 같이, 갤러리제공부(60)를 포함하는 가상 공간의 갤러리시스템에 있어서, 상기 갤러리제공부(60)는, 시스템 제어 프로그램부(80)의 제어신호에 따라 3차원의 가상 공간 갤러리를 제공하는 3D 가상현실프로그램(90)와; 관리서버(10)에서의 선택된 물품을 시스템 제어 프로그램부(80)의 제어신호에 따라 가상 공간의 갤러리에 전시하는 물품선택부(100)와; 가상 공간의 갤러리의 공간 거리를 조절해 주는 동서남북/상하방향키제공부(110)와; 가맹점단말기(40)로부터의 가상 공간의 갤러리의 대여 요청이 있으면 가상 공간의 갤러리를 대여해 주는 가상 공간의 갤러리대여부(120)와; 회원단말기(30)로부터의 전시된 물품의 자리이동 요청이 있으면, 가상 공간의 갤러리에 전시된 물품을 이동시키는 물품자리이동부(130)와; 가맹점단말기(40)로부터 가상 공간의 갤러리 대여 요청이 있으면, 사이버머니를 결재하는 사이버머니결재부(140)와; 회원단말기(30)로부터의 배경음악이 선택되면 음악을 송출하는 배경음악선택부(150)로 구성된 것을 특징으로 하는 '3디를 활용한 가상 공간의 갤러리시스템'이 제안되었다.
그러나, 상기와 같은 종래 기술에도 불구하고, 위치기반의 정보를 이용하여 다수의 갤러리 및 작품을 구현하고, 개별 작품에 대한 부가적 서비스를 제공하며, 가상의 광고를 구현할 수 있지는 못하였다.
한국 공개특허공보 제10-2015-0126938호(공개일 2015년 11월 13일) 한국 등록특허공보 제10-1638550호(공고일 2016년 07월 12일) 한국 등록특허공보 제10-1106857호(공고일 2012년 01월 20일) 한국 등록특허공보 제10-1454445호(공고일 2014년 10월 27일)
본 발명의 목적은 사용자의 웨어러블 디바이스에 표시되는 특정 공간 내의 실제 사물과 가상으로 구현된 가상 물체들 간의 중첩되는 부분이 사용자의 시야 깊이에 따라 표시되도록 하는 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.
본 발명의 다른 목적은 미술품, 예술 작품 등의 대상물을 광학 이미지를 통해 가상 공간을 구현하고, 동시에 위치 기반의 정보를 이용하여 가상 갤러리 시스템을 구현하기 위한 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 군사용 드론을 이용하여 가상의 군사 훈련 시스템을 구현하기 위한 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 웨어러블 디바이스를 이용하여 작품 관람, 광고, 쇼핑, 스포츠 관람, 군사용 등 다양한 분야에서 가상 현실과 증강 현실이 융합된 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 가상 현실 구현 시스템은 사용자의 웨어러블 디바이스에 표시되는 특정 공간 내의 실제 사물과 가상으로 구현된 가상 물체들 간의 중첩되는 부분이 사용자의 시야 깊이에 따라 표시되도록 하는데 그 한 특징이 있다. 이와 같은 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스의 디스플레이 패널 상에 특정 공간 내의 실제 사물과 가상 물체들 간의 중첩된 부분을 현실감있게 표시할 수 있다.
이 특징에 따른 본 발명의 가상 현실 구현 시스템은: 복수 개의 위치 정보 송수신 센서를 통해 규정되는 특정 공간에 존재하는 실제 사물과 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용 가능한 웨어러블 디바이스와; 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하고, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 사용자 컴퓨터 및; 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 저장하고, 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 서버를 포함한다.
이 특징의 한 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하는 적어도 하나의 3 차원 광학 스캔 기기와; 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하는 렌터링 컴퓨터를 더 포함한다.
다른 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 서버의 제어를 받아서 상기 웨어러블 디바이스의 움직임에 대응하여 촬영 방향이 변경되도록 구동하는 광각 IP 카메라를 더 포함하되; 상기 웨어러블 디바이스는 상기 광각 IP 카메라로부터 촬영된 영상을 상기 디스플레이 패널에 표시한다.
또 다른 실시예에 있어서, 상기 가상 현실 구현 시스템은; 상기 특정 공간의 바닥면에 구비되어 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 더 감지하는 복수 개의 압력 센서를 더 구비한다.
또 다른 실시예에 있어서, 상기 웨어러블 디바이스는; 상기 실제 사물과 상기 가상 물체에 대한 부가 정보를 더 표시하고, 상기 부가 정보가 선택되면, 상기 부가 정보에 대응하는 부가 서비스에 연결되도록 처리한다.
또 다른 실시예에 있어서, 상기 서버는; 상기 웨어러블 디바이스의 상기 디스플레이 패널에 사용자의 시선에 따른 3 차원적 각도에 대응하여 상기 실제 사물과 상기 가상 물체를 더 표시되도록 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 상기 사용자 컴퓨터로 더 제공한다.
또 다른 실시예에 있어서, 상기 위치 정보 송수신 센서는; 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 인식하는 GPS 장치, 통신망 기지국, 무선 통신 중계기 및 드론 중 어느 하나로 구비된다.
본 발명의 다른 특징에 따르면, 가상 현실 구현 시스템의 가상 현실 구현 방법이 제공된다.
이 특징에 따른 본 발명의 가상 현실 구현 시스템의 가상 현실 구현 방법은: 복수 개의 위치 정보 송수신 센서를 이용하여 특정 공간을 규정짓고; 상기 위치 정보 송수신 센서를 통해 상기 특정 공간에 존재하는 실제 사물의 위치 정보와, 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용한 웨어러블 디바이스의 위치 정보를 감지하고; 상기 특정 공간 내에 구비된 사용자 컴퓨터를 통해 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하여, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하고; 그리고 서버가 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송한다.
이 특징의 한 실시예에 있어서, 상기 방법은; 적어도 하나의 3 차원 광학 스캔 기기를 통해 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하고; 렌터링 컴퓨터가 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하고; 그리고 상기 서버는 상기 실제 사물의 이미지 데이터를 저장하는 것을 더 포함한다.
상술한 바와 같이, 본 발명의 가상 현실 구현 시스템은 특정 공간 내의 실제 사물의 위치 정보와 웨어러블 디바이스의 위치 정보를 판단하여 실제 사물과 가상 물체가 일부 중첩되면, 웨어러블 디바이스의 디스플레이 패널에 실제 사물의 이미지 데이터와 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 중첩되는 부분이 갈려지거나 보이게 표시되도록 처리함으로써, 다양한 공간에서 웨어러블 디바이스를 이용하여 실제 사물과 가상 물체를 현실감있게 표현 가능하고, 이를 통해 가상 현실과 증강 현실의 융합적인 구현이 가능하다.
또 본 발명의 가상 현실 구현 시스템에 따르면, 특히 가상 갤러리 시스템에 적용됨에 따라, 가상의 큐레이터는 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 나래이션 방식으로 들려주기도, 웨어러블 디바이스의 디스플레이 패널에 함께 표시되는 메뉴를 선택함으로써, 해당 품목을 직접 구매할 수도 있으며, 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고를 선택하여 해당 상품을 구매할 수도 있는 효과가 있다.
또 본 발명에 따르면, 경비 초소에 적용됨으로써, 웨어러블 디바이스에 연동되어, 광각 IP 카메라가 작동됨으로써, 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사는 경비 초소 등에 머물러 있는 상태에서, 자신이 의도하는 대로 각각의 광각 IP 카메라가 촬영한 영상을 통하여 경계 근무가 가능한 특징적인 효과가 있다.
또한, 본 발명에 따르면, 군사용 드론에 적용됨에 따라, 적군 그리고, 적군 탱크의 현 위치를 파악함은 물론, 적군에 대한 공격 방향, 우리 아군의 향후의 이동 경로, 또는 아군의 퇴로를 용이하게 파악하여, 신속하고도 안전한 부대이동이 가능케 되는 또 다른 효과가 있다.
도 1은 본 발명에 따른 가상 현실 구현 시스템의 구성을 나타낸 전체 개요도,
도 2는 본 발명의 일 실시예에 따른 실제 갤러리에서의 실제 사물과 가상의 물체에 대하여 사용자가 웨어러블 디바이스를 활용하여 작품 관람이 이루어지는 것을 나타낸 도면,
도 3은 도 2에 도시된 가상 물체에 대하여 사용자가 웨어러블 디바이스를 활용하는 것을 나타낸 개요도,
도 4는 도 2에 도시된 실제 갤러리에서의 실제 사물과 가상 물체에 대하여 시야의 깊이가 각각 다르게 설정되는 것을 나타낸 모식도,
도 5는 본 발명의 다른 실시예에 따른 사용자가 착용한 웨어러블 디바이스에 연동되어 스텝 모터를 통한 광각 IP 카메라의 렌즈 방향을 상하 좌우 방향으로 구동되는 것을 나타낸 개요도,
도 6은 본 발명의 또 다른 실시예에 따른 군사용 드론을 이용한 가상 현실 구현 시스템의 구성을 나타낸 개요도,
도 7은 본 발명에 따른 뷰포인트를 기준하여 카메라로부터 근접 클립면과 이격 클립면이 설정되는 것을 나타낸 모식도,
도 8은 본 발명의 실시예에 따른 구글 글라스 형태의 웨어러블 디바이스를 나타낸 도면, 그리고
도 9는 종래기술의 일 실시예에 따른 3D를 활용한 가상 공간의 갤러리 시스템의 개략적인 구성을 나타낸 도면이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
이하 첨부된 도 1 내지 도 8을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 가상 현실 구현 시스템의 구성을 나타낸 전체 개요도이다.
도 1을 참조하면, 본 발명의 가상 현실 구현 시스템은 웨어러블 디바이스(100)를 이용하여 현실감있는 가상 현실 구현을 위해, 실제 사물과 가상으로 구축된 가상 물체를 표현하고자 하는 피사체를 광학적 스캔 및 3 차원화하고, 실제 사물과 가상 물체를 보는 방향에 따라 실제 사물과 가상 물체가 중첩되는 부분을 현실감있게 표시하도록 처리한다.
이를 위해 본 발명의 가상 현실 구현 시스템은 웨어러블 장치(100)와, 사용자 컴퓨터(200)와, 서버(300)와, 렌더링 컴퓨터(400)와, 복수 개의 3D 광학 스캔 기기(500 : 500a, 500b) 및, 광학 IP 카메라(600)를 포함한다. 이러한 가상 현실 구현 시스템은 예를 들어, 유무선 통신망을 이용하여 인터넷에 접속되고, 상호 데이터 통신이 가능하도록 연결된다. 여기서 웨어러블 디바이스(100)와 사용자 컴퓨터(200)는 특정 공간(S1) 내에 위치한다.
웨어러블 디바이스(100)는 사용자(M)가 착용하고, 이미지가 출력되는 디스플레이 패널과 음성을 녹음하는 마이크(예를 들어, 홀로포닉스 마이크 등)와, 음성을 스테레오로 출력하는 스피커, 헤드폰 등이 구비된다. 또 웨어러블 디바이스(100)는 다양한 센서들 예를 들어, 광각 카메라, 광학 모션 센서, 자이로스코프 센서, 위치 정보 송수신기, 동공 위치 추적 장치, 동공 수축/이완 추적 장치, 조도 센서 등이 구비된다. 이러한 웨어러블 디바이스(100)는 디스플레이 패널을 이용하여 구현된 가상 현실에 따른 실제 사물과 가상 물체가 포함된 영상을 표시한다.
사용자 컴퓨터(200)는 특정 공간(S1)(예를 들어, 실제 갤러리) 내에 구비되고 무선 통신망을 통해 웨어러블 디바이스(100)가 연결된다.
사용자 컴퓨터(200)는 광학적으로 판독 가능한 광학 인식 코드(또는 태그)를 리딩하는 리더기와, 복수 개의 위치 정보 송수신 센서에 의해 규정되는 특정 공간 내에서 광학 모션 센서(예를 들어, 레이저 모션 트래킹 센서)를 이용하여 웨어러블 디바이스(100)의 위치, 방향 및 3 차원적인 각도 등을 포함하는 웨어러블 디바이스(100)의 위치 정보를 수집한다.
여기서 리더기는 규정된 공간 내에 존재하는 모든 피사체(예를 들어, 물건이나 생물 등이 포함된 실제 사물)에 대한 3 차원 정보를 포함하는 광학 인식 코드(또는 태그)를 판독한다.
위치 정보 송수신 센서는 복수 개가 특정 공간에 설치되어 공간을 규정짓고, 규정된 공간 내에 존재하는 웨어러블 디바이스(100)의 위치, 방향 및 3 차원적 각도에 대한 정보를 감지한다. 또 위치 정보 송수신 센서는 웨어러블 디바이스(100)와의 직선 거리를 감지한다. 광학 모션 센서는 규정된 공간 내에 존재하는 모든 피사체에 대해 실시간으로 위치, 모양, 크기 및 부피 등이 포함된 정보를 감지한다. 또 리더기와 광학 모션 센서에 의해 감지된 정보를 이용하여 피사체에 대한 오차를 보정한다.
또 특정 공간에는 바닥면에 복수 개의 압력 센서들을 구비하고, 이를 통해 웨어러블 디바이스의 위치와 존재하는 피사체의 위치를 파악 및 보정한다. 또 특정 공간에는 좌우 독립 녹음 및 출력이 가능한 음성 출력 장치를 더 구비하고, 이를 통해 공간 내에 존재하는 피사체(예를 들어, 실제 사물 또는 가상 물체)에서 발생되는 모든 소리를 출력하여, 소리 근원의 위치 정보를 가늠할 수 있어서 현실적이고 3 차원적인 음성 정보를 전달할 수 있다.
또 사용자 컴퓨터(200)는 무선 통신망을 통해 웨어러블 디바이스(100)로 이미지 데이터 및 음성 데이터를 전송한다. 또 사용자 컴퓨터(200)는 인터넷을 통하여 서버(300)로부터 실제 사물에 대한 이미지 데이터와 가상 물체에 대한 이미지 데이터를 받아서 웨어러블 디바이스(100)로 제공한다.
서버(300)는 다양한 특정 공간(S1, S2)에 대한 모든 피사체 즉, 실제 사물 및 가상 물체의 이미지 데이터와, 실제 사물과 가상 물체에 대한 음향 효과 등이 포함된 음성 데이터를 저장한다. 서버(300)는 인터넷을 통하여 복수 개의 3D 광학 스캔 기기(500 : 500a, 500b)로부터 광학 스캐닝된 실제 사물에 대한 이미지 데이터를 전송받아서 저장한다. 서버(300)는 인터넷을 통하여 사용자 컴퓨터(200)로 이미지 데이터와 음성 데이터를 전송한다. 서버(300)는 사용자컴퓨터(200), 렌더링 컴퓨터(400) 및 광각 IP 카메라(600)를 제어하도록 제어 신호를 연산 처리한다.
또 서버(300)는 인터넷을 통하여 웨어러블 디바이스(100)로부터 사용자의 시선 방향이 변경되면, 이에 대응하여 원격지에 있는 광각 IP 카메라(600)의 촬영 방향이 변경되도록 원격 제어하고, 이를 통해 획득된 이미지 데이터를 웨어러블 디바이스(100)로 제공한다.
또 서버(300)는 개인이 직접 관람하는 개인 직접 관람 공간(S2)에 위치하는 가상 웨어러블 디바이스(100), 모바일 단말기 및 컴퓨터 등과 인터넷을 통하여 연결되어, 이미지 데이터와 음성 데이터를 제공한다.
이러한 서버(300)는 인터넷을 통하여 사용자 컴퓨터(200)로부터 다양한 정보들을 전송받아서 특정 공간 내의 웨어러블 디바이스(100)의 사용자와 모든 피사체에 대한 위치, 방향, 3 차원적인 각도와 모양, 크기에 대한 정보를 저장하고, 실시간으로 분석하여 웨어러블 디바이스(100) 상의 디스플레이 패널을 통해 실시간으로 재생되는 실제 및 가상 현실이 융합된 영상을 제공한다. 또 서버(300)는 웨이러블 디바이스(100)와 피사체 각각의 위치 정보와 시야 범위 및 깊이에 따라 실존하는 실제 사물과 가상으로 구현된 가상 물체가 현실감있게 표현하도록 처리한다. 또 서버(300)는 구현되는 시야 내의 각 피사체의 거리에 따라 상대적으로 원거리에 있는 피사체가 상대적으로 근거리에 있는 피사체와 겹치는 부분이 표시되지 않도록 마스킹 처리하거나, 근거리에 위치하는 피사체가 우선 표시하도록 처리한다. 또 서버(300)는 구현되는 시야 내의 가상으로 구현된 피사체의 위치와 이동 경로가 3 차원적으로 처리되어 위치, 3 차원적 각도, 원근 효과 등을 현실감있게 구현 가능하다.
렌더링 컴퓨터(400)는 인터넷을 통하여 3D 광학 스캔 기기(500)으로부터 스캐닝된 실제 사물의 이미지 데이터를 전송받아서 3D 이미지 데이터를 웨어러블 디바이스(100)의 디스플레이 패널 상에 표시되는 2D 이미지 데이터로 변환하는 3D 렌더링 등으로 연산 처리하여 3D 이미지 데이터값을 생성하고, 이를 인터넷을 통해 서버(300)로 전송한다.
3D 광학 스캔 기기(500)는 복수 개가 구비되어 실제 사물을 스캐닝하여 3 차원적 이미지 데이터를 획득하고, 이를 인터넷을 통하여 서버(300)로 전송한다.
그리고 광각 IP 카메라(600)는 웨어러블 디바이스(100) 등으로부터 전송받은 구동 신호에 따라 작동된다. 광각 IP 카메라(600)는 다양한 공간에 구비되어 서버(300)를 통해 웨어러블 디바이스(100)의 시선 방향에 따라 촬영 방향을 변경하도록 원격 제어받아서 해당 공간의 이미지 데이터를 획득하고, 이를 서버(300)로 전송한다.
따라서 본 발명이 가상 현실 구현 시스템은 다양한 공간에서 웨어러블 디바이스(100)를 이용하여 실제 사물과 가상 물체를 현실감있게 표현하도록 하여 가상 현실과 증강 현실을 구현할 수 있다.
도 2는 본 발명의 일 실시예에 따른 실제 갤러리에서의 실제 사물과 가상의 물체에 대하여 사용자가 웨어러블 디바이스를 활용하여 작품 관람이 이루어지는 것을 나타낸 도면이고, 도 3은 도 2에 도시된 가상 물체에 대하여 사용자가 웨어러블 디바이스를 활용하는 것을 나타낸 개요도이고, 도 4는 도 2에 도시된 실제 갤러리에서의 실제 사물과 가상 물체에 대하여 시야의 깊이가 각각 다르게 설정되는 것을 나타낸 모식도이며, 그리고 도 7은 본 발명에 따른 뷰포인트를 기준하여 카메라로부터 근접 클립면과 이격 클립면이 설정되는 것을 나타낸 모식도이다.
먼저 도 2 내지 도 4를 참조하면, 이 실시예는 특정 공간(S1)이 실제 갤러리로, 복수 개의 위치 정보 송수신 센서(L1 ~ L8)들에 의해 공간을 규정한다. 또 특정 공간(S1)에는 복수 개의 광학 모션 센서(I1 ~ I15)들이 규정된 공간의 테두리를 따라 일정 간격 이격되게 배치되어, 특정 공간(S1) 내의 웨어러블 디바이스(100)를 착용한 사용자(M)와 실제 사물(R)에 대한 위치 정보를 감지한다. 또 특정 공간(S1)의 바닥면에는 압력 센서(P1)이 구비되어 사용자의 위치, 이동 등을 감지한다. 이 실시예에서 위치 정보 송수신 센서(L1 ~ L8)는 예를 들어, 블루투스 비콘(bluetooth becon) 등으로 구비된다.
구체적으로, 실제 갤러리(S1)는 일정 공간으로 규정되고, 대체적으로 전 영역을 커버할 수 있도록 위치 정보 송수신 센서(L1 ~ L8)가 설치되고, 인접하는 적어도 2 개의 위치 정보 송수신 센서(L1 ~ L8) 사이에는 광학 모션 센서(I1 ~ I15)가 설치되어, 실제 갤러리(S1) 내에서 움직이는 사용자(M), 실제 사물(R) 그리고 가상 물체(V)가 센싱되거나, 유효한 데이터로서 위치 데이터를 감지하도록 설치된다.
또한 실제 갤러리(S1)를 구성하는 바닥면에는 다수의 압력 센서(P)들이 장착되어 바닥면 위를 압력을 가하면서 이동하는 사용자(M) 또는 실제 사물(R)의 실제의 위치 데이터를 센싱하도록 구비된다.
이 때, 실제 사물(R)에 대한 데이터값은 고해상도의 3D 광학 스캔 기기(500 : 500a, 500b)를 활용하여 스캐닝함으로써 확보될 수 있다. 그리고 확보된 데이터값은 인터넷을 통하여 서버(300)에 전송되어 저장된다.
또한, 사용자(M)가 웨어러블 디바이스(100)를 사용하여 각각의 실제 사물(R)과 가상 물체(V)에 대한 3 차원적인 좌표값이 읽혀짐에 따라, 웨어러블 디바이스(100)의 디스플레이 화면에 표시된다.
이 실시예에서 가상 현실 구현 시스템의 적용 원리는 피사체 예를 들어, 물고기 형상으로 예시되는 가상 물체(V)가 현실 속에서 현장감있게 재현되도록 하는 것으로서, 특정 공간(S1) 내의 위치 정보를 기반으로 하여, 특정 공간(S1) 내에서의 모든 사물에 대한 좌표, 크기 등을 모두 인식하고, 이에 따라 특정 공간(S1) 내에서 3차원 좌표가 부여하여 표시되도록 처리한다. 즉, 가상 현실 구현 시스템은 대상물의 위치 정보와 시야의 정보를 분석하여 가상 물체(V)와 실제 사물(R)이 현실감있는 융합적인 구현이 가능하다.
예를 들어, 도 3의 사용자 시선(B)에 도시된 바와 같이, 웨어러블 디바이스(100)의 디스플레이 패널 상에 실제 사물(R)과, 특정 공간(S1) 내에 물고기 형상의 가상 물체(V)가 실제 사물(R)의 앞쪽에 표시되고, 특정 공간(S1) 내에서 물고기 형상의 가상 물체(V)가 유영을 하다가, 도 3의 사용자 시선(A)에 도시된 바와 같이, 실제 사물(R) 뒤로 돌아가면, 가상 물체(V)가 실제 사물(R) 뒤로 돌아감에 따라 실제 사물(R)과 가상 물체(V)가 중첩되는 중첩 영역(Hi)이 발생되어, 사용자의 시선에는 시야의 깊이에 따라 해당 중첩 부분의 가상 물체(V)의 이미지는 실제 사물(R)에 의해 일부가 가려지는 것으로 표시 처리되어, 실제로 가상 물체가 존재하는 것과 같은 가상의 3D 이미지가 구현된다.
또 사용자(M)가 웨어러블 디바이스(100)를 착용한 상태에서, 실제 사물(R)의 후방으로 이동하게 되면, 도 3의 사용자 시선(A)에서와 같이, 가상 물체(V)가 실제 사물(R)과 중첩되어 보이지 않던 부분이 도 3의 사용자 시선(B)에서 처럼 보이게 된다.
또한 본 발명은 가상 현실과 증강 현실이 융합된 기술로서, 사용자(M)의 시야 밖에 있던 물고기 형상의 가상 물체(V)가 마치 실물이 점점 다가오는 것처럼, 사용자(M)의 전방으로 점점 튀어나오듯이, 가상으로 구현될 수 있다.
더욱이 물고기 형상의 가상 물체(V)와 실제 사물(R)은 웨어러블 디바이스(100)를 통해서 보게 되면, 이들 데이터값이 합성되어 표시되고, 가상 물체(V)와 실제 사물(R)에 대한 다양한 부가 정보가 표시되며, 이들 부가 정보를 선택하게 하여 다양한 부가 서비스를 받을 수도 있다.
실제 사물(R)에 대한 데이터값은 3D 광학 스캔 기기(500 : 500a, 500b)에 의해 실시간으로 스캐닝되어 얻어질 수도 있고, 실제 갤러리(S1)에 설치되어 있는 광학 모션 센서(I1 ~ I15), 위치 정보 송수신 센서(L1 ~ L8)에 의하여 감지되어 데이타값이 얻어질 수도 있으며, 바닥에 위치한 압력 센서(P)를 통해 얻어질 수도 있다. 뿐만 아니라, 상술한 방법들을 복합적으로 사용하여 얻어진 데이타값을 비교하여 오차를 줄일 수 있도록 할 수 있다.
여기서, 웨어러블 디바이스(100)는 다양한 센서들을 이용하여 웨어러블 디바이스(100)의 3 차원 공간상 좌표, 방향, 그리고 각도 정보를 측정하고, 이를 통해 각각의 실제 사물(R)과 가상 물체(V)들 사이, 사용자(M)들 사이, 실제 사물(R) 또는 가상 물체(V)와 웨어러블 디바이스(100)들 사이의 상대적 위치 즉, 3 차원적 공간 좌표를 감지할 수 있다. 여기서 3 차원적 위치 정보를 감지하는 센서에는 예를 들어, IR 센서, 광학 감지 센서 등이 포함될 수 있다. 따라서 웨어러블 디바이스(100)의 위치, 3 차원 각도 정보에 의해 사용자의 시야가 결정된다.
동시에 이를 통해 도 7에 도시된 바와 같이, 사용자(M)가 공간적 위치 좌표 및 각도를 통해 디스플레이에 표현되는 시야 절두체(viewing frustum)가 정의되고, 이 때의 시야 절두체(viewing frustum) 내에 들어오는 피사체들에 대한 정보가 시야의 깊이 정보 프로세스를 통해 현실감있게 구현된다. 이는 사용자가 웨어러블 디바이스(100)의 카메라를 통해 실제 사물과 배경을 볼 수 있으므로, 시야 절두체(viewing frustum)는 뷰포인트(viewpoint) 즉, 카메라의 관점에서 전체 화면 중 어느 부분이 최종 화면에 보이는지를 알아내야 하는데, 이 보이는 영역 즉, 결정된 표시 영역을 의미한다. 즉, 웨어러블 디바이스(100)의 디스플레이 패널 상에 표시되는 화면은 시야 절두체 내에서 시야의 깊이에 따라 인접한 화면(near clip plane)과 먼 화면(far clip plane) 사이의 어느 한 화면이 된다.
그리고 공간 상에 위치하지만 시야 내에 들어오지 않은 사물은 표시되지 않지만, 시야에 들어오지 않는 사물 또는 사람이 발생시키는 음성 정보는 출력 가능하게 구현되고, 본 발명의 가상 현실 구현 시스템에 의해 구현되는 실재 공간은 가상으로 구현되는 공간과 그 형태와 넓이, 높이 등이 일치되도록 구현된다.
또 본 발명을 가상 갤러리에 적용한 경우, 웨어러블 디바이스(100)를 착용한 여러 명의 사용자(M)가 실제 갤러리(S1)에서 가상의 큐레이터와 함께 관람할 때, 실제 갤러리(S1) 공간 내에서 실존하는 여러 명의 사용자(M), 가상의 큐레이터 및 실제 사물(R)과 서로 충돌되지 않도록 고려된다. 이 때, 가상의 큐레이터는 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 내래이션(narration) 방식으로 들려주기도 한다. 또한 가상의 큐레이터는 실제 갤러리의 큐레이터처럼, 관람자를 따라다니며 작품에 대한 디테일한 설명을 들려준다.
게다가, 웨어러블 디바이스(100)의 디스플레이 패널에 함께 표시되는 메뉴(menu)를 선택함으로써, 해당 품목을 직접 구매할 수도 있다. 또한, 웨어러블 디바이스(100)의 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고 예를 들어, 배너 광고, 차량 등의 상품 광고 등을 선택하여 해당 상품을 구매할 수도 있다. 또한, 웨어러블 디바이스(100)의 디스플레이 패널에 작품과 함께 표시되는 메뉴(menu)를 선택함으로써, 해당 품목의 경매에 참여할 수도 있다.
그리고, 웨어러블 디바이스(100)의 디스플레이 패널에서 이미지와 음향이 출력되며, 각종 공간상 좌표 인식 센서에 위치를 알릴 수 있는 장비 및 데이터 통신 장비를 가지고, 디바이스 전면의 실재를 촬영하여 실시간 전송할 수 있는 카메라를 지님과 동시에, 레이저 스캔 장비를 지니며 내부에 동공의 위치를 측정하고 기록할 수 있는 장치를 더 구비할 수 있다.
또한, 음향에 대한 부분에 있어서, 웨어러블 디바이스(100)를 착용한 각각의 사용자(M)에 대하여, 우측 방향에서 음향이 들려오는 것과 좌측 방향에서 음향이 들려오는 것과는 서로 달리 들리므로, 사용자(M)에 대하여 좌우측으로부터 들리는 음향이 서로 다르게 설정된다. 따라서 실제 갤러리(S1) 공간 내에서의 웨어러블 디바이스(100)를 착용한 사용자(M)와 가상 물체(V)의 상대 위치에 따라, 웨어러블 디바이스(100)의 좌우측으로부터 들리는 음향은 서로 음향의 레벨(level)이 달리 설정된다.
그리고 가상 물체(V)인 작품을 실제 갤러리(S1) 상에서 감상 중에 사용자가 작품의 앞뒤, 옆, 상하의 모든 면을 임의로 이동하며 선택적으로 관람할 수 있다. 이 때, 가상 물체(V) 곁에서 관람하는 동안, 웨어러블 디바이스(100) 내부에 놓여져 있는 사용자(M)의 동공이 머물러있는 시간 등을 확인하여, 대상물인 가상 물체(V)에 대한 선호도를 파악할 수도 있다.
또 이 실시예의 가상 현실 구현 시스템은 도 4에 도시된 바와 같이, 실제 사물과 가상 물체의 시야의 깊이가 각각 다른 경우, 시야의 깊이에 따라 원근 처리하여 현실감을 향상시킬 수 있다.
여기서 시야의 깊이는 특정 공간 내에 위치하는 복수 개의 실제 사물(R)들과 가상 물체(V)가 놓여진 위치에 따라 3 차원적으로 처리되어 화살표 방향에 따라 사용자의 시선이 서로 다른 거리감을 느끼게 되므로, 사용자(M)에 의해 가상 물체(V)의 이미지 데이터가 어떻게 달리 얻어지느냐에 따라 결정된다. 예를 들어, 시야의 깊이에 의해 실제 실존하는 실제 사물(R)들이 표시되고, 가상 물체(V)는 실제 사물(R)의 뒤로 위치되어 가상 사물(V)의 일부가 실제 사물(R)에 의해 가려지게 되면, 해당 부분이 사용자(M)의 시야에는 보이지 않게 처리된다.
이러한 가상 현실 구현 시스템은 특정 공간이 규정된 가상 갤러리 시스템으로 구현될 수 있으며, 또한 다양한 형태들 예를 들어, 도 2에 도시된 바와 같이, 특정 공간이 규정된 실제 갤러리(S1)로도 구현된다.
도 5는 본 발명의 다른 실시예에 따른 사용자가 착용한 웨어러블 디바이스에 연동되어 스텝 모터를 통한 광각 IP 카메라의 렌즈 방향을 상하 좌우 방향으로 구동되는 것을 나타낸 개요도이다.
도 5를 참조하면, 이 실시예의 광각 IP 카메라(600)는 사용자가 착용한 웨어러블 디바이스(100)와 연동되어 스텝 모터를 통한 광각 IP 카메라(600)의 렌즈 방향 즉, 촬영 방향을 원격 조절된다. 즉, 웨어러블 디바이스(100)를 착용한 사용자의 시선 방향이 상하 좌우로 변경됨에 따라 광각 IP 카메라(600)의 촬영 방향이 상하 좌우로 구동된다. 이는 웨어러블 디바이스(100)가 시선 방향을 움직이게 되면, 인터넷을 통하여 서버(300)가 이를 인식하고, 웨어러블 디바이스(100)의 움직임에 따라 광각 IP 카메라(600)를 상하 좌우로 회전시켜서 촬영 방향을 변경한다. 이 때, 사용자(M)가 착용한 웨어러블 디바이스(100)와 광각 IP 카메라(600)는 인터넷을 통하여 각각 서버(300)에 연결된다.
이러한 광각 IP 카메라(600)는 사용자(M)가 착용한 웨어러블 디바이스(100)에 연동되는 상황은 예를 들어, 경기장, 경비 초소 등 다양한 장소에 적용 가능하다.
예를 들어, 경기장에 적용된 경우, 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)가 경기장 내에서 경기 상황에 따라 자신의 머리를 움직이게 되면, 머리에 착용되어 있는 웨어러블 디바이스(100)의 움직임이 감지됨에 따라, 서버(300)에 연결되어 광각 IP 카메라(600)의 스텝 모터를 구동시켜서 경기 상황에 따라 촬영 방향을 달리 하도록 할 수 있다. 즉, 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)가 자신의 머리를 상하 좌우 방향으로 움직이게 됨에 따라 스텝 모터를 통해 광각 IP 카메라(600)의 렌즈 방향도 상하 좌우 방향으로 구동된다.
그리고 경기장에는 복수 개의 광각 IP 카메라(600)가 설치될 수 있다. 이 경우, 복수 개의 광각 IP 카메라(600)들 중에 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)로 하여금, 보다 근접되거나 박진감 넘치는 영상 신호를 출력받을 수 있도록, 특정의 광각 IP 카메라(600)를 선택하도록 할 수 있다. 그러므로 웨어러블 디바이스(100)를 착용하고 있는 사용자(M)의 시야에는 해당 특정의 광각 IP 카메라(600)에서 전송된 보다 근접되거나 박진감 넘치는 영상 신호를 볼 수 있게 된다.
또 다른 예로서, 경비 초소에 적용된 경우, 웨어러블 디바이스(100)에 연동되어 스텝 모터를 통해 광각 IP 카메라(600)가 구동됨으로써, 전방 곳곳에 설치되어 있는 각각의 광각 IP 카메라(600)를 통하여, 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사는 경비 초소 등에 머물러 있는 상태에서도 자신이 의도하는 대로 각각의 광각 IP 카메라(600)가 촬영한 영상을 통하여 경계 근무가 가능하다.
도 6은 본 발명의 또 다른 실시예에 따른 군사용 드론을 이용한 가상 현실 구현 시스템의 구성을 나타낸 개요도이다.
도 6을 참조하면, 이 실시예의 가상 현실 구현 시스템은 군사용 드론(D1 ~ D4)을 이용하여 병사의 위치 정보를 감지하고, 이를 통해 병사들의 상황을 가상 현실로 구현한다. 군사용 드론(D1 ~ D4)에는 위치 센서와 열감지 센서를 구비하여 병사들 각각의 유무와 위치를 감지한다. 또 군사용 드론(D1 ~ D4)은 웨어러블 디바이스(100)를 착용한 아군(m1 ~ m4)의 소속, 계급, 병과 등의 개인 정보와 아군(m1 ~ m4)들 각각의 생체 정보를 수집할 수 있으며, 생체 정보를 모니터링하여 각 단위 부대의 부대장에게 아군의 상태를 제공할 수도 있다.
예를 들어, 전쟁 시, 복수 개의 군사용 드론(D1 ~ D4)을 이용하여 적군(e1 ~ e3)의 위치와 무기(t)나 군사용 장비 등을 감지하고, 적군(e1 ~ e3)들과 맞서 싸우는 많은 아군(m1 ~ m4)의 병사들이 전쟁터 상공을 비행하는 복수 개의 군사용 드론(D1 ~ D4)들로부터 각종 전쟁 상황에 대한 정보를 수집하여 지형 정보, 적군(e1 ~ e3)의 위치 정보 등을 이용하여 전쟁 상황을 파악하고, 이를 통해 집결 장소, 타격 목표, 효과적인 방어 루트, 공격 루트 및 이동 루트 등을 결정하도록 추천할 수 있다.
즉, 군사용 드론(D1 ~ D4)들은 전쟁터 상공을 비행하며, GPS 위성으로부터 자신의 위치 정보를 전송받는 GPS 수신 장치를 이용하여 현재의 위치 정보를 전송받는다. 또 군사용 드론(D1 ~ D4)들은 상호 인접하는 다른 군사용 드론(D1 ~ D4)들과 위치 정보를 전송하거나 삼각 측량법 등을 이용하여 산출된 거리 정보를 상호 교환하여 아군(m1 ~ m4) 및 적군(e1 ~ e3)에 대한 정확한 위치를 파악할 수도 있다.
또한 군사용 드론(D1 ~ D4)들은 웨어러블 디바이스(100)를 착용하고 있는 아군(m1 ~ m4)에게도 적군에 대한 위치 정보, 각종 전쟁 상황에 대한 정보를 전송할 수 있도록, 다양한 센서들 예를 들어, 위치 정보 송수신 기기, 열화상 센서 및 광학센서 등을 구비한다. 이러한 군사용 드론(D1 ~ D4)을 활용하여 적군(e1 ~ e3)과 적군 탱크(t) 등의 현재 위치를 파악함은 물론, 적군(e1 ~ e3)에 대한 공격 방향, 아군(m1 ~ m4)의 향후의 이동 경로 또는 아군(m1 ~ m4)의 퇴로를 용이하게 파악하여, 신속하고도 안전한 부대 이동이 가능하도록 한다.
따라서, 각각의 아군(m1 ~ m4)들은, 자신이 착용하고 있는 웨어러블 디바이스(100)를 통하여, 수많은 적군(e1 ~ e3) 또는 적군 탱크(t)에 대하여 자신의 위치를 노출시키지 않은 상태에서, 신속하고 안전한 부대 이동이나 작전을 수행할 수 있다.
다른 예로서, 군사용 드론 대신에 통신망 기지국을 활용하는 경우, 특정 공간 상의 위치 정보를 감지하기 위하여 통신망 기지국, 와이파이(WiFi) 중계기, 블루투스 비콘 등을 이용하여 위치 정보를 판단하고 각각의 장치들 간의 삼각 측량법 등을 통해 특정 위치들 간의 거리 정보를 산출할 수 있다. 이 경우, 통신망 기지국을 예로 들은 것은 특정 공간을 꼭 어떤 방이나 사무실이 아닌, 예를 들면 서울시 등이 될 수 있음은 자명한 것이다.
또 다른 예로서, 특정 공간이 건물인 경우, 레이저 스캐너, IR 스캐너, 열화상 스캐너 등을 이용하여 건물들의 위치를 3 차원적으로 스캐닝하고, 동시에 사용자가 통신 기지국, 와이파이 중계기, 블루투스 비콘 등으로 위치 정보가 특정되면, 건물들 사이를 가상 물체(V)가 유영하는 등의 컨텐츠 구현이 가능하다.
그리고 도 8은 본 발명의 실시예에 따른 구글 글라스 형태의 웨어러블 디바이스를 나타낸 도면이다.
도 8을 참조하면, 본 발명의 웨어러블 디바이스(100)는 다양한 형상으로 구비될 수 있고, 투명, 반투명, 불투명 글라스 등의 형태로 구성할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 구글 글라스(Google Glass) 제품 등의 형태로 구비될 수 있다.
상술한 본 발명의 가상 현실 구현 시스템은 특히, 가상 갤러리 시스템에 적용됨에 따라, 가상의 큐레이터가 표시되고, 이를 통해 작가의 이력, 경매 정보, 작품에 대한 이력, 작품의 창작 의도 등을 나래이션 방식으로 들려주기도, 웨어러블 디바이스(100)의 디스플레이 패널에 함께 표시되는 메뉴를 선택하게 함으로써, 해당 품목을 직접 구매할 수도 있으며, 디스플레이 패널에 작품과 함께 표시되는 가상의 광고 또는 실제 상품 광고를 선택하여 해당 상품을 구매할 수도 있는 효과가 있다.
또 본 발명의 가상 현실 구현 시스템은 경비 초소에 적용됨으로써, 웨어러블 디바이스(100)와 연동되어 스텝 모터를 통한 광각 IP 카메라(600)가 작동되어 실제로 외곽 근무 순찰을 다니지 않고서도, 경비 초소의 근무 병사가 실제로 경비 초소 등에 머물러 있는 상태에서 자신이 의도하는 대로 각각의 광각 IP 카메라(600)가 촬영한 영상을 통하여 경계 근무가 가능한 특징적인 효과가 있다.
또한 본 발명의 가상 현실 구현 시스템은 군사용 드론에 적용됨에 따라, 적군과 적군 탱크의 현재 위치를 파악함은 물론, 적군에 대한 공격 방향, 아군의 향후의 이동 루트, 퇴각 루트 및 공격 루트 등을 용이하게 파악하여, 신속하고도 안전한 부대 이동 및 작전 수행이 가능한 효과가 있다.
이상에서, 본 발명에 따른 가상 현실 구현 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
100 : 웨어러블 디바이스 200 : 사용자 컴퓨터
300 : 서버 400 : 렌더링 컴퓨터
500 : 3D 광학 스캔 기기 600 : 광각 IP 카메라
I1 ~ I15 : 광학 모션센서 D1 ~ D4 : 군사용 드론
e1 ~ e3 : 적군 Hi : 중첩 영역
L1 ~ L8 : 위치 정보 송수신 센서 M : 사용자
m1 ~ m4 : 아군 P : 압력 센서
R : 실제 사물 S1 : 실제 갤러리
S2 : 개인 직접 관람 공간 t : 적군 탱크
V : 가상 물체

Claims (9)

  1. 가상 현실 구현 시스템에 있어서:
    복수 개의 위치 정보 송수신 센서를 통해 규정되는 특정 공간에 존재하는 실제 사물과 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용 가능한 웨어러블 디바이스와;
    상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하고, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 사용자 컴퓨터 및;
    상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 저장하고, 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 서버를 포함하는 것을 특징으로 하는 가상 현실 구현 시스템.
  2. 제 1 항에 있어서,
    상기 가상 현실 구현 시스템은;
    상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하는 적어도 하나의 3 차원 광학 스캔 기기와;
    상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하는 렌터링 컴퓨터를 더 포함하는 것을 특징으로 하는 가상 현실 구현 시스템.
  3. 제 1 항에 있어서,
    상기 가상 현실 구현 시스템은;
    상기 서버의 제어를 받아서 상기 웨어러블 디바이스의 움직임에 대응하여 촬영 방향이 변경되도록 구동하는 광각 IP 카메라를 더 포함하되;
    상기 웨어러블 디바이스는 상기 광각 IP 카메라로부터 촬영된 영상을 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 가상 현실 구현 시스템.
  4. 제 1 항에 있어서,
    상기 가상 현실 구현 시스템은;
    상기 특정 공간의 바닥면에 구비되어 상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 더 감지하는 복수 개의 압력 센서를 더 구비하는 것을 특징으로 하는 가상 현실 구현 시스템.
  5. 제 1 항에 있어서,
    상기 웨어러블 디바이스는;
    상기 실제 사물과 상기 가상 물체에 대한 부가 정보를 더 표시하고, 상기 부가 정보가 선택되면, 상기 부가 정보에 대응하는 부가 서비스에 연결되도록 처리하는 것을 특징으로 하는 가상 현실 구현 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 서버는;
    상기 웨어러블 디바이스의 상기 디스플레이 패널에 사용자의 시선에 따른 3 차원적 각도에 대응하여 상기 실제 사물과 상기 가상 물체를 더 표시되도록 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 상기 사용자 컴퓨터로 더 제공하는 것을 특징으로 하는 가상 현실 구현 시스템.
  7. 제 6 항에 있어서,
    상기 위치 정보 송수신 센서는;
    상기 실제 사물과 상기 웨어러블 디바이스의 위치 정보를 인식하는 GPS 장치, 통신망 기지국, 무선 통신 중계기 및 드론 중 어느 하나로 구비되는 것을 특징으로 하는 가상 현실 구현 시스템.
  8. 가상 현실 구현 시스템의 가상 현실 구현 방법에 있어서:
    복수 개의 위치 정보 송수신 센서를 이용하여 특정 공간을 규정짓고;
    상기 위치 정보 송수신 센서를 통해 상기 특정 공간에 존재하는 실제 사물의 위치 정보와, 상기 특정 공간 내에서 가상으로 구현되는 가상 물체가 표시되는 디스플레이 패널이 구비된 사용자가 착용한 웨어러블 디바이스의 위치 정보를 감지하고;
    상기 특정 공간 내에 구비된 사용자 컴퓨터를 통해 상기 위치 정보 송수신 센서와 상기 특정 공간 내의 사용자 및 상기 실제 사물의 움직임을 감지하는 복수 개의 광학 모션 센서로부터 상기 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 수집하여, 상기 웨어러블 디바이스로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하고; 그리고
    서버가 상기 특정 공간 내의 실제 사물의 위치 정보와 상기 웨어러블 디바이스의 위치 정보를 판단하여 상기 실제 사물과 상기 가상 물체가 일부 중첩되면, 상기 웨어러블 디바이스의 상기 디스플레이 패널에 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터들 간의 시야 깊이에 따라 상기 실제 사물과 상기 가상 물체 중 상기 웨어러블 디바이스와 근거리에 위치하는 것의 중첩되는 부분이 표시되도록 처리하여, 상기 사용자 컴퓨터로 상기 실제 사물의 이미지 데이터와 상기 가상 물체의 이미지 데이터를 전송하는 것을 특징으로 하는 가상 현실 구현 시스템의 가상 현실 구현 방법.
  9. 제 8 항에 있어서,
    상기 방법은;
    적어도 하나의 3 차원 광학 스캔 기기를 통해 상기 실제 사물을 스캐닝하여 3 차원의 이미지 데이터를 생성하고, 3 차원의 이미지 데이터를 출력하고;
    렌터링 컴퓨터가 상기 3 차원 광학 스캔 기기로부터 상기 3 차원의 이미지 데이터를 받아서 렌더링 연산 처리하여 상기 실제 사물의 이미지 데이터를 상기 서버로 전송하고; 그리고
    상기 서버는 상기 실제 사물의 이미지 데이터를 저장하는 것을 더 포함하는 것을 특징으로 하는 가상 현실 구현 시스템의 가상 현실 구현 방법.
KR1020160138326A 2016-07-22 2016-10-24 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 KR101696243B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/007944 WO2018016928A1 (ko) 2016-07-22 2017-07-24 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160093043 2016-07-22
KR1020160093043 2016-07-22

Publications (1)

Publication Number Publication Date
KR101696243B1 true KR101696243B1 (ko) 2017-01-13

Family

ID=57835444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138326A KR101696243B1 (ko) 2016-07-22 2016-10-24 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법

Country Status (2)

Country Link
KR (1) KR101696243B1 (ko)
WO (1) WO2018016928A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885208A (zh) * 2017-02-27 2022-01-04 精工爱普生株式会社 显示装置、显示***和显示装置的控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087237B (zh) * 2018-06-29 2023-02-03 海口经济学院 一种虚拟头盔
CN111766959B (zh) * 2019-04-02 2023-05-05 海信视像科技股份有限公司 虚拟现实交互方法和虚拟现实交互装置
CN112099638B (zh) * 2020-10-19 2024-02-06 瑞立视多媒体科技(北京)有限公司 虚拟现实场景中的信息处理方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106857B1 (ko) 2011-09-23 2012-01-20 여미옥 3디를 활용한 가상 공간의 갤러리시스템
KR101454445B1 (ko) 2013-10-16 2014-10-27 백명섭 3차원 갤러리 전시 매매 시스템
KR20150126938A (ko) 2013-03-11 2015-11-13 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR101638550B1 (ko) 2014-06-25 2016-07-12 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360999B1 (ko) * 2013-08-09 2014-02-10 코리아디지탈 주식회사 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106857B1 (ko) 2011-09-23 2012-01-20 여미옥 3디를 활용한 가상 공간의 갤러리시스템
KR20150126938A (ko) 2013-03-11 2015-11-13 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR101454445B1 (ko) 2013-10-16 2014-10-27 백명섭 3차원 갤러리 전시 매매 시스템
KR101638550B1 (ko) 2014-06-25 2016-07-12 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885208A (zh) * 2017-02-27 2022-01-04 精工爱普生株式会社 显示装置、显示***和显示装置的控制方法
CN113885208B (zh) * 2017-02-27 2024-02-13 精工爱普生株式会社 显示装置、显示***和显示装置的控制方法

Also Published As

Publication number Publication date
WO2018016928A1 (ko) 2018-01-25

Similar Documents

Publication Publication Date Title
US11789523B2 (en) Electronic device displays an image of an obstructed target
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
US10602115B2 (en) Method and apparatus for generating projection image, method for mapping between image pixel and depth value
KR101696243B1 (ko) 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
US20160292924A1 (en) System and method for augmented reality and virtual reality applications
US20150097719A1 (en) System and method for active reference positioning in an augmented reality environment
WO2015182227A1 (ja) 情報処理装置および情報処理方法
JP6615732B2 (ja) 情報処理装置および画像生成方法
US20130176192A1 (en) Extra-sensory perception sharing force capability and unknown terrain identification system
CN104204848A (zh) 具有测距相机的勘测设备
CN112558008B (zh) 基于光通信装置的导航方法、***、设备及介质
KR102381370B1 (ko) 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
CN112055033B (zh) 基于光通信装置的交互方法和***
WO2023277020A1 (ja) 画像表示システム及び画像表示方法
CN118330882A (zh) 具有增强现实显示器的篝火显示

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 4