KR102637117B1 - 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 - Google Patents

가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 Download PDF

Info

Publication number
KR102637117B1
KR102637117B1 KR1020180045105A KR20180045105A KR102637117B1 KR 102637117 B1 KR102637117 B1 KR 102637117B1 KR 1020180045105 A KR1020180045105 A KR 1020180045105A KR 20180045105 A KR20180045105 A KR 20180045105A KR 102637117 B1 KR102637117 B1 KR 102637117B1
Authority
KR
South Korea
Prior art keywords
mode
signal
mirror
user
display
Prior art date
Application number
KR1020180045105A
Other languages
English (en)
Other versions
KR20190121597A (ko
Inventor
올렉산더 쉬허
올렉산더 라돔스키예
예브겐 야키쉬옌
겐나디 키스
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180045105A priority Critical patent/KR102637117B1/ko
Priority to US16/253,966 priority patent/US11069139B2/en
Publication of KR20190121597A publication Critical patent/KR20190121597A/ko
Application granted granted Critical
Publication of KR102637117B1 publication Critical patent/KR102637117B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 일 실시 예에 따르면, 카메라와 디스플레이를 포함하는 단말 및 상기 디스플레이에서 송출되는 신호를 수신하는 렌즈를 포함하는 컨테이너; 상기 컨테이너의 제 1 측에 소정의 각도로 결합된 제 1 미러; 및 상기 컨테이너의 제 2 측에 소정의 각도로 결합된 제 2 미러를 포함하되, 상기 단말은 프로그램 명령을 저장하는 적어도 하나의 메모리; 및 상기 프로그램 명령을 실행하여, 상기 렌즈에 기초하여 사용자가 가상현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 1 모드 동작, 상기 렌즈 및 상기 제 1 미러에 기초하여 사용자가 증강현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 2 모드 동작 및 상기 렌즈, 상기 제 1 미러 및 상기 제 2 미러에 기초하여 사용자가 혼합현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이 및 상기 카메라를 제어하는 제 3 모드 동작 중 적어도 하나의 동작을 수행하도록 하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는 광학 장치가 개시된다.

Description

가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법{Method and apparatus for virtual reality, augmented reality and mixed reality}
본 개시는 가상현실, 증강현실 및 혼합현실을 위한 장치 및 그 동작 방법에 관한 것이다.
최근, 가상현실(virtual reality, VR)을 구현할 수 있는 전자기기 및 디스플레이 장치가 개발되면서, 이에 대한 관심이 높아지고 있다. 가상 현실(VR)의 다음 단계로 증강 현실(augmented reality, AR) 및 혼합현실(mixed reality, MR)을 실현할 수 있는 기술(방안)도 연구되고 있다.
증강현실(AR)은, 완전 가상 세계를 전제로 하는 가상 현실(VR)과는 달리, 현실 세계의 환경 위에 가상의 대상이나 정보를 겹치거나 결합하여 보여줌으로써 현실의 효과를 더욱 증가시키는 디스플레이 기술이다. 가상현실(VR)이 게임이나 가상 체험과 같은 분야에 한정적으로 적용이 가능했다면, 증강현실(AR)은 다양한 현실 환경에 응용이 가능하다는 장점이 있다. 특히, 증강현실(AR)은 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things, IoT) 환경에 적합한 차세대 디스플레이 기술로 주목받고 있다.
여기에서 한 단계 더 나아가, 현실세계와 가상세계 정보를 결합해 두 세계를 융합시키는 공간을 만들어내는 기술을 '혼합현실(MR)'이라고 한다. 혼합현실은 증강현실(AR)과 가상현실(VR)의 장점을 따온 기술이다. 혼합현실은 현실세계와 가상 정보를 결합한 것이 특징이다. 혼합현실은 증강현실을 개선한 것으로서, 가상현실의 장점 및 증강현실의 장점을 모두 갖는다. 혼합현실을 구현하기 위한 장치는 기본적으로 증강현실을 구현하기 위한 장치와 유사하며, 이하에서는 혼합현실을 구현하기 위한 장치와 증강현실을 구현하기 위한 장치를 통합하여 설명한다.
본 개시의 실시 예들은 가상현실, 증강현실 및 혼합현실을 모두 구현하는 장치의 구성을 제시한다.
또한, 본 개시의 실시 예들은 낮은 비용으로도 가상현실, 증강현실 및 혼합현실을 모두 구현하는 장치의 구성을 제시한다.
본 개시의 실시 예에 따르면, 카메라와 디스플레이를 포함하는 단말 및 상기 디스플레이에서 송출되는 신호를 수신하는 렌즈를 포함하는 컨테이너; 상기 컨테이너의 제 1 측에 소정의 각도로 결합된 제 1 미러; 및 상기 컨테이너의 제 2 측에 소정의 각도로 결합된 제 2 미러를 포함하되, 상기 단말은 프로그램 명령을 저장하는 적어도 하나의 메모리; 및 상기 프로그램 명령을 실행하여, 상기 렌즈에 기초하여 사용자가 가상현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 1 모드 동작, 상기 렌즈 및 상기 제 1 미러에 기초하여 사용자가 증강현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 2 모드 동작 및 상기 렌즈, 상기 제 1 미러 및 상기 제 2 미러에 기초하여 사용자가 혼합현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이 및 상기 카메라를 제어하는 제 3 모드 동작 중 적어도 하나의 동작을 수행하도록 하는 적어도 하나의 프로세서를 포함하는 것을 특징으로 하는 광학 장치가 개시된다.
상기 적어도 하나의 프로세서는 상기 제1 모드에서, 상기 가상현실에 따른 콘텐츠에 대한 신호가 상기 렌즈를 통과하여 사용자의 눈에 입력되도록 디스플레이를 제어하는 것을 특징으로 할 수 있다.
상기 제2 모드는 상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 사용자가 상기 제1 미러를 통해 응시하는 오브젝트에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 할 수 있다.
상기 증강현실에 따른 콘텐츠에 대한 신호는 상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 할 수 있다.
상기 제3 모드는 상기 사용자가 상기 제 1 미러를 통해 응시하는 오브젝트에 대한 신호와, 상기 제 2 미러를 통해 상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가, 합성되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 할 수 있다.
상기 혼합현실에 따른 콘텐츠에 대한 신호는 상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 할 수 있다.
상기 프로세서는 상기 제3 모드에서, 상기 카메라에서 인식된 상기 오브젝트에 대한 신호와, 상기 제 1 미러를 통해 응시하는 오브젝트에 대한 신호를 비교하여, 상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 대한 왜곡 상태를 보정하는 것을 특징으로 할 수 있다.
상기 컨테이너는 상기 제1 모드, 상기 제2 모드 및 상기 제3 모드 중 적어도 하나의 모드로 전환하기 위한 전환부를 더 포함하는 것을 특징으로 할 수 있다.
본 개시의 일 실시 예에 따르면, 가상현실에 따른 콘텐츠를 인식하도록 하는 제 1 모드, 증강현실에 따른 콘텐츠를 인식하도록 하는 제 2 모드 및 혼합현실에 따른 콘텐츠를 인식하도록 하는 제 3 모드 중 적어도 하나를 선택하는 단계; 및 상기 선택에 기초하여, 렌즈에 기반하여 사용자가 가상현실에 따른 콘텐츠를 인식하도록, 디스플레이를 제어하는 상기 제 1 모드; 상기 렌즈 및 제1 미러에 기반하여 사용자가 증강현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 상기 제 2 모드; 및 상기 렌즈, 상기 제 1 미러 및 제 2 미러에 기반하여 사용자가 혼합현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이 및 카메라를 제어하는 상기 제 3 모드 중 적어도 하나를 수행하는 단계를 포함하는 것을 특징으로 하는 광학 장치의 동작 방법이 개시된다.
상기 제1 모드는 상기 가상현실에 따른 콘텐츠에 대한 신호가 상기 렌즈를 통과하여 사용자의 눈에 입력되도록 디스플레이를 제어하는 모드인 것을 특징으로 할 수 있다.
상기 제2 모드는 상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 사용자가 상기 제1 미러를 통해 응시하는 오브젝트에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 할 수 있다.
상기 제1 미러는 상기 단말 및 상기 렌즈를 포함하는 컨테이너의 제 1 측에 소정의 각도로 결합된 것을 특징으로 할 수 있다.
상기 증강현실에 따른 콘텐츠에 대한 신호는 상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 할 수 있다.
상기 제3 모드는 상기 사용자가 상기 제 1 미러를 통해 응시하는 오브젝트에 대한 신호와, 상기 제 2 미러를 통해 상기 카메라에서 인식된 상기 오브젝트에 대한 신호 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가, 합성되어 상기 사용자의 눈에 입력되는 것을 특징으로 할 수 있다.
상기 제2 미러는 상기 단말 및 상기 렌즈를 포함하는 컨테이너의 제 2 측에 소정의 각도로 결합된 것을 특징으로 할 수 있다.
상기 혼합현실에 따른 콘텐츠에 대한 신호는 상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 할 수 있다.
상기 제3 모드는 상기 카메라에서 인식된 상기 오브젝트에 대한 신호와, 상기 제 1 미러를 통해 응시하는 오브젝트에 대한 신호를 비교하여, 상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 대한 왜곡 상태를 보정하는 모드인 것을 특징으로 할 수 있다.
본 개시의 일 실시 예에 따르면, 광학 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 개시된다.
본 개시의 실시 예들에 따르면, 가상현실 모드, 증강현실 모드 및 혼합현실 모드를 하나의 광학 장치를 통해 모두 구현할 수 있다.
본 개시의 실시 예들에 따르면, 가상현실 모드, 증강현실 모드 및 혼합현실 모드를 구현하는데 있어, 각 모드에서 공통적으로 사용될 수 있는 장치들을 활용함으로써, 본 개시에 따른 광학 장치를 구성하는데 따르는 비용을 줄일 수 있다.
도 1은 본 개시의 일 실시 예에 따른 광학 시스템의 구성을 도시한 도면이다.
도 2 내지 도 4는 본 개시의 일 실시 예에 따른 가상현실 모드에 대한 장치 및 동작을 구체적으로 설명하기 위한 도면들이다.
도 5 내지 도 7은 본 개시의 일 실시 예에 따른 증강현실 및/또는 혼합현실 모드에 대한 장치 및 동작을 구체적으로 설명하기 위한 도면들이다.
도 8은 본 개시의 일 실시 예에 따른 광학 장치에 대한 사용자의 사용 순서를 도시한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 보정 소프트웨어를 통해 왜곡 현상을 완화하기 위한 장치들간의 관계를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서 전반에 걸쳐 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 광학 시스템의 구성을 도시한 것이다.
구체적으로, 도 1은 가상현실 모드(110) 및 증강현실모드 및 혼합현실 모드 중 적어도 하나의 모드(130)에 대한 광학 장치(100)를 도시한 것이다.
본 발명의 일 실시 예에 따르면, 가상현실 모드(110) 및 증강현실모드 및 혼합현실 모드 중 적어도 하나의 모드(130)를 단일 장치인 광학 장치(100)를 통해 구현할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 광학 장치(100)는 동일한 광학 요소, 컨테이너 및 단말(예를 들어, 스마트폰)을 포함할 수 있다.
구체적으로, 본 개시의 일 실시 예에 따른 광학 장치(100)는 가상현실 콘텐츠를 표시하기 위한 가상현실 모드(110)(이하 제1 모드)를 구현하기 위한 제1 구성부(111, 115 및 117), 증강현실 콘텐츠를 표시하기 위한 증강현실 모드(이하 제2 모드) 및 혼합현실 콘텐츠를 표시하기 위한 혼합현실 모드(이하 제3 모드) 중 어느 하나의 모드(130)를 구현하기 위한 제2 구성부(111, 115, 117, 131 및 133)를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 광학 장치(100)의 사용자는 컨테이너(117)를 통해 상기 제1 모드, 제2 모드 및 제3 모드 중 어느 하나의 모드로 전환하는 동작(120)을 할 수 있다.
상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)는 상기 단말(111)을 공유하여 포함할 수 있다. 또한, 상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)는 상기 단말(111)로부터 출력된 이미지 신호를 입력 받는 렌즈(115)를 공유하여 포함할 수 있다. 또한, 상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)는 상기 컨테이너(117)를 공유하여 포함할 수도 있다. 다만, 각 구성부에 포함된 장치들은 상술한 장치들을 반드시 포함하여야 하는 것은 아니며, 각 구성부의 특성을 정의하기에 적절한 장치들을 포함하는 개념으로 이해되어야 한다. 예를 들어, 상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)는 상기 컨테이너(117)를 공유하여 포함하고 있지만, 이는 하나의 예시에 불과하고, 각 구성부의 정의에 따라서는 상기 제1 구성부 및 상기 제2 구성부는 상기 컨테이너(117)를 포함하지 않을 수도 있다.
상기 제1 모드(110)를 구현하기 위해서 상기 제1 구성부(111, 115 및 117)가 대응할 수 있다.
상기 제1 구성부(111, 115 및 117)는 단말(111), 렌즈(115) 및 컨테이너(117)를 포함할 수 있다.
상기 단말(111)은 프로세서(미도시), 메모리(미도시), 카메라(113) 및 디스플레이(114)를 포함할 수 있다.
상기 단말(111)은 휴대 전화 및 태블릿 PC를 포함하는 모바일 기기 또는 CPU를 포함하는 컴퓨팅 장치일 수 있다. 상기 단말(111)은 상기 컨테이너(117)와 독립적인 독립형 장치(standalone device)일 수 있다.
상기 단말(111)은 프로그램 명령을 저장하는 적어도 하나의 메모리를 포함할 수 있다. 상기 프로그램 명령은 가상현실 모드, 증강현실 모드 및 혼합현실 모드 중 적어도 하나의 모드에 대한 콘텐츠를 실행하기 위한 명령어일 수 있다.
상기 적어도 하나의 프로세서는 상기 단말(111)과 상기 단말(111)에 포함된 구성들의 동작을 제어할 수 있는 장치일 수 있다. 상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어할 수 있다. 상기 디스플레이(114)는 적어도 하나 이상의 발광 장치를 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 적어도 하나 이상의 발광 장치를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 제1 모드(110)에서 상기 디스플레이(114)가 가상 현실 콘텐츠에 대한 신호를 출력하도록 제어할 수 있다.
상기 렌즈(115)는 상기 신호를 굴절시켜 사용자의 눈(119)으로 출력할 수 있다. 이를 통해, 사용자의 눈(119)은 상기 신호를 수신하여, 상기 가상 현실 콘텐츠를 인식할 수 있다.
즉, 상기 제1 모드에 따른 상기 제1 구성부를 통해, 사용자는 상기 가상 현실 콘텐츠를 인식할 수 있다.
상기 제2 모드 및 제3 모드 중 적어도 어느 하나의 모드(130)를 구현하기 위해서 상기 제2 구성부(111, 115, 117, 131 및 133)가 대응될 수 있다.
상기 제2 구성부(111, 115, 117, 131 및 133)는 단말(111), 렌즈(115), 컨테이너(117), 거울(131) 및 반투명 거울(133)을 포함할 수 있다.
상기 단말(111)은 적어도 하나의 프로세서(미도시), 카메라(113) 및 디스플레이(114)를 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 카메라(113) 및 디스플레이(114)를 제어할 수 있다. 상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어할 수 있다. 상기 디스플레이(114)는 적어도 하나 이상의 발광 장치를 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 적어도 하나 이상의 발광 장치를 제어할 수 있다. 또한, 상기 적어도 하나의 프로세서는 상기 제2 모드에서 상기 디스플레이(114)가 증강현실 콘텐츠에 대한 신호를 출력하도록 제어할 수 있고, 상기 제3 모드에서 상기 디스플레이(114)가 혼합현실 콘텐츠에 대한 신호를 출력하도록 제어할 수 있다.
상기 거울(131)은 현실 물체에 대한 현실 신호를 반사하여 상기 카메라(113)로 출력할 수 있다. 상기 거울(131)은 상기 컨테이너(117)의 일 측에 소정의 각도로 결합되어 있을 수 있다.
상기 렌즈(115)는 상기 증강현실 콘텐츠에 대한 신호 및 상기 혼합현실 콘텐츠에 대한 신호 중 적어도 하나의 신호를 투과하여 상기 반투명 거울(133)로 출력할 수 있다.
상기 반투명 거울(133)은 현실 물체에 대한 현실 신호를 투과하여 사용자의 눈으로 출력할 수 있고, 상기 반투명 거울(133)은 상기 렌즈(115)로부터 출력된 상기 증강현실 콘텐츠에 대한 신호 및 상기 혼합현실 콘텐츠에 대한 신호 중 적어도 하나의 신호를 반사하여 사용자의 눈(119)으로 출력할 수 있다. 이를 통해, 사용자의 눈(119)은 상기 증강현실 및/또는 혼합현실 콘텐츠를 인식할 수 있다. 상기 반투명 거울(133)은 상기 컨테이너(117)의 일 측에 소정의 각도로 결합되어 있을 수 있다.
즉, 상기 제2 모드 및 제3 모드 중 적어도 어느 하나의 모드에 따른 상기 제2 구성부를 통해, 사용자는 상기 증강현실 및/또는 혼합현실 콘텐츠를 인식할 수 있다.
상기 컨테이너(117)는 상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)를 지지하기 위한 지지부(미도시) 및 상기 제1 모드, 제2 모드 및 제3 모드 중 적어도 하나의 모드로 전환하기 위한 전환부(미도시)를 포함할 수 있다.
상기 지지부는 상기 제1 구성부(111, 115 및 117) 및 상기 제2 구성부(111, 115, 117, 131 및 133)를 지지하기 위한 컨테이너(117)의 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 전환부는 사용자가 상기 제1 모드, 제2 모드 및 제3 모드 중 적어도 하나의 모드로 전환하기 위한 컨테이너(117)의 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 지지부 및 상기 전환부는 일체의 물리적 장치에 의해 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 사용자는 컨테이너(117)를 통해 상기 제1 모드, 제2 모드 및 제3 모드 중 어느 하나의 모드로 전환하는 동작(120)을 할 수 있다.
또한, 상기 제1 모드(110)에 대한 상기 제1 구성부(111, 115 및 117)와, 상기 제2 모드 및 제3 모드 중 어느 하나의 동작 모드(130)에 대한 상기 제2 구성부(111, 115, 117, 131 및 133)는 상기 단말(111) 및 상기 렌즈(115)를 공유하여 포함하고 있기 때문에, 상기 제1 모드(110) 및 상기 제2 동작 모드(130)를 한 장치(100) 내에 함께 구현함에도 불구하고, 요구되는 장치의 구성을 최소화할 수 있다. 이를 통해, 본 개시의 실시 예에 따른 장치(100)는 낮은 비용으로도 가상현실, 증강현실 및 혼합현실을 모두 구현할 수 있다.
도 2 내지 도 4는 본 개시의 일 실시 예에 따른 가상현실 모드(제1 모드)에 대한 동작을 구체적으로 설명하기 위한 도면이다.
도 2는 상기 제1 모드의 일 실시 예로서, 사용자가 가상현실 콘텐츠를 인식하는 과정을 도시한 것이다.
도 2를 참조하여 설명되는 제1 모드의 일 실시 예는, 가상현실 콘텐츠에서 사용자가 멀리 존재한다고 인식하는 가상현실 물체들(201 및 203)을 가정하여 설명한다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어할 수 있다. 상기 디스플레이(114)는 발광 장치(211 및 213)를 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 발광 장치(211 및 213)를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어하여, 사용자가 가상현실 물체들(201 및 203)이 멀리 존재한다고 인식할 수 있게 하는 발광 장치를 동작시킬 수 있다.
예를 들어, 상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어하여, 사용자가 가상현실 물체(201)가 멀리 존재한다고 인식할 수 있게 하는 발광 장치(211)를 동작시킬 수 있고, 사용자가 가상현실 물체(203)가 멀리 존재한다고 인식할 수 있게 하는 발광 장치(213)를 동작시킬 수 있다.
도 3은 상기 제1 모드의 일 실시 예로서, 사용자가 가상현실 콘텐츠를 인식하는 또 다른 과정을 도시한 것이다.
도 3을 참조하여 설명되는 제1 모드의 일 실시 예는, 가상현실 콘텐츠에서 사용자가 가까이 존재한다고 인식하는 가상현실 물체(301) 및 사용자가 멀리 존재한다고 인식하는 가상현실 물체(303)를 가정하여 설명한다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어할 수 있다. 상기 디스플레이(114)는 발광 장치들(311 및 313)을 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 발광 장치들(311 및 313)을 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어하여, 사용자가 가상현실 물체(301)가 멀리 존재한다고 인식할 수 있게 하는 발광 장치들(311 및 313)을 동작시킬 수 있다.
도 4는 상기 제1 모드에서 본 개시의 실시 예에 따른 광학 장치를 착용한 사용자의 모습을 도시한 것이다.
상기 제1 구성부(111, 115 및 117)는 단말(111), 렌즈(115) 및 컨테이너(117)를 포함할 수 있다.
본 개시의 일 실시 예로서, 상기 단말(111)은 모바일 스마트 기기일 수 있다.
상기 단말(111)은 적어도 하나의 프로세서(미도시), 카메라(113) 및 디스플레이(114)를 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 단말(111)의 디스플레이(114)를 제어할 수 있다. 상기 디스플레이(114)는 적어도 하나 이상의 발광 장치를 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 적어도 하나 이상의 발광 장치를 제어할 수 있다.
상기 적어도 하나의 프로세서는 상기 제1 모드(110)에서 상기 디스플레이(114)가 가상 현실 콘텐츠에 대한 신호를 출력하도록 제어할 수 있다.
상기 렌즈(115)는 상기 가상 현실 콘텐츠에 대한 신호를 굴절시켜 사용자의 눈(119)으로 출력할 수 있다. 상기 가상 현실 콘텐츠에 대한 신호는 상기 렌즈(115)를 투과하여 사용자의 눈(119)으로 입력될 수 있다.
상기 컨테이너(117)는 상기 제1 구성부(111, 115 및 117)를 지지하기 위한 지지부 및 제1 모드, 제2 모드 및 제 3 모드 중 어느 하나의 동작 모드로 전환하기 위한 전환부를 포함할 수 있다.
상기 지지부는 상기 제1 구성부(111, 115 및 117)를 지지하기 위한 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 전환부는 사용자가 상기 제1 모드, 제2 모드 및 제 3 모드 중 어느 하나의 동작 모드로 전환하기 위한 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 지지부 및 상기 전환부는 일체의 물리적 장치에 의해 구현될 수 있다.
본 개시의 일 실시 예로서, 상기 컨테이너(117)는 골판지 재질의 카드보드로 생성될 수 있다. 다만, 상기 컨테이너(117)가 골판지 재질의 카드보드로 생성될 수 있는 것은 하나의 일 실시 예에 불과하고, 실제로는 금속 및 플라스틱 등 다양한 재료를 통해 생성될 수 있다.
또한, 상기 컨테이너(117)는 상기 제1 구성부(111, 115 및 117)를 물리적으로 지지하여, 상기 제1 구성부를 정해진 위치에 고정시킬 수 있다. 그리고, 사용자는 상기 컨테이너(117)가 포함하는 전환부를 통해 상기 제1 모드에서, 상기 제2 모드 및 제3 모드 중 적어도 하나의 모드로 전환할 수도 있다.
도 5 내지 도 7은 본 개시의 실시 예에 따른 증강현실 모드(제2 모드) 및 혼합현실 모드(제3 모드) 중 적어도 어느 하나의 모드를 구성하는 장치들을 도시한 것이다.
도 5는 상기 증강현실 모드(제2 모드) 및 혼합현실 모드(제3 모드) 중 적어도 어느 하나의 모드의 일 실시 예를 도시한 것이다. 사용자는 상기 증강현실 모드(제2 모드)를 통해 증강현실 콘텐츠를 인식할 수 있고, 사용자는 상기 혼합현실 모드(제3 모드)를 통해 혼합현실 콘텐츠를 인식할 수 있다.
상기 제2 구성부(111, 115, 117, 131 및 133)는 단말(111), 렌즈(115), 컨테이너(117), 거울(131) 및 반투명 거울(133)을 포함할 수 있다.
본 개시의 일 실시 예로서, 상기 단말(111)은 모바일 스마트 기기일 수 있다. 상기 단말(111)은 카메라(113) 및 디스플레이(114)를 포함할 수 있다.
증강현실 모드(제2 모드) 및 혼합현실 모드(제3 모드) 중 적어도 어느 하나의 모드에서, 사용자의 눈(119)은 현실 물체(531)에 대한 현실 신호(533)를 상기 반투명 거울(133)을 통해 인식할 수 있다.
증강현실 모드(제2 모드)에서, 사용자의 눈(119)은 증강현실 콘텐츠에 따른 신호(523)를 인식할 수 있고, 혼합현실 모드(제3 모드)에서, 사용자의 눈(119)은 혼합현실 콘텐츠에 대한 신호(523)를 인식할 수 있다.
상기 반투명 거울(133)은 상기 현실 물체(531)로부터의 현실 신호(533)를 투과시켜, 사용자의 눈(119)으로 출력할 수 있다. 또한, 상기 반투명 거울(133)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력할 수 있다.
상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사하여 상기 카메라(113)로 출력할 수 있다. 이를 통해, 상기 거울(131)은 현실 세계를 추적하는 역할을 수행할 수 있다.
상기 거울(131)은 상기 컨테이너(117)의 일 측에 소정의 각도로 결합되어 있을 수 있다. 구체적으로, 상기 거울(131)은 현실 세계를 추적하기에 충분한 각도로 상기 컨테이너(117)의 일 측에 결합되어 있을 수 있다. 컨테이너(117)의 일 측이란, 상기 카메라(113)가 현실 신호(535)를 수신하기 위해 적합한 상기 거울(131)의 결합 위치를 의미할 수 있다.
다만, 상기 거울(131)은 혼합현실 모드가 아닌 증강현실 모드에서는 사용자의 선택 사항(optional)일 수 있다. 따라서, 혼합현실 모드에서 상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사하기 위한 각도로 존재할 수 있다. 반면, 증강현실 모드에서 상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사할 수 없는 각도로 존재할 수 있다.
마찬가지로, 상기 카메라(113) 또한 혼합현실 모드가 아닌 증강현실 모드에서는 사용자의 선택 사항(optional)일 수 있다. 따라서, 혼합현실 모드에서 상기 적어도 하나의 프로세서는 상기 카메라를 동작시킬 수 있다. 반면, 증강현실 모드에서 상기 적어도 하나의 프로세서는 상기 카메라를 동작시키지 않을 수 있다.
증강현실 모드에서, 상기 단말(111)의 적어도 하나의 프로세서는 증강현실에 따른 콘텐츠에 대한 신호를, 상기 디스플레이(114)를 통해 출력할 수 있다.
상기 적어도 하나의 프로세서는 상기 디스플레이(114)의 발광 장치(521)를 제어하여, 증강현실에 따른 콘텐츠에 대한 신호를 상기 렌즈(115)를 향해 출력할 수 있다.
상기 증강현실에 따른 콘텐츠에 대한 신호는, 상기 렌즈(115)를 통과하여, 상기 반투명 거울(133)에 반사된 후, 사용자의 눈에 입력될 수 있다.
상기 반투명 거울(133)은 상기 현실 물체(531)로부터의 현실 신호(533)를 투과시켜, 사용자의 눈(119)으로 출력할 수 있다. 또한, 상기 반투명 거울(133)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력할 수 있다.
상기 반투명 거울(133)은 상기 컨테이너(117)의 일 측에 소정의 각도로 결합되어 있을 수 있다. 구체적으로, 상기 반투명 거울(133)은 상기 현실 물체(531)로부터의 현실 신호(533)를 투과시켜, 사용자의 눈(119)으로 출력하기에 충분한 각도로 상기 컨테이너(117)의 일 측에 결합되어 있을 수 있다. 또한, 상기 반투명 거울(133)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력하기에 충분한 각도로 상기 컨테이너(117)의 일 측에 결합되어 있을 수 있다.
컨테이너(117)의 일 측이란, 상기 현실 물체(531)로부터의 현실 신호(533)를 투과시켜, 사용자의 눈(119)으로 출력하기에 적합하면서, 동시에 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력하기에 적합한 상기 반투명 거울(133)의 결합 위치를 의미할 수 있다.
사용자의 눈(119)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를, 현실 물체(531)에 대한 가상 신호로 인식할 수 있다. 이를 통해, 사용자는 현실 물체와 합성된 가상 물체를 동시에 인식할 수 있다.
즉, 상기 증강현실 모드는, 상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 사용자가 상기 반투명 거울(133)을 통해 응시하는 현실 물체에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드일 수 있다.
혼합현실 모드에서, 상기 단말(111)의 적어도 하나의 프로세서는 상기 카메라(113)를 통해 인식한 현실 신호(535)의 세기, 위치 및 방향 등을 소프트웨어를 통해 분석하여, 분석한 결과가 반영된 혼합현실에 따른 콘텐츠에 대한 신호를, 상기 디스플레이(114)를 통해 출력할 수 있다. 상기 혼합현실에 따른 콘텐츠에 대한 신호는, 상기 렌즈(115)를 통과하여, 상기 반투명 거울(133)에 반사된 후, 사용자의 눈에 입력될 수 있다.
구체적으로, 상기 적어도 하나의 프로세서는 상기 현실 신호(535)의 밝기, 세기, 위치 및 방향 등의 요소를 분석하여, 현실 물체(531)의 구체적인 상태를 추적할 수 있다.
그리고, 상기 적어도 하나의 프로세서는 상기 현실 물체(531)의 구체적인 상태에 따라, 상기 현실 물체(531)와 적합한 혼합현실에 따른 콘텐츠에 대한 신호를 생성하여, 상기 디스플레이(114)를 통해 출력할 수 있다.
예를 들어, 상기 현실 물체(531)의 밝기가 어두운 경우, 상기 적어도 하나의 프로세서는, 혼합현실에 따른 콘텐츠를 어두운 밝기로 출력하여, 사용자가 상기 현실 물체(531)와 상기 혼합현실에 따른 콘텐츠를 더 자연스럽게 인식하도록 할 수 있다.
상기 적어도 하나의 프로세서는 상기 디스플레이(114)의 발광 장치(521)를 제어하여, 혼합현실에 따른 콘텐츠에 대한 신호를 상기 렌즈(115)를 향해 출력할 수 있다.
상기 렌즈(115)는 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 굴절하여 상기 반투명 거울(133)로 출력할 수 있다. 하나의 예시로서, 상기 렌즈(115)는 상기 혼합현실에 따른 콘텐츠에 대한 신호를 확대하여 상기 반투명 거울(133)로 출력할 수 있다. 다만, 이는 렌즈(115)가 수행할 수 있는 하나의 예시에 불과하고, 다양한 실시 예에 따라 상기 렌즈(115)는 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 그대로 출력하거나, 축소하여 출력할 수도 있을 것이다.
상기 반투명 거울(133)은 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력할 수 있다.
사용자의 눈(119)은 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를, 현실 물체(531)에 대한 가상 신호로 인식할 수 있다. 이를 통해, 사용자는 현실 물체와 합성된 가상 물체를 동시에 인식할 수 있다.
즉, 상기 증강현실 모드는, 상기 사용자가 상기 반투명 거울(133)을 통해 응시하는 현실 물체에 대한 신호와, 상기 거울(131)을 통해 상기 카메라에서 인식된 상기 현실 물체에 대한 신호에 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가, 합성되어 상기 사용자의 눈에 입력되는 모드이다.
다만, 혼합현실에 따른 콘텐츠에 대한 신호(523)를 출력하기 위한 상기 카메라(113)의 위치와, 사용자의 눈(119)의 위치가 서로 다르기 때문에, 사용자의 눈(119)이 최종적으로 인식하는 광 신호는 다소 왜곡된 광 신호일 수 있다.
따라서, 상기 컨테이너(117)는 상기 제2 모드에서 발생할 수 있는 왜곡 현상을 조정하기 위한 조정부(미도시)를 더 포함할 수 있다.
상기 조정부는 상기 거울(131)의 위치를 조정하는 장치를 포괄하는 개념이다.
예를 들어, 사용자는 상기 조정부(미도시)를 통해, 상기 거울(131)과 상기 단말(111)이 이루는 각도를 조절할 수 있다.또한, 상기 적어도 하나의 프로세서는 보정 소프트웨어(calibration software)를 통해, 상기 왜곡 현상을 완화할 수 있다. 구체적으로, 사용자는 상기 보정 소프트웨어에서 요구하는 왜곡 정보를 상기 단말(111)에 입력할 수 있다.
상기 적어도 하나의 프로세서는 상기 왜곡 정보를 바탕으로, 상기 카메라에서 인식된 현실 물체에 대한 신호에 대한 왜곡 상태를 보정하여, 보정된 혼합현실에 따른 콘텐츠에 대한 신호(523)를 상기 디스플레이(114)를 통해 출력할 수 있다.
상기 보정 소프트웨어과 관련 장치들과의 관계는, 도 9를 참조하여 더 자세히 설명하기로 한다.
도 6은 본 개시의 일 실시예에 따라 도 5를 참조하여 설명된 상기 제2 모드를 입체적으로 표현한 것이다.
상기 제2 구성부(111, 115, 117, 131 및 133)는 단말(111), 렌즈(115), 컨테이너(117), 거울(131) 및 반투명 거울(133)을 포함할 수 있다.
사용자는 상기 증강현실 모드(제2 모드)를 통해 증강현실 콘텐츠를 인식할 수 있고, 사용자는 상기 혼합현실 모드(제3 모드)를 통해 혼합현실 콘텐츠를 인식할 수 있다.
상기 반투명 거울(133)은 상기 현실 물체(531)로부터의 현실 신호(533)를 투과시켜, 사용자의 눈(119)으로 출력할 수 있다. 상기 반투명 거울(133)은 빛의 일부는 반사하고, 다른 일부는 투과하는 빔 스플리터(beam splitter)일 수 있다.
또한, 상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사하여 상기 카메라(113)로 출력할 수 있다. 이를 통해, 상기 거울(131)은 현실 세계를 추적하는 역할을 수행할 수 있다.
다만, 상기 거울(131)은 혼합현실 모드가 아닌 증강현실 모드에서는 사용자의 선택 사항(optional)일 수 있다. 따라서, 혼합현실 모드에서 상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사하기 위한 각도로 존재할 수 있다. 반면, 증강현실 모드에서 상기 거울(131)은 상기 현실 물체(531)에 대한 현실 신호(535)를 반사할 수 없는 각도로 존재할 수 있다.
마찬가지로, 상기 카메라(113) 또한 혼합현실 모드가 아닌 증강현실 모드에서는 사용자의 선택 사항(optional)일 수 있다. 따라서, 혼합현실 모드에서 상기 적어도 하나의 프로세서는 상기 카메라를 동작시킬 수 있다. 반면, 증강현실 모드에서 상기 적어도 하나의 프로세서는 상기 카메라를 동작시키지 않을 수 있다.
증강현실 모드에서, 상기 단말(111)의 적어도 하나의 프로세서는 증강현실에 따른 콘텐츠에 대한 신호를, 상기 디스플레이(114)를 통해 출력할 수 있다.
상기 증강현실에 따른 콘텐츠에 대한 신호는, 상기 렌즈(115)를 통과하여, 상기 반투명 거울(133)에 반사된 후, 사용자의 눈에 입력될 수 있다.
상기 반투명 거울(133)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력할 수 있다.
사용자의 눈(119)은 상기 증강현실에 따른 콘텐츠에 대한 신호(523)를, 현실 물체(531)에 대한 가상 신호로 인식할 수 있다. 이를 통해, 사용자는 현실 물체와 합성된 가상 물체를 동시에 인식할 수 있다.
즉, 상기 증강현실 모드는, 상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 사용자가 상기 반투명 거울(133)을 통해 응시하는 현실 물체에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드이다.
혼합현실 모드에서, 상기 단말(111)의 적어도 하나의 프로세서는 상기 카메라(113)를 통해 인식한 현실 신호(535)의 세기, 위치 및 방향 등을 소프트웨어를 통해 분석하여, 분석한 결과가 반영된 혼합현실에 따른 콘텐츠에 대한 신호를, 상기 디스플레이(114)를 통해 출력할 수 있다.
구체적으로, 상기 적어도 하나의 프로세서는 상기 현실 신호(535)의 밝기, 세기, 위치 및 방향 등의 요소를 분석하여, 현실 물체(531)의 구체적인 상태를 추적할 수 있다.
그리고, 상기 적어도 하나의 프로세서는 상기 현실 물체(531)의 구체적인 상태에 따라, 상기 현실 물체(531)와 적합한 혼합현실에 따른 콘텐츠에 대한 신호를 생성하여, 상기 디스플레이(114)를 통해 출력할 수 있다.
예를 들어, 상기 현실 물체(531)의 밝기가 어두운 경우, 상기 적어도 하나의 프로세서는, 혼합현실에 따른 콘텐츠를 어두운 밝기로 출력하여, 사용자가 상기 현실 물체(531)와 상기 혼합현실에 따른 콘텐츠를 더 자연스럽게 인식하도록 할 수 있다.
상기 렌즈(115)는 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 굴절하여 상기 반투명 거울(133)로 출력할 수 있다.
상기 반투명 거울(133)은 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 반사하여, 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 사용자의 눈(119)으로 출력할 수 있다.
사용자의 눈(119)은 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를, 현실 물체(531)에 대한 가상 신호로 인식할 수 있다. 이를 통해, 사용자는 현실 물체와 합성된 가상 물체를 동시에 인식할 수 있다.
즉, 상기 증강현실 모드는, 상기 사용자가 상기 반투명 거울(133)을 통해 응시하는 현실 물체에 대한 신호와, 상기 거울(131)을 통해 상기 카메라에서 인식된 상기 현실 물체에 대한 신호에 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가, 합성되어 상기 사용자의 눈에 입력되는 모드이다.
도 7은 상기 제2 모드에서 본 개시의 실시 예에 따른 광학 장치를 착용한 사용자의 모습을 도시한 것이다.
상기 제2 구성부(111, 115, 117, 131 및 133)는 단말(111), 렌즈(115), 컨테이너(117), 거울(131) 및 반투명 거울(133)을 포함할 수 있다.
본 개시의 일 실시 예로서, 상기 단말(111)은 모바일 스마트 기기일 수 있다.
상기 단말(111)은 적어도 하나의 프로세서(미도시), 카메라(113) 및 디스플레이(114)를 포함할 수 있다.
상기 컨테이너(117)는 상기 제2 구성부(111, 115, 117, 131 및 133)를 지지하기 위한 지지부 및 상기 제1 모드 및 상기 제2 동작 모드 중 어느 하나의 동작 모드로 전환하기 위한 전환부를 포함할 수 있다.
상기 지지부는 상기 제2 구성부(111, 115, 117, 131 및 133)를 지지하기 위한 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 전환부는 사용자가 상기 제1 모드 및 상기 제2 동작 모드 중 어느 하나의 동작 모드로 전환하기 위한 모든 물리적 장치 및 물리적 장치의 결합을 포함하는 개념일 수 있다.
상기 지지부 및 상기 전환부는 일체의 물리적 장치에 의해 구현될 수도 있다.
예를 들어, 상기 컨테이너(117)는 골판지 재질의 카드보드로 생성될 수 있다. 도 7에 도시된 바와 같이, 상기 컨테이너(117)는 일체의 카드보드로 구성될 수 있다. 또한, 상기 컨테이너(117)는 상기 제2 구성부(111, 115, 117, 131 및 133)를 물리적으로 지지하여, 상기 제2 구성부를 정해진 위치에 고정시킬 수 있다. 그리고, 사용자는 상기 컨테이너(117)가 포함하는 전환부를 통해 상기 제2 동작 모드에서 상기 제1 모드로 전환할 수도 있다.
도 8은 본 개시의 실시 예에 따른 광학 장치에 대한 사용자의 사용 순서를 도시한 것이다.
단계 S801에서, 사용자는 상기 단말(111)을 통해, 가상현실 모드, 증강현실 모드 및 혼합현실 모드 중 적어도 어느 하나의 모드에 대한 응용 프로그램을 실행시킬 수 있다.
단계 S803에서, 사용자는 상기 응용 프로그램 내에서, 가상현실 모드, 증강현실 모드 및 혼합현실 모드 중 적어도 어느 하나의 모드를 선택하고, 상기 응용 프로그램의 UI에 대한 기본적인 작업을 수행할 수 있다.
단계 S805에서, 사용자는 상기 단말(111)을 상기 컨테이너(117) 내에 삽입하여 장착할 수 있다. 상기 컨테이너(117)는 사용자의 머리에 장착되는 헤드 마운트 장치일 수 있다.
단계 S807에서, 상기 단말(111)의 적어도 하나의 프로세서는 가상현실 모드, 증강현실 모드 및 혼합현실 모드 중 어떤 모드인지 확인할 수 있다.
증강현실 모드 및 혼합현실 모드 중 어느 하나의 모드인 경우, 단계 S809에서, 상기 단말(111)의 적어도 하나의 프로세서는 상기 디스플레이(114)를 통해 증강현실 모드 및 혼합현실 모드 중 어느 하나의 모드에 대한 응용 프로그램 목록을 사용자에게 표시할 수 있다.
단계 S811에서, 사용자는 상기 컨테이너(117)의 전환부를 통해, 광학 장치의 기계적 구성을 상기 증강현실 모드 및 혼합현실 모드 중 어느 하나의 모드에 대한 구성으로 조정할 수 있다.
가상현실 모드인 경우, 단계 S813에서, 상기 단말(111)의 적어도 하나의 프로세서는 상기 디스플레이(114)를 통해 가상현실 모드에 대한 응용 프로그램 목록을 사용자에게 표시할 수 있다.
단계 S815에서, 사용자는 상기 컨테이너(117)의 전환부를 통해, 광학 장치의 기계적 구성을 상기 가상현실 모드에 대한 구성으로 조정할 수 있다.
도 9는 본 개시의 일 실시예에 따라 보정 소프트웨어를 통해 왜곡 현상을 완화하기 위한 장치들간의 관계를 도시한 것이다.
촬영 수단(901)은 현실 물체에 대한 광 신호를 수신할 수 있다. 상기 촬영 수단(901)은 상기 카메라(113)를 포함할 수 있다.
인식 수단(903)은 상기 촬영 수단(901)을 통해 수신한 광 신호로부터 현실 물체에 대한 정보를 얻을 수 있다. 상기 인식 수단(903)은 상기 적어도 하나의 프로세서에 의해 동작할 수 있다.
프로세싱 수단(905)은 상기 가상현실 모드, 증강현실 모드 및 혼합현실 모드 중 적어도 어느 하나의 모드에 따른 소프트웨어 및 관련 UI/UX를 포함할 수 있다. 또한, 상기 프로세싱 수단(905)은 상기 인식 수단(903)으로부터 현실 물체에 대한 정보를 수신하여, 상기 현실 물체에 대한 정보를 사용자의 눈이 인식할 수 있도록 렌더링 수단(907)에 송신할 수 있다. 상기 프로세싱 수단(905)은 상기 적어도 하나의 프로세서에 의해 동작할 수 있다.
렌더링 수단(907)은 사용자의 눈이 인식할 수 있는 광 신호를 생성할 수 있다. 또한, 상기 렌더링 수단(907)은 사용자의 눈이 인식할 수 있는 광 신호를 스크린 수단(909)을 통해 출력할 수 있다. 상기 렌더링 수단(907)은 상기 적어도 하나의 프로세서에 의해 동작할 수 있다.
스크린 수단(909)은 사용자의 눈이 인식할 수 있는 광 신호를 출력할 수 있다. 상기 스크린 수단(909)은 상기 디스플레이(114)일 수 있다.
상기 혼합현실 모드에서, 상기 혼합현실에 따른 콘텐츠에 대한 신호(523)를 출력하기 위한 상기 카메라(113)의 위치와, 사용자의 눈(119)의 위치가 다르기 때문에, 사용자의 눈(119)이 최종적으로 인식하는 광 신호는 다소 왜곡된 광 신호일 수 있다.
상기 적어도 하나의 프로세서는 보정 소프트웨어(calibration software, 911)를 통해, 상기 왜곡 현상을 완화할 수 있다.
본 개시의 일 실시 예로서, 상기 적어도 하나의 프로세서는 상기 보정 소프트웨어(911)를 통해, 상기 인식 수단(903)을 통해 얻은 현실 물체에 대한 정보 및 상기 렌더링 수단(907)을 통해 얻은 사용자의 눈이 인식할 수 있는 광 신호를 비교할 수 있다. 그리고, 상기 적어도 하나의 프로세서는 상기 보정 소프트웨어(911)를 통해, 상기 비교 결과를 상기 프로세싱 수단(905)에 입력하여, 왜곡이 완화된 신호를 생성할 수 있다.
본 개시의 또 다른 일 실시 예로서, 사용자는 상기 보정 소프트웨어에서 요구하는 왜곡 정보를 상기 단말(111)에 직접 입력할 수도 있다. 상기 적어도 하나의 프로세서는 상기 왜곡 정보를 바탕으로, 상기 카메라에서 인식된 현실 물체에 대한 신호에 대한 왜곡 상태를 보정하여, 보정된 혼합현실에 따른 콘텐츠에 대한 신호(523)를 상기 디스플레이(114)를 통해 출력할 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
본 개시에서 개시된 블록도들은 본 개시의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.
본 명세서에서 본 개시의 원리들의 '일 실시예'와 이런 표현의 다양한 변형들의 지칭은 이 실시예와 관련되어 특정 특징, 구조, 특성 등이 본 개시의 원리의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.
이제까지 본 개시에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 개시의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 개시의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 개시가 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 개시에 포함된 것으로 해석되어야 할 것이다.

Claims (18)

  1. 카메라와 디스플레이를 포함하는 단말 및
    상기 디스플레이에서 송출되는 신호를 수신하는 렌즈를 포함하는 컨테이너;
    상기 컨테이너의 제 1 측에 소정의 각도로 결합된 제 1 미러; 및
    상기 컨테이너의 제 2 측에 소정의 각도로 결합된 제 2 미러를 포함하되,
    상기 단말은
    프로그램 명령을 저장하는 적어도 하나의 메모리; 및
    상기 프로그램 명령을 실행하여,
    상기 렌즈에 기초하여 사용자가 가상현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 1 모드 동작,
    상기 렌즈 및 상기 제 1 미러에 기초하여 사용자가 증강현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 제 2 모드 동작 및
    상기 렌즈, 상기 제 1 미러 및 상기 제 2 미러에 기초하여 사용자가 혼합현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이 및 상기 카메라를 제어하는 제 3 모드 동작을 수행하도록 하는
    적어도 하나의 프로세서를 포함하는 것을 특징으로 하고,
    상기 제3 모드는
    상기 제 1 미러에 투과되는 오브젝트에 대한 신호와,
    상기 제 2 미러에 반사되어 상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가,
    합성되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 하는
    광학 장치.
  2. 제1항에 있어서,
    상기 제1 모드는
    상기 디스플레이에서 출력되는 상기 가상현실에 따른 콘텐츠에 대한 신호가 상기 렌즈를 통과하여 사용자의 눈에 입력되는 모드인 것을 특징으로 하는
    광학 장치.
  3. 제1항에 있어서,
    상기 제2 모드는
    상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 제1 미러에 투과되는 오브젝트에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 하는
    광학 장치.
  4. 제3항에 있어서,
    상기 증강현실에 따른 콘텐츠에 대한 신호는
    상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 하는
    광학 장치.
  5. 제1항에 있어서,
    상기 혼합현실에 따른 콘텐츠에 대한 신호는
    상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 하는
    광학 장치.
  6. 제1항에 있어서,
    상기 프로세서는
    상기 제3 모드에서, 상기 카메라에서 인식된 상기 오브젝트에 대한 신호와, 상기 제 1 미러에 투과되는 오브젝트에 대한 신호를 비교하여,
    상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 대한 왜곡 상태를 보정하는 것을 특징으로 하는
    광학 장치.
  7. 제1항에 있어서,
    상기 컨테이너는
    상기 제1 모드, 상기 제2 모드 및 상기 제3 모드 중 적어도 하나의 모드로 전환하기 위한 전환부를 더 포함하는 것을 특징으로 하는
    광학 장치.
  8. 가상현실에 따른 콘텐츠를 인식하도록 하는 제 1 모드, 증강현실에 따른 콘텐츠를 인식하도록 하는 제 2 모드 및 혼합현실에 따른 콘텐츠를 인식하도록 하는 제 3 모드 중 적어도 하나를 선택하는 단계; 및
    상기 선택에 기초하여,
    렌즈에 기반하여 사용자가 가상현실에 따른 콘텐츠를 인식하도록, 디스플레이를 제어하는 상기 제 1 모드;
    상기 렌즈 및 제1 미러에 기반하여 사용자가 증강현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이를 제어하는 상기 제 2 모드; 및
    상기 렌즈, 상기 제 1 미러 및 제 2 미러에 기반하여 사용자가 혼합현실에 따른 콘텐츠를 인식하도록, 상기 디스플레이 및 카메라를 제어하는 상기 제 3 모드를 수행하는 단계를 포함하는 것을 특징으로 하고,
    상기 제3 모드는
    상기 제 1 미러에 투과되는 오브젝트에 대한 신호와,
    상기 제 2 미러에 반사되어 상기 카메라에서 인식된 상기 오브젝트에 대한 신호 기반하여 상기 디스플레이에서 출력되는 상기 혼합현실에 따른 콘텐츠에 대한 신호가,
    합성되어 상기 사용자의 눈에 입력되는 것을 특징으로 하는
    광학 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 제1 모드는
    상기 디스플레이에서 출력되는 상기 가상현실에 따른 콘텐츠에 대한 신호가 상기 렌즈를 통과하여 사용자의 눈에 입력되는 모드인 것을 특징으로 하는
    광학 장치의 동작 방법.
  10. 제8항에 있어서,
    상기 제2 모드는
    상기 디스플레이에서 출력되는 상기 증강현실에 따른 콘텐츠에 대한 신호와 상기 제1 미러에 투과되는 오브젝트에 대한 신호가 중첩되어 상기 사용자의 눈에 입력되는 모드인 것을 특징으로 하는
    광학 장치의 동작 방법.
  11. 제8항에 있어서,
    상기 제1 미러는
    단말 및 상기 렌즈를 포함하는 컨테이너의 제 1 측에 소정의 각도로 결합된 것을 특징으로 하는,
    광학 장치의 동작 방법.
  12. 제10항에 있어서,
    상기 증강현실에 따른 콘텐츠에 대한 신호는
    상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 하는
    광학 장치의 동작 방법.

  13. 제8항에 있어서,
    상기 제2 미러는
    단말 및 상기 렌즈를 포함하는 컨테이너의 제 2 측에 소정의 각도로 결합된 것을 특징으로 하는,
    광학 장치의 동작 방법.
  14. 제8항에 있어서,
    상기 혼합현실에 따른 콘텐츠에 대한 신호는
    상기 렌즈를 통과하여 사용자의 눈에 입력되는 신호인 것을 특징으로 하는
    광학 장치의 동작 방법.
  15. 제8항에 있어서,
    상기 제3 모드는
    상기 카메라에서 인식된 상기 오브젝트에 대한 신호와, 상기 제 1 미러에 투과되는 오브젝트에 대한 신호를 비교하여,
    상기 카메라에서 인식된 상기 오브젝트에 대한 신호에 대한 왜곡 상태를 보정하는 모드인 것을 특징으로 하는
    광학 장치의 동작 방법.
  16. 제8항 내지 제15항 중 어느 한 항의 광학 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  17. 삭제
  18. 삭제
KR1020180045105A 2018-04-18 2018-04-18 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 KR102637117B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180045105A KR102637117B1 (ko) 2018-04-18 2018-04-18 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법
US16/253,966 US11069139B2 (en) 2018-04-18 2019-01-22 Device and method for virtual reality, augmented reality, and mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045105A KR102637117B1 (ko) 2018-04-18 2018-04-18 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190121597A KR20190121597A (ko) 2019-10-28
KR102637117B1 true KR102637117B1 (ko) 2024-02-15

Family

ID=68236483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045105A KR102637117B1 (ko) 2018-04-18 2018-04-18 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US11069139B2 (ko)
KR (1) KR102637117B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4708590B2 (ja) 2001-03-13 2011-06-22 キヤノン株式会社 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム
US20170045746A1 (en) 2013-05-17 2017-02-16 Castar, Inc. Virtual reality attachment for a head mounted display
US20170219826A1 (en) 2016-02-02 2017-08-03 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
US20180011327A1 (en) * 2016-07-06 2018-01-11 Kenneth Perlin Head Mounted Display and Method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9366871B2 (en) * 2014-10-24 2016-06-14 Emagin Corporation Microdisplay based immersive headset

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4708590B2 (ja) 2001-03-13 2011-06-22 キヤノン株式会社 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム
US20170045746A1 (en) 2013-05-17 2017-02-16 Castar, Inc. Virtual reality attachment for a head mounted display
US20170219826A1 (en) 2016-02-02 2017-08-03 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
US20180011327A1 (en) * 2016-07-06 2018-01-11 Kenneth Perlin Head Mounted Display and Method

Also Published As

Publication number Publication date
US20190325656A1 (en) 2019-10-24
US11069139B2 (en) 2021-07-20
KR20190121597A (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
KR102315862B1 (ko) 눈 추적을 통한 확장된 유효 아이박스를 포함하는 근안 디스플레이
US11025814B2 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
US10008044B2 (en) Interactions of virtual objects with surfaces
US9865091B2 (en) Localizing devices in augmented reality environment
US8570372B2 (en) Three-dimensional imager and projection device
US10133342B2 (en) Human-body-gesture-based region and volume selection for HMD
US10914951B2 (en) Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US20180164589A1 (en) Wearable device
US9002058B2 (en) Scanned image projection system with gesture control input
US9612665B2 (en) Information processing apparatus and method of controlling the same
KR20150127698A (ko) 재구성 가능 위상 마스크를 사용한 이미지 보정
US20220155588A1 (en) Virtual Reality System
US11381751B2 (en) Handheld gimbal control method, handheld gimbal, and handheld device
US11157072B1 (en) Direct retinal projector
WO2022016953A1 (zh) 导航方法、装置、存储介质及电子设备
CN111309142A (zh) 用于切换显示设备的输入模态的方法和设备
KR102523433B1 (ko) 깊이 정보를 결정하는 방법 및 광학 시스템
KR102637117B1 (ko) 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법
US10484656B1 (en) Driver system resonant frequency determination
KR20190002908A (ko) 곡면 디스플레이 장치 및 그 동작 방법
KR20190020902A (ko) 헤드업 디스플레이 장치 및 방법
KR101592977B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20200067306A (ko) 혼합현실용 디스플레이 장치 및 방법
US11308922B2 (en) Portable electronic device for mixed reality headset
KR20230066248A (ko) 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right