KR20210133674A - 증강 현실 장치 및 그 제어 방법 - Google Patents

증강 현실 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210133674A
KR20210133674A KR1020200052586A KR20200052586A KR20210133674A KR 20210133674 A KR20210133674 A KR 20210133674A KR 1020200052586 A KR1020200052586 A KR 1020200052586A KR 20200052586 A KR20200052586 A KR 20200052586A KR 20210133674 A KR20210133674 A KR 20210133674A
Authority
KR
South Korea
Prior art keywords
camera
mode
augmented reality
user
changing
Prior art date
Application number
KR1020200052586A
Other languages
English (en)
Inventor
유병욱
이건일
이원우
정지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200052586A priority Critical patent/KR20210133674A/ko
Priority to PCT/KR2021/004421 priority patent/WO2021221341A1/ko
Publication of KR20210133674A publication Critical patent/KR20210133674A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N5/23218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H04N5/23245—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 장치는 방향 전환이 가능한 카메라, 하나 이상의 명령어들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 명령어들을 실행하는 프로세서를 포함한다. 프로세서는 카메라를 제어함으로써, 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 인식된 손 자세에 대응되는 작업 모드에 따라, 카메라를 작업 모드에 대응되는 각도로 방향을 변경한 후, 카메라를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득한다.

Description

증강 현실 장치 및 그 제어 방법 {AUGMENTED REALITY DEVICE AND METHOD FOR CONTROLLING THE SAME}
증강 현실 장치 및 그 제어 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.
증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 시스루(see-through) 형태의 디스플레이를 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다.
증강 현실 장치를 장시간 착용하거나 잦은 착용이 있더라도, 사용자가 불편함을 느끼지 않도록, 증강 현실 장치를 경량화하고, 소형화하는 것이 중요하다.
방향 전환이 가능한 카메라를 구비하는 증강 현실 장치 및 그 제어 방법을 제공하는 것이다.
제1 측면에 따른 증강 현실 장치는, 방향 전환이 가능한 카메라, 명령어들을 저장하는 메모리, 및 상기 명령어들을 실행하여, 상기 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 프로세서를 포함한다.
제2 측면에 따른 증강 현실 장치의 제어 방법은, 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 사용자의 손 자세를 인식하는 단계, 및 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 단계를 포함한다.
제3 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는, 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 명령어들, 및 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 명령어들을 포함하는 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
도 1은 방향 전환이 가능한 카메라를 구비하는 증강 현실 장치를 나타낸 도면이다.
도 2는 증강 현실 장치의 구성을 설명하기 위한 도면이다.
도 3은 증강 현실 장치의 메모리, 프로세서, 및 카메라의 동작을 설명하기 위한 도면이다.
도 4는 증강 현실 장치에 구비된 카메라의 방향 전환의 일 예를 설명하기 위한 도면이다.
도 5는 증강 현실 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 6은 증강 현실 장치가 인식 모드에서 사용자의 손 자세를 스캔하는 모습을 나타낸 도면이다.
도 7은 증강 현실 장치가 사용자의 손 자세를 스캔하여 깊이 영상을 획득한 후 손 자세를 인식하는 일 예를 설명하기 위한 도면이다.
도 8은 증강 현실 장치가 인식 모드에서 소정의 손 자세를 인식한 경우를 설명하기 위한 도면이다.
도 9는 증강 현실 장치가 사진 촬영 모드에 따라 사진 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 10은 증강 현실 장치가 파노라마 촬영 모드에 따라 파노라마 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 11은 증강 현실 장치가 객체 추적 모드에 따라 객체 추적 및 분석을 수행하는 작업을 설명하기 위한 도면이다.
도 12는 증강 현실 장치의 추가 구성을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치(HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를(을) 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(웨이브가이드, Waveguide)를 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
본 개시에서, '손 자세(pose)'는 손의 모습(appearance)이나 손의 동작(motion)을 포함하는 의미이며, 신호가 될 수 있는 다양한 형태의 손의 표현을 통칭하는 용어이다. 손의 모습은 손의 겉으로 나타난 모양을 의미한다. 손의 동작은 손의 움직임(movement) 또는 움직이는 모양이나 손짓(gesture)을 의미한다.
도 1은 방향 전환이 가능한 카메라(1300)을 구비하는 증강 현실 장치(1000)를 나타낸 도면이다.
도 1을 참조하면, 증강 현실 장치(1000)를 착용한 사용자는 현실 객체(이하, 객체)가 포함된 현실 장면에 가상 이미지가 투영된 증강 현실을 경험할 수 있다. 가상 이미지는 현실 장면 속의 객체에 대한 정보 또는 증강 현실 장치(1000)의 동작에 대한 정보이거나 제어 메뉴 등을 나타내는 이미지로서, 사용자는 현실 장면과 가상 이미지를 함께 관측할 수 있다. 도 1에서, 사용자는 안경 형태의 증강 현실 장치(100)를 착용하고 있으나 이에 한정되는 것은 아니며, 이하, 다양한 형태의 장치들을 고려하여, 증강 현실 장치(1000)라고 통칭한다.
도 1에 도시된 바와 같이, 증강 현실 장치(1000)는 방향 전환이 가능한 카메라(1300)를 구비할 수 있다. 카메라(1300)는 방향 전환이 가능한 구조로 설계되어, 증강 현실 장치(100)의 소정의 부분에 장착될 수 있다. 도 1에 도시된 바와 같이, 카메라(1300)는 좌안 렌즈부와 우안 렌즈부 사이를 연결하는 브릿지 프레임에 내장된 형태로 장착될 수 있으나, 이에 한정되는 것은 아니다. 카메라(1300)는 증강 현실 장치(1000)의 타입과 형태에 따라, 증강 현실 장치(1000)의 소정의 부분에 장착될 수 있다.
도 1을 참조하면, 증강 현실 장치(1000)는 인식 모드의 촬영 방향에 대응되는 각도 또는 작업 모드의 촬영 방향에 대응되는 각도로 카메라(1300)의 방향을 변경함을 알 수 있다. 인식 모드는 사용자의 손 자세를 인식하기 위한 증강 현실 장치(1000)의 제어 모드이다. 작업 모드는 증강 현실 장치(1000)의 소정의 동작이나 기능을 수행하기 위한 증강 현실 장치(1000)의 제어 모드로서, 사진 촬영 모드, 파노라마 촬영 모드, 객체 추적 모드, 공간 인식 모드 등 다양한 모드들이 있을 수 있다. 인식 모드의 촬영 방향에 대응되는 각도 또는 작업 모드의 촬영 방향에 대응되는 각도는 미리 설정된 값일 수 있으나, 사용자의 손의 위치나 현실 세계의 객체의 위치 등과 같은 상황 정보에 따라 적응적으로 변경될 수 있다.
증강 현실 장치(1000)는 인식 모드에서 카메라(1300)를 통해 사용자의 손을 스캔하며, 소정의 손 자세를 인식할 수 있다. 인식 모드에서는 사용자의 손을 감지하기에 최적인 각도로 카메라(1300)의 방향이 설정될 수 있다. 증강 현실 장치(1000)는 인식 모드에서 소정의 손 자세가 인식되면, 인식된 손 자세에 대응되는 작업 모드로 제어 모드를 전환할 수 있다. 증강 현실 장치(1000)는 작업 모드에서 카메라(1300)를 이용하여 작업 모드에 대응되는 소정의 동작이나 기능을 수행할 수 있으며, 이에 따라 적어도 하나의 이미지를 획득할 수 있다. 작업 모드에서는 각 작업 모드에 대응되는 각도로 카메라(1300)의 방향이 설정될 수 있다.
도 2는 증강 현실 장치(1000)의 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 증강 현실 장치(1000)는 메모리(1100), 프로세서(1200), 및 카메라(1300)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(1100)는 프로세서(1200)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(1100)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(1100)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(1100)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(1200)에 의해 실행됨으로써, 증강 현실 장치(1000)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 2에 도시된 바와 같이, 메모리(1100)는 인식 모드 모듈, 사진 촬영 모드 모듈, 파노라마 촬영 모드 모듈, 및 객체 추적 모드 모듈을 저장할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 증강 현실 장치(1000)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
카메라(1300)는 방향 전환이 가능하다. 카메라(1300)는 증강 현실 장치(1000)에서 방향 전환이 가능한 구조를 가지며, 상하 또는 좌우뿐만 아니라, 소정의 각도의 방향을 향할 수 있도록 설계된 카메라(1300)일 수 있다. 예를 들어, 카메라(1300)는 위치가 고정된 채, 카메라(1300)를 좌우로 방향을 회전시켜 대상을 촬영하는 팬(pan) 또는 카메라(1300)의 위치가 고정된 채, 카메라(1300)를 상하로 방향을 회전시켜 대상을 촬영하는 틸트(tilt) 동작을 수행할 수 있는 일명 팬틸트 카메라일 수 있다. 카메라(1300)는 복수의 축에 대하여 회동함으로써 소정의 각도로 촬영 방향을 제어할 수 있다. 예를 들어, 카메라(1300)는 가로 방향에 대응되는 제1 축에 대하여 회동하거나, 세로 방향에 대응되는 제2 축에 대하여 회동할 수 있다. 또는, 카메라(1300)는 좌측 상단에서 우측 하단으로 이어지는 대각선 방향에 대응되는 제1 축에 대하여 회동하거나, 우측 상단에서 좌측 하단으로 이어지는 대각선 방향에 대응되는 제2 축에 대하여 회동할 수 있다.
카메라(1300)는 방향 전환이 가능한 카메라(1300)는 ToF(Time-of-Flight) 센서와 RGB 카메라를 대체할 수 있다. 다시 말해, 깊이 정보를 측정하기 위한 ToF 센서와 피사체를 촬영하여 컬러 이미지를 획득하기 위한 RGB 카메라를 각각 구비하지 않더라도, 카메라(1300)를 여러 각도로 방향을 변경하면서 이미지를 획득하여 깊이 정보를 측정하고, 피사체를 향하도록 카메라(1300)의 방향을 제어하여 컬러 이미지를 획득할 수 있다. 방향 전환이 가능한 카메라(1300)를 구비하면, ToF 센서와 RGB 카메라 각각을 구비하는 것에 비해, 증강 현실 장치(1000)의 사이즈 및 부피를 감소시킬 수 있고, 무게도 낮출 수 있어, 증강 현실 장치(1000)의 소형화 및 경량화가 가능할 수 있다. 또한, ToF 센서는 일반적으로 적외선 또는 광을 투사하고 물체 또는 객체에 맞고 반사되어 돌아오기까지의 시간을 측정하거나 객체에 맞기 전/후의 적외선 또는 광의 위상차를 이용하는 센서로 적외선 또는 광을 투사하기 위한 적어도 하나의 광원으로 구성된 에미터(emitter)를 포함하므로 ToF 센서를 대체할 경우, 에미터에 의한 전력 소모 절감이 가능할 수 있다.
카메라(1300)는 인식 모드 또는 작업 모드에 따라 방향이 변경될 수 있다. 카메라(1300)는 인식 모드 또는 작업 모드에 따라 사전에 설정된 각도로 방향이 변경될 수 있다. 작업 모드는 사진 촬영 모드, 파노라마 촬영 모드, 객체 추적 모드 등이 될 수 있으며, 이에 제한되는 것은 아니다.
상기한 구성에 따라, 프로세서(1200)는 메모리(1100)에 저장된 인식 모드 모듈, 사진 촬영 모드 모듈, 파노라마 촬영 모드 모듈, 및 객체 추적 모드 모듈 중 적어도 하나를 실행하여, 카메라(1300)를 제어할 수 있다. 프로세서(1200)는 인식 모드 또는 작업 모드에 따라 카메라(1300)의 방향을 변경할 수 있다. 프로세서(1200)는 인식 모드 또는 작업 모드에 따라 사전에 설정된 각도로 카메라(1300)의 방향을 변경할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 인식 모드에 대응되는 각도는 인식 모드에 대응되는 사전에 설정된 각도이거나, 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
프로세서(1200)는 사용자의 손을 프리 스캐닝(pre-scanning)하거나 사용자에 대응되는 프로파일을 이용하여 사용자의 손에 대한 정보를 획득할 수 있다. 사용자마다 손의 크기, 형태, 모양 등이 다르기 때문에, 사용자의 손 자세를 정확히 인식하기 위해, 증강 현실 장치(1000)의 최초의 인식 모드 시에 이와 같은 준비 프로세스가 수행될 수 있다. 프로세서(1200)는 획득된 사용자의 손에 대한 정보와 카메라(1300)를 통해 획득되는 이미지에 기초하여, 사용자의 손 자세를 검출할 수 있다. 준비 프로세스를 통해 사용자의 손에 대한 정보를 이용하여 사용자의 손을 미리 모델링해두면, 프로세서(1200)는 이후에 카메라(1300)를 통해 획득되는 이미지에서 사용자의 손 자세를 보다 정확히 인식할 수 있으나, 이와 같은 준비 프로세스가 반드시 요구되는 것은 아니다.
프로세서(1200)는 인식 모드에 대응되는 각도에서 카메라(1300)의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 획득된 복수 장의 이미지들에 기초하여, 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 프로세서(1200)는 획득된 복수 장의 이미지들을 이용하여 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 프로세서(1200)는 사용자의 손 자세에 대한 깊이 정보를 나타내는 깊이 영상으로부터, 카메라(1300)와 사용자의 손 간의 거리에 기초하여 손 영역 정보를 검출할 수 있다. 프로세서(1200)는 검출한 손 영역 정보에 기초하여, 2차원의 손 자세 또는 3차원의 손 자세를 인식할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 인식된 손 자세에 대응되는 작업 모드에 따라, 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 작업 모드에 대응되는 각도는 작업 모드에 대응되는 사전에 설정된 각도 또는 사전에 정의된 방향이거나, 작업 모드가 되기 직전의 카메라(1300)의 현재 각도에서 작업 모드에 대응되는 사전에 설정된 각도 또는 사전에 정의된 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
예를 들어, 프로세서(1200)는 작업 모드가 사진 촬영 모드인 경우, 카메라(1300)를 사진 촬영 모드에 대응되는 사전에 설정된 각도인, 증강 현실 장치(1000)의 정면 방향으로 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득할 수 있다.
다른 예를 들어, 프로세서(1200)는 작업 모드가 파노라마 촬영 모드인 경우, 카메라(1300)를 파노라마 촬영 모드에 대응되는 사전에 설정된 각도인, 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
또 다른 예를 들어, 프로세서(1200)는 작업 모드가 객체 추적 모드인 경우, 카메라(1300)를 객체 추적 모드에 대응하여 사전에 정의된 방향인, 움직이는 객체가 있는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
한편, 증강 현실 장치(1000)에 시선 추적 센서(미도시)가 구비되어 있는 경우, 시선 추적 센서를 이용하여 획득할 수 있는 사용자의 응시 지점이나 사용자의 시선 이동(gaze shift)을 증강 현실 장치(1000)의 제어에 이용할 수 있다.
예를 들어, 프로세서(1200)는 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서를 이용하여 판단되는 응시 지점으로 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자가 응시하는 객체에 대한 사진을 촬영하거나, 사용자가 응시하는 소정의 지점에 대한 깊이 정보를 획득하기 위해, 프로세서(1200)는 시선 추적 센서에 의해 판단되는 응시 지점으로 카메라(1300)의 방향을 제어할 수 있다.
다른 예를 들어, 프로세서(1200)는 카메라(1300)를 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서를 이용하여 감지되는 시선 이동에 따라서 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 경치를 바라보는 사용자의 시선 이동에 따라 파노라마 촬영을 하거나, 움직이는 객체에 대한 사용자의 시선 이동에 따라 객체를 추적하거나, 사용자의 시선 이동에 따라 동영상을 촬영하기 위해, 프로세서(1200)는 시선 추적 센서에 의해 감지되는 시선 이동에 따라 카메라(1300)의 방향을 제어할 수 있다.
프로세서(1200)는 증강 현실 장치(1000)의 전원이 켜지거나 사용자가 증강 현실 장치(1000)의 사용을 시작하는 경우, 인식 모드에서 증강 현실 장치(1000)를 제어할 수 있다. 프로세서(1200)는 소정의 조건이 만족되면 인식 모드에서 작업 모드로 전환하여 증강 현실 장치(1000)의 소정의 동작이나 기능을 수행할 수 있다. 프로세서(1200)는 작업 모드가 종료되면, 증강 현실 장치(1000)를 인식 모드로 다시 전환할 수 있다.
도 3은 증강 현실 장치(1000)의 메모리(1100), 프로세서(1200), 및 카메라(1300)의 동작을 설명하기 위한 도면이다.
도 2에서 설명한 메모리(1100)와 프로세서(1200)에 대해 중복되는 내용은 이하 설명을 생략한다. 카메라(1300)는 카메라 구동 모듈(1310)과 이미지 처리 모듈(1330)을 포함할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들 또는 소프트웨어 모듈을 로딩하고 이를 실행함으로써, 카메라 구동 모듈(1310)에 구동 제어 신호를 전송하거나 이미지 처리 모듈(1330)에 촬영 제어 신호를 전송할 수 있다. 이미지 처리 모듈(1330)은 촬영 제어 신호에 따라 획득된 이미지를 메모리(1100)에 전송할 수 있다. 메모리(1100)는 획득된 이미지를 저장할 수 있으며, 프로세서(1200)는 증강 현실 장치(1000)의 제어에 사용되는 이미지를 메모리(1100)로부터 불러올 수 있다.
카메라 구동 모듈(1310)은 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터를 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 예를 들어, AF 엑추에이터는 VCM(Voice Coil Motor) 방식일 수 있다. VCM 방식은 코일과 전자석을 이용하여, 렌즈 모듈이 앞뒤로 움직이게 함으로써, 렌즈들의 위치를 결정하여, 초점을 잡을 수 있다.
이미지 처리 모듈(1330)은 이미지 센서와 이미지 신호 프로세서를 포함할 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 센서 또는 CCD(Charge-Coupled Device)센서일 수 있으며, 광학 신호를 전기적 신호로 변환할 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다.
본 개시에서, 이미지 처리 모듈(1330)의 이미지 센서는 카메라 구동 모듈(1310)의 렌즈 모듈과 연결된 형태일 수 있다. 이미지 센서는 렌즈 모듈의 하부에 연결된 형태일 수 있다. 이미지 센서의 중심을 수직으로 지나는 축은 렌즈들의 중심을 지나는 광축(optical axis)과 동일한 축일 수 있다. 이미지 센서가 렌즈 모듈과 연결된 형태인 경우, 렌즈 모듈이 렌즈들의 광축 상의 중심점을 기준으로 소정의 각도만큼 움직이면, 이미지 센서 또한 소정의 각도만큼 움직이게 될 수 있다.
상기한 구성에 의하면, 프로세서(1200)는 메모리(1100)에 저장된 인식 모드 모듈을 실행하여, 카메라(1300)가 인식 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)가 인식 모드에 대응되는 각도로 방향이 변경되면, 프로세서(1200)는 사용자의 손 자세를 인식하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 이미지는 메모리(1100)에 저장되고, 프로세서(1200)는 이미지 처리 모듈(1330)에 의해 획득된 이미지로부터 사용자의 손 자세를 인식할 수 있다. 프로세서(1200)는 인식된 손 자세가 '클릭'에 해당하는 경우, 메모리(1100)에 저장된 사진 촬영 모드 모듈을 실행할 수 있다. 프로세서(1200)는 인식된 손 자세가 '드래그'에 해당하는 경우, 메모리(1100)에 저장된 파노라마 촬영 모드 모듈을 실행할 수 있다. 프로세서(1200)는 인식된 손 자세가 '더블 클릭'에 해당하는 경우, 메모리(1100)에 저장된 객체 추적 모드 모듈을 실행할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 사진 촬영 모드 모듈을 실행하여, 카메라(1300)가 사진 촬영 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 사진 촬영 모드에 대응되는 각도인, 증강 현실 장치(1000)의 정면 방향으로 변경되면, 프로세서(1200)는 사진 촬영 모드에 대응되는 이미지를 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 이미지는 메모리(1100)에 저장될 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 파노라마 촬영 모드 모듈을 실행하여, 카메라(1300)가 파노라마 촬영 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 파노라마 촬영 모드에 대응되는 각도인, 파노라마 촬영의 시작점을 향하는 방향으로 변경되면, 프로세서(1200)는 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 복수 장의 이미지들은 메모리(1100)에 저장될 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 객체 추적 모드 모듈을 실행하여, 카메라(1300)가 객체 추적 모드에 대응되는 각도로 방향을 변경하도록 카메라 구동 모듈(1310)에 구동 제어 신호를 송신할 수 있다. 카메라 구동 모듈(1310)에 의해, 카메라(1300)의 방향이 객체 추적 모드에 대응되는 사전에 정의된 방향인, 움직이는 객체가 있는 방향으로 변경되면, 프로세서(1200)는 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하기 위해, 이미지 처리 모듈(1330)에 촬영 제어 신호를 송신할 수 있다. 이미지 처리 모듈(1330)에 의해 획득된 복수 장의 이미지들은 메모리(1100)에 저장될 수 있다.
메모리(1100)에 저장된 적어도 하나의 이미지는 프로세서(1200)에 의해 후처리되어, 객체에 대한 사진이나 파노라마 영상, 또는 객체에 대한 분석 정보를 생성하는데 이용될 수 있다.
프로세서(1200)는 사진 촬영 모드 모듈이나 파노라마 촬영 모드 모듈, 또는 객체 추적 모드 모듈을 실행 완료한 경우, 다시 인식 모드 모듈을 실행할 수 있다.
도 4는 증강 현실 장치(1000)에 구비된 카메라(1300)의 방향 전환의 일 예를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 인식 모드나 작업 모드에 따라 설정된 각도에 대응되는 방향으로 카메라(1300)의 방향을 변경할 수 있다. 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 틸팅(tilting)하여, 정면 방향보다 아래 또는 위로 카메라(1300)의 방향을 변경할 수 있다. 도 4에 도시된 바와 같이, 카메라(1300)는 가로 방향에 대응되는 제1 축에 대하여 회동할 수 있다.
증강 현실 장치(1000)는 인식 모드에서 사용자의 손 자세를 인식하기 위해, 인식 모드에 대응되는 각도로 방향을 변경할 수 있다. 도 4에 도시된 바와 같이, 증강 현실 장치(1000)는 정면 방향에 대해 A° 만큼 하향된 각도로 카메라(1300)의 방향을 변경할 수 있다. 증강 현실 장치(1000)는 작업 모드에서 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득하기 위해, 작업 모드에 대응되는 각도로 방향을 변경할 수 있다. 예를 들어, 증강 현실 장치(1000)는 인식 모드에서 사진 촬영 모드로 전환되면, 카메라(1300)의 방향을 정면 방향으로 변경할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)는 수직 방향으로 파노라마 촬영을 위해, 파노라마 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 변경할 수 있으며, 도 4에 도시된 바와 같이, 증강 현실 장치(1000)는 정면 방향에 대해 B° 만큼 상향된 각도로 카메라(1300)의 방향을 변경할 수 있으며, 수직 방향으로 파노라마 촬영이 진행되는 동안 카메라(1300)의 방향을 상하로 변경할 수 있다.
도 4에 도시된 바와 달리, 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)하여, 좌측 방향 또는 우측 방향으로 카메라(1300)의 방향을 변경할 수도 있다. 이때, 카메라(1300)는 세로 방향에 대응되는 제2 축에 대하여 회동할 수 있다.
한편, 도 4에서는 카메라(1300) 전체가 증강 현실 장치(1000)에 내재된 모습을 도시하였으나, 카메라(1300)는 증강 현실 장치(1000)의 종류와 형태에 따라 일부가 도출되어 있거나 전부가 도출된 모습일 수도 있다.
도 5는 증강 현실 장치(1000)의 제어 방법을 설명하기 위한 흐름도이다.
510 단계에서, 증강 현실 장치(1000)는 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 인식 모드에 대응되는 각도는 인식 모드에 대응되는 사전에 설정된 각도이거나, 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
520 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 증강 현실 장치(1000)는 인식된 손 자세가 '클릭'에 해당하는 경우, 530 단계로 진행하고, 인식된 손 자세가 '드래그'에 해당하는 경우, 550 단계로 진행하며, 인식된 손 자세가 '더블 클릭'에 해당하는 경우, 570 단계로 진행할 수 있다. 다만, 이는 일 예일 뿐이며, 다양한 손 자세에 따라 각각에 대응되는 프로세스가 진행될 수 있다.
530 단계에서, 증강 현실 장치(1000)는 사진 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 사진 촬영 모드에 대응되는 각도는 증강 현실 장치(1000)의 정면 방향이거나, 사진 촬영 모드가 되기 직전의 카메라(1300)의 현재 각도에서 증강 현실 장치(1000)의 정면 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
540 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 사진 촬영 모드에 대응되는 각도로 방향을 변경한 후, 사진 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 정면 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득할 수 있다.
550 단계에서, 증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 파노라마 촬영 모드에 대응되는 각도는 파노라마 촬영의 시작점을 향하는 방향이거나, 파노라마 촬영 모드가 되기 직전의 카메라(1300)의 현재 각도에서 파노라마 촬영의 시작점을 향하는 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
560 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 파노라마 촬영 모드에 대응되는 각도로 방향을 변경한 후, 파노라마 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 파노라마 촬영의 시작점을 향하는 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
570 단계에서, 증강 현실 장치(1000)는 객체 추적 모드에 대응되는 각도로 카메라(1300)의 방향을 제어할 수 있다. 객체 추적 모드에 대응되는 각도는 움직이는 객체가 있는 방향이거나, 객체 추적 모드가 되기 직전의 카메라(1300)의 현재 각도에서 움직이는 객체가 있는 방향으로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
580 단계에서, 증강 현실 장치(1000)는 카메라(1300)를 객체 추적 모드에 대응되는 각도로 방향을 변경한 후, 객체 추적 촬영을 수행할 수 있다. 예를 들어, 증강 현실 장치(1000)는 움직이는 객체가 있는 방향으로 카메라(1300)의 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득할 수 있다.
590 단계에서, 증강 현실 장치(1000)는 작업 모드가 종료되면, 종료할 것인지 판단하여, 종료하지 않는 경우, 다시 510 단계로 진행하고, 종료하는 경우, 종료할 수 있다.
도 6은 증강 현실 장치(1000)가 인식 모드에서 사용자의 손 자세를 스캔하는 모습을 나타낸 도면이다.
증강 현실 장치(1000)는 인식 모드에서 카메라(1300)를 통해 사용자의 손 자세를 스캔할 수 있다. 사용자의 손 자세를 인식하기 위해, 증강 현실 장치(100)는 사용자의 손 자세를 복수의 방향에 따라 촬영함으로써, 사용자의 손 자세를 스캔할 수 있다. 사용자의 손 자세를 스캔하는 것은 사용자의 손을 복수의 방향으로 계속해서 관찰하는 것을 의미하며, 연속적으로 감지하는 경우뿐만 아니라 간헐적으로 감지하는 경우도 포함될 수 있다.
증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 방향을 변경할 수 있다. 이때, 카메라(1300)는 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경된 후 사용자의 손 자세를 스캔하는 것을 시작할 수도 있고, 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경되기 전이라도 사용자의 손 자세를 스캔하는 것을 시작할 수도 있으며, 카메라(1300)의 방향 변경과 상관없이, 인식 모드가 되면, 사용자의 손 자세를 스캔하는 것을 시작할 수도 있다.
증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 방향을 변경 완료하기 전에, 카메라(1300)를 통해 사용자의 손이 감지되면, 카메라(1300)의 방향을 변경하는 것을 중지하고, 카메라(1300)의 방향 변경이 중지된 해당 각도로 틸트된(tilted) 카메라(1300)를 통해 사용자의 손 자세를 스캔할 수도 있다.
따라서, 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 변경하는 것은 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도로 카메라(1300)의 방향을 변경하는 것을 포함한다. 다시 말해, 인식 모드에 대응되는 각도란 인식 모드가 되기 직전의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
도 6을 참조하면, 증강 현실 장치(1000)를 착용한 사용자는 정면 방향을 바라보고 있지만, 증강 현실 장치(1000)의 카메라(1300)는 정면 방향으로부터 하향된 각도에서 사용자의 손 자세를 스캔할 수 있다. 예를 들어, 증강 현실 장치(1000)의 카메라(1300)가 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경된 후에, 사용자의 손이 카메라(1300)에 감지된 경우, 증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도에서 사용자의 손 자세를 스캔할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)의 카메라(1300)가 인식 모드에 대응되는 사전에 설정된 각도로 방향이 변경 완료되기 전, 사용자가 손을 들어 사용자의 손이 카메라(1300)에 감지된 경우, 증강 현실 장치(1000)는 인식 모드에 대응되는 사전에 설정된 각도가 되기 전이라도, 사용자의 손 자세를 스캔할 수 있다.
한편, 증강 현실 장치(1000)는 작업 모드가 종료되면, 인식 모드로 전환되어 사용자의 손 자세를 다시 스캔할 수 있다. 증강 현실 장치(1000)는 작업 모드가 종료되어 인식 모드로 전환되는 경우, 인식 모드에 대응되는 각도로 카메라(1300)의 방향을 변경한 후, 사용자의 손 자세를 스캔하는 동작을 다시 수행할 수 있다. 이때, 인식 모드에 대응되는 각도란 인식 모드가 되기 직전의 카메라(1300)의 현재 각도 즉, 작업 모드가 종료된 직후의 카메라(1300)의 현재 각도에서 인식 모드에 대응되는 사전에 설정된 각도로 카메라(1300)의 각도가 변경되는 과정상의 임의의 각도일 수 있다.
도 7은 증강 현실 장치(1000)가 사용자의 손 자세를 스캔하여 깊이 영상을 획득한 후 손 자세를 인식하는 일 예를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 인식 모드에 대응되는 각도에서 카메라(1300)의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 획득된 복수 장의 이미지들에 기초하여, 사용자의 손 자세에 대한 깊이 정보를 측정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 카메라(1300)를 소정의 각도가 되도록 방향을 하향시킨 후 카메라(1300)를 적어도 한 번 이상 좌우 방향을 향하도록 제어하여, 사용자의 손에 대한 복수 장의 이미지들을 획득할 수 있다. 증강 현실 장치(1000)는 획득된 복수 장의 이미지들을 이용하여 사용자의 손 자세에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다.
도 7에 도시된 일 예를 보면, 증강 현실 장치(1000)는 카메라(1300)의 방향을 좌우로 변경하여, 사용자의 손에 대해 서로 다른 방향으로 촬영된 제1 이미지와 제2 이미지를 획득할 수 있다. 증강 현실 장치(1000)가 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)하면, 제1 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치와 제2 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치 간의 위치 차이가 형성될 수 있다. 증강 현실 장치(1000)는 이와 같은 위치 차이를 베이스라인으로 하는 스테레오 비전 방식에 기초하여, 두 이미지에서 서로 대응되는 특징점을 찾아내고, 특징점에서의 깊이 정보의 지표가 되는 변이를 계산하여, 사용자의 손 자세에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다.
한편, 도 7에 도시된 예와 달리, 증강 현실 장치(1000)는 사용자의 손에 대해 이미지들을 획득하고, 인코더-디코더 구조의 깊이 정보 추정 모델을 활용한 딥 러닝(deep learning) 분석에 따라, 사용자의 손 자세에 대한 깊이 정보를 측정하여, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다. 복수의 이미지들과 깊이 정보로 학습한 인코더-디코더 구조는 촬영한 이미지들을 인코더를 통해 분석하여 깊이와 관련된 특징들을 추출하고, 추출한 깊이 특징들을 이용하여 디코더를 통해 촬영한 이미지에 대한 깊이 정보를 추정할 수 있다.
증강 현실 장치(1000)는 사용자의 손 자세에 대한 깊이 정보를 나타내는 깊이 영상으로부터, 카메라(1300)와 사용자의 손 간의 거리에 기초하여 손 영역 정보를 검출할 수 있다. 프로세서(1200)는 검출한 손 영역 정보에 기초하여, 손 자세를 인식할 수 있다.
도 8은 증강 현실 장치(1000)가 인식 모드에서 소정의 손 자세를 인식한 경우를 설명하기 위한 도면이다.
증강 현실 장치(1000)는 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 카메라(1300)를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식할 수 있다. 사용자의 눈의 시선과 증강 현실 장치(1000)의 카메라(1300)의 촬영 방향이 동시에 다른 곳을 향한 상태에서, 증강 현실 장치(1000)는 사용자의 손 자세를 인식할 수 있다. 증강 현실 장치(1000)를 착용한 사용자가 현실 세계의 객체를 보는 상태에서, 증강 현실 장치(1000)는 카메라(1300)를 통해 사용자의 손 자세를 스캔하여 사용자의 손 자세가 사전에 설정된 손 자세에 매칭되는지 판단할 수 있다. 증강 현실 장치(1000)는 사전에 설정된 손 자세에 대한 정보를 저장하고 있을 수 있으며, 사용자는 새로운 형태의 손 자세를 정의하여 증강 현실 장치(1000)에 저장해 둘 수도 있다.
도 8을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 인식 모드에 대응되는 각도로 방향을 변경한 후, 사용자의 손 자세를 스캔하여 인식한 사용자의 손 자세가 '클릭'에 해당하는 경우를 나타내고 있다. 증강 현실 장치(1000)는 인식된 손 자세에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 8에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 인식된 손 자세인 '클릭'에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 자신이 취한 '클릭'에 해당하는 손 자세를 증강 현실 장치(1000)가 인식하였음을 알 수 있다. 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 8에 도시된 것에 제한되지 않으며, 설정 옵션에 따라 가상 이미지가 디스플레이에 제공되지 않도록 할 수도 있다.
한편, 증강 현실 장치(1000)는 사전에 설정된 손 자세마다 대응되는 작업 모드를 가질 수 있다. 예를 들어, 사용자의 손 자세가 제1 손 자세에 해당하면, 증강 현실 장치(1000)는 인식 모드에서 제1 손 자세에 대응되는 제1 작업 모드로 전환되고, 사용자의 손 자세가 제2 손 자세에 해당하면, 증강 현실 장치(1000)는 인식 모드에서 제2 손 자세에 대응되는 제2 작업 모드로 전환될 수 있다. 이하, 도 9 내지 도 11를 참조하여, 인식 모드에서 각 작업 모드로 전환된 경우에 대해서 설명한다.
도 9는 증강 현실 장치(1000)가 사진 촬영 모드에 따라 사진 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 9를 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 사진 촬영 모드에 대응되는 각도인 증강 현실 장치(1000)의 정면 방향으로 방향을 변경한 후, 카메라(1300)를 통해 사진 촬영 모드에 대응되는 이미지를 획득하는 경우를 나타내고 있다.
증강 현실 장치(1000)는 사진 촬영 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 9에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 사진 촬영 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 사진 촬영 모드에 따라 동작하여, 카메라(1300)를 통해 사진 촬영이 수행되고 있음을 알 수 있다. 사진 촬영 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 9에 도시된 것에 제한되지 않는다.
도 10은 증강 현실 장치(1000)가 파노라마 촬영 모드에 따라 파노라마 촬영을 수행하는 작업을 설명하기 위한 도면이다.
도 10을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 파노라마 촬영 모드에 대응되는 각도인 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 수평 또는 수직 방향으로 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는 경우를 나타내고 있다. 도 10에 도시된 바와 같이, 증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 제1 이미지, 제2 이미지, 및 제3 이미지를 획득하기 위해, 카메라(1300)의 방향을 제1 이미지를 획득하기 위한 촬영 방향, 제2 이미지를 획득하기 위한 촬영 방향, 및 제3 이미지를 획득하기 위한 촬영 방향으로 변경되도록 좌측에서 우측으로 변경할 수 있다.
증강 현실 장치(1000)는 파노라마 촬영 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 10에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 장면을 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 파노라마 촬영 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 파노라마 촬영 모드에 따라 동작하여, 카메라(1300)를 통해 파노라마 촬영이 수행되고 있음을 알 수 있다. 파노라마 촬영 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 10에 도시된 것에 제한되지 않는다.
도 11은 증강 현실 장치(1000)가 객체 추적 모드에 따라 객체 추적 및 분석을 수행하는 작업을 설명하기 위한 도면이다.
도 11을 참조하면, 증강 현실 장치(1000)가 카메라(1300)를 객체 추적 모드에 대응되는 각도인 움직이는 객체가 있는 방향으로 방향을 변경한 후, 카메라(1300)를 통해 객체의 움직임에 따라 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는 경우를 나타내고 있다. 도 11에 도시된 바와 같이, 증강 현실 장치(1000)는 객체 추적 모드에 대응되는 제1 이미지, 제2 이미지, 제3 이미지, 제4 이미지, 및 제5 이미지를 획득하기 위해, 카메라(1300)의 방향을 제1 이미지를 획득하기 위한 촬영 방향, 제2 이미지를 획득하기 위한 촬영 방향, 제3 이미지를 획득하기 위한 촬영 방향, 제4 이미지를 획득하기 위한 촬영 방향, 및 제5 이미지를 획득하기 위한 촬영 방향으로 변경되도록 우측에서 좌측으로 변경할 수 있다.
증강 현실 장치(1000)는 객체 추적 모드에 대응되는 가상 이미지를 렌즈부에 내재된 시스루 형태의 디스플레이를 통해 나타낼 수 있다. 도 11에 도시된 바와 같이, 증강 현실 장치(1000)를 착용한 사용자가 렌즈부를 통해 현실 세계의 움직이는 객체를 바라보고 있는 상태에서, 시스루 형태의 디스플레이에 객체 추적 모드에 대응되는 가상 이미지가 제공될 수 있다. 이에 따라, 사용자는 증강 현실 장치(1000)가 객체 추적 모드에 따라 동작하여, 카메라(1300)를 통해 객체 추적 촬영이 수행되고 있음을 알 수 있다. 객체 추적 모드에 대응되는 가상 이미지의 모양이나 가상 이미지가 디스플레이에 제공된 위치는 도 11에 도시된 것에 제한되지 않는다.
도 12는 증강 현실 장치(1000)의 추가 구성을 설명하기 위한 도면이다.
증강 현실 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 카메라(1300) 외에 디스플레이 엔진부(1400), 디스플레이(1500), 시선 추적 센서(1600)를 더 포함할 수 있다. 그 외에도 증강 현실 장치(100)의 위치를 감지하는 위치 센서나 다른 외부 기기와 유선 또는 무선으로 연결하기 위한 통신 인터페이스부, 증강 현실 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다.
디스플레이 엔진부(1400)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(1500)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(1500)는 증강 현실 장치(1000)의 좌안 렌즈부 및/또는 우안 렌즈부에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(1500)는 객체에 대한 정보 또는 증강 현실 장치(1000)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.
디스플레이(1500)에 가상 이미지의 팝업이 표시되는 경우, 증강 현실 장치(1000)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라(1300)에 사용자의 손이 검출되도록 위치시키고, 가상 이미지의 팝업에 있는 증강 현실 장치(1000)의 기능을 더블 클릭하는 손 자세를 취할 수 있다. 프로세서(1200)는 가상 이미지의 팝업을 조작하기 위해 이동하는 사용자의 손을 따라 카메라(1300)의 방향을 변경할 수 있다.
시선 추적 센서(1600)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에서 검출된 사용자의 시선 정보에 에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(1200)는 시선 추적 센서(1600)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시 지점에서 다른 응시 지점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.
증강 현실 장치(1000)의 프로세서(1200)는 시선 추적 센서(1600)를 이용하여 사용자의 응시 지점이나 사용자의 시선 이동을 판단하여, 증강 현실 장치(1000)의 제어에 이용할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에 의해 판단되는 응시 지점으로 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자가 응시하는 객체에 대한 사진을 촬영하거나, 사용자가 응시하는 소정의 지점에 대한 깊이 정보를 획득하기 위해, 프로세서(1200)는 시선 추적 센서(1600)로부터 획득된 신호를 이용하여 판단되는 응시 지점으로 카메라(1300)의 방향을 제어할 수 있다. 프로세서(1200)는 시선 추적 센서(1600)에 의해 감지되는 시선 이동에 따라서 카메라(1300)의 방향을 제어하여, 카메라(1300)를 통해 작업 모드에 대응되는 적어도 하나의 이미지를 획득할 수 있다. 사용자의 시선 이동에 따라 파노라마 촬영을 하거나, 객체를 추적하거나, 동영상을 촬영하기 위해, 프로세서(1200)는 시선 추적 센서(1600)에 의해 감지되는 시선 이동에 따라 카메라(1300)의 방향을 제어할 수 있다.
도 12에 도시된 증강 현실 장치(1000)를 착용한 사용자가 디스플레이 엔진부(1400)와 디스플레이(1500)를 통해 제공되는 가상 이미지의 팝업에서 공간 인식을 위한 깊이 정보 측정 기능을 더블 클릭한 경우, 프로세서(1200)는 카메라(1300)를 공간 인식 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서(1600)를 이용하여 사용자의 응시 지점을 판단할 수 있다. 프로세서(1200)는 응시 지점에 대해서 카메라(1300)를 통해 획득되는 이미지들에 기초하여, 응시 지점의 객체에 대한 깊이 정보를 측정할 수 있다.
예를 들어, 증강 현실 장치(1000)는 카메라(1300)의 회전 중심을 기준으로 카메라(1300)를 패닝(panning)함으로써 카메라(1300)의 방향을 좌우로 변경하여, 응시 지점에 대해 서로 다른 방향으로 촬영된 제1 이미지와 제2 이미지를 획득할 수 있다. 제1 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치와 제2 이미지를 획득할 때의 카메라(1300)의 렌즈 모듈의 중심 위치 간의 위치 차이를 베이스라인으로 하는 스테레오 비전 방식에 기초하여, 두 이미지에서 서로 대응되는 특징점을 찾아내고, 특징점에서의 깊이 정보의 지표가 되는 변이를 계산하여, 응시 지점의 객체에 대한 깊이 정보를 측정하고, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수 있다. 다른 예를 들어, 증강 현실 장치(1000)는 응시 지점의 객체에 대한 이미지들을 획득하고, 인코더-디코더 구조의 깊이 정보 추정 모델을 활용한 딥 러닝(deep learning) 분석에 따라, 응시 지점의 객체에 대한 깊이 정보를 측정하여, 측정된 깊이 정보에 기초한 깊이 영상을 생성할 수도 있다.
증강 현실 장치(1000)는 생성된 깊이 영상을 통해, 깊이 정보에 기초하여, 사용자가 응시하는 지점의 객체를 검출할 수 있고, 객체를 포함한 주변의 공간도 인식할 수 있다.
본 개시에서 설명된 증강 현실 장치(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 증강 현실 장치(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 증강 현실 장치(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 장치(1000)의 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 장치(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 방향 전환이 가능한 카메라;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 카메라를 제어함으로써, 상기 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하고, 상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 인식 모드 또는 상기 작업 모드에 따라 상기 카메라의 방향을 변경하는, 증강 현실 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 인식 모드에 대응되는 각도에서 상기 카메라의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하고, 상기 획득된 복수 장의 이미지들에 기초하여, 상기 사용자의 손 자세에 대한 깊이 정보를 측정하는, 증강 현실 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 사용자의 손을 프리 스캔닝(pre-scanning)하거나 상기 사용자에 대응되는 프로파일을 이용하여 상기 사용자의 손에 대한 정보를 획득하고, 상기 획득된 상기 사용자의 손에 대한 정보와 상기 카메라를 통해 획득되는 이미지에 기초하여, 상기 손 자세를 인식하는, 증강 현실 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 사진 촬영 모드인 경우, 상기 카메라를 상기 증강 현실 장치의 정면 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 사진 촬영 모드에 대응되는 이미지를 획득하는, 증강 현실 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 파노라마 촬영 모드인 경우, 상기 카메라를 상기 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 상기 카메라를 통해 수평 또는 수직 방향으로 상기 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는, 증강 현실 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 객체 추적 모드인 경우, 상기 카메라를 움직이는 객체가 있는 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 객체의 움직임에 따라 상기 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는, 증강 현실 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 판단되는 응시 지점으로 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 감지되는 시선 이동에 따라서 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 증강 현실 장치.
  10. 제1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 모드가 종료되면, 상기 인식 모드로 전환하는, 증강 현실 장치.
  11. 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 단계; 및
    상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 단계;
    를 포함하는, 증강 현실 장치의 제어 방법.
  12. 제 11 항에 있어서,
    상기 카메라는,
    상기 인식 모드 또는 상기 작업 모드에 따라 사전에 설정된 각도로 방향이 변경되는, 방법.
  13. 제 11 항에 있어서,
    상기 인식하는 단계는,
    상기 인식 모드에 대응되는 각도에서 상기 카메라의 방향을 좌우로 변경하여 복수 장의 이미지들을 획득하는 단계; 및
    상기 획득된 복수 장의 이미지들에 기초하여, 상기 사용자의 손 자세에 대한 깊이 정보를 측정하는 단계를 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 인식하는 단계는,
    상기 사용자의 손을 프리 스캔닝하거나 상기 사용자에 대응되는 프로파일을 이용하여 상기 사용자의 손에 대한 정보를 획득하는 단계; 및
    상기 획득된 상기 사용자의 손에 대한 정보와 상기 카메라를 통해 획득되는 이미지에 기초하여, 상기 손 자세를 검출하는 단계를 포함하는, 증강 현실 장치의 제어 방법.
  15. 제 11 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 사진 촬영 모드인 경우, 상기 카메라를 상기 증강 현실 장치의 정면 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 사진 촬영 모드에 대응되는 이미지를 획득하는, 방법.
  16. 제 11 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 파노라마 촬영 모드인 경우, 상기 카메라를 상기 파노라마 촬영의 시작점을 향하는 방향으로 방향을 변경한 후, 상기 카메라를 통해 수평 또는 수직 방향으로 상기 파노라마 촬영 모드에 대응되는 복수 장의 이미지들을 획득하는, 방법.
  17. 제 11 항에 있어서,
    상기 획득하는 단계는,
    상기 작업 모드가 객체 추적 모드인 경우, 상기 카메라를 움직이는 객체가 있는 방향으로 방향을 변경한 후, 상기 카메라를 통해 상기 객체의 움직임에 따라 상기 객체 추적 모드에 대응되는 복수 장의 이미지들을 획득하는, 방법.
  18. 제 11 항에 있어서,
    상기 획득하는 단계는,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 판단되는 응시 지점으로 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 방법.
  19. 제 11 항에 있어서,
    상기 획득하는 단계는,
    상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 시선 추적 센서에 의해 감지되는 시선 이동에 따라서 상기 카메라의 방향을 제어하여, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는, 방법.
  20. 방향 전환이 가능한 카메라를 인식 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 획득되는 이미지로부터 사용자의 손 자세를 인식하는 명령어들; 및
    상기 인식된 손 자세에 대응되는 작업 모드에 따라, 상기 카메라를 상기 작업 모드에 대응되는 각도로 방향을 변경한 후, 상기 카메라를 통해 상기 작업 모드에 대응되는 적어도 하나의 이미지를 획득하는 명령어들;
    을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200052586A 2020-04-29 2020-04-29 증강 현실 장치 및 그 제어 방법 KR20210133674A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200052586A KR20210133674A (ko) 2020-04-29 2020-04-29 증강 현실 장치 및 그 제어 방법
PCT/KR2021/004421 WO2021221341A1 (ko) 2020-04-29 2021-04-08 증강 현실 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052586A KR20210133674A (ko) 2020-04-29 2020-04-29 증강 현실 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210133674A true KR20210133674A (ko) 2021-11-08

Family

ID=78373641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052586A KR20210133674A (ko) 2020-04-29 2020-04-29 증강 현실 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20210133674A (ko)
WO (1) WO2021221341A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114052327B (zh) * 2021-12-31 2023-04-14 重庆电子工程职业学院 用于智慧工地的智能安全帽
US11747912B1 (en) * 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878144B1 (ko) * 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10416835B2 (en) * 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
WO2021221341A1 (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
US9838597B2 (en) Imaging device, imaging method, and program
TWI586167B (zh) 以臉部偵測控制相機
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US10353207B2 (en) Head-mounted display device and video display system
US10846927B2 (en) Method and apparatus for displaying a bullet-style comment in a virtual reality system
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
KR20220120649A (ko) 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US9160931B2 (en) Modifying captured image based on user viewpoint
WO2015035822A1 (en) Pickup of objects in three-dimensional display
US9521329B2 (en) Display device, display method, and computer-readable recording medium
US20230042807A1 (en) Electronic device
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
KR20210133674A (ko) 증강 현실 장치 및 그 제어 방법
US20230060453A1 (en) Electronic device and operation method thereof
WO2021184341A1 (en) Autofocus method and camera system thereof
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
JP2017046065A (ja) 情報処理装置
JP2022120681A (ja) 画像処理装置および画像処理方法
KR20210150881A (ko) 전자 장치 및 그 동작 방법
CN107852457B (zh) 取景器装置和操作该装置的方法
CN111142660A (zh) 一种显示装置、画面显示方法和存储介质
US11172188B2 (en) Information processing apparatus, information processing method, and storage medium