KR20180097031A - 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템 - Google Patents

휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템 Download PDF

Info

Publication number
KR20180097031A
KR20180097031A KR1020170023596A KR20170023596A KR20180097031A KR 20180097031 A KR20180097031 A KR 20180097031A KR 1020170023596 A KR1020170023596 A KR 1020170023596A KR 20170023596 A KR20170023596 A KR 20170023596A KR 20180097031 A KR20180097031 A KR 20180097031A
Authority
KR
South Korea
Prior art keywords
portable terminal
virtual image
processor
projection
communication circuit
Prior art date
Application number
KR1020170023596A
Other languages
English (en)
Inventor
이현민
Original Assignee
이현민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이현민 filed Critical 이현민
Priority to KR1020170023596A priority Critical patent/KR20180097031A/ko
Priority to PCT/KR2017/001964 priority patent/WO2018155733A1/ko
Publication of KR20180097031A publication Critical patent/KR20180097031A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/12—Projectors or projection-type viewers; Accessories therefor adapted for projection of either still pictures or motion pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H04M1/7253—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예에 따른 증강현실 시스템은 프로젝션 장치; 및 휴대 단말 장치를 포함하고, 상기 프로젝션 장치는, 가상 이미지를 외부에 투영하기 위한 프로젝션 모듈; 주변의 오브젝트를 인식하는 오브젝트 센서; 상기 휴대 단말 장치와 통신하기 위한 제1통신 회로; 및 상기 인식된 오브젝트에 관련된 오브젝트 정보를 상기 제1통신 회로를 통해 상기 휴대 단말 장치에 전송하도록 하는 제1프로세서를 포함하며, 상기 휴대 단말 장치는, 상기 프로젝션 장치와 통신하기 위한 제2통신 회로; 및 상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고, 상기 이벤트에 대응하여 가상 이미지를 생성하고, 상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정된 프로세서를 포함할 수 있다.
그 외에 다양한 실시예들이 가능하다.

Description

휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템 {AUGMENTED REALITY SYSTEM INCLUDING PORTABLE TERMINAL DEVICE AND PROJECTION DEVICE}
본 실시예는 증강 현실 시스템에 관한 것으로서, 보다 상세하게는 외부 오브젝트를 인식하고 오브젝트에 인접하여 증강 현실 컨텐츠를 투영할 수 있는 프로젝션 장치 및 상기 프로젝션 장치와 무선으로 통신 가능한 휴대 단말 장치를 포함하는 증강 현실 시스템에 관한 것이다.
이동통신 기술 및 프로세서 기술의 발달에 따라 휴대 단말 장치(예: 스마트폰)는 종래의 통화 기능에서 나아가 다양한 기능들을 구현할 수 있게 되었다. 더불어 최근에는 개인 비서 서비스/로봇 등이 출시되어 사용자에게 다양한 사용자 경험을 제공하고 있다.
휴대 단말 장치의 다양한 기능들을 활용하기 위해 사용자들은 많은 정보들을 입력하고 있으며, 휴대 단말 장치로부터 다양한 정보들을 받아들일 수 있다. 이러한 다양한 정보들을 휴대 단말 장치로부터 획득하기 위해서는 사용자가 직접 입력하는 능동적인 과정을 거치게 된다.
사용자가 휴대 단말 장치와 인터랙션 하기 위한 방법으로써 기본적인 터치 입력 이외에 음성을 통한 인터랙션이 사용되고 있다. 하지만, 음성을 통한 인터랙션은 입/출력 방식에 있어 한계가 있고, 소리의 특성 상 원하지 않는 정보의 전달은 사용자에게 피로감을 줄 수 있다.
상기 문제점을 해결하기 위한 본 발명의 목적은 사용자의 편의성을 향상 시키고 다양한 사용자 경험을 제공할 수 있는 프로젝션 기반의 증강 현실 시스템을 제공하는 데 있다.
본 발명의 다양한 실시예에 따른 휴대 단말 장치는, 디스플레이; 메모리; 외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및 상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고, 상기 이벤트에 대응하여 가상 이미지를 생성하고, 상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따른 휴대 단말 장치는, 디스플레이; 메모리; 외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및 상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 상기 통신 회로를 통해 상기 프로젝션 장치가 외부의 오브젝트를 인식하여 생성된 오브젝트 정보를 수신하고, 상기 오브젝트 정보에 대응되는 상기 휴대 단말 장치의 제어 동작을 확인하고, 상기 확인된 제어 동작을 수행하도록 설정될 수 있다.
상술한 본 발명에 따르면, 사용자의 편의성을 향상 시키고 다양한 사용자 경험을 제공할 수 있는 프로젝션 기반의 증강 현실 시스템을 제공할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 증강 현실 시스템을 구성하는 각 구성들을 도시한 것이다.
도 2는 본 발명의 다양한 실시예에 따른 프로젝션 장치의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 프로젝션 장치의 세부 구성도이다.
도 4는 본 발명의 다양한 실시예에 따른 패턴 프로젝트를 도시한 것이다.
도 5a 내지 5b는 본 발명의 다양한 실시예에 따른 프로젝션 장치의 초점 거리를 도시한 것이다.
도 6은 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 블록도이다.
도 7은 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 제2프로세서의 세부 블록도이다.
도 8a 내지 8c는 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 기능 제어의 실시예들을 도시한 것이다.
도 9a는 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 제2프로세서의 세부 블록도이다.
도 9b는 본 발명의 다양한 실시예에 따른 감성 정보를 생성하기 위한 각 모듈을 도시한 것이다.
도 10a 내지 10c는 본 발명의 다양한 실시예에 따른 캐릭터 이미지를 포함하는 가상 이미지를 도시한 것이다.
도 11는 본 발명의 다양한 실시예에 따라 인식된 이미지를 저장하는 방법을 도시한 것이다.
도 12는 본 발명의 다양한 실시예에 따른 증강 현실 시스템을 이용한 비서 로봇이 수행할 수 있는 기능들을 도시한 것이다.
도 13은 본 발명의 다양한 실시예에 따른 가상 이미지 제공 방법의 흐름도이다.
도 14는 본 발명의 다양한 실시예에 따른 가상 이미지 제공 방법의 흐름도이다.
이하, 본 명세서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 통상의 기술자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
도 1은 본 발명의 다양한 실시예에 따른 증강 현실 시스템을 구성하는 각 구성들을 도시한 것이다.
본 발명의 다양한 실시예에 따른 증강 현실 시스템은 프로젝션 장치(110) 및 휴대 단말 장치(120)를 포함할 수 있다. 실제 구현 형태에 따라 프로젝션 장치(110)의 일부 구성 및/또는 기능이 휴대 단말 장치(120) 상에서 구현될 수 있으며, 반대로 휴대 단말 장치(120)의 일부 구성 및/또는 기능이 프로젝션 장치(110) 상에서 구현될 수도 있다.
프로젝션 장치(110)의 기능은 대표적으로 오브젝트(140)(예: 사용자의 손)의 인식 및 가상 이미지(130) 투영을 예로 들 수 있다. 이를 위해 프로젝션 장치(110)는 주변의 오브젝트(140)의 존재 또는 이동을 감지하기 위한 오브젝트(140) 인식 모듈 및 이미지를 외부로 투영하기 위한 프로젝션 모듈을 포함할 수 있다.
먼저, 오브젝트 센서는 증강 현실에서의 비전을 구현하기 위한 것으로서, 프로젝션 장치(110) 주변의 대상 영역의 이미지를 획득하고, 획득된 이미지로부터 오브젝트(140)의 존재 및 이동 여부를 확인할 수 있다. 예를 들어, 사용자는 책을 읽는 중에 책의 주변에 프로젝션 장치(110)를 설치하고 프로젝션 모듈의 시야가 책을 향하도록 할 수 있으며, 이 경우 프로젝션 모듈은 책 및 사용자의 손 등을 촬영하고 그 움직임을 확인할 수 있다.
오브젝트 센서는 카메라 및/또는 적외선 센서를 포함할 수 있으며, 일 실시예에 따르면 복수의 카메라 및/또는 적외선 센서를 이용하여 오브젝트(140)를 3D로 인식할 수 있다.
프로젝션 모듈은 가상 이미지(130)를 외부로 투사 시켜 표시할 수 있다. 예를 들어, 사용자가 책을 읽는 중에 책의 일 영역 상에 가상 이미지(130)가 표시될 수 있다. 가상 이미지(130)를 통해 표시되는 정보에는 한정됨이 없을 것이나, 예를 들어, 도 1에 도시된 바와 같이, 날씨 정보가 관련 이미지 및 텍스트 정보로써 표시될 수 있으며, 소정의 캐릭터 이미지가 표시될 수 있다. 사용자는 오브젝트(140)(예: 사용자의 손)에 인접하여 투사되는 가상 이미지(130)(예: 날씨 정보) 및 현실 정보를 동시에 인식할 수 있다.
일 실시예에 따르면, 가상 이미지(130)는 소정의 캐릭터 이미지를 포함할 수 있다. 캐릭터 이미지는 주변 환경 또는 인식되는 오브젝트(140)에 따라 변경되어, 사용자의 현재 상태 및 감정을 표현할 수 있다.
프로젝션 장치(110)는 제1통신 회로, 제1프로세서 등 보다 다양한 구성들을 포함할 수 있으며, 프로젝션 장치(110)의 보다 상세한 구성 및 기능에 대해서는 도 2 내지 도 5를 통해 상세히 후술하기로 한다.
휴대 단말 장치(120)는 스마트폰, 태블릿 PC 등 사용자가 휴대 가능한 공지의 전자 장치로 구현될 수 있으며 상세한 구현 예는 이에 한정되지 않는다.
휴대 단말 장치(120)는 프로젝션 장치(110)와 무선으로 통신 가능하며 프로젝션 장치(110)에 의해 인식된 오브젝트(140)의 관련 정보(예: 오브젝트의 존재 여부 및 오브젝트의 이동 등)를 수신하고, 프로젝션 장치(110)가 투영할 가상 이미지(130) 정보를 제공할 수도 있다.
휴대 단말 장치(120)는 프로젝션 장치(110)로부터 수신한 오브젝트 관련 정보에 기초하여 다양한 동작을 수행할 수 있다. 일 실시예에 따르면, 휴대 단말 장치(120)는 수신한 오브젝트 관련 정보에 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 사용자가 손을 움직이는 경우, 그에 대응하여 휴대 단말 장치(120) 상에 현재 표시된 어플리케이션(예: 전자책)의 페이지를 넘기 거나, 어플리케이션을 종료시킬 수 있다.
일 실시예에 따르면, 휴대 단말 장치(120)는 프로젝션 장치(110)가 투사할 가상 이미지(130)를 생성하여 프로젝션 장치(110)에 제공할 수 있다. 여기서, 가상 이미지(130)는 캐릭터 이미지를 포함할 수 있으며, 휴대 단말 장치(120)는 휴대 단말 장치(120) 상에 설치 및 실행된 어플리케이션에서 발생하는 이벤트에 따라 캐릭터 이미지를 보정할 수 있다. 일 실시예에 따르면 휴대 단말 장치(120)는 감성 엔진을 탑재하여, 상기 다양한 이벤트에 따라 캐릭터 이미지를 보정할 수 있는데, 예를 들어, 일정 어플리케이션 상에 기록된 일정, 메시지 어플리케이션에서 수신되는 메시지 등에 기초하여 감성 정보를 생성하고, 감성 정보에 따라 캐릭터 이미지를 보정할 수 있다.
휴대 단말 장치(120)의 보다 상세한 구성 및 기능에 대해서는 도 6 내지 도 11을 통해 보다 상세히 설명하기로 한다.
프로젝션 장치(110)는 휴대 단말 장치(120)와 달리 사용자가 고정된 위치에 설치하여 사용하는 것이 일반적이나, 사용상 편의를 위해 그 크기는 휴대 단말 장치(120)와 비슷한 크기 일 수 있다.
일 실시예에 따르면, 프로젝션 장치(110)는 휴대 단말 장치(120)로부터 수신하는 정보(예: 가상 이미지, 날씨/시간 등 위젯 정보 등)를 인터넷 상의 다른 장치로부터 수신할 수 있다. 이 경우, 프로젝션 장치(110)는 어플리케이션을 직접 실행하고, 가상 이미지를 렌더링 할 수 있는 프로세서(예: 제1프로세서)를 포함할 수 있다. 이 경우, 증강 현실 시스템에서 휴대 단말 장치(120)의 기능 중 적어도 일부는 프로젝션 장치(110) 상에서 수행되고, 나머지 적어도 일부는 다른 장치에서 수행 가능하며, 프로젝션 장치(110)와 상기 다른 장치는 인터넷으로 통신할 수 있다.
본 발명의 다양한 실시예에 따른 증강 현실 시스템은 프로젝션 장치; 및 휴대 단말 장치를 포함하고, 상기 프로젝션 장치는, 가상 이미지를 외부에 투영하기 위한 프로젝션 모듈; 주변의 오브젝트를 인식하는 오브젝트 센서; 상기 휴대 단말 장치와 통신하기 위한 제1통신 회로; 및 상기 인식된 오브젝트에 관련된 오브젝트 정보를 상기 제1통신 회로를 통해 상기 휴대 단말 장치에 전송하도록 하는 제1프로세서를 포함하며, 상기 휴대 단말 장치는, 상기 프로젝션 장치와 통신하기 위한 제2통신 회로; 및 상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고, 상기 이벤트에 대응하여 가상 이미지를 생성하고, 상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정된 프로세서를 포함할 수 있다.
또한, 본 발명의 다양한 실시예에 따른 증강 현실 시스템은 프로젝션 장치; 및 휴대 단말 장치를 포함하고, 상기 프로젝션 장치는, 가상 이미지를 외부에 투영하기 위한 프로젝션 모듈; 주변의 오브젝트를 인식하는 오브젝트 센서; 상기 휴대 단말 장치와 통신하기 위한 제1통신 회로; 및 상기 인식된 오브젝트에 관련된 오브젝트 정보를 상기 제1통신 회로를 통해 상기 휴대 단말 장치에 전송하도록 하는 제1프로세서를 포함하며, 상기 휴대 단말 장치는, 상기 프로젝션 장치와 통신하기 위한 제2통신 회로; 및 상기 제2통신 회로로부터 오브젝트 정보가 수신되는 경우, 상기 오브젝트 정보에 대응되는 상기 휴대 단말 장치의 제어 동작을 확인하고, 상기 확인된 제어 동작을 수행하는 제2프로세서를 포함할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 프로젝션 장치의 블록도이다.
도시된 바와 같이, 프로젝션 장치(200)는 프로젝션 모듈(230), 오브젝트 센서(240), 제1통신 회로(220) 및 제1프로세서(210)를 포함하며, 도시된 구성 중 일부가 생략 또는 치환되더라도 본 발명의 다양한 실시예를 구현함에는 지장이 없을 것이다. 프로젝션 장치(200)는 도 1의 프로젝션 장치(110)일 수 있다.
제1프로세서(210)는 프로젝션 장치(200)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 도시된 프로젝션 모듈(230), 오브젝트 센서(240), 제1통신 회로(220)를 포함하는 프로젝션 장치(200)의 각 구성 요소들과 전기적 및/또는 기능적으로 연결될 수 있다.
제1통신 회로(220)는 근거리 무선 통신을 이용하여 휴대 단말 장치와 통신하기 위한 구성이다. 사용되는 근거리 무선 통신은 예를 들어, WiFi(wireless fidelity), 블루투스(bluetooth), 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication) 등을 예로 들 수 있으나, 이에 한정되지 않으며 다양한 규격 또는 비규격의 근거리 무선 통신이 활용될 수 있다. 일 실시예에 따르면, 제1통신 회로(220)는 네트워크로 접속 가능하며, 네트워크를 통해 휴대 단말 장치와 통신할 수 있다.
일 실시예에 따르면, 프로젝션 장치(200)는 제1통신 회로(220)를 통해 인터넷으로 접속할 수 있으며, 인터넷 상에서 획득한 정보를 이용하여 가상 이미지를 생성 및 표시할 수 있다.
프로젝션 모듈(230)은 가상 이미지(예: 도 1의 가상 이미지(130))를 외부로 투사 시켜 표시할 수 있다. 여기서, 가상 이미지는 제1프로세서(210)에 의해 생성된 이미지이거나, 제1통신 회로(220)를 통해 휴대 단말 장치로부터 수신된 이미지일 수 있다. 가상 이미지는 캐릭터 이미지를 포함할 수 있으며, 실제 영역에 투사되어 증강 현실을 구현할 수 있게 된다. 일 실시예에 따르면, 가상 이미지는 휴대 단말 장치가 아닌 인터넷 상의 다른 장치로부터 획득한 이미지 정보일 수 있다.
일 실시예에 따르면, 가상 이미지는 후술할 오브젝트 센서(240)에 의해 인식된 오브젝트와 관련된 정보를 포함할 수 있다. 예를 들어, 사용자가 책을 읽고 있을 때, 오브젝트 센서(240)는 책 내의 텍스트를 인식할 수 있으며, 프로젝션 모듈(230)은 인식된 텍스트와 관련된 정보(예: 텍스트의 번역, 텍스트를 인터넷으로 검색하여 검색된 정보)를 포함하는 가상 이미지를 해당 텍스트에 인접하여 투사할 수 있다.
일 실시예에 따르면, 제1프로세서(210)가 직접 가상 이미지를 생성할 수 있다. 다른 일 실시예에 따르면, 가상 이미지는 인터넷 상의 다른 장치에 의해 수신되는 것일 수도 있다.
오브젝트 센서(240)는 현실 세계의 오브젝트(예: 도 1의 오브젝트(140))를 인식하기 위한 소프트웨어 및/또는 하드웨어 구성을 포함할 수 있다. 일 실시예에 따르면, 오브젝트 센서(240)의 하드웨어는 카메라 및 적외선 센서를 포함할 수 있으며, 소프트웨어는 촬영된 이미지로부터 오브젝트의 좌표 및 이동을 검출하는 일련의 로직을 포함할 수 있다. 오브젝트 센서(240)는 광학적인 삼각측량법, 시간지연 측정법, 구조광을 이요한 측정법 등을 이용하여 오브젝트의 3차원 좌표를 획득하고, 좌표 이동을 감지함으로써 오브젝트의 존재 및 이동을 검출할 수 있다. 예를 들어, 오브젝트 센서(240)는 사용자의 손의 제스쳐를 확인할 수 있다. 일 실시예에 따르면, 오브젝트 센서(240)는 오브젝트의 3차원 좌표를 획득하기 위해 2개 이상의 카메라 및/또는 적외선 센서를 포함할 수 있다. 또한 일 실시예에 따르면, 상기 카메라 또는 적외선 센서는 패턴 프로젝터(pattern projector)를 포함할 수 있다(도 4를 통해 상세 후술).
일 실시예에 따르면, 오브젝트 센서(240)의 기능 중 적어도 일부는 휴대 단말 장치 상에서 수행될 수 있는데, 예를 들어 오브젝트 센서(240)는 카메라를 통해 실제 공간의 이미지만을 획득하여 휴대 단말 장치로 제공하고, 휴대 단말 장치에서 이미지의 분석을 통해 오브젝트 인식을 수행할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 프로젝션 장치의 세부 구성도이다.
이하에서는 도 3을 통해 프로젝션 장치(300)가 가상 이미지를 투과하기 위한 하드웨어 적 구성에 대해 보다 상세히 설명하기로 한다. 도 3에 개시된 형태는 일 실시예에 불과하며, 다양한 형태의 프로젝션 장치가 사용될 수 있다.
프로젝션 모듈(예: 도 2의 프로젝션 모듈)은 출력부(310), 렌즈(312) 및 미러(314)를 포함할 수 있다.
출력부(310)는 프로세서로부터 전달 받은 가상 이미지를 출력할 수 있다. 출력부(310)는 예를 들어 빛을 발광하는 발광부(미도시)와 액정 투과도의 변화를 이용하여 발광부에서 발광되는 빛을 선택적으로 투과 시켜 가상 이미지가 출력되도록 하는 액정층(미도시)을 포함할 수 있다. 그 외에, 가상 이미지의 출력에는 공지된 다양한 기술들이 적용될 수 있다.
출력부(310)의 후면에는 적어도 하나의 렌즈(312)가 마련될 수 있다. 출력부(310)를 통한 빛은 렌즈(312)에서 굴절되어 미러(314)로 향할 수 있다. 이에 따라, 빛이 통과하는 경로를 줄여 프로젝션 장치(300)를 소형화가 가능할 수 있다. 상기 렌즈(312)는 프레넬 렌즈(Fresnel lens)로 구현될 수 있다.
렌즈(312)에서 굴절된 빛은 미러(314)를 통해 외부로 출력될 수 있다. 제1프로세서(예: 도 2의 제1프로세서(210))는 미러(314)의 각도를 조절하여 가상 이미지가 형성되는 위치와 크기(또는 배율)를 조절할 수 있다.
일 실시예에 따르면, 상기 렌즈(312) 및 미러(314)는 가까운 거리에 이미지를 투영할 수 있는 단초점 렌즈(short focal length lens)로 기능할 수 있다.
프로젝션 장치(300)는 외부의 오브젝트를 인식하기 위한 오브젝트 센서(예: 도 2의 오브젝트 센서(240))를 포함할 수 있다. 일 실시예에 따르면, 오브젝트 센서는 현실 이미지를 획득하기 위한 적어도 하나의(예: 2개) 카메라(322) 및/또는 적어도 하나의(예: 2개) 적외선 센서(324)를 포함할 수 있다. 이 중 적어도 하나의 카메라(322)만을 포함하거나, 적어도 하나의 적외선 센서(324)만을 포함할 수도 있다.
프로젝션 장치(300)가 2개의 카메라(322)(또는 2개의 적외선 센서(324))를 구비한 경우, 제1카메라 및 제2카메라(또는 제1적외선 센서 및 제2적외선 센서)는 현실 세계의 동일한 영역의 이미지를 획득할 수 있으며, 제1카메라와 제2카메라(또는 제1적외선 센서 및 제2적외선 센서)의 위치가 일부 이격되어 서로 다른 각도에서 해당 영역을 촬영할 수 있으므로, 3차원의 오브젝트를 인식할 수 있다.
일 실시예에 따르면, 상기 카메라(322) 및/또는 적외선 센서(324)는 패턴 프로젝터로 구현될 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 패턴 프로젝터를 도시한 것이다.
일 실시예에 따르면, 프로젝션 장치(예: 도 2의 프로젝션 장치(200) 및/또는 도 3의 프로젝션 장치(300))의 오브젝트 센서(예: 도 2의 오브젝트 센서(240))는 패턴 프로젝터(pattern projector)를 포함할 수 있다. 상기 패턴 프로젝터는 적외선 센서(예: 도 3의 적외선 센서(324))를 이용하여, 사용자의 눈에는 그 패턴이 인지되지 않을 수 있다.
도시된 바와 같이, 패턴 프로젝터는 2개의 발광부(422, 424)를 포함하며, 2개의 발광부(422, 424)는 제1프로세서(예: 도 2의 제1프로세서(210))의 제어 신호에 따라 선택적으로 빛을 출력할 수 있다. 여기서, 출력되는 빛은 적외선 영역의 빛일 수 있다. 도 4에서는 2개의 발광부(422, 424)를 포함하는 것으로 도시 하였으나, 발광부의 수는 이에 한정되지 않으며, 1개 또는 3개 이상의 발광부가 사용될 수도 있다.
각 발광부(422, 424)에서 출력되는 빛은 패턴 필름(430)을 통과하며, 패턴 필름(430)을 출력한 빛은 밝은 부분과 어두운 부분이 교차하여 반복되는 형태일 수 있다. 이를 위해, 패턴 필름(430)은 빛을 통과하는 영역과 차단하는 영역을 서로 평행하도록 교차하여 형성할 수 있다.
패턴 필름(430)을 통과한 빛은 렌즈(440)를 통해 확대되어 오브젝트의 영역으로 투영될 수 있다. 도 4에 도시된 바와 같이, 제1발광부(422) 및 제2발광부(424)에서 각각 출력되는 빛은 패턴화 되어 투영되고, 서로 다른 위치에 투영될 수 있다.
오브젝트 센서(예: 도 2의 오브젝트 센서(240))는 패턴화 된 빛을 투영하고 오브젝트를 촬영하여 오브젝트의 3D 맵을 생성할 수 있다. 즉, 패턴 프로젝터를 이용하여 오브젝트의 인식이 가능하며 이는 구성된 프로젝터 모듈을 이용할 수 있으며 또한 추가적인 적외선 패턴 프로젝터 모듈로 구성이 가능하다. 추가된 프로젝션 모듈은 오브젝트의 3차원 좌표를 획득하기 위하여 적외선 발광부의 변경으로 투사 이미지의 위상을 변경할 수 있는 구조로 구성 될 수 있다.
도 5a 내지 5b는 본 발명의 다양한 실시예에 따른 프로젝션 장치의 초점 거리를 도시한 것이다.
일 실시예에 따르면, 오브젝트 센서(예: 도 2의 오브젝트 센서(240))는 적어도 하나의 카메라(예: 도 3의 제1카메라(322) 및 제2카메라(324))를 포함할 수 있다. 프로젝션 장치는 소형화 된 제품의 특성 상 카메라를 비스듬하게 배치할 수 있으며, 그에 따라 카메라는 오브젝트가 마련되는 평면에 대해 비스듬한 위치에서의 영상을 획득할 수 있다. 이 경우, 입력되는 영상의 카메라의 초점 거리(또는 DOF(depth of field))가 가까운 쪽과 먼 쪽을 모두 포함하지 못하여 결과적으로 선명한 영상을 얻기 힘들 수 있다.
본 발명의 다양한 실시예에 따른 프로젝션 장치는 상기와 같은 문제점을 해결하기 위하여, 카메라의 렌즈를 일부 기울여서(tilt) 더 넓은 초점 거리를 가질 수 있다. 도 5a의 첫번째 그림을 참고 하면, 종래와 같이 이미지 센서와 렌즈가 평행하게 배치되어 있다. 다양한 실시예에 따른 프로젝션 장치는 두번째 그림과 같이 이미지 센서와 렌즈를 평행하게 하지 않고 렌즈를 일부 기울여서 배치하는 결과 초점이 형성되는 평면 역시 기울여 질 수 있다. 이에 따라, 소형화 제품 특성 상 카메라를 비스듬하게 배치할 수 밖에 없는 구조적 문제를 해결할 수 있다.
도 5b를 참고 하면, 이반 렌즈를 사용하는 경우보다 기울여진 렌즈(tilted lens)를 사용하는 경우 보다 넓은 범위에서 초점 거리를 가질 수 있음을 알 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 블록도이다.
도시된 바와 같이, 휴대 단말 장치(600)는 디스플레이(630), 제2통신 회로(620), 제2프로세서(610) 및 메모리(640)를 포함하며, 도시된 구성 중 일부가 생략 또는 치환되더라도 본 발명의 다양한 실시예를 구현함에는 지장이 없을 것이다. 휴대 단말 장치는 도 1의 휴대 단말 장치(120)일 수 있다.
디스플레이(630)는 영상을 표시하며, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이 등으로 구현될 수 있다.
디스플레이(630)는 디스플레이(630)의 전면에 형성된 커버 윈도우(미도시) 상에서 발생되는 터치 입력을 감지할 수 있는 터치 센서(미도시)를 포함할 수 있다.
제2통신 회로(620)는 외부 장치(예: 도 1의 프로젝션 장치(110))와 무선으로 데이터를 송수신하기 위한 구성으로써 안테나(미도시) 및 커뮤니케이션 프로세서(communication processor)(미도시)를 포함할 수 있다. 제2통신 회로(620)는 프로젝션 장치와 공지의 다양한 근거리 무선 통신 방식(예: Wifi, Bluetooth)에 의해 오브젝트 관련 정보를 수신하거나, 가상 이미지를 전송할 수 있으며, 네트워크를 통해 서로 통신할 수도 있다.
메모리(640)는 공지의 휘발성 메모리(volatile memory) 및 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 메모리(640)는 제2프로세서(610)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 제2프로세서(610)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 입출력 등의 제어 명령을 포함할 수 있다. 메모리(640)에는 일정, 게임, 메시지 등의 기능을 수행하는 다양한 어플리케이션들이 저장될 수 있으며, 프로세서(610)는 메모리(640)에 저장된 어플리케이션을 실행할 수 있다.
제2프로세서(610)는 휴대 단말 장치(600)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 디스플레이(630), 제2통신 회로(620), 메모리(640)와 전기적 및/또는 기능적으로 연결될 수 있다. 제2프로세서(610)는 각 기능을 수행하는 하드웨어 또는 소프트웨어 구성으로써, 도 7을 통해 후술할 제스쳐 인식 모듈, 기능 맵핑 모듈 및 기능 제어 모듈을 포함하거나, 도 9를 통해 후술할 캐릭터 생성 모듈, 감성 모듈 및 가상 이미지 생성 모듈을 포함할 수 있다. 각각의 모듈의 상세한 기능에 대해서는 도 7 및 도 9를 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 제2통신 회로(620)는 프로젝션 장치로부터 오브젝트 정보를 수신할 수 있다. 여기서, 오브젝트 정보는 오브젝트(예: 도 1의 오브젝트(140))의 존재, 종류(예: 사람의 손, 물체 등) 및 움직임(예: 이동 방향 및 속도 등)를 포함할 수 있다.
제2프로세서(610)는 제2통신 회로(620)를 통해 수신된 오브젝트 정보를 획득할 수 있다. 일 실시예에 따르면, 제2프로세서(610)는 프로젝션 장치에서 촬영된 현실 이미지를 수신하고 그로부터 오브젝트 인식을 수행하여 오브젝트 정보를 생성할 수 있으며, 다른 실시예로써 프로젝션 장치에서 직접 오브젝트 인식을 수행한 후 생성된 오브젝트 정보를 수신할 수도 있다.
다양한 실시예에 따르면, 제2프로세서(610)는 오브젝트 정보에 대응되는 휴대 단말 장치(600)의 제어 동작을 확인하고, 확인된 제어 동작을 수행할 수 있다. 메모리(640)는 각각의 사용자 제스쳐에 따라 휴대 단말 장치(600) 상에서 수행할 수 있는 기능을 맵핑한 테이블을 저장할 수 있으며, 이는 각각의 어플리케이션 별로 할당될 수 있다. 오브젝트 정보가 수신되면, 프로세서는 실행된 어플리케이션 상에서(또는 다른 어플리케이션 상에서 또는 다른 장치 상에서) 수행할 오브젝트 정보를 상기 테이블에서 찾고, 해당 동작을 수행할 수 있다.
예를 들어, 전자책 어플리케이션이 실행된 상태에서 사용자가 손을 우측으로 이동 시키는 제스쳐는 다음 페이지로 넘기는 동작, 좌측으로 이동 시키는 제스쳐는 이전 페이지로 돌아가는 동작에 대응될 수 있다. 또한, 아래로 이동 시키는 제스쳐는 전자책 어플리케이션을 종료하는 동작에 대응될 수 있다. 다른 예로써, 메시지 어플리케이션이 실행 된 상태에서 사용자가 손을 자신이 위치한 방향으로 이동하는 제스쳐는 수신된 메시지를 음성으로 출력하는 동작, 반대 방향으로 이동하는 제스쳐는 해당 메시지를 삭제하는 동작에 대응될 수 있다. 또한, 메시지 어플리케이션을 실행 후 사용자가 음성으로 메시지를 입력한 경우 손을 위쪽으로 이동하는 제스쳐는 메시지를 전송하는 동작에 대응될 수 있다.
상기 기능 제어와 관련된 다양한 실시예에 대해서는 도 7 내지 도 8을 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 제2프로세서(610)는 가상 이미지(예: 도 1의 가상 이미지(130))를 생성할 수 있다. 제2프로세서(610)는 생성된 가상 이미지를 제2통신 회로(620)를 통해 프로젝션 장치에 전송하며, 프로젝션 장치는 가상 이미지를 현실 세계로 투영할 수 있다.
다양한 실시예에 따르면, 가상 이미지는 정지 이미지 또는 동영상일 수 있으며, 3차원 입체 영상일 수 있다. 가상 이미지는 캐릭터 이미지를 포함할 수 있다. 캐릭터는 널리 알려진 다양한 종류의 캐릭터가 활용될 수 있으며, 사용자의 선택에 따라 캐릭터 이미지의 종류가 결정될 수 있다. 상기 캐릭터는 휴대 단말 장치(600) 상에서 발생하는 적어도 하나의 이벤트에 따라 변경될 수도 있다.
가상 이미지는 예를 들어, 제2프로세서(610)에 의해 실행된 어플리케이션 또는 위젯에 의해 생성된 이미지에 기반할 수 있다. 일 실시예에 따르면, 시계, 날씨, 음악, SNS, 스케줄, 이메일 등 다양한 어플리케이션에 의해 생성된 이미지들이 가상 이미지에 포함될 수 있다. 예를 들어, 제2프로세서(610)는 시계 어플리케이션에서 생성된 시간 정보를 가상 이미지에 포함할 수 있으며, 시계 알림과 관련된 텍스트 및 캐릭터 이미지를 더 포함할 수 있다.
다양한 실시예에 따르면, 제2프로세서(610)는 휴대 단말 장치(600)에서 발생하는 적어도 하나의 이벤트를 감지하고, 감지된 이벤트에 대응하여 가상 이미지를 생성할 수 있다. 여기서, 상기 이벤트는 실행 중인 어플리케이션 상에서 발생한 이벤트일 수 있다.
예를 들어, 스케줄 어플리케이션에서 등록된 특정 스케줄 시간이 도래한 경우, 스케줄 정보를 포함하는 가상 이미지를 생성하여 프로젝션 장치로 제공할 수 있다. 또한, SNS, 메시지 어플리케이션에서 알림이 도달한 경우, 해당 알림 정보를 포함하는 가상 이미지를 생성하여 프로젝션 장치로 제공할 수 있다. 일 실시예에 따르면, 가상 이미지와 함께, 어플리케이션에서 생성된 이벤트 정보(예: 메시지 내용, 알림 효과음 등)를 포함하는 사운드 데이터를 프로젝션 장치로 제공할 수 있다.
다양한 실시예에 따르면, 제2프로세서(610)는 프로젝션 장치로부터 수신된 오브젝트 정보에 더 기초하여 가상 이미지를 생성할 수 있다. 예를 들어, 제2프로세서(610)는 인식된 오브젝트 정보로부터 사용자의 현 상태(예: 감성 정보 등) 또는 주변 상황(예: 주변 오브젝트들에 기반한 장소/시간 추정 등)을 획득하고, 그에 대해 적합한 가상 이미지를 생성할 수 있다.
다양한 실시예에 따르면, 가상 이미지는 소정의 캐릭터를 포함하며, 제2프로세서(610)는 가상 이미지 내에 포함된 캐릭터의 감성 정보를 생성하고, 감성 정보에 따라 가상 이미지에 포함되는 캐릭터를 보정할 수 있다.
예를 들어, 사용자가 즐거운 기분인 경우 캐릭터 이미지의 표정이 밝거나 귀여운 모양의 캐릭터 이미지를 출력할 수 있으며, 우울한 기분인 경우 캐릭터 이미지가 어두운 표정을 가지거나 다소 침울한 모양의 캐릭터 이미지를 출력할 수 있다.
감성 정보는 희로애락과 같은 사람의 감정 종류에 따라 구분될 수 있으며, 메모리(640)는 각 감성 정보에 대응되는 다양한 캐릭터 이미지를 저장할 수 있다.
다양한 실시예에 따르면, 제2프로세서(610)는 실행 중인 어플리케이션의 정보를 참고 하여 감성 정보를 생성할 수 있다. 예를 들어, 일정 어플리케이션에서 작성 된 일정을 참고 하여, 일정의 종류 및 개수를 참고할 수 있다. 오늘의 일정이 수업, 시험 등이고 그 수가 많다면 사용자의 감성은 우울한 감정으로 예측할 수 있다. 제2프로세서(610)는 이에 따라 우울한 감정에 대응되는 캐릭터 이미지를 출력할 수 있다. 또 다른 예를 들면, 제2프로세서(610)는 메시지 어플리케이션에서 발신 또는 수신되는 메시지의 텍스트 또는 이모티콘을 참고하여 사용자의 감성을 추정할 수 있다.
다른 일 실시예에 따르면, 제2프로세서(610)는 제2통신 회로(620)를 통해 수신되는 오브젝트 관련 정보에 기초하여 감성 정보를 생성할 수 있다. 예를 들어, 프로젝션 장치의 오브젝트 센서가 사용자의 얼굴을 촬영하고, 사용자의 얼굴 표정이 우울한 표정으로 인식되는 경우, 제2프로세서(610)는 오브젝트 관련 정보를 참고하여 사용자의 감성이 우울한 것으로 결정하고 그에 대응되는 캐릭터 이미지를 생성할 수 있다.
상기 가상 이미지의 생성 및 보정과 관련된 다양한 실시예에 대해서는 도 9 내지 도 10을 통해 보다 상세히 설명하기로 한다.
도 7은 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 제2프로세서의 세부 블록도이다.
도시된 바와 같이, 제2프로세서(710)(예: 도 6의 제2프로세서(610))는 제스쳐 인식 모듈(712), 기능 맵핑 모듈(714), 기능 제어 모듈(716)을 포함할 수 있다. 상기 각 모듈은 소프트웨어 모듈로써 제2프로세서(710)에 의해 실행되는 프로그램들의 집합일 수 있다.
제스쳐 인식 모듈(712)은 프로젝션 장치로부터 수신된 오브젝트 정보를 통해 사용자의 제스쳐를 인식할 수 있다. 예를 들어, 사용자의 제스쳐는 손을 아래 또는 위로 움직이는 제스쳐이거나, 웃는 표정의 얼굴을 띄는 제스쳐를 예로 들 수 있다. 또한, 제스쳐 인식 모듈(712)은 사용자가 아닌 물체에 대한 오브젝트 정보도 획득할 수 있다.
제스쳐 인식 모듈(712)은 오브젝트 정보에 기초하여, 다양한 유형의 사용자의 제스쳐를 단순한 동작에 맵핑할 수 있다. 예를 들어, 사용자가 손을 아래로 움직이는 형태는 매우 다양할 것이며, 제스쳐 인식 모듈(712)은 오브젝트 정보를 분석하여 여러 다양한 형태들을 사용자가 손을 아래로 움직이는 형태로 분류하고, 그에 대응하는 식별 코드를 부여할 수 있다.
기능 맵핑 모듈(714)은 제스쳐 인식 모듈(712)에서 인식된 제스쳐의 유형과 맵핑되는 제어 동작을 확인할 수 있다. 일 실시예에 따르면, 휴대 단말 장치는 메모리에 각 사용자 제스쳐에 대응하여 휴대 단말 장치(또는 다른 장치) 상에서 수행할 수 있는 기능을 맵핑한 테이블을 저장할 수 있으며, 기능 맵핑 모듈(714)은 저장된 테이블을 참고 하여 제어 동작을 확인할 수 있다.
일 실시예에 따르면, 맵핑된 기능들은 어플리케이션 별로 할당될 수 있다. 예를 들어, 사용자가 손을 아래로 움직이는 동일한 동작에 대해, 음악 재생 어플리케이션은 볼륨을 줄이는 제어 명령이 맵핑되어 있을 수 있고, 캘린더 어플리케이션에서는 다음 달의 달력을 표시하느나 제어 명령이 맵핑되어 있을 수 있다. 기능 맵핑 모듈(714)은 현재 제2프로세서(710)에 의해 실행 중인 어플리케이션을 파악하고, 인식된 사용자의 제스쳐와 현재 실행 중인 어플리케이션에 맵핑되는 기능을 테이블 상에서 확인할 수 있다.
이는 각각의 어플리케이션 별로 할당될 수 있다. 오브젝트 정보가 수신되면, 프로세서는 실행된 어플리케이션 상에서(또는 다른 어플리케이션 상에서 또는 다른 장치 상에서) 수행할 오브젝트 정보를 상기 테이블에서 찾고, 해당 동작을 수행할 수 있다.
일 실시예에 따르면, 기능 맵핑 모듈(714)은 오브젝트 정보에 더불어, 사용자로부터 입력된 음성 데이터에 기반하여 대응되는 제어 동작을 확인할 수 있다. 음성 데이터는 프로젝션 장치 또는 휴대 단말 장치에 의해 획득될 수 있다.
일 실시예에 따르면, 음성 데이터는 맵핑 된 기능을 수행할 어플리케이션 또는 장치를 선택하기 위한 것이거나, 오브젝트 정보와 음성 데이터를 모두 고려하여 대응되는 제어 동작을 확인하기 위한 것일 수 있다.
기능 제어 모듈(716)은 확인된 제어 기능을 수행할 수 있다. 일 실시예에 따르면, 기능 제어 모듈(716)은 확인된 제어 동작을 수행하는 구성(예: 디스플레이(630), 사운드 출력 장치)에 명령을 전송할 수 있다. 일 실시예에 따르면, 확인된 제어 동작은 IoT에 기반하여 외부 장치(예: TV, 조명, 보일러, 전기/가스, 세탁기, 도어락 등)가 수행하는 동작일 수 있으며, 이 경우, 기능 제어 모듈(716)은 제2통신 회로(예: 도 6의 제2통신 회로(620))를 통해 해당 명령을 외부 장치로 전송할 수 있다.
도 8a 내지 8c는 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 기능 제어의 실시예들을 도시한 것이다.
도 8a는 사용자의 손의 움직임에 따라 휴대 단말 장치(820) 상에서 수행하는 제어 동작을 예시하고 있다.
프로젝션 장치(810)는 현실 세계에서 사용자의 손이 위치하는 영역을 촬영하고, 오브젝트 인식을 수행할 수 있다. 이 경우, 사용자가 손을 오른쪽에서 왼쪽으로 이동 시키는 동작(830)을 한 것으로 가정한다.
프로젝션 장치(810)는 이와 같은 사용자의 제스쳐(830)를 포함하는 오브젝트 정보를 휴대 단말 장치(820)에 전송할 수 있다.
휴대 단말 장치(820)의 제2프로세서(예: 도 6의 제2프로세서(610))는 오브젝트 정보를 이용하여, 메모리(도 6의 메모리(640)) 상에 저장된 테이블에서 사용자의 제스쳐에 대응되는 제어 동작을 확인할 수 있다. 일 실시예에 따르면, 제2프로세서는 마이크(미도시)를 이용해 수집된 사용자의 음성 데이터를 더 확인하고, 그에 대응되는 제어 동작을 확인할 수 있다.
제2프로세서는 현재 실행 중인 어플리케이션에서 사용자의 제스쳐에 대응되는 제어 동작을 수행할 수 있다. 도시된 바와 같이, 전자책 어플리케이션에서 사용자가 손을 좌로 움직이는 제스쳐(830)에 대응되는 제어 동작은 전자책의 페이지를 넘기는 동작일 수 있다.
일 실시예에 따르면, 제2프로세서는 인식된 사용자 제스쳐와 현재 포 그라운드에서 실행 중인 어플리케이션(예: 도 8a의 전자책 어플리케이션)에 대응되는 제어 동작이 없는 경우, 백 그라운드에서 실행 중인 어플리케이션(예: 음악 어플리케이션)에 대응되는 제어 동작(예: 다음 트랙으로 변경)을 확인하고, 해당 어플리케이션에 대해 확인된 제어 동작을 수행할 수 있다. 제어 동작을 수행하는 어플리케이션의 우선 순위는 사용자의 설정 또는 백 그라운드에서 실행 중인 어플리케이션의 속성에 따라 결정될 수 있다.
도 8b는 인식된 오브젝트와 관련된 정보를 제공하는 동작을 예시하고 있다.
도 8b를 참고 하면, 프로젝션 장치(810)가 획득한 오브젝트 정보는 사용자의 손 및 물체(예: 책, 종이 등) 내의 텍스트 또는 이미지 정보를 포함할 수 있다.
휴대 단말 장치(820)의 제2프로세서는 사용자의 손가락(830)을 인식하고, 손가락(830)의 주변에 있는 텍스트(예: cygbot)를 확인할 수 있다. 제2프로세서는 해당 텍스트를 인식하고, 해당 텍스트에 대응되는 정보(예: cygbot 홈페이지의 URL)를 인터넷을 통해 확인할 수 있다. 휴대 단말 장치(820)는 확인된 정보를 프로젝션 장치(810)에 제공할 수 있으며, 프로젝션 장치(810)는 해당 텍스트의 주변에 획득한 정보를 투영함으로써 증강 현실을 제공할 수 있다.
다른 일 실시예에 따르면, 인식한 텍스트를 다른 언어로 번역하여 표시하거나, 휴대 단말 장치(820)에 저장된 정보(예: 연락처, 메모 등)에서 인식한 텍스트와 관련 정보를 검색할 수 있으며, 인식한 오브젝트가 이미지인 경우 해당 이미지에 대응되는 정보를 검색하여 제공할 수도 있다.
도 8c는 다른 장치에서 수행하는 제어 동작의 명령을 전송하는 동작을 예시하고 있다.
일 실시예에 따르면, 휴대 단말 장치(820)의 제2프로세서는 오브젝트 정보에 대응되는 제어 동작이 휴대 단말 장치(820)와 다른 외부 장치 상에서 수행하는 제어 동작인 경우, 제2통신 회로가 상기 제어 동작에 관련된 정보를 상기 다른 외부 장치(850)로 전송하도록 할 수 있다.
도시된 바와 같이, 휴대 단말 장치(820)는 다른 외부 장치(850)(예: 텔레비전)와 무선으로 연결될 수 있다. 휴대 단말 장치(820)의 제2프로세서는 프로젝션 장치(810)에 의해 인식된 사용자의 제스쳐가 외부 장치(850)에서 수행하는 제어 동작(예: 채널 변경)인 경우, 해당 제어 동작과 관련된 명령을 외부 장치(850)에 전송할 수 있다.
이에 따라, 프로젝션 장치(810) 및 휴대 단말 장치(820)를 이용하여, IoT(internet of things) 기반으로 여러 전자 장치(예: TV, 조명, 보일러, 전기/가스, 세탁기, 도어락 등)를 제어할 수 있다.
도 9a는 본 발명의 다양한 실시예에 따른 휴대 단말 장치의 제2프로세서의 세부 블록도이다.
도시된 바와 같이, 제2프로세서(910)(예: 도 6의 제2프로세서(610))는 캐릭터 생성 모듈(912), 감성 모듈(914), 가상 이미지 생성 모듈(916)을 포함할 수 있다. 상기 각 모듈은 소프트웨어 모듈로써 제2프로세서(910)에 의해 실행되는 프로그램들의 집합일 수 있다.
다양한 실시예에 따르면, 제2프로세서(910)는 도 7에 포함된 각 모듈(예: 제스쳐 인식 모듈(712), 기능 맵핑 모듈(714), 기능 제어 모듈(716))과 도 9a에 포함된 각 모듈을 모두 포함하거나, 그 중 일부만을 포함할 수 있다.
캐릭터 생성 모듈(912)은 가상 이미지를 통해 표시할 캐릭터를 생성할 수 있다. 캐릭터는 널리 알려진 다양한 종류의 캐릭터가 활용될 수 있으며, 사용자의 선택에 따라 가상 이미지에 포함할 캐릭터의 종류가 결정될 수 있다.
감성 모듈(914)은 휴대 단말 장치 상에서 확인된 여러 정보들을 기반으로 사용자의 감성을 예측하고, 그에 따라 캐릭터에 감성 정보를 반영하기 위한 동작을 수행할 수 있다.
일 실시예에 따르면, 제2프로세서(910)는 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트(예: 어플리케이션에서 발생하는 이벤트)에 대응하여 캐릭터의 감성 정보를 생성할 수 있다. 또한, 제2프로세서(910)는 프로젝션 장치로부터 수신된 오브젝트 정보에 더 기초하여 캐릭터의 감성 정보를 생성할 수 있다. 즉, 제2프로세서(910)는 휴대 단말 장치에서 사용자가 설치한 어플리케이션과 사용자의 제스처를 이용하여 사용자의 현재 감성 상태를 예측 할 수 있다.
예를 들어, 일정 어플리케이션에서 작성 된 일정을 참고 하여, 일정의 종류 및 개수를 참고할 수 있다. 오늘의 일정이 수업, 시험 등이고 그 수가 많다면 사용자의 감성은 우울한 감정으로 예측할 수 있다. 또 다른 예를 들면, 제2프로세서(910)는 메시지 어플리케이션에서 발신 또는 수신되는 메시지의 텍스트 또는 이모티콘을 참고하여 사용자의 감성을 추정할 수 있다.
또한, 프로젝션 장치로부터 수신된 오브젝트 정보를 통해 확인 결과, 사용자의 얼굴 표정이 우울한 표정으로 인식되는 경우, 제2프로세서(910)는 오브젝트 정보를 참고하여 사용자의 감성이 우울한 것으로 결정하고 그에 따라 캐릭터 이미지를 보정할 수 있다.
일 실시예에 따르면, 제2프로세서(910)는 사용자가 착용하는 웨어러블 기기(예: 스마트 와치, 스마트 글래스 등)로부터 얻게 되는 신체 건강정보를 이용하여 사용자의 감성정보를 얻을 수 있다.
제2프로세서(910)는 예측된 감성 정보를 기반으로 가상 이미지에 포함된 캐릭터를 보정할 수 있다. 예를 들어, 사용자가 즐거운 기분인 경우 캐릭터 이미지의 표정이 밝거나 귀여운 모양의 캐릭터 이미지를 출력할 수 있으며, 우울한 기분인 경우 캐릭터 이미지가 어두운 표정을 가지거나 다소 침울한 모양의 캐릭터 이미지를 출력할 수 있다.
감성 정보는 희로애락과 같은 사람의 감정 종류에 따라 구분될 수 있으며, 메모리는 각 감성 정보에 대응되는 다양한 캐릭터 이미지를 저장할 수 있다.
도 9b는 본 발명의 다양한 실시예에 따른 감성 정보를 생성하기 위한 각 과정을 도시한 것이다.
도시된 감성 정보의 생성 방법은 휴대 단말 장치의 제2프로세서에 의해 수행될 수 있다.
제2프로세서는 사용자의 행동 패턴 정보 및 환경 정보를 획득할 수 있다. 이 중 적어도 일부는 프로젝션 장치로부터 획득할 수 있다. 제2프로세서는 획득된 정보들을 이용하여 현재 사용자의 감정 상태를 인식할 수 있다.
제2프로세서는 사용자의 감정 상태와 가상 이미지에 사용할 캐릭터의 기본 성향을 바탕으로, 캐릭터에 적용할 속성(예: 표정, 행동 등)을 결정할 수 있다. 일 실시예에 따르면, 제2프로세서는 감정 DB 상에서 캐릭터의 특징과 예측된 사용자의 감성 정보를 활용하여 캐릭터에 적용할 속성을 결정할 수 있다.
제2프로세서는 결정된 속성을 캐릭터에 반영하고, 캐릭터를 포함하는 가상 이미지를 생성하여 프로젝션 장치에 제공할 수 있다. 프로젝션 장치가 가상 이미지를 투영하고 있는 상태에서 사용자의 감성 정보가 변경된 것으로 파악되는 경우, 제2프로세서는 가상 이미지의 캐릭터를 변경하여 프로젝션 장치에 제공할 수 있다.
이에 따라, 증강 현실 시스템은 단순한 정보전달이 아닌 사용자와 감성적 교감을 할 수 있다.
도 10a 내지 10c는 본 발명의 다양한 실시예에 따른 캐릭터 이미지를 포함하는 가상 이미지를 도시한 것이다.
도 10a는 시계 위젯의 정보를 바탕으로 가상 이미지(1000a)를 생성한 화면을 예시한 것이다.
가상 이미지(1000a)는 위젯에서 생성된 시간 정보(1010a)를 포함할 수 있다. 제2프로세서(예: 도 6의 제2프로세서(610))는 시간 정보로부터 텍스트 정보(1012 a)를 생성할 수 있다. 일 실시예에 따르면, 생성된 텍스트 정보(1012a)는 가상 이미지(1000a)의 표시와 적어도 일부 동시에 사운드 출력 장치(미도시)에 의해 사운드로 출력될 수도 있다.
가상 이미지(1000a)의 일 영역에는 소정의 캐릭터(1050a)가 표시될 수 있다. 상기 캐릭터(1050a)는 사용자의 감성 정보에 기초하여 그 적어도 일부가 변경될 수 있다.
제2프로세서는 이와 같이 생성된 가상 이미지(1000a)를 프로젝션 장치에 제공하고, 프로젝션 장치는 가상 이미지(1000a)를 현실 세계에 투영할 수 있다.
도 10b는 사용자의 감성 정보에 따라 캐릭터 이미지가 변경된 것을 예시한 것이다.
일 실시예에 따르면, 제2프로세서는 일정 어플리케이션에 등록된 내용을 참고 하여, 사용자의 감성 정보를 생성할 수 있다. 예를 들어, 오늘 및 내일의 등록된 일정이 동창회 등 일반적으로 즐거운 내용의 일정인 경우, 제2프로세서는 사용자가 즐거운 감정인 것으로 예측하고, 캐릭터(1050b)를 웃는 얼굴로 보정할 수 있다.
이에 따라, 사용자는 직접 일정 어플리케이션에 지정된 오늘 일정(1010b)이 무엇인지 정확하게 보지 않고, 캐릭터(1050b)의 표정을 통해 오늘의 일정을 예측할 수도 있다.
도 10c는 사용자의 제스쳐에 따라 캐릭터 이미지가 변경된 것을 예시하고 있다.
일 실시예에 따르면, 제2프로세서는 프로젝션 장치로부터 수신한 오브젝트 정보에 기초하여 사용자의 감성 상태를 예측할 수 있다. 예를 들어, 사용자가 손을 빨리 움직이거나(1070c), 화난 표정을 짓는 것이 인식되는 경우, 캐릭터(1050c)의 표정을 그에 대응되도록 변경할 수 있다.
상기 도 10a 내지 10c는 일 실시예들에 불과하며, 어플리케이션, 오브젝트 정보 외에 다양한 입력 정보들을 기반으로 다양한 캐릭터 이미지들의 감성을 생성할 수 있다. 또한, 다양한 실시예에 따르면, 휴대 단말 장치는 생성된 가상 이미지 중 적어도 일부를 휴대 단말 장치의 디스플레이에 표시할 수도 있다.
도 11는 본 발명의 다양한 실시예에 따라 인식된 이미지를 저장하는 방법을 도시한 것이다.
다양한 실시예에 따르면, 제2프로세서는 인식된 오브젝트 정보를 메모리에 저장할 수 있다. 이 경우, 제2프로세서는 사용자 제스쳐에 기초하여 저장에 사용할 어플리케이션을 선택할 수 있다.
도시된 바와 같이, 명함 이미지가 프로젝션 장치에 의해 인식될 수 있다. 제2프로세서는 오브젝트 정보에 기초하여 명함임을 인식하고, 명함 이미지를 저장할 수 있는 어플리케이션(예: 명함 APP, 메모 APP, 스케줄 APP, 단어 APP)을 탐색할 수 있다.
제2프로세서는 탐색된 어플리케이션 중 인식된 명함 이미지를 저장하기 위한 어느 하나를 선택할 수 있는 사용자 인터페이스를 생성하고, 상기 사용자 인터페이스를 가상 이미지에 포함하여 프로젝션 장치에 제공할 수 있다.
프로젝션 장치는 가상 이미지를 투영하고, 사용자의 제스쳐의 방향을 인식하여 휴대 단말 장치에 제공할 수 있다. 제2프로세서는 사용자의 제스쳐의 방향에 대응되는 어플리케이션을 이용하여 인식된 명함 이미지를 저장할 수 있다.
본 발명의 다양한 실시예에 따른 휴대 단말 장치는, 디스플레이; 메모리; 외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및 상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고, 상기 이벤트에 대응하여 가상 이미지를 생성하고, 상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 메모리에 저장된 적어도 하나의 어플리케이션을 실행하고, 상기 어플리케이션에서 발생되는 이벤트에 따라 상기 가상 이미지를 생성할 수 있다.
다양한 실시예에 따르면, 상기 가상 이미지는 적어도 하나의 캐릭터를 포함하고, 상기 프로세서는, 상기 어플리케이션에서 발생되는 이벤트에 따라 상기 캐릭터의 감성 정보를 생성하고, 상기 감성 정보에 따라 상기 가상 이미지에 포함되는 캐릭터를 보정할 수 있다.
다양한 실시예에 따르면, 상기 통신 회로는, 상기 프로젝션 장치가 외부의 오브젝트를 인식하여 생성된 오브젝트 정보를 수신하고, 상기 프로세서는, 상기 수신된 오브젝트 정보에 더 기초하여 상기 캐릭터의 감성 정보를 생성할 수 있다.
본 발명의 다양한 실시예에 따른 휴대 단말 장치는, 디스플레이; 메모리; 외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및 상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 상기 통신 회로를 통해 상기 프로젝션 장치가 외부의 오브젝트를 인식하여 생성된 오브젝트 정보를 수신하고, 상기 오브젝트 정보에 대응되는 상기 휴대 단말 장치의 제어 동작을 확인하고, 상기 확인된 제어 동작을 수행하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 오브젝트 정보에 대응되는 제어 동작이 다른 외부 장치 상에서 수행하는 제어 동작인 경우, 상기 통신 회로가 상기 제어 동작에 관련된 정보를 상기 다른 외부 장치로 전송하도록 할 수 있다.
다양한 실시예에 따르면, 상기 오브젝트는 사용자의 신체의 일부를 포함하며, 상기 프로세서는 상기 오브젝트의 이동 방향에 따라 상기 제어 동작을 결정할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 증강 현실 시스템을 이용한 비서 로봇이 수행할 수 있는 기능들을 도시한 것이다.
본 발명의 다양한 실시예들에 따르면, 프로젝션 장치(예: 도 1의 프로젝션 장치(110))와 휴대 단말 장치(예: 도 1의 휴대 단말 장치(120))를 이용하여 양방향 인터랙션이 가능하므로, 사용자에게 비서 역할을 하는 비서 로봇으로 활용할 수 있다.
예를 들어, 시간 정보와 관련하여, 휴대 단말 장치는 특정 시간 또는 사용자가 등록해 둔 시간에 시간을 알리기 위한 사운드를 출력하고, 프로젝션 장치는 시간 정보와 관련된 가상 이미지를 투영할 수 있다. 이 경우, 사용자는 가상 이미지 상에서 미리 등록된 제스처를 수행함으로써 휴대 단말 장치 또는 다른 장치를 제어하기 위한 소정의 제어 명령을 입력할 수 있다.
도 12는 이와 같이 증강 현실 시스템을 통해 구현할 수 있는 다양한 분야들을 예시하고 있으며, 본 발명의 다양한 실시예들이 이에 한정되지는 않는다.
도 13은 본 발명의 다양한 실시예에 따른 가상 이미지 제공 방법의 흐름도이다.
도시된 방법은 앞서 설명한 프로젝션 장치(예: 도 1의 프로젝션 장치(110))와 휴대 단말 장치(예: 도 1의 휴대 단말 장치(120))에 의해 수행될 수 있으며, 이하에서는 앞서 설명한 바 있는 기술적 특징에 대해서는 그 설명을 생략하기로 한다.
동작 1310에서, 프로젝션 장치 및 휴대 단말 장치는 무선 통신 연결을 수립할 수 있다. 그에 따라, 프로젝션 장치에서 인식한 오브젝트 정보는 휴대 단말 장치로 제공될 수 있고, 휴대 단말 장치는 프로젝션 장치에 가상 이미지를 제공할 수 있다.
동작 1320에서, 휴대 단말 장치는 휴대 단말 장치 상에서 발생한 이벤트를 감지할 수 있다. 일 실시예에 따르면, 상기 이벤트는 휴대 단말 장치에 설치 및 실행 된 어플리케이션(예: 일정, SNS, 메시지 어플리케이션 등) 상에서 발생한 이벤트(예: 알림)를 포함할 수 있다.
동작 1330에서, 휴대 단말 장치는 가상 이미지를 생성할 수 있다. 일 실시예에 따르면, 휴대 단말 장치는 상기 감지된 이벤트에 대응하는 가상 이미지를 생성할 수 있다. 일 실시예에 따르면, 가상 이미지는 소정의 캐릭터 이미지를 포함하며, 휴대 단말 장치는 휴대 단말 장치 상에서 발생한 이벤트 및/또는 수신한 오브젝트 정보 등을 참고 하여, 사용자의 감성 정보를 생성하고, 상기 감성 정보에 바탕하여 캐릭터 이미지를 보정할 수 있다.
동작 1340에서, 휴대 단말 장치는 가상 이미지를 프로젝션 장치에 제공하고, 프로젝션 장치는 이를 실제 공간에 투영할 수 있다.
도 14는 본 발명의 다양한 실시예에 따른 가상 이미지 제공 방법의 흐름도이다.
도시된 방법은 앞서 설명한 프로젝션 장치(예: 도 1의 프로젝션 장치(110))와 휴대 단말 장치(예: 도 1의 휴대 단말 장치(120))에 의해 수행될 수 있으며, 이하에서는 앞서 설명한 바 있는 기술적 특징에 대해서는 그 설명을 생략하기로 한다.
동작 1410에서, 휴대 단말 장치는 프로젝션 장치로부터 오브젝트 정보를 수신할 수 있다.
동작 1420에서, 휴대 단말 장치는 오브젝트 정보에 대응되는 상기 휴대 단말 장치(또는 다른 장치)의 제어 동작을 확인할 수 있다.
동작 1430에서, 휴대 단말 장치는 상기 확인된 제어 동작을 수행할 수 있다.

Claims (10)

  1. 휴대 단말 장치에 있어서,
    디스플레이;
    메모리;
    외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및
    상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며,
    상기 프로세서는,
    상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고,
    상기 이벤트에 대응하여 가상 이미지를 생성하고,
    상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정된 휴대 단말 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 메모리에 저장된 적어도 하나의 어플리케이션을 실행하고,
    상기 어플리케이션에서 발생되는 이벤트에 따라 상기 가상 이미지를 생성하는 휴대 단말 장치.
  3. 제 2항에 있어서,
    상기 가상 이미지는 적어도 하나의 캐릭터를 포함하고,
    상기 프로세서는,
    상기 어플리케이션에서 발생되는 이벤트에 따라 상기 캐릭터의 감성 정보를 생성하고, 상기 감성 정보에 따라 상기 가상 이미지에 포함되는 캐릭터를 보정하는 휴대 단말 장치.
  4. 제 3항에 있어서,
    상기 통신 회로는,
    상기 프로젝션 장치가 외부의 오브젝트를 인식하여 생성된 오브젝트 정보를 수신하고,
    상기 프로세서는,
    상기 수신된 오브젝트 정보에 더 기초하여 상기 캐릭터의 감성 정보를 생성하는 휴대 단말 장치.
  5. 휴대 단말 장치의 가상 이미지 제공 방법에 있어서,
    상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하는 동작;
    상기 이벤트에 대응하여 가상 이미지를 생성하는 동작; 및
    상기 가상 이미지를 외부의 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 하는 동작을 포함하는 방법.
  6. 프로젝션 장치; 및
    휴대 단말 장치를 포함하고,
    상기 프로젝션 장치는,
    가상 이미지를 외부에 투영하기 위한 프로젝션 모듈;
    주변의 오브젝트를 인식하는 오브젝트 센서;
    상기 휴대 단말 장치와 통신하기 위한 제1통신 회로; 및
    상기 인식된 오브젝트에 관련된 오브젝트 정보를 상기 제1통신 회로를 통해 상기 휴대 단말 장치에 전송하도록 하는 제1프로세서를 포함하며,
    상기 휴대 단말 장치는,
    상기 프로젝션 장치와 통신하기 위한 제2통신 회로; 및
    상기 휴대 단말 장치에서 발생하는 적어도 하나의 이벤트를 감지하고, 상기 이벤트에 대응하여 가상 이미지를 생성하고, 상기 가상 이미지를 상기 통신 회로를 통해 상기 프로젝션 장치에 전송하여 상기 프로젝션 장치가 상기 가상 이미지를 외부로 투영하도록 설정된 프로세서를 포함하는 증강 현실 시스템.
  7. 휴대 단말 장치에 있어서,
    디스플레이;
    메모리;
    외부의 프로젝션 장치와 통신 하기 위한 통신 회로; 및
    상기 디스플레이, 메모리 및 통신 회로와 전기적으로 연결되는 프로세서를 포함하며,
    상기 프로세서는,
    상기 통신 회로를 통해 상기 프로젝션 장치가 외부의 오브젝트를 인식하여 생성된 오브젝트 정보를 수신하고,
    상기 오브젝트 정보에 대응되는 상기 휴대 단말 장치의 제어 동작을 확인하고,
    상기 확인된 제어 동작을 수행하도록 설정된 휴대 단말 장치.
  8. 제 7항에 있어서,
    상기 프로세서는,
    상기 오브젝트 정보에 대응되는 제어 동작이 다른 외부 장치 상에서 수행하는 제어 동작인 경우, 상기 통신 회로가 상기 제어 동작에 관련된 정보를 상기 다른 외부 장치로 전송하도록 하는 휴대 단말 장치.
  9. 제 7항에 있어서,
    상기 오브젝트는 사용자의 신체의 일부를 포함하며,
    상기 프로세서는 상기 오브젝트의 이동 방향에 따라 상기 제어 동작을 결정하는 전자 장치.
  10. 프로젝션 장치; 및
    휴대 단말 장치를 포함하고,
    상기 프로젝션 장치는,
    가상 이미지를 외부에 투영하기 위한 프로젝션 모듈;
    주변의 오브젝트를 인식하는 오브젝트 센서;
    상기 휴대 단말 장치와 통신하기 위한 제1통신 회로; 및
    상기 인식된 오브젝트에 관련된 오브젝트 정보를 상기 제1통신 회로를 통해 상기 휴대 단말 장치에 전송하도록 하는 제1프로세서를 포함하며,
    상기 휴대 단말 장치는,
    상기 프로젝션 장치와 통신하기 위한 제2통신 회로; 및
    상기 제2통신 회로로부터 오브젝트 정보가 수신되는 경우, 상기 오브젝트 정보에 대응되는 상기 휴대 단말 장치의 제어 동작을 확인하고, 상기 확인된 제어 동작을 수행하는 제2프로세서를 포함하는 증강현실 시스템.
KR1020170023596A 2017-02-22 2017-02-22 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템 KR20180097031A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170023596A KR20180097031A (ko) 2017-02-22 2017-02-22 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
PCT/KR2017/001964 WO2018155733A1 (ko) 2017-02-22 2017-02-23 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170023596A KR20180097031A (ko) 2017-02-22 2017-02-22 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템

Publications (1)

Publication Number Publication Date
KR20180097031A true KR20180097031A (ko) 2018-08-30

Family

ID=63252855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170023596A KR20180097031A (ko) 2017-02-22 2017-02-22 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템

Country Status (2)

Country Link
KR (1) KR20180097031A (ko)
WO (1) WO2018155733A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181865A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 디스플레이 장치 및 그 동작방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
JP5777731B2 (ja) * 2010-12-29 2015-09-09 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー認識のための環境依存型ダイナミックレンジ制御
KR20150046594A (ko) * 2013-10-22 2015-04-30 삼성전자주식회사 단말 장치 및 제어 방법
KR20160045945A (ko) * 2014-10-15 2016-04-28 한국과학기술원 프로젝터에 기반한 양방향 상호작용 사용자 인터페이싱 장치
JP6391465B2 (ja) * 2014-12-26 2018-09-19 Kddi株式会社 ウェアラブル端末装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181865A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 디스플레이 장치 및 그 동작방법
US11928381B2 (en) 2021-02-23 2024-03-12 Samsung Electronics Co., Ltd. Display device and operating method thereof

Also Published As

Publication number Publication date
WO2018155733A1 (ko) 2018-08-30

Similar Documents

Publication Publication Date Title
US10534442B2 (en) Method and wearable device for providing a virtual input interface
TWI533162B (zh) 用於擴充實境啓用裝置之使用者介面
CN110488974B (zh) 用于提供虚拟输入界面的方法和可穿戴装置
US9160993B1 (en) Using projection for visual recognition
US20150379770A1 (en) Digital action in response to object interaction
US20180136465A1 (en) Mobile terminal and controlling method thereof
US10254847B2 (en) Device interaction with spatially aware gestures
KR102360176B1 (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
US11360550B2 (en) IMU for touch detection
CN112136096A (zh) 将物理输入设备显示为虚拟对象
KR102077665B1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
KR20210017081A (ko) 객체에 대응하는 그래픽 요소 표시 방법 및 장치
KR20180097031A (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
GB2533789A (en) User interface for augmented reality
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
US11775168B1 (en) Eyewear device user interface
US20230377223A1 (en) Hand-tracked text selection and modification
US20230384928A1 (en) Ar-based virtual keyboard
US20230350495A1 (en) Fingerspelling text entry
US20230315208A1 (en) Gesture-based application invocation
KR20240018990A (ko) 증강 현실에서 사용자를 인증하는 장치 및 방법
KR20150101705A (ko) 이동 단말기 및 이의 제어 방법
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics
KR20220115886A (ko) 포인트 선택에 기초한 측정
WO2023211702A1 (en) Gesture-based keyboard text entry

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application