KR20150010432A - 디스플레이 디바이스 및 그 제어 방법 - Google Patents

디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20150010432A
KR20150010432A KR20130085453A KR20130085453A KR20150010432A KR 20150010432 A KR20150010432 A KR 20150010432A KR 20130085453 A KR20130085453 A KR 20130085453A KR 20130085453 A KR20130085453 A KR 20130085453A KR 20150010432 A KR20150010432 A KR 20150010432A
Authority
KR
South Korea
Prior art keywords
virtual image
marker
image
information
copy
Prior art date
Application number
KR20130085453A
Other languages
English (en)
Inventor
김지환
박효림
김종호
천시내
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20130085453A priority Critical patent/KR20150010432A/ko
Priority to US14/074,206 priority patent/US20150022551A1/en
Priority to CN201380078312.8A priority patent/CN105378594A/zh
Priority to EP13889598.2A priority patent/EP3022629A4/en
Priority to PCT/KR2013/010199 priority patent/WO2015008904A1/en
Publication of KR20150010432A publication Critical patent/KR20150010432A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서는 사용자가 더욱 편리하고 더욱 정확하게 디바이스의 디스플레이를 제어할 수 있도록 하기 위한 포터블 디바이스 및 그의 제어 방법에 관한 발명이다.
이를 위해 개시된 일 실시예에 따르면, 디스플레이 디바이스에 있어서, 상기 디스플레이 디바이스에 대한 입력을 센싱하는 센서 유닛; 상기 디스플레이 디바이스의 주변(surrounding) 이미지를 촬영하는 카메라 유닛; 가상(virtual) 이미지를 디스플레이하는 디스플레이 유닛; 및 상기 센서 유닛, 상기 카메라 유닛, 상기 디스플레이 유닛 및 상기 스토리지 유닛을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 촬영된 주변 이미지로부터 제 1 마커를 인식한 경우, 상기 제 1 마커에 매핑된 제 1 가상 이미지 정보를 획득하고, 상기 획득한 제 1 가상 이미지 정보를 사용하여 상기 제 1 가상(virtual) 이미지를 디스플레이 하되, 상기 제 1 가상 이미지의 카피 트리거(copy trigger) 신호를 수신하고, 제 2 마커가 상기 제 1 마커에 오버 레이(overlay)된 경우, 상기 제 1 가상 이미지의 디스플레이를 유지하되, 상기 제 1 가상 이미지의 카피 신호를 수신 하면, 상기 제 1 가상 이미지에 대한 정보를 상기 제 2 마커에 매핑(mapping)하는, 디스플레이 디바이스를 제공한다.

Description

디스플레이 디바이스 및 그 제어 방법{Display device and controlling method thereof}
본 명세서는 디스플레이를 탑재한 디바이스에 관한 것이다. 특히, 마커에 매핑되어 있는 가상 이미지를 다른 마커로 카피하는 디스플레이 디바이스 및 그 제어 방법에 관한 발명이다.
최근 증강 현실에 대한 필요성이 요구됨에 따라, AR(Augmented Reality) 마커를 이용한 다양한 기술이 발전하고 있다. 따라서 유저는 디바이스에 구비된 디스플레이를 통하여 AR 마커에 매핑된 가상 이미지를 볼 수 있게 되었고, 이로써 다양한 증강 현실을 체험할 수 있게 되었다. 다만, 특정 가상 이미지를 보기 위해서는 특정 AR 마커가 필요하므로, 가상 이미지에 대한 접근성 및 사용성이 충분히 보장되지 않는다는 문제점이 존재하였다. 또한, AR 마커에 한번 매핑된 가상 이미지는 유저가 원하는 방향으로 쉽게 에디트할 수 없다는 불편함이 존재하였다.
일 실시예에 따르면, 카피 트리거 신호를 수신하면, 가상 이미지를 카피하여 다른 마커로 매핑할 수 있는 디바이스 장치 및 그 제어 방법을 제공하고자 한다.
또한 다른 일 실시예에 따르면, 카피 트리거 신호를 수신하면, 다른 마커가 원본 마커에 오버 레이(Overlay)되더라도 원본 마커의 가상 이미지의 디스플레이를 유지하는 디바이스 장치 및 그 제어 방법을 제공하고자 한다.
또한 다른 일 실시예에 따르면, 카피 트리거 신호로서 기설정된 제스쳐 입력에 의해 생성되는 신호 및/또는 카피 마커가 인식됨으로써 발생하는 신호를 포함하는 디바이스 장치 및 그 제어 방법을 제공하고자 한다.
또한 다른 일 실시예에 따르면, 이미지 에디트 신호를 수신하면, 가상 이미지를 에디트할 수 있는 모드를 제공하는 디바이스 장치 및 그 제어 방법을 제공하고자 한다.
상기와 같은 목적을 이루고자 일 실시예에 따르면, 디스플레이 디바이스에 있어서, 상기 디스플레이 디바이스에 대한 입력을 센싱하는 센서 유닛; 상기 디스플레이 디바이스의 주변(surrounding) 이미지를 촬영하는 카메라 유닛; 가상(virtual) 이미지를 디스플레이하는 디스플레이 유닛; 및 상기 센서 유닛, 상기 카메라 유닛, 상기 디스플레이 유닛 및 상기 스토리지 유닛을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 촬영된 주변 이미지로부터 제 1 마커를 인식한 경우, 상기 제 1 마커에 매핑된 제 1 가상 이미지 정보를 획득하고, 상기 획득한 제 1 가상 이미지 정보를 사용하여 상기 제 1 가상(virtual) 이미지를 디스플레이 하되, 상기 제 1 가상 이미지의 카피 트리거(copy trigger) 신호를 수신하고, 제 2 마커가 상기 제 1 마커에 오버 레이(overlay)된 경우, 상기 제 1 가상 이미지의 디스플레이를 유지하되, 상기 제 1 가상 이미지의 카피 신호를 수신 하면, 상기 제 1 가상 이미지에 대한 정보를 상기 제 2 마커에 매핑(mapping)하는, 디스플레이 디바이스를 제공한다.
일 실시예에 의하면, 가상 이미지를 카피하여 다른 마커로 매핑할 수 있도록 하여 가상 이미지에 대한 유저의 접근성 및 사용성을 증대시켰다.
또한 다른 일 실시예에 의하면, 카피 트리거 신호를 수신하면, 다른 마커가 원본 마커에 오버 레이 되더라도 가상 이미지의 디스플레이를 유지하므로, 카피하고자 하는 가상 이미지에 대한 프리뷰를 제공할 수 있다는 효과가 있다.
또한 다른 일 실시예에 의하면, 카피 하기 전에 가상 이미지를 에디트할 수 있는 모드를 제공하여, 유저가 가상 이미지를 자유롭게 에디트하여 매핑할 수 있다는 효과가 있다.
보다 구체적인 발명의 효과에 대해서는 이하 목차에서 상세히 후술하도록 하겠다.
도 1은 일 실시예에 따른 디지털 디바이스의 블록도를 도시한 도면이다.
도 2는 수신된 신호에 따라 마커에 매핑되어 있는 가상 이미지를 다른 마커로 카피하는 디바이스를 도시한 도면이다.
도 3은 마커 카피를 이용한 가상 이미지 스크랩북의 일 실시예를 도시한 도면이다.
도 4는 유저의 신체 중 일부를 제 2 마커로 하여 가상 이미지를 카피하는 디바이스의 일 실시예를 도시한 도면이다.
도 5는 일 실시예에 따라 디바이스를 통해 이미지 에디트 신호가 수신된 경우의 디바이스를 도시한 도면이다.
도 6은 일 실시예에 따라 가상 이미지에 대한 이미지 에디트 신호가 수신된 경우의 디바이스를 도시한 도면이다.
도 7은 일 실시예에 따라 제 2 마커에 프리-매핑된 가상 이미지가 존재하는 경우, 이에 대한 일정한 노티피케이션을 제공하는 디바이스를 도시한 도면이다.
도 8은 일 실시예에 따라 복수의 가상 이미지가 하나의 마커에 매핑되어 있는 경우, 가상 이미지를 선택하기 위한 썸네일을 제공하는 디바이스를 도시한 도면이다.
도 9는 가상 이미지를 제 1 마커에서 제 2 마커로 카피하는 디바이스의 제어 방법에 관한 순서도를 도시한 도면이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서는, 디스플레이를 탑재한 디바이스에 대한 것으로, 이하에서 이를 통칭하여 디지털 디바이스로 지칭하도록 한다. 디지털 디바이스는, 이동성을 갖는 다양한 전자 디바이스들을 포함하는 의미로서, 예를 들면, 핸드폰, PDA(Personal Digital Assistants), 노트북, 태블릿 피씨, MP3 플레이어, CD 플레이어, DVD 플레이어, HMD(Head Mounted Display), 스마트 워치(Smart watch), 워치폰(watch phone) 등의 전자 디바이스들을 포함한다. 이하에서, 디지털 디바이스는 디바이스로 약칭할 수도 있다.
특히, 본 명세서는 AR(Augmented Reality) 마커에 매핑된 가상 이미지를 디스플레이하는 디지털 디바이스에 관한 것이다. 여기서 AR은 유저가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계가 합쳐진 증강 현실(Augmented Reality)을 나타낸다. AR 마커는 가상 이미지가 매핑 되어있는 특정 이미지를 나타내는 것으로, 현실 세계와 가상 세계를 연결 시켜주는 매개체와 같은 역할을 수행할 수 있다. 본 명세서에서 AR 마커는 마커로 약칭될 수 있다.
도 1은 일 실시예에 따른 디지털 디바이스의 블록도를 도시한 도면이다. 본 명세서의 디지털 디바이스는 카메라 유닛(1010), 디스플레이 유닛(1020), 센서 유닛(1040), 스토리지 유닛(1030) 및 프로세서(1050)를 포함할 수 있다.
카메라 유닛(1010)은 디바이스 주변 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(1010)은 화각 영역 내의 이미지를 촬영하여, 촬영 결과를 프로세서(1050)에 제공할 수 있다. 본 명세서에서 이미지란, 디스플레이 유닛(1020)에 디스플레이 할 수 있는 정지 영상, 동영상, 텍스트 또는 이들을 포함하는 기타 다양한 시각적으로 표현 가능한 이미지를 나타낼 수 있다.
디스플레이 유닛(1020)은 가상 이미지를 디스플레이할 수 있다. 특히, 본 명세서에서 디스플레이 유닛(1020)은 AR 마커에 매핑되어 있는 가상 이미지를 디스플레이할 수 있다. 가상 이미지는 디스플레이 유닛(1020)을 통해 유저에게 제공되는 그래픽 유저 인터페이스를 포함할 수 있다. 특히, 디스플레이 디바이스가 HMD인 경우, 디스플레이 유닛(1020)은 광학적 씨-스루 디스플레이 패널로 구성될 수 있다. 이때, 디스플레이 유닛(1020)은 현실 세계를 기반으로 하여, 가상 이미지를 디스플레이함으로써 유저에게 증강 현실을 제공할 수 있다. 나아가, 디스플레이 유닛(1020)은 유저의 좌안 및 우안에 서로 다른 이미지를 디스플레이함으로써 양안 시차를 발생시켜 깊이감을 갖는 3D 가상 이미지를 제공할 수 있다.
센서 유닛(1040)은 디바이스에 장착된 적어도 하나의 센서를 사용하여 디바이스에 대한 유저 입력을 센싱할 수 있다. 보다 상세하게는, 센서 유닛(1040)은 디바이스에 장착된 적어도 하나의 센서를 사용하여 디스플레이 유닛(1020)에 대한 터치 입력을 센싱할 수 있다. 적어도 하나의 센서는 터치 센서, 지문 센서, 모션 센서, 근접 센서, 뎁스 센서 및 압력 센서 등의 다양한 터치 센싱 수단을 포함할 수 있다. 센서 유닛(1040)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 상술한 센서들은 별도의 엘리먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
센서 유닛(1040)은 유저의 롱-프레스(long-press) 터치 입력, 숏-프레스(short-press) 터치 입력, 드래그(drag) 터치 입력, 릴리즈(release) 터치 입력, 호버링 입력 또는 플리킹(flicking) 터치 입력 등, 접촉 또는 비접촉의 다양한 터치 입력을 센싱할 수 있다. 나아가, 센서 유닛(1040)은 터치 펜, 스타일러스 펜 등 다양한 터치 입력 도구에 의한 터치 입력을 센싱할 수 있고, 센싱 결과를 프로세서(1050)에 전달할 수도 있다.
한편, 디지털 디바이스가 HMD 디바이스인 경우, 상술한 센서 유닛(1040)은 디바이스에 선택적으로 구비될 수 있다.
스토리지 유닛(1030)은 마커 및/또는 가상 이미지에 대한 정보를 저장할 수 있다. 보다 상세하게는, 프로세서(1050)가 카메라 유닛(1010)을 통해 마커를 인식할 수 있도록 마커에 관한 정보를 스토리지 유닛(1030)에 저장할 수 있다. 또한, 프로세서(1050)가 인식된 마커에 매핑되어 있는 가상 이미지에 대한 정보도 함께 스토리지 유닛(1030)에 저장할 수 있다. 따라서, 프로세서(1050)는 획득한 주변 이미지로부터 스토리지 유닛(1030)에 저장되어 있는 마커를 인식하고, 상기 마커에 대응하는 가상 이미지에 관한 정보를 스토리지 유닛(1030)으로부터 불러와 디스플레이 유닛(1020)에 디스플레이할 수 있다. 이에 관한 보다 상세한 설명은 도 2 이하에서 후술하기로 한다. 나아가, 스토리지 유닛(1030)은 에디트된 가상 이미지에 관한 정보도 저장할 수 있는데, 이에 관한 상세한 설명은 도 5 및 도 6과 관련하여 후술하기로 한다.
프로세서(1050)는 디바이스 내부의 데이터를 프로세싱하여 다양한 애플리케이션을 실행할 수 있다. 또한, 프로세서(1050)는 입력에 기초하여 디바이스에서 실행되는 컨텐츠를 제어할 수 있다. 또한, 프로세서(1050)는 상술한 디바이스의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수도 있다.
예를 들어, 프로세서(1050)는 센서 유닛(1040)을 통해 터치 입력을 센싱한 경우, 해당 터치 입력에 따른 커맨드를 실행할 수 있다. 또는, 프로세서(1050)는 카메라 유닛(1010)을 통해 유저의 제스쳐 입력을 센싱한 경우, 해당 제스쳐 입력에 따른 커맨드를 실행할 수 있다. 보다 상세하게는, 센싱된 터치 입력 및/또는 제스쳐 입력에 의해 입력 신호, 카피 트리거 신호, 카피 신호 또는 이미지 에디트 신호가 생성될 수 있으며, 각 신호가 프로세서(1050)에 수신되면, 프로세서(1050)는 각 신호에 따른 동작을 수행할 수 있다. 이에 관한 보다 상세한 설명은 도 2 및 도 9에서 후술하기로 한다.
또한, 프로세서(1050)는 카메라 유닛(1010)을 통해 마커를 인식하고, 인식된 마커에 매핑되는 가상 이미지를 디스플레이할 수 있다. 보다 상세하게는, 프로세서(1050)는 인식된 마커에 대응되는 가상 이미지에 관한 정보를 획득하고, 획득한 정보를 사용하여 가상 이미지를 디스플레이할 수 있다. 프로세서(1050)는 외부의 서버로부터 가상 이미지 정보를 획득하거나, 상술한 스토리지 유닛(1030)으로부터 미리 저장되어 있던 가상 이미지 정보를 획득할 수 있다.
이외에도, 프로세서(1050)는 수신된 신호에 따라 가상 이미지를 카피하거나, 에디트하여 마커에 매핑할 수 있는데, 이에 관한 상세한 설명은 이하의 도면과 관련하여 후술하기로 한다.
한편, 도 1에서는 도시하지 않았지만 디바이스는 커뮤니케이션 유닛, 오디오 입출력 유닛 또는 파워 유닛을 구비할 수 있다.
커뮤니케이션 유닛(미도시)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛은 유선 또는 무선으로 네트워크에 접속하여, 증강현실 정보, 가상 이미지 정보 등의 디지털 데이터를 송/수신할 수 있다. 따라서, 커뮤니케이션 유닛은 마커와 관련한 데이터를 외부 디바이스 또는 웹서버와 송/수신할 수 있다.
오디오 출력 유닛(미도시)은 스피커, 이어폰 등의 오디오 출력 수단을 포함한다. 또한, 오디오 출력 유닛은 프로세서(1050)에서 실행되는 컨텐츠 또는 프로세서(1050)의 제어 명령에 기초하여 음성을 출력할 수 있다. 이때, 오디오 출력 유닛은 디바이스에 선택적으로 구비될 수 있다.
파워 유닛(미도시)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, 디바이스에 파워를 공급할 수 있다.
본 명세서에서 프로세서(1050)는 입력 신호, 카피 트리거 신호 및 카피 신호를 생성/수신한다고 표현하였으나, 상술한 신호들은 프로세서(1050)에서 생성과 동시에 인식될 수 있으며, 프로세서(1050)는 인식된 신호에 대응되는 커맨드를 실행할 수 있다. 또한, 상술한 신호들은 일련의 이벤트에 관련된 신호로서 유저의 입력에 따른 명령어로 볼 수 있다. 나아가, 신호의 생성/수신이란, 이벤트가 인식된 경우, 프로세서(1050)가 인식된 이벤트에 대응되는 동작을 수행하기 위한 일련의 데이터 프로세싱을 나타낼 수 있다. 또한, 기설정된 유저 입력을 센싱하여 그에 대응되는 동작을 수행함을, 프로세서(1050)가 기설정된 유저 입력에 대응되는 신호를 생성/수신하여 일정한 커맨드를 수행한다고 표현할 수 있다.
이하에서는, 디바이스에서 수행되는 각 단계나 동작이 유저 입력의 센싱에 의해 시작되거나 진행되는 경우, 센싱된 유저 입력에 따라 신호가 생성되어 수신되는 과정은 중복하여 설명하지 않아도 상술한 과정에 대한 설명이 포함된 것으로 한다. 또한, 유저 입력에 따라 프로세서(1050)가 디바이스 또는 디바이스에 포함된 적어도 하나의 유닛을 제어한다고 표현할 수 있으며, 프로세서(1050)와 디바이스를 동일시하여 설명할 수 있다.
한편, 도 1에 도시된 디바이스는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 수신된 신호에 따라 마커에 매핑되어 있는 가상 이미지를 다른 마커로 카피하는 디바이스를 도시한 도면이다. 보다 상세하게는, 도 2a는 마커에 매핑되어 있는 가상 이미지를 디스플레이하는 디바이스의 실시예를 도시한 도면이다. 도 2b는 원본 마커의 가상 이미지를 다른 마커로 카피하는 디바이스의 실시예를 도시한 도면이다. 본 명세서에서 제 1 마커(2030)는 카피 대상이 되는 가상 이미지를 매핑하는 원본 마커를 나타낼 수 있다. 또한, 본 명세서에서 제 2 마커(2060)는 제 1 마커(2030)의 가상 이미지가 카피되어 매핑되는 마커를 나타낼 수 있다.
일 실시예로서, 도 2a-(1)에 도시한 바와 같이, 디바이스(2010)는 카메라 유닛(2020)을 이용하여 마커를 인식할 수 있다. 보다 상세하게는, 디바이스(2010)는 카메라 유닛(2020)을 이용하여 전방의 이미지를 획득한 뒤, 획득한 이미지로부터 마커(2030)를 인식할 수 있다. 본 명세서에서 마커(2030)는 카메라 유닛(2020)을 통해 촬영 가능한 대상이라면, 어떤 대상이든 마커가 될 수 있다. 예를 들어, 유저의 신체 일부도 마커가 될 수 있다. 디바이스(2010)는 유저의 신체 일부를 인식하여, 이에 대응되는 가상 이미지를 디스플레이할 수 있다. 이에 관한 보다 상세한 설명은 도 4와 관련하여 후술하기로 한다.
다음으로, 도 2a-(2)에 도시한 바와 같이, 디바이스(2010)는 카메라 유닛(2020)을 사용하여 인식된 마커(2030)에 대응되는 가상 이미지(2040)를 디스플레이할 수 있다. 보다 상세하게는, 디바이스(2010)는 인식된 마커(2030)에 매핑된 가상 이미지(2040)에 대한 정보를 외부 서버로부터 수신할 수 있다. 또는, 디바이스(2010)는 인식된 마커(2030)에 대응하는 가상 이미지(2040)에 대한 정보를 스토리지 유닛으로부터 수신할 수 있다. 이때, 디바이스(2010)는 인식된 마커에 대응되는 가상 이미지(2040)에 대한 정보를 요청하기 위해 마커(2030)에 관한 정보를 외부 서버 또는 스토리지 유닛에 전송할 수 있다.
디바이스(2010)는 이렇게 획득한 정보를 이용하여 가상 이미지(2040)를 디스플레이할 수 있다. 보다 상세하게는, 디바이스(2010)는 마커(2030)를 기준으로 하여 상기 마커(2030)에 매핑되어 있는 가상 이미지(2040)를 디스플레이할 수 있다. 가상 이미지(2040)는 입체 이미지, 양안 시차를 이용한 3D 이미지 및/또는 2D 이미지일 수 있다.
디바이스(2010)는 마커(2030)가 카메라 유닛(2020)을 통해 인식되는 동안 가상 이미지(2040)의 디스플레이를 유지할 수 있다. 그러나, 마커(2030)가 기설정된 영역 초과로 카메라 유닛(2020)의 화각에서 벗어나거나 다른 오브젝트에 의해 가려지는 경우, 디바이스(2010)는 가상 이미지(2040)의 디스플레이를 유지하지 않을 수 있다. 예를 들어, 마커(2030)의 2/3 영역이 다른 마커에 의해 가려지는 경우, 디바이스(2010)는 가상 이미지(2040)를 디스플레이하지 않을 수 있다. 오히려, 다른 마커가 카메라 유닛(2020)에 일정 영역 이상 노출되어 인식되면, 상기 마커에 대응되는 가상 이미지를 디스플레이할 수도 있다. 증강 현실을 유저에게 제공함에 있어, 마커가 인식되는 동안만 그에 대응하는 가상 이미지를 디스플레이하는 것이 유저에게 혼란을 주지 않고, 유저의 의도에 보다 부합하는 동작이라 볼 수 있기 때문이다. 그러나, 본 명세서에서의 디바이스(2010)는 카피 트리거 신호를 수신한 경우에는 마커(2030)가 인식되지 않더라도, 가상 이미지(2040)의 디스플레이를 유지할 수 있다. 이에 관한 보다 상세한 설명은 도 2b-(1)과 관련하여 후술하기로 한다.
디바이스(2010)는 도 2b-(1)에 도시한 바와 같이, 카피 트리거 신호를 수신하는 경우, 디바이스(2010)는 제 1 마커(2030)가 인식되지 않더라도 가상 이미지의 디스플레이를 유지할 수 있다. 보다 상세하게는, 카피 트리거 신호가 수신되면, 제 1 마커(2030)가 다른 마커(2060)에 의해 가려지는 경우에도 디바이스(2010)는 가상 이미지(2040)의 디스플레이를 유지할 수 있다. 본 명세서에서 카피 트리거 신호란, 동일한 가상 이미지(2040)를 한 마커(2030)에서 다른 마커(2060)로 카피하기 위한 트리거 신호를 나타낼 수 있다.
일 실시예로서, 카피 트리거 신호는 기설정된 선택 입력에 의해 생성되는 신호일 수 있다. 보다 상세하게는, 카피 트리거 신호는 기설정된 터치 및/또는 제스쳐 입력에 의해 생성되는 신호일 수 있다. 예를 들어, 디바이스가 디스플레이 유닛에 대한 터치 입력을 센싱할 수 있는 디바이스인 경우, 카피 트리거 신호는 디스플레이된 소프트 버튼에 대한 유저의 터치 입력에 의해 생성되는 신호일 수 있다(미도시). 이때, 디바이스(2010)는 센서 유닛을 사용하여 유저의 터치 입력을 센싱할 수 있음은 도 1과 관련하여 상술한 바와 같다. 또는, 디바이스(2010)가 HMD인 경우, 카피 트리거 신호는 디스플레이된 소프트 버튼(2050)에 대한 유저의 제스쳐 입력에 의해 생성되는 신호일 수 있다. 보다 상세하게는, 디바이스(2010)는 디스플레이된 소프트 버튼(2050)을 누르는 듯한 유저의 제스쳐를 디텍트한 경우, 카피 트리거 신호를 생성할 수 있다. 이때, 디바이스(2010)는 카메라 유닛(2020)을 사용하여 유저의 제스쳐 입력을 센싱할 수 있음은 도 1과 관련하여 상술한 바와 같다.
다른 실시예로서, 카피 트리거 신호는 카피 마커(2060)의 인식에 따라 생성되는 신호일 수 있다. 본 명세서에서 카피 마커(2060)란, 다른 마커에 매핑되어 있는 가상 이미지를 카피해 오기 위한 카피 전용 마커를 나타낼 수 있다. 따라서, 카피 마커(2060)가 인식되는 경우, 가상 이미지(2040)의 카피가 수행될 것임을 예상할 수 있으므로, 디바이스(2010)는 가상 이미지(2040)의 카피를 위한 카피 트리거 신호를 생성할 수 있다. 다만, 카피 마커(2060)는 가상 이미지를 디스플레이 하기 위한 마커로서의 기능 또한 수행하므로, 카피 마커(2060)에 프리-매핑된 가상 이미지가 있는 경우에 카피 마커가 인식되면, 프리-매핑된 가상 이미지가 디스플레이될 수 있다.
디바이스(2010)는 카피 트리거 신호를 수신하면, 가상 이미지(2040)의 디스플레이를 유지할 수 있다. 보다 상세하게는, 카피 트리거 신호가 수신되면, 디바이스(2010)는 제 2 마커(2060)가 제 1 마커(2030)에 오버레이(overlay) 되어 제 1 마커(2030)가 인식되지 않더라도, 가상 이미지(2040)의 디스플레이를 유지할 수 있다. 이는, 카피 대상인 가상 이미지(2040)의 디스플레이를 유지함으로써 해당 이미지(2040)에 대한 프리뷰를 제공하여 유저가 보다 쉽고 직관적으로 가상 이미지(2040)를 카피할 수 있도록 하기 위함이다.
한편, 카피 트리거 신호가 기설정된 제스쳐 입력(2050) 또는 기설정된 터치 입력에 의해 생성된 경우에는 제 2 마커(2060)는 제 2 마커의 형태나 종류에 실시예가 제한되지 않는다. 즉, 카메라 유닛(2020)에 의해 구별될 수 있는 오브젝트라면 가상 이미지(2040)를 카피하여 매핑할 수 있는 마커(2060)가 될 수 있다. 그러나, 카피 트리거 신호가 카피 마커(2060)를 인식함으로써 생성된 신호일 경우, 제 1 마커(2030)에 오버레이 되는 마커(2060)는 상술한 카피 마커(2060)일 수 있다. 이러한 마커(2060)에 대한 다양한 실시예는 도 4와 관련하여 후술하기로 한다.
제 2 마커(2060)에 프리-매핑된 가상 이미지(2040)가 존재하는 경우, 디바이스(2010)는 제 2 마커(2060)를 인식함에 따라 프리-매핑된 가상 이미지를 디스플레이할 수 있다. 다만, 카피 트리거 신호가 수신된 후, 제 2 마커(2060)가 제 1 마커(2030)에 일정 영역 초과로 오버레이 되면, 제 2 마커(2060)에 대응하는 가상 이미지를 더 이상 디스플레이하지 않을 수 있다. 카피 트리거 신호가 수신된 경우, 제 1 마커(2030)에 제 2 마커(2060)가 오버 레이 되더라도 제 1 마커(2030)에 매핑되어 있는 가상 이미지(2040)의 디스플레이는 유지되므로, 두 가상 이미지가 겹치게 되어, 유저에게 혼란을 줄 수 있기 때문이다. 따라서, 디바이스는 제 1 마커(2030)에 일정 영역 초과로 제 2 마커(2060)가 오버 레이 되면 제 2 마커(2060)의 가상 이미지를 디스플레이하지 않아, 유저의 혼란을 방지할 수 있다. 또는, 카피 트리거 신호가 수신되면, 제 2 마커가 인식되어도 제 2 마커의 가상 이미지를 디스플레이하지 않을 수 있다.
다음으로, 도 2b-(2)에 도시한 바와 같이, 디바이스(2010)는 카피 신호를 수신하면, 제 2 마커(2060)에 제 1 마커(2030)의 가상 이미지(2040)에 관한 정보를 매핑할 수 있다. 본 명세서에서 카피 신호란, 제 2 마커(2060)로 제 1 마커(2030)의 가상 이미지(2040) 정보를 매핑하는 카피 명령을 나타낼 수 있다. 이때의 카피 신호도 카피 트리거 신호와 마찬가지로 기설정된 제스쳐 입력 또는 기설정된 터치 입력에 의해 생성되는 신호일 수 있다. 예를 들어, 디바이스(2010)가 HMD인 경우, 카피 신호는 디스플레이된 소프트 버튼에 대한 유저의 제스쳐 입력에 의해 생성되는 신호일 수 있다. 카피 신호를 수신하면, 디바이스(2010)는 가상 이미지(2040)에 대한 정보를 제 2 마커(2060)에 매핑함으로써 제 1 마커(2030)의 가상 이미지(2040)를 제 2 마커(2060)로 카피할 수 있다. 따라서, 디바이스(2010)가 카피가 완료된 제 2 마커(2060)를 인식하게 되는 경우, 카피된 제 1 마커(2030)의 가상 이미지(2040)가 디스플레이될 수 있다. 한편, 일 실시예로서, 가상 이미지(2040) 정보가 제 2 마커(2060)로 매핑이 완료된 경우, 디바이스(2010)는 매핑 완료를 알리는 시각적 및 청각적 피드백 중 적어도 하나를 제공할 수 있다.
본 도면과 관련하여 상술한 도 2a-(1), (2), 2b-(1) 및 (2)는 설명한 순서대로 수행될 수 있으며, 당업자가 용인하는 한도 내에서 자유로운 변경 또한 가능하다.
도 3은 마커 카피를 이용한 가상 이미지 스크랩북의 일 실시예를 도시한 도면이다.
유저는 도 2와 관련하여 상술한 바와 같이, 가상 이미지(3020)를 다른 마커에 매핑함으로써 가상 이미지를 카피할 수 있다. 이로써 가상 이미지(3020)에 대한 접근성 및 사용성을 충분히 보장할 수 있다는 효과가 있을 수 있다. 또한, 유저는 가상 이미지(3020)를 종류, 사용 목적, 유저의 취향에 따라 스크랩할 수 있다는 효과가 있다.
예를 들어, 도 3에 도시한 바와 같이, 유저는 명함 전용 스크랩북을 만들 수 있다. 종이 명함은 그 크기가 작아 관리가 힘들고, 양이 많아지는 경우 들고 다니기 번거롭다는 단점이 있다. 따라서, 유저는 명함 마커의 가상 명함 이미지(3020)를 제 2 마커(3050)로 간단하게 카피해 옴으로써 상술한 단점들을 극복할 수 있다. 보다 상세하게는, 유저는 원본 명함 마커를 도 2에서 상술한 프로세스에 따라, 제 2 마커(3050)로 카피해올 수 있다. 이때, 제 2 마커(3050)는 도면에 도시한 바와 같이, 스크랩북, 특정한 이미지 패턴, 유저의 신체 등 카메라 유닛에 의해 인식 가능한 오브젝트라면 어느 것이든 될 수 있다. 따라서, 유저는 필요에 따라 휴대하기 좋은 또는 접근이 용이한 오브젝트를 제 2 마커(3050)로 하여 가상 명함 이미지(3020)를 카피할 수 있다.
나아가, 카피한 가상 이미지(3020)에 대한 기설정된 제스쳐 입력(3040) 또는 기설정된 터치 입력이 센싱된 경우, 디바이스(3010)는 센싱된 입력에 대응하는 커맨드(command)를 수행할 수 있다. 예를 들어, 가상 명함 이미지(3020)가 제 2 마커(3050)로 카피된 경우, 디바이스(3010)는 제 2 마커(3050)를 인식하면 상기 카피된 가상 명함 이미지(3020)를 디스플레이할 수 있다. 이때, 가상 명함 이미지(3020)는 연락처를 나타내는 전화기 모양의 GUI(Graphic User Interface)(3030)가 함께 디스플레이될 수 있다. 디바이스(3010)는 디스플레이된 전화기 모양의 GUI(3030)를 누르는 듯한 유저의 제스쳐(3040)를 디텍트하면, 가상 명함 이미지(3020)의 주체와 전화를 연결 시켜주는 커맨드를 실행할 수 있다. 즉, 디바이스(3010)는 실시예에 따라서 카피한 가상 이미지(3020)의 속성에 부합하는 다양한 유저 인터페이스를 함께 제공할 수 있다.
이외에도 영화, 드라마, 소설, 음악 등 마커에 매핑될 수 있는 다양한 디지털 컨텐츠는 제 2 마커(3050)로 카피될 수 있다. 다만, 가상 이미지의 카피가 무분별하게 이루어지는 경우 저작권 문제가 발생할 수 있으므로, 가상 이미지를 카피하는 경우 일정한 금액을 지불하게 할 수 있다. 또는, 제 2 마커(3050)로 카피된 가상 이미지가 디스플레이 되는 경우, 디바이스는 가상 이미지(3050)가 카피된 이미지임을 알리는 가상 태그를 함께 디스플레이하여, 저작권 문제를 차단할 수 있다(미도시).
도 4는 유저의 신체 중 일부를 제 2 마커로 하여 가상 이미지를 카피하는 디바이스의 일 실시예를 도시한 도면이다.
제 2 마커는 카메라 유닛(4010)을 통해 인식할 수 있는 다양한 형태의 오브젝트를 포함할 수 있으며, 그 실시예가 한정되지 않음은 상술한 바와 같다. 따라서 유저의 신체 일부(4040-1, 4040-2) 또한 카메라 유닛(4010)을 통해 인식될 수 있으므로, 제 2 마커가 될 수 있다. 본 실시예에서는 제 2 마커로서 유저의 손(4040-1, 4040-2)을 기준으로 설명하였다.
디바이스는 제 2 마커(4040-1, 4040-2)로서 유저의 손을 기준으로 하여 가상 이미지(4020, 4030)를 카피할 수 있다. 이때, 디바이스는 유저의 손(4040-1, 4040-2)을 유저의 손의 모양에 따라 서로 다른 마커로 인식할 수 있다. 예를 들어, 도 4-(1)에 도시한 바와 같이, 손이 펼쳐진 상태에서 손바닥이 카메라 유닛을 향하도록 하는 손 모양(4040-1)을 디텍트한 경우와 도 4-(2)에 도시한 바와 같이, 검지와 중지를 제외한 다른 손가락이 접힌 형태의 손 모양(4040-2)을 디텍트한 경우에, 디바이스는 두 손 모양(4040-1, 4040-2)을 서로 다른 마커로 인식할 수 있다. 따라서, 유저는 손의 모양을 바꿔가면서 복수의 가상 이미지(4020, 4030)를 한 손에 카피할 수 있다. 이는 복수의 가상 이미지를 카피하고 싶은 경우 유저에 의해 적절히 사용될 수 있다.
나아가, 디바이스는 카메라 유닛(4010)을 통해 인식된 신체 일부가 유저의 신체 일부인지 여부를 판단할 수 있다. 일 실시예로서, 디바이스는 인식된 손이 유저의 손인지 여부를 판단할 수 있다. 보다 상세하게는, 디바이스는 카메라 유닛을 이용하여 유저의 손의 지문 또는 손의 정맥을 디텍트하여 인식된 손이 유저의 손인지 여부를 판단할 수 있다. 따라서 인식된 손이 유저의 손이 아닌 경우, 손 모양에 대응하는 가상 이미지를 디스플레이하지 않거나, 가상 이미지의 카피를 진행하지 않을 수 있다. 이는 보안이 필요한 디지털 컨텐츠를 카피하거나 디스플레이하는 경우에 일 실시예로서 사용될 수 있다.
도 5는 일 실시예에 따라 디바이스를 통해 이미지 에디트 신호가 수신된 경우의 디바이스를 도시한 도면이다. 본 명세서에서 이미지 에디트 신호란, 카피 대상인 가상 이미지를 에디트하기 위해 기설정된 제어 입력에 따라 생성되는 신호를 나타낼 수 있다.
도 2와 관련하여 상술한 바와 같이, 디바이스는 카피 트리거 신호를 수신하면, 제 1 마커(5010)의 가상 이미지(5030-1)를 카피하기 위한 준비 상태가 될 수 있다. 보다 상세하게는, 카피 트리거 신호가 수신되고, 제 2 마커(5020)가 제 1 마커(5010)에 일정 영역 초과로 오버 레이된 경우, 디바이스는 가상 이미지(5030-1)를 카피하기 위한 준비 상태가 될 수 있다. 이때, 이미지 에디트 신호가 수신 되면, 디바이스는 수신된 이미지 에디트 신호에 따라 카피하고자 하는 가상 이미지(5030-1)를 에디트할 수 있다.
본 실시예에서 이미지 에디트 신호는 디바이스에 대한 기설정된 터치 입력(5040, 5050)에 의해 생성될 수 있다. 보다 상세하게는, 이미지 에디트 신호는 디바이스에 구비된 디스플레이 유닛에 대한 기설정된 터치 입력(5040, 5050)에 의해 생성될 수 있다. 기설정된 터치 입력(5040, 5050)은 디스플레이 유닛에 디스플레이 된 소프트 버튼에 대한 터치 입력(5050), 제스쳐 입력(5040), 멀티 터치 입력, 슬라이딩 터치 입력, 플리킹 터치 입력, 호버링 입력, 롱-프레스 터치 입력, 숏-프레스 터치 입력 등 다양한 터치 입력을 포함할 수 있으며, 각 터치 입력에 의해 이미지 에디트 신호가 생성될 수 있다.
디바이스는 이렇게 생성되어 수신된 이미지 에디트 신호에 따라 가상 이미지(5030-1)의 다양한 속성을 에디트할 수 있다. 예를 들어, 디바이스는 이미지 에디트 신호에 따라 가상 이미지의 색상, 조도, 명암, 크기 및 제 2 마커(5020)에 대한 위치, 방위 중 적어도 하나를 에디트할 수 있다.
예를 들어, 도면에 도시한 바와 같이, 카피 대상인 가상 이미지(5030-1)가 디스플레이된 상태에서, 디스플레이 유닛에 대한 멀티 터치 입력(5040)이 센싱되고, 센싱된 멀티 터치 입력(5040) 사이가 벌어지는 경우, 이미지 확대 신호가 생성될 수 있다. 디바이스는 이미지 확대 신호를 수신하면, 디스플레이 중인 가상 이미지(5030-1)를 확대하여 디스플레이(5030-2)할 수 있다. 이때, 카피 신호가 추가로 수신되면, 디바이스는 확대 디스플레이된 가상 이미지(5030-2)를 제 2 마커(5020)에 매핑할 수 있다. 보다 상세하게는, 디바이스는 카피 신호를 추가로 수신함에 따라, 확대된 가상 이미지(5030-2)에 대한 정보를 제 2 마커(5020)에 매핑할 수 있다.
즉, 디바이스는 수신되는 이미지 에디트 신호에 따라 가상 이미지(5030-1)를 에디트하여 디스플레이하고, 카피 신호가 추가로 센싱되면 에디트되어 디스플레이 중인 가상 이미지(5030-1)를 제 2 마커(5020)에 매핑할 수 있다. 디바이스는 에디트 신호에 따라 디스플레이 중인 가상 이미지(5030-1)를 에디트하여 디스플레이(5030-2)함으로써 에디트 되는 가상 이미지(5030-2)에 대한 프리뷰를 제공할 수 있다.
나아가, 디바이스는 제 2 마커(5020)를 인식하여 에디트된 가상 이미지(5030-2)를 디스플레이하는 경우, 카피된 가상 이미지가 에디트된 이미지(5030-2)임을 알리는 가상 태그를 함께 디스플레이할 수 있다(미도시). 또는, 디바이스는 에디트된 가상 이미지(5030-2)를 디스플레이하는 경우, 가상 이미지(5030-2)가 에디트 되기 전의 원본 가상 이미지(5030-1)를 함께 디스플레이함으로써 에디트된 이미지임을 유저에게 알릴 수 있다.
한편, 이미지 에디트 신호는 카피 대상인 가상 이미지에 대한 기설정된 제스쳐 입력에 의해서도 생성될 수 있다. 이에 관한 상세한 설명은 도 6과 관련하여 이하에서 후술하기로 한다.
도 6은 일 실시예에 따라 가상 이미지에 대한 이미지 에디트 신호가 수신된 경우의 디바이스를 도시한 도면이다.
이미지 에디트 신호는 도 5와 관련하여 상술한 바와 같이, 디바이스에 대한 터치 입력에 의해서도 생성될 수 있으나, 가상 이미지(6030)에 대한 직접적인 유저의 제스쳐(6040) 입력에 의해서도 생성될 수 있다. 예를 들어, 유저가 가상 이미지(6030)에 대해 두 손가락을 벌리는 듯한 제스쳐를 취한 경우, 디바이스는 카메라 유닛을 통해 상기 제스쳐를 디텍트 하여, 해당 가상 이미지(6030)를 확대 디스플레이할 수 있다. 이는 도 5에서 디스플레이 유닛에 대한 멀티 터치 입력이 상호 벌어지는 경우, 이미지를 확대 디스플레이하는 것과 상응한다고 볼 수 있다. 다만, 도 5의 실시예에서 유저는 디스플레이 유닛을 통한 터치 입력에 의해 이미지를 에디트할 수 있으나, 본 실시예에서는 가상 이미지(6030)에 대한 직접적인 제스쳐 입력(6040)에 의해 이미지를 에디트할 수 있다는 차이가 있다. 따라서, 본 실시예는 도 5의 실시예보다 직관적인 이미지 에디트 방법을 제공할 수 있다.
기설정된 제스쳐(6040)에 의해 생성된 이미지 에디트 신호에 따라, 디바이스는 디스플레이된 가상 이미지(6030)의 다양한 속성을 에디트할 수 있다. 또한, 카피 신호가 수신되면, 디바이스는 에디트된 가상 이미지(6030)에 대한 정보를 제 2 마커(6020)에 매핑할 수 있다. 이미지 에디트 신호에 관하여 도 5와 관련하여 상술한 설명과 중복되거나 상응하는 설명은 생략하기로 한다.
한편, 유저는, 도 2와 관련하여 상술한 카피 방법 이외에도, 가상 이미지(6030)의 에디트 기능을 이용하여 가상 이미지(6030)를 카피할 수 있다. 다시 말하면, 유저는 기설정된 제스쳐(6040)에 의해 가상 이미지(6030)의 위치를 제 1 마커(6010)에서 제 2 마커(6020)로 변경하는 방식으로 가상 이미지(6030)를 에디트함으로써 카피할 수 있다. 보다 상세하게는, 카피 트리거 신호가 수신되면, 디바이스는 가상 이미지(6030)를 카피할 준비 상태가 될 수 있다. 이때, 디바이스는 수신된 이미지 에디트 신호에 의해 가상 이미지(6030)에 대한 속성을 에디트할 수 있는데, 유저는 에디트되는 가상 이미지(6030)의 속성 중 가상 이미지의 마커에 대한 위치(6010, 6020)를 에디트함으로써 가상 이미지(6030)를 카피할 수 있게 된다.
예를 들어, 도면에 도시한 바와 같이, 유저가 두 손가락을 이용해 디스플레이 중인 가상 이미지를 집어서 들어올리는 듯한 제스쳐(6040)를 취하고, 이러한 제스쳐(6040)가 카메라 유닛을 통해 디텍트된 경우, 디바이스는 두 손가락의 이동에 따라 가상 이미지(6030)를 이동시킬 수 있다. 이때, 디바이스는 유저의 손(6040)을 가상 이미지가 매핑된 임시 마커로 인식하여 가상 이미지(6030)를 이동시킬 수 있다. 나아가, 유저가 가상 이미지(6030)를 제 2 마커(6020)에 올려놓는 듯한 제스쳐를 취하고, 카메라 유닛을 통해 이러한 제스쳐(6040)가 디텍트된 경우, 디바이스는 제 2 마커(6020)에 가상 이미지(6030)를 매핑함으로써 가상 이미지(6030)의 카피가 이루어질 수 있다. 이러한 그래픽 효과를 통해 디바이스는 유저에게 가상 이미지(6030)를 직접 제어하는 듯한 느낌을 줄 수 있다.
이외에도, 카피 신호가 수신되기 전이라면 디바이스는 수신된 이미지 에디트 신호에 따라 가상 이미지(6030)를 다양하게 에디트할 수 있다. 가상 이미지(6030)의 에디트가 완료되고 카피 신호가 수신되면, 디바이스는 에디트된 가상 이미지에 대한 정보를 제 2 마커(6020)에 매핑할 수 있다. 이때, 에디트된 가상 이미지는 가상 태그와 함께 혹은 원본 가상 이미지와 함께 디스플레이될 수 있음은 도 5와 관련하여 상술한 바와 같다.
도 7은 일 실시예에 따라 제 2 마커에 프리-매핑된 가상 이미지가 존재하는 경우, 이에 대한 일정한 노티피케이션을 제공하는 디바이스를 도시한 도면이다.
유저가 제 1 마커에서 제 2 마커로 가상 이미지를 카피하고자 하는 경우, 제 2 마커에 이미 매핑되어 있는 가상 이미지(7030)가 존재할 수 있다. 상술한 바와 같이, 제 2 마커는 카메라 유닛이 인식할 수 있는 오브젝트라면 그 형태나 종류에 일정한 제한이 없기 때문이다. 특히, 제 2 마커가 카피 마커인 경우에는 프리-카피(pre-copied)된 가상 이미지(7030)가 존재할 가능성이 크다. 이렇듯, 프리-매핑된 가상 이미지(7030)가 존재하는 마커에 가상 이미지(7040)를 카피하고자 하는 경우, 프리-매핑된 가상 이미지(7030)에 대한 노티피케이션(7020)을 제공하지 않는다면, 유저에게 혼란을 야기할 수 있으며, 유저의 의도와 다르게 디바이스가 오동작할 수 있다. 따라서, 디바이스는 프리-매핑된 가상 이미지(7030)가 있음을 알리는 노티피케이션(7020)을 제공해야 할 필요성이 존재한다.
따라서, 제 2 마커에 프리-매핑된 가상 이미지(7030)가 존재하는 경우, 카피 신호가 수신되면, 디바이스는 프리-매핑된 가상 이미지(7030)의 존재를 알리는 노티피케이션(7020)을 제공할 수 있다. 이때, 제공되는 노티피케이션(7020)은 시각적, 청각적, 촉각적 및 후각적 노티피케이션 중 적어도 하나를 포함할 수 있다. 디바이스가 시각적 노티피케이션(7020)을 제공하는 경우, 도면에 도시된 바와 같이, 디바이스는 “기저장된 AR 이미지가 존재합니다. 덮어 씌우시겠습니까?” 라는 시각적 노티피케이션(7020)을 제공할 수 있다.
나아가, 디바이스는 제공되는 노티피케이션(7020)에 대응한 선택 입력(7010)에 따라 가상 이미지(7040)를 덮어씌우거나, 추가하여 제 2 마커에 매핑할 수 있다. 보다 상세하게는, 디텍트된 선택 입력에 따라 디바이스는 기존에 매핑되어 있던 가상 이미지(7030)를 카피 대상 이미지(7040)로 대체하여 제 2 마커로 매핑할 수 있다. 이때, 디텍트된 선택 입력에 따라 입력 신호가 생성될 수 있다. 예를 들어, 도면에 도시한 바와 같은 시각적 노티피케이션(7020)이 제공된 경우, 유저는 “예”라는 선택창을 선택하는 제스쳐(7010)를 입력함으로써 기존에 프리-매핑되어 있던 가상 이미지(7030)를 카피 하고자 하는 가상 이미지(7040)로 대체할 수 있다. 보다 상세하게는, 프리-매핑되어 있던 가상 이미지(7030)에 관한 정보는 카피 하고자 하는 대상 이미지(7040)의 정보로 대체될 수 있다. 이 경우, 프리-매핑 되어 있던 이미지(7030)에 관한 정보는 삭제될 수 있다.
또한, 디텍트된 선택 입력에 따라 디바이스는 기존에 매핑되어 있던 가상 이미지(7030)에 추가로 카피 대상 이미지(7040)를 추가하여 제 2 마커로 매핑할 수 있다(미도시). 보다 상세하게는, 디바이스는 기존에 매핑되어 있던 가상 이미지(7030)에 대한 정보에 추가로, 카피 대상 이미지(7040)에 대한 정보를 제 2 마커에 매핑할 수 있다. 그 결과, 제 2 마커에는 복수의 가상 이미지(7030, 7040)가 매핑 되어 있을 수 있다. 이때, 제 2 마커가 인식되면, 디바이스는 복수의 가상 이미지(7030, 7040)에 대한 썸네일을 제공할 수 있는데, 이에 관한 보다 상세한 설명은 도 8과 관련하여 후술하기로 한다.
한편, 이러한 노티피케이션(7020)의 제공 여부는 디바이스의 설계, 목적, 실행 중인 애플리케이션의 종류, 유저에 의해 설정될 수 있으며, 설정에 따라서는 노티피케이션(7020)의 제공 없이 카피 신호가 수신됨에 따라 카피 대상 이미지(7040)를 바로 대체하거나 추가하여 매핑하는 동작을 수행할 수 있다.
도 8은 일 실시예에 따라 복수의 가상 이미지가 하나의 마커에 매핑되어 있는 경우, 가상 이미지를 선택하기 위한 썸네일을 제공하는 디바이스를 도시한 도면이다.
도 7과 관련하여 상술한 바와 같이, 제 2 마커(8010)에 복수의 가상 이미지가 매핑될 수 있다. 이렇게 복수의 가상 이미지가 매핑되어 있는 제 2 마커(8010)가 카메라 유닛을 통해 인식된 경우, 디바이스는 복수의 가상 이미지 중 어떤 가상 이미지를 디스플레이해야 하는지에 관한 문제가 발생할 수 있다. 따라서 이 경우, 디바이스는 매핑되어 있는 복수의 가상 이미지에 대한 썸네일(8020)을 디스플레이함으로써 가상 이미지를 선택할 수 있는 인터페이스를 유저에게 제공할 수 있다.
유저는 디스플레이된 썸네일(8020)에 대한 슬라이딩 혹은 플리킹 제스쳐 입력(8040)을 통해 디스플레이된 복수의 썸네일들(8020)을 네비게이팅할 수 있다. 이때, 디바이스는 유저의 제스쳐 입력(8040)에 대응하여 페이징 넘김 효과, 페이지 스크롤링 효과, 페이지 회전 효과 등 다양한 그래픽 효과를 부여할 수 있다. 다음으로, 유저는 디스플레이하고자 하는 가상 이미지에 대한 썸네일(8030)을 선택함으로써 마커(8010)를 기준으로 디스플레이하고자 하는 가상 이미지를 선택할 수 있다. 디바이스는 특정 썸네일(8030)에 대한 선택 입력이 센싱된 경우, 상기 특정 썸네일(8030)에 대응하는 가상 이미지를 마커를 기준으로 디스플레이할 수 있다. 보다 상세하게는, 선택된 썸네일(8030)에 대응하는 가상 이미지에 관한 정보를 불러와, 마커(8010)를 기준으로 해당 가상 이미지를 디스플레이할 수 있다.
도 9는 가상 이미지를 제 1 마커에서 제 2 마커로 카피하는 디바이스의 제어 방법에 관한 순서도를 도시한 도면이다. 본 순서도에서 도 1 내지 도 8에서 상술한 설명과 유사하거나 상응하는 부분에 관한 상세한 설명은 생략하기로 한다.
우선, 디바이스는 디바이스의 주변 이미지를 촬영할 수 있다(S9010). 보다 상세하게는, 디바이스는 카메라 유닛을 이용하여 디바이스의 주변 이미지를 획득할 수 있다.
디바이스는 이렇게 획득한 주변 이미지로부터 제 1 마커를 인식할 수 있다(S9020). 여기서 제 1 마커는 카피 대상이 되는 가상 이미지를 매핑하고 있는 원본 마커를 나타낼 수 있다.
디바이스는 인식된 제 1 마커에 매핑되어 있는 가상 이미지인 제 1 가상 이미지에 대한 정보를 획득할 수 있다(S9030). 디바이스는 외부 서버 또는 웹 서버로부터 정보를 수신하거나, 스토리지 유닛에 저장되어 있는 정보를 수신하는 방식으로 제 1 가상 이미지에 대한 정보를 획득할 수 있으며, 이에 관한 상세한 설명은 도 1과 관련하여 상술한 바와 같다.
디바이스는 획득한 제 1 가상 이미지에 대한 정보를 이용하여 제 1 가상 이미지를 디스플레이할 수 있다(S9040). 제 1 가상 이미지의 디스플레이에 관한 상세한 설명은 도 2a와 관련하여 상술한 바와 같다.
다음으로, 디바이스는 카피 트리거 신호가 수신되는지 판단할 수 있다(S9050). 카피 트리거 신호란, 제 1 가상 이미지를 제 1 마커에서 제 2 마커로 카피하기 위한 트리거 신호를 나타낼 수 있다. 또는, 카피 트리거 신호는, 제 1 가상 이미지의 카피를 수행하기 전, 카피를 준비하는 트리거 신호를 나타낼 수 있다. 카피 트리거 신호는, 기설정된 유저 입력 또는 카메라 유닛을 통한 카피 마커의 인식에 의해 생성될 수 있으며, 이에 관한 보다 상세한 설명은 도 2b와 관련하여 상술한 바와 같다.
카피 트리거 신호가 수신되면, 디바이스는 제 2 마커가 제 1 마커에 오버레이 되어 제 1 마커가 더 이상 인식되지 않더라도 제 1 가상 이미지의 디스플레이를 유지할 수 있다(S9060). 여기서 제 2 마커는, 제 1 가상 이미지가 카피되어 매핑되는 마커를 나타낼 수 있다. 보다 상세하게는, 디바이스는 카피 트리거 신호가 수신되면 제 1 가상 이미지의 카피를 위한 준비 상태가 될 수 있다. 이때, 제 2 마커가 제 1 마커에 일정 영역 초과로 오버 레이 되는 경우, 제 1 가상 이미지의 디스플레이를 유지할 수 있다. 나아가, 디바이스의 카피 준비 상태에서 이미지 에디트 신호가 수신되면 디바이스는 수신된 신호에 따라 제 1 가상 이미지를 에디트할 수 있는데, 이에 관한 보다 상세한 설명은 도 5 및 도 6과 관련하여 상술한 바와 같다.
그러나, 카피 트리거 신호가 수신되지 않으면, 디바이스는 제 1 가상 이미지를 디스플레이 하는 단계(S9040)로 회귀할 수 있다.
다음으로, 디바이스는 카피 신호가 수신되는지 판단할 수 있다(S9070). 카피 신호란, 제 2 마커로 제 1 마커의 가상 이미지 정보를 매핑하는 카피 명령 신호를 나타낼 수 있다. 카피 신호 또한 카피 트리거 신호와 마찬가지로 기설정된 유저 입력에 의해 생성되는 신호일 수 있으며, 이에 관한 보다 상세한 설명은 도 2b와 관련하여 상술한 바와 같다.
카피 신호가 수신되면, 디바이스는 제 1 가상 이미지에 대한 정보를 제 2 마커에 매핑할 수 있다(S9080). 제 2 마커란, 제 1 마커의 가상 이미지를 카피하여 매핑하는 마커를 나타낼 수 있다. 제 1 가상 이미지에 대한 정보가 제 2 마커에 매핑되면 제 1 가상 이미지의 카피가 완료된다. 이때, 디바이스는 제 1 가상 이미지의 카피가 완료되었음을 알리는 시각적 또는 청각적 피드백을 제공할 수 있으며, 이는 도 2b와 관련하여 상술한 바와 같다.
그러나, 카피 신호가 수신되지 않으면, 디바이스는 제 2 마커가 제 1 마커에 오버 레이된 상태에서 제 1 가상 이미지의 디스플레이를 유지하는 단계(S9060)로 회귀할 수 있다.
한편, 순서도에는 도시하지 않았으나, 상술한 프로세스를 통하여 제 2 마커에 복수의 가상 이미지가 매핑될 수 있음은 도 8과 관련하여 상술한 바와 같다. 또한, 복수의 가상 이미지가 매핑되어 있는 마커를 디바이스가 인식한 경우, 디바이스는 복수의 가상 이미지에 대한 복수의 썸네일을 제공할 수 있으며, 유저는 이 썸네일을 통하여 디스플레이하고자 하는 가상 이미지를 선택할 수 있음은 도 8과 관련하여 상술한 바와 같다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 권리범위에 속한다.
또한, 디바이스 및 그의 제어 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서의 각도, 거리 및 길이는 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 각도, 거리 및 길이를 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 각도, 거리 및 길이는 실질적인 각도, 거리 및 길이를 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
2010 : 디스플레이 디바이스
2020 : 카메라 유닛
2030 : 원본 마커
2040 : 가상 이미지
2050 : 소프트 버튼
2060 : 카피 마커

Claims (20)

  1. 디스플레이 디바이스에 있어서,
    상기 디스플레이 디바이스에 대한 입력을 센싱하는 센서 유닛;
    상기 디스플레이 디바이스의 주변(surrounding) 이미지를 촬영하는 카메라 유닛;
    가상(virtual) 이미지를 디스플레이하는 디스플레이 유닛; 및
    상기 센서 유닛, 상기 카메라 유닛 및 상기 디스플레이 유닛을 제어하는 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 촬영된 주변 이미지로부터 제 1 마커를 인식한 경우, 상기 제 1 마커에 매핑된 제 1 가상 이미지 정보를 획득하고, 상기 획득한 제 1 가상 이미지 정보를 사용하여 상기 제 1 가상(virtual) 이미지를 디스플레이 하되,
    상기 제 1 가상 이미지의 카피 트리거(copy trigger) 신호를 수신하고, 제 2 마커가 상기 제 1 마커에 오버 레이(overlay)된 경우, 상기 제 1 가상 이미지의 디스플레이를 유지하되,
    상기 제 1 가상 이미지의 카피 신호를 수신 하면, 상기 제 1 가상 이미지에 대한 정보를 상기 제 2 마커에 매핑(mapping)하는, 디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 카피 트리거 신호는, 기설정된 제스쳐 입력 또는 기설정된 터치 입력에 의해 생성되는 신호인, 디스플레이 디바이스.
  3. 제 2 항에 있어서,
    상기 기설정된 제스쳐 입력 또는 상기 기설정된 터치 입력은 상기 디스플레이 유닛에 디스플레이 된 가상 버튼(virtual button)에 대한 선택 입력인, 디스플레이 디바이스.
  4. 제 1 항에 있어서,
    상기 카피 트리거 신호는, 상기 제 2 마커가 카피 마커(copy marker)인 경우, 상기 촬영된 주변 이미지로부터 상기 제 2 마커가 인식됨으로써 생성되는 신호인, 디스플레이 디바이스.
  5. 제 1 항에 있어서,
    상기 디스플레이 유닛은 광학적 씨-스루(see-through) 디스플레이 패널로 구성되는, 디스플레이 디바이스.
  6. 제 1 항에 있어서,
    상기 제 1 가상 이미지에 대한 정보가 상기 제 2 마커에 매핑된 경우,
    상기 프로세서는,
    상기 촬영된 주변 이미지로부터 상기 제 2 마커를 인식하면, 상기 제 2 마커에 매핑된 상기 제 1 가상 이미지에 대한 정보를 획득하고, 상기 획득한 제 1 가상 이미지 정보를 사용하여 상기 제 1 가상 이미지를 디스플레이하는, 디스플레이 디바이스.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 제 2 마커에 매핑된 상기 제 1 가상 이미지에 대한 정보에 따라 상기 제 1 가상 이미지를 디스플레이하는 경우,
    상기 제 1 가상 이미지가 카피된 가상 이미지임을 알리는 가상 태그(virtual tag)와 함께 상기 제 1 가상 이미지를 디스플레이하는, 디스플레이 디바이스.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 가상 이미지의 디스플레이를 유지하던 중, 이미지 에디트(edit) 신호를 수신한 경우, 상기 수신된 이미지 에디트 신호에 따라 상기 제 1 가상 이미지를 에디트하여 디스플레이하고,
    상기 카피 신호가 수신되면, 상기 에디트된 제 1 가상 이미지에 대한 정보를 상기 제 2 마커에 매핑하는, 디스플레이 디바이스.
  9. 제 8 항에 있어서,
    상기 이미지 에디트 신호는 상기 디스플레이된 제 1 가상 이미지에 대한 제어 입력에 의해 생성되는 신호인, 디스플레이 디바이스.
  10. 제 8 항에 있어서,
    상기 프로세서는,
    상기 이미지 에디트 신호에 따라 상기 제 1 가상 이미지의 속성을 에디트하는, 디스플레이 디바이스.
  11. 제 10 항에 있어서,
    상기 속성은 상기 제 1 가상 이미지의 색상, 조도, 명암, 크기 및 상기 제 2 마커에 대한 위치, 방위 중 적어도 하나를 포함하는, 디스플레이 디바이스.
  12. 제 1 항에 있어서,
    상기 제 2 마커에 제 2 가상 이미지에 대한 정보가 프리-매핑(pre-mapped)되어 있던 경우,
    상기 프로세서는,
    상기 카피 신호가 수신되면, 상기 제 2 마커에 상기 제 2 가상 이미지에 대한 정보가 프리-매핑 되어있음을 알리는 노티피케이션을 제공하는, 디스플레이 디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 노티피케이션에 대응한 입력 신호가 수신된 경우, 상기 수신된 입력 신호에 따라 상기 제 2 가상 이미지에 관한 정보를 상기 제 1 가상 이미지에 관한 정보로 대체하거나 상기 제 1 가상 이미지에 대한 정보를 추가하여, 상기 제 2 마커에 매핑하는, 디스플레이 디바이스.
  14. 제 1 항에 있어서,
    상기 제 1 마커에 복수의(a plurality of) 가상 이미지에 대한 정보가 매핑 되어 있는 경우,
    상기 프로세서는,
    상기 촬영된 주변 이미지로부터 상기 제 1 마커를 인식하면, 상기 복수의 가상 이미지 중 적어도 하나의 가상 이미지에 대한 썸네일(thumbnail)을 디스플레이하는, 디스플레이 디바이스.
  15. 제 14 항에 있어서,
    상기 썸네일을 통하여 상기 복수의 가상 이미지 중 하나의 가상 이미지가 선택된 경우,
    상기 프로세서는,
    상기 선택된 가상 이미지를 상기 제 1 마커를 기준으로 디스플레이하는, 디스플레이 디바이스.
  16. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 가상 이미지에 대한 정보가 상기 제 2 마커로 매핑이 완료된 경우,
    상기 매핑 완료를 알리는 시각적 및 청각적 피드백 중 적어도 하나를 제공하는, 디스플레이 디바이스.
  17. 제 1 항에 있어서,
    상기 디스플레이된 가상 이미지에 관한 정보를 저장하는 스토리지 유닛; 을 더 포함하고,
    상기 프로세서는,
    상기 스토리지 유닛을 제어하며, 상기 획득한 상기 제 1 가상 이미지 정보를 상기 스토리지 유닛에 저장하는, 디스플레이 디바이스.
  18. 디스플레이 디바이스를 제어하는 방법에 있어서,
    카메라 유닛을 이용하여 상기 디스플레이 디바이스의 주변 이미지를 촬영하는 단계;
    상기 촬영된 주변 이미지로부터 제 1 마커를 인식하는 단계;
    상기 인식된 제 1 마커에 매핑된 제 1 가상 이미지에 대한 정보를 획득하고, 상기 획득한 제 1 가상 이미지 정보를 사용하여 상기 제 1 가상 이미지를 디스플레이 하는 단계;
    상기 제 1 가상 이미지의 카피 트리거 신호를 수신 하고, 제 2 마커가 상기 제 1 마커에 오버 레이된 경우, 상기 제 1 가상 이미지의 디스플레이를 유지하는 단계; 및
    상기 제 1 가상 이미지의 카피 신호를 수신 하면, 상기 제 1 가상 이미지에 대한 정보를 상기 제 2 마커에 매핑하는 단계; 를 포함하는, 디스플레이 디바이스의 제어 방법.
  19. 제 18 항에 있어서,
    상기 카피 트리거 신호는 기설정된 제스쳐 입력 또는 기설정된 터치 입력에 의해 생성되는 신호인, 디스플레이 디바이스의 제어 방법.
  20. 제 18 항에 있어서,
    상기 카피 트리거 신호는, 상기 제 2 마커가 카피 마커인 경우, 상기 촬영된 주변 이미지로부터 상기 제 2 마커가 인식됨으로써 생성되는 신호인, 디스플레이 디바이스의 제어 방법.
KR20130085453A 2013-07-19 2013-07-19 디스플레이 디바이스 및 그 제어 방법 KR20150010432A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20130085453A KR20150010432A (ko) 2013-07-19 2013-07-19 디스플레이 디바이스 및 그 제어 방법
US14/074,206 US20150022551A1 (en) 2013-07-19 2013-11-07 Display device and control method thereof
CN201380078312.8A CN105378594A (zh) 2013-07-19 2013-11-11 显示装置及其控制方法
EP13889598.2A EP3022629A4 (en) 2013-07-19 2013-11-11 Display device and control method thereof
PCT/KR2013/010199 WO2015008904A1 (en) 2013-07-19 2013-11-11 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130085453A KR20150010432A (ko) 2013-07-19 2013-07-19 디스플레이 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20150010432A true KR20150010432A (ko) 2015-01-28

Family

ID=52343234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130085453A KR20150010432A (ko) 2013-07-19 2013-07-19 디스플레이 디바이스 및 그 제어 방법

Country Status (5)

Country Link
US (1) US20150022551A1 (ko)
EP (1) EP3022629A4 (ko)
KR (1) KR20150010432A (ko)
CN (1) CN105378594A (ko)
WO (1) WO2015008904A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156408A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 전자 장치 및 그 동작 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8286102B1 (en) * 2010-05-27 2012-10-09 Adobe Systems Incorporated System and method for image processing using multi-touch gestures
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
GB2535727A (en) * 2015-02-25 2016-08-31 Bae Systems Plc Interactive information system
EP3098690B1 (en) * 2015-05-28 2020-01-08 Nokia Technologies Oy Rendering of a notification on a head mounted display
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
CN106484287A (zh) * 2016-09-27 2017-03-08 北京小米移动软件有限公司 显示设备控制方法、装置和显示设备
US10228773B2 (en) * 2017-01-02 2019-03-12 Merge Labs, Inc. Three-dimensional augmented reality object user interface functions
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
US10430924B2 (en) * 2017-06-30 2019-10-01 Quirklogic, Inc. Resizable, open editable thumbnails in a computing device
TWI638318B (zh) * 2017-08-14 2018-10-11 勝典科技股份有限公司 以擴增實境技術結合自創元素之產製影音作品系統及記錄媒體
TWI650705B (zh) * 2017-08-17 2019-02-11 凌華科技股份有限公司 架構於非侵入式資料擷取系統客製化顯示畫面的系統模組及方法
US10520924B2 (en) * 2017-10-31 2019-12-31 Deere & Company Augmented reality control for machine
US11232636B2 (en) * 2018-02-08 2022-01-25 Edx Technologies, Inc. Methods, devices, and systems for producing augmented reality
JP7155242B2 (ja) * 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
US11144113B2 (en) * 2018-08-02 2021-10-12 Firefly Dimension, Inc. System and method for human interaction with virtual objects using reference device with fiducial pattern
CN111199583B (zh) * 2018-11-16 2023-05-16 广东虚拟现实科技有限公司 一种虚拟内容显示方法、装置、终端设备及存储介质
WO2020169084A1 (en) * 2019-02-22 2020-08-27 100 Fire Limited A method and system for selecting and displaying augmented reality content
JP7247048B2 (ja) * 2019-07-31 2023-03-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報提示システム、情報提示方法、サーバ装置およびそのプログラム
US11145135B1 (en) * 2020-04-28 2021-10-12 Spatial Systems Inc. Augmented reality interaction and contextual menu system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
KR100930370B1 (ko) * 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
WO2010094065A1 (en) * 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
US9489040B2 (en) * 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9930128B2 (en) * 2011-09-30 2018-03-27 Nokia Technologies Oy Method and apparatus for accessing a virtual object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156408A1 (ko) * 2018-02-12 2019-08-15 삼성전자 주식회사 전자 장치 및 그 동작 방법
US11431909B2 (en) 2018-02-12 2022-08-30 Samsung Electronics Co., Ltd. Electronic device and operation method thereof

Also Published As

Publication number Publication date
WO2015008904A1 (en) 2015-01-22
EP3022629A4 (en) 2017-03-08
EP3022629A1 (en) 2016-05-25
US20150022551A1 (en) 2015-01-22
CN105378594A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
KR20150010432A (ko) 디스플레이 디바이스 및 그 제어 방법
Zhu et al. Bishare: Exploring bidirectional interactions between smartphones and head-mounted augmented reality
US11204692B2 (en) User interface camera effects
AU2022228121B2 (en) User interfaces for simulated depth effects
US11178335B2 (en) Creative camera
US11669985B2 (en) Displaying and editing images with depth information
US20220070385A1 (en) Creative camera
EP2887238B1 (en) Mobile terminal and method for controlling the same
US9015584B2 (en) Mobile device and method for controlling the same
US20210349612A1 (en) Editing features of an avatar
TWI552021B (zh) 使用三維操控命令手勢的運算系統
WO2020055613A1 (en) User interfaces for simulated depth effects
KR101546598B1 (ko) 사용자 인터페이스와 연관된 아이콘들의 3-차원적 다중-깊이 프리젠테이션
KR20150122976A (ko) 디스플레이 디바이스 및 그 제어 방법
EP3088991B1 (en) Wearable device and method for enabling user interaction
AU2022215297B2 (en) Creative camera
US10185457B2 (en) Information processing apparatus and a method for controlling the information processing apparatus
US20150042621A1 (en) Method and apparatus for controlling 3d object
US20230386093A1 (en) Changing Locked Modes Associated with Display of Computer-Generated Content

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid