KR20220057388A - Ar 버츄얼 단말 및 그의 제어 방법 - Google Patents

Ar 버츄얼 단말 및 그의 제어 방법 Download PDF

Info

Publication number
KR20220057388A
KR20220057388A KR1020200145105A KR20200145105A KR20220057388A KR 20220057388 A KR20220057388 A KR 20220057388A KR 1020200145105 A KR1020200145105 A KR 1020200145105A KR 20200145105 A KR20200145105 A KR 20200145105A KR 20220057388 A KR20220057388 A KR 20220057388A
Authority
KR
South Korea
Prior art keywords
user
image
augmented reality
information
display unit
Prior art date
Application number
KR1020200145105A
Other languages
English (en)
Inventor
김영덕
김진욱
서덕주
안지현
김도형
Original Assignee
주식회사 팝스라인
안지현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팝스라인, 안지현 filed Critical 주식회사 팝스라인
Publication of KR20220057388A publication Critical patent/KR20220057388A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 AR 버츄얼 단말 및 그의 제어 방법을 개시한다. 즉, 본 발명은 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공함으로써, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있다.

Description

AR 버츄얼 단말 및 그의 제어 방법{Terminal for providing virtual augmented reality and control method thereof}
본 발명은 AR 버츄얼 단말 및 그의 제어 방법에 관한 것으로서, 특히 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공하는 AR 버츄얼 단말 및 그의 제어 방법에 관한 것이다.
실감 콘텐츠(Immersive Content)는 현실 세계를 가장 비슷하게 나타내고자 하는 콘텐츠로, 시각, 청각, 촉각 같은 인간의 오감과 개인의 경험이나 사전 지식, 나아가 느낌(feeling)이나 감성(sensibility)까지 자극하여 사용자에게 실감(reality)을 전달할 수 있는 다차원 콘텐츠이다.
가상현실(Virtual Reality : VR)이나 증강현실(Augmented Reality : AR)에 대한 관심이 높아지고 있으나, 다양한 상황에 효과적으로 이러한 실감 콘텐츠를 적용하는 기술의 다양화에 한계가 있는 상태이다.
한국공개특허 제10-2019-0057808호 [제목: 증강현실을 이용한 보물찾기 제공방법]
본 발명의 목적은 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공하는 AR 버츄얼 단말 및 그의 제어 방법을 제공하는 데 있다.
본 발명의 다른 목적은 사용자가 가상공간에 대한 직접적인 체험을 수행하는 동안에 관련된 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자에게 제공하거나 또는, 녹화 영상을 제공하는 AR 버츄얼 단말 및 그의 제어 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 AR 버츄얼 단말의 제어 방법은 제어부에 의해, 카메라부를 통해 획득된 영상 정보에 대한 영상 분석 기능 수행에 따라, 상기 영상 정보 내에 포함된 객체가 사람으로 판단될 때, 증강현실 영상을 표시부에 표시하는 단계; 상기 제어부에 의해, 실시간으로 상기 카메라부를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하는 단계; 상기 제어부에 의해, 영상 분석 기능 수행에 따른 사용자의 움직임을 근거로 상기 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 상기 표시부에 표시하는 단계; 및 상기 사용자의 움직임에 의해 상기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체에 상기 사용자가 근접할 때, 상기 제어부에 의해, 상기 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시하도록 상기 표시부를 제어하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 증강현실 영상을 표시부에 표시하는 단계는, 상기 증강현실 영상이 표시되는 일측에 상기 객체의 외형을 추가로 표시할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부에 의해, 상기 표시부에 표시되는 영상을 실시간으로 저장부에 저장하는 단계; 상기 제어부에 의해, 서버와 연동하여, 상기 서버에 실시간으로 접속한 하나 이상의 다른 단말에 상기 표시부에 표시되는 영상을 스트리밍 방식으로 제공하는 단계; 및 상기 제어부에 의해, 상기 서버와 연동하여, 상기 저장부에 저장된 녹화 영상을 상기 하나 이상의 다른 단말에 제공하는 단계를 더 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 부가 정보는, 상기 다른 객체와 관련한 작가나 관계자의 아바타가 상기 다른 객체에 대한 상세 정보를 설명하는 형태로 제공되며, 상기 상세 정보는, 다른 객체명, 다른 객체에 대한 작가 정보 및 상세한 설명 정보 중 적어도 하나를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부에 의해, 상기 표시부에 표시되는 증강현실 영상을 실시간 라이브 방송 형태 또는 녹화 영상 형태로 하나 이상의 다른 단말에 제공하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 AR 버츄얼 단말은 영상 정보를 획득하는 카메라부; 증강현실 영상을 표시하는 표시부; 및 상기 카메라부를 통해 획득된 영상 정보에 대한 영상 분석 기능 수행에 따라, 상기 영상 정보 내에 포함된 객체가 사람으로 판단될 때 상기 증강현실 영상을 상기 표시부에 표시하도록 제어하고, 실시간으로 상기 카메라부를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하고, 영상 분석 기능 수행에 따른 사용자의 움직임을 근거로 상기 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 표시하도록 상기 표시부를 제어하고, 사용자의 다른 움직임에 의해 기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체가 터치될 때, 상기 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시하도록 상기 표시부를 제어하는 제어부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 사용자의 다른 움직임은, 상기 카메라부를 통해 획득되는 사용자가 포함된 영상 정보에 대한 영상 분석을 수행하여, 영상 정보 내에서의 사용자의 손의 위치 정보를 상기 증강현실 영상의 가상공간 내의 위치에 매핑하고, 매핑된 사용자의 손의 위치 정보가 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 대응하는 경우, 상기 매핑된 사용자의 손의 위치 정보가 상기 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 미리 설정된 시간 이상 유지되는 경우 및 상기 다른 객체의 위치에 사용자의 손이 위치한 상태에서 화면을 터치하는 손동작이 인식되는 경우 중 어느 하나일 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 다른 객체가 상품일 때, 상기 상품에 대한 간편 구매 기능을 위해서, 결제 기능을 위한 정보를 포함하는 QR 코드를 상기 다른 객체에 인접한 다른 위치에 표시하도록 상기 표시부를 제어하며, 상기 사용자가 소지한 단말을 통해 상기 다른 객체에 인접 표시되는 QR 코드가 스캔될 때, 상기 단말에서 상기 다른 객체에 해당하는 상품 구매 기능을 수행할 수 있다.
본 발명은 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공함으로써, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 가상공간에 대한 직접적인 체험을 수행하는 동안에 관련된 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자에게 제공하거나 또는, 녹화 영상을 제공함으로써, 사용자가 경험하는 가상현실을 다양하게 활용할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 AR 버츄얼 단말의 구성을 나타낸 블록도이다.
도 2는 발명의 실시예에 따른 AR 버츄얼 단말의 제어 방법을 나타낸 흐름도이다.
도 3 내지 도 10은 본 발명의 실시예에 따른 표시부에 표시되는 화면 및 그에 따른 카메라 주변에 위치한 사용자의 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 AR 버츄얼 단말(100)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, AR 버츄얼 단말(100)은 카메라부(110), 통신부(120), 저장부(130), 표시부(140), 음성 출력부(150) 및 제어부(160)로 구성된다. 도 1에 도시된 실감 콘텐츠 제공 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 AR 버츄얼 단말(100)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 AR 버츄얼 단말(100)이 구현될 수도 있다.
상기 AR 버츄얼 단말(100)은 키오스크(kiosk), 무인 판매 단말, 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, 키오스크(KIOSK) 등과 같은 다양한 단말기에 적용될 수 있다.
또한, 상기 AR 버츄얼 단말(100)은 상업적으로 무인 교육 훈련, 무인 홍보회, 무인 전시회 등에 적용될 수 있다.
상기 카메라부(또는 촬영부)(110)는 상기 AR 버츄얼 단말(100)의 일측에 배치(또는 구성/형성/설치)한다.
또한, 상기 카메라부(110)는 상기 AR 버츄얼 단말(100)의 전면, 상기 AR 버츄얼 단말(100)의 후면, 상기 AR 버츄얼 단말(100)의 측면 등을 포함하는 전면을 촬영할 수 있도록 하나 이상의 이미지 센서(카메라 모듈 또는 카메라)로 구성한다. 이때, 상기 카메라부(110)는 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 카메라로 구성할 수도 있다.
또한, 상기 카메라부(110)는 상기 AR 버츄얼 단말(100)의 전면/후면/측면에 위치한 하나 이상의 객체를 포함하는 영상 정보를 획득(또는 촬영)한다.
즉, 상기 카메라부(110)는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 카메라부(110)는 객체(또는 피사체)를 촬영하고, 그 촬영된 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다.
이때, 상기 AR 버츄얼 단말(100)에 포함된 센서부(미도시)가 상기 AR 버츄얼 단말(100)(또는 상기 AR 버츄얼 단말(100)의 일면)로부터 미리 설정된 기준 거리(예를 들어 5미터) 이내에 위치하는 사용자를 감지하는 경우, 상기 카메라부(110)는 상기 AR 버츄얼 단말(100)의 일면(또는 전면/측면)에 위치하는 사용자(또는 객체)를 포함하는 영상 정보를 획득할 수도 있다.
또한, 상기 카메라부(110)에서 처리된 화상 프레임(또는 영상 정보)은 디지털 비디오 레코더(Digital video recorder: DVR)에 저장되거나, 상기 저장부(130)에 저장되거나, 상기 통신부(120)를 통해 외부 서버 등에 전송될 수 있다.
이와 같이, 상기 카메라부(110)는 현실 세계의 일정 영역에 해당하는 영상(또는 영상 정보)을 획득(또는 촬영)한다.
상기 통신부(120)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 서버(미도시), 다른 단말(미도시) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(120)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
또한, 상기 통신부(120)는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.
또한, 상기 통신부(120)는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버, 상기 다른 단말 등과 무선 신호를 송수신한다.
또한, 상기 통신부(120)는 상기 제어부(160)의 제어에 의해, 상기 카메라부(110)를 통해 획득된 영상 정보를 근거로 상기 표시부(140)에 표시되는 증강현실 영상을 제어하는 화면을 상기 서버나 상기 AR 버츄얼 단말(100)과 통신하는 하나 이상의 다른 단말(미도시)에 전송한다.
상기 저장부(130)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.
또한, 상기 저장부(130)는 상기 AR 버츄얼 단말(100)이 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
즉, 상기 저장부(130)는 상기 AR 버츄얼 단말(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), AR 버츄얼 단말(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 AR 버츄얼 단말(100)의 기본적인 기능을 위하여 출고 당시부터 AR 버츄얼 단말(100) 상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부(130)에 저장되고, AR 버츄얼 단말(100)에 설치되어, 제어부(160)에 의하여 상기 AR 버츄얼 단말(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 상기 저장부(130)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, AR 버츄얼 단말(100)은 인터넷(internet)상에서 저장부(130)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.
또한, 상기 저장부(130)는 상기 제어부(160)의 제어에 의해 상기 카메라부(110)를 통해 획득된 영상 정보를 근거로 상기 표시부(140)에 표시되는 증강현실 영상을 제어하는 화면에 대응하는 녹화 영상을 저장한다.
상기 표시부(또는 디스플레이부)(140)는 상기 제어부(160)의 제어에 의해 상기 저장부(130)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 표시부(140)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 표시부(140)는 터치 스크린 일 수 있다.
또한, 상기 표시부(140)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 표시부(140)는 상기 제어부(160)의 제어에 의해 가상공간이 구축된 증강현실 영상을 표시한다. 이때, 복수의 표시부(140)를 행렬 형태로 배치하고, 행렬 형태로 배치된 복수의 표시부(140)를 통해 증강현실 영상을 표시할 수도 있다.
상기 음성 출력부(150)는 상기 제어부(160)에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부(150)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)에 의해 생성된 안내 음성을 출력한다.
또한, 상기 음성 출력부(150)는 상기 제어부(160)의 제어에 의해 상기 증강현실 영상에 대응하는 음성 정보(또는 음향 효과)를 출력한다.
상기 제어부(controller, 또는 MCU(microcontroller unit)(160)는 상기 AR 버츄얼 단말(100)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(160)는 상기 저장부(130)에 저장된 프로그램 및 데이터를 이용하여 AR 버츄얼 단말(100)의 전반적인 제어 기능을 실행한다. 상기 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부(130)에 액세스하여, 상기 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부(130)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
또한, 상기 제어부(160)는 가상공간을 구축하고, 상기 구축된 가상공간(또는 가상현실의 공간)에 미리 설정된 가상현실 영상을 적용하여 증강현실 영상을 생성한다. 이때, 상기 제어부(160)는 저장부(130)에 미리 저장된 복수의 가상현실 영상 중에서 증강현실 영상을 제작하기 위한 제작자 선택(또는 제작사 입력/터치/제어)에 따라 특정 가상현실 영상을 선택하고, 상기 선택된 특정 가상현실 영상을 상기 구축된 가상공간(또는 가상현실의 공간)에 적용한다.
또한, 상기 제어부(160)는 상기 생성된 증강현실 영상을 상기 표시부(140)에 표시한다. 여기서, 상기 제어부(160)는 사용자가 상기 증강현실 영상을 바라보는 기준(또는 시선 중심)을 표시하기 위해서, 상기 증강현실 영상의 일측(예를 들어 사용자가 정면 중심을 바라보는 상태에서의 정중앙 위치 등 포함)에 미리 설정된 마커를 표시할 수 있다.
또한, 상기 제어부(160)는 상기 AR 버츄얼 단말(100)의 일면(또는 전면/측면)에 위치하는 사용자(또는 객체)를 포함하는 영상 정보를 획득(또는 촬영)하도록 상기 카메라부(110)를 제어한다.
또한, 상기 제어부(160)는 상기 획득된(또는 촬영된) 영상 정보에 포함된 사용자(또는 객체)를 인식한다. 이때, 상기 제어부(160)는 공지된 다양한 객체 인식 기술을 이용하여 상기 영상 정보에 포함된 사용자를 인식하며, 해당 사용자의 얼굴, 손, 발 등의 신체 부위를 추가로 인식할 수 있다.
즉, 상기 제어부(160)는 상기 획득된 영상 정보에 대한 영상 분석 기능을 수행한다. 이때, 상기 영상 분석 기능은 해당 영상 정보에 포함된 객체를 인식하는 기능, 인식된 객체가 사람인지 여부를 확인하는 기능, 인식된 객체가 사람인 경우 해당 사람의 움직임을 분석하는 기능, 인식된 객체가 사람인 경우 해당 사람의 손의 움직임을 분석하는 기능 등을 포함한다.
또한, 영상 분석 기능 수행에 따라, 해당 영상 정보 내에 포함된 객체가 사람으로 판단(또는 확인)되는 경우, 상기 제어부(160)는 상기 표시부(140)에서의 자동 투어 기능에 따른 증강현실 영상 표시 과정을 중지하고, 미리 설정된 초기 화면에 대응하는 증강현실 영상(또는 자동 투어 기능 종료 시점의 증강현실 영상)을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 표시부(140)의 일측(또는 상기 증강현실 영상의 일측)에 상기 카메라부(110)를 통해 인식된 객체의 외형(또는 윤곽선)을 추가로 표시한다. 여기서, 상기 인식된 객체의 외형은 실제 크기에서 미리 설정된 비율로 축소되어 상기 표시부(140)의 일측에 표시할 수 있다. 또한, 상기 제어부(160)는 상기 카메라부(110)를 통해 인식된 사용자에 대응하는 캐릭터를 생성하고, 상기 생성된 캐릭터를 상기 표시부(10)의 일측에 표시할 수도 있다. 여기서, 상기 제어부(160)는 관리자 선택(또는 해당 사용자/제작자 선택)에 따라, 상기 표시부(140)에 표시되는 증강현실 영상을 1인칭 시점 또는 3인칭 시점으로 표시할 수 있다.
또한, 상기 제어부(160)는 상기 획득된 영상 정보로부터 상기 인식된 사용자의 모습(또는 사용자의 윤곽선/사용자 영상/상기 인식된 사용자의 외형/상기 인식된 객체의 외형/객체 영상)을 추출한다.
또한, 상기 제어부(160)는 상기 추출된 사용자 영상(또는 사용자의 모습/객체의 외형/객체 영상)을 미리 설정된 배율로 축소하고, 축소된 사용자 영상을 상기 증강현실 화면의 일측(예를 들어 우측 하단 영역 등 포함)에 투사(또는 추가/합성)하여, 사용자 투사 화면(또는 객체 투사 화면)을 생성한다. 이때, 상기 제어부(160)는 교육, 훈련, 홍보, 전시 등의 목적에 따라, 상기 사용자의 모습의 일측(또는 상기 사용자 영상이 포함되는 사용자 투사 화면의 일측)에 미리 설정된 효과(또는 애니메이션 효과)를 적용한 상태로 상기 사용자 투사 화면을 생성할 수도 있다. 여기서, 상기 사용자 투사 화면은 앞서 상기 제어부(160)에 의해 생성된 가상공간을 포함하는 증강현실 영상에 상기 사용자의 외형(또는 윤곽선)이 추가된 상태일 수 있다.
또한, 상기 제어부(160)는 상기 생성된 사용자 투사 화면을 상기 표시부(140)에 표시한다.
또한, 상기 제어부(160)는 상기 표시부(140)에 표시되는 영상(또는 화면)을 실시간으로 상기 저장부(130)에 저장한다. 이때, 상기 제어부(160)는 서버(미도시)와 연동하여, 해당 서버에 실시간으로 접속한 하나 이상의 다른 단말(미도시)에 상기 표시부(140)에 표시되는 영상을 스트리밍 방식 등으로 제공(또는 공유/전송)한다.
또한, 상기 제어부(160)는 실시간으로 상기 카메라부(110)를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하고, 영상 분석 기능 수행에 따른 사용자(또는 객체)의 움직임을 근거로 해당 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 표시부(140)의 일측(또는 상기 증강현실 영상의 일측)에 상기 카메라부(110)를 통해 인식된 객체의 움직임에 대응하는 외형(또는 윤곽선)을 표시한다. 여기서, 상기 사용자의 움직임은 가상공간 내에서 앞으로 이동하기 위한 한쪽 팔을 앞으로 뻗는 동작 또는 양팔을 앞으로 뻗는 동작 또는 수평 상태인 양발 중 한쪽 발(예를 들어 오른발, 왼발 등 포함) 한발 앞으로 뻗는 동작, 가상공간 내에서의 이동을 멈추기 위한 뻗은 팔을 지면에 수직으로 올리는(또는 유지하는) 동작, 가상공간 내에서 뒤로 이동하기 위한 한쪽 팔을 머리 위로 뻗는 동작 또는 양팔을 머리 위로 뻗는 동작 또는 수평 상태인 양발 중 한쪽 발을 한발 뒤로 뻗는 동작, 가상공간 내에서 좌측으로 방향 전환하기 위한 팔을 지면에 수직으로 올린 상태에서 사용자를 중심으로 왼쪽으로 기울이는 동작 또는 한쪽 팔(또는 왼팔)을 좌측으로 뻗는 동작, 가상공간 내에서 우측으로 방향 전환하기 위한 팔을 지면에 수직으로 올린 상태에서 사용자를 중심으로 오른쪽으로 기울이는 동작 또는 다른 한쪽 팔(또는 오른팔)을 우측으로 뻗는 동작 등을 포함한다.
이와 같이, 상기 제어부(160)는 사용자가 한쪽 팔을 앞으로 뻗거나, 지면과 수직으로 올린 한쪽 팔의 위치(또는 앞으로 뻗은 상태의 한쪽 팔의 위치)를 기준으로 한쪽 팔의 상/하/좌/우/대각선 방향으로 등의 움직임 방향, 움직임 각도 등을 근거로 상기 표시부(140)에 표시되는 증강현실 영상을 이동, 회전 등을 시켜 표시할 수 있다.
또한, 가상공간 내에서의 좌측 또는 우측으로 방향 전환하기 위해서 양손 중 한쪽 팔(예를 들어 왼팔, 오른팔)을 지면과 수평하게 좌/우 방향으로 드는 동작 등을 포함한다.
위의 설명에서는 사용자의 움직임에 따른 가상공간 내에서의 사용자 객체의 이동(또는 화면 이동/전환)이 해당 사용자의 2차원적인 움직임(예를 들어 전/후 이동, 좌/우 방향 전환 등 포함)에 대해서 설명하고 있으나, 이에 한정되는 것은 아니며, 사용자가 양손 중 한쪽 팔 또는 양쪽 팔을 지면과 수평을 유지한 상태를 기준으로 위/아래로 움직이는 각도와 팔의 방향에 따라, 해당 가상공간 내에서의 사용자 객체의 움직임을 3차원적으로 제어하도록 구성할 수도 있다.
예를 들어, 사용자가 그 자리에서 양쪽 발을 모은 상태에서, 오른팔을 들어 좌/우/아래/위 방향을 가리키면, 해당 좌/우/아래/위 방향에 대응하며 해당 오른팔의 각도(일 예로, 사용자가 오른팔을 수평으로 든 상태를 기준으로 오른팔이 아래로 기울어지거나 위로 올려지는 각도)에 따라, 증강현실 영상이 3차원적으로 이동하여 상기 표시부(140)에 표시될 수 있다.
이에 따라, 상기 제어부(160)는 상기 사용자의 움직임을 근거로 상기 표시부(140)에 표시되는 증강현실 영상에 대해서 360도 전체 영상을 제공할 수 있다.
또한, 실시간으로 상기 카메라부(110)를 통해 획득되는 영상 정보의 분석 기능 수행에 의한 사용자의 움직임을 근거로 상기 사용자의 움직임에 의해 상기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체에 사용자가 근접하는 경우 또는, 사용자의 다른 움직임에 따라 해당 다른 객체가 터치되는 경우 또는, 상기 마커가 상기 다른 객체상에 일정 시간 이상 위치하는 경우(또는 상기 사용자의 시선이 상기 다른 객체를 응시하는 상태가 상기 일정 시간 이상 유지되는 경우), 상기 제어부(160)는 해당 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시하도록 상기 표시부(140)를 제어한다. 이때, 상기 제어부(160)는 해당 부가 정보에 대응하는 음성 정보(또는 음향 정보)를 상기 음성 출력부(150)를 통해 출력할 수도 있다. 여기서, 상기 부가 정보는 해당 다른 객체와 관련한 작가(또는 관계자)의 아바타가 해당 다른 객체에 대한 상세 정보를 설명(또는 안내)하는 형태로 제공되며, 해당 다른 객체에 대한 상세 정보(예를 들어 다른 객체명, 다른 객체에 대한 작가 정보, 다른 객체에 대한 상세한 설명 정보 등 포함) 등을 포함한다. 또한, 상기 다른 객체가 상품인 경우, 상기 제어부(160)는 해당 상품에 대한 간편 구매 기능(또는 간편 결제 기능)을 위해서, 결제 기능을 위한 정보를 포함하는 QR 코드(또는 바코드)를 상기 다른 객체에 인접한 다른 위치에 표시한다.
이를 통해, 상기 사용자가 소지한 단말(미도시)을 통해 상기 다른 객체에 인접 표시되는 QR 코드를 스캔하여, 상기 단말은 해당 다른 객체에 해당하는 상품 구매 기능(또는 상품 결제 기능)을 수행할 수 있다.
또한, 상기 사용자의 다른 움직임(또는 모션 터치 동작)은 상기 카메라부(110)를 통해 획득되는 사용자가 포함된 영상 정보에 대한 영상 분석을 수행하여, 영상 정보 내에서의 사용자의 손의 위치 정보를 해당 증강현실 영상의 가상공간 내의 위치에 매핑하고, 매핑된 사용자의 손의 위치 정보가 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 대응(또는 매핑)하는 경우, 상기 매핑된 사용자의 손의 위치 정보가 상기 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 미리 설정된 시간 이상 유지되는 경우, 상기 다른 객체의 위치에 사용자의 손이 위치한 상태에서 화면을 터치하는 손동작이 인식되는 경우 등을 포함한다.
또한, 상기 제어부(160)는 상기 카메라부(110)를 통한 사용자의 움직임(또는 동작) 인식뿐만 아니라, 해당 AR 버츄얼 단말(100)의 일측에 구비된 동작 인식 센서(미도시)를 통해서도 사용자의 움직임을 인식하고, 인식된 사용자의 움직임을 상기 증강현실 영상이 표시되는 화면 영역 내에 매핑하여, 그에 따른 특정 기능(예를 들어 앞으로 이동, 뒤로 이동, 좌측으로 방향 전환, 우측으로 방향 전환, 부가 정보 표시 등 포함)을 수행하도록 구성할 수도 있다. 여기서, 상기 동작 인식 센서(Motion Recognition Sensor)는 물체의 움직임이나 위치를 인식하는 센서, 지자기 센서(Geomagnetism Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 관성 센서(Inertial Sensor), 고도계(Altimeter), 진동 센서 등의 센서를 포함하며, 동작 인식에 관련된 센서들이 추가로 포함될 수 있다.
또한, 상기 제어부(160)는 상기 증강현실 영상이 표시되는 화면에 대한 사용자의 터치 제스처에 따라, 상기 사용자의 터치 제스처에 대응하는 객체의 기능을 수행하도록 구성할 수도 있다. 여기서, 상기 AR 버츄얼 단말(100)의 사용자의 터치 제스처는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 핀치, 스와이프 등을 포함한다.
즉, 상기 제어부(160)는 상기 증강현실 영상이 표시되는 화면에 포함된 상기 가상공간 내의 특정 위치에 구성된 다른 객체에 대해서 사용자의 터치 제스처가 발생하는 경우, 해당 다른 객체에 대응하여 미리 설정된 기능을 수행할 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후, 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대값이나 축소값이 결정된다.
"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
또한, 상기 제어부(160)는 해당 AR 버츄얼 단말(100)과 연동하는 상기 서버를 통해서, 상기 사용자가 인식된 시점부터 상기 표시부(140)의 일측에 표시되는 종료 메뉴가 사용자의 모션 터치에 따라 터치되는 시점까지(또는 상기 카메라부(110)를 통해 획득된 영상 정보에서 사용자가 인식된 후, 해당 사용자가 더는 인식되지 않는 시점까지/상기 AR 버츄얼 단말(100)의 일측에 구비된 종료 버튼이 선택되는 시점까지), 상기 사용자가 가상공간에 대해 직접적으로 가상현실 영상을 체험하는 동안의 관련 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자가 소지한 상기 다른 단말에 제공한다.
또한, 상기 제어부(160)는 해당 관련 가상현실 영상을 녹화 영상으로 상기 저장부(130)(또는 상기 서버)에 저장하고, 상기 저장된 녹화 영상을 해당 서버를 이용해서 해당 사용자가 소지한 또 다른 단말(미도시)에 제공할 수도 있다.
이와 같이, 상기 제어부(160)는 상기 표시부(140)에 표시되는 증강현실 영상(또는 해당 증강현실 영상 내에서의 사용자의 움직임에 따른 제어 작동을 반영한 증강현실 영상)을 실시간 라이브 방송 형태 또는 녹화 영상 형태로 하나 이상의 다른 단말에 제공할 수 있다.
본 발명에서 제공하는 증강현실 영상을 통한 가상현실 및/또는 증강현실 체험은 해당 AR 버츄얼 단말(100)에 미리 설치된 전용 앱을 통해 수행되거나 또는, 해당 전용 앱을 제공하는 서버에서 실시간으로 제공하는 웹 사이트를 통해 수행될 수 있다.
이와 같이, 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공할 수 있다.
또한, 이와 같이, 사용자가 가상공간에 대한 직접적인 체험을 수행하는 동안에 관련된 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자에게 제공하거나 또는, 녹화 영상을 제공할 수 있다.
이하에서는, 본 발명에 따른 AR 버츄얼 단말의 제어 방법을 도 1 내지 도 10을 참조하여 상세히 설명한다.
도 2는 발명의 실시예에 따른 AR 버츄얼 단말의 제어 방법을 나타낸 흐름도이다.
먼저, 표시부(140)는 가상공간이 구축된 증강현실 영상을 표시한다. 이때, 복수의 표시부(140)를 행렬 형태로 배치하고, 행렬 형태로 배치된 복수의 표시부(140)를 통해 증강현실 영상을 표시할 수도 있다.
즉, 제어부(160)는 가상공간을 구축하고, 상기 구축된 가상공간(또는 가상현실의 공간)에 미리 설정된 가상현실 영상을 적용하여 증강현실 영상을 생성하고, 상기 생성된 증강현실 영상을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 저장부(130)에 미리 저장된 복수의 가상현실 영상 중에서 증강현실 영상을 제작하기 위한 제작자 선택(또는 제작사 입력/터치/제어)에 따라 특정 가상현실 영상을 선택하고, 상기 선택된 특정 가상현실 영상을 상기 구축된 가상공간(또는 가상현실의 공간)에 적용한다. 여기서, 상기 제어부(160)는 사용자가 상기 증강현실 영상을 바라보는 기준(또는 시선 중심)을 표시하기 위해서, 상기 증강현실 영상의 일측(예를 들어 사용자가 정면 중심을 바라보는 상태에서의 정중앙 위치 등 포함)에 미리 설정된 마커를 표시할 수 있다.
일 예로, 상기 제어부(160)는 구축된 제 1 가상공간에 상기 저장부(130)에 미리 저장된 복수의 가상현실 영상 중에서 선택된 아트갤러리와 관련한 제 1 가상현실 영상을 적용하여 제 1 증강현실 영상을 생성한다.
또한, 도 3에 도시된 바와 같이, 상기 제어부(160)는 상기 생성된 제 1 증강현실 영상(300)을 상기 표시부(140)에 표시한다. 이때, 상기 제 1 증강현실 영상(300)에 대응하는 음성 정보(또는 음향 정보)가 포함된 상태인 경우, 상기 제어부(160)는 해당 음성 정보(또는 음향 정보)를 음성 출력부(150)를 통해 출력한다. 여기서, 상기 표시부(140)에 표시되는 제 1 증강현실 영상(300)의 중심에는 제 1 마커(310)가 표시될 수 있다.
또한, 도 4에 도시된 바와 같이, 상기 AR 버츄얼 단말(100)의 전면에는 사람이 존재하지 않은 상태이다(S210).
이후, 카메라부(110)는 AR 버츄얼 단말(100)의 전면(또는 측면/후면)에 위치하는 객체(예를 들어 사람, 사물 등 포함)를 포함하는 영상 정보를 획득(또는 촬영)한다.
또한, 상기 제어부(160)는 상기 획득된 영상 정보에 대한 영상 분석 기능을 수행한다. 이때, 상기 영상 분석 기능은 해당 영상 정보에 포함된 객체를 인식하는 기능, 인식된 객체가 사람인지 여부를 확인하는 기능, 인식된 객체가 사람인 경우 해당 사람의 움직임을 분석하는 기능, 인식된 객체가 사람인 경우 해당 사람의 손의 움직임을 분석하는 기능 등을 포함한다.
일 예로, 상기 카메라부(110)는 현실 세계에서의 상기 AR 버츄얼 단말(100)의 전면의 일정 영역에 해당하는 제 1 영상을 획득한다.
또한, 상기 제어부(160)는 상기 획득된 제 1 영상에 대해 영상 분석 기능을 수행하여, 해당 제 1 영상에 포함된 객체를 인식한다(S220).
이후, 영상 분석 기능 수행에 따라, 해당 영상 정보 내에 포함된 객체가 사람으로 판단(또는 확인)되는 경우, 상기 제어부(160)는 상기 표시부(140)에서의 자동 투어 기능에 따른 증강현실 영상 표시 과정을 중지하고, 미리 설정된 초기 화면에 대응하는 증강현실 영상(또는 자동 투어 기능 종료 시점의 증강현실 영상)을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 표시부(140)의 일측(또는 상기 증강현실 영상의 일측)에 상기 카메라부(110)를 통해 인식된 객체의 외형(또는 윤곽선)을 표시한다. 여기서, 상기 인식된 객체의 외형은 실제 크기에서 미리 설정된 비율로 축소되어 상기 표시부(140)의 일측에 표시할 수 있다. 또한, 상기 제어부(160)는 상기 카메라부(110)를 통해 인식된 사용자에 대응하는 캐릭터를 생성하고, 상기 생성된 캐릭터를 상기 표시부(10)의 일측에 표시할 수도 있다. 여기서, 상기 제어부(160)는 관리자 선택(또는 해당 사용자/제작자 선택)에 따라, 상기 표시부(140)에 표시되는 증강현실 영상을 1인칭 시점 또는 3인칭 시점으로 표시할 수 있다.
또한, 상기 제어부(160)는 상기 표시부(140)에 표시되는 영상(또는 화면)을 실시간으로 상기 저장부(130)에 저장한다. 이때, 상기 제어부(160)는 서버(미도시)와 연동하여, 해당 서버에 실시간으로 접속한 하나 이상의 다른 단말(미도시)에 상기 표시부(140)에 표시되는 영상을 스트리밍 방식 등으로 제공(또는 공유/전송)한다.
일 예로, 상기 제 1 영상에 대한 영상 분석 기능 수행에 따라 해당 제 1 영상에서 제 1 사용자가 인식될 때, 도 5에 도시된 바와 같이, 상기 제어부(160)는 미리 설정된 상기 제 1 증강현실 영상(510)을 상기 표시부(140)의 일측에 표시하고, 상기 카메라부(110)를 통해 획득된 제 1 영상에 포함된 제 1 사용자에 대한 제 1 윤곽선 영상(520)을 상기 표시부(140)의 다른 일측에 표시한다.
또한, 도 6에 도시된 바와 같이, 상기 AR 버츄얼 단말(100)의 전면에는 사람(610)이 존재한 상태이다(S230).
이후, 상기 제어부(160)는 실시간으로 상기 카메라부(110)를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하고, 영상 분석 기능 수행에 따른 사용자(또는 객체)의 움직임을 근거로 해당 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 상기 표시부(140)에 표시한다. 이때, 상기 제어부(160)는 상기 표시부(140)의 일측(또는 상기 증강현실 영상의 일측)에 상기 카메라부(110)를 통해 인식된 객체의 움직임에 대응하는 외형(또는 윤곽선)을 표시한다. 여기서, 상기 사용자의 움직임은 가상공간 내에서 앞으로 이동하기 위한 한쪽 팔을 앞으로 뻗는 동작 또는 양팔을 앞으로 뻗는 동작 또는 수평 상태인 양발 중 한쪽 발(예를 들어 오른발, 왼발 등 포함) 한발 앞으로 뻗는 동작, 가상공간 내에서의 이동을 멈추기 위한 뻗은 팔을 지면에 수직으로 올리는(또는 유지하는) 동작, 가상공간 내에서 뒤로 이동하기 위한 한쪽 팔을 머리 위로 뻗는 동작 또는 양팔을 머리 위로 뻗는 동작 또는 수평 상태인 양발 중 한쪽 발을 한발 뒤로 뻗는 동작, 가상공간 내에서 좌측으로 방향 전환하기 위한 팔을 지면에 수직으로 올린 상태에서 사용자를 중심으로 왼쪽으로 기울이는 동작 또는 한쪽 팔(또는 왼팔)을 좌측으로 뻗는 동작, 가상공간 내에서 우측으로 방향 전환하기 위한 팔을 지면에 수직으로 올린 상태에서 사용자를 중심으로 오른쪽으로 기울이는 동작 또는 다른 한쪽 팔(또는 오른팔)을 우측으로 뻗는 동작 등을 포함한다.
이와 같이, 상기 제어부(160)는 사용자가 한쪽 팔을 앞으로 뻗거나, 지면과 수직으로 올린 한쪽 팔의 위치(또는 앞으로 뻗은 상태의 한쪽 팔의 위치)를 기준으로 한쪽 팔의 상/하/좌/우/대각선 방향으로 등의 움직임 방향, 움직임 각도 등을 근거로 상기 표시부(140)에 표시되는 증강현실 영상을 이동, 회전 등을 시켜 표시할 수 있다.
일 예로, 도 7 내지 도 8에 도시된 바와 같이, 상기 제어부(160)는 실시간으로 상기 카메라부(110)를 통해 획득되는 제 1 영상 정보에 대한 영상 분석 기능 수행에 따른 제 1 사용자의 제 1 움직임(예를 들어 한쪽 팔을 앞으로 뻗는 동작)을 근거로 상기 제 1 증강현실 영상 내의 가상공간에서 앞으로 진행하는 제 1 증강현실 영상(710, 810)을 상기 표시부(140)의 일측에 표시하고, 상기 제 1 사용자의 제 1 움직임(예를 들어 한쪽 팔을 앞으로 뻗는 동작)(720, 820)을 상기 표시부(140)의 다른 일측에 표시한다.
또한, 도 9에 도시된 바와 같이, 상기 제어부(160)는 실시간으로 상기 카메라부(110)를 통해 획득되는 제 1 영상 정보에 대한 영상 분석 기능 수행에 따른 제 1 사용자의 제 2 움직임(예를 들어 오른팔을 우측으로 뻗는 동작)을 근거로 상기 제 1 증강현실 영상 내의 가상공간에서 우측으로 방향 전환하는 제 1 증강현실 영상(910)을 상기 표시부(140)의 일측에 표시하고, 상기 제 1 사용자의 제 2 움직임(예를 들어 오른팔을 우측으로 뻗는 동작)(920)을 상기 표시부(140)의 다른 일측에 표시한다(S240).
이후, 실시간으로 상기 카메라부(110)를 통해 획득되는 영상 정보의 분석 기능 수행에 의한 사용자의 움직임을 근거로 상기 사용자의 움직임에 의해 상기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체에 사용자가 근접하는 경우 또는, 사용자의 다른 움직임에 따라 해당 다른 객체가 터치되는 경우 또는, 상기 마커가 상기 다른 객체상에 일정 시간 이상 위치하는 경우(또는 상기 사용자의 시선이 상기 다른 객체를 응시하는 상태가 상기 일정 시간 이상 유지되는 경우), 상기 제어부(160)는 해당 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시한다. 이때, 상기 제어부(160)는 해당 부가 정보에 대응하는 음성 정보(또는 음향 정보)를 상기 음성 출력부(150)를 통해 출력할 수도 있다. 여기서, 상기 부가 정보는 해당 다른 객체와 관련한 작가(또는 관계자)의 아바타가 해당 다른 객체에 대한 상세 정보를 설명(또는 안내)하는 형태로 제공되며, 해당 다른 객체에 대한 상세 정보(예를 들어 다른 객체명, 다른 객체에 대한 작가 정보, 다른 객체에 대한 상세한 설명 정보 등 포함) 등을 포함한다. 또한, 상기 다른 객체가 상품인 경우, 상기 제어부(160)는 해당 상품에 대한 간편 구매 기능(또는 간편 결제 기능)을 위해서, 결제 기능을 위한 정보를 포함하는 QR 코드(또는 바코드)를 상기 다른 객체에 인접한 다른 위치에 표시한다.
이를 통해, 상기 사용자가 소지한 단말(미도시)을 통해 상기 다른 객체에 인접 표시되는 QR 코드를 스캔하여, 상기 단말은 해당 다른 객체에 해당하는 상품 구매 기능(또는 상품 결제 기능)을 수행할 수 있다.
또한, 상기 사용자의 다른 움직임(또는 모션 터치 동작)은 상기 카메라부(110)를 통해 획득되는 사용자가 포함된 영상 정보에 대한 영상 분석을 수행하여, 영상 정보 내에서의 사용자의 손의 위치 정보를 해당 증강현실 영상의 가상공간 내의 위치에 매핑하고, 매핑된 사용자의 손의 위치 정보가 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 대응(또는 매핑)하는 경우, 상기 매핑된 사용자의 손의 위치 정보가 상기 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 미리 설정된 시간 이상 유지되는 경우, 상기 다른 객체의 위치에 사용자의 손이 위치한 상태에서 화면을 터치하는 손동작이 인식되는 경우 등을 포함한다.
일 예로, 상기 카메라부(110)를 통해 획득되는 제 1 영상 정보의 분석 기능 수행에 의한 사용자의 움직임을 근거로 상기 사용자의 움직임에 의해 상기 가상공간 내의 제 1 미술품(930)에 미리 설정된 거리 이내로 근접해질 때, 도 10에 도시된 바와 같이, 상기 제어부(160)는 상기 제 1 미술품(1010)에 대응하는 제 1 부가 정보(1020)를 해당 제 1 미술품(1010)에 인접하게 표시하도록 상기 표시부(140)를 제어하고, 해당 제 1 미술품(1010)과 관련한 제 1 부가 정보(1020)에 대응하는 음성 정보를 상기 음성 출력부(150)를 통해 출력한다(S250).
또한, 상기 제어부(160)는 해당 AR 버츄얼 단말(100)과 연동하는 상기 서버를 통해서, 상기 사용자가 인식된 시점부터 상기 표시부(140)의 일측에 표시되는 종료 메뉴가 사용자의 모션 터치에 따라 터치되는 시점까지(또는 상기 카메라부(110)를 통해 획득된 영상 정보에서 사용자가 인식된 후, 해당 사용자가 더는 인식되지 않는 시점까지/상기 AR 버츄얼 단말(100)의 일측에 구비된 종료 버튼이 선택되는 시점까지), 상기 사용자가 가상공간에 대해 직접적으로 가상현실 영상을 체험하는 동안의 관련 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자가 소지한 상기 다른 단말에 제공한다.
또한, 상기 제어부(160)는 해당 관련 가상현실 영상을 녹화 영상으로 상기 저장부(130)(또는 상기 서버)에 저장하고, 상기 저장된 녹화 영상을 해당 서버를 이용해서 해당 사용자가 소지한 또 다른 단말(미도시)에 제공할 수도 있다.
일 예로, 상기 제어부(160)는 상기 서버의 중개에 의해(또는 상기 서버와 연동하여), 상기 실시간으로 상기 저장부(130)에 저장되는 상기 표시부(140)에 표시되는 영상(또는 화면/사용자의 움직임이 적용된 가상현실 영상)을 통신부(120)를 통해 실시간으로 제 1 다른 단말(미도시) 내지 제 10 다른 단말(미도시)에 전송한다(S260).
본 발명의 실시예는 앞서 설명된 바와 같이, 가상공간이 구축된 증강현실 영상을 표시하고 있는 상태에서 단말에 근접하는 사용자가 감지되는 경우, 감지된 사용자의 움직임을 근거로 가상공간이 이동하며, 사용자의 움직임에 의해 가상공간에서의 이동에 따라 가상공간 내의 특정 위치에 구성된 객체에 사용자가 근접하거나 해당 객체가 터치되는 경우 해당 객체와 관련한 부가 정보를 제공하여, 사용자의 직접 체험에 따른 사용자의 관심과 흥미를 유발할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 사용자가 가상공간에 대한 직접적인 체험을 수행하는 동안에 관련된 가상현실 영상을 실시간 라이브 방송을 통해 다른 사용자에게 제공하거나 또는, 녹화 영상을 제공하여, 사용자가 경험하는 가상현실을 다양하게 활용할 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: AR 버츄얼 단말 110: 카메라부
120: 통신부 130: 저장부
140: 표시부 150: 음성 출력부
160: 제어부

Claims (8)

  1. 제어부에 의해, 카메라부를 통해 획득된 영상 정보에 대한 영상 분석 기능 수행에 따라, 상기 영상 정보 내에 포함된 객체가 사람으로 판단될 때, 증강현실 영상을 표시부에 표시하는 단계;
    상기 제어부에 의해, 실시간으로 상기 카메라부를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하는 단계;
    상기 제어부에 의해, 영상 분석 기능 수행에 따른 사용자의 움직임을 근거로 상기 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 상기 표시부에 표시하는 단계; 및
    상기 사용자의 움직임에 의해 상기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체에 상기 사용자가 근접할 때, 상기 제어부에 의해, 상기 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시하도록 상기 표시부를 제어하는 단계를 포함하는 AR 버츄얼 단말의 제어 방법.
  2. 제 1 항에 있어서,
    상기 증강현실 영상을 표시부에 표시하는 단계는,
    상기 증강현실 영상이 표시되는 일측에 상기 객체의 외형을 추가로 표시하는 것을 특징으로 하는 AR 버츄얼 단말의 제어 방법.
  3. 제 1 항에 있어서,
    상기 제어부에 의해, 상기 표시부에 표시되는 영상을 실시간으로 저장부에 저장하는 단계;
    상기 제어부에 의해, 서버와 연동하여, 상기 서버에 실시간으로 접속한 하나 이상의 다른 단말에 상기 표시부에 표시되는 영상을 스트리밍 방식으로 제공하는 단계; 및
    상기 제어부에 의해, 상기 서버와 연동하여, 상기 저장부에 저장된 녹화 영상을 상기 하나 이상의 다른 단말에 제공하는 단계를 더 포함하는 것을 특징으로 하는 AR 버츄얼 단말의 제어 방법.
  4. 제 1 항에 있어서,
    상기 부가 정보는,
    상기 다른 객체와 관련한 작가나 관계자의 아바타가 상기 다른 객체에 대한 상세 정보를 설명하는 형태로 제공되며,
    상기 상세 정보는,
    다른 객체명, 다른 객체에 대한 작가 정보 및 상세한 설명 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 AR 버츄얼 단말의 제어 방법.
  5. 제 1 항에 있어서,
    상기 제어부에 의해, 상기 표시부에 표시되는 증강현실 영상을 실시간 라이브 방송 형태 또는 녹화 영상 형태로 하나 이상의 다른 단말에 제공하는 단계를 더 포함하는 것을 특징으로 하는 AR 버츄얼 단말의 제어 방법.
  6. 영상 정보를 획득하는 카메라부;
    증강현실 영상을 표시하는 표시부; 및
    상기 카메라부를 통해 획득된 영상 정보에 대한 영상 분석 기능 수행에 따라, 상기 영상 정보 내에 포함된 객체가 사람으로 판단될 때 상기 증강현실 영상을 상기 표시부에 표시하도록 제어하고, 실시간으로 상기 카메라부를 통해 획득되는 영상 정보에 대해 영상 분석 기능을 수행하고, 영상 분석 기능 수행에 따른 사용자의 움직임을 근거로 상기 사용자의 움직임에 따라 상기 사용자가 상기 증강현실 영상 내의 가상공간을 이동하는 증강현실 영상을 표시하도록 상기 표시부를 제어하고, 사용자의 다른 움직임에 의해 기 증강현실 영상의 가상공간 내의 특정 위치에 구성된 다른 객체가 터치될 때, 상기 다른 객체에 대응하는 부가 정보를 상기 다른 객체에 인접한 위치에 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 AR 버츄얼 단말.
  7. 제 6 항에 있어서,
    상기 사용자의 다른 움직임은,
    상기 카메라부를 통해 획득되는 사용자가 포함된 영상 정보에 대한 영상 분석을 수행하여, 영상 정보 내에서의 사용자의 손의 위치 정보를 상기 증강현실 영상의 가상공간 내의 위치에 매핑하고, 매핑된 사용자의 손의 위치 정보가 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 대응하는 경우, 상기 매핑된 사용자의 손의 위치 정보가 상기 가상공간 내의 특정 위치에 구성된 다른 객체의 위치에 미리 설정된 시간 이상 유지되는 경우 및 상기 다른 객체의 위치에 사용자의 손이 위치한 상태에서 화면을 터치하는 손동작이 인식되는 경우 중 어느 하나인 것을 특징으로 하는 AR 버츄얼 단말.
  8. 제 6 항에 있어서,
    상기 제어부는,
    상기 다른 객체가 상품일 때, 상기 상품에 대한 간편 구매 기능을 위해서, 결제 기능을 위한 정보를 포함하는 QR 코드를 상기 다른 객체에 인접한 다른 위치에 표시하도록 상기 표시부를 제어하며,
    상기 사용자가 소지한 단말을 통해 상기 다른 객체에 인접 표시되는 QR 코드가 스캔될 때, 상기 단말에서 상기 다른 객체에 해당하는 상품 구매 기능을 수행하는 것을 특징으로 하는 AR 버츄얼 단말.
KR1020200145105A 2020-10-29 2020-11-03 Ar 버츄얼 단말 및 그의 제어 방법 KR20220057388A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200142100 2020-10-29
KR20200142100 2020-10-29

Publications (1)

Publication Number Publication Date
KR20220057388A true KR20220057388A (ko) 2022-05-09

Family

ID=81582942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145105A KR20220057388A (ko) 2020-10-29 2020-11-03 Ar 버츄얼 단말 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR20220057388A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603578B1 (ko) * 2023-05-15 2023-11-17 주식회사 오버더핸드 3ｄ 캐릭터와 3ｄ 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057808A (ko) 2017-11-20 2019-05-29 이용옥 증강현실을 이용한 보물찾기 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190057808A (ko) 2017-11-20 2019-05-29 이용옥 증강현실을 이용한 보물찾기 제공방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603578B1 (ko) * 2023-05-15 2023-11-17 주식회사 오버더핸드 3ｄ 캐릭터와 3ｄ 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US9160993B1 (en) Using projection for visual recognition
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US10191616B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US20180253152A1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US20150379770A1 (en) Digital action in response to object interaction
CN108038726B (zh) 物品展示方法及装置
CN105191330A (zh) 显示装置及其图形用户界面屏幕提供方法
CN104871214A (zh) 用于具扩增实境能力的装置的用户接口
JP2013141207A (ja) ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
US20120229509A1 (en) System and method for user interaction
KR102413074B1 (ko) 사용자 단말, 전자 장치 및 이들의 제어 방법
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
US11928306B2 (en) Touchpad navigation for augmented reality display device
KR20240001275A (ko) 증강 현실 디스플레이 디바이스를 위한 터치패드 입력
WO2022246418A1 (en) Touchpad navigation for augmented reality display device
CN111913674A (zh) 虚拟内容的显示方法、装置、***、终端设备及存储介质
KR20160035911A (ko) 이동단말기 및 그 제어방법
KR102181084B1 (ko) 실감 콘텐츠 제공 장치 및 그 방법
EP3889750A1 (en) Method, apparatus and storage medium for displaying weather elements
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
JP2018005663A (ja) 情報処理装置、表示システム、プログラム
US11880542B2 (en) Touchpad input for augmented reality display device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application