KR20140133640A - 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 - Google Patents

증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 Download PDF

Info

Publication number
KR20140133640A
KR20140133640A KR20130052208A KR20130052208A KR20140133640A KR 20140133640 A KR20140133640 A KR 20140133640A KR 20130052208 A KR20130052208 A KR 20130052208A KR 20130052208 A KR20130052208 A KR 20130052208A KR 20140133640 A KR20140133640 A KR 20140133640A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
image
contents
request
Prior art date
Application number
KR20130052208A
Other languages
English (en)
Other versions
KR102077305B1 (ko
Inventor
정진회
손태환
이공욱
이준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130052208A priority Critical patent/KR102077305B1/ko
Priority to US14/242,104 priority patent/US9710970B2/en
Priority to PCT/KR2014/004029 priority patent/WO2014182052A1/en
Priority to CN201480026236.0A priority patent/CN105190704B/zh
Priority to EP14794871.5A priority patent/EP2994885A4/en
Publication of KR20140133640A publication Critical patent/KR20140133640A/ko
Application granted granted Critical
Publication of KR102077305B1 publication Critical patent/KR102077305B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치에 관한 것으로, 특히 이미지상에 증강 현실로 표시되는 정보를 이미지에 결합하여 콘텐츠를 생성하고, 콘텐츠에 결합 된 증강 현실 정보를 갱신 및 표시하도록 하는 콘텐츠 제공 방법 및 장치에 관한 것이다.
이에 따른 본 발명은, 증강 현실 정보를 포함하는 콘텐츠 제공 방법으로, 카메라부를 통하여 수집된 영상의 프리뷰 영상 및 상기 프리뷰 영상에 대한 증강 현실 정보를 표시하는 단계, 증강 현실 콘텐츠 생성 요청에 응답하여, 상기 프리뷰 영상을 촬영하여 이미지를 생성하는 단계 및 상기 이미지와 상기 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING CONTENTS INCLUDING AUGMENTED REALITY INFORMATION}
본 발명은 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치에 관한 것으로, 특히 이미지상에 증강 현실로 표시되는 정보를 이미지에 결합하여 콘텐츠를 생성하고, 콘텐츠에 결합 된 증강 현실 정보를 갱신 및 표시하도록 하는 콘텐츠 제공 방법 및 장치에 관한 것이다.
스마트 폰의 등장으로 오늘날의 휴대 장치는 매우 다양하고 복잡한 기능을 제공할 수 있게 되었다. 최근에는 카메라를 통해 수집된 현실이 이미지상에 3차원 가상 이미지를 중첩하여 표시하는 증강 현실(Augmented Reality, AR) 기능에 대한 연구가 진행되고 있다.
현재의 증강 현실은 카메라를 통해 수집된 프리뷰 영상에 증강 현실 정보를 중첩하여 표시하는 데 그치고 있다. 그러나 휴대 단말을 통해 보다 향상된 기능을 제공받고자 하는 사용자의 요구에 따라, 증강 현실 정보를 보다 적극적으로 관리하고 제공해야할 필요성이 발생하게 되었다.
본 발명은 카메라를 통해 촬영된 이미지와 해당 이미지에 대응하는 증강 현실 정보를 연계하여 콘텐츠로 제공하는 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치를 제공한다.
또한, 본 발명은 이미지와 연계하여 저장된 증강 현실 정보를 주기적으로 갱신하여 관리할 수 있는 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치를 제공한다.
또한, 본 발명은 이미지 표시 요청이 감지되면, 이미지에 대응하는 증강 현실 정보를 이미지에 중첩하여 표시하도록 하는 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치를 제공한다.
상기 과제를 해결하기 위한 본 발명에 따른 콘텐츠 제공 방법은, 증강 현실 정보를 포함하는 콘텐츠 제공 방법으로, 카메라부를 통하여 수집된 영상의 프리뷰 영상 및 상기 프리뷰 영상에 대한 증강 현실 정보를 표시하는 단계, 증강 현실 콘텐츠 생성 요청에 응답하여, 상기 프리뷰 영상을 촬영하여 이미지를 생성하는 단계 및 상기 이미지와 상기 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 과제를 해결하기 위한 본 발명에 따른 휴대 장치는, 증강 현실 정보를 포함하는 콘텐츠 제공하는 휴대 장치로, 영상을 수집하는 카메라부, 상기 카메라부를 통하여 수집된 영상의 프리뷰 영상 및 상기 프리뷰 영상에 대한 증강 현실 정보를 표시하는 표시부 및 증강 현실 콘텐츠 생성 요청에 응답하여, 상기 프리뷰 영상을 촬영하여 이미지를 생성하고, 상기 이미지와 상기 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강 현실 정보를 포함하는 콘텐츠의 제공 방법 및 장치는, 지속적이고 갱신 가능한 증강 현실 정보를 포함하는 콘텐츠를 제공함으로써, 사용자와 휴대 장치 간 상호 작용을 극대화시키는 이점을 갖는다.
도 1은 본 발명에 따른 휴대 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명에 따른 증강 현실 콘텐츠의 생성 방법을 나타낸 순서도이다.
도 3은 본 발명에 따른 프리뷰 화면에 증강 현실 정보를 결합하여 표시하는 방법을 나타낸 순서도이다.
도 4는 본 발명에 따라 카메라부를 통해 수집된 영상의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따라 프리뷰 영상에 증강 현실 정보를 결합하여 표시한 예를 나타낸 도면이다.
도 6은 본 발명에 따라 프리뷰 영 증강 현실 콘텐츠의 생성 방법을 보다 구체적으로 나타낸 순서도이다.
도 7은 본 발명에 따른 템플릿의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 증강 현실 콘텐츠의 업데이트 방법의 일 예를 나타낸 순서도이다.
도 9는 본 발명에 따른 증강 현실 콘텐츠의 갱신 방법의 다른 예를 나타낸 순서도이다.
도 10은 본 발명에 따른 증강 현실 콘텐츠의 표시 방법을 나타낸 순서도이다.
도 11은 본 발명에 따라 증강 현실 콘텐츠의 목록을 표시한 예를 나타낸 도면이다.
도 12는 본 발명에 따라 이미지에 증강 현실 정보를 결합하는 예를 나타낸 도면이다.
도 13은 본 발명에 따라 표시된 증강 현실 콘텐츠의 예를 나타낸 도면이다.
도 14는 본 발명에 따라 특정 시점에서의 증강 현실 콘텐츠를 표시한 예를 나타낸 도면이다.
도 15는 본 발명에 따라 추가 가능한 증강 현실 정보 목록을 표시한 예를 나타낸 도면이다.
도 16은 본 발명에 따라 증강 현실 정보를 추가한 예를 나타낸 도면이다.
본 발명은 증강 현실 콘텐츠를 제공하는 휴대 장치의 제어를 위해 적용될 수 있다.
또한, 본 발명은 증강 현실 콘텐츠를 제공하는 휴대 장치로써, 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트 패드(Note Pad), 와이브로(Wibro) 단말, 타블렛 PC(Tablet PC) 등의 일반적인 전자 단말뿐만 아니라, 그룹 채팅 기능을 제공하는 모든 장치를 위하여 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.
도 1은 본 발명에 따른 휴대 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 휴대 장치(100)는 통신부(110), 입력부(120), 카메라부(130), 센서부(140), 제어부(150), 저장부(160) 및 표시부(170)를 포함하여 구성될 수 있다.
통신부(110)는 외부와 데이터 통신을 수행한다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 수신기 등을 포함할 수 있다.
본 발명의 실시 예에 따르면, 통신부(110)는 증강 현실 정보를 제공하는 서버와 통신을 수행할 수 있다. 통신부(110)는 서버로 증강 현실 정보 요청 또는 업데이트된 증강 현실 정보 요청을 전송할 수 있다. 또한, 통신부(110)는 서버로부터 증강 현실 정보 또는 업데이트 푸쉬 등을 수신할 수 있다.
입력부(120)는 사용자의 입력을 감지하고, 사용자 입력에 대응하는 입력 신호를 제어부(130)로 전달한다. 입력부는 버튼, 조그 다이얼, 휠 등을 포함하여 구성될 수 있고, 터치 센서, 전자기 센서, 근접 센서, IR 센서 등을 이용하여 사용자의 인체 또는 펜의 입력을 감지할 수도 있다.
입력부(120)는 입력 패드로 구성될 수 있다. 입력부(120)는 각종 센서를 입력 패드 상에 실장하는 형태로 구성될 수 있다. 입력부(120)는 입력 패드 상에 터치 센서가 필름 형태로 부착되거나, 패널 형태로 결합된 입력 패드로 구성될 수 있다. 또는 입력부(120)는 전자기 센서를 이용하는 EMR(Electro Magnetic Resonance) 또는 EMI(Eletro Magnetic Interferenc) 방식의 입력 패드로 구성될 수 있다. 입력부(120)는 복수의 센서를 이용하여 입력을 감지하기 위하여 상호 레이어 구조를 이루는 하나 이상의 입력 패드로 구성될 수 있다.
입력부(120)는 표시부(150)와 레이어 구조를 이루어 입력 스크린으로 동작할 수 있다. 예를 들어, 입력부(120)는 터치 센서를 구비하는 입력 패드를 포함하고 표시부(150)와 결합된 TSP(Touch Screen Panel)로 구성될 수 있다.
본 발명의 실시 예에 따르면, 입력부(120)는 증강 현실 콘텐츠의 생성 요청, 편집 요청(증강 현실 정보의 추가/삭제), 증강 현실 콘텐츠의 표시 요청 등을 감지할 수 있다.
카메라부(130)는 적어도 하나의 피사체를 포함하는 영상을 수집하여 데이터 신호로 변환하고 이를 제어부(150)로 전달할 수 있다. 제어부(150)는 카메라부(130)로부터 수신한 데이터 신호를 기초로, 영상으로부터 특정 피사체를 인식하거나, 수집된 영상을 프리뷰 화면으로 표시하도록 표시부(170)를 제어할 수 있다. 또한, 제어부(150)는 촬영 수행 요청이 감지되면, 촬영 수행 요청이 감지된 시점에서 카메라부(130)를 통하여 수집된 영상으로 이미지를 생성할 수 있다. 제어부(150)는 생성한 이미지를 저장부(160)에 임시 또는 영구적으로 저장할 수 있다.
센서부(140)는 휴대 장치(100)의 현재 상태를 감지하기 위한 복수의 센서로 구성된다. 센서부(140)는 감지된 상태에 대응하는 제어 신호를 생성하여, 제어부(150)로 전달할 수 있다.
특히, 본 발명의 다양한 실시 예에서, 센서부(140)는 휴대 장치(100)의 지리/위치 정보를 수집하기 위하여 GPS 센서(141), 중력 센서(142) 및 자이로 센서(143) 등을 포함할 수 있다.
GPS 센서(141)는 GPS 위성으로부터 통신부(110)를 통하여 수신된 GPS 신호를 기초로, 휴대 장치(100)의 현재 위치 정보를 생성한다. GPS 센서(141)는 복수의 GPS 위성으로부터 수신된 GPS 신호를 이용하여 삼각 측량법 등을 이용하여 휴대 장치(100)에 대한 위도, 경도 및 고도 등을 판단한다.
중력 센서(142)는 중력이 어느 방향으로 작용하는지 감지한다. 중력 센서(142)는 전자 장치(100)에 작용하는 중력, 즉 가속도의 방향을 감지하여 전자 장치(100)의 기울기를 검출하거나, 장치(100) 주변의 지자기를 검출하여, 전자 장치(100)의 방위를 판단할 수 있다. 중력 센서(142)는 지자기를 이용하여 방위를 판단하므로, 지자기 센서로 구성되거나 지자기 센서와 유사하게 동작할 수 있다.
자이로 센서(143)는 휴대 장치(100)의 회전 각도를 측정하는 센서로써, 3차원 기준 축에 대하여 회전된 각도를 감지할 수 있다. 예를 들어, 자이로 센서(143)는 휴대 장치(100)의 중심을 원점으로 하는 x, y, z축에 대하여 회전된 각도, 즉 피치(pitch), 롤(roll), 요(yaw)를 감지할 수 있다.
제어부(150)는 센서부(140)를 통하여 획득된 정보를 서버로 전송하도록 통신부(110)를 제어하고, 해당 정보를 기초로 서버가 증강 현실 정보를 제공할 수 있도록 한다.
제어부(150)는 휴대 장치(100)의 전반적인 동작을 위하여 각 구성 요소를 제어할 수 있다. 예를 들어, 제어부(150)는 가상 현실 콘텐츠를 생성하고, 관리하기 위하여 휴대 장치(100)의 각 구성 요소를 제어할 수 있다.
본 발명의 실시 예에 따르면, 제어부(150)는 증강 현실 콘텐츠 생성 요청에 응답하여, 카메라부(130)를 통하여 획득된 프리뷰 영상을 촬영하여 이미지를 생성하고, 이미지와 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성할 수 있다.
또한, 제어부(150)는 증강 현실 콘텐츠의 표시 요청, 또는 서버로부터 수신된 업데이트 푸쉬를 기초로, 서버로 업데이트된 증강 현실 정보를 요청하고, 수신된 업데이트된 증강 현실 정보를 기초로 증강 현실 콘텐츠를 업데이트할 수 있다.
또한, 본 발명의 실시 예에 따르면, 제어부(150)는 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있고, 특정 시점의 선택 입력에 따라 해당 시점에 대응하는 증강 현실 콘텐츠의 업데이트 버전을 표시하도록 표시부(170)를 제어할 수 있다.
제어부(150)의 보다 구체적인 동작에 대한 설명은 하기에서 도면을 참조하여 상세히 설명하도록 한다.
저장부(160)는 휴대 장치(100)를 위한 프로그램 또는 명령들이 저장될 수 있다. 제어부(150)는 저장부(160)에 저장된 프로그램 또는 명령들을 수행할 수 있다.
저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
본 발명의 실시 예에 따르면, 저장부(160)는 적어도 하나의 증강 현실 콘텐츠를 저장할 수 있다. 저장부(160)는 증강 현실 콘텐츠의 생성 시간/업데이트 시간에 관한 정보를 함께 저장할 수 있다.
표시부(170)는 휴대 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 표시부(170)는 현재 구동 중인 애플리케이션, 프로그램 또는 서비스에 대응하는 정보를 UI(User Interface)와 함께 표시할 수 있다.
표시부(170)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
표시부(170)는 입력부(120)를 구성하는 터치 센서 및/또는 전자기 센서와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이때, 터치 스크린으로 동작하는 표시부(170)는 입력 장치의 기능을 수행할 수도 있다.
본 발명의 실시 예에 따르면, 표시부(170)는 제어부(150)의 제어에 따라, 증강 현실 콘텐츠 목록 또는 증강 현실 콘텐츠를 표시할 수 있다.
도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 휴대 장치(100)가 구현될 수 있다.
도 2는 본 발명에 따른 증강 현실 콘텐츠의 생성 방법을 나타낸 순서도이다.
먼저, 제어부(150)는 대기 상태에서 동작한다(210).
제어부(150)는 휴대 장치(100)를 대기 상태로 제어할 수 있다. 제어부(150)는 대기 상태에서 대기 모드로 동작하거나, 임의의 애플리케이션, 프로그램 또는 서비스를 구동 중일 수 있다.
다음으로, 제어부(150)는 증강 현실 정보 요청이 감지되었는지 여부를 판단한다(220).
제어부(150)는 입력부(120)를 통하여 증강 현실 정보를 요청하는 사용자 입력이 감지되는지 여부를 판단할 수 있다. 또는, 제어부(150)는 통신부(110)를 통하여 증강 현실 정보 요청에 대응하는 데이터가 수신되거나, 휴대 장치(100)에서 제공하는 프로그램, 서비스 또는 다른 애플리케이션을 통해 증강 현실 정보가 요청되는지 여부를 판단할 수 있다.
본 발명의 실시 예에서, 증강 현실 정보 요청은 카메라 애플리케이션, 증강 현실 애플리케이션 등 증강 현실과 관련된 애플리케이션의 실행 요청일 수 있다. 특정 애플리케이션은 휴대 장치(100)의 제조 시에 저장부(160)에 저장되거나, 통신부(110)를 통해 다운되어 저장된 것일 수 있다.
증강 현실 정보 요청이 감지되지 않으면, 제어부(150)는 대기 상태를 유지할 수 있다.
증강 현실 정보 요청이 감지되면, 제어부(150)는 프리뷰 영상에 증강 현실 정보를 결합하여 표시한다(230).
제어부(150)는 증강 현실 정보 요청의 감지에 응답하여 카메라부(120)를 구동시킬 수 있다. 제어부(150)는 카메라부(120)를 통해 수집된 영상에 증강 현실 정보를 결합하여 표시하도록 표시부(170)를 제어할 수 있다.
구체적으로, 도 3을 참조하면, 제어부(150)는 카메라부(120)를 통해 영상을 수집한다(231).
제어부(150)는 영상을 수집하도록 카메라부(130)로 제어 신호를 전달할 수 있다. 카메라부(130)는 제어 신호에 응답하여 카메라를 구동하고, 적어도 하나의 피사체를 포함하는 영상을 수집하여 제어부(150)로 전달할 수 있다. 카메라부(130)를 통해 수집된 영상은 적어도 하나의 피사체를 포함할 수 있다.
도 4에는 카메라부(130)를 통하여 수집된 영상의 일 예가 도시되어 있다. 도 4를 참조하면, 본 발명의 실시 예에서 수집된 영상을 피사체로써 인물(10)과 적어도 하나의 건물(20, 30)을 포함한다.
다음으로, 제어부(150)는 증강 현실 관련 정보를 획득한다(232).
제어부(150)는 증강 현실 정보를 획득하기 위하여 필요한 정보로써, 증강 현실 관련 정보를 수집할 수 있다.
예를 들어, 제어부(150)는 카메라부(130)를 통하여 수집된 영상 내에서 적어도 하나의 객체를 인식하여, 증강 현실 관련 정보로써 획득할 수 있다. 제어부(150)는 얼굴 검출 알고리즘, 특징점 추출 알고리즘, 색상 추출 알고리즘, 윤곽선 추출 알고리즘 등을 이용하여 수집된 영상 내에서 인식 가능한 객체를 추출할 수 있다. 또한, 제어부(150)는 증강 현실 정보 제공의 대상이 되는 객체를 인식할 수 있다. 제어부(150)는 알고리즘을 통하여 인식된 객체 중에서, 증강 현실 정보의 제공 대상이 되는 객체를 인식할 수 있다. 증강 현실 정보의 제공 대상이 되는 객체에 관한 정보는, 사용자에 의한 입력 또는 서버로부터 수신된 데이터를 기초로 미리 설정되어 저장부(160)에 저장될 수 있다. 이때, 증강 현실 정보 제공의 대상이 되는 객체는, 예를 들어, 텍스트, 인물, 건물, 자연물, 바코드, QR 코드, 책, 영화 포스터 등일 수 있다.
도 4의 실시 예에서, 제어부(150)는 카메라부(130)를 통해 수집된 영상 내에서, 인물(10) 및 적어도 하나의 건물(20, 30)을 인식하고, 인식된 인물(10) 및 적어도 하나의 건물(20, 30)이 증강 현실 정보 제공 대상인 경우, 이를 증강 현실 관련 정보로 획득할 수 있다.
또는, 예를 들어, 제어부(150)는 센서부(140)를 통하여 단말의 상태 정보를 수집하여, 증강 현실 관련 정보로써 획득할 수 있다. 제어부(150)는 센서부(140)에 구비되는 다양한 센서를 이용하여 휴대 장치(100)의 위치 정보, 위도/경도 정보, 기울기/중력 방향 정보 등을 획득할 수 있다.
본 발명에서, 제어부(150)가 획득하는 증강 현실 관련 정보는 상술한 예에 한정되지 않는다.
다음으로, 제어부(150)는 서버로 증강 현실 정보 요청을 전송한다(233).
제어부(150)는 증강 현실 정보를 제공하는 서버로 증강 현실 정보 요청을 전송하도록 통신부(110)를 제어할 수 있다. 증강 현실 정보 요청에는 제어부(150)가 획득한 증강 현실 관련 정보로써, 영상으로부터 추출된 객체에 관한 정보(예를 들어, 식별자), GPS 정보, 기울기/중력 방향 정보 등을 포함할 수 있다.
도 4의 실시 예에서, 제어부(150)는 서버로 영상에서 인식된 인물(10) 및 적어도 하나의 건물(20, 30)에 관한 정보를 전송할 수 있다. 또한, 제어부(150)는 휴대 장치(100)의 GPS 정보, 기울기/중력 방향 정보 등을 서버로 전송할 수 있다.
다음으로, 제어부(150)는 서버로부터 증강 현실 정보를 수신한다(234).
제어부(150)는 통신부(110)를 통하여 증강 현실 정보 요청에 대한 응답으로, 증강 현실 정보를 수신할 수 있다.
서버는 증강 현실 정보를 제공하기 위한 서버로써, 증강 현실 관련 정보에 대응하는 다양한 증강 현실 정보를 저장하고 있을 수 있다.
제어부(150)로부터 증강 현실 관련 정보를 수신한 서버는 증강 현실 관련 정보를 분석할 수 있다. 예를 들어, 도 4의 실시 예에서, 서버는 인물(10) 및 적어도 하나의 건물(20, 30)에 관한 정보, 휴대 장치(100)의 GPS 정보, 기울기/중력 방향 정보 등을 분석할 수 있다. 분석 결과에 따라, 서버는 제어부(150)가 인식한 인물(10)이 Brad Pitt라는 것을 인식할 수 있다. 또한, 서버는 제어부(150)가 인식한 적어도 하나의 건물(20, 30)이 각각 City hall 및 X-Mart라는 것을 인식할 수 있다.
서버는 분석 결과를 기초로, 증강 현실 관련 정보에 대응하는 증강 현실 정보를 추출할 수 있다. 증강 현실 정보는 예를 들어, 증강 현실 정보 제공 대상 객체와 관련된 텍스트, 이미지, 특정 애플리케이션에 관한 정보, 웹 페이지에 관한 정보 등일 수 있다.
도 4의 실시 예에서, 서버는 인물(10)에 대응하는 증강 현실 정보로써, Brad Pitt의 페이스북 웹 페이지에 관한 정보를 추출할 수 있다. 또한, 서버는 건물(30)에 관한 정보로써, 건물이 City hall이라는 텍스트 정보를 추출할 수 있다. 또한, 서버는 건물(40)에 관한 정보로써 X-Mart의 할인 정보를 포함하는 텍스트 정보를 추출할 수 있다.
서버로부터 증강 현실 정보가 수신되면, 제어부(150)는 카메라부(130)를 통하여 수집된 영상에 대한 프리뷰 영상을 생성한다(235).
제어부(150)는 수집된 영상에 관한 데이터를 표시부(170)의 크기, 해상도 등에 알맞게 조절하여 표시부(170)에 표시될 프리뷰 영상을 생성한다.
다음으로, 제어부(150)는 프리뷰 영상에 증강 현실 정보를 결합한다(236).
제어부(150)는 생성된 프리뷰 영상에 서버로부터 수신한 증강 현실 정보를 결합할 수 있다.
다음으로, 제어부(150)는 결합된 영상을 표시한다(237).
제어부(150)는 프리뷰 영상과 증강 현실 정보를 결합하여 생성한 최종 영상을 표시하도록 표시부(170)를 제어할 수 있다.
도 5에는 본 발명에 따라 프리뷰 영상에 증강 현실 정보를 결합한 최종 영상의 일 예가 도시되어 있다. 도 6을 참조하면, 제어부(150)는 도 4에서 수집된 영상의 프리뷰 영상에, 인물(10)에 대응하는 증강 현실 정보(11) 및 각 건물(20, 30)에 대응하는 증강 현실 정보(21, 31)를 결합한 영상을 표시할 수 있다.
도 2에서 프리뷰 영상에 증강 현실 정보를 결합하여 표시한 이후에, 제어부(150)는 증강 현실 콘텐츠 생성 요청이 감지되는지 여부를 판단한다(240).
제어부(150)는 사용자의 입력 또는 애플리케이션, 프로그램, 서비스에 의하여 증강 현실 콘텐츠 생성 요청이 발생하였는지 여부를 판단할 수 있다.
본 발명의 실시 예에서, 증강 현실 콘텐츠 생성 요청은 생성 요청 또는 저장 요청에 대응하는 사용자 인터페이스의 선택일 수 있다. 또는, 증강 현실 콘텐츠 생성 요청은, 카메라 애플리케이션의 촬영 요청일 수 있다.
증강 현실 콘텐츠 생성 요청이 감지되지 않으면, 제어부(150)는 카메라부(130)를 통하여 실시간으로 수집되는 영상에 대하여 프리뷰 영상을 반복적으로 생성하고, 프리뷰 영상에 증강 현실 정보를 결합하여 실시간으로 표시할 수 있다.
증강 현실 콘텐츠 생성 요청이 감지되면, 제어부(150)는 증강 현실 콘텐츠를 생성하고 저장한다(250).
본 발명의 실시 예에서, 증강 현실 콘텐츠는 프리뷰 영상으로 표시되었던 영상의 이미지와 해당 이미지에 포함된 가상 현실 정보로 구성되는 콘텐츠를 의미한다. 증강 현실 콘텐츠에 포함된 가상 현실 정보는 사용자의 요청에 의해 또는 가상 현실 정보 공급자의 의도에 따라 업데이트될 수 있다.
본 발명의 실시 예에서, 증강 현실 콘텐츠는 이미지, 콘텍스트 및 템플릿 정보로 구성될 수 있다.
이미지는 카메라부(130)를 통해 획득된 영상, 즉 프리뷰 영상으로 표시되었던 영상을 촬영하여 데이터로 생성한 것일 수 있다.
콘텍스트는 증강 현실 서비스를 통하여 사용자에게 제공하기 위한 정보의 내용을 의미할 수 있다. 콘텍스트는 텍스트, 인물, 건물, 책, 영화, 음악, 장소, 바코드, QR 코드 등에 관련된 정보로써, 적어도 하나의 텍스트, 이미지, 특정 애플리케이션에 관한 정보, 웹 페이지에 관한 정보 등을 포함할 수 있다. 증강 현실 정보는, 증강 현실 정보를 제공할 대상 객체의 수에 따라 복수 개의 콘텍스트를 포함할 수 있다.
템플릿은 증강 현실 정보가 제공될 이미지, 예를 들어 카메라부(120)를 통하여 수집된 영상 내에 각각의 콘텍스트를 결합시킬 위치에 관한 정보를 포함할 수 있다. 템플릿은 콘텍스트를 결합하는 텍스트를 결합시킬 표시 영역에 관한 정보, 즉 컨트롤의 정보를 포함할 수 있다. 컨트롤은 표시 영역의 테두리 이미지, 배경 이미지, 영역의 크기 정보 등을 포함할 수 있다. 템플릿은 컨트롤의 정보로써, 컨트롤의 종류와 인스턴스, 위치, 해당 컨트롤에 대응하는 콘텍스트의 ID 등을 포함할 수 있다.
제어부(150)는 상술한 증강 현실 콘텐츠를 생성할 수 있다.
구체적으로, 도 6을 참조하면, 제어부(150)는 프리뷰 영상을 기초로 이미지를 생성할 수 있다(251).
제어부(150)는 증강 현실 콘텐츠 생성 요청이 감지된 시점에, 카메라부(120)를 통하여 수집된 영상, 즉 프리뷰 영상으로 표시된 영상을 촬영하여 이미지를 생성할 수 있다. 제어부(150)는 생성된 이미지를 임시 또는 영구적으로 저장부(160)에 저장할 수 있다.
도 4의 실시 예에서, 제어부(150)는 카메라부(120)를 통하여 수집된 도 4의 영상을 이미지로 생성할 수 있다.
다음으로, 제어부(150)는 템플릿 및 콘텍스트를 추출한다(252).
제어부(150)는 프리뷰 영상에 대응하는 템플릿 및 콘텍스트를 추출한다. 제어부(150)는 프리뷰 영상에 대응하여 획득되었던 증강 현실 정보를 기초로, 템플릿 및 콘텍스트를 추출할 수 있다. 템플릿은 각 증강 현실 정보에 대응하는 컨트롤의 식별자, 컨트롤의 종류에 관한 정보, 컨트롤의 표시 위치에 대한 좌표 정보, 각 컨트롤에 대응하는 콘텍스트의 식별자 등을 테이블 형태로 포함할 수 있다. 또한, 콘텍스트는 콘텍스트의 식별자, 콘텍스트의 종류에 관한 정보, 콘텍스트의 내용에 관한 정보(대응하는 증간 현실 정보에 관한 데이터), 이미지 등의 저장 경로, 콘텍스트가 표시되는 컨트롤의 식별자 등을 테이블 형태로 포함할 수 있다.
추가로, 제어부(150)는 템플릿 및 콘텍스트를 획득한 시간 또는 증강 현실 정보를 획득한 시간을 추출할 수 있다. 또는, 증강 현실 정보에 타임 스탬프가 기록된 경우, 제어부(150)는 증강 현실 정보에 대응하는 타임 스탬프를 추출할 수 있다. 여기서, 타임 스탬프는, 서버가 증강 현실 정보를 작성한 시간에 대응할 수 있다.
도 5의 실시 예에서, 제어부(150)는 각각의 가상 현실 정보(11, 21, 31)들이 표시된 위치 및 가상 현실 정보(11, 21, 31)를 표시하는 컨트롤로써 말 풍선 이미지를 포함하여, 도 7에 도시된 바와 같은 템플릿을 추출할 수 있다. 도 6에 도시된 템플릿을 테이블 형태로 나타내면 다음의 표 1과 같다.
control ID control type control position context ID
11 bubble (10,5) 11
21 bubble (3,13) 21
31 bubble (12,10) 31
또한, 도 5의 실시 예에서 제어부(150)는 각각의 가상 현실 정보(11, 21, 31)에 대응하여 인물에 관한 텍스트 정보 및 해당 인물의 페이스북 애플리케이션에 관한 정보, 건물에 관한 정보, 건물의 세일 정보에 대응하는 텍스트 정보 등을 콘텍스트로 추출할 수 있다. 도 5의 실시 예에 대한 콘텍스트를 테이블 형태로 나타내면 다음의 표 2와 같다.
context ID context type context substance control ID
11 application facebook_Brad Pitt 11
21 location City hall 21
31 text X-Mart 5% Discount 31
다음으로, 제어부(150)는 이미지와 템플릿 및 콘텍스트를 연계하여 증강 현실 콘텐츠를 생성한다(253).
제어부(150)는 생성된 이미지를 템플릿 및 콘텍스트와 연계하여 증강 현실 콘텐츠를 생성한다. 제어부(150)는 이미지에 관한 데이터에 템플릿 및 콘텍스트에 관한 정보를 연계하여 저장함으로써, 증강 현실 콘텐츠를 생성할 수 있다.
제어부(150)는 생성된 증강 현실 콘텐츠에 대하여 시간 정보를 기록할 수 있다. 시간 정보는 증강 현실 콘텐츠의 템플릿 및 콘텍스트가 수신 또는 작성된 시간 또는 증강 현실 콘텐츠가 생성된 시간에 대응할 수 있다. 제어부(150)는 복수 개의 증강 현실 콘텐츠에 대하여 각각의 시간 정보를 기록함으로써, 특정 시점에 대한 증강 현실 콘텐츠를 저장하고 히스토리를 관리할 수 있다.
제어부(150)는 생성된 증강 현실 콘텐츠를 임시 또는 영구적으로 저장부(160)에 저장할 수 있다. 추가로, 제어부(150)는 통신부(110)를 통하여 증강 현실 콘텐츠에 관한 정보를 증강 현실 콘텐츠 서버로 전송하여, 서버가 휴대 장치(100)에 대한 증강 현실 콘텐츠의 정보를 관리하도록 할 수 있다.
추가로, 제어부(150)는 생성된 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있으며, 본 발명의 실시 예에서, 이때 표시되는 증강 현실 콘텐츠는 도 5에 도시된 바와 같을 수 있다.
이하에서는, 본 발명에 따른 실시 예에서, 생성된 증강 현실 콘텐츠를 업데이트하는 방법을 구체적으로 설명하도록 한다.
도 8은 본 발명에 따른 증강 현실 콘텐츠의 업데이트 방법의 일 예를 나타낸 순서도이다.
도 8을 참조하면, 제어부(150)는 서버로부터 업데이트 푸쉬가 수신되는지 여부를 판단한다(310).
서버는 증강 현실 정보 공급자의 정책에 따라, 증강 현실 콘텐츠에 대응하는 증강 현실 정보의 업데이트 푸쉬 서비스를 제공할 수 있다. 이 경우, 서버는 휴대 장치(100)에 저장된 증강 현실 콘텐츠에 관한 정보를 저장하고 관리할 수 있다. 서버는, 임의의 증강 현실 정보가 업데이트되면, 해당 증강 현실 정보에 대응하는 증강 현실 콘텐츠를 사용하는 휴대 장치(100)로 증강 현실 정보가 업데이트 되었음을 알리기 위한 푸쉬를 전송할 수 있다.
예를 들어, 도 5의 실시 예에서, X-Mart의 세일 정보가 변경된 경우, 서버는 X-Mart의 세일 정보를 포함하는 증강 현실 콘텐츠가 저장된 휴대 장치(100)로 X-Mart의 증강 현실 정보가 업데이트 되었음을 알리기 위한 푸쉬를 전송할 수 있다. 또는, 도 5의 실시 예에서, Brad Pitt의 페이스북에 새로운 글이 업데이트 된 경우, 서버는 Brad Pitt의 페이스북 정보를 포함하는 증강 현실 콘텐츠가 저장된 휴대 장치(100)로 푸쉬를 전송할 수 있다.
이에 따라 제어부(150)는 통신부(110)를 통하여 업데이트 푸쉬가 수신되는지 여부를 판단할 수 있다.
업데이트 푸쉬가 수신되면, 제어부(150)는 서버로 업데이트 된 증강 현실 정보 요청을 전송할 수 있다(320).
제어부(150)는 증강 현실 정보를 제공하는 서버로 증강 현실 정보 요청을 전송하도록 통신부(110)를 제어할 수 있다. 증강 현실 정보 요청에는 서버로부터 수신한 업데이트 푸쉬에 관한 정보, 증강 현실 콘텐츠에 관련된 정보, 업데이트 대상이 되는 증강 현실 정보에 관한 정보 등을 포함할 수 있다.
예를 들어, 도 5의 실시 예에서, X-Mart의 세일 정보가 변경되었다는 업데이트 푸쉬를 수신하면, 제어부(150)는 서버로 X-Mart의 업데이트된 증강 현실 정보 요청을 전송할 수 있다.
다음으로, 제어부(150)는 서버로부터 업데이트된 증강 현실 정보를 수신한다(330).
제어부(150)로부터 증강 현실 관련 정보를 수신한 서버는 요청에 대응하는 업데이트된 증강 현실 정보를 검색하고, 이를 휴대 장치(100)로 전송할 수 있다. 제어부(150)는 통신부(110)를 통하여 서버로부터 업데이트된 증강 현실 정보를 수신한다.
도 5의 실시 예에서, 제어부(150)는 X-Mart의 변경된 세일 정보를 포함하는 텍스트 및/또는 Brad Pitt의 업데이트된 페이스북 페이지에 관한 정보를 수신할 수 있다.
서버로부터 증강 현실 정보가 수신되면, 제어부(150)는 증강 현실 콘텐츠를 업데이트한다(340).
일 실시 예에서, 제어부(150)는 수신된 증강 현실 정보로부터 템플릿 및 콘텍스트를 추출할 수 있다. 또한, 제어부(150)는 증강 현실 정보에 대응하는 증강 현실 콘텐츠를 로드하고, 증강 현실 콘텐츠를 구성하는 템플릿 및 콘텍스트를 수신된 템플릿 및 콘텍스트로 변경함으로써 증강 현실 콘텐츠를 업데이트할 수 있다.
다른 실시 예에서, 제어부(150)는 수신된 증강 현실 정보를 기초로 새로운 증강 현실 콘텐츠를 생성함으로써, 증강 현실 콘텐츠를 업데이트할 수 있다. 구체적으로, 제어부(150)는 증강 현실 콘텐츠로부터 이미지를 추출하고, 증강 현실 정보로부터 템플릿 및 콘텍스트를 추출할 수 있다. 제어부(150)는 추출된 이미지, 템플릿 및 콘텍스트를 기초로 업데이트 된 증강 현실 콘텐츠를 생성할 수 있다.
도 5의 실시 예에서, 제어부(140)는 증강 현실 콘텐츠의 인물(10)에 대응하는 콘텍스트를 업데이트된 페이스북 페이지 정보로 업데이트할 수 있다. 또한, 제어부(140)는 건물(20)에 대응하는 콘텍스트를 업데이트된 세일 정보로 업데이트할 수 있다.
증강 현실 콘텐츠를 업데이트하는 경우에, 제어부(150)는 업데이트 이전의 템플릿 및 콘텍스트, 또는 업데이트 이전의 증강 현실 콘텐츠를 삭제하지 않고 보관할 수 있다. 즉, 제어부(150)는 업데이트된 증강 현실 정보를 기초로 증강 현실 콘텐츠를 별도로 생성하여 저장할 수 있다. 또한, 제어부(150)는 각 증강 현실 콘텐츠에 대하여 생성 시점 또는 업데이트 시점을 함께 기록할 수 있다. 업데이트된 증강 현실 정보를 기초로 새로이 생성된 콘텐츠는 기존 증강 현실 콘텐츠에 대한 업데이트 버전으로 명명될 수 있다. 제어부(150)는 반복적으로 업데이트 되는 증강 현실 콘텐츠를 업데이트 시간 정보와 함께 저장함으로써, 증강 현실 콘텐츠의 업데이트 히스토리를 관리할 수 있다.
증강 현실 콘텐츠의 업데이트시, 제어부(150)는 업데이트 횟수에 대한 정보 및 업데이트가 발생한 시간에 관한 정보 등을 별도로 기록하고 관리할 수 있다.
상술한 증강 현실 콘텐츠의 갱신 방법에 대한 예는, 다운로드 방식으로 명명될 수 있다.
도 9는 본 발명에 따른 증강 현실 콘텐츠의 갱신 방법의 다른 예를 나타낸 순서도이다.
도 9를 참조하면, 제어부(150)는 증강 현실 콘텐츠 표시 요청이 감지되었는지 여부를 판단한다(410).
증강 현실 콘텐츠 표시 요청에 대하여는 후술할 증강 현실 콘텐츠 표시 방법에서 보다 상세히 설명한다.
증강 현실 콘텐츠 표시 요청이 감지되면, 제어부(150)는 서버로 업데이트 된 증강 현실 정보 요청을 전송한다(420).
제어부(150)는 증강 현실 정보를 제공하는 서버로 표시 요청이 감지된 증강 현실 콘텐츠에 대한 업데이트된 증강 현실 정보 요청을 전송하도록 통신부(110)를 제어할 수 있다. 증강 현실 정보 요청에는 증강 현실 콘텐츠에 관련된 정보, 업데이트 대상이 되는 증강 현실 정보에 관한 정보 등을 포함할 수 있다.
예를 들어, 도 5의 실시 예에 대응하는 증강 현실 콘텐츠에 대하여 표시 요청이 감지되면, 제어부(150)는 해당 증강 현실 콘텐츠에 관한 정보를 포함하여 서버로 업데이트된 증강 현실 정보를 요청할 수 있다.
다음으로, 제어부(150)는 서버로부터 업데이트된 증강 현실 정보를 수신한다(430).
제어부(150)로부터 증강 현실 관련 정보를 수신한 서버는 요청에 대응하는 업데이트된 증강 현실 정보를 검색하고, 이를 휴대 장치(100)로 전송할 수 있다. 또한, 제어부(150)가 업데이트된 증강 현실 정보를 요청하기 이전에 복수의 증강 현실 정보 업데이트가 발생한 경우, 서버는 증강 현실 정보가 업데이트된 횟수, 각각의 업데이트 시간 및 각각의 업데이트된 증강 현실 정보를 모두 휴대 장치(100)로 전송할 수 있다.
도 5의 실시 예에서, 제어부(150)는 X-Mart의 변경된 세일 정보를 포함하는 텍스트 및/또는 Brad Pitt의 업데이트된 페이스북 페이지에 관한 정보를 수신할 수 있다.
서버로부터 증강 현실 정보가 수신되면, 제어부(150)는 증강 현실 콘텐츠를 업데이트한다(440).
제어부(150)는 수신된 증강 현실 정보로부터 템플릿 및 콘텍스트를 추출할 수 있다. 또한, 제어부(150)는 증강 현실 정보에 대응하는 증강 현실 콘텐츠를 로드하고, 증강 현실 콘텐츠를 구성하는 템플릿 및 콘텍스트를 수신된 템플릿 및 콘텍스트로 업데이트할 수 있다. 업데이트 방법에 대한 상세한 내용은 도 9의 실시 예에서 설명한 바와 같다. 이때, 제어부(150)는 업데이트 횟수에 대한 정보 및 업데이트가 발생한 시간에 관한 정보 등을 별도로 기록하고 관리할 수 있다.
도 5의 실시 예에서, 제어부(140)는 증강 현실 콘텐츠의 인물(10)에 대응하는 콘텍스트를 업데이트된 페이스북 페이지 정보로 수정할 수 있다. 또한, 제어부(140)는 건물(20)에 대응하는 콘텍스트를 업데이트된 세일 정보로 수정할 수 있다.
증강 현실 콘텐츠를 업데이트하는 경우에, 제어부(150)는 업데이트 이전의 템플릿 및 콘텍스트, 또는 업데이트 이전의 증강 현실 콘텐츠를 삭제하지 않고 보관할 수 있다. 제어부(150)는 반복적으로 업데이트 되는 증강 현실 콘텐츠를 기록하고 관리함으로써, 증강 현실 콘텐츠의 업데이트 히스토리를 관리할 수 있다. 이때, 제어부(150)는 각각의 증강 현실 콘텐츠에 업데이트 된 시간 정보를 기록할 수 있다.
다음으로, 제어부(150)는 증강 현실 콘텐츠를 표시한다(450).
제어부(150)는 증강 현실 콘텐츠 표시 요청에 응답하여, 업데이트된 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있다. 증강 현실 콘텐츠의 표시에 관하여는 후술할 증강 현실 콘텐츠 표시 방법에서 보다 상세히 설명한다.
상술한 증강 현실 콘텐츠의 갱신 방법에 대한 예는, 스트리밍 방식으로 명명될 수 있다.
이하에서는, 상술한 방법에 따라 생성되고 업데이트되는 증강 현실 콘텐츠의 표시 방법에 관하여 구체적으로 설명하도록 한다.
도 10은 본 발명에 따른 증강 현실 콘텐츠의 표시 방법을 나타낸 순서도이다.
도 10을 참조하면, 제어부(150)는 증강 현실 콘텐츠의 목록을 표시한다(510).
제어부(150)는 증강 현실 콘텐츠의 목록을 표시하기 위한 요청을 감지할 수 있다. 목록 표시 요청은 증강 현실 콘텐츠 뷰어 애플리케이션의 실행, 이미지 뷰어 애플리케이션의 실행 등에 대응할 수 있다.
목록 표시 요청이 감지되면, 제어부(150)는 저장부(160)에 저장된 증강 현실 콘텐츠를 로드하여 목록으로 표시할 수 있다. 이때, 제어부(150)는 증강 현실 콘텐츠를 구성하는 이미지만을 추출하여 목록으로 표시할 수 있다. 제어부(150)는 도 11에 도시된 바와 같이 썸네일(thumbnail) 형태로 목록을 구성할 수 있다.
일 실시 예에서, 제어부(150)는 증강 현실 콘텐츠 목록에 업데이트된 정보를 표시할 수 있다. 증강 현실 콘텐츠의 목록을 표시하기 이전에, 도 8 또는 도 9의 실시 예에 따라 증강 현실 콘텐츠가 업데이트 된 경우, 제어부(150)는 콘텐츠가 업데이트된 횟수, 업데이트된 시간 등에 관한 정보를 저장할 수 있다. 제어부(150)는 증강 현실 콘텐츠의 목록을 표시할 때, 각각의 증강 현실 콘텐츠에 대한 업데이트 정보를 표시할 수 있다. 예를 들어, 제어부(150)는 도 11에 도시된 바와 같이, 각 증강 현실 콘텐츠에 대하여, 업데이트 된 횟수(40)를 목록상에 표시할 수 있다.
다음으로, 제어부(150)는 증강 현실 콘텐츠 표시 요청이 감지되었는지 여부를 판단한다(520).
증강 현실 콘텐츠 표시 요청은 목록 내에서 특정 증강 현실 콘텐츠에 대한 터치 입력, 근접 입력, 호버링 입력 등에 의해 발생할 수 있다.
증강 현실 콘텐츠 표시 요청이 감지되면, 제어부(150)는 증강 현실 콘텐츠를 표시한다(530).
제어부(150)는 요청에 대응하는 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있다. 제어부(150)는 증강 현실 콘텐츠를 구성하는 이미지에 템플릿을 배치하고, 각 템플릿에 대응하는 콘텍스트를 결합함으로써, 증강 현실 콘텐츠를 표시할 수 있다.
구체적으로, 도 12를 참조하면, 제어부(150)는 표시 요청에 대응하는 증강 현실 콘텐츠의 이미지(50)를 로드한다. 그리고 제어부(150)는 증강 현실 콘텐츠의 템플릿(60)을 배치한다. 템플릿(60) 배치에 의하여 이미지(50)상에는 증강 현실 정보가 표시될 위치 및 영역(영역의 모양, 테두리, 넓이 등)이 정의될 수 있다.
또한, 제어부(150)는 각 템플릿(60)에 대응하는 증강 현실 콘텐츠의 콘텍스트(70)를 로드한다. 그리고 제어부(150)는 로드된 콘텍스트를 콘텍스트에 대응하는 각 템플릿(60)에 결합하여 최종적으로 표시될 영상을 생성한다.
이미지, 템플릿 및 콘텍스트의 결합에 의하여 최종적으로 표시되는 영상은 도 13에 도시된 바와 같다.
제어부(150)는 증강 현실 콘텐츠와 함께 프로그래스 바(70)를 표시하도록 표시부(170)를 제어할 수 있다. 프로그래스 바(70)는 증강 현실 콘텐츠가 표시된 시점 전/후로 일정 범위의 시간 흐름에 대응할 수 있다. 프로그래스 바(70)는 일정 범위의 시간을 기 설정된 스케일에 따라 표시할 수 있다.
프로그래스 바(70)는 스크롤, 타임 라인, 시간 목록 등의 형태로 구성될 수 있다. 도 13에는 스크롤 형태로 구성된 프로그래스 바(70)의 예가 도시되어 있다.
제어부(150)가 증강 현실 콘텐츠 표시 이전에 한 번 이상 증강 현실 콘텐츠를 업데이트한 경우, 제어부(150)는 임의의 시점에 대응하는 증강 현실 콘텐츠를 표시할 수 있다. 예를 들어, 제어부(150)는 가장 최근의 시점에 업데이트된 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있다. 또한, 제어부(150)는 표시된 증강 현실 콘텐츠의 시점에 대응하는 인디케이터(71)를 프로그래스 바(70) 상에 표시할 수 있다.
도 13의 실시 예에서, 제어부(150)는 제1 시점에 대응하는 증강 현실 콘텐츠를 표시할 수 있다. 또한, 제어부(150)는 프로그래스 바(70) 상에서 제1 시점에 대응하는 위치에 인디케이터(71)를 표시할 수 있다.
이 외에도, 제어부(150)는 증강 현실 콘텐츠와 함께 증강 현실 콘텐츠를 편집/삭제/관리하기 위한 사용자 인터페이스를 표시하도록 표시부(170)를 제어할 수 있다.
증강 현실 콘텐츠가 표시된 상태에서, 증강 현실 콘텐츠 내에서 특정 정보에 대한 선택이 감지되면, 제어부(150)는 해당 정보의 상세 보기를 표시할 수 있다. 예를 들어, 제어부(150)는 해당 정보에 대응하는 웹 사이트, 애플리케이션 등을 표시할 수 있다.
다음으로, 제어부(150)는 특정 시점의 증강 현실 콘텐츠 표시 요청이 감지되는지 여부를 판단한다(540).
표시된 증강 현실 콘텐츠가 표시 시점 이전에 업데이트된 경우, 사용자는 업데이트 이전의 특정 시점에 대한 증강 현실 콘텐츠를 확인하고 싶어할 수 있다. 따라서, 사용자는 특정 시점의 증강 현실 콘텐츠 표시를 요청할 수 있다.
일 실시 예에서 특정 시점의 증강 현실 콘텐츠 표시 요청은 프로그래스 바(70)에 대한 입력일 수 있다. 예를 들어, 특정 시점의 증강 현실 콘텐츠 표시 요청, 프로그래스 바(70) 내에서 특정 시점에 대응하는 위치에 대한 선택 입력에 대응할 수 있다.
도 13의 실시 예에서, 특정 시점의 증강 현실 콘텐츠 표시 요청은, 프로그래스 바(70) 상에서 제2 시점에 대한 선택 입력일 수 있다.
제어부(150)는 요청이 감지됨에 따라, 요청에 대응하는 특정 시점에 대한 정보를 판단할 수 있다.
업데이트 히스토리 요청이 감지되면, 제어부(150)는 요청에 대응하는 시점의 증강 현실 콘텐츠를 표시한다(550).
제어부(150)는 도 9 또는 도 10에 의한 방법에 따라 증강 현실 콘텐츠를 업데이트함에 있어서 업데이트 이전의 증강 현실 콘텐츠를 삭제하지 않을 수 있다. 즉, 제어부(150)는 업데이트된 증강 현실 콘텐츠를 해당 증강 현실 콘텐츠에 대한 업데이트 버전으로 저장할 수 있다.
제어부(150)는 업데이트 히스토리 요청에 대응하는 시점의 업데이트 버전을 검색할 수 있다. 이때, 해당 시점에 정확히 대응하는 업데이트 버전이 존재하지 않는 경우, 제어부(150)는 해당 시점의 이전 또는 이후의 가장 가까운 시점에 대응하는 증강 현실 콘텐츠의 업데이트 버전을 검색할 수 있다.
제어부(150)는 검색된 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있다. 구체적으로, 제어부(150)는 도 12에 도시된 바와 같이 해당 시점의 증강 현실 콘텐츠에 대한 이미지를 로드한다. 제어부(150)는 로드된 이미지상에 해당 시점의 증강 현실 콘텐츠에 포함된 템플릿 및 콘텍스트를 결합하여 최종적으로 표시될 영상을 생성한다. 제어부(150)는 최종 영상을 표시하도록 표시부(170)를 제어할 수 있다.
도 13의 실시 예에서, 제어부(150)는 제2 시점에 대응하는 증강 현실 콘텐츠를 로드할 수 있다. 또한, 제어부(150)는 로드된 제2 시점의 증강 현실 콘텐츠를 표시하도록 표시부(170)를 제어할 수 있다. 제2 시점의 증강 현실 콘텐츠는, 도 14에 도시된 바와 같이, 제1 시점의 증강 현실 콘텐츠와 다른 콘텍스트를 포함할 수 있다.
추가로, 제어부(150)는 증강 현실 정보 추가 요청이 감지되는지 여부를 판단할 수 있다(560).
증강 현실 정보 추가 요청은, 추가 요청에 대응하는 사용자 인터페이스, 메뉴, 아이콘 등의 선택에 의하여 발생할 수 있다. 또는 증강 현실 정보 추가 요청은, 증강 현실 정보를 추가하고자 하는 특정 객체에 대한 선택 입력에 대응할 수 있다.
증강 현실 정보 추가 요청이 감지되면, 제어부(150)는 요청에 대응하는 증강 현실 정보를 추가한다(570).
일 실시 예에서, 제어부(150)는 증강 현실 정보 추가 요청에 대응하여, 추가 가능한 증강 현실 정보의 목록을 표시할 수 있다. 증강 현실 정보의 목록은, 예를 들어 도 15에 도시된 바와 같이, 날씨, 교통 정보, 주변 정보 및 이미지 내의 특정 객체에 대한 정보 등을 포함할 수 있다. 제어부(150)는 목록 내에서 사용자가 추가하고자 하는 증강 현실 정보에 대한 선택을 입력받을 수 있다.
제어부(150)는 사용자의 요청에 대응하는 증강 현실 정보를 획득할 수 있다. 제어부(150)는 해당 정보를 서버로 요청하거나, 저장부(160)로부터 획득할 수 있다.
제어부(150)는 획득한 증강 현실 정보를 증강 현실 콘텐츠의 템플릿 및/또는 콘텍스트에 추가할 수 있다. 도 16에는 본 발명의 실시 예에 따라, 날씨에 관한 증강 현실 정보가 추가된 예가 도시되어 있다.
마지막으로, 제어부(150)는 종료 요청이 감지되는지 여부를 판단할 수 있다(580).
표시 종료 요청이 감지되면, 제어부(150)는 표시 동작을 중단하고 증강 현실 콘텐츠 목록 표시로 돌아가거나, 홈 화면, 대기 화면, 바탕 화면 등을 표시할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 휴대 장치 110: 통신부
120: 입력부 130: 카메라부
140: 센서부 150: 제어부
160: 저장부 170: 표시부

Claims (24)

  1. 증강 현실 정보를 포함하는 콘텐츠 제공 방법으로,
    카메라부를 통하여 수집된 영상의 프리뷰 영상 및 상기 프리뷰 영상에 대한 증강 현실 정보를 표시하는 단계;
    증강 현실 콘텐츠 생성 요청에 응답하여, 상기 프리뷰 영상을 촬영하여 이미지를 생성하는 단계; 및
    상기 이미지와 상기 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  2. 제1항에 있어서, 상기 증강 현실 콘텐츠를 생성하는 단계는,
    상기 증강 현실 정보를 기초로 상기 증강 현실 정보에 대한 템플릿 및 콘텍스트를 추출하는 단계; 및
    상기 이미지와 상기 템플릿 및 상기 콘텍스트를 연계하여 상기 증강 현실 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  3. 제2항에 있어서, 상기 템플릿은,
    상기 증강 현실 정보의 표시 위치에 관한 정보를 포함하고,
    상기 콘텍스트는,
    상기 증강 현실 정보의 내용에 관한 정보로써, 이미지 정보, 웹 페이지에 관한 정보, 특정 애플리케이션에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  4. 제1항에 있어서,
    상기 증강 현실 콘텐츠의 업데이트 이벤트가 발생하면, 업데이트된 증강 현실 정보를 획득하는 단계; 및
    상기 획득된 증강 현실 정보를 기초로 상기 증강 현실 콘텐츠를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  5. 제4항에 있어서, 상기 업데이트된 증강 현실 정보를 획득하는 단계는,
    서버로부터 상기 증강 현실 정보의 업데이트를 알리기 위한 업데이트 푸쉬가 수신되면, 상기 서버로 업데이트된 증강 현실 정보를 요청하는 단계; 및
    상기 서버로부터 상기 업데이트된 증강 현실 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  6. 제4항에 있어서, 상기 업데이트된 증강 현실 정보를 획득하는 단계는,
    상기 증강 현실 콘텐츠의 표시 요청에 응답하여, 서버로 업데이트된 증강 현실 정보를 요청하는 단계;
    상기 서버로부터 상기 업데이트된 증강 현실 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  7. 제4항에 있어서, 상기 업데이트하는 단계는,
    상기 업데이트된 증강 현실 정보를 기초로, 상기 증강 현실 콘텐츠의 업데이트 버전을 생성하는 단계; 및
    상기 업데이트 버전이 생성된 시점에 관한 정보를 상기 업데이트 버전과 연계하여 저장하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  8. 제7항에 있어서,
    특정 시점의 업데이트 버전 표시 요청이 감지되면, 상기 증강 현실 콘텐츠에 대한 적어도 하나의 업데이트 버전 중, 상기 특정 시점에 대응하는 업데이트 버전을 검색하는 단계; 및
    상기 업데이트 버전을 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  9. 제1항에 있어서,
    상기 증강 현실 콘텐츠의 표시 요청에 응답하여, 상기 이미지상에 상기 증강 현실 정보를 결합하여 상기 증강 현실 콘텐츠를 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  10. 제2항에 있어서,
    상기 증강 현실 콘텐츠의 표시 요청에 응답하여, 상기 이미지상에 상기 템플릿 및 상기 콘텍스트를 결합하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  11. 제9항에 있어서, 상기 증강 현실 콘텐츠를 표시하는 단계는,
    상기 증강 현실 콘텐츠와 함께 시간의 흐름을 나타내는 프로그래스 바를 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  12. 제11항에 있어서,
    상기 프로그래스 바의 특정 시점에 대한 선택 입력이 감지되면, 상기 특정 시점에 대응하는 상기 증강 현실 콘텐츠의 업데이트 버전을 검색하는 단계; 및
    상기 업데이트 버전을 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  13. 제1항에 있어서,
    적어도 하나의 증강 현실 콘텐츠 목록을 표시하되, 상기 목록에 상기 적어도 하나의 증강 현실 콘텐츠에 대한 업데이트 정보를 함께 표시하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  14. 제1항에 있어서,
    증강 현실 정보의 추가 요청이 감지되면, 상기 추가 요청에 대응하는 증강 현실 정보를 기초로 템플릿 및 콘텍스트를 추출하는 단계; 및
    상기 템플릿 및 상기 콘텍스트를 기초로 상기 증강 현실 콘텐츠를 재구성하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 제공 방법.
  15. 증강 현실 정보를 포함하는 콘텐츠 제공하는 휴대 장치로,
    영상을 수집하는 카메라부;
    상기 카메라부를 통하여 수집된 영상의 프리뷰 영상 및 상기 프리뷰 영상에 대한 증강 현실 정보를 표시하는 표시부; 및
    증강 현실 콘텐츠 생성 요청에 응답하여, 상기 프리뷰 영상을 촬영하여 이미지를 생성하고, 상기 이미지와 상기 증강 현실 정보를 연계하여 증강 현실 콘텐츠를 생성하는 제어부를 포함하는 것을 특징으로 하는 휴대 장치.
  16. 제15항에 있어서, 상기 제어부는,
    상기 증강 현실 정보를 기초로 상기 증강 현실 정보에 대한 템플릿 및 콘텍스트를 추출하고, 상기 이미지와 상기 템플릿 및 상기 콘텍스트를 연계하여 상기 증강 현실 콘텐츠를 생성하는 것을 특징으로 하는 휴대 장치.
  17. 제16항에 있어서, 상기 템플릿은,
    상기 증강 현실 정보의 표시 위치에 관한 정보를 포함하고,
    상기 콘텍스트는,
    상기 증강 현실 정보의 내용에 관한 정보로써, 이미지 정보, 웹 페이지에 관한 정보, 특정 애플리케이션에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 장치.
  18. 제15항에 있어서,
    서버와 통신하는 통신부를 더 포함하고,
    상기 제어부는,
    상기 통신부를 통하여 상기 서버로부터 상기 증강 현실 정보의 업데이트를 알리기 위한 업데이트 푸쉬가 수신되면, 상기 서버로 업데이트된 증강 현실 정보를 요청하도록 상기 통신부를 제어하고, 상기 서버로부터 수신된 상기 업데이트된 증강 현실 정보를 기초로, 상기 증강 현실 콘텐츠를 업데이트하는 것을 특징으로 하는 휴대 장치.
  19. 제 15항에 있어서,
    서버와 통신하는 통신부를 더 포함하고,
    상기 제어부는,
    상기 증강 현실 콘텐츠의 표시 요청에 응답하여, 서버로 업데이트된 증강 현실 정보를 요청하도록 상기 통신부를 제어하고, 상기 서버로부터 수신된 업데이트된 증강 현실 정보를 기초로 상기 증강 현실 콘텐츠를 업데이트하는 것을 특징으로 하는 휴대 장치.
  20. 제15항에 있어서, 상기 제어부는,
    상기 증강 현실 콘텐츠의 업데이트 이벤트가 발생하면, 업데이트된 증강 현실 정보를 획득하고, 상기 업데이트된 증강 현실 정보를 기초로, 상기 업데이트 버전이 생성된 시점에 관한 정보를 포함하여 상기 증강 현실 콘텐츠의 업데이트 버전을 생성하는 것을 특징으로 하는 휴대 장치.
  21. 제20항에 있어서, 상기 제어부는,
    특정 시점의 업데이트 버전 표시 요청이 감지되면, 상기 증강 현실 콘텐츠에 대한 적어도 하나의 업데이트 버전 중, 상기 특정 시점에 대응하는 업데이트 버전을 검색하고, 상기 업데이트 버전을 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 휴대 장치.
  22. 제16항에 있어서, 상기 제어부는,
    상기 증강 현실 콘텐츠의 표시 요청에 응답하여, 상기 이미지상에 상기 템플릿 및 상기 콘텍스트를 결합하고, 결합된 결과를 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 휴대 장치.
  23. 제22항에 있어서, 상기 제어부는,
    상기 증강 현실 콘텐츠와 함께 시간의 흐름을 나타내는 프로그래스 바를 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 휴대 장치.
  24. 제15항에 있어서, 상기 제어부는,
    증강 현실 정보의 추가 요청이 감지되면, 상기 추가 요청에 대응하는 증강 현실 정보를 기초로 템플릿 및 콘텍스트를 추출하고, 상기 템플릿 및 상기 콘텍스트를 기초로 상기 증강 현실 콘텐츠를 재구성하는 것을 특징으로 하는 휴대 장치.
KR1020130052208A 2013-05-09 2013-05-09 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 KR102077305B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130052208A KR102077305B1 (ko) 2013-05-09 2013-05-09 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
US14/242,104 US9710970B2 (en) 2013-05-09 2014-04-01 Method and apparatus for providing contents including augmented reality information
PCT/KR2014/004029 WO2014182052A1 (en) 2013-05-09 2014-05-07 Method and apparatus for providing contents including augmented reality information
CN201480026236.0A CN105190704B (zh) 2013-05-09 2014-05-07 用于提供包括增强现实信息的内容的方法和装置
EP14794871.5A EP2994885A4 (en) 2013-05-09 2014-05-07 METHOD AND DEVICE FOR PROVIDING CONTENTS WITH AUGMENTED REALITY INFORMATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130052208A KR102077305B1 (ko) 2013-05-09 2013-05-09 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140133640A true KR20140133640A (ko) 2014-11-20
KR102077305B1 KR102077305B1 (ko) 2020-02-14

Family

ID=51864471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130052208A KR102077305B1 (ko) 2013-05-09 2013-05-09 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치

Country Status (5)

Country Link
US (1) US9710970B2 (ko)
EP (1) EP2994885A4 (ko)
KR (1) KR102077305B1 (ko)
CN (1) CN105190704B (ko)
WO (1) WO2014182052A1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175412A1 (en) * 2015-04-28 2016-11-03 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR20170004825A (ko) * 2015-07-01 2017-01-11 삼성전자주식회사 가상 현실에서 컨텍스트에 기반한 어플리케이션 그룹화를 위한 방법 및 장치
KR20190080245A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190080244A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190080242A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190080243A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 방법
KR20190081178A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190081179A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190081177A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20200027459A (ko) * 2016-10-13 2020-03-12 알리바바 그룹 홀딩 리미티드 증강 현실에 기초한 오프라인 서비스 다중 사용자 상호작용
US10880610B2 (en) 2015-06-23 2020-12-29 Samsung Electronics Co., Ltd. Method for providing additional contents at terminal, and terminal using same
KR102205875B1 (ko) * 2019-08-09 2021-01-21 주식회사 인스에듀테인먼트 증강현실 콘텐츠의 통합 실행이 가능한 증강현실 콘텐츠 구동 장치
KR20210025251A (ko) * 2019-08-27 2021-03-09 (주)네오위즈랩 증강현실 포토카드를 제공하는 시스템, 서버, 방법 및 그 기록매체
KR102471180B1 (ko) * 2021-11-23 2022-11-28 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법
WO2023090565A1 (ko) * 2021-11-22 2023-05-25 주식회사 미니레코드 플랫폼 앨범 서비스 제공 방법 및 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
WO2015046636A1 (ko) * 2013-09-24 2015-04-02 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
EP3284078B1 (en) 2015-04-17 2024-03-27 Tulip Interfaces Inc. Augmented interface authoring
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US10021458B1 (en) 2015-06-26 2018-07-10 Amazon Technologies, Inc. Electronic commerce functionality in video overlays
US9883249B2 (en) * 2015-06-26 2018-01-30 Amazon Technologies, Inc. Broadcaster tools for interactive shopping interfaces
US9973819B1 (en) 2015-06-26 2018-05-15 Amazon Technologies, Inc. Live video stream with interactive shopping interface
JP6789624B2 (ja) * 2015-11-20 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
CN106203289A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种目标增强现实内容的获取方法、装置和移动终端
CN106101575B (zh) * 2016-06-28 2019-06-21 Oppo广东移动通信有限公司 一种增强现实照片的生成方法、装置及移动终端
CN106203287A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像增强现实的处理方法、装置和移动终端
CN106204425B (zh) * 2016-06-28 2020-02-14 Oppo广东移动通信有限公司 一种呈现增强现实内容的方法、装置及移动终端
CN109478091A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示***、以及头戴式显示器的控制装置及其工作方法和工作程序
CN106250187A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种增强现实ar的信息处理方法、装置及***
CN106803835A (zh) * 2016-11-30 2017-06-06 上海仙剑文化传媒股份有限公司 移动终端设备的ar图书数据下载管理方法及装置
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
JP6866646B2 (ja) * 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
JP7069210B2 (ja) * 2017-03-30 2022-05-17 スノー コーポレーション アイテムの推薦情報提供方法および装置
US11030808B2 (en) * 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
US10572716B2 (en) 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
US10127290B1 (en) * 2017-07-19 2018-11-13 Facebook, Inc. Systems and methods for distributing augmented-reality effects
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
JP7169358B2 (ja) * 2017-12-22 2022-11-10 マジック リープ， インコーポレイテッド 高速立体再構成のための視点依存ブリック選択
DE102018109756A1 (de) * 2018-04-24 2019-10-24 Innogy Innovation Gmbh Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild
CN108983971A (zh) * 2018-06-29 2018-12-11 北京小米智能科技有限公司 基于增强现实的标记方法及装置
CN109656364B (zh) * 2018-08-15 2022-03-29 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现增强现实内容的方法与设备
US10692293B2 (en) * 2018-09-12 2020-06-23 Google Llc Loading indicator in augmented reality environment
US11385856B2 (en) * 2020-10-23 2022-07-12 Streem, Llc Synchronizing positioning systems and content sharing between multiple devices
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112714304B (zh) * 2020-12-25 2022-03-18 新华邦(山东)智能工程有限公司 基于增强现实的大屏显示方法及装置
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
US11699271B2 (en) * 2021-05-19 2023-07-11 Snap Inc. Beacons for localization and content delivery to wearable devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059623A1 (en) * 2000-07-31 2002-05-16 Rodriguez Arturo A. Digital subscriber television networks with local physical storage devices and virtual storage
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
KR101049090B1 (ko) * 2010-09-17 2011-07-15 성준형 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US20120229447A1 (en) * 2011-03-08 2012-09-13 Nokia Corporation Apparatus and associated methods
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
KR101062961B1 (ko) 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101722550B1 (ko) * 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
KR101347518B1 (ko) 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101719264B1 (ko) 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
EP2748795A1 (en) * 2011-09-30 2014-07-02 Layar B.V. Feedback to user for indicating augmentability of an image
CN102495959A (zh) 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台***及应用方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059623A1 (en) * 2000-07-31 2002-05-16 Rodriguez Arturo A. Digital subscriber television networks with local physical storage devices and virtual storage
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
KR101049090B1 (ko) * 2010-09-17 2011-07-15 성준형 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법
US20120229447A1 (en) * 2011-03-08 2012-09-13 Nokia Corporation Apparatus and associated methods
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10495878B2 (en) 2015-04-28 2019-12-03 Lg Electronics Inc. Mobile terminal and controlling method thereof
WO2016175412A1 (en) * 2015-04-28 2016-11-03 Lg Electronics Inc. Mobile terminal and controlling method thereof
US10880610B2 (en) 2015-06-23 2020-12-29 Samsung Electronics Co., Ltd. Method for providing additional contents at terminal, and terminal using same
KR20170004825A (ko) * 2015-07-01 2017-01-11 삼성전자주식회사 가상 현실에서 컨텍스트에 기반한 어플리케이션 그룹화를 위한 방법 및 장치
US10789475B2 (en) 2016-10-13 2020-09-29 Alibaba Group Holding Limited Offline-service multi-user interaction based on augmented reality
KR20200027459A (ko) * 2016-10-13 2020-03-12 알리바바 그룹 홀딩 리미티드 증강 현실에 기초한 오프라인 서비스 다중 사용자 상호작용
KR20190080242A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190080243A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 방법
KR20190080244A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190080245A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190081179A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190081177A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20190081178A (ko) * 2017-12-29 2019-07-09 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR102205875B1 (ko) * 2019-08-09 2021-01-21 주식회사 인스에듀테인먼트 증강현실 콘텐츠의 통합 실행이 가능한 증강현실 콘텐츠 구동 장치
KR20210025251A (ko) * 2019-08-27 2021-03-09 (주)네오위즈랩 증강현실 포토카드를 제공하는 시스템, 서버, 방법 및 그 기록매체
WO2023090565A1 (ko) * 2021-11-22 2023-05-25 주식회사 미니레코드 플랫폼 앨범 서비스 제공 방법 및 장치
KR102471180B1 (ko) * 2021-11-23 2022-11-28 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법

Also Published As

Publication number Publication date
CN105190704A (zh) 2015-12-23
KR102077305B1 (ko) 2020-02-14
CN105190704B (zh) 2018-12-07
US9710970B2 (en) 2017-07-18
EP2994885A4 (en) 2016-10-05
EP2994885A1 (en) 2016-03-16
US20140333667A1 (en) 2014-11-13
WO2014182052A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
KR102077305B1 (ko) 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
US9584694B2 (en) Predetermined-area management system, communication method, and computer program product
US11520476B2 (en) Electronic apparatus displaying representative information and control method thereof
US9756242B2 (en) Communication terminal, display method, and computer program product
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
JP6075066B2 (ja) 画像管理システム、画像管理方法、及びプログラム
US9766089B2 (en) Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
CN104350736B (zh) 附近位置信息的增强现实布置
US9262867B2 (en) Mobile terminal and method of operation
US20110161875A1 (en) Method and apparatus for decluttering a mapping display
KR20140122952A (ko) 이미지 합성 방법 및 이를 구현하는 전자 장치
CN103162706A (zh) 用于移动终端中的内容显示的设备和方法
US11740850B2 (en) Image management system, image management method, and program
KR20170076489A (ko) 전자장치 및 그의 어플리케이션 프로그램 운용 방법
WO2014135427A1 (en) An apparatus and associated methods
KR102019975B1 (ko) 디아비스 및 그의 컨텐츠 검색 방법
US20160284051A1 (en) Display control method and information processing apparatus
JP2011060254A (ja) 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
CN110532474B (zh) 信息推荐方法、服务器、***以及计算机可读存储介质
GB2513865A (en) A method for interacting with an augmented reality scene
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
KR102204721B1 (ko) 증강현실 기록물 서비스 제공 방법 및 사용자 단말
JP2015031980A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right