KR102068215B1 - 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템 - Google Patents

증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102068215B1
KR102068215B1 KR1020180049513A KR20180049513A KR102068215B1 KR 102068215 B1 KR102068215 B1 KR 102068215B1 KR 1020180049513 A KR1020180049513 A KR 1020180049513A KR 20180049513 A KR20180049513 A KR 20180049513A KR 102068215 B1 KR102068215 B1 KR 102068215B1
Authority
KR
South Korea
Prior art keywords
content
user
augmented reality
virtual reality
reality service
Prior art date
Application number
KR1020180049513A
Other languages
English (en)
Other versions
KR20190125567A (ko
Inventor
최인석
Original Assignee
주식회사 북트랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 북트랩스 filed Critical 주식회사 북트랩스
Priority to KR1020180049513A priority Critical patent/KR102068215B1/ko
Publication of KR20190125567A publication Critical patent/KR20190125567A/ko
Application granted granted Critical
Publication of KR102068215B1 publication Critical patent/KR102068215B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템에 관한 것으로, 사용자의 선택 입력에 따라 콘텐츠를 생성하고, 생성된 콘텐츠를 사용자 위치에서의 주변 환경에 따른 증강현실 서비스 및 가상현실 서비스로 제공할 수 있다.

Description

증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING CONTENTS BASED ON STORY USING VIRTUAL REALITY AND AUGMENTED REALITY}
본 발명은 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템에 관한 것으로, 보다 상세하게는 사용자의 선택 입력에 의해 생성된 콘텐츠를 주변 환경에 따라 증강현실 서비스 및 가상현실 서비스로 제공하는 것이다.
증강현실(AR, Augmented Reality)은 물리공간과 전자공간이 융합된 공간으로, 실제 환경 또는 실세계의 영상에 컴퓨터 그래픽과 같은 가상의 영상을 혼합하여 사용자의 지각 인식에 가상 정보를 부가함으로써 현실세계를 보강하기 위해 사용된다. 또한, 가상현실(VR, Virtual Reality)은 특수 헤드셋이나 주변 장치들을 이용하여 인공으로 만든 가상의 세계를 실제 상황처럼 인식하고, 경험하게 해준다.
최근에는 스마트폰의 발달로 인해 어플리케이션(Application)을 이용하여 캐릭터 형상의 그림을 그리고, 색칠 및 코멘트를 작성하여 만화, 애니메이션, 어린이 동화, 글짓기, 일기, 포토북 등을 만들 수 있게 되었고, 이를 통해 기존의 어플리케이션은 만화를 엮은 나만의 스토리북(또는 만화책)을 제공하여 사용자에게 만족감을 주었다.
다만, 기존의 기술은 증강현실 및 가상현실 기술과, 스토리북을 이용한 새로운 콘텐츠를 제공하지 못하며, 사용자 본인이 만든 만화 또는 스토리북을 증강현실 및 가상현실에 적용할 수 있는 방법이 존재하지 않은 실정이다.
본 발명의 목적은 사용자의 선택 입력에 따라 콘텐츠를 생성하고, 생성된 콘텐츠를 사용자 위치에서의 주변 환경에 따른 증강현실 서비스 및 가상현실 서비스로 제공하고자 한다.
본 발명의 실시예에 따른 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)인 콘텐츠 제공시스템의 동작 방법에 있어서, 사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성하는 단계, 사용자 위치에서의 주변 환경을 촬영하는 단계 및 상기 생성된 콘텐츠와 상기 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계를 포함한다.
상기 콘텐츠를 생성하는 단계는 사용자의 선택 입력에 따라 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 상기 콘텐츠를 생성하며, 상기 콘텐츠의 수정, 삭제, 이동할 수 있다.
상기 콘텐츠를 생성하는 단계는 복수의 페이지 각각에 생성된 상기 콘텐츠를 이용하여 스토리 기반의 스토리북을 생성하며, 상기 스토리북에 포함된 상기 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성할 수 있다.
상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는 상기 사용자 위치에서의 주변 환경에 따른 상기 콘텐츠를 오버랩하는 상기 증강현실 서비스 및 주변 장치를 통해 상기 콘텐츠를 인식하는 상기 가상현실 서비스를 제공할 수 있다.
상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는 센서를 통해 감지되는 상기 사용자 위치 또는 데이터 신호에 기초하여, 특정 위치에서의 특정 콘텐츠를 상기 증강현실 서비스 또는 상기 가상현실 서비스로 제공할 수 있다.
상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는 상기 사용자 위치를 기점으로 주변 환경, 경로, 구역에 따라 서로 다른 상기 특정 콘텐츠를 제공하며, 상기 특정 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공할 수 있다.
상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는 사용자가 정지한 상태에서 상기 증강현실 서비스 또는 상기 가상현실 서비스를 제공하며, 사용자의 움직임에 따라 상기 증강현실 서비스 또는 상기 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는 사용자의 선택 입력에 따라 상기 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합 중 적어도 하나 이상의 효과를 제공할 수 있다.
본 발명의 실시예에 따른 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)인 콘텐츠 제공시스템에 있어서, 사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성하는 콘텐츠 생성부, 사용자 위치에서의 주변 환경을 촬영하는 촬영부 및 상기 생성된 콘텐츠와 상기 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공하는 콘텐츠 제공부를 포함한다.
또한, 본 발명의 실시예에 따른 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)인 콘텐츠 제공시스템은 상기 사용자 위치 및 움직임을 감지하는 위치 감지부, 특정 위치에서의 데이터 신호를 감지하는 신호 감지부 및 상기 콘텐츠 생성부에서 생성된 상기 콘텐츠와, 외부로부터 수신되는 외부 콘텐츠를 상기 콘텐츠 제공부를 통해 상기 증강현실 서비스 또는 상기 가상현실 서비스로 제공하도록 제어하는 제어부를 더 포함할 수 있다.
상기 콘텐츠 생성부는 사용자의 선택 입력에 따라 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 상기 콘텐츠를 생성하며, 상기 콘텐츠의 수정, 삭제, 이동할 수 있다.
상기 콘텐츠부는 복수의 페이지 각각에 생성된 상기 콘텐츠를 이용하여 스토리 기반의 스토리북을 생성하며, 상기 스토리북에 포함된 상기 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성할 수 있다.
상기 콘텐츠 제공부는 상기 사용자 위치에서의 주변 환경에 따른 상기 콘텐츠를 오버랩하는 상기 증강현실 서비스 및 주변 장치를 통해 상기 콘텐츠를 인식하는 상기 가상현실 서비스를 제공할 수 있다.
상기 콘텐츠 제공부는 상기 위치 감지부 및 상기 신호 감지부를 통해 감지되는 상기 사용자 위치 또는 데이터 신호에 기초하여, 특정 위치에서의 특정 콘텐츠를 상기 증강현실 서비스 또는 상기 가상현실 서비스로 제공할 수 있다.
상기 콘텐츠 제공부는 상기 사용자 위치를 기점으로 주변 환경, 경로, 구역에 따라 서로 다른 상기 특정 콘텐츠를 제공하며, 상기 특정 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공할 수 있다.
상기 콘텐츠 제공부는 사용자가 정지한 상태에서 상기 증강현실 서비스 또는 상기 가상현실 서비스를 제공하며, 사용자의 움직임에 따라 상기 증강현실 서비스 또는 상기 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
상기 콘텐츠 제공부는 사용자의 선택 입력에 따라 상기 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합 중 적어도 하나 이상의 효과를 제공할 수 있다.
본 발명의 실시예에 따르면, 사용자의 취향에 따라 콘텐츠를 생성할 수 있고, 사용자에 의해 생성된 콘텐츠를 주변 환경에 적용하여 모바일 디바이스를 통해 증강현실 서비스 및 가상현실 서비스의 형태로 체험할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공방법의 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 사용자의 선택 입력에 따라 콘텐츠를 생성하는 예를 도시한 것이다.
도 3 내지 도 8은 본 발명의 실시예에 따른 사용자 위치에서 증강현실 서비스를 제공하는 예를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 사용자 위치에서 가상현실 서비스를 제공하는 예를 도시한 것이다.
도 10은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템의 구성을 블록도로 도시한 것이다.
도 11은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템의 세부구성을 설명하기 위해 도시한 것이다.
도 12는 VR 제품의 예를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예들은 사용자의 선택 입력에 의해 생성된 콘텐츠를 증강현실 서비스 또는 가상현실 서비스로 제공하는 것을 그 요지로 한다.
본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)일 수 있으며, 사용자의 선택 입력에 따른 콘텐츠를 생성하고, 생성된 콘텐츠와 사용자 위치에서의 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공할 수 있다.
사용자가 소지하는 모바일 디바이스는 사용자의 키 조작 또는 명령에 따라 각종 데이터를 송수신할 수 있고, 증강현실 및 가상현실 서비스를 제공하는 장치를 일컫는 것이다. 실시예에 따라서, 모바일 디바이스는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 이동통신 단말기(Mobile Communication Terminal) 및 노트북(NoteBook) 등 중 어느 하나일 수 있다.
나아가, 모바일 디바이스는 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템과 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 이 때, 모바일 디바이스는 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다.
이하에서는, 도 1 내지 도 11을 참조하여 본 발명에 대해 보다 상세히 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공방법의 흐름도를 도시한 것이다.
도 1의 방법은 도 10에 도시된 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템에 의해 수행될 수 있다.
도 1을 참조하면, 단계 110에서, 사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성한다.
예를 들면, 사용자는 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)을 통해 캐릭터 형상의 그림을 그릴 수 있으며, 그림에 색상을 칠하거나 캐릭터 형상의 그림에 대한 코멘트를 작성할 수도 있다. 이에, 단계 110은 사용자의 선택 입력에 의한 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 콘텐츠를 생성하며, 콘텐츠의 수정, 삭제, 이동 등의 편집을 수행하는 단계일 수 있다.
또한, 단계 110은 복수의 페이지 각각에 생성된 콘텐츠를 이용하여 스토리 기반의 스토리북을 생성하며, 스토리북에 포함된 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성할 수 있다. 예를 들면, 단계 110은 생성된 콘텐츠를 이용하여 미리 설정된 스토리 기반의 애니메이션 형태로 제공할 수 있으며, 이 때, 애니메이션의 배경화면은 증강현실 및 가상현실을 반영하여 구성되거나 미리 설정된 애니메이션으로 구성될 수 있다.
이에 따라서, 본 발명에서 설명하는 콘텐츠는 사용자의 선택 입력에 의해 생성된 그림, 색상 및 코멘트를 포함할 수 있으며, 애니메이션, 이미지 또는 멀티미디어 형태를 모두 아울러 일컫을 수 있다.
단계 120에서, 사용자 위치에서의 주변 환경을 촬영한다.
단계 120은 사용자가 소지하는 모바일 디바이스에 구비된 카메라로부터 촬영된 주변 환경에 대한 실제 영상정보를 획득하는 단계일 수 있다. 여기서, 단계 120은 카메라의 비디오 스트리밍을 이용하여 실제 영상정보를 획득할 수 있다. 이 때, 카메라는 실제 영상정보를 실시간으로 정확하게 획득할 수 있는 영상 정밀도와 획득 속도를 지원한다면 다양한 형태로 구현이 가능하다.
실시예에 따라서, 단계 120은 카메라로부터 촬영된 실시간 영상정보를 획득하거나, 카메라 또는 본 발명의 메모리부에 초, 분 단위로 기 저장된 영상정보를 획득할 수도 있다. 즉, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 적용되는 실시예 또는 환경에 따라, 실시간으로 획득되는 영상정보 및 기 저장된 영상정보 중 적어도 어느 하나 이상의 사용이 가능하다. 이 때, 영상정보는 카메라 또는 본 발명의 메모리부에 의해 획득될 수 있고, 외부의 서버로부터 획득될 수도 있다.
단계 130에서, 생성된 콘텐츠와 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공한다.
단계 130은 사용자 위치에서의 주변 환경에 따른 콘텐츠를 오버랩하는 증강현실 서비스 및 주변 장치를 통해 콘텐츠를 인식하는 가상현실 서비스를 제공하는 단계일 수 있다.
예를 들면, 사용자가 소지하는 모바일 디바이스는 GPS 위성으로부터 현재 위치정보를 수신하거나, 가속센서, 자이로센서, 근접센서, 모션센서 중 적어도 어느 하나 이상의 센서를 통해 현재 위치정보를 감지하고, 현재 위치정보를 기초로 증강현실 개발툴(예를 들어, 애플 개발툴인 ARKit 또는 구글 개발툴인 ARcore)을 이용하여 획득한 이동각도, 방위각, 반지름 등의 증강현실 위치정보를 적용하여 모바일 디바이스의 위치정보, 방향정보, 검색범위 정보 등의 증강현실 위치관련정보를 생성할 수 있다. 또한, 사용자가 소지하는 모바일 디바이스는 머리 착용 디스플레이(Head Mounted Display; HMD) 등의 주변 장치에 설치될 수 있으며, 주변 장치의 내측에 렌즈가 구비되어 모바일 디바이스에서 출력되는 화면을 좌우로 나누어 각각의 영상이 한쪽 눈, 즉 영상이 왼쪽과 오른쪽으로 각각 들어와 사용자로 하여금 입체로 느낄 수 있도록 할 수 있다.
이 때, 주변 장치는 도 12에 도시된 바와 같은 카드보드, 카드보드 기능과 유사한 VR 제품 또는 휴대용 제품을 적용할 수 있으며, 상기 카드보드의 구성 및 원리는 공지된 기술로 자세한 설명은 생략한다.
이를 통해, 단계 130은 사용자의 선택 입력에 의해 생성된 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있다.
단계 130은 센서를 통해 감지되는 사용자 위치 또는 데이터 신호에 기초하여, 특정 위치에서의 특정 콘텐츠를 증강현실 서비스 또는 가상현실 서비스로 제공할 수 있다. 더욱 상세하게, 단계 130은 사용자 위치를 기점으로 주변 환경, 경로, 구역(Zone)에 따라 서로 다른 특정 콘텐츠를 제공하며, 특정 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공할 수 있다.
다시 말해, 단계 130은 사용자의 선택 입력에 의해 생성된 콘텐츠 또는 특정 위치에서의 특정 콘텐츠를 이용하여 움직이는 애니메이션 또는 멀티미디어 형태로 제공하거나, 움직이지 않는 이미지 또는 멀티미디어 형태로 제공할 수 있다.
본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 사용자의 선택 입력에 따라 생성된 콘텐츠 외에, 외부로부터 수신되거나 어플리케이션 내에 기 저장된 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있으며, 이는 특정 위치에 설정된 특정 콘텐츠일 수도 있다. 예를 들면, 사용자가 한강에 위치한 경우, 단계 130은 사용자 위치를 기점으로 넓은 잔디밭에서 움직이는 공룡 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있다. 또 다른 예로, 사용자가 불국사에 위치하는 경우, 단계 130은 불국사에 관련된 역사와 그 시대의 배경이 되는 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있다.
나아가, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 상기 특정 위치의 지리적 주변 환경, 경로, 구역(Zone) 등의 정보를 이용하여 동일한 위치에서의 환경, 경로, 구역에 따라 서로 다른 특정 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수도 있다.
이 때, 제공되는 콘텐츠 또는 특정 콘텐츠는 사용자에 의해 생성된 콘텐츠, 외부로부터 수신된 외부 콘텐츠 및 기 저정된 콘텐츠 중 적어도 어느 하나 이상의 조합에 의한 것일 수 있다.
단계 130은 사용자가 정지한 상태에서 증강현실 서비스 또는 가상현실 서비스를 제공하며, 사용자의 움직임에 따라 증강현실 서비스 또는 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
예를 들면, 사용자가 한강에서 모바일 디바이스를 통해 증강현실 서비스 또는 가상현실 서비스를 체험하고 있다고 가정하는 경우, 모바일 디바이스의 체험에 집중하고 있는 사용자는 시야 확보가 불가능하여 위험한 상황이 발생할 수 있다. 이에 따라서, 단계 130은 사용자가 정지해 있는 상태에서만 증강현실 서비스 또는 가상현실 서비스를 제공하고, 사용자의 움직임이 발생하는 경우, 콘텐츠를 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
다만, 콘텐츠의 정지, 일시 정지, 일시 삭제 또는 삭제는 사용자의 선택 입력에 의해 설정될 수 있으며, 사용자 위치를 기준으로 시야 확보율, 위험 가능성 등에 기반하여 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템이 기 설정할 수도 있다.
단계 130은 사용자의 선택 입력에 따라 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합 중 적어도 하나 이상의 효과를 제공할 수 있다.
예를 들면, 단계 130은 사용자가 모바일 디바이스의 디스플레이를 터치하여 콘텐츠를 회전, 이동, 확대, 축소, 드래그 및 이들의 조합을 하여 제어할 수 있다. 상기 제어는 콘텐츠의 움직임, 크기, 색, 모양, 형태 등을 변경하는 제반 동작을 포함한다.
본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 어학교재, 백과사전, 과학교재, 의학교재 등의 교육교재에 삽입된 삽화나 그림을 음성 설명과 함께 증강현실 서비스 또는 가상현실 서비스로 보여 주어 매우 탁월한 교육적 효과를 거둘 수 있다. 또한, 교통, 거리 등의 퍼블릭 데이터와 위치 정보를 이용한 건물, 위치 등의 데이터를 인식하여 증강현실 서비스 또는 가상현실 서비스로 표현할 수 있다. 또한, 이벤트, 혹은 대형 컨퍼런스, 공연 등에서 고객들로 하여금 간접 체험을 할 수 있게 하며, 역사적 건물 등을 인식하여 증강현실 서비스 또는 가상현실 서비스로 역사적 사실을 표현할 수도 있다.
도 2는 본 발명의 실시예에 따른 사용자의 선택 입력에 따라 콘텐츠를 생성하는 예를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 사용자의 선택 입력에 따라 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 콘텐츠(210)를 생성하며, 콘텐츠(210)의 수정, 삭제, 이동 등의 편집을 수행할 수 있다.
도 2(a)를 참조하면, 사용자는 모바일 디바이스의 디스플레이를 터치하여 캐릭터 형상의 그림인 콘텐츠(210)를 생성할 수 있으며, 콘텐츠(210)에 색상을 입히거나, 크기, 위치 등을 편집할 수 있다. 또한, 도 2(b)에 도시된 바와 같이, 사용자는 콘텐츠(210)에 대한 코멘트를 추가할 수도 있다.
이로 인해, 도 2(c)를 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 그림, 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 콘텐츠(210)를 생성할 수 있으며, 생성된 콘텐츠(210)를 이용하여 스토리 기반의 애니메이션, 이미지 또는 멀티미디어를 생성할 수도 있다.
도 3 내지 도 8은 본 발명의 실시예에 따른 사용자 위치에서 증강현실 서비스를 제공하는 예를 도시한 것이다.
도 3을 참조하면, 사용자가 모바일 디바이스를 통해 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)을 활성화하여 경주 첨성대를 포함하는 주변 환경(300)을 촬영하는 경우, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 사용자의 위치를 인식한다.
이 때, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 GPS 위성으로부터 수신되는 현재 위치정보 또는 모바일 디바이스에 포함된 센서를 통한 현재 위치정보로부터 사용자 위치를 감지하거나, 도 4에 도시된 바와 같이, 사용자 위치에서의 주변 환경에 배치된 비콘(Beacon), NFC(Near Field Communication, 근거리 무선통신) 등의 단말 장치(310)로부터 수신되는 데이터 신호에 기초하여 사용자 위치를 감지할 수 있다.
도 5 및 도 6을 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 사용자 위치에 따른 첨성대를 포함하는 주변 환경(300)에 대응하여 기 설정된 제1 특정 콘텐츠(510) 및 제2 특정 콘텐츠(520)를 모바일 디바이스를 통해 증강현실 서비스로 제공할 수 있다.
예를 들면, 사용자가 모바일 디바이스를 통해 첨성대를 포함하는 주변 환경(300)을 촬영하는 경우, 촬영되는 첨성대를 포함하는 주변 환경(300)에 제1 특정 콘텐츠(510) 및 제2 특정 콘텐츠(520)가 오버랩되어 증강현실 서비스를 체험할 수 있게 된다.
이 때, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 사용자의 시선 및 움직임에 따라서, 서로 다른 다양한 콘텐츠를 증강현실 서비스의 형태로 제공할 수 있다. 예를 들면, 도 5에서 도 6으로 사용자가 모바일 디바이스를 오른쪽으로 이동하는 경우, 기존의 풀잎의 배경을 나타내는 제1 특정 콘텐츠(510) 뿐만 아니라, 공룡을 나타내는 제2 특정 콘텐츠(520)가 새로이 나타날 수 있다.
나아가, 도 6에서 사용자가 모바일 디바이스를 위로 이동하는 경우, 도 6에서 공룡의 다리만 나타내던 제2 특정 콘텐츠(520)가 모바일 디바이스의 이동에 따라 도 7에서는 공룡의 머리도 함께 나타내는 것을 확인할 수 있다.
즉, 사용자가 모바일 디바이스의 위치를 상, 하, 좌, 우로 이동하는 경우, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 이동에 따른 더욱 다양한 콘텐츠를 제공할 수 있으며, 사용자는 다양한 콘텐츠를 체험할 수 있게 된다.
도 8을 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)은 사용자 위치에 따른 첨성대를 포함하는 주변 환경(300)에 대응하여 기 설정된 생성 콘텐츠(530)를 모바일 디바이스를 통해 증강현실 서비스로 제공할 수 있다.
예를 들면, 생성 콘텐츠(530)는 사용자의 선택 입력으로 생성된 콘텐츠이며, 사용자가 모바일 디바이스를 통해 캐릭터 형상의 그림을 그리고, 그림에 색상을 칠하며, 캐릭터 형상의 그림에 대한 코멘트를 작성하여 생성된 콘텐츠일 수 있다.
이 때, 생성 콘텐츠(530)가 제공되는 특정 위치는 사용자의 선호에 따라 기 설정될 수 있으며, 사용자 위치에서 사용자의 호출에 의해 제공될 수도 있다.
도 9는 본 발명의 실시예에 따른 사용자 위치에서 가상현실 서비스를 제공하는 예를 도시한 것이다.
도 9를 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(600)은 사용자 위치에 따른 첨성대를 포함하는 주변 환경(300)에 대응하여 기 설정된 제1 특정 콘텐츠(510) 및 생성 콘텐츠(530)를 주변 장치를 통해 가상현실 서비스로 제공할 수 있다.
본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(600)은 머리 착용 디스플레이(Head Mounted Display; HMD)와 같은 주변 장치를 통해 가상현실 서비스를 제공할 수 있다. 도 9에 도시된 바와 같이, 모바일 디바이스는 주변 장치의 전면에 위치하며, 주변 장치는 내측에 렌즈가 구비되어 모바일 디바이스에서 출력되는 화면을 좌우로 나누어 각각의 영상이 한쪽 눈, 즉 영상이 왼쪽과 오른쪽으로 각각 들어와 사용자로 하여금 입체로 느낄 수 있도록 할 수 있다.
도 5 내지 도 9에 도시된 콘텐츠(510, 520, 530)는 사용자에 의해 생성된 콘텐츠, 외부에서 수신된 콘텐츠 및 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템(400)에 기 저장된 콘텐츠 중 적어도 어느 하나 이상으로 조합된 것일 수 있으며, 캐릭터 형상의 그림, 색상, 코멘트일 수 있고, 스토리 기반의 애니메이션, 이미지 또는 멀티미디어일 수 있다. 나아가, 콘텐츠(510, 520, 530)의 개수, 위치, 형태는 도시된 바에 한정되지 않음은 당연하다.
도 10은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템의 구성을 블록도로 도시한 것이다.
도 10을 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 사용자의 선택 입력에 의해 생성된 콘텐츠를 주변 환경에 따라 증강현실 서비스 및 가상현실 서비스로 제공한다.
이를 위해, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 콘텐츠 생성부(1010), 촬영부(1020) 및 콘텐츠 제공부(1030)를 포함한다. 또한, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 위치 감지부(1040), 신호 감지부(1050) 및 제어부(1060)를 더 포함할 수 있다.
콘텐츠 생성부(1010)는 사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성한다.
예를 들면, 사용자는 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)을 통해 캐릭터 형상의 그림을 그릴 수 있으며, 그림에 색상을 칠하거나 캐릭터 형상의 그림에 대한 코멘트를 작성할 수도 있다. 이에, 콘텐츠 생성부(1010)는 사용자의 선택 입력에 의한 그림, 색상 및 코멘트 중 적어도 어느 하나 이상을 포함하는 콘텐츠를 생성하며, 콘텐츠의 수정, 삭제, 이동 등의 편집을 수행할 수 있다.
또한, 콘텐츠 생성부(1010)는 복수의 페이지 각각에 생성된 콘텐츠를 이용하여 스토리 기반의 스토리북을 생성하며, 스토리북에 포함된 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성할 수 있다. 예를 들면, 콘텐츠 생성부(1010)는 생성된 콘텐츠를 이용하여 미리 설정된 스토리 기반의 애니메이션 형태로 제공할 수 있으며, 이 때, 애니메이션의 배경화면은 증강현실 및 가상현실을 반영하여 구성되거나 미리 설정된 애니메이션으로 구성될 수 있다.
이에 따라서, 본 발명에서 설명하는 상기 콘텐츠는 사용자의 선택 입력에 의해 생성된 그림, 색상 및 코멘트를 포함할 수 있으며, 애니메이션, 이미지 또는 멀티미디어 형태를 모두 아울러 일컫을 수 있다.
촬영부(1020)는 사용자 위치에서의 주변 환경을 촬영한다.
촬영부(1020)는 사용자가 소지하는 모바일 디바이스에 구비된 카메라로부터 촬영된 주변 환경에 대한 실제 영상정보를 획득할 수 있다. 이 때, 촬영부(1020)는 카메라의 비디오 스트리밍을 이용하여 실제 영상정보를 획득할 수 있으며, 카메라는 실제 영상정보를 실시간으로 정확하게 획득할 수 있는 영상 정밀도와 획득 속도를 지원한다면 다양한 형태로 구현이 가능하다.
실시예에 따라서, 촬영부(1020)는 카메라로부터 촬영된 실시간 영상정보를 획득하거나, 카메라 또는 본 발명의 메모리부(1120)에 초, 분 단위로 기 저장된 영상정보를 획득할 수도 있다. 즉, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템은 적용되는 실시예 또는 환경에 따라, 실시간으로 획득되는 영상정보 및 기 저장된 영상정보 중 적어도 어느 하나 이상의 사용이 가능하다. 이 때, 영상정보는 카메라 또는 본 발명의 메모리부(1020)에 의해 획득될 수 있고, 외부의 서버로부터 획득될 수도 있다.
위치 감지부(1040)는 사용자 위치 및 움직임을 감지할 수 있다. 예를 들면, 위치 감지부(1040)는 GPS 위성으로부터 사용자가 소지하는 모바일 디바이스의 현재 위치정보를 수신하거나, 모바일 디바이스의 가속센서, 자이로센서, 근접센서, 모션센서 중 적어도 어느 하나 이상의 센서를 통해 현재 위치정보를 감지할 수 있다. 이에, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 현재 위치정보를 기초로 증강현실 개발툴(예를 들어, 애플 개발툴인 ARKit 또는 구글 개발툴인 ARcore)을 이용하여 획득한 이동각도, 방위각, 반지름 등의 증강현실 위치정보를 적용하여 모바일 디바이스의 위치정보, 방향정보, 검색범위 정보 등의 증강현실 위치관련정보를 생성할 수 있다.
또한, 사용자가 소지하는 모바일 디바이스는 머리 착용 디스플레이(Head Mounted Display; HMD) 등의 주변 장치에 설치될 수 있으며, 주변 장치의 내측에 렌즈가 구비되어 모바일 디바이스에서 출력되는 화면을 좌우로 나누어 각각의 영상이 한쪽 눈, 즉 영상이 왼쪽과 오른쪽으로 각각 들어와 사용자로 하여금 입체로 느낄 수 있도록 할 수 있다.
신호 감지부(1050)는 특정 위치에서의 데이터 신호를 감지할 수 있다. 예를 들면, 신호 감지부(1050)는 사용자 위치에서의 주변 환경에 배치된 비콘(Beacon), NFC(Near Field Communication, 근거리 무선통신) 등의 단말 장치로부터 수신되는 데이터 신호를 감지할 수 있다. 상기 데이터 신호는 특정 위치 정보와, 특정 위치에 설정된 특정 콘텐츠에 관련된 정보를 포함할 수 있다.
또한, 신호 감지부(1050)는 모바일 디바이스에 포함된 가속센서, 자이로센서, 근접센서, 모션센서 중 적어도 어느 하나 이상의 센서를 통한 사용자의 특정 위치에서의 데이터 신호를 감지할 수도 있다. 예를 들면, 신호 감지부(1050)는 위치 감지부(1040)로부터 감지된 사용자의 위치에 따라, 복수의 단말 장치로부터 수신되는 데이터 신호 중 가장 근접한 데이터 신호를 수신 및 접속할 수 있다.
콘텐츠 제공부(1030)는 생성된 콘텐츠와 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공한다.
콘텐츠 제공부(1030)는 사용자 위치에서의 주변 환경에 따른 콘텐츠를 오버랩하는 증강현실 서비스 및 주변 장치를 통해 콘텐츠를 인식하는 가상현실 서비스를 제공할 수 있다.
콘텐츠 제공부(1030)는 위치 감지부(1040) 및 신호 감지부(1050)를 통해 감지되는 사용자 위치 또는 데이터 신호에 기초하여, 특정 위치에서의 특정 콘텐츠를 증강현실 서비스 또는 가상현실 서비스로 제공할 수 있다. 더욱 상세하게, 콘텐츠 제공부(1030)는 사용자 위치를 기점으로 주변 환경, 경로, 구역(Zone)에 따라 서로 다른 특정 콘텐츠를 제공하며, 특정 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공할 수 있다.
본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 사용자의 선택 입력에 따라 생성된 콘텐츠 외에, 외부로부터 수신되거나 어플리케이션 내에 기 저장된 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있으며, 이는 특정 위치에 설정된 특정 콘텐츠일 수 있다. 예를 들면, 사용자가 한강에 위치한 경우, 콘텐츠 제공부(1030)는 사용자 위치를 기점으로 넓은 잔디밭에서 움직이는 공룡 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있다. 또 다른 예로, 사용자가 불국사에 위치하는 경우, 단계 130은 불국사에 관련된 역사와 그 시대의 배경이 되는 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수 있다.
나아가, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 상기 특정 위치의 지리적 주변 환경, 경로, 구역(Zone) 등의 정보를 이용하여 동일한 위치에서의 환경, 경로, 구역에 따라 서로 다른 특정 콘텐츠를 증강현실 서비스 또는 가상현실 서비스의 형태로 제공할 수도 있다.
이 때, 제공되는 콘텐츠 또는 특정 콘텐츠는 사용자에 의해 생성된 콘텐츠, 외부로부터 수신된 외부 콘텐츠 및 기 설정된 콘텐츠 중 적어도 어느 하나 이상의 조합에 의한 것일 수 있다.
콘텐츠 제공부(1030)는 사용자가 정지한 상태에서 증강현실 서비스 또는 가상현실 서비스를 제공하며, 사용자의 움직임에 따라 증강현실 서비스 또는 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
예를 들면, 사용자가 한강에서 모바일 디바이스를 통해 증강현실 서비스 또는 가상현실 서비스를 체험하고 있다고 가정하는 경우, 모바일 디바이스의 체험에 집중하고 있는 사용자는 시야 확보가 불가능하여 위험한 상황이 발생할 수 있다. 이에 따라서, 콘텐츠 제공부(1030)는 사용자가 정지해 있는 상태에서만 증강현실 서비스 또는 가상현실 서비스를 제공하고, 사용자의 움직임이 발생하는 경우, 콘텐츠 정지, 일시 정지, 일시 삭제 또는 삭제할 수 있다.
다만, 콘텐츠의 정지, 일시 정지, 일시 삭제 또는 삭제는 사용자의 선택 입력에 의해 설정될 수 있으며, 사용자 위치를 기준으로 시야 확보율, 위험 가능성 등에 기반하여 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)이 기 설정할 수도 있다.
콘텐츠 제공부(1030)는 사용자의 선택 입력에 따라 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합 중 적어도 하나 이상의 효과를 제공할 수 있다.
예를 들면, 콘텐츠 제공부(1030)는 사용자가 모바일 디바이스의 디스플레이를 터치하여 콘텐츠를 회전, 이동, 확대, 축소, 드래그 및 이들의 조합을 하여 제어할 수 있다. 상기 제어는 콘텐츠의 움직임, 크기, 색, 모양, 형태 등을 변경하는 제반 동작을 포함한다.
제어부(1060)는 콘텐츠 생성부(1010)에서 생성된 콘텐츠와, 외부로부터 수신되는 외부 콘텐츠를 콘텐츠 제공부(1030)를 통해 증강현실 서비스 또는 가상현실 서비스로 제공하도록 제어할 수 있다.
도 11은 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템의 세부구성을 설명하기 위해 도시한 것이다.
도 11은 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)의 일 예일 뿐이고, 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 도시된 구성요소보다 많거나 적은 구성요소를 포함할 수 있으며, 2개 이상의 구성요소들을 결합시키거나, 또는 상이한 구성요소를 포함한 구성 또는 배치를 포함할 수 있다.
또한, 도 11에 도시된 구성요소들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있으며, 이하에서 사용되는 '~부' 및 '~기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 11을 참조하면, 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)은 디스플레이부(1110), 메모리부(1120), 통신부(1130), 입력부(1140), 출력부(1150) 및 제어부(1060)를 포함한다.
디스플레이부(1110)는 다수의 영역들 각각에 위치하는 다수의 아이템들을 포함하는 화면을 디스플레이할 수 있으며, 햅틱(haptic) 접촉 또는 택틸(tactile) 접촉에 기초하여 사용자로부터의 입력을 받아들이는 터치-감지 표면, 센서 또는 센서 집합에 기초하여 기능과 관련된 적어도 하나 이상의 아이템을 포함하는 또 다른 화면을 디스플레이할 수 있다. 또한, 디스플레이부(1110)는 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)과 사용자 사이의 사용자 인터페이스를 제공할 수도 있다.
메모리부(1120)는 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다.
메모리부(1120)는 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다. 일 실시예로, 콘텐츠를 생성하기 위한 사용자의 선택 입력에 따라 활성화되는 리소스, 이미지 및 복수의 페이지를 포함하는 스토리북을 저장하여 유지할 수 있으며, 이는 복수의 사용자 각각에 맞춤형 히스토리(history)로 저장되어 유지될 수 있다.
또한, 메모리부(1120)에 대한 액세스는 제어부(1060) 및 주변장치 인터페이스와 같은 다른 구성요소에 의해 제어될 수 있다.
통신부(1130)는 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신할 수 있다. 또한, 통신부(1130)는 전기 신호를 전자기 신호로 변환하거나 전자기 신호로부터 전기 신호를 변환하고, 전자기 신호를 통해 통신 네트워크, 다른 통신 장치 및 외부 장치와 통신할 수 있다.
일 실시예로, 통신부(1130)는 이러한 기능을 수행하기 위한 회로를 포함할 수 있는데, 회로는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기(oscillator), 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(SIM) 카드, 메모리 등을 포함하나, 이에 한정되는 것은 아니다.
실시예로, 통신부(1130)는 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있다.
이러한 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi-MAX, LTE(Long Term Evolution), 지그비(Zigbee), Z-wave, BLE(Bluetooth Low Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service), 또는 SMS(Short Message Service), 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다.
예를 들면, 통신부(1130)는 외부 콘텐츠를 호출하여 제공하기 위해 외부 서버와 통신할 수 있다.
입력부(1140)는 키보드, 터치 패드, 다이얼, 슬라이더 스위치, 조이스틱 등을 포함할 수 있으며, 적외선 포트, USB 포트 및 마우스 등 포인터 장치 중 임의의 것과 결합할 수 있다.
출력부(1150)는 오디오 모듈, 스피커 모듈 및 진동 모듈을 포함할 수 있다.
일 실시예로, 출력부(1150)는 콘텐츠의 제작 및 편집 중 발생할 수 있는 알람 정보를 출력할 수 있다.
실시예에 따라서, 출력부(1150)는 오디오 모듈, 스피커 모듈 또는 부저를 이용하여 경고음을 출력하거나, LED(Light Emitting Diode)를 이용하여 경고등을 점멸할 수 있으며, 진동 모듈을 이용하여 진동을 출력할 수 있다.
제어부(1060)는 프로세서, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서를 포함할 수 있다. 예를 들어, 제어부(1060)는 디스플레이부(1110), 메모리부(1120), 통신부(1130), 입력부(1140) 및 출력부(1150)에 의하여 수행되는 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)의 동작을 제어할 수 있다.
일 실시예로, 제어부(1060)는 본 발명의 실시예에 따른 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템(1000)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
실시예로, 제어부(1060)는 운영 체제 또는 응용 프로그램을 구동하여 제어부(1060)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다.
예를 들어, 제어부(1060)는 SOC(system on chip)로 구현될 수 있으며, 제어부(616)는 다른 구성요소들(예, 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)인 콘텐츠 제공시스템의 동작 방법에 있어서,
    사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성하는 단계;
    사용자 위치에서의 주변 환경을 촬영하는 단계; 및
    상기 생성된 콘텐츠와 상기 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계를 포함하되,
    상기 콘텐츠를 생성하는 단계는
    사용자의 선택 입력에 따른 그림, 색상 및 코멘트를 포함하는 상기 콘텐츠를 생성하며, 복수의 페이지 각각에 상기 생성된 콘텐츠로 스토리 기반의 스토리북을 생성하여 상기 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성하고,
    상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는
    센서를 통해 감지되는 상기 사용자 위치 또는 데이터 신호에 기초하여, 상기 사용자 위치를 기점으로 주변 환경, 경로 및 구역에 따른 특정 위치에서의 서로 다른 특정 콘텐츠를 제공하며, 상기 특정 콘텐츠 및 상기 생성된 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공하고,
    상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는
    사용자가 움직임을 정지한 상태에서만 상기 증강현실 서비스 또는 상기 가상현실 서비스를 제공하며, 움직임을 정지한 상태에서 상기 모바일 디바이스의 위치를 상, 하, 좌, 우로 이동하는 경우 상기 촬영된 주변 환경의 범위 내에서 상기 특정 콘텐츠 및 상기 생성된 콘텐츠의 다양한 형태를 제공하고, 사용자가 움직이는 경우 상기 증강현실 서비스 또는 상기 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제하며, 사용자의 선택 입력에 따라 상기 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합의 효과를 제공하는 것을 특징으로 하고,
    상기 특정 콘텐츠는
    상기 특정 위치에 설정된 콘텐츠로, 외부로부터 수신되거나 기 저장된 콘텐츠이며,
    상기 생성된 콘텐츠는
    상기 사용자가 캐릭터 형상의 그림을 그리고, 그림에 색상을 칠하거나 코멘트를 작성하여 생성된 것을 특징으로 하는, 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공방법.
  2. 제1항에 있어서,
    상기 콘텐츠를 생성하는 단계는
    상기 콘텐츠의 수정, 삭제 및 이동하는 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 증강현실 서비스 또는 가상현실 서비스를 제공하는 단계는
    상기 사용자 위치에서의 주변 환경에 따른 상기 콘텐츠를 오버랩하는 상기 증강현실 서비스 및 주변 장치를 통해 상기 콘텐츠를 인식하는 상기 가상현실 서비스를 제공하는 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)인 콘텐츠 제공시스템에 있어서,
    사용자의 선택 입력에 기초하여, 캐릭터 형상의 그림을 포함하는 콘텐츠를 생성하는 콘텐츠 생성부;
    사용자 위치에서의 주변 환경을 촬영하는 촬영부;
    상기 생성된 콘텐츠와 상기 촬영된 주변 환경을 오버랩하여 증강현실 서비스 또는 가상현실 서비스를 제공하는 콘텐츠 제공부;
    상기 사용자 위치 및 움직임을 감지하는 위치 감지부;
    특정 위치에서의 데이터 신호를 감지하는 신호 감지부; 및
    상기 콘텐츠 생성부에서 상기 생성된 콘텐츠와, 외부로부터 수신되는 외부 콘텐츠를 상기 콘텐츠 제공부를 통해 상기 증강현실 서비스 또는 상기 가상현실 서비스로 제공하도록 제어하는 제어부를 포함하되,
    상기 콘텐츠 생성부는
    사용자의 선택 입력에 따른 그림, 색상 및 코멘트를 포함하는 상기 콘텐츠를 생성하며, 복수의 페이지 각각에 상기 생성된 콘텐츠로 스토리 기반의 스토리북을 생성하여 상기 콘텐츠를 애니메이션, 이미지 또는 멀티미디어 형태로 생성하고,
    상기 콘텐츠 제공부는
    상기 위치 감지부 및 상기 신호 감지부를 통해 감지되는 상기 사용자 위치 또는 데이터 신호에 기초하여, 상기 사용자 위치를 기점으로 주변 환경, 경로 및 구역에 따른 특정 위치에서의 서로 다른 특정 콘텐츠를 제공하며, 상기 특정 콘텐츠 및 상기 생성된 콘텐츠를 이용하여 스토리 기반의 스토리북을 애니메이션, 이미지 또는 멀티미디어 형태로 제공하고,
    상기 콘텐츠 제공부는
    사용자가 움직임을 정지한 상태에서만 상기 증강현실 서비스 또는 상기 가상현실 서비스를 제공하며, 움직임을 정지한 상태에서 상기 모바일 디바이스의 위치를 상, 하, 좌, 우로 이동하는 경우 상기 촬영된 주변 환경의 범위 내에서 상기 특정 콘텐츠 및 상기 생성된 콘텐츠의 다양한 형태를 제공하고, 사용자가 움직이는 경우 상기 증강현실 서비스 또는 상기 가상현실 서비스를 정지, 일시 정지, 일시 삭제 또는 삭제하며, 사용자의 선택 입력에 따라 상기 증강현실 서비스를 확대, 축소, 회전, 이동, 드래그 또는 이들의 조합의 효과를 제공하는 것을 특징으로 하고,
    상기 특정 콘텐츠는
    상기 특정 위치에 설정된 콘텐츠로, 외부로부터 수신되거나 기 저장된 콘텐츠이며,
    상기 생성된 콘텐츠는
    상기 사용자가 캐릭터 형상의 그림을 그리고, 그림에 색상을 칠하거나 코멘트를 작성하여 생성된 것을 특징으로 하는, 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 콘텐츠 생성부는
    상기 콘텐츠의 수정, 삭제 및 이동하는 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템.
  13. 삭제
  14. 제10항에 있어서,
    상기 콘텐츠 제공부는
    상기 사용자 위치에서의 주변 환경에 따른 상기 콘텐츠를 오버랩하는 상기 증강현실 서비스 및 주변 장치를 통해 상기 콘텐츠를 인식하는 상기 가상현실 서비스를 제공하는 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020180049513A 2018-04-30 2018-04-30 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템 KR102068215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180049513A KR102068215B1 (ko) 2018-04-30 2018-04-30 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049513A KR102068215B1 (ko) 2018-04-30 2018-04-30 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190125567A KR20190125567A (ko) 2019-11-07
KR102068215B1 true KR102068215B1 (ko) 2020-01-20

Family

ID=68579046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049513A KR102068215B1 (ko) 2018-04-30 2018-04-30 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102068215B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220038945A (ko) * 2020-09-21 2022-03-29 씨제이올리브네트웍스 주식회사 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법
KR20240047591A (ko) 2022-10-05 2024-04-12 가온그룹 주식회사 Ar 및 vr 호환형 xr 디바이스 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136659A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN111581547B (zh) * 2020-06-04 2023-12-15 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
KR102439396B1 (ko) * 2020-06-15 2022-09-05 주식회사 스쿨버스 영상 학습 시스템 및 이를 이용한 학습 방법
WO2023096025A1 (ko) * 2021-11-23 2023-06-01 창원대학교 산학협력단 증강현실 기반의 메모 처리 장치, 시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685487B2 (en) * 2013-03-06 2020-06-16 Qualcomm Incorporated Disabling augmented reality (AR) devices at speed
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US20160220903A1 (en) * 2015-02-02 2016-08-04 Kuato Games (UK) Limited Systems and Methods for Dynamically Creating Personalized Storybooks based on User Interactions within a Virtual Environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220038945A (ko) * 2020-09-21 2022-03-29 씨제이올리브네트웍스 주식회사 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법
KR102419073B1 (ko) 2020-09-21 2022-07-08 씨제이올리브네트웍스 주식회사 강화 학습에 기반한 사전 시각화 시스템 및 사전 영상 제작 방법
KR20240047591A (ko) 2022-10-05 2024-04-12 가온그룹 주식회사 Ar 및 vr 호환형 xr 디바이스 장치

Also Published As

Publication number Publication date
KR20190125567A (ko) 2019-11-07

Similar Documents

Publication Publication Date Title
KR102068215B1 (ko) 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템
US11836859B2 (en) Textured mesh building
KR102653793B1 (ko) 비디오 클립 객체 추적
US11908243B2 (en) Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) Activating hands-free mode on mirroring device
US20200250888A1 (en) Redundant tracking system
US9218685B2 (en) System and method for highlighting a feature in a 3D map while preserving depth
US20210287439A1 (en) 3d cutout image modification
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
KR20230107844A (ko) 개인화된 아바타 실시간 모션 캡처
Waruwu et al. Augmented reality mobile application of Balinese Hindu temples: DewataAR
KR20230156407A (ko) 핸즈-프리 모드를 갖는 미러링 디바이스
KR20230107654A (ko) 보철 림을 위한 실시간 모션 전달
US20230089838A1 (en) Rendering 3d captions within real-world environments
WO2022140129A1 (en) Gesture control on an eyewear device
KR20230116938A (ko) 안경류 디바이스 상의 미디어 콘텐츠 플레이어
US11782577B2 (en) Media content player on an eyewear device
CN114119829A (zh) 虚拟场景的素材处理方法及装置、电子设备和存储介质
KR101937850B1 (ko) 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치
KR101726844B1 (ko) 만화 데이터 생성 시스템 및 방법
US20230352054A1 (en) Editing video captured by electronic devices
KR102257442B1 (ko) 사용자의 상황에 반응하는 증강현실 서비스 제공 방법 및 그 시스템
US20240077936A1 (en) Selecting ar buttons on a hand
KR101950420B1 (ko) 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램
KR20160115025A (ko) 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant