KR20200020127A - 증강현실 컨텐츠 저작 방법 및 장치 - Google Patents

증강현실 컨텐츠 저작 방법 및 장치 Download PDF

Info

Publication number
KR20200020127A
KR20200020127A KR1020180095463A KR20180095463A KR20200020127A KR 20200020127 A KR20200020127 A KR 20200020127A KR 1020180095463 A KR1020180095463 A KR 1020180095463A KR 20180095463 A KR20180095463 A KR 20180095463A KR 20200020127 A KR20200020127 A KR 20200020127A
Authority
KR
South Korea
Prior art keywords
augmented reality
data
image data
terminal
information
Prior art date
Application number
KR1020180095463A
Other languages
English (en)
Other versions
KR102139293B1 (ko
Inventor
한준환
Original Assignee
스마트한 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트한 주식회사 filed Critical 스마트한 주식회사
Priority to KR1020180095463A priority Critical patent/KR102139293B1/ko
Publication of KR20200020127A publication Critical patent/KR20200020127A/ko
Application granted granted Critical
Publication of KR102139293B1 publication Critical patent/KR102139293B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 단말로부터 업로드되는 이미지 데이터를 수신하는 단계; 상기 단말로부터 업로드된 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하는 단계; 상기 데이터에 기초하여 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리를 수행하는 단계; 및 상기 인공지능 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.

Description

증강현실 컨텐츠 저작 방법 및 장치{METHOD AND APPARATUS OF PRODUCING AUGMENTED REALITY CONTENTS}
본 발명은 증강현실 컨텐츠 저작에 대한 것으로, 보다 구체적으로는 증강현실을 이용한 컨텐츠를 위한 저작 방법 및 장치의 제공과, 터미널에서 상기 증강현실 컨텐츠를 액세스 방법에 대한 것이다.
최근 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality)에 대한 관심이 증가하면서, 이러한 가상 현실(VR)이나 증강 현실(AR)을 이용한 다양한 어플리케이션들이 소개되고 있다.
특히, 증강 현실(AR; Augmented Reality)은 가상 현실의 한 분야로, 사용자가 눈으로 보는 현실의 세계에 가상의 사물이나 정보를 겹쳐 보여주는 기술로서, 현실의 세계에 실시간으로 부가 정보를 갖는 가상의 세계를 합쳐 하나의 영상으로 보여주므로 혼합 현실(MR; Mixed Reality)이라고도 한다. 현실 세계를 가상 세계로 보완해주는 개념인 증강 현실(AR)은, 컴퓨터 그래픽으로 만들어진 가상 환경을 사용하며, 사용자에게 보다 향상된 현실감과 인지도를 제공하기에 현재 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있다.
다만, 종래 가상 현실(VR)이나 증강 현실(AR)을 이용한 어플리케이션들은 정보를 일방적으로 제공하거나 지역/언어에 따른 정보나 서비스가 제한되거나 불가한 경우가 많고 또한, 상기한 경우에는 오류가 많아도 그대로 제공되거나 오류 인식 후에도 그 수정이 어렵고 많은 시간이 소요되어 데이터 신뢰도에 문제가 있어 불편함이 있다.
본 발명의 일 실시예는, 종래 증강현실 컨텐츠에 대해 일방적으로 제공되는 기본 정보 외에 개인화 정보, 생활 정보 등을 더 제공할 수 있는 증강현실 컨텐츠 저작 방법을 제공하는 것을 일 과제로 한다.
본 발명의 일 실시예는, 증강현실 컨텐츠에 대해 지역 또는 언어의 제약에도 불구하고 관련 정보나 서비스를 제공할 수 있는 증강현실 컨텐츠 저작 방법을 제공하는 것을 다른 과제로 한다.
본 발명의 일 실시예는, 증강현실 컨텐츠에 대해 빅데이터화, 인공 지능(AI: Artificial Intelligence) 등을 활용하여 개인화뿐만 아니라 데이터의 신뢰도를 빠르게 개선하는 것을 또 다른 과제로 한다.
본 발명의 일 실시예는, 상술한 증강현실 컨텐츠 저작 방법을 통하여 저작된 증강현실 컨텐츠를 단말기의 어플리케이션을 통하여 이용 가능하도록 서비스하는 방법을 제공하는 것을 또 다른 과제로 한다.
본 발명의 일 실시예는, 상술한 증강현실 컨텐츠 저작 방법을 위한 또는 지원하는 다양한 장치를 제공하는 것을 또 다른 과제로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 단말로부터 업로드되는 이미지 데이터를 수신하는 단계; 상기 단말로부터 업로드된 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하는 단계; 상기 데이터에 기초하여 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리하는 단계; 및 상기 인공지능 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 단말로부터 상기 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 수집하는 단계; 및 상기 수신된 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 더 포함하여 증강현실 구현 처리하는 단계;를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 데이터베이스에 저장하는 단계는, 상기 증강현실 이미지 데이터와 관련 정보를 색인 번호를 이용하여 연동하여 저장하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 저장되는 관련 정보에는 상기 이미지 데이터와 관련된 동영상 데이터가 포함되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 단말에 의해 촬영되는 이미지 데이터를 수신하는 단계; 상기 수신된 단말의 이미지 데이터를 상기 데이터베이스의 저장된 이미지 데이터와 비교하여 인식하는 단계; 및 상기 인식된 이미지 데이터에 대해 상기 데이터베이스에 저장된 증강현실 데이터를 상기 단말로 전송하여 출력하도록 제어하는 단계;를 더 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 저장되는 관련 정보는, 상기 수신된 단말의 개인 정보에 기초하여 상기 이미지 데이터의 성분 및 추천 상품에 대한 개인화 데이터도 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 단말로 전송되어 출력 제어되는 증강현실 데이터는, 일반 모드와 개인화 모드로 구성되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 단말로 전송되어 출력 제어되는 증강현실 데이터는, 상기 단말에 의해 촬영되는 이미지 데이터에 따라 상품 인식 모드, 유저 데이터 리스트 모드, 칼로리 코칭 모드 및 개인화 모드로 구분되거나 순차 제공되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 상기 증강현실 컨텐츠 저작은, 플랫폼에 의해 이루어지는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 증강현실 컨텐츠 저작 장치는, 이미지 데이터를 업로드하고 증강현실 데이터를 출력하는 단말; 및 상기 단말로부터 업로드되는 이미지 데이터와, 상기 업로드되는 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하여, 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리하고, 상기 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 서버;를 포함하는 것을 특징으로 한다.
본 발명의 적어도 하나의 실시예에 따르면, 다음과 같은 효과가 있다.
첫째, 본 발명의 일 실시예에 따르면, 종래 증강현실 컨텐츠에 대해 일방적으로 제공되는 기본 정보 외에 개인화 정보, 생활 정보를 더 제공할 수 있는 증강현실 컨텐츠 저작 방법을 제공할 수 있는 효과가 있다.
둘째, 본 발명의 일 실시예에 따르면, 증강현실 컨텐츠에 대해 지역 또는 언어의 제약에도 불구하고 관련 정보나 서비스를 제공할 수 있는 증강현실 컨텐츠 저작 방법을 제공할 수 있는 효과가 있다.
셋째, 본 발명의 일 실시예에 따르면, 증강현실 컨텐츠에 대해 빅데이터, 인공 지능 등을 활용하여 개인화뿐만 아니라 데이터의 신뢰도를 빠르게 개선할 수 있는 효과가 있다.
셋째, 본 발명의 일 실시예에 따르면, 상술한 증강현실 컨텐츠 저작 방법을 통하여 저작된 증강현실 컨텐츠를 단말기의 어플리케이션을 통하여 이용 가능하도록 서비스하는 방법을 제공할 수 있는 효과가 있다.
넷째, 본 발명의 일 실시예에 따르면, 상술한 증강현실 컨텐츠 저작 방법을 위한 또는 지원하는 다양한 장치를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 구현 개념을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 특징을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 구현을 위한 기술 개요를 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증간현실 데이터 처리 시스템의 AR 실시간 물체 인식 방법을 설명하기 위해 클라이언트를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증간현실 데이터 처리 시스템의 AR 실시간 물체 인식 방법을 설명하기 위해 서버를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 서비스 구현 시나리오를 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 증강현실 서비스 구현 시나리오를 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 증강현실 켄텐츠 처리 방법을 설명하기 위해 도시한 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 실시예들에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 그 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 다양한 실시예들에 대하여 해당 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 해결수단을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템(100)을 설명하기 위해 도시한 도면이다.
도 1을 참조하여 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템(100)은 크게 클라이언트-서버(Client-Server) 구조를 가진다.
여기서, 클라이언트는 사용자 추적 데이터를 전송하는 이동 단말기(101), 사용자의 증강현실(AR) 관련 음성 입력을 수신하여 상기 서버로 전달하고 피드백(feedback)을 수신하여 상기 사용자에게 전달하는 단말기(102) 등을 포함한다. 편의상 도 1에서는 클라이언트로 이동 단말기(101)와 단말기(102) 만을 예시하였으나, 이에 한정되지 않으며 복수의 이동 단말기들, 단말기들 등이 본 발명의 증강현실 데이터 처리 시스템(100)의 구성요소가 될 수 있다.
한편, 서버는 빅데이터 처리/분석 시스템(110), 데이터베이스(120), 운영 관리자(130)를 포함한다. 여기서, 상기 서버는 상기 단말기(102)의 음성 입력 데이터 수신하여 텍스트 처리하거나 그 반대의 경우를 위한 STT/TTS 서버(115)를 더 포함할 수 있다. 이때, 상기 단말기(102)의 텍스트 데이터나, 로그 데이터 등은 상기 STT/TTS 서버(115)를 거치지 않고 빅데이터 처리/분석 시스템(110)으로 전달될 수 있다.
상기에서, 빅데이터 처리/분석 시스템(110)은, 이동 단말기(101), 단말기(102) 등으로부터 입력 데이터를 실시간/주기별로 수집하는 WAS 서버, 상기 WAS 서버에서 취합되어 적재된 데이터를 실시간 수집하는 서버, 상기 주기별 수집된 데이터를 취합/적재하는 분석 클러스터를 포함한다.
배치 스케줄러 워크플로우는, 분석을 실행하는데 이렇게 분석된 빅데이터는 서비스 클러스터에 그 분석 결과 데이터가 적재되어, WAS 서버와 연결된 데이터 API 모듈의 제어를 받을 수 있다.
한편, 마리아 DB는 상기 WAS 서버의 데이터, 서비스 클라이언트의 데이터를 데이터베이스(120)로 전달한다.
상기 WAS 서버는 분석 데이터의 통계 작업을 통하여 다양한 질의-답변을 위한 컨텍스트 피드백(context feedback)을 제공하는 처리부와, 사용자 관리 운영자 툴인 하나인 유저/시스템 관리부가 포함한다.
운영 관리자(130)는 특히, 데이터베이스(120)와 데이터 커뮤니케이션을 수행하여 본 발명의 다양한 실시예들을 지원한다.
이하 도 1의 각 구성요소 등에 대한 보다 상세한 설명은 후술하는 해당 부분에서 보다 상세히 설명한다.
먼저 도 9를 통해 본 발명의 일 실시예에 따른 증강현실 켄텐츠 처리 방법을 설명하기로 한다.
도 9를 참조하면, 본 발명의 증강현실 컨텐츠 처리 방법은, 제1 클라이언트(101), 제2 클라이언트(102), 증강현실 서버(110), 증강현실 데이터베이스(DB)(120) 등 사이의 데이터 커뮤니케이션을 통하여 이루어진다.
상기 제1 클라이언트(101)는 본 명세서에서 특별히 언급하지 않으면, 증강현실 컨텐츠 생성과 관련된 이미지를 업로드하는 이동 단말을 예로 하여 설명한다. 또한, 상기 제1 클라이언트(101)는 자신의 개인 정보(단계 100)뿐만 아니라 증강 현실 컨텐츠를 위한 이미지 또는 이미지 데이터를 업로드하고(단계 101), 마커 데이터, 증강 현실 메뉴 데이터, 및 링크 데이터를 업로드(단계 102)할 수 있다.
또한, 제1 클라이언트(101)는 개인 정보를 증강현실 서버(110)로 업로드한다. 여기서, 상기 개인 정보라 함은, 단말 사용자의 의료 정보, 건강 관련 정보, 개인 선호/비선호 데이터 정보, 기타 나이, 성별, 가족 관계, 병력 정보 등 중 적어도 하나 이상이 포함된다.
증강현실 서버(110)는 상기 업로드된 이미지와, 개인 정보, 마커 데이터, 증강 현실 메뉴 데이터, 링크 데이터와 같은 증강현실 컨텐츠 데이터 즉, 상기 업로드된 이미지 관련 정보를 증강현실 DB(120)에 저장한다(단계 103). 이때, 상기 데이터베이스(120)에 저장되는 각 정보는 색인 번호 등을 이용하여 서로 매핑되고 링크될 수 있다. 상기 링크는 저장되는 데이터 간의 매핑을 의미할 수도 있고 해당 정보의 외부 정보와의 링크를 의미할 수도 있다.
제2 클라이언트(102)는 사물 등을 스캔하거나 촬영이 가능한 카메라 등 다양한 디바이스로서 사물을 스캔하고 증강현실 서버(110)를 액세스하면(단계 104), 증강현실 서버(110)는 액세스한 클라이언트를 식별하고, 상기 식별된 클라이언트에 의해 업로드된 이미지를 스캔하여 해당 이미지의 사물을 식별한다(단계 105). 여기서, 상기 단계 104/105의 처리를 위하여 필요한 경우, 상기 증강현실 서버(110)는 내부 또는 외부에 별도로 빅데이터(Bigdata) 처리를 위한 구성, 인공지능(AI: Artificial Intelligent) 처리를 위한 구성이 포함될 수 있다. 다시 말해, 증강현실 서버(110)는 다양한 데이터의 입력부터 최종 출력까지 필요한 빅데이터, 인공지능 등을 활용하여 데이터를 처리할 수 있다.
상기 증강현실 서버(110)는 단계 105를 통하여 식별된 클라이언트, 식별된 이미지(사물)의 증강현실 데이터를 증강현실 DB(120)로 요청하면(단계 106), 상기 증강현실 DB(120)는 상기 요청에 따른 각종 증강현실 데이터를 추출하여 상기 증강현실 서버(110)로 피드백한다(단계 107).
증강현실 서버(110)는 개인화된 증강현실 데이터를 상기 제2 클라이언트(102)로 전송한다(단게 108).
제2 크라이언트(102)는 상기 증강현실 서버(110)로부터 수신한 개인화된 증강현실 데이터를 수신하여 단말 화면상에 출력할 수 있다(단계 109).
제2 클라이언트(110)는 증강현실 데이터 이용 피드백을 증강현실 데이터 이용 등에 관한 피드백할 수 있다(단계 110).
한편, 증강현실 서버(110)는 필요한 경우, 제1 클라이언트(101)와, 제2 클라이언트(102)의 데이터를 수집하거나 수신하여 업데이트하고, 업데이트 후에 이를 증강현실 DB(120)로 전송하여 업데이트 요청하고, 상기 증강현실 DB(120)으로부터 상기 업데이트에 대한 피드백을 수신할 수 있다(단계 112).
이하에서는 도 2 내지 8의 본 발명에 대한 다양한 실시예들을 설명한다. 한편, 도 2 내지 8에 기술된 다양한 실시예들은 예를 들어, 도 1과 9에 의해 설명되거나 지지될 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 구현 개념을 설명하기 위해 도시한 도면, 도 3은 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 특징을 설명하기 위해 도시한 도면, 도 4는 본 발명의 일 실시예에 따른 증강현실 데이터 처리 시스템의 서비스 구현을 위한 기술 개요를 설명하기 위해 도시한 도면, 도 5는 본 발명의 일 실시예에 따른 증간현실 데이터 처리 시스템의 AR 실시간 물체 인식 방법을 설명하기 위해 클라이언트를 도시한 도면, 도 6은 본 발명의 일 실시예에 따른 증간현실 데이터 처리 시스템의 AR 실시간 물체 인식 방법을 설명하기 위해 서버를 도시한 도면, 도 7은 본 발명의 일 실시예에 따른 증강현실 서비스 구현 시나리오를 설명하기 위해 도시한 도면, 도 8은 본 발명의 다른 일 실시예에 따른 증강현실 서비스 구현 시나리오를 설명하기 위해 도시한 도면이다.
이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위하여 푸드(food)와 관련된 증강현실 데이터 처리 시스템을 일 실시예로 하여 설명하나, 반드시 이에 한정되는 것은 아니다. 예컨대, 도 8의 경우에는 푸드가 아닌 책과 관련된 증강현실 데이터 처리에 관해 도시하고 있다.
본 발명과 관련하여, 이러한 푸드 관련 증강현실은 다음과 같은 서비스 배경에 기인한다. 예를 들어, 음식 등에 대한 알레르기는 치료가 거의 불가능하여 예방이 최선이나, 이러한 알레르기는 타인에게 노출이 어려워 당사자가 스스로 관리하고 대처하여야 한다.
한편, 종래 기술에 의하면, 증강현실 서비스가 일방적으로 이루어질 뿐이다. 따라서, 종래 기술의 증강현실 서비스가 통상적으로 유용할 수는 있으나 특정 개인에게는 맞지 않을 수 있다. 또한, 종래 기술에서는 한 번 생성된 증강현실 서비스 데이터에 대하여 정보 주체가 주로 제품 공급자인 경우가 많아 업데이트가 잘 이루어지지 않아 문제가 될 수 있다. 따라서, 종래 기술에 의할 경우 그러한 정보의 고지에도 불구하고 당사자는 개인에 대하여 정보를 완전히 신뢰하기 어려워 해당 제품이 약이 될 수도 있고 오히려 독이 될수도 있다.
또한, 종래 기술에서는 여행 중에 해당 지역의 언어로 작성되거나 관련 법 규정의 차이로 인하여 음식이나 재료 등에 대한 성분에 대한 정보, 조리법 등의 획득이 어렵거나 신뢰하기가 어려운 경우가 많다. 이는 단지 번역 어플리케이션을 쓰는 것만으로 해소하기가 어려운 경우가 많아 문제가 될 수 있다.
그 밖에, 음식을 캡쳐하거나 스캔하는 등의 경우 해당 음식의 칼로리양 계산, 일일 권장 칼로리 대비 현재 소모 칼로리 양에 대한 정보도 별도의 어플리케이션이나 장치를 이용하여야만 알 수 있는 경우가 많아 서비스 이용이 제한적인 경우가 많아 불편함이 있다.
그리고 종래 기술에서는 일반 식재료 등이 하나 또는 복수 개 연속하여 스캔 또는 업로드 되면, 각각의 정보 제공 외에 상기 식재료들을 활용한 요리 추천, 요리법 제공 등을 서비스하지 않아 불편함이 있다.
본 발명에 따른 푸드 증강현실 서비스와 관련하여, 특히 음식 알레르기는 치료하기가 매우 어려운바 예방이 우선이다. 다만, 성인과 같이 이를 관리하거나 체크할 수 있는 당사자가 아니라 미성년자나 노인 또는 학교나 단체 생활을 하는 당사자들의 경우에는 종래 기술만으로는 전술한 문제점을 해소하는 것이 매우 어려울 것으로 예상된다. 즉, 종래 기술에 따르면, 단지 음식에 대한 정보 제공이나 음식 알레르기를 일으킬 수 있는 특정 성분에 대한 정보 제공만이 이루어질 뿐이어서, 특정 개인은 그러한 정보에도 불구하고 다양한 문제가 발생할 수 있어 상기 종래 기술의 정보 제공은 충분하지 않을 수 있다.
이러한 문제 해결을 위하여 개인화가 요구된다. 여기서, 개인화란 사용자가 입력한 개인의 의료 정보 등과 연동하여 권장 성분 또는 배제 성분이 개인별로 제공될 필요가 있으며, 그 밖에 사회적 이슈에 따른 경고도 필요할 수 있다. 또한, 글로벌화된 시장 상황에 따라 수입되는 식품 등 사물이 늘어나고 해외 여행 등의 경우에도 쇼핑이나 식사시에 관련 정보가 필요할 수 있고 통상 음식이나 상품 등에 대한 정보 제공은 작은 글씨나 외국어로 쓰여져 있어 개인에 따라 이를 쉽게 확인하기 어려울 경우가 있다. 더구나 섭취하고자 하는 식품 등에 대한 칼로리 등의 계산은 짧은 시간 내에 판단하기 어려우며 식재료 등의 구입 시에 이러한 점을 판단하여 구매하는 것이 어렵고 식재료만 구입시에 어떤 요리를 할 것인지에 따라 다양한 조리법이 존재하는데 이를 판단하는 것이 쉽지 않고 그러한 요리가 개인에게 맞는지 아닌지 판단하는 것도 어려울 수 있다.
이와 같이, 종합적으로 쉽게 사물(음식물)의 정보를 획득할 필요, 개인 정보와 생활 정보의 결합 필요, 해외 음식 데이터의 쉬운 인지 등이 요구되고 있다. 이에 본 발명에서는 증강현실을 이용하여 음식에 대한 정보와 개인화된 정보를 증강현실을 통해 사물을 인식하고 이렇게 인식한 사물을 빅데이터, 인공지능(AI), IoT 등 기술을 이용하여 인식된 사물의 데이터를 분석하여 기반하여 언제 어디서나 제공하고자 한다.
일 실시예로, 마트나 편의점에서 이동 단말기로 상품을 카메라로 인식하면, 상품에 대한 알레르기 및 유해 성분으로부터 소비자 특히, 해당 이동 단말기 소유자의 건강을 지킬 수 있으며, 개인이 섭취하는 식품에 대한 정보를 기록하고 이용하여 일 단위, 주 단위, 월 단위 등으로 건강 관리를 도울 수 있고, 이러한 데이터들을 빅데이터화함으로써 식품 제공업자 등에게는 상품 개발 및 개인 맞춤형 서비스의 구현도 가능하도록 환경을 제공할 수 있다.
도 2를 참조하면, 사용자가 단말기의 카메라 센서, 이미지 센서를 활용하여 특정 상품을 촬영하면, 서버는 증강현실 상품을 이미지, 텍스트, 바코드 등으로부터 이를 인식하고 그에 대한 정보를 서버로 조회한다. 상기 서버는 상기 조회 요청에 따라 데이터베이스로부터 해당 상품에 대한 정보를 조회하여 피드백을 한다. 이때, 상기 서버는 단지 상품에 대한 정보만을 조회하여 피드백하는 것이 아니라 상기 상품과 관련된 개인 정보를 함께 조회하여 상기 증강현실 데이터를 제공할 때, 그러한 개인 정보와 관련된 데이터를 차별화하여 제공하도록 한다.
도 2를 참조하면, 단말기의 화면상에서는 증강현실 상품 인식된 화면의 일 실시예로서 화면의 상단에는 인식된 해당 상품이 알레르기 성분이 있는 상품임을 표시하고, 상기 상품의 각 성분에 대한 정보를 제공한다. 이때, 각 성분 중 알레르기를 유발할 수 있는 성분에 대한 표시를 사용자가 손쉽게 인지하도록 제공할 수 있다. 이와 같이, 증강현실 인식된 상품의 성분들 중 일반적으로 알레르기를 유발할 수 있는 성분 표시뿐만 아니라 상술한 개인 정보에 기반하여 특히, 해당 사용자에게 건강상의 문제를 유발할 수 있는 상품 성분에 대한 표시를 별도 또는 함께 또는 그것을 주로 표시하여 해당 상품의 선택 등의 편의를 도울 수 있다.
이렇게 적어도 한 번 증강현실 인식되거나 성분 조회된 상품에 대해서는 서버(110) 내 인공지능 모듈로 전송되어 데이터를 분석하고 예측 모델링을 수행하여 데이터를 시각화 처리하도록 정보를 구성하여 사용자 맞춤 데이터를 피드백하여 상기 조회된 증강현실 인식 상품상에 제공될 수 있다.
이러한 프로세스는 도 2에 도시된 바와 같이, 사용자가 음성 인식 스피커를 활용하여 음식이나 식료품 등 사물을 요청하는 경우에 참조될 수 있다. 한편, 전술한 내용은 최초 음성 인식 스피커(102)를 활용하여 사물에 대한 조회를 하는 경우에도 활용될 수 있다. 예컨대, 사용자가 집에서 음성 인식 스피커(102)를 활용하여 특정 상품을 주문하고자 한다고 가정하자. 이 경우, 음성 인식 스피커(102)는 전술한 프로세스에서와 같이, 서버(110)로 관련 내용을 문의 및 조회하고, 상기 서버(110)는 데이터베이스에 이에 관한 정보를 조회하면, 관련 조회 내용은 인공지능 모듈로 전달이 되고 인공 지능 모듈의 제어 데이터 즉, 사용자 맞춤 데이터에 따라 조회된 정보를 다시 상기 음성 인식 스피커(102)로 피드백하여 사용자의 선택을 도울 수 있다. 이 경우, 상기 서버(110)는 피드백하는 정보에 도 2의 증강현실 인식된 상품과 같은 형태의 이미지, 동영상, 텍스트 등의 데이터를 함께 전송할 수 있으며, 음성 인식 스피커(102)는 주변에 연동 가능한 단말기에 그러한 정보를 전송하여 음성 서비스 제공과 함께 이미지, 동영상, 텍스트 등의 정보가 함께 제공되어 사용자의 정보 인식 및 상품 선택 편의를 도울 수 있다. 상기 주변에 연동 가능한 단말기는 예컨대, 스마트폰, 웨어러블 기기, 가전기기 등 적어도 하나가 포함될 수 있다.
한편, 이러한 프로세스에는 IoT 역시 참조될 수 있는데 예를 들어, 서버(110)는 음성 인식 스피커(102)와 또는 다른 기기를 통해 홈 내 냉장고와 같은 가전기기에 대한 정보를 수신하여 전술한 경우에 현재 사용자가 요청한 상품에 대한 결과를 피드백할 수 있다. 사용자가 우유 제품을 구입하고자 음성 인식 스피커(102)를 활용한 경우, 상기 음성 인식 스피커(102)는 홈 내 냉장고에 대한 정보를 수신하여 이를 서버(110)로 함께 제공하면, 상기 서버(110)는 상기 홈 내 냉장고에 대한 정보도 참고하여 우유 제품의 구입에 대한 조언을 할 수 있다. 즉, 홈 내 냉장고에 있는 우유 제품의 성분에 대한 정보 제공 이때, 상기 제공되는 정보에는 도 2와 같은 정보들이 제공될 수 있으며 부가적으로 해당 제품의 유효 기간, 구매 시기, 현재 섭취 가능 여부, 폐기 관련 내용, 도시되진 않았지만 해당 제품이 사용자에게 맞는 제품인 경우에 동일 제품의 구매 유도 및 관련 제품 제공 사이트나 마트 정보, 유사 상품의 비교 데이터와 구매 여부 등에 대한 정보 제공도 가능하다.
한편, 도 3을 참조하면, 서버(110)에서 요청된 제품에 대하여 증강현실 정보 제공을 위하여 도 3의 (a) 내지 (c)의 프로세스를 활용할 수 있다.
서버(110)는 도 3의 (a)에 도시된 바와 같이, 기보유한 정보 외에 사용자 또는 사용자 커뮤니키의 정보를 활용하여 보다 현실적이고 실용적인 정보를 구성할 수 있다.
일 실시예로, 특정 제품에 대하여 사용자의 참여 데이터를 참조하는 것이다. 다시 말해, 사용자 중에는 해당 제품을 섭취 또는 경험한 사용자나 그에 대한 정보를 가지고 있는 사용자가 있을 수 있다. 따라서, 최근 활성화되고 있는 사용자 커뮤니티 등에 해당 제품에 대하여 성분에 대한 정보, 알레르기 등 건강 정보, 안전 여부 정보, 맛 정보 등에 대해 사용자들의 정보 공유되는 데이터를 참조하여 이를 실시간으로 네트워킹 처리할 수 있다. 또한, 이러한 정보는 컨텐츠로 제작, 수정, 배포 등이 될 수 있다.
이러한 사용자 또는 사용자 커뮤니티의 실용 정보는 사용자 맞품 제품 인공지는 데이터로 최적화하기 위하여 도 3의 (b)와 같이, 인공지능 모듈 또는/및 빅데이터 모듈에서 상품 정보 및 상품 마커 데이터베이스에 전술한 도 3의 (a)의 사용자 참여 데이터를 관련 데이터와 함께 저장하고, 추가로 질의응답이나 로그 데이터를 분석하고 실시간으로 관련 데이터를 주기/비주기로 수집하여 축적한다.
또한, 도 3의 (c)와 같이, 서버는 증강현실의 높은 이미지 추적 기술을 활용하여 실시간으로 사물을 인식하여 검색하고, 연관 이미지 검색을 활용하여 동일 상품에 대한 추적을 보다 빠르게 수행할 수 있고, 사용성이 높은 도 2 또는 도 7의 (a) 내지 (d)와 같은 UI/UX를 생성하여 제공할 수 있다.
도 4를 참조하면, 도 4의 (a)의 공공 데이터베이스에 기록 또는 저장된 제품에 대한 데이터를 주기/비주기로 계속하여 업데이트하여 도 4의 (b)의 서버(110)의 데이터베이스에 연동하고, 도 4의 (c)의 상단에서 사용자의 단말을 통한 카메라 센서 또는 증강현실 인식 데이터의 송신 및 그에 따른 상품 데이터 피드백에 대한 정보를 사용자 참여 학습 데이터베이스에 누적할 수 있다.
한편, 도 4의 (b)는 서버(110)의 다양한 데이터베이스를 설명하고 있는데, 전술한 도 4의 (a)에 따른 공공 데이터나 제휴 데이터를 위한 데이터베이스, 도 4의 (c)의 상단의 사용자 참여와 관련된 사용자 참여 학습 데이터베이스 등은 각각 수집, 가공 등이 되어 상품 정보 데이터베이스에 저장될 수 있다. 이렇게 저장된 상품 정보 예컨대, 상품명, 상품 이미지, 상품 구성 성분, 상품 원재료 등의 데이터와 사용자의 개인 데이터를 계속하여 누적, 업데이트 등을 통해 자가학습 즉, 인공지능 모듈이나 빅데이터 모듈을 통해 주기/비주기로 미리 가공되어 상기 도 4의 (c)의 하단과 같이, 사용자의 상품 요청 등에 대응하여 상품을 예측, 추천 제안 등을 수행할 수도 있다.
도 5와 6에서는 본 발명의 일 실시예에 따른 증강현실 컨텐츠 서비스 구현과 관련하여 실시간 물체 인식에 관한 내용을 개시한다. 여기서, 상기 본 발명에 따른 실시간 물체 인식은 편의상 서버-클라이언트 방식으로 진행되는 것을 일 실시예로 하여 설명하나 반드시 이에 한정되는 것은 아니다.
도 5에서는 클라이언트를 그리고 도 6에서는 서버를 예시하였다. 도 5의 클라이언트와 도 6의 서버는 상호간에 연동되어 데이터 커뮤니케이션을 수행할 수 있으며, 하나의 장치에서 구현 또는 별개의 장치로 구현될 수도 있다.
먼저, 도 5를 참조하면, 클라이언트는 증강현실 실시간 물체 인식을 위하여 특히, 이미지를 획득하여 서버로 전송하는 물체 추적을 위하여 모션 추정 기법(motion estimation method)를 이용하는 것을 본 발명의 일 실시예로 하나, 반드시 이에 한정되는 것은 아니다. 한편, 상기 모션 추정 기법은 기공지된 내용을 원용 또는 준용할 수 있는바, 도 5에 도시된 내용을 참조하며 이에 대한 상세 설명은 생략한다. 도 5를 참조하면, 클라이언트는 공간 영역 기술(블록 매칭과 픽셀 기반 메소드(반화소, 퀴즈 픽셀)를 통해 양방향 모션 추정(객체 경계에 대한 Fwd/Bwd MVs)과 파라 메트릭 모델 기반 모션 추정(카메라 회전 또는 확대/축소) 기법을 활용하여 모션 추정을 통하여 증강현실 이미지를 획득하고 이를 서버로 전송할 수 있다.
한편, 클라이언트는 물체 인식 시에 그에 포함된 텍스트에 대해서는 OCR(Optical Character Recognition) 기법을 활용하여 상기 획득되는 이미지로부터 텍스트 데이터를 추출하여 역시 서버로 전송 가능하다. 전술한 바와 같이, 상기 OCR 기법에 대한 상세 설며은 기공지된 내용을 참조하여, 본 명세서에서 이에 대한 상세 설명은 생략한다.
또한, 클라이언트는 모션 추정에 의해 획득되는 이미지로부터 바코드(bar code)나 큐알 코드(QR code)가 있는지 확인하여 인식되면 이를 서버로 전송할 수 있다. 마찬가지로, 상기 바코드나 큐알 코드의 인식 기법 역시 기공지된 기술을 참조하여 활용할 수 있는바, 이에 대한 상세 설명은 생략한다.
한편, 전술한 클라이언트의 동작에 대응하여 서버는 도 6에 도시된 바와 같이, 대용량의 오브젝트나 텍스트와 같은 물체 및 랜드 마크와 관련된 물체를 인식하고, 정보를 저장하는데 상기 저장을 위하여 보카불러리즈 오브 로컬 비쥬얼 피쳐(Vocabularies of local visual features) 기술을 구현하여 활용할 수 있다. 다시 말해, 서버는 대용량 데이터베이스가 가능한 비쥬얼 보카불러리즈 기술을 이용하는데 도 6에 도시된 바와 같이, 클라이언트로부터 획득한 모든 데이터베이스 이미지가 색인 번호로 로드되고, 새로운 이미지는 공유하는 데이터베이스의 이미지의 인덱스에 매핑되는 형식으로 데이터베이스 내 정보가 업데이트되고 가공될 수 있다. 즉, 서버단에서는 제품에 대하여 검색하고자 하는 이미지, 텍스트, 바코드 등의 유형을 인지하여 이를 분석하고 분류하여 결과를 제공하는 것이 가능해진다.
도 7의 (a) 내지 (d)는 각각 제품 인식, 유저 데이터 리스트, 칼로리 코칭 및 개인화와 관련된 서버의 서비스 구현에 관한 UI/UX이다.
도 7의 (a)는 증강현실로 사물을 인식한 경우에 단말에 제공되는 UX의 일실시예를 도시한 것이다. 상기 UX에는 인식된 상품의 성분, 원재료, 가격 등의 정보가 출력이 되는데 이때, 각 항목은 해당 성분, 원재료, 가격 등의 정보를 손쉽게 인식 가능하도록 형상, 컬러, 크기 등이 다르게 제공되고 관련 텍스트가 제공될 수 있다. 또한, 비록 도시되진 않았으나, 각 항목은 링크 정보를 포함할 수 있으며, 사용자의 선택에 따라 상기 링크 정보에 기초하여 웹페이지, SNS 정보 등이 텍스트, 음성 등의 형식으로 제공될 수도 있다. 역시 도시되진 않았으나, 상기 도 7의 (a)는 여러 모드가 존재하여, 일반 모드에서는 인식된 상품의 일반적인 정보 제공을 하고, 개인화 모드에서는 사용자 개인에 특화된 정보가 제공될 수도 있다. 또한, 사용자는 음성인식 스피커나 해당 단말을 통해 음성이나 텍스트 등의 형태로 상기 상품이나 특정 항목에 대한 피드백이나 의견을 서버로 전송할 수도 있다. 그 밖에, 도 7의 (a)에서 특정 항목을 특정 방식으로 액세스하면, 부가 정보나 부가 제어가 실행될 수 있다. 여기서, 부가 정보라 함은 선택된 항목의 상세 정보나 그와 관련된 도 7의 (b) 내지 (d)와 관련한 추가 정보가 제공될 수 있다. 또한, 상기에서 부가 제어라 함은, 도 7의 (a)에서 특정 항목에 대해 특정 방식의 액세스가 있으며, 관련 항목의 성분을 제거함을 의미하여 상기 성분이 제거된 다른 상품에 대한 도 7의 (d)와 같은 추천 상품이 제공되거나 반대로 관련 항목의 성분이 인식된 해당 상품보다 더 많이 보유한 상품을 도 7의 (d)의 형태로 추천할 수도 있다. 이러한 정보 역시, 서버로 전송되어 추후 활용될 수 있다.
도 7의 (b)는 증강현실 상품 인식이나 기타 증강현실 어플리케이션을 이용하는 경우에 사용자가 직접 입력하여 관련 상품에 대한 상세 정보를 획득하거나 검색하기 위한 것과 관련된 UX이다.
도 7의 (b)에서는 성분, 재료 추가하기 항목이 선택되어, 액상과당, 비타민, 카로틴 등이 추가된 것을 알 수 있는데, 이는 예컨대, 사용자의 개인 정보와 연동되거나 사용자 스스로 개인 정보 관련 알레르기 및 성분이나 재료 데이터를 업데이트할 수 있도록 하는 것으로, 이러한 정보는 서버로 전송되어 개인화 데이터 구축에 활용될 수 있다.
도 7의 (c)는 증강현실 인식된 상품의 칼로리 코칭에 관한 UX를 도시한 것이다. 이에 따르면, 상기 인식된 상품의 전체 칼로리, 구성 성분에 대한 정보, 구성 성분별 칼로리량 등에 대한 정보가 제공될 수 있다. 한편, 이러한 칼로리 코칭은 개인 정보와 연동하여 개인화가 가능하며, 일 단위, 주 단위, 월 단위 매 식사 단위 등으로 칼로리 관리에 참고할 수 있다. 또한, 해당 상품의 칼로리 정보에 기초하여 개인화에 따란 추천 제품에 도 7의 (d)와 같은 형태로 제공도리 수도 있다.
도 7의 (d)는 증강현실 인식된 상품과 관련된 개인화 데이터 제공을 설명하기 위해 구성된 UX의 일 실시예이다. 이는 전술한 도 7의 (a) 내지 (c)의 내용과 서버의 데이터베이스에 저장된 개인 정보에 기초하여 상기 인식된 상품과 관련하여 해당 사용자에게 추천하는 상품 리스트를 제공하는 것이다. 이러한 UX 구성은 다양한 방식으로 형성될 수 있으나, 도 7의 (d)에서는 추천 제품의 이미지와 관련 텍스트가 제공되고 있다. 비록 도시되진 않았으나, 도 7의 (d)에서 특정 추천 제품의 이미지가 선택되면, 도 7의 (a) 내지 (c) 중 적어도 하나 또는 그것들이 순차로 제공될 수 있다.
한편, 도 7의 (a) 내지 (d)는 각각 그 순서에 상관없이 사용자의 히스토리나 설정 등에 따라 우선 제공되거나 순차로 제공될 수 있으며, 이는 음성 인식 스피커 등이나 제스처에 의해 이루어질 수도 있다.
도 8에서는 이동 단말기에서 뷰어 어플리케이션을 통하여 제품을 인식하고 증강현실을 구현한 일 실시예를 설명하고 잇다.
도 8의 (a)에서는 하나의 실제 제품이 도시되었고, 도 8의 (b)에서 이동 단말기의 뷰어 어플리케이션을 활성화하여 상기 도 8의 (a)의 제품을 촬영하면, 도 8의 (b)와 같이 인식 제품에 대한 증강현실 메뉴가 구성되어 제공된다. 도 8의 (b)를 참조하면, 화면 일 영역에 책 구매하기 항목, e-book 구매하기 항목, 평가 보기 항목 및 리뷰 보기 항목이 제공되고 있으며, 화면의 다른 영역에서는 관련 동영상 재생 항목이 도 8의 (c)와 같이 제공되고 있다. 여기서, 도 8의 (c)와 같이, 상기 이동 단말기의 뷰어 어플리케이션을 상기 동영상 제공 항목에 포커스하면, 관련 동영상이 수동 또는 자동 재생될 수 있으며, 상기 화면 포커스를 변경하거나 화면의 다른 영역에 대한 액세스가 있으면 상기 재생되는 동영상이 일시 정지 또는 중단될 수 있다. 이는 이동 단말기의 뷰어 어플리케이션을 통한 제품 인식 및 증강현실을 이용한 제품 액세스의 일 실시예로서 본 발명은 이러한 UX 구성 및 액세스 방식에 한정되는 것은 아니다.
도 7과 8뿐만 아니라 본 발명에 따른 증강현실 인식된 제품에 대한 정보 제공은 여러 페이지로 구성되어 사용자의 액션에 따라 순차 제공될 수 있다. 예를 들어, 도 8의 (b)에서 비록 메뉴 항목으로 제공되지 않았으나, 사용자가 화면의 일 영역을 선택하면, 상기 제품 즉, 책과 관련된 다른 정보 예를 들어, 해당 작가의 다른 작품이나 현재 활동 등에 대한 기사나 정보 등을 제공받을 수도 있다.
한편, 본 발명에서는 단순하게 개인 사용자들에 의해 입력되어 서버나 기타 외부 서버나 SNS 서버 등에 업로드되는 정보는 그 정보의 오류를 검증할 수단이 없어 이를 그대로 활용하는 것은 또 하나의 문제가 될 수 있다. 따라서, 본 발명에서는 서버단에서 빅데이터와 인공 지능 등을 활용하여, 관련 전문가의 의견, 논문, 증명 가능하거나 사용 가능한 정보를 수집하고 개인 사용자의 개인 정보와 서로 비교 대조하여 신뢰도가 미리 정한 수준 이상의 경우에만 정보를 제공할 수 있다. 상기 해당 정보의 신뢰도에 대한 데이터를 별도로 제공 가능하며, 신뢰도가 상기 미리 정한 수준 미만인 경우에는 관련 논의 등이 있음 정도로 정보 제공하거나 아예 정보를 제공하지 않는 것이 바람직하다. 또한, 본 발명에 따라 서버는 당사자 개인의 개인 정보가 입력되면, 상기 개인 정보로부터 추출된 의료나 건강 데이터 관련 정보를 우선하여 상기 신뢰할 수 있는 데이터와 비교하고 계속하여 업데이트함으로써 오류로 인한 피?를 미연에 방지하거나 최소화할 수 있도록 업데이트 주기를 조정할 수 있다.
결국 본 발명에 따르면, 서버 시스템은 상품 정보, 상품 마커 데이터베이스, 보이스, 텍스트 입력 데이터, 질의 응답, 로그 데이터 등을 실시간으로 수집하여 분석 및 축적하고, 모바일 애플리케이션은 상품을 인식하고 상품 정보를 조회 및 관리, 상품 추천, 칼로리 코칭, 음성 분석 등이 이루어지며, 음성 인식 스피커 시스템은 유저 음성 데이터의 수집, 축적, 빅데이터 분석 시스템, 분석 자료 서비스 및 마케팅에 필요한 운영 툴을 개발할 수 있다.
본 발명의 다른 일 실시예에 따른 증강현실 컨텐츠 저작 방법은, 단말로부터 업로드되는 이미지 데이터를 수신하는 단계; 상기 단말로부터 업로드된 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하는 단계; 상기 데이터에 기초하여 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리하는 단계; 및 상기 인공지능 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 단계;를 포함하여 이루어지되, 상기 단말로부터 상기 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 수집하는 단계; 및 상기 수신된 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 더 포함하여 증강현실 구현 처리하는 단계;를 더 포함하고, 상기 데이터베이스에 저장하는 단계는, 상기 증강현실 이미지 데이터와 관련 정보를 색인 번호를 이용하여 연동하여 저장하고, 상기 저장되는 관련 정보에는 상기 이미지 데이터와 관련된 동영상 데이터가 포함되며, 상기 단말에 의해 촬영되는 이미지 데이터를 수신하는 단계; 상기 수신된 단말의 이미지 데이터를 상기 데이터베이스의 저장된 이미지 데이터와 비교하여 인식하는 단계; 및 상기 인식된 이미지 데이터에 대해 상기 데이터베이스에 저장된 증강현실 데이터를 상기 단말로 전송하여 출력하도록 제어하는 단계;를 더 포함하고, 상기 저장되는 관련 정보는, 상기 수신된 단말의 개인 정보에 기초하여 상기 이미지 데이터의 성분 및 추천 상품에 대한 개인화 데이터도 포함하며, 상기 단말로 전송되어 출력 제어되는 증강현실 데이터는, 일반 모드와 개인화 모드로 구성되고, 상기 단말로 전송되어 출력 제어되는 증강현실 데이터는, 상기 단말에 의해 촬영되는 이미지 데이터에 따라 상품 인식 모드, 유저 데이터 리스트 모드, 칼로리 코칭 모드 및 개인화 모드로 구분되거나 순차 제공되며, 상기 증강현실 컨텐츠 저작은, 플랫폼에 의해 이루어지고, 상기 서버의 이미지 인식은 서버-클라이언트 방식으로 이루어지되, 상기 클라이언트는 증강현실 실시간 물체 인식을 위하여 특히, 이미지를 획득하여 서버로 전송하는 물체 추적을 위하여 모션 추정 기법(motion estimation method)를 이용하여 공간 영역 기술(블록 매칭과 픽셀 기반 메소드(반화소, 퀴즈 픽셀)를 통해 양방향 모션 추정(객체 경계에 대한 Fwd/Bwd MVs)과 파라 메트릭 모델 기반 모션 추정(카메라 회전 또는 확대/축소) 기법을 활용하여 모션 추정을 통하여 증강현실 이미지를 획득하고 이를 서버로 전송하고, 상기 서버는 대용량의 오브젝트나 텍스트와 같은 물체 및 랜드 마크와 관련된 물체를 인식하고, 정보를 저장하는데 상기 저장을 위하여 보카불러리즈 오브 로컬 비쥬얼 피쳐(Vocabularies of local visual features) 기술을 참조하여, 클라이언트로부터 획득한 모든 데이터베이스 이미지가 색인 번호로 로드되고, 새로운 이미지는 공유하는 데이터베이스의 이미지의 인덱스에 매핑되는 형식으로 데이터베이스 내 정보가 업데이트되고 가공될 수 있다. 즉, 서버단에서는 제품에 대하여 검색하고자 하는 이미지, 텍스트, 바코드 등의 유형을 인지하여 이를 분석하고 분류하여 결과를 제공하는 것을 특징으로 한다.
본 명세서에서 기술된 동작들은 설명의 편의를 위하여 순차 동작되는 것으로 기술하였으나 반드시 이에 한정되는 것은 아니며, 일 실시예에 따르면, 복수의 동작이 동시에 수행될 수도 있으며, 일부 동작은 도시되거나 기술된 바와 다르게 그 순서가 변경 실행되도록 구현될 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(Complier)에 의해 만들어지는 것과 같은 기계어 코드(machine code)뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 다양한 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
본 발명은 증강현실 컨텐츠 저작 방법 및 장치에 관한 것으로서, 다양한 컨텐츠 저작 방법 및 장치에 이용하는 것이 가능하다.
100: 증강현실 데이터 처리 시스템
101: 이동 단말기
102: 음성인식 스피커
110: 빅데이터 처리/분석 시스템
120: 데이터 베이스
130: 운영 관리자

Claims (10)

  1. 단말로부터 업로드되는 이미지 데이터를 수신하는 단계;
    상기 단말로부터 업로드된 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하는 단계;
    상기 데이터에 기초하여 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리를 수행하는 단계; 및
    상기 인공지능 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  2. 제1항에 있어서,
    상기 단말로부터 상기 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 수집하는 단계; 및
    상기 수신된 이미지 데이터 내 특정 영역과 관련된 영상 데이터를 더 포함하여 증강현실 구현 처리하는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  3. 제1항에 있어서,
    상기 데이터베이스에 저장하는 단계는,
    상기 증강현실 이미지 데이터와 관련 정보를 색인 번호를 이용하여 연동하여 저장하는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  4. 제1항에 있어서,
    상기 저장되는 관련 정보에는 상기 이미지 데이터와 관련된 동영상 데이터가 포함되는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  5. 제1항 또는 제4항에 있어서,
    상기 단말에 의해 촬영되는 이미지 데이터를 수신하는 단계;
    상기 수신된 단말의 이미지 데이터를 상기 데이터베이스의 저장된 이미지 데이터와 비교하여 인식하는 단계; 및
    상기 인식된 이미지 데이터에 대해 상기 데이터베이스에 저장된 증강현실 데이터를 상기 단말로 전송하여 출력하도록 제어하는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  6. 제1항에 있어서,
    상기 저장되는 관련 정보는,
    상기 수신된 단말의 개인 정보에 기초하여 상기 이미지 데이터의 성분 및 추천 상품에 대한 개인화 데이터도 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  7. 제5항에 있어서,
    상기 단말로 전송되어 출력 제어되는 증강현실 데이터는,
    일반 모드와 개인화 모드로 구성되는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  8. 제5항에 있어서,
    상기 단말로 전송되어 출력 제어되는 증강현실 데이터는,
    상기 단말에 의해 촬영되는 이미지 데이터에 따라 상품 인식 모드, 유저 데이터 리스트 모드, 칼로리 코칭 모드 및 개인화 모드로 구분되거나 순차 제공되는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  9. 제1항에 있어서,
    상기 증강현실 컨텐츠 저작은,
    플랫폼에 의해 이루어지는 것을 특징으로 하는 증강현실 컨텐츠 저작 방법.
  10. 이미지 데이터를 업로드하고 증강현실 데이터를 출력하는 단말; 및
    상기 단말로부터 업로드되는 이미지 데이터와, 상기 업로드되는 이미지 데이터의 증강현실 구현과 관련된 마커 데이터, 증강현실 메뉴 데이터 및 링크 데이터와 상기 단말 사용자의 개인 정보를 수신하여, 상기 업로드된 이미지 데이터에 대한 증강현실 구현을 위한 인공지능 처리를 수행하고, 상기 처리된 증강현실 이미지 데이터 및 관련 정보를 데이터베이스에 저장하는 서버;
    를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 저작 장치.
KR1020180095463A 2018-08-16 2018-08-16 증강현실 컨텐츠 저작 방법 및 장치 KR102139293B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095463A KR102139293B1 (ko) 2018-08-16 2018-08-16 증강현실 컨텐츠 저작 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095463A KR102139293B1 (ko) 2018-08-16 2018-08-16 증강현실 컨텐츠 저작 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200020127A true KR20200020127A (ko) 2020-02-26
KR102139293B1 KR102139293B1 (ko) 2020-07-29

Family

ID=69638114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095463A KR102139293B1 (ko) 2018-08-16 2018-08-16 증강현실 컨텐츠 저작 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102139293B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557545B1 (ko) 2022-10-26 2023-07-21 주식회사 투스페이스 증강 현실 기반의 구매 물품 리뷰 서비스 제공 방법 및 이에 사용되는 관리 서버

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102554282B1 (ko) * 2020-12-04 2023-07-11 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120134321A (ko) * 2011-06-02 2012-12-12 (주)엘에이치에스지 클라우드 기반 증강 현실 시스템
KR20150131567A (ko) * 2014-05-15 2015-11-25 삼성전자주식회사 증강 현실 장치, 증강 현실 제공 방법 및 컴퓨터 판독 가능 기록 매체
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120134321A (ko) * 2011-06-02 2012-12-12 (주)엘에이치에스지 클라우드 기반 증강 현실 시스템
KR20150131567A (ko) * 2014-05-15 2015-11-25 삼성전자주식회사 증강 현실 장치, 증강 현실 제공 방법 및 컴퓨터 판독 가능 기록 매체
KR101815158B1 (ko) * 2016-11-10 2018-01-05 주식회사 팝스라인 Mr 콘텐츠 제작 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557545B1 (ko) 2022-10-26 2023-07-21 주식회사 투스페이스 증강 현실 기반의 구매 물품 리뷰 서비스 제공 방법 및 이에 사용되는 관리 서버

Also Published As

Publication number Publication date
KR102139293B1 (ko) 2020-07-29

Similar Documents

Publication Publication Date Title
Lobe et al. Qualitative data collection in an era of social distancing
McCarthy et al. Engaging fringe stakeholders in business and society research: Applying visual participatory research methods
Carlson Journalistic epistemology and digital news circulation: Infrastructure, circulation practices, and epistemic contests
Coll Power, knowledge, and the subjects of privacy: understanding privacy as the ally of surveillance
Banghart et al. Organizational boundary regulation through social media policies
Palmgreen et al. Gratifications sought and media exposure an expectancy value model
Jamal et al. The school environment and student health: a systematic review and meta-ethnography of qualitative research
Oudshoorn et al. Configuring the user as everybody: Gender and design cultures in information and communication technologies
Kallemeyn et al. Exploring the relevance of complexity theory for mixed methods research
Williams The logical structure of the service-dominant logic of marketing
Rampton Foucault, Gumperz and governmentality: Interaction, power and subjectivity in the twenty-first century
Brock et al. A comparison of visual scene and grid displays for people with chronic aphasia: A pilot study to improve communication using AAC
KR20210156283A (ko) 프롬프트 정보 처리 장치 및 방법
CN108369633A (zh) 相册的视觉表示
Liao Mobile versus headworn augmented reality: How visions of the future shape, contest, and stabilize an emerging technology
Rampton Gumperz and governmentality in the 21st century: Interaction, power and subjectivity
Hung et al. Facilitators and barriers to using telepresence robots in aged care settings: a scoping review
CN108961072A (zh) 推送保险产品的方法、装置、计算机设备和存储介质
Riggs Mobile responsive websites and local planning departments in the US: Opportunities for the future
Courtney Privatising educational leadership through technology in the Trumpian era
Cegarra-Navarro et al. Implementing telemedicine through eListening in hospital-in-the-home units
Castillejo et al. Ontology-based model for supporting dynamic and adaptive user interfaces
Lawson et al. About turn: The visual representation of human body orientation revealed by adaptation
Saravani et al. A theory of mobile library service delivery
KR102139293B1 (ko) 증강현실 컨텐츠 저작 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant