KR102187661B1 - Ar 포토 재생 방법 및 시스템 - Google Patents

Ar 포토 재생 방법 및 시스템 Download PDF

Info

Publication number
KR102187661B1
KR102187661B1 KR1020200046614A KR20200046614A KR102187661B1 KR 102187661 B1 KR102187661 B1 KR 102187661B1 KR 1020200046614 A KR1020200046614 A KR 1020200046614A KR 20200046614 A KR20200046614 A KR 20200046614A KR 102187661 B1 KR102187661 B1 KR 102187661B1
Authority
KR
South Korea
Prior art keywords
photo
image
code
terminal
video
Prior art date
Application number
KR1020200046614A
Other languages
English (en)
Inventor
임주혁
Original Assignee
주식회사 비포코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비포코리아 filed Critical 주식회사 비포코리아
Priority to KR1020200046614A priority Critical patent/KR102187661B1/ko
Application granted granted Critical
Publication of KR102187661B1 publication Critical patent/KR102187661B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

AR 포토 재생 방법 및 시스템을 개시한다.
본 실시예는 촬영한 동영상을 편집하고, 동영상 내에서 선택한 대표 이미지에 대응하는 마커를 포함하는 AR 포토를 출력하도록 하며, 카메라로 AR 포토를 촬영하면, AR 포토 영역에 마커에 대응하는 동영상이 재생되도록 하는 AR 포토 재생 방법 및 장치를 제공한다.

Description

AR 포토 재생 방법 및 시스템{Method and System for Playing Augmented Reality Photograph}
본 발명의 일 실시예는 AR 포토 재생 방법 및 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
스마트폰, 태블릿 등의 성능이 향상되고 보급이 확산됨에 따라 동영상 촬영을 기능이 많이 사용되고 있다. 정보통신이 발달하면서 컴퓨터를 이용하여 각종 정보를 얻어서 가공하고, 랜(LAN)이나 인터넷 등에 접속된 컴퓨터에서 공중 통신망을 이용하여 데이터를 제공한다.
일반적으로 스마트폰, 태블릿 등으로 촬영한 영상을 장기간 보관하기 위해서 전자 기기들의 메모리카드에 저장된 영상 정보를 퍼스널 컴퓨터(PC)로 이동시킨 후 저장한다.
퍼스널 컴퓨터(PC)로 이동시킨 동영상을 보기 위해서 반드시 사용자가 퍼스널 컴퓨터(PC) 내에 저장된 파일을 찾아서 수동으로 재생해야 과정을 거친다. 퍼스널 컴퓨터(PC) 내에 저장된 동영상을 찾아 재생시키기 위해서는 파일 이름이나 디렉토리를 기억하고 있어야 한다. 동영상 파일 이름이나 디렉토리를 기억하고 있지 못하면 많은 동영상을 일일이 재생시켜가며 확인해야 하는 번거로움이 있다.
네트워크로 연결되어 있는 서로 다른 컴퓨터 사이에 데이터를 주고받을 수 있으며, 사용자는 텍스트, 이미지, 동영상 등으로 이루어지는 다양한 형태의 정보를 주고받을 수 있는데, 동영상은 용량이 크기 때문에 받아 보기가 어렵고, 통신망을 통해 일반 사용자가 전송하기 어렵다는 문제가 있다.
본 실시예는 촬영한 동영상을 편집하고, 동영상 내에서 선택한 대표 이미지에 대응하는 마커를 포함하는 AR 포토를 출력하도록 하며, 카메라로 AR 포토를 촬영하면, AR 포토 영역에 마커에 대응하는 동영상이 재생되도록 하는 AR 포토 재생 방법 및 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 데이터에 포함된 복수의 프레임 중 선정된 대표 프레임을 식별하기 위한 마커(Marker)를 생성하고, 상기 대표 프레임과 상기 마커를 결합하여 대표 이미지를 생성하고, 상기 대표 이미지를 출력물로서 프린트하도록 요청하는 동영상 저작 단말기; 상기 대표 이미지를 AR 포토(Augmented Reality Photograph)로서 출력하는 프린트; 구비된 카메라 모듈을 이용하여 상기 AR 포토를 비추면, 상기 AR 포토에 포함된 상기 마커를 인식한 후 상기 마커에 대응하는 코드를 추출하고, 상기 코드와 상기 AR 포토를 비춘 AR 포토 이미지가 인증되면, 서버로부터 상기 코드에 대응하는 영상 데이터를 수신하여 출력 화면 내의 상기 AR 포토가 존재하는 영역에 상기 코드에 대응하는 영상 데이터가 오버레이되어 재생되도록 하는 동영상 재생 단말기; 및 상기 동영상 재생 단말기로부터 수신된 상기 코드가 존재하는 지를 확인하고, 확인 결과 상기 코드가 존재하면 상기 코드에 매칭된 상기 영상 데이터를 추출하여 상기 동영상 재생 단말기로 전송하는 AR 포토 재생 서버;를 포함하는 것을 특징으로 하는 AR 포토 재생 시스템을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 촬영한 동영상을 편집하고, 동영상 내에서 선택한 대표 이미지에 대응하는 마커를 포함하는 AR 포토를 출력하도록 하며, 카메라로 AR 포토를 촬영하면, AR 포토 영역 상에 마커에 대응하는 동영상이 재생되도록 하는 효과가 있다.
본 실시예에 의하면, AR 포토를 재생할 때, 마커가 존재하고, 마커에 대응하는 기 저장된 이미지가 존재할 때만, 마커에 대응하는 동영상이 재생되므로, 보안을 필요로하는 동영상 유통이 가능하도록 하는 효과가 있다.
도 1은 본 실시예에 따른 AR 포토 재생 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 실시예에 따른 촬영된 동영상을 선택하는 과정을 나타낸 도면이다.
도 3a,3b는 본 실시예에 따른 촬영된 동영상을 편집하고 대표 이미지를 결정하는 과정을 나타낸 도면이다.
도 4는 본 실시예에 따른 선택된 동영상의 대표 이미지를 AR 포토로 프린트하는 과정을 나타낸 도면이다.
도 5는 본 실시예에 따른 대표 이미지를 AR 포토로 출력하는 과정을 나타낸 도면이다.
도 6은 본 실시예에 따른 AR 포토를 카메라로 촬영하는 경우, 해당 영역에 영상을 재생하는 과정을 나타낸 도면이다.
도 7은 본 실시예에 따른 퍼블릭 AR 포토와 프라이빗 AR 포토를 나타낸 도면이다.
도 8은 본 실시예에 따른 AR 포토에 대응하는 영상을 재생할 때 화면에 고정하는 핀 기능을 나타낸 도면이다.
도 9는 본 실시예에 따른 AR 포토에 대응하는 영상 길이에 따른 요금 부과를 나타낸 도면이다.
도 10은 본 실시예에 따른 영상 데이터에 대한 신고 기능을 나타낸 도면이다.
도 11은 본 실시예에 따른 마커 생성 방법을 나타낸 개념도이다.
도 12는 본 실시예에 따른 마커 없이 식별값을 매칭하는 방법을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 AR 포토 재생 시스템을 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 AR 포토 재생 시스템은 AR 포토 재생 애플리케이션(110), 단말기(120), AR 포토 재생 서버(130), 프린터(140) 및 AR 포토(150)를 포함한다. AR 포토 재생 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
AR 포토 재생 애플리케이션(110)은 단말기(120)의 메모리 내에 탑재되어 구동되는 프로그램을 의미한다. AR 포토 재생 애플리케이션(110)은 단말기(120)에 임베디드(Embedded) 형태로 탑재되거나, OS(Operating System)에 인스톨되는 형태로 탑재될 수 있다.
AR 포토 재생 애플리케이션(110)은 단말기(120)에 탑재되어, 단말기(120)에 구비된 각종 하드웨어를 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 별도의 장치로 구현되어 동작될 수 있다. AR 포토 재생 애플리케이션(110)은 단말기(120) 내에 기 설치된 애플리케이션들과 연동하여 동작할 수도 있다.
본 실시예에 따른 AR 포토 재생 애플리케이션(110)은 단말기(120)에 탑재되어, 영상 데이터에 대한 대표 프레임을 식별하기 위한 마커(Marker)를 생성하고, 대표 프레임에 마커를 결합한 대표 이미지를 생성하는 동영상 저작에 이용될 수 있다. AR 포토 재생 애플리케이션(110)은 대표 이미지를 출력물로서 프린트하도록 프린터(140)에 요청한다.
AR 포토 재생 애플리케이션(110)은 단말기(120)에 탑재되어, AR 포토(150)에 대응하는 동영상을 재생하기 위해 단말기(120)에 구비된 카메라 모듈로 AR 포토(150)를 비추면, AR 포토(150)에 포함된 마커를 인식한다. AR 포토 재생 애플리케이션(110)은 마커에 대응하는 코드를 추출한 후 AR 포토 재생 서버(130)로 마커에 대응하는 코드와 AR 포토(150)를 촬영한 AR 포토 이미지를 전송한다. AR 포토 재생 애플리케이션(110)은 AR 포토 재생 서버(130)로부터 AR 포토 이미지에 대응하는 영상 데이터를 수신한 후 출력 화면 내의 AR 포토(150)가 존재하는 영역에 AR 포토 이미지에 대응하는 영상 데이터가 오버레이(Overlay)되어 재생되도록 한다.
단말기(120)는 사용자의 키 조작에 따라 네트워크를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 단말기(120)는 네트워크를 경유하여 AR 포토 재생 서버(130)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다.
단말기(120)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트 글래스(Smart Glasses) 등과 같은 전자 기기일 수 있다.
단말기(120)는 (ⅰ) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다. 단말기(120)의 메모리 상에 AR 포토 재생 애플리케이션(110)이 탑재된다.
본 실시예에 따른 단말기(120)는 동영상 저작 단말기로서 AR 포토 재생 애플리케이션(110)을 이용하여 촬영된 동영상을 불러오고, 해당 동영상을 편집한다. 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 편집된 동영상 중 특정 프레임을 선택하여 프린터(140)로 출력하도록 한다.
다시 말해, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 영상 데이터에 대한 대표 프레임을 식별하기 위한 마커를 생성한다. 단말기(120)는 대표 프레임에 마커를 결합하여 대표 이미지를 생성하고, 대표 이미지를 출력물로서 프린트하도록 요청한다.
단말기(120)는 동영상 재생 단말기로서 AR 포토 재생 애플리케이션(110)을 이용하여 프린터(140)에서 출력한 AR 포토(150)를 카메라로 비추면, AR 포토(150)가 존재하는 영역에 AR 포토(150)에 대응하는 동영상이 재생되어 출력되도록 한다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 구비된 카메라 모듈로 AR 포토(150)를 비추면, AR 포토(150)에 포함된 마커를 인식한다. 단말기(120)는 마커에 대응하는 코드를 추출하고, 코드와 AR 포토 이미지가 모두 인증되면, AR 포토 재생 서버(130)로부터 AR 포토(150)에 대응하는 영상 데이터를 수신한 후 출력 화면 내의 AR 포토(150)가 존재하는 영역에 영상 데이터가 오버레이되어 재생되도록 한다.
여기서, 마커(Marker)는 일종의 2D 바코드이다. 단말기(120)는 AR 포토(150)를 촬영하면, AR 포토(150)의 일측(예컨대, AR 포토(150) 아래쪽)에 포함된 마커를 인식하고, 마커에 대응하는 코드를 읽어온다.
단말기(120)는 구비된 카메라 모듈을 이용하여 AR 포토를 비추면, AR 포토에 포함된 마커를 인식한다. 단말기(120)는 마커에 대응하는 코드를 추출하고, 코드를 AR 포토 재생 서버(130)로 전송한다. 단말기(120)는 AR 포토 재생 서버(130)로부터 코드에 매칭된 대표 이미지를 다운로드한다.
단말기(120)는 AR 포토(150)를 비춘 AR 포토 이미지와 코드에 매칭된 대표 이미지가 일치하는 지를 확인한다. 단말기(120)는 AR 포토 이미지와 대표 이미지가 일치한다고 판단하면, AR 포토 재생 서버(130)로부터 코드에 대응하는 영상 데이터를 수신한다. 다시 말해, 단말기(120)는 AR 포토 이미지로부터 특징점을 추출하고, 코드에 매칭된 대표 이미지로부터 특징점을 추출하여 서로 비교한 후 기 설정된 임계치 이상으로 특징점이 일치하는 경우에만 AR 포토 재생 서버(130)로부터 코드에 대응하는 영상 데이터를 수신한다. 단말기(120)는 출력 화면 내의 AR 포토(150)가 존재하는 영역에 코드에 대응하는 영상 데이터가 오버레이되어 재생되도록 한다.
동영상 재생하는 단말기(120)는 AR 포토 재생 서버(130)로부터 AR 포토(150)에 대응하는 영상 데이터를 수신하는 경우, AR 포토(150)에 대응되는 영역에 영상 데이터를 오버레이 시켜서 재생한다. 단말기(120)는 AR 포토(150)에 대응하는 영상 데이터를 출력하는 화면의 일측에 대해 기 설정된 시간동안 입력이 존재하는 경우, 핀 기능으로 AR 포토(150)가 존재하는 영역에만 출력되던 영상 데이터를 화면의 기 설정된 영역으로 고정하여 재생한다.
단말기(120)는 출력 화면에 대해 기 설정된 입력(두 번 연속 탭)이 존재하면, AR 포토(150)에 대응하는 영상 데이터가 전체화면으로 출력되도록 전환한다.
단말기(120)는 AR 포토(150)에서 마커를 인지한 후 출력 화면 상에서 마커의 좌표를 추출한 후 마커의 좌표를 기준으로 AR 포토(150)가 존재하는 영역을 영상 재생 영역으로 결정한다. 단말기(120)는 출력 화면 상에서 마커의 좌표를 추적하면서 마커의 좌표를 기준으로 영상 재생 영역 내에 영상 데이터를 오버레이 시킨다.
AR 포토 재생 서버(130)는 하드웨어적으로 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 하드웨어 모듈을 포함한다. AR 포토 재생 서버(130)는 웹서버 또는 네트워크 서버의 형태로 구현될 수 있다. AR 포토 재생 서버(130)는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 경유하여 불특정 다수 클라이언트 또는 다른 서버와 통신한다.
AR 포토 재생 서버(130)는 클라이언트 또는 다른 웹서버의 작업수행 요청에 대응하는 작업 결과를 도출하여 제공하는 컴퓨터 시스템, 컴퓨터 소프트웨어(웹서버 프로그램)를 의미한다. AR 포토 재생 서버(130)는 웹서버상에서 동작하는 일련의 응용 프로그램(Application Program) 또는 장치 내부에 구축되어 있는 각종 데이터베이스를 포함한다. AR 포토 재생 서버(130)는 인증 시스템 또는 금융기관 결제 시스템과 연동하여 결제 서비스를 제공한다.
본 실시예에 따른 AR 포토 재생 서버(130)는 단말기(120)의 요청에 따라 AR 포토(150)에 매칭된 현실 사물을 위해 디지털 정보를 불러오는 증강현실(AR)을 이용한 비디오가 재생되도록 한다.
AR 포토 재생 서버(130)는 기본적으로 개인 소비자용으로 개인 사용자 계정과 AR 포토(150)에 매칭된 영상 데이터가 재생되도록 하며, AR 포토(150)가 신문, 잡지, 매거진 등에 개시된 광고에 적용된 경우 광고 상품에 매칭된 영상 데이터가 재생되도록 한다.
AR 포토 재생 서버(130)는 기본적으로 개인 소비자용으로 개인 사용자 계정과 AR 포토(150)에 매칭된 디지털 정보를 온라인으로 공유할 수 있다. AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 대표 이미지에 마커, 영상 데이터를 매칭하여 저장한다.
AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 마커가 비지니스용으로 판매된 마커인 경우, 마커에 대응하는 코드를 추출한 후 최초로 마커를 읽은 사용자 계정에 코드를 귀속시켜서 구매자만 마커에 대응하는 영상을 재생시키도록 제어한다.
AR 포토 재생 서버(130)는 동영상 재생하는 단말기(120)로부터 마커에 대응하는 코드와 AR 포토 이미지를 수신한다. AR 포토 재생 서버(130)는 동영상을 재생하기 위한 단말기(120)로부터 수신된 마커에 대응하는 코드가 존재하는 지를 확인한다. 확인 결과 코드가 존재하면, AR 포토 재생 서버(130)는 코드에 매칭된 대표 이미지를 추출한다. AR 포토 재생 서버(130)는 AR 포토 이미지와 대표 이미지가 일치하면, 대표 이미지에 매칭된 영상 데이터를 추출하여 동영상 재생 단말기(120)로 전송한다.
AR 포토 재생 서버(130)는 AR 포토 이미지로부터 특징점을 추출하고, 대표 이미지로부터 특징점을 추출하여 서로 비교한다.
비교 결과, AR 포토 이미지의 특징점과 대표 이미지의 특징점이 기 설정된 임계치 이상으로 일치하는 경우에만 AR 포토 재생 서버(130)는 대표 이미지에 대응하는 영상 데이터를 추출하여 동영상 재생 단말기(120)로 전송한다.
AR 포토 재생 서버(130)는 동영상 저작 단말기(120)로부터 새롭게 업로드를 요청받은 경우, 새롭게 업로드를 요청받은 대표 이미지와 이미 등록된 동일한 이미지가 존재하는 지를 확인한다. 확인 결과, 새롭게 업로드를 요청받은 대표 이미지와 이미 등록된 동일한 이미지가 존재하는 경우, AR 포토 재생 서버(130)는 새롭게 업로드를 요청받은 대표 이미지에 매칭된 코드와 동일한 이미지에 매칭된 코드가 동일한지를 확인한다. 확인 결과, 새롭게 업로드를 요청받은 대표 이미지에 매칭된 코드와 동일한 이미지에 매칭된 코드가 서로 상이한 경우, AR 포토 재생 서버(130)는 새롭게 업로드를 요청받은 대표 이미지에 상이한 코드를 매칭하여 등록한다.
AR 포토 재생 서버(130)는 AR 포토 이미지와 대표 이미지가 미일치하는 경우, 코드에 매칭된 영상 데이터에 포함된 복수의 프레임 중 AR 포토 이미지가 어느 한 프레임과 일치하는 경우, 코드에 매칭된 영상 데이터를 동영상 재생 단말기(120)로 전송할 수 있다.
AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 코드가 퍼블릭 마커(Public Marker)를 나타내는 코드인 경우, 퍼블릭 코드에 대응하는 영상 데이터를 비로그인 상태 또는 로그인 상태의 단말기(120)로 전송한다.
AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 코드가 프라이빗 마커(Private Marker)를 나타내는 코드인 경우, 프라이빗 코드에 대응하는 영상 데이터를 로그인 상태의 단말기(120)로 전송한다.
AR 포토 재생 서버(130)는 로그인 정보를 이용하여 프라이빗 코드에 대응하는 영상 데이터를 재생한 사용자 계정을 확인하여 프라이빗 코드를 포함하는 프라이빗 AR 포토의 전달 경로를 파악한다.
AR 포토 재생 서버(130)는 프라이빗 코드에 대응하는 영상 데이터를 재생시키기 위해 사용자 계정마다 재생 권한을 부여한다. 프라이빗 코드에 대응하는 영상 데이터에 대한 재생 권한이 부여된 사용자 계정을 갖는 단말기(120)가 프라이빗 코드를 포함하는 프라이빗 AR 포토를 비추면, AR 포토 재생 서버(130)는 재생 권한이 부여된 사용자 계정을 갖는 단말기(120)로 추가 코드를 요청한다.
AR 포토 재생 서버(130)는 재생 권한이 부여된 사용자 계정을 갖는 단말기(120)로부터 입력된 추가 코드가 인증되는 경우에만 프라이빗 코드에 대응하는 영상 데이터를 재생 권한이 부여된 사용자 계정을 갖는 단말기(120)로 전송한다. AR 포토 재생 서버(130)는 앨범 내에서 영상 데이터가 삭제되면, 재생 권한이 부여된 모든 사용자 계정 정보를 삭제한다.
단말기(120)는 프라이빗 마커에 대응되는 영상데이터의 재생을 요청시 단말의 식별정보(사용자 계정)에 대한 정보를 함께 전송할 수 있다. AR 포토 재생 서버(130)는 사용자 계정에 대한 영상 재생 권한을 추가적으로 확인하고 단말기(120)로 프라이빗 마커에 대응되는 영상 데이터를 전송할 수 있다.
AR 포토 재생 서버(130)는 마커에 영상 데이터를 매칭하여 업로드할 때, 영상 데이터의 길이에 따라 무료 영상과 유료 영상을 구분하여 과금한다. AR 포토 재생 서버(130)는 AR 포토(150)에 대응하는 영상 길이에 따른 요금 부과한다.
AR 포토 재생 서버(130)는 업로드가 요청된 영상 데이터의 길이(러닝 타임)가 기 설정된 제1 임계 시간(예컨대, 15초) 이내인 경우, 영상 데이터를 무료 영상으로 구분하여 업로드한다. AR 포토 재생 서버(130)는 단말기(120)에서 광고를 시청하는 경우, 영상 데이터를 무료로 업로드할 수 있도록 한다.
AR 포토 재생 서버(130)는 단말기(120)에서 광고를 시청하는 경우, 무료 영상을 단말기(120)로 전송한다.
AR 포토 재생 서버(130)는 업로드가 요청된 영상 데이터의 길이(러닝 타임)가 기 설정된 제2 임계 시간(예컨대, 1분)을 초과하는 경우, 영상 데이터를 유료 영상으로 구분하여 영상을 업로드한다. AR 포토 재생 서버(130)는 유료 영상으로 구분된 영상 데이터를 기 설정된 시간 단위(예컨대, 30초)로 유료 코인을 부과하여 영상을 업로드할 수 있다. AR 포토 재생 서버(130)는 단말기(120)에서 유료 영상을 수신하여 재생할 때, 기 설정된 임계 단위(예컨대, 30초 단위)로 보유한 유료 코인(예컨대, 30초당 1코인)을 소모하도록 한다.
프린터(140)는 단말기(120)로부터 마커를 포함하는 AR 포토(150)에 대응하는 데이터를 수신한다. 프린터(140)는 AR 포토(150)에 대응하는 데이터를 출력물로서 출력한다.
도 2는 본 실시예에 따른 촬영된 동영상을 선택하는 과정을 나타낸 도면이다.
단말기(120)는 구비된 카메라 모듈을 이용하여 영상을 촬영한 영상을 저장하거나 별도의 모듈을 이용하여 3D 객체를 이용한 3D 객체 영상을 생성한다. 도 3에 도시된 바와 같이, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 촬영된 동영상 또는 생성된 3D 객체 영상을 불러온다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 촬영된 동영상 또는 생성된 3D 객체 영상을 하나의 화면상에 동영상 목록으로 출력한다. 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 동영상 목록 중 하나를 선택하여 재생한다. 단말기(120)의 화면상의 일측에는 동영상 목록 중 선택된 동영상이 재생되고, 화면상의 타측에는 동영상 프레임이 나타나도록 한다.
도 3a,3b는 본 실시예에 따른 촬영된 동영상을 편집하고 대표 이미지를 결정하는 과정을 나타낸 도면이다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 촬영된 영상 또는 3D 객체 영상의 길이를 편집하여 영상 데이터를 생성한다. 단말기(120)는 영상 데이터 내에 포함된 복수의 프레임 중 어느 하나를 대표 프레임으로 선택하면, 대표 프레임을 식별하기 위한 마커를 생성한다. 다시 말해, 단말기(120)는 대표 프레임에 대한 식별자를 포함하는 이차원 바코드 형태의 마커를 생성한다.
단말기(120)는 대표 프레임과 마커를 결합하여 대표 이미지로 생성한다. 다시 말해, 단말기(120)는 마커를 대표 프레임에 포함시킨 대표 이미지를 생성한 후 영상 데이터에 대표 이미지를 매칭하여 AR 포토 재생 서버(130)로 업로드한다.
AR 포토 재생 서버(130)는 개인 계정에 코드에 대응하는 대표 이미지를 매칭하여 저장하고, 대표 이미지에 영상 데이터를 매칭하여 저장한다. AR 포토 재생 서버(130)는 영상 데이터의 길이에 따른 식별자를 부여하여 마커를 식별하기 위한 코드와 함께 저장한다.
도 3a에 도시된 바와 같이, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 촬영된 동영상 또는 생성된 3D 객체 영상의 길이를 조절하는 형태로 편집한 후 해당 파트에 식별자를 부여한다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 편집된 동영상을 AR 포토 재생 서버(130)로 업로드한다. AR 포토 재생 서버(130)는 편집된 동영상을 개인 계정에 매칭하여 업로드한다.
도 3b에 도시된 바와 같이, 단말기(120)는 편집된 동영상을 AR 포토 재생 서버(130)로 업로드할 때, 단말기(120)는 편집된 동영상을 중 대표 프레임을 선택한다. 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 대표 프레임을 식별하기 위한 마커를 생성한다. 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 대표 프레임에 마커를 결합한 대표 이미지를 생성한다. 단말기(120)는 영상 데이터에 포함된 복수의 프레임 중 대표 프레임을 선택할 때, 기본 이미지(제일 첫 화면 또는 기 설정된 재생시간의 화면)가 자동으로 선택될 수 있다.
단말기(120)는 편집된 동영상의 대표 이미지를 생성한 후 AR 포토 재생 서버(130)에 등록할 때, AR 포토 재생 서버(130)에 이미 중복된 이미지(즉, 동일한 이미지)가 존재하더라도 마커를 식별하기 위한 상이한 코드가 매칭된 경우 등록이 가능하다.
도 4는 본 실시예에 따른 선택된 동영상의 대표 이미지를 AR 포토로 프린트하는 과정을 나타낸 도면이다.
도 4에 도시된 바와 같이, 단말기(120)는 촬영된 동영상 또는 생성된 3D 객체 영상을 편집한 편집 동영상 목록을 출력한다. 편집 동영상 목록은 편집 동영상에서 선택한 대표 이미지가 썸네일 형태로 출력되도록 한다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 썸네일 형태로 출력된 편집 동영상 목록 상에서 어느 하나가 선택되면, 선택된 편집 동영상에 대응하는 대표 이미지를 출력하고, 대표 이미지에 대한 프린트 메뉴를 출력한다. 만약, 대표 이미지를 변경하고자 하는 경우, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 편집 동영상의 프레임을 확인하고, 대표 이미지를 변경할 수 있다.
도 5는 본 실시예에 따른 대표 이미지를 AR 포토로 출력하는 과정을 나타낸 도면이다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 선택된 편집 동영상에 대응하는 대표 이미지를 출력한 상태에서 대표 이미지에 대한 프린트 메뉴에 대한 입력이 존재하는 경우, 프린터(140)로 대표 이미지에 대한 출력을 요청한다. 이때, 대표 이미지 상에 마커가 포함된 상태로서, 단말기(120)는 마커를 포함한 대표 이미지를 프린터(140)로 출력 요청한다.
프린터(140)는 마커를 포함한 대표 이미지를 출력물로서 종이 또는 사진 인화지에 프린트한 AR 포토(150)를 출력한다. 단말기(120)는 마커를 포함하는 대표 이미지를 상대방과 공유하고자 하는 경우, 메시지(Message) 메뉴 또는 메일(Mail) 메뉴를 이용하여 상대방에게 마커를 포함하는 대표 이미지를 전송 가능하다. 마커를 포함하는 대표 이미지를 수신한 상대방 단말기 역시, 해당 대표 이미지를 프린트하여 AR 포토(150)를 출력할 수 있다.
도 6은 본 실시예에 따른 AR 포토를 카메라로 촬영하는 경우, 해당 영역에 영상을 재생하는 과정을 나타낸 도면이다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 구비된 카메라 모듈로 AR 포토(150)를 비추면, 화면상에 출력되는 AR 포토에 포함된 마커를 인식한다.
단말기(120)는 AR 포토 재생 서버(130)로부터 마커에 대응하는 이미지를 다운로드하고, 기 저장된 이미지와 마커에 대응하는 이미지가 일치하면, AR 포토 재생 서버(130)로부터 영상 데이터를 수신하여 화면상에 출력되는 AR 포토에 대응되는 영역에 영상 데이터가 오버레이되어 재생되도록 한다.
단말기(120)는 마커에 대응하는 이미지로부터 특징점을 추출한다. 단말기(120)는 기 저장된 이미지로부터 특징점을 추출하여 서로 비교한 후 기 설정된 임계치 이상으로 특징점이 일치하는 경우에만 AR 포토 재생 서버(130)로부터 마커에 대응하는 영상 데이터를 수신한다.
단말기(120)에서 마커를 포함한 AR 포토(150)를 카메라 모듈을 실행한 상태로 비추면, AR 포토(150) 내에 포함된 마커를 인식한다. 단말기(120)는 마커에 대응하는 코드값(일종의 식별코드)을 추출한다.
단말기(120)는 AR 포토 재생 서버(130)로부터 코드값에 대응하는 이미지가 존재하는 지를 확인한다. 확인 결과, 코드값에 대응하는 이미지가 존재하면, 단말기(120)는 AR 포토 재생 서버(130)로부터 코드값에 대응하는 이미지를 다운로드한다.
단말기(120)는 다운로드 이미지를 기반으로 영상을 인증한다. 다시 말해, 단말기(120)는 다운로드 이미지와 기 저장된 이미지의 코드가 일치하는지를 검증한다. 검증 결과, 다운로드 이미지와 기 저장된 이미지의 코드가 일치하면, 단말기(120)는 AR 포토 재생 서버(130)로부터 해당 이미지에 매칭된 영상 또는 3D 객체를 불러온다. 단말기(120)는 영상 또는 3D 객체를 AR 포토(150)에 대응하는 영역에 오버레이하여 출력시킨다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 AR 포토(150) 내의 마커만을 인증하는 방식이 아니라 마커와 함께 이미지 매칭 여부를 인증한다. 대표 이미지는 영상 내 프레임 한 장이고, 영상 내에는 복수의 프레임이 포함되므로, AR 포토 재생 서버(130)는 마커를 기반으로 영상 내에 복수의 프레임 내에 대표 이미지가 존재하는 지의 여부를 확인한다.
AR 포토 재생 서버(130)는 마커에 대응하는 파일을 불러온다. AR 포토 재생 서버(130)는 해당 파일에 트래킹용 이미지를 불러와서 단말기(120)로 전송한다.
단말기(120)는 AR 포토 재생 서버(130)로부터 다운로드한 트래킹용 이미지와 단말기(120)에 기 저장된 이미지가 일치하는 지를 확인한다.
비교 결과, 기 저장된 이미지와 트래킹용 이미지가 일치하는 경우, 단말기(120)는 AR 포토(150)에 대응하는 동영상이 재생되되도록 한다. 비교 결과, 기 저장된 이미지와 트래킹용 이미지가 다르면, 단말기(120)는 AR 포토(150)에 대응하는 동영상이 재생되지 않도록 제어한다.
AR 포토 재생 서버(130)가 코드값을 수신했으나 코드값에 해당하는 영상이 없으면, 아무 영상도 재생하지 않는다. AR 포토 재생 서버(130)는 코드값에 해당하는 이미지를 단말기(120)로 전송한다. 단말기(120)는 AR 포토 재생 서버(130)로부터 수신된 이미지와 일치하는 장면을 찾으면 AR 포토(150)에 대응하는 영상을 재생한다.
다른 실시예로서, 단말기(120)에서 마커를 포함한 AR 포토(150)를 카메라 모듈을 실행한 상태로 비추면, AR 포토(150) 내에 포함된 마커를 인식한다. 단말기(120)는 마커에 대응하는 코드(일종의 식별코드)를 추출한다. 단말기(120)는 마커에 대응하는 코드(일종의 식별코드)와 AR 포토 이미지를 AR 포토 재생 서버(130)로 전송한다.
AR 포토 재생 서버(130)는 1차적으로 마커에 대응하는 코드가 기 저장된 코드와 일치하는지를 확인한다. 확인 결과, 마커에 대응하는 코드가 기 저장된 코드와 일치하면, AR 포토 재생 서버(130)는 2차적으로 마커에 대응하여 기 저장된 대표 이미지를 추출한다.
AR 포토 재생 서버(130)는 단말기(120)로부터 수신한 AR 포토 이미지와 기 저장된 대표 이미지를 비교하여 일치 여부를 판단한다. AR 포토 재생 서버(130)는 AR 포토 이미지와 대표 이미지가 일치하는 경우, 마커에 대응하여 기 저장된 영상 데이터를 추출한다.
AR 포토 재생 서버(130)는 단말기(120)로부터 수신한 AR 포토 이미지를 기반으로 2차 인증을 수행한다. 다시 말해, AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 AR 포토 이미지와 기 저장된 대표 이미지가 일치하는지를 검증한다. 검증 결과, AR 포토 이미지와 기 저장된 대표 이미지가 일치하면, AR 포토 재생 서버(130)는 대표 이미지에 매칭된 영상 또는 3D 객체를 불러온다. AR 포토 재생 서버(130)는 대표 이미지에 매칭된 영상 또는 3D 객체를 단말기(120)로 전송한다.
단말기(120)는 영상 또는 3D 객체를 AR 포토(150)에 대응하는 영역에 오버레이하여 출력시킨다. 비교 결과, AR 포토 이미지와 기 저장된 대표 이미지가 미일치하면, AR 포토 재생 서버(130)는 AR 포토(150)에 대응하는 동영상이 재생되지 않도록 제어한다. 즉, 마커에 대응하는 코드가 복사되어 유출되더라도 AR 포토 재생 서버(130) 내에 저장된 대표 이미지와 동일한 이미지가 유출되지 않는 경우, 동영상을 재생할 수 없기 때문에 해킹에 대한 위험이 낮다.
만약, 실물 사진을 잃어버리거나 기 저장된 이미지가 유출되어 동영상 자체를 지우고 싶은 경우, AR 포토 재생 서버(130)의 앨범 상에서 해당 동영상을 삭제하면 해당 동영상 자체가 삭제된다.
AR 포토 재생 서버(130)는 단말기(120)로부터 마커에 대응하는 코드를 수신하면, 코드에 대응하는 대표 이미지를 추출한다.
AR 포토 재생 서버(130)는 코드에 대응하는 대표 이미지가 미존재하나 코드에 대응하는 영상 데이터가 존재하는 경우, 단말기(120)로부터 수신된 AR 포토 이미지가 코드에 대응하는 영상 데이터에 포함된 복수의 프레임 중 어느 한 프레임과 일치하는 경우, 코드에 대응하는 영상 데이터를 단말기(120)로 전송한다.
도 7은 본 실시예에 따른 퍼블릭 AR 포토와 프라이빗 AR 포토를 나타낸 도면이다.
상대방 단말기가 AR 포토 재생 서버(130)에 사용자 계정을 등록하면, 사용자는 선택된 계정 사용자에게만 동영상이 재생되도록 설정 가능하다.
AR 포토 재생 서버(130)에서 비지니스용으로 연예인 비디오 카드를 판매하는 경우, 카드 구매자만 영상을 재생시킬 수 있다. 즉, 카드 구매자만 구매 계정과 연동되어 연예인 영상을 재생시킬 수 있다. 제일 처음에 코드를 읽은 사용자 계정에 해당 코드가 귀속된다. 예컨대, 사진을 타인에게 전달하고, 사진 전달 경로를 파악할 수 있다.
AR 포토(150)는 퍼블릭(Public) AR 포토(810) 또는 프라이빗(Private) AR 포토(820)로 구분 가능하다. 퍼블릭 AR 포토(810)는 퍼블릭 마커를 포함하며, 프라이빗 AR 포토(820)는 프라이빗 마커를 포함한다.
AR 포토 재생 서버(130)는 단말기(120)로부터 퍼블릭 마커에 대응하는 코드값을 수신하는 경우 퍼블릭 마커에 대응하는 코드값에 대응하는 퍼블릭 AR 포토 이미지를 추출한다. AR 포토 재생 서버(130)는 단말기(120)로부터 프라이빗 마커에 대응하는 코드값을 수신하는 경우 프라이빗 마커에 대응하는 코드값에 대응하는 프라이빗 AR 포토 이미지를 추출한다.
단말기(120)는 비로그인 상태 또는 로그인 상태로 퍼블릭 마커를 포함한 퍼블릭 AR 포토(810)를 카메라 모듈을 실행한 상태로 비추면, 퍼블릭 AR 포토(810) 내에 포함된 퍼블릭 마커를 인식하고, 퍼블릭 마커에 대응하는 퍼블릭 코드(일종의 식별코드)를 추출한다.
AR 포토 재생 서버(130)는 비로그인 상태의 단말기(120)로부터 퍼블릭 AR 포토 이미지와 퍼블릭 코드를 수신한다. AR 포토 재생 서버(130)는 퍼블릭 코드가 존재하면, 퍼블릭 코드에 매칭된 대표 이미지를 추출하고, 대표 이미지와 퍼블릭 AR 포토 이미지가 일치하는 경우에만 대표 이미지에 매칭된 영상 데이터를 비로그인 상태의 단말기(120)로 전송한다. 단말기(120)는 비로그인 상태 또는 로그인 상태로 퍼블릭 AR 포토(810)가 존재하는 영역에 퍼블릭 AR 포토(810)에 대응하는 영상 데이터를 오버레이하여 출력시킨다.
단말기(120)는 로그인 상태로 프라이빗 마커를 포함한 프라이빗 AR 포토(820)를 카메라 모듈을 실행한 상태로 비추면, 프라이빗 AR 포토(820) 내에 포함된 프라이빗 마커를 인식하고, 프라이빗 마커에 대응하는 코드(일종의 식별코드)를 추출한다.
AR 포토 재생 서버(130)는 로그인 상태의 단말기(120)로부터 프라이빗 AR 포토 이미지와 프라이빗 코드를 수신한다. AR 포토 재생 서버(130)는 프라이빗 코드가 존재하면, 프라이빗 코드에 매칭된 대표 이미지를 추출하고, 대표 이미지와 프라이빗 AR 포토 이미지가 일치하는 경우에만 대표 이미지에 매칭된 영상 데이터를 로그인 상태의 단말기(120)로 전송한다. 단말기(120)는 로그인 상태로 프라이빗 AR 포토(820)가 존재하는 영역에 프라이빗 AR 포토(820)에 대응하는 영상 데이터를 오버레이하여 출력시킨다.
AR 포토 재생 서버(130)는 로그인 정보를 이용하여 프라이빗 AR 포토(820)를 기반으로 영상을 재생한 사용자를 확인할 수 있다. 즉, 프라이빗 AR 포토(820)에 대응하는 영상을 재생하기 위해서는 사용자 계정마다 부여된 재생 권한이 존재해야 한다.
프라이빗 AR 포토(820)에 대한 재생 권한이 부여된 사용자 계정을 갖는 사용자가 로그인 상태로 단말기(120)를 이용하여 프라이빗 AR 포토(820)를 비추면, AR 포토 재생 서버(130)는 프라이빗 AR 포토(820)에 대응하는 코드를 인식한 후 추가 코드를 요청한 후 추가 코드에 대한 입력이 이루어지면 해당 영상이 재생되도록 할 수 있다.
AR 포토 재생 서버(130)는 앨범 내에서 영상 데이터가 삭제되면, 재생 권한이 부여된 모든 사용자 계정 정보를 삭제한다.
도 8은 본 실시예에 따른 AR 포토에 대응하는 영상을 재생할 때 화면에 고정하는 핀 기능을 나타낸 도면이다.
단말기(120)는 AR 포토(150)가 존재하는 영역 영상 데이터를 오버레이하여 출력시킬 때, 단말기(120)의 화면과 무관하게 화면상의 AR 포토(150)가 존재하는 영역에 영상 데이터를 출력시킨다. 따라서, 도 8에 도시된 바와 같이, 핀 기능을 이용하여 화면상의 AR 포토(150)가 존재하는 영역에만 출력되는 영상 데이터를 단말기(120)의 화면 일측에 고정시킬 수 있다.
예를 들어서, 단말기(120)의 출력 화면을 일측을 누르고 있으면, AR 포토(150)가 존재하는 영역에만 출력되던 영상 데이터가 핀 기능으로 재생 영역이 단말기(120)의 화면에 맞게 조정된 기 설정된 위치(예컨대, 화면 중앙)로 고정되어 출력된다. 단말기(120)의 출력 화면을 두 번 연속으로 탭하면, AR 포토(150)가 존재하는 영역에만 출력되던 영상 데이터가 단말기(120)의 전체 화면으로 출력되도록 조절한다.
도 9는 본 실시예에 따른 AR 포토에 대응하는 영상 길이에 따른 요금 부과를 나타낸 도면이다.
AR 포토 재생 서버(130)는 AR 포토(150)에 매칭되는 영상 데이터를 업로드하거나 전송할 때, 무료 영상과 유료 영상을 구분하여 과금할 수 있다.
AR 포토 재생 서버(130)는 AR 포토(150)에 매칭되는 영상 데이터를 업로드할 때, 영상 데이터를 업로드하는 단말기에서 광고를 시청하는 경우, 기 설정된 제1 임계 시간(예컨대, 15초) 이내 영상을 무료를 업로드할 수 있도록 한다.
AR 포토 재생 서버(130)는 AR 포토(150)에 매칭되는 영상 데이터의 러닝 타임이 기 설정된 제2 임계 시간(예컨대, 1분)을 초과하는 경우, 기 설정된 시간 단위(예컨대, 30초)로 유료 코인을 부과하여 영상을 업로드할 수 있도록 한다. 다시 말해, AR 포토 재생 서버(130)는 기 설정된 임계 시간 단위로 30초가 경과할 때마다, 유료 코인이 1개(예컨대, 100원)가 소모될 수 있도록 한다.
AR 포토(150)에 매칭되는 무료 영상 데이터를 재생하는 단말기 입장에서도 광고를 시청하는 경우, 기 설정된 제1 임계 시간(예컨대, 15초) 이내 무료 영상을 시청할 수 있다.
AR 포토(150)에 매칭되는 유료 데이터를 재생하는 단말기는 기 설정된 임계 단위(예컨대, 30초 단위)로 보유한 유료 코인(예컨대, 30초당 1코인)을 소모하면서 유료 영상을 시청할 수 있다.
도 10은 본 실시예에 따른 영상 데이터에 대한 신고 기능을 나타낸 도면이다.
본 실시예는 실물인 AR 포토(150)가 존재해야만 AR 포토 재생 서버(130)에서 동영상을 재생시킬 수 있다. AR 포토 재생 서버(130)에서 제공하는 AR 포토(150)에 매칭된 영상 데이터를 제공할 때, 영상을 시청하는 단말기에서 신고 기능이 출력된다. 단말기에서 AR 포토(150)에 대해 카메라를 비추면, 영상에 대한 신고 버튼이 출력되며, 사용자가 영상의 신고 버튼을 선택한 후 신고 사유 중 불법 영상, 성적인 영상, 광고 영상 중 어느 하나를 선택하여 신고할 수 있다.
도 11은 본 실시예에 따른 마커 생성 방법을 나타낸 개념도이다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 영상 데이터에 포함된 복수의 프레임 중 선정된 대표 프레임을 식별하기 위한 마커를 생성할 때, 대표 프레임의 색깔 인식하여 보색과 대비되는 색깔을 갖는 마커를 생성한다.
다시 말해, 단말기(120)는 대표 프레임 중 마커가 삽입되는 영역의 RGB값을 확인한다. 예컨대, 단말기(120)는 대표 프레임 중 마커가 삽입되는 영역이 하얀색깔로 확인되면 하얀색깔과 대비되는 보색을 갖도록 마커를 검정색깔로 생성한 후 대표 프레임과 결합하여 대표 이미지를 생성할 수 있다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 마커가 삽입되는 영역의 색깔과 대비되는 보색을 갖는 마커를 생성할 때, 마커의 영역을 분할한 후 각 영역마다 상이한 보색을 갖도록 생성 가능하다.
다시 말해, 단말기(120)는 대표 프레임 중 마커가 삽입되는 영역의 RGB값을 확인한 결과, 마커가 삽입되는 영역이 복수의 색깔로 이루어진 경우, 복수의 색깔과 대비되는 다양한 보색을 갖도록 마커의 영역을 분할(예컨대, 사등분)한 후 각 영역마다 상이한 보색을 갖도록 생성한 후 대표 프레임에 삽입 가능하다.
또한, 단말기(120)는 대표 프레임 내의 픽셀값을 분석한 후 기 설정된 색깔의 마커가 삽입되었을 때 가장 대비를 이루는 영역을 결정한 후 마커를 삽입할 수 있다.
또한, 마커의 색은 마커가 들어갈 위치에서 인접 영역(예컨대, 좌측 상단)의 픽셀의 RGB값을 가져와서 동일한 색으로 마커의 배경색을 설정하고, 해당 색의 밝기(Brightness)값이 절반(128)을 코드(데이터 영역)의 색상을 흑색 또는 백색으로 설정 가능하다.
도 12는 본 실시예에 따른 마커 없이 식별값을 매칭하는 방법을 나타낸 도면이다.
동영상 저작을 위해 단말기(120)는 영상 데이터에 포함된 복수의 프레임 중 대표 프레임을 선정하고, 대표 프레임을 식별하기 위한 마커를 생성하는 대신 대표 프레임을 AR 포토 재생 서버(130)로 전송한다.
AR 포토 재생 서버(130)는 대표 프레임 내에서 특징이 되는 객체 인식을 수행한다. AR 포토 재생 서버(130)는 대표 프레임 내에서 인식된 복수의 객체 영역 중 어느 하나의 영역(예컨대, 수영하는 사람)을 선택한다. AR 포토 재생 서버(130)는 선택된 객체 영역(예컨대, 수영하는 사람)을 기 설정된 단위로 분할한 후 분할된 각 영역마다의 픽셀값(RGB값)을 산출한 후 합산한 누적 픽셀값(RGB값)을 생성한다. AR 포토 재생 서버(130)는 대표 프레임에 마커 대신 누적 픽셀값(RGB값)을 매칭하여 저장한다.
AR 포토 재생 서버(130)는 객체 영역(예컨대, 수영하는 사람)과 누적 픽셀값(RGB값)을 단말기(120) 내의 AR 포토 재생 애플리케이션(110)으로 전송한다. 단말기(120) 내의 AR 포토 재생 애플리케이션(110)에는 객체 영역에 누적 픽셀값(RGB값)을 매칭하여 저장한다. 단말기(120)가 구비된 카메라 모듈을 이용하여 AR 포토(150)를 비추면, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 AR 포토(150) 내에서 특징이 되는 객체 인식을 수행한다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 AR 포토(150) 내에서 인식된 객체 영역 중 기 저장된 객체 영역(예컨대, 수영하는 사람)과 일치하는 영역이 존재하는지의 여부를 확인한다. AR 포토(150) 내에서 인식된 객체 영역 중 기 저장된 객체 영역(예컨대, 수영하는 사람)과 일치하는 영역이 존재하면, 단말기(120)는 일치하는 객체 영역에 매칭된 누적 픽셀값(RGB값)을 추출한 후 AR 포토 이미지와 함께 AR 포토 재생 서버(130)로 전송한다. AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 누적 픽셀값(RGB값)이 존재하는 지를 확인하고, 확인 결과 동일한 픽셀값이 존재하면 픽셀값에 매칭된 대표 프레임을 추출하고, AR 포토 이미지와 대표 프레임이 일치하면, 대표 프레임에 매칭된 영상 데이터를 추출하여 단말기(120)로 전송한다.
동영상 저작을 위해 단말기(120)는 영상 데이터에 포함된 복수의 프레임 중 대표 프레임을 선정하고, 대표 프레임을 식별하기 위한 마커를 생성하는 대신 대표 프레임을 AR 포토 재생 서버(130)로 전송한다. AR 포토 재생 서버(130)에서 대표 프레임을 등록할 때, 이미 중복된 이미지(즉, 동일한 이미지)가 존재하는 경우, 대표 프레임 내에서 특징이 되는 객체 인식을 수행한 후 대표 프레임 내에서 인식된 복수의 객체 영역 중 이미 지정된 영역 이외의 영역(예컨대, 파도)를 선택한다.
AR 포토 재생 서버(130)는 새롭게 선택된 객체 영역(예컨대, 파도)을 기 설정된 단위로 분할한 후 분할된 각 영역마다의 픽셀값(RGB값)을 산출한 후 합산한 누적 픽셀값(RGB값)을 생성한다. AR 포토 재생 서버(130)는 대표 프레임에 마커 대신 누적 픽셀값(RGB값)을 매칭하여 저장한다.
AR 포토 재생 서버(130)는 객체 영역(예컨대, 파도)과 누적 픽셀값(RGB값)을 단말기(120) 내의 AR 포토 재생 애플리케이션(110)으로 전송한다. 단말기(120) 내의 AR 포토 재생 애플리케이션(110)에는 객체 영역에 누적 픽셀값(RGB값)을 매칭하여 저장한다. 단말기(120)가 구비된 카메라 모듈을 이용하여 AR 포토(150)를 비추면, 단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 AR 포토(150) 내에서 특징이 되는 객체 인식을 수행한다.
단말기(120)는 AR 포토 재생 애플리케이션(110)을 이용하여 AR 포토(150) 내에서 인식된 객체 영역 중 기 저장된 객체 영역(예컨대, 파도)과 일치하는 영역이 존재하는지의 여부를 확인한다. AR 포토(150) 내에서 인식된 객체 영역 중 기 저장된 객체 영역(예컨대, 파도)과 일치하는 영역이 존재하면, 단말기(120)는 일치하는 객체 영역에 매칭된 누적 픽셀값(RGB값)을 추출한 후 AR 포토 이미지와 함께 AR 포토 재생 서버(130)로 전송한다. AR 포토 재생 서버(130)는 단말기(120)로부터 수신된 누적 픽셀값(RGB값)이 존재하는 지를 확인하고, 확인 결과 동일한 픽셀값이 존재하면 픽셀값에 매칭된 대표 프레임을 추출하고, AR 포토 이미지와 대표 프레임이 일치하면, 대표 프레임에 매칭된 영상 데이터를 추출하여 단말기(120)로 전송한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: AR 포토 재생 애플리케이션
120: 단말기 130: AR 포토 재생 장치
140: 프린터 150: AR 포토
810: 퍼블릭 AR 포토 820: 프라이빗 AR 포토

Claims (5)

  1. 영상 데이터에 포함된 복수의 프레임 중 선정된 대표 프레임을 식별하기 위한 마커(Marker)를 생성하고, 상기 대표 프레임과 상기 마커를 결합하여 대표 이미지를 생성하고, 상기 대표 이미지를 출력물로서 프린트하도록 요청하는 동영상 저작 단말기;
    상기 대표 이미지를 AR 포토(Augmented Reality Photograph)로서 출력하는 프린트;
    구비된 카메라 모듈을 이용하여 상기 AR 포토를 비추면, 상기 AR 포토에 포함된 퍼블릭 마커(Public Marker)를 인식하면 상기 퍼블릭 마커에 대응하는 퍼블릭 코드를 추출하고, 상기 AR 포토에 포함된 프라이빗 마커(Private Marker)를 인식하면 상기 프라이빗 마커에 대응하는 프라이빗 코드를 추출하고, 상기 퍼블릭 코드, 상기 프라이빗 코드, 상기 AR 포토를 비춘 AR 포토 이미지가 인증되면, 서버로부터 상기 퍼블릭 코드, 상기 프라이빗 코드에 대응하는 영상 데이터를 수신하여 출력 화면 내의 상기 AR 포토가 존재하는 영역에 상기 퍼블릭 코드 및 상기 프라이빗 코드 각각에 대응하는 영상 데이터가 오버레이되어 재생되도록 하는 동영상 재생 단말기; 및
    상기 동영상 재생 단말기로부터 수신된 상기 퍼블릭 코드, 상기 프라이빗 코드가 존재하는 지를 확인하고, 확인 결과 상기 프라이빗 코드가 존재하면 상기 프라이빗 코드에 대응하는 영상 데이터를 재생시키기 위해 사용자 계정마다 재생 권한을 부여하고, 재생 권한이 부여된 사용자 계정을 갖는 단말기로 추가 코드를 요청하며, 상기 재생 권한이 부여된 사용자 계정을 갖는 단말기로부터 입력된 추가 코드가 인증되는 경우에만 상기 프라이빗 코드에 매칭된 상기 영상 데이터를 추출하여 상기 재생 권한이 부여된 사용자 계정을 갖는 단말기로 전송하며, 확인 결과 상기 퍼블릭 코드가 존재하면 상기 퍼블릭 코드에 매칭된 상기 영상 데이터를 추출하여 상기 동영상 재생 단말기로 전송하며, 상기 영상 데이터의 길이가 기 설정된 제1 임계 시간 이내인 경우, 상기 영상 데이터를 무료 영상으로 구분하고, 상기 영상 데이터의 길이가 기 설정된 제2 임계 시간을 초과하는 경우, 상기 영상 데이터를 유료 영상으로 구분하고, 상기 유료 영상으로 구분된 영상 데이터를 재생할 때, 기 설정된 임계 단위로 보유한 유료 코인을 소모하도록 제어하는 AR 포토 재생 서버;
    를 포함하는 것을 특징으로 하는 AR 포토 재생 시스템.
  2. 제1항에 있어서,
    상기 영상 데이터는,
    상기 동영상 저작 단말기에 구비된 카메라 모듈을 이용하여 촬영한 영상 또는 별도의 저작모듈을 이용하여 생성한 3D 객체 영상을 포함하는 것을 특징으로 하는 AR 포토 재생 시스템.
  3. 제2항에 있어서,
    상기 동영상 재생 단말기는,
    상기 AR 포토 재생 서버로부터 상기 코드에 매칭된 대표 이미지를 다운로드하고, 상기 코드에 매칭된 대표 이미지가 상기 AR 포토 이미지와 일치하는 경우, 상기 AR 포토 재생 서버로부터 상기 코드에 대응하는 영상 데이터를 수신하여 출력하는 것을 특징으로 하는 AR 포토 재생 시스템.
  4. 제3항에 있어서,
    상기 동영상 재생 단말기는,
    상기 AR 포토 이미지로부터 특징점을 추출하고, 상기 코드에 매칭된 대표 이미지로부터 특징점을 추출하여 서로 비교한 후 기 설정된 임계치 이상으로 특징점이 일치하는 경우에만 상기 AR 포토 재생 서버로부터 상기 코드에 대응하는 영상 데이터를 수신하는 것을 특징으로 하는 AR 포토 재생 시스템.
  5. 제4항에 있어서,
    상기 AR 포토 재생 서버는,
    상기 동영상 재생 단말기로부터 수신된 상기 코드가 존재하면, 상기 코드에 매칭된 대표 이미지를 추출하여 상기 동영상 재생 단말기로 전송하고, 상기 동영상 재생 단말기로부터 상기 코드에 매칭된 대표 이미지와 상기 AR 포토 이미지의 일치 여부를 확인받은 경우에만 상기 대표 이미지에 매칭된 상기 영상 데이터를 상기 동영상 재생 단말기로 전송하는 것을 특징으로 하는 AR 포토 재생 시스템.

KR1020200046614A 2020-04-17 2020-04-17 Ar 포토 재생 방법 및 시스템 KR102187661B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200046614A KR102187661B1 (ko) 2020-04-17 2020-04-17 Ar 포토 재생 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200046614A KR102187661B1 (ko) 2020-04-17 2020-04-17 Ar 포토 재생 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102187661B1 true KR102187661B1 (ko) 2020-12-07

Family

ID=73791146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200046614A KR102187661B1 (ko) 2020-04-17 2020-04-17 Ar 포토 재생 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102187661B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483609B1 (ko) * 2022-10-05 2023-01-02 신정옥 꽃예술품 정보 재생 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068332A (ko) * 2012-11-27 2014-06-09 (주) 씨이랩 증강현실 마커 인식을 이용한 메뉴판광고 서비스시스템 및 그 방법
KR20190017629A (ko) * 2018-04-23 2019-02-20 신동찬 증강현실을 이용한 주문 상품 확인 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068332A (ko) * 2012-11-27 2014-06-09 (주) 씨이랩 증강현실 마커 인식을 이용한 메뉴판광고 서비스시스템 및 그 방법
KR20190017629A (ko) * 2018-04-23 2019-02-20 신동찬 증강현실을 이용한 주문 상품 확인 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483609B1 (ko) * 2022-10-05 2023-01-02 신정옥 꽃예술품 정보 재생 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US8233677B2 (en) Image sensing apparatus and image file data structure
CN102567909B (zh) 图像数据销售***及其方法、照相机、服务器装置
US20070188803A1 (en) Photographic image service system
KR20000035423A (ko) 기록 장치
US10142512B2 (en) Server device, image printing device, and moving-image data delivery system
US7630510B2 (en) Image verification apparatus and image verification method
EP3501176A1 (en) System and methods for delivery of audio and video content
KR102187661B1 (ko) Ar 포토 재생 방법 및 시스템
JP2004280254A (ja) コンテンツ分類方法および装置
US20030025933A1 (en) Image order processing system
CN111145189B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP4952410B2 (ja) アドレス送信装置およびその制御方法、メール送信システム、アドレス送信装置制御プログラム、ならびに記録媒体
TW202117626A (zh) 資訊處理裝置、資訊處理系統、資訊處理方法、及程式產品
KR102612553B1 (ko) 포토 부스 시스템
JP6597317B2 (ja) 印画物作製装置、サーバ装置、及び動画データ配信システム
JP6520254B2 (ja) 動画データ再生方法及びプログラム
KR101752659B1 (ko) 영상 키 인증 방법 및 시스템
US20020128062A1 (en) Digital image viewing - II
KR102483609B1 (ko) 꽃예술품 정보 재생 시스템 및 그 방법
JP6834663B2 (ja) 注文受付端末及び画像提供システム
CN111680191A (zh) 信息显示方法、装置、设备以及存储装置
JP4946674B2 (ja) 画像サーバ装置、画像サーバ装置の制御方法、画像サーバ装置制御プログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像送信システム、画像送信システムの制御方法、画像送信システム制御プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2002185893A (ja) 画像情報提供システムおよび画像情報提供システム制御用プログラム記録媒体
JP6520438B2 (ja) プログラム
JP2020150289A (ja) 撮影システム、撮影装置、管理装置及び撮影方法

Legal Events

Date Code Title Description
GRNT Written decision to grant