KR102272757B1 - 파노라믹 영상 컨텐츠 제작 시스템 및 방법 - Google Patents

파노라믹 영상 컨텐츠 제작 시스템 및 방법 Download PDF

Info

Publication number
KR102272757B1
KR102272757B1 KR1020190166683A KR20190166683A KR102272757B1 KR 102272757 B1 KR102272757 B1 KR 102272757B1 KR 1020190166683 A KR1020190166683 A KR 1020190166683A KR 20190166683 A KR20190166683 A KR 20190166683A KR 102272757 B1 KR102272757 B1 KR 102272757B1
Authority
KR
South Korea
Prior art keywords
panoramic image
data
information
tag data
tag
Prior art date
Application number
KR1020190166683A
Other languages
English (en)
Other versions
KR20210040758A (ko
Inventor
조용원
류근웅
Original Assignee
주식회사 비지트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비지트 filed Critical 주식회사 비지트
Priority to PCT/KR2019/017776 priority Critical patent/WO2021066254A1/ko
Priority to US16/976,531 priority patent/US11871114B2/en
Priority to SG11202008424WA priority patent/SG11202008424WA/en
Publication of KR20210040758A publication Critical patent/KR20210040758A/ko
Application granted granted Critical
Publication of KR102272757B1 publication Critical patent/KR102272757B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 파노라믹 영상 컨텐츠 제작 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따른 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템은, 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버를 포함한다.

Description

파노라믹 영상 컨텐츠 제작 시스템 및 방법{SYSTEM AND METHOD FOR PRODUCING PANORAMIC IMAGE AND VIDEO}
본 발명은 파노라믹 영상 컨텐츠 제작 시스템 및 방법에 관한 것이다.
VR 디바이스 및 5G 통신 기술이 보급됨에 따라, 관광 및 부동산 등 관련 장소에 대한 가상 컨텐츠를 경험할 수 있는 환경이 제공되고 있다.
일반적으로, 차량 및 별도의 촬영인원이 360도 촬영 영상 장치를 구비하여 지역 영상을 촬영한 후, 별도의 영상 가공과정을 거쳐, 가상 컨텐츠를 제작하는 방법이 보급되어 있다.
하지만, 상기 가상 컨텐츠 제작 방법은 막대한 비용과 시간이 투입될 뿐 만 아니라, 차량이 진입하지 못하는 장소의 데이터를 제공할 수 없으며, 영상 전문 인력이 별도의 영상의 편집을 수행을 통하여 가상 컨텐츠 제작이 가능하다는 점에서 번거로운 문제점이 있다.
이에 본 발명의 실시예에 따른 촬영된 영상 정보 기반으로 사용자가 손쉽게 파노라믹 영상 컨텐츠 제작 시스템 및 방법을 제공하고자 한다.
본 발명의 실시예의 일측면에 따른 파노라믹 영상 컨텐츠 제작 시스템은 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템에 있어서, 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스; 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버;를 포함한다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며, 상기 객체 위치결정모듈은, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점들의 평균값으로 상기 객체의 위치를 계산할 수 있다.
또한, 상기 객체 위치결정모듈은 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하고, 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성할 수 있다.
또한, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례할 수 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
또한, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 객체 위치결정모듈은, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 사용자 디바이스는, 제1 파노라믹 영상을 생성하는 영상 촬영부;상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 촬영 정보 생성부; 상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 통신부; 및 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력받거나, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 입력부;를 포함할 수 있다.
또한, 상기 파노라믹 영상 서버는 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 보상 모듈;을 더 포함할 수 있다.
또한, 상기 보상 모듈은, 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하여, 상기 예상 촬영 보상을 상기 사용자 디바이스로 송신하고, 상기 사용자 디바이스는, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 출력부를 포함할 수 있다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 상기 보상 기준 데이터는, 상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
또한, 상기 태그 생성 모듈은 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시할 수 있다.
또한, 상기 사용자 디바이스는, 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 위치 보정 모듈;을 더 포함할 수 있다.
본 발명의 실시예의 일측면에 따른 파노라믹 영상 컨텐츠 제작 방법은 파노라믹 영상 데이터 및 태그 데이터를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 파노라믹 영상 데이터 및 상기 태그 데이터를 전달받는 파노라믹 영상 서버를 포함하는 파노라믹 영상 컨텐츠 제작 시스템을 이용한 파노라믹 영상 컨텐츠 제작 방법에 있어서, 사용자 디바이스가 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 파노라믹 영상 생성 단계; 파노라믹 영상 서버가 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받고, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 상기 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치 계산 단계; 및 상기 파노라믹 영상 서버가 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 파노라믹 영상 표시 단계;를 포함한다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며, 상기 객체 위치 계산 단계는 상기 파노라믹 영상 서버가, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점의 평균값으로 상기 객체의 위치를 계산할 수 있다.
또한, 상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고, 상기 객체 위치 계산 단계는 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계; 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 3차원 태그 좌표 계산 단계; 및 상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 2차원 태그 좌표 계산 단계;를 포함할 수 있다.
또한, 상기 객체 위치 계산 단계는, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계;를 더 포함할 수 있다.
또한, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례할 수 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
또한, 상기 객체 위치 계산 단계는, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 상기 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 사용자 디바이스가 제1 파노라믹 영상을 생성하고, 상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 파노라믹 영상 촬영 단계; 상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 영상 및 촬영 데이터 송신단계; 상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계; 상기 제1 파노라믹 영상 데이터를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재할 경우, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하는 태그 정보 입력 판단 단계; 및 상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재하지 않거나, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하지 않을 경우, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계;를 포함할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 촬영 보상 단계;를 포함할 수 있다.
또한, 상기 파노라믹 영상 서버가 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하고, 상기 예상 촬영 보상을 사용자 디바이스로 송신하고, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 보상 확인 단계;를 더 포함할 수 있다.
또한, 상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고, 상기 보상 기준 데이터는, 상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
또한, 상기 파노라믹 영상 표시 단계는 상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 상기 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시할 수 있다.
또한, 상기 파노라믹 영상 생성 단계는, 상기 사용자 디바이스가 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 태그 위치 보정 단계;를 더 포함할 수 있다.
제안되는 실시예에 의하면, 사용자가 촬영한 영상 촬영 정보를 기반으로 파노라믹 영상 컨텐츠를 쉽게 제작할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠 제작 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 사용자 디바이스의 구성 개략적으로 도시한 블록도이다.
도 3는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 파노라믹 영상 서버의 구성 개략적으로 도시한 블록도이다.
도 4는 도 1의 파노라믹 영상 컨텐츠 제작 시스템에 의한 파노라믹 영상 컨텐츠 제작 방법을 도시한 순서도이다.
도 5는 도 4의 파노라믹 영상 컨텐츠 제작 방법 중 파노라믹 영상 생성 단계를 상세하게 보여주는 순서도이다.
도 6는 도 4의 파노라믹 영상 컨텐츠 제작 방법 중 객체 위치 계산 단계를 상세하게 보여주는 순서도이다.
도 7는 도 2의 사용자 디바이스에서 파노라믹 영상 생성 과정을 보여주는 예시적인 도면이다.
도 8는 도 3의 파노라믹 영상 서버의 객체 위치 계산 과정을 보여주는 예시적인 도면이다.
도 9는 도 2의 사용자 디바이스에서 객체에 대한 통합 태그 데이터를 기반으로 태그 정보가 표시되는 사용자 인터페이스의 예시적인 도면이다.
도 10은 도 3의 파노라믹 영상 서버에 저장된 태그 데이터를 보여주는 예시적인 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인 바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
본 발명에 있어서 "~상에"라 함은 대상부재의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력방향을 기준으로 상부에 위치하는 것을 의미하는 것은 아니다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 "부(部")란 하드웨어에 의해 실현되는 유닛, 소프트웨어에 의해 실현되는 유닛, 또는 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현될 수 있으며, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현될 수 있다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠 제작 시스템(1)은, 사용자 디바이스(100), 파노라믹 영상 서버(200), 네트워크(300)을 포함한다.
사용자 디바이스(100)는 영상을 촬영하여 파노라믹 영상을 생성하는 전자 디바이스일 수 있다. 예를 들어, VR 카메라, 360도 카메라, 전방위 카메라, 복수개의 카메라 등을 이용하여 파노라믹 영상을 생성하는 전자 디바이스일 수 있으며, 복수개의 이미지를 촬영하고, 촬영된 복수개의 이미지를 기반으로 파노라믹 영상을 생성하는 파노라믹 생성 어플리케이션을 포함하는 전자 디바이스일 수 있으며, 촬영 정보를 포함할 수 있는 카메라 기능이 있는 스마트폰, 타블렛 PC, PDA(Personal Digital Assistant), 기타 무선 접속 기능을 갖는 핸드헬드 장치를 포함하는 컴퓨팅 장치 또는 다른 무선 모뎀에 연결된 프로세싱 장치와 같은 위치 정보를 포함할 수 있는 촬영 장치일 수도 있다. 본 발명이 이에 한정되는 것은 아니다.
파노라믹 영상 서버(200)는 사용자 디바이스들(100)로부터 촬영된 파노라믹 영상(I) 및 촬영 정보(ID)를 기반으로 동일한 객체에 대한 통합 태그 데이터(UT)를 생성할 수 있다.
여기서, 파노라믹 영상(I)은 사용자 디바이스(100)로부터 수신된 제1 파노라믹 영상(I1) 및 제1 파노라믹 영상 이전에 촬영되어, 파노라믹 영상 서버(200)에 저장된 기저장 파노라믹 영상(IS)을 포함한다.
또한, 태그 데이터(TD)는 사용자 디바이스(100)가 제1 파노라믹 영상(I1) 상에 배치되는 객체에 대한 신규 태그 데이터(TD1) 및 제1 파노라믹 영상 이전에 촬영되어, 파노라믹 영상 서버(200)에 저장된 기저장 파노라믹 영상 상에 배치되는 객체에 대한 기저장 태그 데이터(TDS)를 포함한다.
또한, 파노라믹 영상 서버(200)는 기저장 태그 데이터(TDS)의 촬영원점정보(SI) 및 객체위치정보(OI)와 동일한 객체에 대한 신규 태그 데이터(TD1)의 촬영원점정보(SI) 및 객체위치정보(OI)를 포함하는 통합 태그 데이터(UT)를 생성할 수 있다.
이 때, 파노라믹 영상 서버(200)가 동일한 객체에 대한 새로운 신규 태그 데이터(TDN)를 수신할 경우, 통합 태그 데이터(UT)는 먼저 저장된 기저장 태그 데이터(TDS)가 될 수 있으며, 새로운 신규 태그 데이터(TDN)의 촬영원점정보(SI) 및 객체위치정보(OI)를 포함하여 통합 태그 데이터(UT)를 갱신할 수 있다.
또한, 파노라믹 영상 서버(200)는 외부 서버로부터 파노라믹 영상(I)의 시간 또는 위치 정보에 따른 날씨 정보 및 특정 상황 정보를 수신받아 저장할 수 있다.
파노라믹 영상 서버(200)는 파노라믹 영상 컨텐츠 제작 서비스 외에도 일반적인 검색 서비스 및 기타 사용자의 편의를 증진시키는 다양한 서비스를 제공할 수도 있다. 즉, 파노라믹 영상 서버(200)는 검색, 이메일, 블로그, 소셜 네트워크 서비스(Social Network Service), 뉴스, 쇼핑 정보 제공과 같은 다양한 서비스들을 제공할 수 있다. 도 1에서는 하나의 서버를 표시되었지만, 접속량 혹은 데이터 양에 따라 복수 개의 서버들이 유무선 통신으로 서로 연결되어 존재할 수 있다.
상기와 같은 파노라믹 영상 컨텐츠 제작 시스템(1)은 사용자 디바이스(100) 및 파노라믹 영상 서버(200)는 네트워크(300)를 매개로 연결될 수 있다.
네트워크(300)는 상호 간에 유무선 통신을 수행할 수 있게 하는 통신 경로일 수 있다. 네트워크(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, 셀룰러 통신망, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2는 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 사용자 디바이스(100)의 구성 개략적으로 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 디바이스(100)는 영상 촬영부(110), 입력부(120), 출력부(130), 촬영 정보 생성부(140), 통신부(150) 및 위치 보정 모듈(160)을 포함할 수 있다.
사용자 디바이스(100)는 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1) 및 제1 파노라믹 영상(I1) 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터(TD1)를 포함하는 제1 태그 데이터 세트(DS1)를 생성할 수 있다.
또한, 제1 파노라믹 영상(I1)은 사용자 디바이스(100)로부터 촬영된 360도 또는 파노라믹 형태로 구성된 정지 화상 또는 동영상 일 수 있다.
이 때, 촬영 정보는 제1 파노라믹 영상(I1)이 촬영된 위치 정보, 촬영 시간, 촬영된 카메라 정보 등 제1 파노라믹 영상(I1)이 촬영된 촬영 환경에 대한 정보를 포함하거나, 위치 정보 또는 촬영 시간을 기반으로 외부 서버로부터 검색된 날씨 정보 및 특정 상황에 대한 정보에 대한 외부 정보를 포함할 수 있다.
영상 촬영부(110)는 제1 파노라믹 영상(I1)을 생성할 수 있다.
상세하게는, 영상 촬영부(110)는 단일 카메라 모듈 또는 복수의 카메라 모듈일 수 있으며, 다만 이는 예시적인 구성일 뿐, 이미지 또는 동영상을 촬영하기 위한 다양한 전자 디바이스에 포함되는 촬영 모듈일 수 있다.
입력부(120)는 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력받거나, 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력받을 수 있다.
출력부(130)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로부터 수신된 데이터 및 사용자 디바이스(100)가 촬영한 제1 파노라믹 영상(I1)을 출력할 수 있다.
또한, 출력부(130)는 파노라믹 영상(I) 상에 배치되는 객체에 대한 태그 정보를 표시할 수 있다.
또한, 출력부(130)는 지리 정보 영상 상에 기저장 파노라믹 영상 데이터(IDS) 및 기저장 파노라믹 영상 데이터(IDS)의 기저장 태그 데이터(TDS) 또는 통합 태그 데이터(UT)를 표시할 수 있다.
이 때, 상기 지리 정보 영상은 예시적으로 지도 및 지형이 표시될 수 있는 2차원 또는 3차원 영상일 수 있다.
보다 상세히, 출력부(130)는 기저장 태그 데이터(TDS)의 촬영원점정보(SI) 및 객체위치정보(OI)를 이용하여 기저장 파노라믹 영상(IS) 상에 배치된 기저장 태그 데이터(TDS)의 배치 방향인, 태그 배치 방향(MV)(도 8참조)을 상기 지리 정보 영상 상에 표시할 수 있다.
출력부(130)가 기저장 파노라믹 영상(IDS)상에 배치된 태그 정보의 배치 방향을 상기 지리 정보 영상 상에 표시함으로써, 사용자는 유리한 촬영 보상(IR) 또는 예상 촬영 보상(PR)을 제공받을 수 있는 위치를 쉽게 파악할 수 있다.
예시적으로, 출력부(130)는 기저장 파노라믹 영상 데이터(IDS)의 촬영된 위치 정보인 위치 마커(M)를 아이콘, 마커 및 태그 형태로 상기 지리 정보 영상 상에 표시한다. 이때, 위치 마커(M)의 소정 영역에 태그 배치 방향(MV)(도 8참조)을 표시할 수 있으며, 태그 배치 방향(MV)은 선분 및 방향을 나타내는 다양한 기호로 표시할 수 있다.
또한, 출력부(130)는 통합 태그 데이터(UT)의 위치 정보 세트들을 기반으로 지리 정보 영상 상에 통합 태그 데이터(UT)의 태그 정보를 표시할 수 있다.
출력부(130)가 지리 정보 영상 상에 통합 태그 데이터(UT)의 태그 정보를 표시함으로써, 사용자는 상기 태그 정보에 해당하는 객체가 촬영된 파노라믹 영상 및 상기 태그 정보에 해당하는 객체의 정보를 파악할 수 있다.
출력부(130)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로부터 수신 받은 예상 촬영 보상(PR)을 표시할 수 있다.
출력부(130)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 다만 이는 예시적인 구성일 뿐, 다른 방식을 사용하여 이미지를 표시하기 위한 다양한 디스플레이 장치로 구성될 수 있다.
촬영 정보 생성부(140)는 제1 파노라믹 영상(I1) 및 촬영 정보(ID)를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성할 수 있다.
이 때, 촬영 정보(ID)는 제1 파노라믹 영상(I1)이 촬영된 위치 정보, 촬영 시간, 촬영된 카메라 정보 등 제1 파노라믹 영상(I1)이 촬영된 촬영 환경에 대한 정보를 포함한다.
또한, 촬영 정보(ID)는 외부 서버로부터 위치 정보 또는 시간 정보를 수신하여, 상기 위치 정보 또는 시간 정보에 대한 외부 정보를 포함할 수 있다.
통신부(150)는 사용자 디바이스(100)가 파노라믹 영상 서버(200)로 제1 파노라믹 영상 데이터(ID1)를 송신할 수 있다.
통신부(150)는 네트워크(300)를 통하여 유무선 통신 방식으로 파노라믹 영상 서버(200)들과 통신할 수 있다.
예를 들어, 통신부(150)는 IEEE 802.11, IEEE 702.20, GPRS(General Packet Radio Service), Ev-DO(Evolution Data Optimized), HSPA+(Evolved High Speed Packet Access), HSDPA+(Evolved High Speed Downlink Packet Access), HSUPA+(Evolved High Speed Uplink Packet Access), GSM(Global System for Mobile Communications), EDGE(Enhanced Data rates for GSM Evolution), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), DECT(Digital Enhanced Cordless Telecommunications), LTE(Long Term Evolution), Zigbee, NFC(Near field Communication), RF(Radio Frequency), 블루투스(Bluetooth),이 들의 파생어, 뿐만 아니라 3G, 4G, 5G 및 그 이상으로 지정되는 임의의 기타 무선 프로토콜들(이에 제한되는 것은 아님)을 포함하는 다수의 무선 표준들 또는 프로토콜들 중 임의의 것을 구현할 수 있다.
위치 보정 모듈(160)은 제1 파노라믹 영상 데이터(ID1)의 영상 처리 결과를 기반으로 제1 태그 데이터 세트(DS1)를 보정할 수 있다.
이 때, 위치 보정 모듈(160)은, 제1 파노라믹 영상(I1)의 색깔, 객체 형태의 복잡성 등 객체 인식 방법 중 적어도 하나를 사용하여, 제1 파노라믹 영상(I1) 상에 객체를 알맞게 배치할 수 있도록 유도 또는 보정할 수 있다. 이에 한정하지 않고, 파노라믹 영상(I)에 포함된 객체 인식 방법은, 공지된 객체 인식 방법 중 어느 하나를 사용할 수 있다
예시적으로, 위치 보정 모듈(160)은 제1 파노라믹 영상(I1)의 객체 인식을 수행하고, 제1 파노라믹 영상(I1) 상에 배치된 객체에 해당하는 객체 인식 영역의 무게 중심을 판단하여, 배치된 객체를 보정할 수 있다.
도 3은 도 1의 파노라믹 영상 컨텐츠 제작 시스템의 파노라믹 영상 서버의 구성 개략적으로 도시한 블록도이다.
도 3을 참조하면, 파노라믹 영상 서버(200)는 데이터 수신 모듈(210), 태그 검색 모듈(220), 객체 위치결정모듈(230), 태그 생성 모듈(240), 보상 모듈(250), 3차원 모델링 모듈(260) 및 저장 모듈(270)을 포함한다.
데이터 수신 모듈(210)은, 사용자 디바이스(100)로부터 제1 파노라믹 영상 데이터(ID1) 및 제1 태그 데이터 세트(DS1)를 수신 받을 수 있다.
태그 검색 모듈(220)은, 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역(R1) 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터(TDS)를 검색할 수 있다.
이 때, 기 설정된 영역(R1)은 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 정보를 기반으로 사용자가 미리 설정한 거리에 따른 영역 일 수 있으며, 촬영 정보(ID)에 포함된 같은 별칭(Alias)을 가지는 지점 또는 장소에 대한 소정의 영역일 수 있다.
예를 들어, 기 설정된 영역(R1)은 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 위치을 기준으로 이격된 반경 거리 또는 같은 별칭을 가지는 행정구역, 랜드마크, 건물명을 기준으로 하는 소정의 영역 등이 될 수 있다.
태그 검색 모듈(220)은, 제1 파노라믹 영상 데이터(ID1)에 포함된 촬영 정보를 기반으로 파노라믹 영상 서버(200)의 저장부에 포함된 기저장 태그 데이터(TDS) 또는 외부 서버로부터 기저장 태그 데이터(TDS)를 검색할 수 있다.
객체 위치결정모듈(230)은 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터(UT)를 생성할 수 있다.
상세히 말하자면, 객체 위치결정모듈(230)은 적어도 하나의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선들 간의 교점(P)의 평균값으로 상기 객체의 위치를 계산할 수 있다.
이 때, 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)는, 파노라믹 영상(I)이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함하고, 하나의 상기 촬영원점정보(SI)에 기반한 촬영원점과 하나의 상기 객체위치정보(OI)에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선(V)이 형성될 수 있다.
여기서, 촬영원점정보(SI)는, 예시적으로 위성항법시스템으로부터 제공되는 촬영 위치 정보 또는 이외 사용자 디바이스(100)의 촬영 위치를 측위할 수 있는 다양한 방법에 기반하여 생성될 수 있다.
또한, 객체위치정보(OI)는 예시적으로 요(yaw), 피치(pitch), 롤(roll)값을 기반으로 파노라믹 영상(I) 상의 배치되는 객체에 대한 위치 정보를 생성할 수 있으나, 이에 한정되지 않고 파노라믹 영상(I) 상에 구현되는 다양한 좌표계로 표현될 수 있다.
객체 위치결정모듈(230)은 동일한 상기 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트의 개수를 판별할 수 있다.
이 때, 촬영원점정보(SI) 및 객체위치정보(OI)는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함할 수 있다.
상세히 말하자면, 제1 성분, 제2 성분, 제3 성분은 3개의 축으로 구성된 3차원 직교 좌표계에 해당하는 각각의 파라미터일 수 있다.
객체 위치결정모듈(230)은, 파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점들(P)의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
또한, 객체 위치결정모듈(230)은, 각각의 교점(P)에 가중치 계수(W)를 적용하여, 통합 태그 데이터(UT)를 보정할 수 있다.
가중치 계수(W)는, 각각의 교점(P)을 생성하는 태그 데이터(TD)와 링크된 파노라믹 영상 데이터(ID)의 촬영 정보 및 파노라믹 영상 데이터(ID)를 촬영하는 사용자 디바이스(100)의 사용자 정보 중 적어도 하나를 기반으로 산출될 수 있다.
따라서, 통합 태그 데이터(UT)의 제1 성분(X) 및 제2 성분(Y)은 수학식 1과 같이 표현할 수 있다.
Figure 112019129061676-pat00001
상기 촬영 정보 및 상기 사용자 정보 중 적어도 하나를 기반으로 가중치 계수(W)를 적용하여 통합 태그 데이터(UT)를 보정함으로써, 사용자 디바이스(100)의 사용자의 신뢰도, 날씨 정보 및 시간 정보에 따라 부정확할 수 있는 태그 데이터(TD)로부터 계산된 통합 태그 데이터(UT)의 객체의 위치를 보정할 수 있다. 또한, 제3 성분(Z)에 대해서는 도식화하지 않았으나, 객체 위치결정모듈(230)이 통합 태그 데이터의 제3 성분(Z)의 보정을 수행할 경우, 제3 성분(Z)은 제1 성분(X) 및 제2 성분(Y)과 같이 적용되어, 보정된 통합 태그 데이터를 생성할 수 있다.
객체 위치결정모듈(230)은, 파노라믹 영상 서버(200)가 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 하나일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 연장선(V)들의 교점들(P)의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
또한, 객체 위치결정모듈(230)은 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점(P)을 생성하고, 교점(P)과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선(V) 값들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성할 수 있다.
촬영원점정보(SI) 및 객체위치정보(OI)의 제1 성분 및 제2 성분을 기초로 형성되는 연장선(V)을 먼저 형성하여 교점(P)을 생성 후, 제3 성분을 고려함으로써, 동일한 객체에 대한 교점(P)이 필수적으로 생성되어, 동일한 객체에 대한 통합 태그 데이터(UT)의 태그 정보가 복수의 파노라믹 영상(I) 상에 정확히 표시될 수 있다.
또한, 다수의 사용자 디바이스(100)로부터 생성된 기저장 태그 데이터(TDS)가 축적될수록 더 많은 연장선(V) 및 교점(P)이 형성됨으로써, 객체에 대한 태그 정보의 위치가 복수의 파노라믹 영상 상에 정확하게 배치 또는 표시될 수 있는 이점이 있다.
N개의 기저장 태그 데이터(TDS)를 이용할 경우, 생성되는 연장선의 수(n)와, 최대 연장선 교점의 수(P)는 수학식 2과 같이 표현할 수 있다.
Figure 112019129061676-pat00002
태그 생성 모듈(240)은 통합 태그 데이터(UT)에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상(I) 상에 표시할 수 있다.
구체적으로, 태그 생성 모듈(240)은 동일한 태그 정보를 포함하는 복수의 객체참조 정보(RI)와 연관된 각각의 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 상에 통합 태그 데이터(UT)의 태그 정보를 표시할 수 있다.
객체참조 정보(RI)는 태그 정보와 링크된 파노라믹 영상 데이터(ID)의 저장 위치 또는 파노라믹 영상 데이터(ID)의 파일 정보 등을 포함할 수 있다.
보상 모듈(250)은 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS) 중 적어도 하나를 고려하여 보상 기준 데이터(CD)를 생성하고, 보상 기준 데이터(CD)를 기반으로 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)에 대한 촬영 보상(IR)을 사용자 디바이스(100)에 제공할 수 있다.
또한, 보상 모듈(250)은, 사용자 디바이스(100)의 위치 정보인 사용자 위치 정보 및 보상 기준 데이터(CD)를 기반으로 예상 촬영 보상(PR)을 산출하여, 상기 예상 촬영 보상(PR)을 사용자 디바이스(100)로 제공할 수 있다.
상기 사용자 위치 정보는 사용자 디바이스(100)로부터 측정되는 현재 위치 또는 제1 파노라믹 영상(I1)을 촬영하기 위한 위치일 수 있다.
이 때, 보상 기준 데이터(CD)는, 기저장 파노라믹 영상 데이터(IDS) 및 상기 기저장 태그 데이터(TDS)를 기반으로 기 저장된 상기 객체에 대한 촬영 구도 정보, 촬영원점정보(SI)에 기반한 촬영 원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터(TDS)의 개수, 촬영 정보(ID) 및 사용자 디바이스(100)의 사용자 정보 중 적어도 하나의 기준을 포함할 수 있다.
객체에 대한 촬영 구도 정보는, 사용자 디바이스(100)의 위치 정보 및 제1 파노라믹 영상(I1) 상에 배치되는 객체가 촬영되는 객체의 촬영 범위 정보를 기반으로 생성될 수 있다.
상기 객체의 촬영 범위 정보는 파노라믹 영상(I) 상에 표시되는 객체의 면적 범위 또는 파노라믹 영상(I) 상에 보여지는 객체의 구도 정보일 수 있다.
또한, 객체에 대한 촬영 구도 정보는, 촬영원점정보(SI)에 기반한 촬영 원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리를 반지름으로 하는 화각 영역을 생성하고, 상기 화각 영역과 상기 객체와 중복되는 원주의 비율로 산출할 수 있다.
이 때, 상기 객체위치는 외부 서버로부터 수신된 객체의 GPS 정보 및 통합 태그 데이터(UT)로 생성되는 태그 정보가 배치되는 객체위치정보(OI)일 수 있다.
또한, 보상 모듈(250)은 태그 검색 모듈(220)로부터 검색된 기저장 파노라믹 영상(IS) 상의 동일한 객체에 대한 화각을 비교하여 사용자 디바이스(100)로 촬영 보상(IR) 및 예상 촬영 보상(PR)의 보상 가중치를 부여할 수 있다.
또한, 보상 모듈(250)은 사용자 디바이스(100)의 사용자 정보를 확인하고, 상기 사용자 정보를 기반으로 사용자가 촬영한 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)와 신규 태그 데이터(TD1) 및 기저장 태그 데이터(TDS)의 품질을 평가하여 사용자 디바이스(100)로 촬영 보상(IR) 및 예상 촬영 보상(PR)의 가중치를 부여할 수 있다.
보상 모듈(250)은 보상 가중치 및 보상 기준 데이터(CD)를 기반으로 블록체인 기반의 가상 화폐 및 포인트를 사용자 디바이스(100)로 제공할 수 있다.
3차원 모델링 모듈(260)은 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 복수의 상기 교점들(P) 및 교점들(P)의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 파노라믹 영상(I) 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성할 수 있다.
이 때, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 교점들(P)의 분산값에 비례할 수 있다. 이를 통하여, 객체의 크기를 보다 현실적으로 알맞게 나타낼 수가 있다.
또한, 상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
이 때, 기 설정된 거리보다 큰 거리에 위치되는 교점을 제외함으로써, 3차원 모델 데이터 생성 과정에서의 오차를 줄일 수가 있다.
상기 개체평균지점으로부터 기 설정된 거리는, 인식되는 객체의 거리 또는 사용자가 설정한 소정의 거리일 수 있다.
저장 모듈(270)은 기저장 파노라믹 영상 데이터(IDS) 및 기저장 파노라믹 영상 데이터(IDS)에 대한 태그 및 태그 위치 정보인 기저장 태그 데이터(TDS)를 저장할 수 있다.
또한, 저장 모듈(270)은 객체 위치결정모듈(230)이 생성한 통합 태그 데이터(UT)를 저장할 수 있다.
이 때, 파노라믹 영상 서버(200)가 제1 태그 데이터 세트(DS1)가 수신하여, 태그 검색 모듈(220)이 기저장 태그 데이터(TDS)를 검색할 경우, 저장 모듈(270)은, 검색된 결과를 바탕으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 기저장 태그 데이터(TDS)인 통합 태그 데이터(UT)를 객체 위치결정모듈(230)에 전송하고, 객체 위치결정모듈(230)에 전송된 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 객체의 위치를 계산하여 통합 태그 데이터(UT)를 재생성하여 저장 모듈(270)에 저장할 수 있다.
도 4는 도 1의 파노라믹 영상 컨텐츠 제작 시스템에 의한 파노라믹 영상 컨텐츠 제작 방법을 도시한 순서도이다.
도 4를 참조하면, 파노라믹 영상 컨텐츠 제작 방법은 보상 확인 단계(S100), 파노라믹 영상 생성 단계(S200), 객체 위치 계산 단계(S300), 파노라믹 영상 표시 단계(S400)를 포함한다.
먼저, 파노라믹 영상 서버(200)가 사용자 디바이스(100)의 위치 정보인 사용자 위치 정보 및 보상 기준 데이터(CD)를 기반으로 예상 촬영 보상(PR)을 산출하고, 상기 예상 촬영 보상(PR)을 사용자 디바이스(100)로 송신하고, 사용자 디바이스(100)가 수신 받은 예상 촬영 보상(PR)을 표시하는 보상 확인 단계(S100)가 수행된다.
이 때, 기저장 태그데이터(TDS) 및 신규 태그 데이터(TD1)는, 파노라믹 영상(I)이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함한다.
또한, 보상 기준 데이터(CD)는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS)를 기반으로 기 저장된 상기 객체에 대한 촬영 화각 정보, 촬영원점정보(SI)에 기반한 촬영원점과 객체위치정보(OI)에 기반한 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터(TDS) 개수, 촬영 정보(ID) 및 사용자 디바이스(100)의 사용자 정보 중 적어도 하나의 기준을 포함한다.
그 다음, 사용자 디바이스(100)가 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1) 및 제1 파노라믹 영상(I1) 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터(TD1)를 포함하는 제1 태그 데이터 세트(DS1)를 생성하는 파노라믹 영상 생성단계(S200)가 수행된다.
파노라믹 영상 생성 단계(S200)는 파노라믹 영상 촬영 단계(S210), 영상 및 촬영 데이터 송신단계(S220), 기존 영상 데이터 존재 판단 단계(S230), 태그 정보 입력 단계(S240), 최초 태그 데이터 입력 단계(S250), 태그 위치 보정 단계(S260), 촬영 보상 단계(S270)를 포함한다.
먼저, 사용자 디바이스(100)가 제1 파노라믹 영상(I1)을 촬영하고, 제1 파노라믹 영상(I1) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성하는 파노라믹 영상 촬영 단계(S210)가 수행된다.
그 다음, 사용자 디바이스(S100)가 파노라믹 영상 서버(S200)로 제1 파노라믹 영상 데이터(ID1)를 송신하는 영상 및 촬영 데이터 송신단계(S220)가 수행된다.
그 다음, 제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS)의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계(S230)가 수행된다.
그 다음, 제1 파노라믹 영상 데이터(ID1)를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재할 경우, 사용자 디바이스(100)가 상기 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하는 태그 정보 입력 판단 단계(S240)가 수행된다.
제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재하지 않거나, 사용자 디바이스(100)가 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하지 않을 경우, 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계(S250)가 수행된다.
사용자 디바이스(100)가 제1 파노라믹 영상 데이터(ID1)의 영상 처리 결과를 기반으로 제1 태그 데이터 세트(DS1)를 보정하는 태그 위치 보정 단계(S260)가 수행된다.
제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS) 및 기저장 태그 데이터(TDS) 중 적어도 하나를 고려하여 보상 기준 데이터(CD)를 생성하고, 보상 기준 데이터(CD)를 기반으로 제1 파노라믹 영상 데이터(ID1) 및 신규 태그 데이터(TD1)에 대한 촬영 보상(IR)을 제공하는 촬영 보상 단계(S270)가 수행된다.
파노라믹 영상 서버(200)가 사용자 디바이스(100)로부터 제1 파노라믹 영상 데이터(ID1) 및 제1 태그 데이터 세트(DS1)를 수신 받고, 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터(TDS)를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터(UT)를 생성하는 객체 위치 계산 단계(S300)가 수행된다.
객체 위치 계산 단계(S300)에서, 파노라믹 영상 서버(200)가, 적어도 하나의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)의 위치 정보 세트를 기반으로 형성되는 상기 복수의 연장선(V)들 간의 교점의 평균값으로 상기 객체의 위치를 계산할 수 있다.
이 때, 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)는, 상기 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보(SI) 및 개별 객체에 대한 객체위치정보(OI)를 포함한다. 이 때, 하나의 촬영원점정보(SI)에 기반한 촬영원점과 하나의 객체위치정보(OI)에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선(V)이 형성된다.
객체 위치 계산 단계(S300)에서, 파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 연장선들의 교점(P)을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선 값들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성한다.
객체 위치 계산 단계(S300)는 태그 데이터 판별 단계(S310), 3차원 태그 좌표 계산 단계(S320), 2차원 태그 좌표 계산 단계(S330)를 포함한다.
파노라믹 영상 서버(200)가, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS)의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계(S310)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 연장선(V)들의 교점(P)들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성하는 3차원 태그 좌표 계산 단계(S320)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 하나일 경우, 촬영원점정보(SI) 및 객체위치정보(OI)의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 연장선(V)들의 교점(P)들의 평균값을 이용하여 통합 태그 데이터(UT)를 생성하는 2차원 태그 좌표 계산 단계(S330)가 수행된다.
파노라믹 영상 서버(200)가 상기 동일한 객체에 대하여 검색된 기저장 태그 데이터(TDS)의 위치 정보 세트가 둘 이상일 경우, 파노라믹 영상 서버(200)가, 복수의 교점들(P) 및 교점들(P)의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 파노라믹 영상(I) 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계(S340)가 수행된다.
이 때, 상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 교점들(P)의 분산값에 비례할 수 있고, 상기 식별영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외될 수 있다.
파노라믹 영상 서버(200)가 통합 태그 데이터(UT)에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터(I) 상에 표시하는 파노라믹 영상 표시 단계(S400)가 수행된다.
파노라믹 영상 표시 단계(S400)에서, 상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 상에 통합 태그 데이터(UT)의 태그 정보를 표시한다.
이 때, 파노라믹 영상 표시 단계(S400)에서, 파노라믹 영상 서버(200)는, 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS) 뿐 만 아니라 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)으로부터 계산된 통합 태그 데이터(UT)를 기반으로 파노라믹 영상 서버(200)로 수신된 위치 정보를 포함한 복수의 파노라믹 영상 데이터(ID) 상에 통합 태그 데이터(UT)를 표시할 수 있다.
도 7는 도 2의 사용자 디바이스에서 파노라믹 영상 생성 과정을 보여주는 예시적인 도면이다.
도 7을 참조하면, (A)단계에서, 사용자는 사용자 디바이스(100)를 이용하여 제1 파노라믹 영상(605)을 촬영할 수 있다.
이 때, 사용자는 사용자 디바이스(100)의 표시된 인터페이스 상에 포함된 촬영 버튼(400)을 사용하여 제1 파노라믹 영상(605)을 촬영하기 위한 촬영 동작을 수행한다.
사용자 디바이스(100)는 화면 상에 나타나는 단일 영상 뿐만 아니라, 360도 및 파노라믹 영상 생성이 가능한 모든 동작 및 어플리케이션 동작을 수행하여 제1 파노라믹 영상(605)을 촬영할 수 있다.
사용자 디바이스(100)가 제1 파노라믹 영상(605)의 촬영을 수행하고, 사용자 디바이스는 제1 파노라믹 영상(605)이 촬영된 촬영 정보를 생성하고, 생성된 제1 파노라믹 영상(605) 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터(ID1)를 생성한다.
(B)단계에서, 사용자 디바이스(100)는 제1 파노라믹 영상 데이터(ID1)의 제1 파노라믹 영상(605)을 표시하는 출력부(130)를 포함하고, 사용자는 사용자 디바이스(100)의 입력부(120)를 통해 제1 파노라믹 영상(605) 상에 적어도 하나의 객체에 대한 태그 정보(600)를 배치할 수 있다.
사용자가 제1 파노라믹 영상(605) 상에 객체에 대한 태그 정보(600) 배치를 수행하면, 사용자 디바이스(100)는 객체에 대한 신규 태그 데이터(TD1)를 생성한다.
이 때, 신규 태그 데이터(TD1)는 제1 파노라믹 영상(605)의 촬영된 위치에 대한 촬영원점정보(SI) 및 객체에 대한 객체위치정보(OI)를 포함한다.
사용자 디바이스(100)는 사용자로부터 배치되어 생성된 제1 파노라믹 영상 데이터(ID1)의 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터(IDS)를 존재 여부를 판단한다.
기저장 파노라믹 영상 데이터(IDS)가 존재할 경우, 사용자 디바이스(100)가 기저장 파노라믹 영상 데이터(IDS)와 참조된 기저장 태그 데이터(TDS)의 태그 정보를 출력부(130)로 표시할 수 있다.
예시적으로, 기저장 태그 데이터(TDS)에 포함된 태그 정보인 객체의 명칭들이 표시될 수 있으며, 사용자는 사용자 디바이스(100)의 입력부(120)를 이용하여 상기 태그 정보 중 신뢰성이 있는 명칭을 선택할 수 있다.
사용자 디바이스(100)는 복수의 기저장 태그 데이터(TDS)의 태그 정보 중 동일한 객체에 대한 다수의 태그 정보를 우선적으로 표시할 수 있다.
예시적으로, 기저장 태그 데이터들(TDS) 중 태그 정보가 ‘이순신 장군 동상’, ‘이순신 상’, ‘이순신 동상’과 같이 존재하고, 다른 사용자 디바이스(100)들로부터 다수 입력된 태그 정보가 ‘이순신 동상’ 일 경우, ‘이순신 동상’에 대한 태그 정보(601)가 파노라마 영상(I) 상에 우선적으로 표시되어, 사용자 디바이스(100)를 사용하는 사용자로 하여금 신뢰성 있는 명칭을 선택할 수 있도록 할 수 있다.
또한, 제1 파노라믹 영상 데이터(ID1)를 기반으로 상기 기설정된 영역 내에 기저장 파노라믹 영상 데이터(IDS)가 존재하지 않거나, 사용자 디바이스(100)가 기저장 태그 데이터(TDS)의 태그 정보를 기반으로 신규 태그 데이터(TD1)의 태그 정보를 입력하지 않을 경우, 사용자 디바이스(100)는 사용자로부터 신규 태그 데이터(TD1)의 태그 정보를 직접 입력 받을 수 있다.
예시적으로, 사용자 디바이스(100)는 사용자로부터 제1 파노라믹 영상(I1) 상에 객체의 배치를 수행하여, 배치된 객체의 태그 정보를 사용자가 직접 입력하여 기 설정된 영역에서의 최초의 신규 태그 데이터를 생성할 수 있다.
이 후, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 최초의 신규 태그 데이터인 기저장 태그 데이터(TDS)의 태그 정보를 수신받아, 새로운 신규 태그 데이터를 생성할 수 있다.
도 8은 도 3의 파노라믹 영상 서버의 객체 위치 계산 과정을 보여주는 예시적인 도면이다.
도 8을 참조하면, 제1 파노라마 영상 데이터(ID1)의 촬영 정보(ID)를 기반으로 기 설정된 영역(R1) 내에 동일한 객체에 대하여 검색된 기저장 태그 데이터(TD2, TD3)가 검색되고, 제1 파노라믹 영상(I1)과 기저장 파노라믹 영상(IS)인 제2 파노라믹 영상(I2) 및 제3 파노라믹 영상(I3)이 촬영된 위치에 대한 촬영원점정보(SI)에 기반한 촬영원점(SP1, SP2, SP3)과 개별 객체에 대한 객체위치정보(OI)인 객체 위치(OP1, OP2, OP3)를 연결한 연결선으로부터 연장된 3개의 연장선(V1, V2, V3)이 형성된다.
이 때, 복수의 연장선(V1, V2, V3)들 간의 교점(P1, P2, P3)을 생성하고, 생성된 교점(P1, P2, P3)의 평균값으로 객체의 위치를 계산하여 통합 태그 데이터(750)를 생성할 수 있으며, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 계산된 위치 정보 및 태그 정보를 포함하는 통합 태그 데이터(UT)를 수신받아 복수의 파노라믹 영상(I) 상의 객체에 태그 정보를 표시할 수 있다.
또한, 도 8을 참조하면, 파노라믹 영상 서버(200)는 복수의 파노라믹 영상 데이터(ID1, ID2, ID3)가 촬영된 위치 정보를 기반으로 지리 정보 영상 상에 위치 마커(M1, M2, M3)를 생성할 수 있다.
파노라믹 영상 서버(200)는 위치 마커(M1, M2, M3)가 생성된 상기 지리 정보 영상을 사용자 디바이스(100)에 제공하고, 사용자 디바이스(100)의 출력부(130)는 위치 마커(M1, M2, M3)가 표시된 상기 지리 정보 영상을 사용자에게 표시할 수 있다.
또한, 파노라믹 영상 서버(200)는 복수의 파노라믹 영상 데이터(ID1, ID2, ID3)의 태그 데이터(TD1, TD2, TD3)를 기반으로 위치 마커(M1, M2, M3)의 소정 영역에 태그 배치 방향(MV1, MV2, MV3)을 생성할 수 있다.
예시적으로, 제3 파노라믹 영상 데이터(ID3)에 해당하는 제3 마커(M3)에는 제3 태그 데이터(TD3)의 촬영원점정보(SI)에 기반한 촬영원점(SP3)으로부터 객체위치정보(OI)인 객체 위치(OP3)까지의 방향인 11시 방향의 태그 배치 방향(MV3)이 제3 위치 마커(M3)의 소정 영역에 형성될 수 있다.
또한, 파노라믹 영상 서버(200)는 상기 교점(P1, P2, P3)의 평균값으로 객체의 위치를 계산하여 생성된 통합 태그 데이터(750)를 지리 정보 영상 상에 생성할 수 있다.
본 실시예에서는 파노라믹 영상 서버(200)에서 위치 마커(M) 및 통합 태그 데이터(UT)가 지리 정보 영상 상에 생성되고, 사용자 디바이스(100)가 상기 지리 정보 영상을 수신하여 표시하는 구성으로 설명하였으나, 다른 실시예에서는 사용자 디바이스(100)가 위치 마커(M) 및 통합 태그 데이터(UT)를 수신 받고, 지리 정보 영상 상에 위치 마커 및 통합 태그 데이터를 생성할 수 있다.
위치 마커(M) 및 통합 태그 데이터(UT)가 생성된 지리 정보 영상을 출력부(130)에 표시함으로써, 사용자는 다수의 사용자로부터 파노라믹 영상(I)이 촬영된 위치, 통합 태그 데이터(UT)의 태그 정보가 배치된 위치 및 방향을 쉽게 파악할 수 있다.
도 9는 도 2의 사용자 디바이스에서 객체에 대한 통합 태그 데이터를 기반으로 태그 정보가 표시되는 사용자 인터페이스의 예시적인 도면이다.
도 9를 참조하면, 사용자 디바이스(100)는 파노라믹 영상 서버(200)로부터 복수의 파노라믹 영상(I) 상에 배치되는 복수의 객체에 대한 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 표시할 수 있다.
통합 태그 데이터(UT)는 사용자 디바이스(100)들로부터 동일한 객체에 대한 수신된 신규 태그 데이터(TD1) 및 기저장 태그 데이터(TDS)에 포함되는 촬영원점정보(SI) 및 객체위치정보(OI)를 기반으로 생성된다.
사용자 디바이스(100)의 사용자가 객체에 대한 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 선택할 경우, 사용자 디바이스(100)는 통합 태그 데이터(UT)에 해당하는 태그 정보의 배치된 명칭(751) 또는 객체위치정보(OI)에 해당하는 지역 정보, 객체 정보 및 객체의 환경 정보가 표시될 수 있으며, 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)는 상기 객체에 대한 정보 또는 상기 객체와 근접한 파노라믹 영상이 링크(Link)되어 사용자에게 제공할 수 있다.
사용자 디바이스(100)는, 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)를 선택 가능한 아이콘, 마커 및 태그 형태로 파노라믹 영상 상에 표시할 수 있으며, 통합 태그 데이터(UT)의 태그 정보는, 객체위치정보(OI) 및 파노라믹 영상(I)의 객체 인식된 결과를 기반으로 생성된 아웃라인(Outline) 및 3D 모델링된 삼차원 객체 형태로 사용자에게 표시될 수 있다.
사용자 디바이스(100)가 인식된 객체 및 객체위치정보(OI)를 이용하여 태그 정보를 배치함으로써, 파노라믹 영상(I)에 포함된 촬영 객체의 정확한 객체위치정보(OI)를 얻을 수 있을 뿐만 아니라 객체위치정보(OI)를 기반으로 파노라믹 영상(I) 상의 태그 정보(710,720,730,740,750)의 배치가 정밀하게 수행될 수 있다.
또한, 통합 태그 데이터(UT)와 연관된 촬영 객체가 아웃라인(Outline)으로 표시되어 사용자에게 제공됨으로써, 사용자가 보다 직관적으로 영상에 포함된 촬영 객체를 파악할 수 있다.
통합 태그 데이터(UT)는, 다수의 사용자 디바이스(100)들로부터 동일한 객체에 대한 신규 태그 데이터(TD1)가 축적될수록 해당 객체에 대한 태그 정보(710,720,730,740,750)의 위치가 정확하게 파노라믹 영상(I) 상에 표시될 수 있다.
또한, 파노라믹 영상(I) 상에서의 통합 태그 데이터(UT)의 태그 정보(710,720,730,740,750)의 크기는 촬영 원점으로부터 객체 위치와의 거리가 멀어질수록 작아지게 생성될 수 있다.
도 10은 도 3의 파노라믹 영상 서버에 저장된 태그 데이터를 보여주는 예시적인 도면이다.
도 10을 참조하면, 파노라믹 영상 서버(200)는 서로 다른 복수의 객체의 기저장 태그 데이터(TDS) 및 신규 태그 데이터(TD1)를 저장할 수 있다.
여기서, 제1 촬영원점정보(616,626,636,646)의 촬영원점에서 촬영된 복수의 태그 정보(611,621,631,641) 및 위치정보세트(615,625,635,645)를 포함하는 기저장 태그 데이터(TDS)가 도시되어 있다.
또한, 제1 태그 정보(611)를 포함하고, 기저장 태그 데이터(TDS)와 서로 다른 위치에서 촬영된 제2 촬영원점정보(616)를 포함하는 신규 태그 데이터(TD1)가 도시되어 있다.
이 때, 파노라믹 영상 서버(200)는 제1 태그 정보(611)가 동일한 객체를 각각 다른 위치에서 촬영한 복수의 위치 정보 세트(615,655)를 포함하여 통합 태그 데이터(610)를 생성할 수 있다.
즉, 통합 태그 데이터(UT)는 파노라믹 영상(I) 상에 배치되는 하나의 객체에 대한 태그 정보 및 둘 이상의 위치 정보 세트를 포함한다.
위치 정보 세트는 파노라믹 영상이 촬영된 위치인 촬영원점정보(SI), 사용자 디바이스(100)가 파노라믹 영상 상에 배치되는 하나의 객체위치정보(OI), 위치 정보 세트 및 해당 객체가 촬영된 제1 파노라믹 영상 데이터(ID1) 및 기저장 파노라믹 영상 데이터(IDS)과의 링크 정보를 포함하는 객체참조 정보(RI)를 포함한다.
예시적으로, 파노라믹 영상 서버(200)는, 제1 태그 정보의 제1 및 제2 촬영원점정보(616, 656) 및 제1 태그 정보(611)의 제1 및 제2 객체위치정보(617,657)를 기반으로 객체의 위치를 계산하여 통합 태그 데이터(610)를 생성하고, 생성된 통합 태그 데이터(610)를 기반으로 객체에 대한 제1 태그 정보(611)를 제1 태그 정보의 제1 및 제2 객체참조 정보(618,658)와 링크된 기저장 파노라믹 영상 데이터(TDS) 및 신규 파노라믹 영상 데이터(TD1) 상에 표시할 수 있다.
또한, 파노라믹 영상 서버(200)는, 기저장 파노라믹 영상(IS) 상에 위치 정보 세트(625,635,645)를 기반으로 기저장 파노라마 영상(IS) 상의 제2 내지 제n 태그 정보(621,631,641)를 표시할 수 있다.
이 때, 제1 태그 정보(611)는 복수의 위치 정보 세트(615,655)에 포함된 촬영원점정보(616,656) 및 객체위치정보(617,657)를 이용하여 기저장 파노라믹 영상(IS) 및 제1 파노라믹 영상(I1) 상에 표시되거나, 각각의 사용자 디바이스(100)가 객체를 배치한 위치 정보인 위치 정보 세트(615, 655) 중 어느 하나를 이용하여 선택적으로 파노라믹 영상(I) 상에 표시될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
1 : 파노라믹 영상 컨텐츠 제작 시스템
100 : 사용자 디바이스 200 : 파노라믹 영상 서버
300 : 네트워크
110 : 영상 촬영부 120 : 입력부
130 : 출력부 140 : 촬영 정보 생성부
150 : 통신부 160 : 위치보정 모듈
210 : 데이터 수신 모듈 220 : 태그 검색 모듈
230 : 객체 위치결정모듈 240 : 태그 생성 모듈
250 : 보상 모듈 260 : 3차원 모델링 모듈
270 : 저장 모듈
S100 : 보상 확인 단계 S200 : 파노라믹 영상 생성 단계
S300 : 객체 위치 계산 단계 S400 : 파노라믹 영상 표시 단계

Claims (26)

  1. 파노라믹 영상 컨텐츠를 제작하기 위한 파노라믹 영상 컨텐츠 제작 시스템에 있어서,
    제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 사용자 디바이스;
    상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받는 데이터 수신 모듈, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하는 태그 검색 모듈, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치결정모듈, 및 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 태그 생성 모듈을 포함하는 파노라믹 영상 서버;를 포함하고,
    적어도 하나의 객체에 대한 상기 기저장 태그 데이터는 기저장 파노라믹 영상 상에 배치되며,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 각각의 상기 기저장 파노라믹 영상 및 상기 제1 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며,
    상기 연장선은 복수개로 마련되며,
    상기 객체 위치결정모듈은,
    적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 연장선들 간의 교점들의 평균값으로 상기 객체의 위치를 계산하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  2. 삭제
  3. 제1 항에 있어서,
    상기 객체 위치결정모듈은
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하고,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 객체 위치결정모듈은, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 파노라믹 영상 컨텐츠 제작 시스템
  4. 제3 항에 있어서,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  5. 제4 항에 있어서,
    상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  6. 제4 항에 있어서,
    상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외되는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  7. 제3 항에 있어서,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 객체 위치결정모듈은,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  8. 제1 항에 있어서,
    상기 사용자 디바이스는,
    상기 제1 파노라믹 영상을 생성하는 영상 촬영부;
    상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 촬영 정보 생성부;
    상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 통신부; 및
    상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력받거나, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 입력부;를 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  9. 제1 항에 있어서,
    상기 파노라믹 영상 서버는
    상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 보상 모듈;을 더 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  10. 제9 항에 있어서,
    상기 보상 모듈은,
    상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하여, 상기 예상 촬영 보상을 상기 사용자 디바이스로 송신하고,
    상기 사용자 디바이스는,
    상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 출력부를 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  11. 제9 항에 있어서,
    상기 보상 기준 데이터는,
    상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  12. 제1 항에 있어서,
    상기 태그 생성 모듈은,
    동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 시스템
  13. 제1 항에 있어서,
    상기 사용자 디바이스는,
    상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 위치 보정 모듈;을 더 포함하는 파노라믹 영상 컨텐츠 제작 시스템
  14. 파노라믹 영상 데이터 및 태그 데이터를 생성하는 사용자 디바이스 및 상기 사용자 디바이스로부터 상기 파노라믹 영상 데이터 및 상기 태그 데이터를 전달받는 파노라믹 영상 서버를 포함하는 파노라믹 영상 컨텐츠 제작 시스템을 이용한 파노라믹 영상 컨텐츠 제작 방법에 있어서,
    사용자 디바이스가 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터 및 상기 제1 파노라믹 영상 상에 배치되는 적어도 하나의 객체에 대한 신규 태그 데이터를 포함하는 제1 태그 데이터 세트를 생성하는 파노라믹 영상 생성 단계;
    파노라믹 영상 서버가 상기 사용자 디바이스로부터 상기 제1 파노라믹 영상 데이터 및 상기 제1 태그 데이터 세트를 수신 받고, 상기 제1 파노라믹 영상 데이터의 상기 촬영 정보를 기반으로 기 설정된 영역 내에 존재하는 동일한 객체에 대한 적어도 하나의 기저장 태그 데이터를 검색하고, 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터 및 상기 신규 태그 데이터를 기반으로 상기 객체의 위치를 계산하여 통합 태그 데이터를 생성하는 객체 위치 계산 단계; 및
    상기 파노라믹 영상 서버가 상기 통합 태그 데이터에 기반하여 상기 객체에 대한 태그 정보를 파노라믹 영상 데이터 상에 표시하는 파노라믹 영상 표시 단계;를 포함하고,
    적어도 하나의 객체에 대한 상기 기저장 태그 데이터는 기저장 파노라믹 영상 상에 배치되며,
    상기 기저장 태그 데이터 및 상기 신규 태그 데이터는, 각각의 상기 기저장 파노라믹 영상 및 상기 제1 파노라믹 영상이 촬영된 위치에 대한 촬영원점정보 및 개별 객체에 대한 객체위치정보를 포함하고,
    하나의 상기 촬영원점정보에 기반한 촬영원점과 하나의 상기 객체위치정보에 기반한 객체위치를 연결한 연결선으로부터 연장되는 연장선이 형성되며,
    상기 연장선은 복수개로 마련되며,
    상기 객체 위치 계산 단계는
    상기 파노라믹 영상 서버가, 적어도 하나의 상기 기저장 태그 데이터 및 상기 신규 태그 데이터의 위치 정보 세트를 기반으로 형성되는 상기 연장선들 간의 교점의 평균값으로 상기 객체의 위치를 계산하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  15. 삭제
  16. 제14 항에 있어서,
    상기 촬영원점정보 및 상기 객체위치정보는 위치에 대한 제1 성분, 제2 성분 및 제3 성분(parameter)을 포함하고,
    상기 객체 위치 계산 단계는,
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트의 개수를 판별하는 태그 데이터 판별 단계;
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 내지 상기 제3 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 3차원 태그 좌표 계산 단계; 및
    상기 파노라믹 영상 서버가 상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 하나일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 상기 제2 성분을 기초로 형성되는 동일한 상기 객체에 대한 상기 연장선들의 상기 교점들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 2차원 태그 좌표 계산 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  17. 제16 항에 있어서,
    상기 객체 위치 계산 단계는,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 파노라믹 영상 서버가, 복수의 상기 교점들 및 상기 교점들의 평균값에 기반한 객체평균 지점을 둘러싸는 식별 영역을 생성하고, 상기 식별 영역을 기반으로 상기 파노라믹 영상 상에 배치되는 상기 객체의 3차원 모델 데이터를 생성하는 3D 객체 모델링 데이터 생성 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
  18. 제17 항에 있어서,
    상기 식별 영역의 중심에는 상기 평균값에 기반한 객체평균 지점이 배치되며, 상기 식별 영역의 크기는 상기 교점들의 분산값에 비례하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  19. 제17 항에 있어서,
    상기 식별 영역에서 상기 평균값에 기반한 객체평균지점으로부터 기설정된 거리보다 큰 거리에 위치되는 상기 교점은 제외되는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  20. 제16 항에 있어서,
    상기 객체 위치 계산 단계는,
    상기 동일한 객체에 대하여 검색된 상기 기저장 태그 데이터의 위치 정보 세트가 둘 이상일 경우, 상기 촬영원점정보 및 상기 객체위치정보의 상기 제1 성분 및 제2 성분을 기초로 형성되는 동일한 객체에 대한 상기 연장선들의 상기 교점을 생성하고, 상기 교점과 제3 성분 방향으로 수직하게 연장된 제3 성분 직선과 만나는 연장선 값들의 평균값을 이용하여 상기 통합 태그 데이터를 생성하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  21. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 사용자 디바이스가 제1 파노라믹 영상을 생성하고, 상기 제1 파노라믹 영상 및 촬영 정보를 포함하는 제1 파노라믹 영상 데이터를 생성하는 파노라믹 영상 촬영 단계;
    상기 사용자 디바이스가 상기 파노라믹 영상 서버로 상기 제1 파노라믹 영상 데이터를 송신하는 영상 및 촬영 데이터 송신단계;
    상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터의 존재 여부를 판단하는 기존 영상 데이터 존재 판단 단계;
    상기 제1 파노라믹 영상 데이터를 기반으로 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재할 경우, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하는 태그 정보 입력 판단 단계; 및
    상기 제1 파노라믹 영상 데이터를 기반으로 상기 기 설정된 영역 내에 기저장 파노라믹 영상 데이터가 존재하지 않거나, 상기 사용자 디바이스가 상기 기저장 태그 데이터의 태그 정보를 기반으로 상기 신규 태그 데이터의 태그 정보를 입력하지 않을 경우, 사용자로부터 상기 신규 태그 데이터의 태그 정보를 직접 입력받는 최초 태그 데이터 입력 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  22. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터를 기반으로 기 설정된 영역 내에 존재하는 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터 중 적어도 하나를 고려하여 보상 기준 데이터를 생성하고, 상기 보상 기준 데이터를 기반으로 상기 제1 파노라믹 영상 데이터 및 상기 신규 태그 데이터에 대한 촬영 보상을 제공하는 촬영 보상 단계;를 포함하는 파노라믹 영상 컨텐츠 제작 방법
  23. 제22 항에 있어서,
    상기 파노라믹 영상 서버가 상기 사용자 디바이스의 위치 정보인 사용자 위치 정보 및 상기 보상 기준 데이터를 기반으로 예상 촬영 보상을 산출하고, 상기 예상 촬영 보상을 사용자 디바이스로 송신하고, 상기 사용자 디바이스가 수신 받은 상기 예상 촬영 보상을 표시하는 보상 확인 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
  24. 제23 항에 있어서,
    상기 보상 기준 데이터는,
    상기 기저장 파노라믹 영상 데이터 및 상기 기저장 태그 데이터를 기반으로 기 저장된 상기 객체에 대한 촬영 범위 정보, 상기 촬영원점정보에 기반한 상기 촬영원점과 상기 객체위치정보에 기반한 상기 객체위치 간의 거리, 상기 객체에 대한 기저장 태그 데이터 개수, 상기 촬영 정보 및 상기 사용자 디바이스의 사용자 정보 중 적어도 하나의 기준을 포함하는 파노라믹 영상 컨텐츠 제작 방법
  25. 제14 항에 있어서,
    상기 파노라믹 영상 표시 단계는
    상기 파노라믹 영상 서버가 동일한 태그 정보를 포함하는 복수의 객체참조 정보와 링크된 각각의 상기 제1 파노라믹 영상 데이터 및 기저장 파노라믹 영상 데이터 상에 상기 통합 태그 데이터를 표시하는 것을 특징으로 하는 파노라믹 영상 컨텐츠 제작 방법
  26. 제14 항에 있어서,
    상기 파노라믹 영상 생성 단계는,
    상기 사용자 디바이스가 상기 제1 파노라믹 영상 데이터의 영상 처리 결과를 기반으로 상기 제1 태그 데이터 세트를 보정하는 태그 위치 보정 단계;를 더 포함하는 파노라믹 영상 컨텐츠 제작 방법
KR1020190166683A 2019-10-04 2019-12-13 파노라믹 영상 컨텐츠 제작 시스템 및 방법 KR102272757B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/017776 WO2021066254A1 (ko) 2019-10-04 2019-12-16 파노라믹 영상 컨텐츠 제작 시스템 및 방법
US16/976,531 US11871114B2 (en) 2019-10-04 2019-12-16 System and method for producing panoramic image content
SG11202008424WA SG11202008424WA (en) 2019-10-04 2019-12-16 System and method for producing panoramic image content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190123034 2019-10-04
KR1020190123034 2019-10-04

Publications (2)

Publication Number Publication Date
KR20210040758A KR20210040758A (ko) 2021-04-14
KR102272757B1 true KR102272757B1 (ko) 2021-07-05

Family

ID=75477749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166683A KR102272757B1 (ko) 2019-10-04 2019-12-13 파노라믹 영상 컨텐츠 제작 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102272757B1 (ko)
SG (1) SG11202008424WA (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613284B1 (ko) * 2015-10-08 2016-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR101909194B1 (ko) * 2017-09-14 2018-10-18 (주)글루버 위치기반 영상 서비스 제공 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613284B1 (ko) * 2015-10-08 2016-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR101909194B1 (ko) * 2017-09-14 2018-10-18 (주)글루버 위치기반 영상 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
KR20210040758A (ko) 2021-04-14
SG11202008424WA (en) 2021-05-28

Similar Documents

Publication Publication Date Title
US9129429B2 (en) Augmented reality on wireless mobile devices
US8103126B2 (en) Information presentation apparatus, information presentation method, imaging apparatus, and computer program
EP2625847B1 (en) Network-based real time registered augmented reality for mobile devices
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9582937B2 (en) Method, apparatus and computer program product for displaying an indication of an object within a current field of view
CN102542905B (zh) 图像处理装置和图像处理方法
CN107197153B (zh) 一种照片的拍摄方法及拍摄装置
CN109520500A (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实***
CN109115221A (zh) 室内定位、导航方法及装置、计算机可读介质和电子设备
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
KR20070055533A (ko) 사진에서 객체를 확인하기 위한 방법 및 시스템, 상기시스템을 구현하기 위한 프로그램, 기록 매체, 단말 및서버
CN107193820B (zh) 位置信息获取方法、装置及设备
US11871114B2 (en) System and method for producing panoramic image content
CN110796706A (zh) 视觉定位方法及***
JP2013196388A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102272757B1 (ko) 파노라믹 영상 컨텐츠 제작 시스템 및 방법
CN107888827A (zh) 图像处理方法及相关产品
CN110503123B (zh) 图像定位方法、装置、计算机设备和存储介质
JP5910729B2 (ja) 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置
JP2016133701A (ja) 情報提供システム、及び情報提供方法
JP5709261B2 (ja) 情報端末、情報提供システム及び情報提供方法
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
JP2005286747A (ja) テキスト情報提供装置及びテキスト情報提供方法
JP2006178804A (ja) 被写体オブジェクト情報提供方法および被写体オブジェクト情報提供サーバ

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant