KR101613277B1

KR101613277B1 - 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Info

Publication number: KR101613277B1
Application number: KR1020150142180A
Authority: KR
Inventors: 김영덕
Original assignee: 김영덕
Priority date: 2015-10-12
Filing date: 2015-10-12
Publication date: 2016-04-18

Abstract

본 발명은 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법을 개시한다. 즉, 본 발명은 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공함으로써, 실제 백화점, 쇼핑몰, 거리 등에서 마주치는 뷰를 그대로 제공하면서 오프라인에서 제공하는 상품이나 매장과 관련한 부가적인 정보를 전달하여 사용상의 편의성을 향상시키고, 사용자에게 다양한 정보를 제공할 수 있다.

Description

증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법{System for providing shopping information based on augmented reality and control method thereof}

본 발명은 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법에 관한 것으로, 특히 오프라인 매장 또는 거리 매장에 구비된 객체를 촬영하고, 상기 촬영된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공하는 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법에 관한 것이다.

파노라마 영상은 피사체에 관한 다수의 영상이 합성되어 이루어진 영상을 의미한다.

이러한 파노라마 영상이 인터넷 쇼핑몰에 적용되는 경우, 오프라인의 상황을 온라인 상의 가상 현실로 구현하며, 파노라마 영상에 포함된 상품이나 매장 등에 대한 개략적인 정보를 제공하는데 그쳐, 가상 현실로 구현된 오프라인에서 제공하는 정보를 제대로 제공하지 못하고 있다.

또한, 실시간 영상 정보를 제공하는 경우, 해당 영상 정보에 포함된 제 3 자(예를 들어 임의의 사람)가 그대로 노출되어, 프라이버시가 침해될 수 있다.

한국공개특허 제10-2013-0084274호 [명칭: 3차원 가상현실 인터넷 쇼핑몰]

본 발명의 목적은 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공하는 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법을 제공하는 데 있다.

본 발명의 다른 목적은 오프라인 매장 또는 거리 매장에서 취급하지 않거나 판매 소진으로 인한 품절 상태인 상품에 대한 정보를 제공하는 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법을 제공하는 데 있다.

본 발명의 실시예에 따른 쇼핑 정보 제공 시스템은 증강 현실 기반 쇼핑 정보 제공 시스템에 있어서, 오프라인 매장 또는 거리 매장에 구비된 객체를 촬영하고, 상기 객체를 촬영한 구매 단말의 위치 정보를 확인하고, 상기 객체를 포함하는 영상 정보, 상기 구매 단말의 위치 정보 및 구매 단말의 식별 정보를 전송하는 구매 단말; 및 상기 영상 정보에 포함된 객체를 인식하고, 미리 저장된 복수의 객체별 코드 중에서 상기 인식된 객체와 관련한 코드를 확인하고, 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보를 각각 확인하고, 상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보를 확인하고, 미리 저장된 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드가 포함된 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보와, 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 하나 이상의 유사군 상품 및 서비스 정보와, 상기 확인된 부가 정보를 상기 구매 단말에 전송하는 서버를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 객체는, 상기 오프라인 매장 또는 상기 거리 매장에 구비된 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 적어도 하나를 포함하며, 상기 오프라인 매장 또는 상기 거리 매장에서 제공하는 상품 및 서비스는 제외한 상태일 수 있다.

본 발명과 관련된 일 예로서 상기 부가 정보는, 상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 쿠폰, 상품권 및 서비스 예약 정보 중 적어도 하나를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 구매 단말은, 상기 서버로부터 전송되는 3D 파노라마 영상 정보를 표시하고, 상기 하나 이상의 상품 및 서비스 정보를 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보를 상기 3D 파노라마 영상 정보의 일측에 표시하고, 상기 하나 이상의 유사군 상품 및 서비스 정보를 상기 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보를 상기 3D 파노라마 영상 정보의 다른 일측에 표시할 수 있다.

본 발명과 관련된 일 예로서 상기 구매 단말은, 상기 서버로부터 전송되는 상기 하나 이상의 상품 및 서비스 정보 및, 상기 하나 이상의 유사군 상품 및 서비스 정보에 미리 설정된 배송 상품이 포함될 때, 상기 배송 상품에 해당하는 상품 또는 유사군 상품이 표시되는 일측에 배송 상품임을 나타내는 정보를 표시하고, 상기 배송 상품은, 상기 오프라인 매장 또는 상기 거리 매장에서 미취급 상품이거나 판매 소진으로 인한 품절 상태인 상품일 수 있다.

본 발명과 관련된 일 예로서 상기 구매 단말에 표시되는 배송 상품이 선택될 때, 상기 구매 단말, 상기 서버 및 결제 서버와의 연동에 의해, 상기 선택된 배송 상품의 결제 금액에 대한 결제 기능을 수행하고, 상기 서버로부터 전송되는 회원 정보, 상기 배송 상품에 대한 정보 및 상기 구매 단말의 식별 정보를 수신하고, 상기 회원 정보에 포함된 배송지 정보를 근거로 배송지로 상기 배송 상품을 배송하는 매장 서버를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 구매 단말에 표시되는 배송 상품이 선택될 때, 상기 구매 단말, 상기 서버 및 결제 서버와의 연동에 의해, 상기 선택된 배송 상품의 결제 금액에 대한 결제 기능을 수행하고, 상기 서버로부터 전송되는 회원 정보, 상기 배송 상품에 대한 정보 및 상기 구매 단말의 식별 정보를 수신하고, 매장에 방문한 상기 구매 단말의 사용자에 대한 인증 절차를 수행한 후, 상기 배송 상품을 상기 구매 단말의 사용자에게 제공하는 매장 서버를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 서버는, 복수의 카메라를 통해 오프라인 상의 하나 이상의 매장, 상기 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 포함하는 제 1 영상 및 제 2 영상을 각각 촬영하고, 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득하고, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성하고, 상기 예비 파노라마 영상 내에 포함된 매장, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 각각 인식하고, 상기 인식된 하나 이상의 객체에 각각 대응하는 코드를 상기 예비 파노라마 영상 내의 객체 상의 일부 영역에 추가하거나 또는 상기 객체로부터 미리 설정된 거리 이내에 인접하게 추가하여 상기 3D 파노라마 영상을 생성할 수 있다.

본 발명과 관련된 일 예로서 상기 서버는, 상기 3D 파노라마 영상 정보 내에서 사람이 인식될 때, 상기 3D 파노라마 영상 정보 내에 포함된 사람의 윤곽선을 추출하고, 상기 추출된 사람의 윤곽선을 이전에 생성된 3D 파노라마 영상 정보에 추가하여 새로운 3D 파노라마 영상 정보를 생성할 수 있다.

본 발명의 실시예에 따른 쇼핑 정보 제공 시스템의 제어 방법은 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법에 있어서, 구매 단말을 통해, 오프라인 매장 또는 거리 매장에 구비된 객체를 촬영하는 단계; 상기 구매 단말을 통해, 상기 객체를 촬영한 구매 단말의 위치 정보를 확인하는 단계; 상기 구매 단말을 통해, 상기 객체를 포함하는 영상 정보, 상기 구매 단말의 위치 정보 및 구매 단말의 식별 정보를 전송하는 단계; 서버를 통해, 상기 구매 단말로부터 전송되는 영상 정보에 포함된 객체를 인식하는 단계; 상기 서버를 통해, 미리 저장된 복수의 객체별 코드 중에서 상기 인식된 객체와 관련한 코드를 확인하는 단계; 상기 서버를 통해, 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보를 각각 확인하는 단계; 상기 서버를 통해, 상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보를 확인하는 단계; 상기 서버를 통해, 미리 저장된 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드가 포함된 3D 파노라마 영상 정보를 확인하는 단계; 상기 서버를 통해, 상기 하나 이상의 상품 및 서비스 정보를 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 하나 이상의 유사군 상품 및 서비스 정보를 상기 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 다른 하나로 정렬하는 단계; 및 상기 서버를 통해, 상기 확인된 3D 파노라마 영상 정보, 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보, 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보 및, 상기 확인된 부가 정보를 상기 구매 단말에 전송하는 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 코드가 포함된 3D 파노라마 영상 정보를 확인하는 단계는, 상기 복수의 3D 파노라마 영상 정보 중에서 상기 코드가 포함된 3D 파노라마 영상 정보가 복수일 때, 상기 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드 및 상기 구매 단말의 위치 정보를 근거로 3D 파노라마 영상 정보를 확인할 수 있다.

본 발명과 관련된 일 예로서 상기 3D 파노라마 영상 정보를 전송하는 단계는, 상기 서버를 통해, 상기 전송되는 미리 설정된 개수의 상품 및 서비스 정보와 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보에 미리 설정된 배송 상품이 포함될 때, 배송 상품임을 나타내는 정보를 함께 전송할 수 있다.

본 발명과 관련된 일 예로서 상기 구매 단말을 통해, 상기 서버로부터 전송되는 상기 3D 파노라마 영상 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 일측에 상기 서버로부터 전송되는 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 다른 일측에 상기 서버로부터 전송되는 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 또 다른 일측에 상기 서버로부터 전송되는 상기 부가 정보를 표시하는 단계를 더 포함할 수 있다.

본 발명과 관련된 일 예로서 상기 3D 파노라마 영상 정보는, 상기 서버를 통해, 복수의 카메라를 통해 오프라인 상의 하나 이상의 매장, 상기 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 포함하는 제 1 영상 및 제 2 영상을 각각 촬영하는 과정; 상기 서버를 통해, 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득하는 과정; 상기 서버를 통해, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 제 1 예비 파노라마 영상을 생성하는 과정; 상기 서버를 통해, 상기 제 1 예비 파노라마 영상 내에 포함된 매장, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 각각 인식하는 과정; 및 상기 서버를 통해, 상기 인식된 하나 이상의 객체에 각각 대응하는 코드를 상기 제 1 예비 파노라마 영상 내의 객체 상의 일부 영역에 추가하거나 또는 상기 객체로부터 미리 설정된 거리 이내에 인접하게 추가하여 상기 제 1 3D 파노라마 영상을 생성하는 과정을 통해 생성되며, 상기 코드는, 바코드, QR 코드 및 문자열 코드 중 어느 하나의 형태이며, 상기 객체와 관련한 하나 이상의 상품 정보 및 하나 이상의 서비스 정보 중 적어도 하나를 포함하며, 상기 코드를 나타내는 색상을 미리 설정된 복수의 색상 중 어느 하나로 설정하고, 상기 코드의 배경색을 상기 미리 설정된 복수의 색상 중 다른 어느 하나로 설정할 수 있다.

본 발명은 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공함으로써, 실제 백화점, 쇼핑몰, 거리 등에서 마주치는 뷰를 그대로 제공하면서 오프라인에서 제공하는 상품이나 매장과 관련한 부가적인 정보를 전달하여 사용상의 편의성을 향상시키고, 사용자에게 다양한 정보를 제공할 수 있는 효과가 있다.

또한, 본 발명은 오프라인 매장 또는 거리 매장에서 취급하지 않거나 판매 소진으로 인한 품절 상태인 상품에 대한 정보를 제공함으로써, 소규모 오프라인 매장을 구매 단말의 사용자가 방문하더라도 대형 매장의 상품 구색과 쇼핑 정보를 동일하게 제공받을 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 쇼핑 정보 제공 시스템의 구성을 나타낸 블록도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법을 나타낸 흐름도이다.
도 4 내지 도 6은 본 발명의 실시예에 따른 3D 파노라마 영상을 생성하기 위한 화면을 나타낸 도이다.
도 7 내지 도 8은 본 발명의 실시예에 따른 구매 단말의 화면을 나타낸 도이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 쇼핑 정보 제공 시스템(10)의 구성을 나타낸 블록도이다.

도 1에 도시한 바와 같이, 쇼핑 정보 제공 시스템(10)은 서버(100), 구매 단말(200), 결제 서버(300), 판매 단말(400) 및 매장 서버(500)로 구성된다. 도 1에 도시된 쇼핑 정보 제공 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 쇼핑 정보 제공 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 쇼핑 정보 제공 시스템(10)이 구현될 수도 있다.

상기 구매 단말(200) 및/또는 상기 판매 단말(400)은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기에 적용될 수 있다. 여기서, 상기 판매 단말(400) 및/또는 상기 매장 서버(500)는 매장에 구비되는 POS(Point of Sales) 단말 등일 수 있다.

또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)은 각각 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결하기 위해서 통신부를 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 포함될 수 있다. 또한, 근거리 통신 기술로는, 블루투스(Bluetooth), 와이 파이(Wi-Fi), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), BLE(Bluetooth Low Energy) 등이 포함될 수 있다. 또한, 유선 통신 기술로는, 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 상기 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 상기 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500) 등과 무선 신호를 송수신한다.

또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)는 각각 저장부를 포함할 수 있다. 여기서, 상기 저장부는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 상기 저장부는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)가 각각 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 상기 저장부는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)상에 존재할 수 있다. 한편, 응용 프로그램은 상기 저장부에 저장되고, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)에 각각 설치되어, 제어부(미도시)에 의하여 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500) 각각의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 상기 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)는 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 상기 웹 스토리지와 관련되어 동작할 수도 있다.

또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)는 각각 표시부를 포함할 수 있다. 여기서, 상기 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다. 또한, 상기 표시부는 터치 스크린 일 수 있다.

또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)는 각각 음성 출력부를 포함할 수 있다. 여기서, 상기 음성 출력부는 상기 제어부의 제어에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 상기 음성 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 상기 음성 출력부는 상기 제어부에 의해 생성된 안내 음성을 출력한다.

또한, 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)는 각각 제어부를 포함할 수 있다. 여기서, 상기 제어부는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500) 각각의 전반적인 제어 기능을 실행한다.

또한, 상기 제어부는 상기 저장부에 저장된 프로그램 및 데이터를 이용하여 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 및 상기 매장 서버(500)의 전반적인 제어 기능을 실행한다. 상기 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부에 액세스하여, 상기 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

상기 서버(100)는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400), 상기 매장 서버(500) 등과 통신한다.

또한, 상기 서버(100)는 상기 구매 단말(200)과의 연동에 의해, 상기 구매 단말(200)의 사용자에 대한 회원 가입 절차를 수행한다.

또한, 상기 서버(100)는 상기 판매 단말(400)과의 연동에 의해, 상기 판매 단말(400)의 사용자에 대한 회원 가입 절차를 수행한다.

또한, 상기 서버(100)는 해당 서버(100)에 포함된 복수의 카메라(미도시)를 통해 오프라인 상의 하나 이상의 매장, 해당 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 포함하는 제 1 영상과 제 2 영상을 촬영한다. 여기서, 상기 매장은 백화점, 쇼핑몰, 아울렛, 음식점, 병원, 빌딩(또는 건축물) 등을 포함한다. 이때, 상기 서버(100)는 상기 제 1 영상과 제 2 영상을 촬영하는 지점의 위치 정보(예를 들어 GPS 위치 정보 등 포함)를 확인하고, 상기 확인된 위치 정보를 상기 촬영한 제 1 영상과 제 2 영상과 매칭(또는 연동)하여 저장한다.

또한, 상기 서버(100)는 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득한다.

또한, 상기 서버(100)는 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성한다. 이때, 상기 서버(100)는 미리 공지된 다양한 합성 방법에 의해서 상기 촬영된 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성할 수 있다. 이때, 상기 생성되는 예비 파노라마 영상은 상기 예비 파노라마 영상에 포함된 제 1 객체, 상품, 지점(point)(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.

즉, 상기 예비 파노라마 영상은 영상뿐만 아니라, 추후 임의의 단말의 위치 정보(예를 들어 구매 단말(200)의 위치 정보 등 포함)에 대응하는 3D 파노라마 영상을 검색(또는 확인)할 수 있도록 해당 예비 파노라마 영상에 포함된 제 1 객체, 상품, 지점 등에 대한 위치 정보를 포함하도록 구성한다.

본 발명의 실시예에서는, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 상기 예비 파노라마 영상을 생성하는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 상기 서버(100)는 미리 공지된 다양한 합성 방법에 의해서 상기 촬영된 제 1 영상 및 제 2 영상을 합성하여 상기 예비 파노라마 영상을 생성할 수도 있다.

이때, 상기 서버(100)는 별도로 구성되는 복수의 카메라(예를 들어 3D 파노라마 영상을 촬영하기 위한 특수 장치, 특수 차량 등에 구성된 복수의 카메라)를 통해서 촬영된 제 1 영상 및 제 2 영상을 근거로 상기 예비 파노라마 영상을 생성할 수도 있다.

또한, 상기 서버(100)는 상기 예비 파노라마 영상 내에 포함된 하나 이상의 제 1 객체를 각각 인식한다. 여기서, 상기 제 1 객체는 상기 오프라인 상에 위치하는 각각의 매장일 수도 있고, 상기 오프라인 상에 위치하거나 각 매장 내에 위치하는 POP(Point of Purchase), 전단(leaflet), 배너 광고(banner advertisement), 게시판 광고(board advertising), 포스터 광고(billing), 간판(sign), 가격표(price tag) 등을 포함할 수 있다. 이때, 본 발명에서의 상기 제 1 객체는 각 매장에서 제공하는 상품 및 서비스를 제외한 상태일 수 있다. 또한, 상기 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 등은 할인 행사 코드를 나타내며, 상기 가격표는 상품 코드를 나타낼 수 있다.

즉, 상기 서버(100)는 상기 예비 파노라마 영상 내에 포함된 하나 이상의 매장을 각각 인식하거나, 상기 예비 파노라마 영상 내에 포함된 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 각각 인식한다.

또한, 상기 서버(100)는 상기 인식된 하나 이상의 제 1 객체에 각각 대응하는 제 1 코드를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 제 1 코드는 바코드, QR 코드, 문자열 코드 등의 형태이며, 상기 인식된 제 1 객체와 관련한 하나 이상의 상품 정보, 하나 이상의 서비스 정보 등을 포함한다. 또한, 상기 문자열 코드는 언어별 문자, 숫자, 기호 등의 조합에 의해 구성할 수 있다. 이때, 상기 상품 정보는 상품명, 상품 고유 코드, 상품 이미지, 상품 설명 정보, 상품에 대한 체험 정보, 상품에 대한 평가 정보, 해당 상품을 판매하는 매장의 위치 정보, 매장의 전화번호 등을 포함한다. 또한, 상기 서비스 정보는 서비스명, 서비스 고유 코드, 서비스 기본 이미지, 서비스 설명 정보, 서비스에 대한 체험 정보, 서비스에 대한 평가 정보, 해당 서비스를 제공하는 매장의 위치 정보, 매장의 전화번호, 예약 정보, 상담 정보, 진료 시간 정보 등을 포함한다.

또한, 상기 제 1 코드를 나타내는 색상은 검정색 외에도 다양한 색상(color)으로 나타낼 수 있다. 이때, 상기 제 1 코드가 바코드인 경우, 콰이어트 존(quiet zone), 패턴(또는 바(bar)) 중 적어도 하나의 색상을 다양한 색상으로(colorful) 설정할 수 있다. 또한, 상기 제 1 코드가 QR 코드인 경우, 상기 QR 코드를 구성하는 파인딩 패턴(finding pattern), 타이밍 패턴(timing pattern), 정렬 패턴(alignment pattern), 콰이어트 존, 데이터 영역(에러 정정 코드 영역 포함) 중 적어도 하나의 색상을 다양한 색상으로 설정할 수 있다. 또한, 상기 제 1 코드가 문자열 코드인 경우, 해당 문자열의 색상을 다양한 색상으로 설정할 수 있다.

또한, 상기 제 1 코드를 나타내는 색상은 검정색이나 다른 다양한 색상으로 나타내고, 해당 제 1 코드의 배경색을 흰색 외에도 다양한 색상으로 나타낼 수도 있다. 예를 들어, 상기 제 1 코드가 QR 코드인 경우, 상기 QR 코드를 구성하는 파인딩 패턴, 타이밍 패턴, 정렬 패턴, 데이터 영역 중 적어도 하나의 색상을 노란색으로 표시하고, 상기 QR 코드의 배경색(또는 QR 코드의 콰이어트 존)을 빨간색으로 설정하는 것과 같이 구성할 수도 있다.

이와 같이, 제 1 코드의 색상이나 바탕색을 다양한 색상으로 설정하여, 3D 파노라마 영상 내에서 해당 바코드의 식별이 용이하도록 구성할 수 있다.

또한, 상기 서버(100)는 언어별 특성을 고려하여 언어별로 상기 3D 파노라마 영상을 생성할 수도 있다.

본 발명의 실시예에 따라 생성되는 3D 파노라마 영상은 상기 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.

즉, 상기 3D 파노라마 영상은 영상뿐만 아니라, 추후 임의의 단말(예를 들어 상기 구매 단말(200)의 위치 정보 등 포함)에 대응하는 3D 파노라마 영상을 검색(또는 확인)할 수 있도록 해당 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점 등에 대한 위치 정보를 포함하도록 구성한다.

이에 따라, 상기 임의의 단말에서 위치 정보에 대응하는 3D 파노라마 영상을 요청하는 경우, 상기 서버(100)는 미리 저장된 하나 이상의 객체, 상품, 지점 등의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서 상기 임의의 단말로부터 요청된 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보를 해당 단말에 제공할 수 있다.

예를 들어, 상기 서버(100)는 복수의 객체 및/또는 상품의 위치 정보와 연동된 3D 파노라마 영상 정보 중에서, 상기 임의의 단말의 위치 정보인 서울특별시 강남구 역삼로 123-45에 대응하는 객체가 포함된 3D 파노라마 영상 정보를 확인할 수 있다.

또한, 상기 복수의 객체 및/또는 상품의 위치 정보와 연동된 3D 파노라마 영상 정보 중에서, 상기 임의의 단말의 위치 정보인 서울특별시 강남구 역삼로 123-45에 대응하는 객체 및/또는 상품이 없는 경우, 상기 서버(100)는 상기 임의의 단말의 위치 정보와 유사한(예를 들어 서울특별시 강남구 역삼로 123-44 또는 123-46 등 포함) 객체 및/또는 상품이 포함된 3D 파노라마 영상 정보를 확인할 수도 있다.

또한, 상기 복수의 3D 파노라마 영상 정보가 미리 설정된 간격으로 구성된 GPS 정보와 매칭된 경우, 상기 서버(100)는 상기 임의의 단말의 위치 정보와 상기 미리 설정된 간격으로 구성된 GPS 정보를 근거로 상기 임의의 단말의 위치 정보에 대응하는(또는 유사한/관련한) 하나의 3D 파노라마 영상 정보를 확인할 수도 있다.

이외에도, 상기 서버(100)에 미리 저장된 복수의 3D 파노라마 영상 정보 중에서 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하는 방법은 지도 검색 서비스에서 활용되는 기술들을 적용할 수도 있다.

이와 같이, 본 발명에 의해 생성되는 3D 파노라마 영상 정보는 위치 정보와 연동된 상태로, 임의의 단말로부터 전송되는 특정 위치 정보에 대해서, 상기 서버(100)에 미리 저장된 복수의 3D 파노라마 영상 정보 중에서 상기 특정 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보를 상기 특정 위치 정보를 전송한 해당 단말에 제공할 수 있다.

또한, 상기 서버(100)는 상기 인식된 객체(또는 객체의 고유 식별 정보)와 상기 생성된 코드를 연동하여 저장한다.

이때, 상기 서버(100)는 상기 생성된 제 1 코드의 외곽선을 상기 인식된 제 1 객체의 외곽선까지 연장 형성한다. 즉, 상기 서버(100)는 상기 생성된 제 1 코드의 외곽선의 좌표값을 상기 인식된 제 1 객체의 외곽선의 좌표값으로 매칭하여 저장한다.

이와 같이, 상기 제 1 코드의 외곽선을 상기 제 1 코드에 대응하는 제 1 객체의 외곽선으로 연장 형성함에 따라, 추후 해당 제 1 객체를 선택할 경우에도, 해당 제 1 코드를 선택한 효과를 얻을 수 있다.

또한, 상기 서버(100)는 미리 설정된 주기(예를 들어 10초, 1분 등 포함)로 앞선 단계들을 반복적으로 수행하여, 새로운 3D 파노라마 영상을 생성한다.

즉, 상기 서버(100)는 미리 설정된 주기(예를 들어 10초, 1분 등 포함)로 상기 복수의 카메라를 통해 실시간으로 촬영되는 영상들을 합성하여 새로운 예비 파노라마 영상을 생성하고, 상기 생성된 새로운 예비 파노라마 영상 내에 포함된 하나 이상의 제 1 객체를 인식하고, 상기 인식된 하나 이상의 제 1 객체에 대응하는 제 1 코드를 상기 새로운 예비 파노라마 영상 내에 추가하여 상기 새로운 3D 파노라마 영상을 생성한다.

이때, 상기 생성된 새로운 예비 파노라마 영상 내에서 사람이 인식되는 경우, 상기 서버(100)는 상기 새로운 예비 파노라마 영상 내에서의 사람의 윤곽선을 획득(또는 추출)하고, 상기 새로운 예비 파노라마 영상 내에서 상기 인식된 사람을 제거하고, 상기 사람이 제거된 새로운 예비 파노라마 영상 내에 상기 인식된 하나 이상의 제 1 객체에 대응하는 제 1 코드 및 상기 획득된(또는 추출된) 사람의 윤곽선을 추가하여 상기 새로운 3D 파노라마 영상을 생성한다. 여기서, 상기 서버(100)는 상기 새로운 예비 파노라마 영상 내에서의 사람의 위치에 상기 획득된 사람의 윤곽선을 추가한다.

이와 같이, 상기 생성되는 새로운 예비 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(100)는 개인 정보 보호를 위해서 상기 새로운 예비 파노라마 영상 내에 포함된 사람에 대해서 해당 사람의 윤곽선만을 유지하고, 사람의 윤곽선 내부 영역은 빈 공간으로 처리하거나 직전 단계에서 생성된 직전 예비 파노라마 영상의 화면으로 대체하도록 처리할 수 있다.

또한, 상기 서버(100)는 상기 생성된 새로운 3D 파노라마 영상과 앞서 생성된 3D 파노라마 영상(또는 상기 생성된 새로운 3D 파노라마 영상 정보와 앞서 생성된 3D 파노라마 영상 정보) 간의 차이를 확인한다.

또한, 상기 서버(100)는 상기 확인된 차이를 상기 앞서 생성된 3D 파노라마 영상에 실시간으로 보상하여 최신의 3D 파노라마 영상을 유지한다.

즉, 상기 생성된 새로운 3D 파노라마 영상과 상기 앞서 생성된 3D 파노라마 영상이 동일한 경우(또는 차이가 없는 경우), 상기 서버(100)는 상기 앞서 생성된 3D 파노라마 영상에 포함된 하나 이상의 제 1 객체 및/또는 상품의 상태에 변화가 없는 것으로 판단하여, 앞서 생성된 3D 파노라마 영상을 최신의 3D 파노라마 영상으로 그대로 유지한다.

또한, 상기 생성된 새로운 3D 파노라마 영상과 상기 앞서 생성된 3D 파노라마 영상에 차이가 있는 경우, 상기 서버(100)는 변화가 있는 부분(또는 상기 확인된 차이)을 상기 앞서 생성된 3D 파노라마 영상에 보상(또는 반영)하여, 비교 대상 3D 파노라마 영상 간의 차이가 보상된 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 생성한다.

또한, 상기 새로운 3D 파노라마 영상에 사람이 포함된 경우(또는 상기 새로운 3D 파노라마 영상에서 사람이 인식된 경우), 상기 서버(100)는 상기 앞서 생성된 3D 파노라마 영상에 상기 새로운 3D 파노라마 영상 내에 포함된 사람의 윤곽선을 추가하여, 상기 윤곽선 형태의 사람이 포함된 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 생성할 수도 있다.

이와 같이, 상기 생성되는 새로운 3D 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(100)는 개인 정보 보호를 위해서 상기 새로운 3D 파노라마 영상 내에 포함된 사람에 대해서 해당 사람의 윤곽선만을 유지하고, 사람의 윤곽선 내부 영역은 빈 공간으로 처리하거나 직전 단계에서 생성된 직전 3D 파노라마 영상의 화면으로 대체하도록 처리할 수 있다.

또한, 상기 새로 생성되는 새로운 3D 파노라마 영상 내에 사람이 포함된 경우, 상기 서버(100)는 상기 새로운 3D 파노라마 영상 내에 포함된 사람을 윤곽선 처리하고 해당 윤곽선 처리된 사람 내부 영역은 직전 단계에서 생성된 직전 3D 파노라마 영상의 화면을 표시함에 따라, 해당 사람에 의해 3D 파노라마 영상 내의 객체, 상품 등이 가려져서 보이지 않게 되는 경우를 방지할 수 있다.

이때, 상기 서버(100)는 상기 앞서 생성된 3D 파노라마 영상에서 차이가 있는 부분만을 보상할 수도 있고, 상기 앞서 생성된 3D 파노라마 영상 대신 상기 생성된 새로운 3D 파노라마 영상을 최신의 새로운 3D 파노라마 영상으로 대체할 수도 있다.

이와 같이, 상기 서버(100)는 백그라운드 모델링을 통해 실시간으로 최신의 3D 파노라마 영상을 유지할 수 있다.

또한, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 영상 정보, 상기 구매 단말(200)의 위치 정보, 구매 단말(200)의 식별 정보 등을 수신한다. 여기서, 상기 영상 정보는 상기 구매 단말(200)이 위치한 오프라인 매장 또는 거리 매장 등에 구비된(또는 설치된/배치된) 제 2 객체를 포함하는 영상 정보일 수 있다. 여기서, 상기 제 2 객체는 상기 오프라인 또는 거리에 위치하는 각 매장에 구비된 할인행사코드(예를 들어 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 등 포함), 상품코드(예를 들어 가격표 등 포함) 등을 포함한다. 이때, 본 발명에서의 상기 제 2 객체는 각 매장에서 제공하는 상품 및 서비스를 제외한 상태일 수 있다. 또한, 상기 구매 단말(200)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.

또한, 상기 서버(100)는 상기 수신된 영상 정보를 분석하여 상기 영상 정보 내에 포함된 제 2 객체를 인식한다.

또한, 상기 서버(100)는 미리 저장된 복수의 객체별 코드(또는 복수의 객체의 고유 식별 정보별 코드) 중에서 상기 인식된 제 2 객체와 관련한 제 2 코드를 확인한다.

또한, 상기 서버(100)는 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 2 코드(또는 제 2 코드의 고유 식별 정보)에 대응하는 하나 이상의 상품 및 서비스 정보를 확인한다. 여기서, 상기 상품 및 서비스 정보는 상품명(또는 서비스명), 상품 고유 코드(또는 서비스 고유 코드), 상품 이미지(또는 서비스 기본 이미지), 상품 설명 정보(또는 서비스 설명 정보), 상품/서비스에 대한 체험 정보, 상품/서비스에 대한 평가 정보, 예약 정보, 상담 정보, 진료 시간 정보 등을 포함한다. 이때, 상기 상품 정보는 홍삼, 인삼, 화장품, 가전제품, 패션의류, 잡화, 귀금속, 건강 보조 식품, 유아용품, 김(laver), 김치, 제과, 음식, 골프, 스키, 공연, 스포츠 경기 등의 분야를 포함한다. 또한, 상기 서비스 정보는 찜질방, 온천, 렌터카, 렌탈, 미용 마사지, 헬스, 성형, 용역, 공연 등의 분야를 포함한다.

또한, 상기 서버(100)는 상기 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 2 코드와 관련한 하나 이상의 유사군 상품 및 서비스 정보를 확인한다.

또한, 상기 서버(100)는 상기 확인된 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보 등에 적용 가능한 쿠폰, 상품권, 서비스 예약 정보 등을 포함하는 부가 정보를 확인한다.

또한, 상기 서버(100)는 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 2 코드가 포함된 3D 파노라마 영상 정보를 확인한다. 이때, 상기 제 2 코드가 포함된 3D 파노라마 영상 정보가 복수인 경우, 상기 서버(100)는 앞서 수신된 상기 구매 단말(200)의 위치 정보를 반영하여, 상기 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 2 코드 및 상기 구매 단말(200)의 위치 정보를 근거로(또는 상기 제 2 코드 및 상기 구매 단말(200)의 위치 정보에 대응하는) 3D 파노라마 영상 정보를 확인할 수도 있다.

또한, 상기 서버(100)는 상기 확인된 3D 파노라마 영상 정보, 상기 확인된 제 2 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보, 상기 확인된 부가 정보 등을 상기 구매 단말(200)에 전송한다.

이때, 상기 하나 이상의 상품 및 서비스 정보(또는 상기 하나 이상의 유사군 상품 및 서비스 정보)가 복수인 경우, 상기 서버(100)는 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보) 중에서 미리 설정된 개수만큼만 상기 구매 단말(200)에 전송할 수도 있다.

또한, 상기 확인된 제 2 코드에 대응하는 하나 이상의 상품 및 하나 이상의 유사군 상품 중에서 미리 설정된 배송 상품이 포함된 경우, 상기 서버(100)는 배송 상품임을 나타내는 정보(또는 배송 상품임을 나타내는 아이콘/이모티콘 등 포함)를 상기 3D 파노라마 영상 정보 등을 전송할 때 함께 전송한다. 이때, 상기 배송 상품은 상기 오프라인 매장이나 거리 매장에서 미취급 상품, 판매 소진으로 인한 품절 상태인 상품 등일 수 있다.

이와 같이, 소규모 오프라인 매장이나 거리 매장을 방문해도, 대형 매장의 상품 구색과 쇼핑 정보를 동일하게 수집할 수 있고, 하나의 매장에서 상기 구매 단말(200)의 사용자가 관심이 있어 하는 관심 상품이 품절일 경우, 재고가 존재하는 다른 매장에서 배송 상품으로 구매할 수도 있다.

본 발명의 실시예에서는, 상기 서버(100)에서 상기 구매 단말(200)과 일대일 방식으로 상기 구매 단말(200)에서 촬영한 영상 정보에 포함된 제 2 객체와 관련한 3D 파노라마 영상 정보 제공 기능, 하나 이상의 상품 및 서비스 정보 제공 기능, 하나 이상의 유사군 상품 및 서비스 정보(또는 하나 이상의 유사군 상품 및 유사군 서비스 정보) 제공 기능, 부가 정보 제공 기능 등을 수행하는 것을 설명하고 있으나 이에 한정되는 것은 아니며, 상기 구매 단말(200)에 의해 초대된 친구 단말(미도시) 및 상기 구매 단말(200)과의 연동에 의해, 상기 3D 파노라마 영상 정보 제공 기능, 상기 하나 이상의 상품 및 서비스 정보 제공 기능, 상기 하나 이상의 유사군 상품 및 서비스 정보(또는 하나 이상의 유사군 상품 및 유사군 서비스 정보) 제공 기능, 상기 부가 정보 제공 기능 등을 수행할 수도 있다.

즉, 상기 구매 단말(200)은 하나 이상의 친구 단말에 대한 정보(예를 들어 상기 친구 단말의 식별 정보 등 포함)와 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 이후, 상기 서버(100)는 상기 구매 단말(200) 및 상기 하나 이상의 친구 단말에 상기 구매 단말(200)에서 촬영한 영상 정보에 포함된 제 2 객체와 관련한 3D 파노라마 영상 정보, 상기 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보(또는 하나 이상의 유사군 상품 및 유사군 서비스 정보)능, 상기 부가 정보 등을 제공한다. 이때, 상기 구매 단말(200) 및 상기 하나 이상의 친구 단말에 표시되는 3D 파노라마 영상 정보는 상호 연동(또는 동기화)되어 동일한 3D 파노라마 영상 정보가 상기 구매 단말(200) 및 상기 하나 이상의 친구 단말에 표시될 수도 있고, 서로 다른 3D 파노라마 영상 정보가 상기 구매 단말(200) 및 상기 하나 이상의 친구 단말에 각각 표시될 수도 있다.

이와 같이, 상기 서버(100), 상기 구매 단말(200) 및 하나 이상의 친구 단말은 상호 연동하여 상기 구매 단말(200)에서 촬영한 영상 정보에 포함된 제 2 객체와 관련한 3D 파노라마 영상 정보 제공 기능, 하나 이상의 상품 및 서비스 정보 제공 기능, 하나 이상의 유사군 상품 및 서비스 정보(또는 하나 이상의 유사군 상품 및 유사군 서비스 정보) 제공 기능, 부가 정보 제공 기능 등을 수행할 수 있다.

또한, 상기 구매 단말(200) 및 하나 이상의 친구 단말은 상기 서버(100)의 중계 기능에 의해 문자 메시지 서비스 기능, 음성 서비스 기능 등을 수행할 수도 있다.

또한, 상기 구매 단말(200)에 전송된 하나 이상의 상품 및 서비스 정보 및, 하나 이상의 유사군 상품 및 서비스 정보 중에서 적어도 하나의 특정 상품 및 서비스 정보가 선택되는 경우, 상기 서버(100)는 상기 구매 단말(200), 상기 결제 서버(300) 및 상기 판매 단말(400)과의 연동에 의해 상기 선택된 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 결제 금액에 대한 결제 기능을 수행한다.

즉, 상기 서버(100)는 상기 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 정상가 금액에 미리 설정된 할인액을 적용하여 상기 정상가 금액에서 상기 할인액이 적용된 금액에 대한 결제 기능을 수행한다. 또한, 상기 정상가 금액에서 상기 할인액이 적용된 금액은 해당 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스가 제공되고 있는 해당 국가 내에서의 최저 가격보다 같거나 또는 더 싼 금액일 수 있다.

이때, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품에 대해서, 해당 특정 상품이 미리 설정된 배송 상품인 경우, 상기 서버(100)는 상기 구매 단말(200), 상기 결제 서버(300) 및 상기 판매 단말(400) 등과의 연동에 의해, 상기 배송 상품에 해당하는 특정 상품에 대해서 배송료, 관세 등을 포함하는 금액(예를 들어 상기 정상가 금액에 할인액이 적용된 금액 이외에, 배송을 위한 상기 배송료, 상기 관세 등이 추가된 금액)에 대한 결제 기능을 수행할 수 있다.

또한, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품에 대해서, 해당 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하는 경우, 상기 서버(100)는 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보(또는 결제 기능 실패 정보)를 상기 구매 단말(200)에 전송한다. 여기서, 상기 결제 기능 수행이 불가함을 나타내는 정보는 상기 특정 상품 및 서비스 정보에 대응하는 특정 상품이 수입 통관 불가 상품에 해당함을 나타내는 정보 등을 포함한다.

또한, 해당 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하는 경우, 상기 서버(100)는 결제 기능을 종료한다.

또한, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 회원 정보를 근거로 상기 구매 단말(200)의 사용자가 자국이 아닌 타국을 여행하며, 해당 타국의 매장에서 제공하는 특정 상품이나 서비스 정보에 대한 결제 기능을 수행하는 경우에 한해서, 정상적으로 결제 기능을 수행할 수 있다. 여기서, 상기 회원 정보는 이름, 주소, 사용 언어, 배송지 정보, 여행지 정보, 쇼핑 객체 종류(예를 들어 아바타 종류, 이모티콘 종류 등 포함) 등을 포함한다.

즉, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 상기 회원 정보 내의 여행지 정보에 대응하는 국가의 고유한 국가 번호와 상기 구매 단말(200)로부터 추가로 전송되는 해당 구매 단말(200)의 사용자와 관련한 여권 번호에 대응하는 국가의 국가 번호 간의 비교, 상기 여행지 정보에 대응하는 국가의 국가 번호와 상기 구매 단말(200)의 식별 정보에 대응하는 국가의 국가 번호 간의 비교, 상기 여행지 정보에 대응하는 국가의 국가 번호와 복수의 기지국(미도시)을 통해 연결되는 구매 단말(200)에 대해서 상기 복수의 기지국 중에서 상기 구매 단말(200)에 최종 연결되는 최종단 기지국의 미리 설정된 위치 정보를 근거로 해당 구매 단말(200)이 위치한 국가(또는 국가명)의 국가 번호 간의 비교(또는 동일/일치 여부)를 통해, 동일한 경우, 결제 기능을 중단한다.

또한, 상기 비교 결과, 동일하지 않은 경우, 상기 서버(100)는 상기 특정 상품이나 서비스 정보에 대한 결제 기능을 수행한다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)는 결제 기능 수행 결과(또는 결제 정보)를 상기 구매 단말(200)에 제공한다. 여기서, 상기 결제 기능 수행 결과(또는 결제 정보)는 적어도 하나의 상품 및 서비스 정보, 결제 일자 및 시각 정보, 주문 상품별/서비스별 가격 정보 등을 포함한다.

상기 결제 기능이 정상적으로 수행 완료된 이후, 결제 완료된 적어도 하나의 특정 상품 및 서비스 정보 중에서, 미리 설정된 배송 상품이 포함된 경우, 상기 서버(100)는 상기 구매 단말(200)로부터 전송된 회원 정보를 근거로 미리 저장된 복수의 매장(또는 매장 정보) 중에서, 해당 회원 정보에 포함된 배송지 정보에 해당하는 배송지에서 가장 가까운 매장 중 상기 배송 상품의 재고가 있는 매장을 확인한다.

또한, 상기 서버(100)는 상기 확인된 매장의 매장 서버(500)로 상기 회원 정보, 상기 배송 상품에 대한 정보, 상기 구매 단말(200)의 식별 정보 등을 전송한다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 결제 완료된 적어도 하나의 특정 상품 및 서비스 정보 중에서, 미리 설정된 멀티 상품 할인 쿠폰 발급이 포함된 경우, 상기 서버(100)는 상기 특정 상품이나 특정 서비스에 대응하는 멀티 상품 할인 쿠폰을 상기 구매 단말(200)에 발급(또는 전송)한다.

여기서, 상기 멀티 상품 할인 쿠폰은 상기 서버(100)에 의해 생성된다.

즉, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)는 상기 특정 상품 및 서비스 정보에 대응하는 정상가 금액, 할인액, 유효 기간, 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 아이템 코드(또는 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 정보/상기 특정 상품 및 서비스 정보와 동일한 카테고리 내의 복수의 상품 및 서비스 정보), 고유 번호(또는 멀티 상품 할인 쿠폰의 고유 번호) 등을 포함하는 멀티 상품 할인 쿠폰(또는 멀티 서비스 할인 쿠폰/멀티 상품 및 서비스 할인 쿠폰)을 생성한다. 여기서, 상기 멀티 상품 할인 쿠폰은 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 아이템 코드를 하나의 코드로 그룹화한 상태이며, 바코드 형태, QR 코드 형태, 문자열 형태 등으로 생성한다. 또한, 상기 복수의 상품 및 서비스 정보는 각각 상품명(또는 서비스명), 상품 고유 코드(또는 서비스 고유 코드), 상품 이미지(또는 서비스 기본 이미지), 상품 설명 정보(또는 서비스 설명 정보), 상품/서비스에 대한 체험 정보, 상품/서비스에 대한 평가 정보, 해당 상품을 판매하는(또는 해당 서비스를 제공하는) 매장의 위치 정보, 매장의 전화번호 등을 포함한다. 이때, 상기 문자열 형태의 멀티 상품 할인 쿠폰은 숫자, 문자, 특수 문자, 기호 중 적어도 하나의 조합에 의해 생성될 수 있다. 여기서, 상기 상품 아이템 코드는 상기 상품 정보 내의 상품 고유 코드(또는 서비스 고유 코드)에 대응한다. 또한, 상기 상품/서비스에 대한 체험 정보는 상기 서버(100)에 미리 등록한 회원의 단말에서 작성한 체험 정보, 상기 서버(100)에서 제공하는 해당 상품/서비스와 관련한 멀티 상품 할인 쿠폰을 구매한 단말에서 작성한 체험 정보 등일 수 있다.

또한, 상기 서버(100)는 상기 생성된 멀티 상품 할인 쿠폰을 상기 구매 단말(200)에 발급한다.

또한, 상기 서버(100)는 하나의 구매 단말(200)에서 구매할 수 있는 멀티 상품 할인 쿠폰의 수량(또는 판매/결제 금액)을 미리 설정할 수 있다.

즉, 상기 서버(100)는 미리 설정된 판매 수량 범위(또는 판매/결제 금액 범위)(예를 들어 100개 이내 또는, 2천만원 이내) 내에서 하나의 구매 단말(200)에서 특정 상품 및 서비스에 대응하는 멀티 상품 할인 쿠폰을 구매하도록 구성할 수 있다.

이와 같이, 상기 서버(100)는 특정 상품 및 서비스에 대한 대량 구매를 제한하여, 부정 거래를 방지할 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)는 상기 멀티 상품 할인 쿠폰의 구매에 따라 추가로 제공되는 무료 할인 쿠폰, 할인 쿠폰, 특정 쇼핑몰의 상품권, 재래 시장의 상품권 등을 상기 구매 단말(200)에 발급(또는 전송)한다.

또한, 판매 단말(400)이 구비된 매장에서 특정 상품 및/또는 서비스를 제공받은 이후 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용하고자 하는 경우, 상기 서버(100)는 상기 구매 단말(200), 상기 결제 서버(300) 및 상기 판매 단말(400) 간의 연동에 의해, 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 처리) 기능을 수행한다.

또한, 상기 서버(100)는 상기 구매 단말(200)에 전송된(또는 발급된) 해당 멀티 상품 할인 쿠폰에 대해서 사용 완료 상태로 처리(또는 전환/변경)한다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 해당 상품권의 잔액이 있는 경우, 상기 서버(100)는 사용 가능 금액(또는 잔액 정보) 등을 포함하는 멀티 상품 할인 쿠폰을 상기 구매 단말(200)에 전송한다. 이때, 상기 사용 가능 금액은 직전(또는 이전) 사용 가능 금액에서 상기 결제 기능 수행에 따른 결제 금액을 차감한 상태의 금액일 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 해당 상품권의 잔액이 있는 경우, 상기 서버(100)는 사용 가능 금액(또는 잔액 정보) 등을 포함하는 정보를 상기 판매 단말(400)을 통해 상기 구매 단말(200)에 전송할 수도 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)는 미리 설정된 포인트 및/또는 할인 쿠폰을 상기 구매 단말(200)에 전송한다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)는 미리 설정된 포인트 및/또는 할인 쿠폰을 상기 판매 단말(400)을 통해 상기 구매 단말(200)에 전송할 수도 있다.

또한, 이와 같은 상기 멀티 상품 할인 쿠폰에 대한 사용에 따라서, 상기 서버(100)와 상기 결제 서버(300)와 상기 판매 단말(400) 간에 수수료를 분배할 수 있다.

또한, 상기 서버(100)는 상기 구매 단말(200)과의 연동에 의해, 상기 구매 단말(200)에서 생성된 길 안내 정보 상의 경로로부터 미리 설정된 거리 이내로 인접한 하나 이상의 추천 정보를 확인(또는 생성)할 수 있다. 여기서, 상기 추천 정보는 상기 멀티 상품 할인 쿠폰을 사용할 수 있는 매장 정보일 수 있다. 이때, 상기 서버(100)는 상기 구매 단말(200)과의 연동에 의해, 상기 구매 단말(200)의 위치 정보와 상기 구매 단말(200)에서 선택된 매장 정보를 근거로 상기 길 안내 정보를 생성할 수도 있다.

또한, 상기 서버(100)는 상기 확인된 하나 이상의 추천 정보, 상기 생성된 길 안내 정보 등을 상기 구매 단말(200)에 전송한다.

또한, 상기 구매 단말(200)에 발급된 멀티 상품 할인 쿠폰에 포함된 유효 기간이 미리 설정된 기간(예를 들어 유효 기간으로부터 한달, 유효 기간으로부터 15일, 유효 기간으로부터 7일, 유효 기간으로부터 3일, 유효 기간으로부터 1일 등 포함)에 도래하고 해당 상품권 정보 내에 사용 가능 금액(또는 잔액)이 남아 있는 경우, 상기 서버(100)는 멀티 상품 할인 쿠폰의 잔액이 남아 있음을 나타내는 정보, 유효 기간 등을 포함하는 정보를 상기 구매 단말(200)에 전송한다.

또한, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 특정 상품/서비스에 대한 체험 정보, 특정 상품/서비스에 대한 평가 정보 등을 수신한다.

또한, 상기 서버(100)는 상기 수신된 특정 상품/서비스에 대한 체험 정보, 특정 상품/서비스에 대한 평가 정보 등을 해당 특정 상품/서비스와 연동(또는 매칭)하여 저장한다.

이와 같이, 상기 서버(100)는 결제 완료된 상기 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스에 대해서 상기 구매 단말(200)에서 설정한(또는 지정한) 배송 정보(또는 배송 방식)에 따라 해당 특정 상품이나 특정 서비스를 상기 구매 단말(200)에 제공할 수 있다.

또한, 상기 서버(100)는 상기 결제 기능이 수행된 상기 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 적어도 하나의 특정 상품에 대한 통관 리스트를 생성한다. 여기서, 상기 통관 리스트는 상기 적어도 하나의 특정 상품에 대한 상품명, 상품의 고유 식별 정보, HS(Harmonized Commodity Description and Coding System) 코드, 배송료, 과세 운임 정보(관세, 부가세, 특별소비세, 기준 초과금, 교육세, 농어촌특별세, 주세 등 포함) 등을 포함한다.

또한, 상기 서버(100)는 상기 생성된 통관 리스트를 상기 구매 단말(200)에 전송한다.

또한, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 해당 특정 상품이나 특정 서비스의 구매에서부터 도착(또는 쿠폰 발급)까지의 체험 정보, 평가 정보, 상기 구매 단말(200)의 식별 정보 등을 수신한다.

또한, 상기 서버(100)는 상기 수신된 체험 정보, 평가 정보 등을 해당하는 특정 상품이나 특정 서비스에 매칭하여 저장한다.

상기 구매 단말(200)은 상기 서버(100), 상기 결제 서버(300), 상기 판매 단말(400), 상기 매장 서버(500) 등과 통신한다.

또한, 상기 구매 단말(200)은 상기 서버(100)와의 연동에 의해, 상기 구매 단말(200)의 사용자에 대한 회원 가입 절차를 각각 수행한다.

또한, 상기 회원 가입 절차 수행 시, 상기 구매 단말(200)은 본인 인증 수단(예를 들어 이동 전화, 신용카드, 아이핀 등 포함)을 통한 인증 기능을 완료해야 상기 서버(100)에 대한 회원 가입 절차를 정상적으로 완료할 수 있다.

또한, 상기 구매 단말(200)에 미리 설치된 앱이 실행되는 경우, 상기 구매 단말(200)은 앱 실행 결과 화면을 표시한다. 여기서, 상기 앱 실행 결과 화면은 회원 정보를 전송하기 위한 회원 정보 항목(또는 메뉴/버튼), 3D 파노라마 영상을 검색 및 표시하기 위한 3D 파노라마 영상 정보 항목, 앱의 기능을 설정하기 위한 설정 항목, 구매 단말(200)을 통해 구매한 멀티 상품 할인 쿠폰이나 여행지 목록 등을 관리하기 위한 마이 페이지 항목 등을 포함한다. 이때, 상기 구매 단말(200)은 백그라운드 상태로 해당 앱과 관련한 서버(100)와 통신한다.

또한, 상기 구매 단말(200)에 표시되는 앱 실행 결과 화면 중에서 회원 정보 항목이 선택되는 경우, 상기 구매 단말(200)은 상기 선택된 회원 정보 항목에 대응하는 회원 정보를 입력받기(또는 수신하기) 위한 회원 정보 화면을 표시한다.

또한, 상기 구매 단말(200)은 사용자 입력(또는 사용자 터치)에 따른 회원 정보를 수신한다. 여기서, 상기 회원 정보는 이름, 주소, 사용 언어, 배송지 정보, 여행지 정보, 쇼핑 객체 종류(예를 들어 아바타 종류, 이모티콘 종류 등 포함) 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 수신된 회원 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 여기서, 상기 구매 단말(200)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.

또한, 상기 구매 단말(200)은 오프라인 매장 또는 거리 매장(또는 가두(街頭) 매장)에 구비된(또는 설치된/배치된) 제 2 객체를 촬영한다. 여기서, 상기 제 2 객체는 상기 오프라인 또는 거리에 위치하는 각 매장에 구비된 할인행사코드(예를 들어 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 등 포함), 상품코드(예를 들어 가격표 등 포함) 등을 포함한다. 이때, 본 발명에서의 상기 제 2 객체는 각 매장에서 제공하는 상품 및 서비스를 제외한 상태일 수 있다.

즉, 상기 구매 단말(200)은 상기 구매 단말(200)에 구비된 촬영부(미도시)를 통해 상기 오프라인 매장 또는 거리 매장에 구비된 제 2 객체를 포함하는 영상을 촬영한다. 이때, 상기 구매 단말(200)은 상기 구매 단말(200)에 표시되는 앱 실행 결과 화면 중에 포함된 촬영 메뉴(미도시)를 통해 상기 오프라인 매장 또는 거리 매장에 구비된 제 2 객체를 포함하는 영상을 촬영할 수도 있다.

또한, 상기 구매 단말(200)은 GPS 수신기(미도시)를 포함한다. 여기서, 상기 GPS 수신기는 위성으로부터 전송된 GPS 신호를 수신하고, 상기 수신된 GPS 신호에 포함된 경도 좌표 및 위도 좌표를 근거로 상기 구매 단말(200)의 위치 데이터를 실시간으로 발생시킨다. 여기서, 상기 발생된 위치 데이터는 상기 구매 단말(200)의 현재 위치(또는 현재 위치 데이터)로 정의한다. 여기서, 상기 GPS 수신기뿐만 아니라 와이 파이 또는 와이브로 통신을 통해 위치 정보를 수신할 수도 있다.

또한, 상기 GPS 수신기를 통해 수신되는 신호는 IEEE(Institute of Electrical and Electronics Engineers)에서 제안한 무선 LAN 및 일부 적외선 통신 등을 포함하는 무선 LAN에 대한 무선 네트워크의 표준 규격인 802.11과, 블루투스, UWB, 지그비 등을 포함하는 무선 PAN(Personal Area Network)에 대한 표준 규격인 802.15과, 도시 광대역 네트워크(Fixed Wireless Access: FWA) 등을 포함하는 무선 MAN(Metropolitan Area Network), 광대역 무선 접속(Broadband Wireless Access: BWA)에 대한 표준 규격인 802.16과, 와이브로, 와이맥스 등을 포함하는 무선 MAN(Mobile Broadband Wireless Access: MBWA)에 대한 모바일 인터넷에 대한 표준 규격인 802.20 등의 무선 통신 방식을 이용하여 단말기의 위치 정보를 상기 구매 단말(200)에 제공하도록 구성할 수도 있다.

이와 같이, 상기 구매 단말(200)은 상기 구매 단말(200)의 위치 정보(또는 상기 제 2 객체를 촬영한 지점의 위치 정보)를 확인할 수 있다.

또한, 상기 구매 단말(200)은 상기 촬영된 영상 정보, 상기 확인된 구매 단말(200)의 위치 정보, 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 여기서, 상기 구매 단말(200)의 식별 정보는 MDN, 모바일 IP, 모바일 MAC, Sim(가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 상기 3D 파노라마 영상 정보, 상기 제 2 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보, 상기 부가 정보, 상기 배송 상품임을 나타내는 정보(또는 배송 상품임을 나타내는 아이콘/이모티콘 등 포함) 등을 수신한다. 여기서, 상기 3D 파노라마 영상 정보는 실제 오프라인 상황의 영상 정보에, 상기 오프라인 상황의 영상 정보에 포함된 매장, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 포함하는 객체에 각각 대응하는 하나 이상의 코드가 추가된 상태일 수 있다. 또한, 상기 객체는 해당 오프라인 상황의 영상 정보에 포함되는 각 매장에서 제공하는 상품 및 서비스는 제외한 상태로 정의한다. 또한, 상기 객체에 대응하는 코드는 바코드, QR 코드, 문자열 코드 등의 형태이며, 상기 객체와 관련한 하나 이상의 상품 정보, 하나 이상의 서비스 정보 등을 포함한다. 또한, 상기 3D 파노라마 영상 정보는 실시간으로 업데이트되는 최신의 정보로 상기 구매 단말(200)과 상기 서버(100)와의 연동에 의해, 최신의 3D 파노라마 영상 정보를 유지할 수 있다.

또한, 상기 구매 단말(200)은 상기 수신된 상기 3D 파노라마 영상 정보, 상기 제 2 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보, 상기 부가 정보, 상기 배송 상품임을 나타내는 정보(또는 배송 상품임을 나타내는 아이콘/이모티콘 등 포함) 등을 표시한다. 이때, 상기 구매 단말(200)에 표시되는 3D 파노라마 영상 정보, 상기 부가 정보 등은 상기 서버(100)에서 백그라운드 모델링을 통해 업데이트되는 최신의 정보일 수 있다.

즉, 3D 파노라마 영상 정보가 업데이트되는 경우, 상기 구매 단말(200)은 상기 서버(100)로부터 업데이트된 최신의 3D 파노라마 영상 정보를 수신하고, 앞서 표시되고 있는 기존 3D 파노라마 영상 정보 대신에 상기 수신된 최신의 3D 파노라마 영상 정보를 변경하여 표시한다.

이와 같이, 상기 구매 단말(200)은 상기 서버(100)와의 실시간 연동에 의해, 최신의 3D 파노라마 영상 정보를 실시간으로 표시할 수 있다.

또한, 상기 구매 단말(200)은 상기 회원 정보 내의 쇼핑 객체 종류를 근거로 사용자 입력에 따라 상기 3D 파노라마 영상 정보 내에서 해당 쇼핑 객체를 이동시키면서 상기 3D 파노라마 영상 정보를 표시한다.

이때, 상기 구매 단말(200)에서 상기 서버(100)로부터 전송되는 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 수신하는 경우, 상기 구매 단말(200)은 상기 수신된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 표시할 수도 있다.

또한, 정렬되지 않은 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 수신하는 경우, 상기 구매 단말(200)은 상기 수신된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 상기 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 표시할 수도 있다. 이때, 상기 구매 단말(200)은 상기 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보) 중에서 미리 설정된 개수만큼만 표시할 수도 있다.

또한, 상기 구매 단말(200)은 상기 구매 단말(200)에 표시되는 하나 이상의 상품 및 서비스 정보 및, 하나 이상의 유사군 상품 및 서비스 정보 중에서 선택되는 적어도 하나의 특정 상품 및 서비스 정보를 근거로 상기 서버(100), 결제 서버(300) 및 판매 단말(400) 등과의 연동에 의해 결제 기능을 수행한다.

이때, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품에 대해서, 해당 특정 상품이 미리 설정된 배송 상품인 경우, 상기 서버(100)는 상기 구매 단말(200), 상기 결제 서버(300) 및 상기 판매 단말(400) 등과의 연동에 의해, 상기 배송 상품에 해당하는 특정 상품에 대해서 배송료, 관세 등을 포함하는 금액에 대한 결제 기능을 수행할 수 있다.

또한, 상기 구매 단말(200)은 사용자 입력에 따른 회원 정보(또는 상기 구매 단말(200)에 미리 저장된 회원 정보), 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다. 여기서, 상기 회원 정보는 이름, 주소, 사용 언어, 배송지 정보, 여행지 정보, 쇼핑 객체 종류(예를 들어 아바타 종류, 이모티콘 종류 등 포함) 등을 포함한다.

이때, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품에 대해서, 해당 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하는 경우, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보(또는 결제 기능 실패 정보)를 수신한다. 여기서, 상기 결제 기능 수행이 불가함을 나타내는 정보는 상기 특정 상품 및 서비스 정보에 대응하는 특정 상품이 수입 통관 불가 상품에 해당함을 나타내는 정보 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 수신된 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보를 표시한다.

또한, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하지 않는 경우, 상기 구매 단말(200)은 상기 서버(100), 결제 서버(300) 및 판매 단말(400)과의 연동에 의해 상기 특정 상품 및 서비스 정보에 대응하는 특정 상품 및/또는 특정 서비스에 해당하는 결제 금액에 대한 결제 기능을 수행한다. 이때, 상기 결제 기능 수행 시, 상기 구매 단말(200)은 상기 특정 상품 및 서비스 정보에 대응하는 정상가 금액에 미리 설정된 할인액을 적용하여 상기 정상가 금액에서 상기 할인액이 적용된 금액에 대한 결제 기능을 수행한다. 또한, 상기 정상가 금액에서 상기 할인액이 적용된 금액은 해당 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스가 제공되고 있는 해당 국가 내에서의 최저 가격보다 같거나 또는 더 싼 금액일 수 있다.

이와 같이, 여행자들은 복수의 가맹점에서 해당 지역을 대표하는 특정 상품 및 서비스를 현지인과 동일하거나 또는 보다 저렴하게 구매할 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 구매 단말(200)은 상기 서버(100) 또는 상기 결제 서버(300)로부터 제공되는 결제 기능 수행 결과(또는 결제 정보)를 수신한다. 여기서, 상기 결제 기능 수행 결과(또는 결제 정보)는 상품 및 서비스 정보, 결제 일자 및 시각 정보, 주문 상품별/서비스별 가격 정보 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 수신된 결제 기능 수행 결과를 표시한다.

이와 같이, 상기 구매 단말(200)은 오프라인 매장을 실제 방문하지 않고도 상품 및/또는 서비스를 검색하거나, 현지인과 동일하거나 더 싼 가격으로 상품 및/또는 서비스를 구매하거나, 구매한 상품을 배송받을 수 있어, 해외 직구에 따른 상품이나 서비스의 선택 폭이 개선/확대될 수 있다.

즉, 중국, 미국 등의 해외에서 3D 파노라마 영상을 통해 대한민국 내의 백화점이나 동대문 쇼핑몰을 검색하여 쇼핑하는데 있어서, 실제와 동일한 오프라인 매장의 쇼핑 정보를 수집하고, 관심 상품 가격 비교, 구매(또는 결제) 기능, 배송 기능까지 원스톱(one stop) 쇼핑으로 수행할 수 있어, 사용자의 편의성을 향상시킬 수 있다.

또한, 온라인 쇼핑몰의 과도한 상품 디자인 페이지를 작성하는데 소요되는 비용과 시간을 절감할 수 있다.

또한, 상기 구매 단말(200)은 사용 언어에 따라 상기 서버(100)로부터 제공되는 해당 사용 언어가 적용된 상기 3D 파노라마 영상, 상품 및 서비스 정보 등을 제공받을 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 구매 단말(200)은 상기 서버(100)로부터 제공되는 상기 결제된 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스를 제공받는다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 결제 완료된 적어도 하나의 특정 상품 및 서비스 정보 중에서, 미리 설정된 배송 상품이 포함된 경우, 상기 구매 단말(200)은 해당 회원 정보에 포함된 배송지 정보에 해당하는 배송지에서 가장 가까운 매장 중 상기 배송 상품의 재고가 있는 매장의 매장 서버(500)로부터 제공되는 상기 배송 상품의 현장 수령에 필요한 안내 정보, 바코드나 QR 코드 형태 등의 식별 코드 등을 포함하는 안내 메시지를 수신한다.

또한, 상기 구매 단말(200)은 상기 수신된 안내 정보, 바코드나 QR 코드 형태 등의 식별 코드 등을 포함하는 안내 메시지를 표시한다.

또한, 상기 구매 단말(200)의 사용자가 해당 특정 상품이나 특정 서비스를 제공하는 매장에 직접 방문한 경우, 상기 매장 서버(500)에서 상기 구매 단말(200)에 저장된 상기 바코드나 QR 코드 형태 등의 식별 코드를 인증(또는 인식)한 후, 상기 배송 상품을 상기 구매 단말(200)의 사용자에게 제공할 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 멀티 상품 할인 쿠폰 발급이 요청된 경우, 상기 구매 단말(200)은 상기 서버(100)로부터 발급되는(또는 전송/제공되는) 상기 특정 상품이나 특정 서비스에 대응하는 멀티 상품 할인 쿠폰을 수신한다. 여기서, 상기 멀티 상품 할인 쿠폰은 상기 특정 상품 및 서비스 정보에 대응하는 정상가 금액, 할인액, 유효 기간, 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 아이템 코드(또는 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 정보/상기 특정 상품 및 서비스 정보와 동일한 카테고리 내의 복수의 상품 및 서비스 정보), 고유 번호(또는 멀티 상품 할인 쿠폰의 고유 번호) 등을 포함한다. 또한, 상기 멀티 상품 할인 쿠폰은 상기 특정 상품 및 서비스 정보와 관련한 복수의 상품 및 서비스 아이템 코드를 하나의 코드로 그룹화한 상태이며, 바코드 형태, QR 코드 형태, 문자열 형태 등으로 생성한다. 또한, 상기 복수의 상품 및 서비스 정보는 각각 상품명(또는 서비스명), 상품 고유 코드(또는 서비스 고유 코드), 상품 이미지(또는 서비스 기본 이미지), 상품 설명 정보(또는 서비스 설명 정보), 상품/서비스에 대한 체험 정보, 상품/서비스에 대한 평가 정보, 해당 상품을 판매하는(또는 해당 서비스를 제공하는) 매장의 위치 정보, 매장의 전화번호 등을 포함한다. 이때, 상기 문자열 형태의 멀티 상품 할인 쿠폰은 숫자, 문자, 특수 문자, 기호 중 적어도 하나의 조합에 의해 생성될 수 있다. 여기서, 상기 상품 아이템 코드는 상기 상품 정보 내의 상품 고유 코드(또는 서비스 고유 코드)에 대응한다. 또한, 상기 상품/서비스에 대한 체험 정보는 상기 서버(100)에 미리 등록한 회원의 단말에서 작성한 체험 정보, 상기 서버(100)에서 제공하는 해당 상품/서비스와 관련한 멀티 상품 할인 쿠폰을 구매한 단말에서 작성한 체험 정보 등일 수 있다.

또한, 상기 구매 단말(200)은 상기 멀티 상품 할인 쿠폰의 구매에 따라 상기 서버(100)로부터 추가로 제공되는 무료 할인 쿠폰, 할인 쿠폰, 특정 쇼핑몰의 상품권, 재래 시장의 상품권 등을 수신한다.

또한, 상기 구매 단말(200)은 상기 수신된 멀티 상품 할인 쿠폰을 저장 및 표시한다.

또한, 상기 구매 단말(200)은 상기 수신된 무료 할인 쿠폰, 할인 쿠폰, 특정 쇼핑몰의 상품권, 재래 시장의 상품권 등을 저장 및 표시한다.

이와 같이, 상기 배송 정보에 멀티 상품 할인 쿠폰 발급이 포함된 경우, 상기 구매 단말(200)은 멀티 상품 할인 쿠폰에 대해서 미리 설정된 판매 수량 범위(또는 판매/결제 금액 범위)(예를 들어 100개 이내 또는, 2천만원 이내) 내에서 상기 멀티 상품 할인 쿠폰을 구매할 수 있다.

또한, 이와 같이, 구매 단말(200)에서 구매할 수 있는 멀티 상품 할인 쿠폰의 수량 또는 금액을 제한함으로써, 부정 거래를 방지할 수 있다.

또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 통관 리시트를 수신한다. 여기서, 상기 통관 리스트는 상기 적어도 하나의 특정 상품에 대한 상품명, 상품의 고유 식별 정보, HS 코드, 배송료, 과세 운임 정보(관세, 부가세, 특별소비세, 기준 초과금, 교육세, 농어촌특별세, 주세 등 포함) 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 수신된 통관 리스트를 표시한다.

또한, 상기 구매 단말(200)은 상기 적어도 하나의 특정 상품 및 서비스에 대해서, 해당 특정 상품이나 특정 서비스의 구매에서부터 도착(또는 쿠폰 발급)까지의 체험 정보, 평가 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다.

또한, 상기 구매 단말(200)의 현재 위치 정보가 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용할 수 있는 지역(또는 특정 국가 내의 지역) 내에 위치하는 경우(또는 상기 구매 단말(200)에서 상기 서버(100)에 미리 등록한 여행 기간 정보에 해당하는 여행 기간 내에 상기 구매 단말(200)의 현재 위치 정보가 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용할 수 있는 지역 내에 위치하는 경우), 상기 구매 단말(200)은 해당 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용할 수 있는 하나 이상의 매장 정보(또는 매장의 위치 정보)를 표시한다.

또한, 구매 단말(200)에 표시되는 해당 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용할 수 있는 하나 이상의 매장 정보 중에서 특정 매장 정보가 선택되는 경우, 상기 구매 단말(200)은 상기 구매 단말(200)의 현재 위치 정보와 상기 선택된 특정 매장 정보(또는 특정 매장의 위치 정보)를 근거로 상기 구매 단말(200)의 현재 위치에서 해당 특정 매장 정보에 대응하는 매장까지의 길 안내 정보를 생성한다. 이때, 상기 구매 단말(200)은 상기 서버(100)와의 연동에 의해, 상기 생성된 길 안내 정보 상의 경로로부터 미리 설정된 거리 이내로 인접한 하나 이상의 추천 정보를 확인(또는 생성)할 수도 있다. 여기서, 상기 추천 정보는 상기 멀티 상품 할인 쿠폰을 사용할 수 있는 매장 정보일 수 있다. 이때, 상기 길 안내 정보는 상기 서버(100)와의 연동에 의해 3D 파노라마 영상 정보 형태로 생성될 수도 있다.

또한, 상기 구매 단말(200)은 상기 생성된 길 안내 정보, 상기 생성된 하나 이상의 추천 정보 등을 표시한다.

이와 같이, 상기 구매 단말(200)은 3D 파노라마 영상, 아바타(또는 이모티콘) 등을 활용하여, 가상 현실적으로 상기 구매 단말(200)의 사용자의 동선을 고려하여 오프라인 매장 방문 시 해당 아바타를 따라가도록 길 안내 정보를 제공함으로써, 흥미를 유발시키며 사용자의 편의성을 향상시킬 수 있다.

또한, 판매 단말(400)이 구비된 매장에서 특정 상품 및/또는 서비스를 제공받은 이후 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용하고자 하는 경우, 상기 구매 단말(200)은 상기 서버(100), 상기 결제 서버(300) 및 상기 판매 단말(400) 간의 연동에 의해, 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 처리) 기능을 수행한다.

또한, 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰에 대한 사용 처리가 완료된 경우, 상기 구매 단말(200)은 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰은 중복 사용(또는 재사용)이 금지되도록 폐기 처리한다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 해당 상품권의 잔액이 있는 경우, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 사용 가능 금액(또는 잔액 정보) 등을 포함하는 멀티 상품 할인 쿠폰을 표시하거나 또는, 상기 판매 단말(400)로부로 제공되는 영수증 등의 인쇄물을 통해 상기 서버(100)로부터 전송되는 사용 가능 금액(또는 잔액 정보) 등을 포함하는 멀티 상품 할인 쿠폰을 출력한다. 이때, 상기 사용 가능 금액은 직전(또는 이전) 사용 가능 금액에서 상기 결제 기능 수행에 따른 결제 금액을 차감한 상태의 금액일 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 구매 단말(200)은 상기 판매 단말(400)로부터 전송(또는 발급)되는 미리 설정된 포인트 및/또는 할인 쿠폰을 수신한다.

또한, 상기 구매 단말(200)은 상기 수신된 미리 설정된 포인트 및/또는 할인 쿠폰을 표시 및 저장한다.

또한, 상기 구매 단말(200)은 상기 멀티 상품 할인 쿠폰에 포함된 유효 기간을 근거로 해당 유효 기간이 미리 설정된 기간(예를 들어 유효 기간으로부터 한달, 유효 기간으로부터 15일, 유효 기간으로부터 7일, 유효 기간으로부터 3일, 유효 기간으로부터 1일 등 포함)에 도래하고 해당 상품권 정보 내에 사용 가능 금액(또는 잔액)이 남아 있는 경우, 멀티 상품 할인 쿠폰의 잔액이 남아 있음을 나타내는 정보, 유효 기간 등을 포함하는 정보를 상기 미리 설정된 기간마다 표시한다. 이때, 상기 멀티 상품 할인 쿠폰의 잔액이 남아 있음을 나타내는 정보, 유효 기간 등을 포함하는 정보는 상기 서버(100)로부터 제공될 수도 있다.

또한, 상기 구매 단말(200)은 해당 구매 단말(200)의 사용자 입력에 따른 특정 상품/서비스에 대한 체험 정보, 특정 상품/서비스에 대한 평가 정보 등을 수신한다.

이때, 상기 구매 단말(200)은 특정 상품/서비스에 대해서 미리 설정된 개수 이내의 체험 정보, 평가 정보 등을 수신하도록 구성하여, 동일 사용자에 의한 다량의 체험 정보나 평가 정보 제공을 방지하여, 해당 체험 정보, 평가 정보 등에 대한 신뢰성을 높일 수 있다.

또한, 상기 구매 단말(200)은 상기 수신된 상품/서비스에 대한 체험 정보, 상품/서비스에 대한 평가 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다.

상기 결제 서버(300)는 상기 서버(100), 상기 구매 단말(200), 상기 판매 단말(400), 상기 매장 서버(500) 등과 통신한다.

또한, 상기 결제 서버(300)는 상기 구매 단말(200), 상기 서버(100), 상기 판매 단말(400) 등과의 연동에 의해, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대한 결제 기능을 수행한다. 이때, 상기 결제 기능 수행 시, 상기 결제 서버(300)는 상기 특정 상품 및 서비스 정보에 대응하는 정상가 금액에 미리 설정된 할인액을 적용하여 상기 정상가 금액에서 상기 할인액이 적용된 금액에 대한 결제 기능을 수행한다. 또한, 상기 정상가 금액에서 상기 할인액이 적용된 금액은 해당 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스가 제공되고 있는 해당 국가 내에서의 최저 가격보다 같거나 또는 더 싼 금액일 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 결제 서버(300)는 상기 결제 기능 수행 결과(또는 결제 정보)를 상기 구매 단말(200)에 제공한다. 여기서, 상기 결제 기능 수행 결과(또는 결제 정보)는 상품 및 서비스 정보, 결제 일자 및 시각 정보, 주문 상품별/서비스별 가격 정보 등을 포함한다.

또한, 판매 단말(400)이 구비된 매장에서 특정 상품 및/또는 서비스를 제공받은 이후 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용하고자 하는 경우, 상기 결제 서버(300)는 상기 구매 단말(200), 상기 서버(100) 및 상기 판매 단말(400) 간의 연동에 의해, 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 처리) 기능을 수행한다.

상기 판매 단말(400)은 매장에 구비되는 POS(Point of Sales) 단말 등일 수 있다.

또한, 상기 판매 단말(400)은 임의의 매장에 구비(또는 설치)된다.

또한, 상기 판매 단말(400)은 상기 서버(100)와의 연동에 의해, 상기 판매 단말(400)의 사용자에 대한 회원 가입 절차를 수행한다.

또한, 상기 회원 가입 절차 수행 시, 상기 판매 단말(400)은 본인 인증 수단(예를 들어 이동 전화, 신용카드, 아이핀 등 포함)을 통한 인증 기능을 완료해야 상기 서버(100)에 대한 회원 가입 절차를 정상적으로 완료할 수 있다.

또한, 상기 판매 단말(400)은 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 매장 서버(500) 등과 통신한다.

또한, 상기 판매 단말(400)은 상기 구매 단말(200), 상기 서버(100), 상기 결제 서버(300) 등과의 연동에 의해, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대한 결제 기능을 수행한다.

또한, 상기 판매 단말(400)은 상기 서버(100) 또는 상기 결제 서버(300)로부터 전송되는 상기 결제 기능 수행에 따른 상기 결제 기능 수행 결과(또는 결제 정보), 상기 서버(100)로부터 발급되는 멀티 상품 할인 쿠폰의 판매 수량 등을 수신한다.

또한, 상기 판매 단말(400)은 상기 수신된 결제 기능 수행 결과, 상기 멀티 상품 할인 쿠폰의 판매 수량 등을 근거로 상기 판매 단말(400)과 관련한 매장 내의 상품 재고 관리 기능을 수행할 수 있다.

또한, 상기 판매 단말(400)은 상기 수신된 결제 기능 수행 결과, 상기 멀티 상품 할인 쿠폰의 판매 수량 등을 근거로 고객 관계 관리(Custom Relation Management: CRM) 마케팅을 적용하여, 해당 판매 단말(400)과 관련한 매장에서 제공하는 상품이나 서비스에 대한 마케팅 기능을 수행할 수 있다.

이와 같이, 상기 판매 단말(400)이 별도의 전단 홍보나 마케팅 활동 없이 상품이나 서비스 판매 자체만으로 짧은 기간 상기 판매 단말(400)과 관련한 매장이 위치한 해당 지역을 방문하는 여행객 집객이 가능하고, 사전에 판매된 멀티 상품 할인 쿠폰을 통해 예상 매출과 방문 예정 고객수 파악이 가능하여, 재고 확보, 인력 배치 등을 할 수 있어, 관리 효율을 향상시킬 수 있다.

또한, 이와 같이, 온라인 판매시 과도하게 소요되는 광고 및 홍보 디자인 페이지를 3D 파노라마 영상으로 대체함으로써, 상기 판매 단말(400)은 과도한 광고비를 대폭 줄일 수 있어 비용을 절감할 수 있다.

또한, 판매 단말(400)이 구비된 매장에서 특정 상품 및/또는 서비스를 제공받은 이후 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰을 사용하고자 하는 경우, 상기 판매 단말(400)은 바코드 형태, QR 코드 형태 등으로 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰(또는 해당 멀티 상품 할인 쿠폰의 고유 번호)을 인식한다.

즉, 상기 멀티 상품 할인 쿠폰을 소지한 상기 구매 단말(200)의 사용자가 상기 판매 단말(400)이 구비된 매장에 방문하여 해당 매장에서 판매하는 하나 이상의 상품을 구매하거나, 해당 매장에서 제공하는 서비스를 제공받은 이후에 해당 서비스에 대한 대가를 지불하기 위해서 해당 멀티 상품 할인 쿠폰을 통한 결제 기능을 수행하고자 하는 경우, 상기 판매 단말(400)은 상기 구매 단말(200)에 저장된(또는 발급된) 멀티 상품 할인 쿠폰의 고유 번호(또는 해당 멀티 상품 할인 쿠폰의 정보)를 인식한다. 이때, 상기 판매 단말(400)은 해당 판매 단말(400)에 구비된 인식부(예를 들어 바코드 인식부, QR 코드 인식부 등 포함)를 통해 해당 멀티 상품 할인 쿠폰을 인식할 수 있다.

또한, 상기 판매 단말(400)은 상기 인식된 멀티 상품 할인 쿠폰(또는 멀티 상품 할인 쿠폰의 고유 번호)을 근거로 상기 구매 단말(200), 상기 서버(100) 및 상기 결제 서버(300) 간의 연동에 의해, 상기 구매 단말(200)에 저장된 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 처리) 기능을 수행한다.

또한, 상기 판매 단말(400)은 상기 구매 단말(200)에 전송된(또는 발급된) 해당 멀티 상품 할인 쿠폰에 대해서 사용 완료 상태로 처리(또는 전환/변경)한다.

또한, 해당 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 기능 수행)가 완료된 이후, 상기 판매 단말(400)은 해당 멀티 상품 할인 쿠폰에 대한 사용 처리 결과를 표시한다. 여기서, 상기 멀티 상품 할인 쿠폰에 대한 사용 처리 결과는 매장명, 매장 위치, 매장 연락처, 상품 및 서비스 정보, 결제 일자 및 시각 정보, 주문 상품별/서비스별 가격 정보 등을 포함한다.

또한, 해당 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 기능 수행)가 완료된 이후, 상기 판매 단말(400)은 영수증 등의 인쇄물을 통해 상기 멀티 상품 할인 쿠폰에 대한 사용 처리 결과를 출력한다.

또한, 해당 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 기능 수행)가 완료된 이후, 해당 멀티 상품 할인 쿠폰의 잔액이 있는 경우, 상기 판매 단말(400)은 상기 서버(100)로부터 전송되는 해당 멀티 상품 할인 쿠폰에서의 사용 가능 금액(또는 잔액 정보/업데이트된 사용 가능 금액) 등을 포함하는 정보를 수신한다.

또한, 상기 판매 단말(400)은 상기 수신된 해당 멀티 상품 할인 쿠폰에서의 사용 가능 금액 등을 포함하는 정보를 표시하거나 또는, 상기 영수증 등의 인쇄물을 통해 출력한다.

또한, 해당 멀티 상품 할인 쿠폰에 대한 사용 처리(또는 결제 기능 수행)가 완료된 이후, 상기 판매 단말(400)은 미리 설정된 포인트 및/또는 할인 쿠폰을 상기 구매 단말(200)에 전송(또는 발급)한다. 여기서, 상기 포인트 및/또는 할인 쿠폰은 상기 멀티 상품 할인 쿠폰에 대한 사용 처리 결과에 함께 포함된 상태이거나 상기 발급되는 영수증에 포함될 수 있다.

상기 매장 서버(500)는 상기 서버(100), 상기 구매 단말(200), 상기 결제 서버(300), 상기 판매 단말(400) 등과 통신한다.

또한, 상기 매장 서버(500)는 특정 매장에 구비되는 상기 판매 단말(400)일 수 있다.

또한, 상기 매장 서버(500)는 상기 서버(100)로부터 전송되는 상기 회원 정보, 상기 배송 상품에 대한 정보, 상기 구매 단말(200)의 식별 정보 등을 수신한다.

또한, 상기 매장 서버(500)는 상기 회원 정보에 포함된 배송지 정보를 근거로 해당 배송지로 상기 배송 상품을 배송한다.

또한, 상기 배송 상품이 현장 수령인 경우, 상기 매장 서버(500)는 상기 배송 상품의 현장 수령에 필요한 안내 정보, 바코드나 QR 코드 형태 등의 식별 코드 등을 포함하는 상기 안내 메시지를 상기 구매 단말(200)에 전송한다. 이후, 상기 구매 단말(200)의 사용자가 해당 배송 상품을 제공하는 매장에 직접 방문한 경우, 상기 매장 서버(500)에서 상기 구매 단말(200)에 저장된 상기 바코드나 QR 코드 형태 등의 식별 코드를 인증(또는 인식)한 후, 상기 배송 상품을 상기 구매 단말(200)의 사용자에게 제공할 수 있다.

이와 같이, 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공할 수 있다.

또한, 이와 같이, 오프라인 매장 또는 거리 매장에서 취급하지 않거나 판매 소진으로 인한 품절 상태인 상품에 대한 정보를 제공할 수 있다.

이하에서는, 본 발명에 따른 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법을 도 1 내지 도 8을 참조하여 상세히 설명한다.

도 2 및 도 3은 본 발명의 실시예에 따른 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법을 나타낸 흐름도이다.

먼저, 서버(100)는 해당 서버(100)에 포함된 복수의 카메라(미도시)를 통해 오프라인 상의 하나 이상의 매장, 해당 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 포함하는 제 1 영상과 제 2 영상을 촬영한다. 여기서, 상기 매장은 백화점, 쇼핑몰, 아울렛, 음식점, 병원, 빌딩(또는 건축물) 등을 포함한다. 이때, 상기 서버(100)는 상기 제 1 영상과 제 2 영상을 촬영하는 지점의 위치 정보(예를 들어 GPS 위치 정보 등 포함)를 확인하고, 상기 확인된 위치 정보를 상기 촬영한 제 1 영상과 제 2 영상과 매칭(또는 연동)하여 저장한다.

일 예로, 상기 서버(100)는 제 11 카메라 및 제 12 카메라를 통해 대형 쇼핑몰 내의 복수의 상품을 포함하는 제 11 영상 및 제 12 영상을 각각 촬영한다.

다른 일 예로, 상기 서버(100)는 제 21 카메라 및 제 22 카메라를 통해 오프라인 상의 복수의 매장을 포함하는 제 21 영상 및 제 22 영상을 각각 촬영한다(S210).

이후, 상기 서버(100)는 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득한다.

또한, 상기 서버(100)는 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성한다. 이때, 상기 서버(100)는 미리 공지된 다양한 합성 방법에 의해서 상기 촬영된 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성할 수 있다. 이때, 상기 생성되는 예비 파노라마 영상은 상기 예비 파노라마 영상에 포함된 제 1 객체, 상품, 지점(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.

일 예로, 상기 서버(100)는 상기 촬영된 제 11 영상 및 제 12 영상의 중첩되는 중첩 영역을 기준으로 상기 제 11 영상 및 제 12 영상을 합성하여 제 1 예비 파노라마 영상을 생성한다.

다른 일 예로, 상기 서버(100)는 상기 촬영된 제 21 영상 및 제 22 영상의 중첩되는 중첩 영역을 기준으로 상기 제 21 영상 및 제 22 영상을 합성하여 제 21 예비 파노라마 영상을 생성한다(S220).

이후, 상기 서버(100)는 상기 예비 파노라마 영상 내에 포함된 하나 이상의 제 1 객체를 각각 인식한다. 여기서, 상기 제 1 객체는 상기 오프라인 상에 위치하는 각각의 매장일 수도 있고, 상기 오프라인 상에 위치하거나 각 매장 내에 위치하는 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판, 가격표 등을 포함할 수 있다. 이때, 본 발명에서의 상기 제 1 객체는 각 매장에서 제공하는 상품 및 서비스를 제외한 상태일 수 있다.

일 예로, 상기 서버(100)는 상기 제 1 예비 파노라 영상에 포함된 제 1 POP, 제 2 POP, 제 1 가격표, 제 2 가격표, 제 3 가격표 및 제 4 가격표를 각각 인식한다.

다른 일 예로, 상기 서버(100)는 상기 제 21 예비 파노라마 영상에 포함된 복수의 매장(예를 들어 오프라인 상에 위치하는 제 1 내과 의원, 제 1 약국, 제 1 편의점, 제 1 자동차, 제 1 성형외과, 제 2 성형외과, 제 2 약국, 제 1 정형외과, 제 2 편의점 등 포함)을 각각 인식한다(S230).

이후, 상기 서버(100)는 상기 인식된 하나 이상의 제 1 객체에 각각 대응하는 제 1 코드를 상기 예비 파노라마 영상 내의 해당 제 1 객체 상의 일부 영역에 추가(또는 삽입)하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 인접하게 추가(또는 삽입)하여 3D 파노라마 영상을 생성한다. 여기서, 상기 제 1 코드는 바코드, QR 코드, 문자열 코드 등의 형태이며, 상기 인식된 제 1 객체와 관련한 하나 이상의 상품 정보, 하나 이상의 서비스 정보 등을 포함한다. 또한, 상기 문자열 코드는 언어별 문자, 숫자, 기호 등의 조합에 의해 구성할 수 있다. 이때, 상기 상품 정보는 상품명, 상품 고유 코드, 상품 이미지, 상품 설명 정보, 상품에 대한 체험 정보, 상품에 대한 평가 정보, 해당 상품을 판매하는 매장의 위치 정보, 매장의 전화번호 등을 포함한다. 또한, 상기 서비스 정보는 서비스명, 서비스 고유 코드, 서비스 기본 이미지, 서비스 설명 정보, 서비스에 대한 체험 정보, 서비스에 대한 평가 정보, 해당 서비스를 제공하는 매장의 위치 정보, 매장의 전화번호, 예약 정보, 상담 정보, 진료 시간 정보 등을 포함한다. 또한, 상기 생성되는 3D 파노라마 영상은 상기 3D 파노라마 영상에 포함된 제 1 객체, 상품, 지점(또는 좌표) 등에 대한 위치 정보를 포함(또는 연동/매칭)한다.

또한, 상기 제 1 코드를 나타내는 색상은 검정색 외에도 다양한 색상으로 나타낼 수 있다. 이때, 상기 제 1 코드가 바코드인 경우, 콰이어트 존, 패턴(또는 바) 중 적어도 하나의 색상을 다양한 색상으로 설정할 수 있다. 또한, 상기 제 1 코드가 QR 코드인 경우, 상기 QR 코드를 구성하는 파인딩 패턴, 타이밍 패턴, 정렬 패턴, 콰이어트 존, 데이터 영역(에러 정정 코드 영역 포함) 중 적어도 하나의 색상을 다양한 색상으로 설정할 수 있다. 또한, 상기 제 1 코드가 문자열 코드인 경우, 해당 문자열의 색상을 다양한 색상으로 설정할 수 있다.

일 예로, 상기 서버(100)는 상기 인식된 제 1 POP에 대응하는 복수의 상품 정보를 포함하는 제 1 바코드, 상기 인식된 제 2 POP에 대응하는 다른 복수의 상품 정보를 포함하는 제 2 바코드, 상기 인식된 제 1 가격표에 대응하는 상품인 사과에 대한 상품 정보를 포함하는 제 3 바코드, 상기 인식된 제 2 가격표에 대응하는 상품인 참외에 대응하는 상품 정보를 포함하는 제 4 바코드, 상기 인식된 제 3 가격표에 대응하는 상품인 수박에 대응하는 상품 정보를 포함하는 제 5 바코드 및 상기 인식된 제 4 가격표에 대응하는 상품인 포도에 대응하는 상품 정보를 포함하는 제 6 바코드 각각을 상기 제 1 예비 파노라마 영상 내의 상기 제 1 POP, 제 2 POP, 제 1 가격표, 제 2 가격표, 제 3 가격표 및 제 4 가격표에 각각 미리 설정된 거리 이내(예를 들어 5cm 이내)로 인접하게 추가하여 제 1 3D 파노라마 영상을 생성한다. 이때, 상기 제 1 바코드 내지 제 6 바코드의 바 색상을 파란색으로 각각 설정한다.

다른 일 예로, 상기 서버(100)는 상기 인식된 제 1 내과 의원에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 1 QR 코드, 상기 인식된 제 1 약국에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 2 QR 코드, 상기 인식된 제 1 편의점에서 제공하는 복수의 상품/서비스에 대한 상품 및 서비스 정보를 포함하는 제 3 QR 코드, 상기 인식된 제 1 자동차에서 제공하는 복수의 자동차에 대한 상품 정보를 포함하는 제 4 QR 코드, 상기 인식된 제 1 성형외과에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 5 QR 코드, 상기 인식된 제 2 성형외과에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 6 QR 코드, 상기 인식된 제 2 약국에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 7 QR 코드, 상기 인식된 제 1 정형외과에서 제공하는 복수의 서비스에 대한 서비스 정보를 포함하는 제 8 QR 코드 및 상기 인식된 제 2 편의점에서 제공하는 복수의 상품/서비스에 대한 상품 및 서비스 정보를 포함하는 제 9 QR 코드 각각을 상기 제 21 예비 파노라마 영상 내의 상기 제 1 내과 의원, 제 1 약국, 제 1 편의점, 제 1 자동차, 제 1 성형외과, 제 2 성형외과, 제 2 약국, 제 1 정형외과 및 제 2 편의점 상에 각각 추가하여 제 21 3D 파노라마 영상을 생성한다. 이때, 상기 제 1 QR 코드 내지 제 9 QR 코드의 파인딩 패턴, 타이밍 패턴 및 정렬 패턴의 색상을 파란색으로 설정하고, 상기 QR 코드의 콰이어트 존을 노란색으로 설정하고, 나머지 영역의 색상을 검정색으로 설정한다(S240).

이후, 상기 서버(100)는 상기 인식된 제 1 객체(또는 제 1 객체의 고유 식별 정보)와 상기 생성된 제 1 코드를 연동하여 저장한다.

일 예로, 상기 서버(100)는 상기 제 1 POP와 상기 제 1 바코드를 매칭시키고, 상기 제 2 POP와 상기 제 2 바코드를 매칭시키고, 상기 제 1 가격표와 상기 제 3 바코드를 매칭시키고, 상기 제 2 가격표와 상기 제 4 바코드를 매칭시키고, 상기 제 3 가격표와 상기 제 5 바코드를 매칭시키고, 상기 제 4 가격표와 상기 제 6 바코드를 매칭시킨다.

다른 일 예로, 상기 서버(100)는 상기 제 1 내과 의원과 상기 제 1 QR 코드를 매칭시키고, 상기 제 1 약국과 상기 제 2 QR 코드를 매칭시키고, 상기 제 1 편의점과 상기 제 3 QR 코드를 매칭시키고, 상기 제 1 자동차와 상기 제 4 QR 코드를 매칭시키고, 상기 제 1 성형외과와 상기 제 5 QR 코드를 매칭시키고, 상기 제 2 성형외과와 상기 제 6 QR 코드를 매칭시키고, 상기 제 2 약국과 상기 제 7 QR 코드를 매칭시키고, 상기 제 1 정형외과와 상기 제 8 QR 코드를 매칭시키고, 상기 제 2 편의점과 상기 제 9 QR 코드를 매칭시킨다(S250).

이후, 상기 서버(100)는 미리 설정된 주기(예를 들어 10초, 1분 등 포함)로 앞선 단계들을 반복적으로 수행하여, 새로운 3D 파노라마 영상을 생성한다.

또한, 상기 서버(100)는 상기 생성된 새로운 3D 파노라마 영상과 앞서 생성된 3D 파노라마 영상 간의 차이를 확인한다.

일 예로, 상기 서버(100)는 상기 제 11 카메라 및 제 12 카메라를 통해 대형 쇼핑몰 내의 복수의 상품을 포함하는 제 13 영상 및 제 14 영상을 각각 촬영한다. 이때, 상기 서버(100)는 앞서 제 11 카메라 및 제 12 카메라를 통해 제 11 영상 및 제 12 영상을 촬영한 동일 위치(또는 미리 설정된 반경 이내의 위치) 및 촬영 각도(또는 미리 설정된 오차 범위 이내의 촬영 각도)에서 상기 제 13 영상 및 제 14 영상을 각각 촬영한다. 이후, 상기 서버(100)는 상기 촬영된 제 13 영상 및 제 14 영상의 중첩되는 중첩 영역을 기준으로 상기 제 13 영상 및 제 14 영상을 합성하여 제 2 예비 파노라마 영상을 생성한다. 이후, 상기 서버(100)는 상기 제 2 예비 파노라마 영상에 포함된 제 1 POP, 제 2 POP, 제 1 가격표, 제 2 가격표, 제 3 가격표 및 제 4 가격표를 각각 인식한다. 이후, 상기 서버(100)는 상기 인식된 제 1 POP에 대응하는 복수의 상품 정보를 포함하는 제 1 바코드, 상기 인식된 제 2 POP에 대응하는 다른 복수의 상품 정보를 포함하는 제 2 바코드, 상기 인식된 제 1 가격표에 대응하는 상품인 사과에 대한 상품 정보를 포함하는 제 3 바코드, 상기 인식된 제 2 가격표에 대응하는 상품인 참외에 대응하는 상품 정보를 포함하는 제 4 바코드, 상기 인식된 제 3 가격표에 대응하는 상품인 수박에 대응하는 상품 정보를 포함하는 제 5 바코드 및 상기 인식된 제 4 가격표에 대응하는 상품인 포도에 대응하는 상품 정보를 포함하는 제 6 바코드 각각을 상기 제 2 예비 파노라마 영상 내의 상기 제 1 POP, 제 2 POP, 제 1 가격표, 제 2 가격표, 제 3 가격표 및 제 4 가격표에 각각 미리 설정된 거리 이내(예를 들어 5cm 이내)로 인접하게 추가하여 제 2 3D 파노라마 영상을 생성한다. 이후, 상기 서버(100)는 상기 새로 생성된 제 2 3D 파노라마 영상과 앞서 생성된 제 1 3D 파노라마 영상 간의 차이를 확인한다. 확인 결과, 상기 새로 생성된 제 2 3D 파노라마 영상과 앞서 생성된 제 1 3D 파노라마 영상 간에 차이가 없을 때, 상기 서버(100)는 상기 앞서 생성된 제 1 3D 파노라마 영상을 최신의 3D 파노라마 영상으로 판단하고, 해당 제 1 3D 파노라마 영상을 그대로 유지한다.

다른 일 예로, 상기 서버(100)는 상기 제 11 카메라 및 제 12 카메라를 통해 대형 쇼핑몰 내의 복수의 상품을 포함하는 제 15 영상 및 제 16 영상을 각각 촬영한다. 이때, 상기 서버(100)는 앞서 제 11 카메라 및 제 12 카메라를 통해 제 11 영상 및 제 12 영상을 촬영한 동일 위치(또는 미리 설정된 반경 이내의 위치) 및 촬영 각도(또는 미리 설정된 오차 범위 이내의 촬영 각도)에서 상기 제 15 영상 및 제 16 영상을 각각 촬영한다. 이후, 상기 서버(100)는 상기 촬영된 제 15 영상 및 제 16 영상의 중첩되는 중첩 영역을 기준으로 상기 제 15 영상 및 제 16 영상을 합성하여 제 3 예비 파노라마 영상을 생성한다. 이후, 상기 서버(100)는 상기 제 3 예비 파노라마 영상에 포함된 제 1 POP, 제 1 가격표, 제 2 가격표 및 제 3 가격표를 각각 인식한다. 또한, 상기 서버(100)는 상기 제 3 예비 파노라마 영상에 포함된 제 11 사람을 인식하고, 상기 인식된 제 11 사람에 대한 윤곽선을 추출한다. 이후, 상기 서버(100)는 상기 제 3 예비 파노라마 영상에서 상기 제 11 사람에 대한 윤곽선만을 유지한 채 상기 인식된 제 11 사람에 대응하는 나머지 영역을 미리 설정된 방식으로 화면 처리(또는 화면 보상)(예를 들어 미리 설정된 흰색으로 채움)한다. 이후, 상기 서버(100)는 상기 인식된 제 1 POP에 대응하는 복수의 상품 정보를 포함하는 제 1 바코드, 상기 인식된 제 1 가격표에 대응하는 상품인 사과에 대한 상품 정보를 포함하는 제 3 바코드, 상기 인식된 제 2 가격표에 대응하는 상품인 참외에 대응하는 상품 정보를 포함하는 제 4 바코드, 상기 인식된 제 3 가격표에 대응하는 상품인 수박에 대응하는 상품 정보를 포함하는 제 5 바코드 각각을 상기 제 11 사람에 대한 윤곽선으로 보상된 제 3 예비 파노라마 영상 내의 상기 제 1 POP, 제 1 가격표, 제 2 가격표 및 제 3 가격표에 각각 미리 설정된 거리 이내(예를 들어 5cm 이내)로 인접하게 추가하여 도 4에 도시된 제 3 3D 파노라마 영상(400)을 생성한다. 이후, 상기 서버(100)는 상기 새로 생성된 제 3 3D 파노라마 영상(400)과 도 5에 도시된 앞서 생성된 제 1 3D 파노라마 영상(500) 간의 차이를 확인한다. 확인 결과, 상기 새로 생성된 제 3 3D 파노라마 영상(400)과 앞서 생성된 제 1 3D 파노라마 영상(500) 간에 차이가 있을 때(예를 들어 상기 제 1 3D 파노라마 영상에 포함된 상기 제 2 POP 및 상기 제 4 가격표, 상기 제 4 가격표에 대응하는 상품인 포도가 제 3 3D 파노라마 영상에서 제외된 상태 및 제 11 사람이 윤곽선으로 포함된 상태일 때), 상기 서버(100)는 상기 새로 생성된 제 3 3D 파노라마 영상을 최신의 3D 파노라마 영상으로 설정(또는 대체/확인)하거나 또는, 상태에 변화가 있는 부분인 상기 제 3 3D 파노라마 영상 내에서 상기 제 2 POP 및 상기 제 4 가격표, 상기 제 4 가격표에 대응하는 상품인 포도가 제외된 영역(또는 영상)으로 상기 제 1 3D 파노라마 영상을 보상하고, 상기 제 3 3D 파노라마 영상에 포함된 제 11 사람의 윤곽선을 상기 제 1 3D 파노라마 영상에 추가하여, 도 6에 도시된 새로운 최신의 제 4 3D 파노라마 영상(600)을 생성한다.

이와 같이, 상기 서버(100)는 백그라운드 모델링을 통해 실시간으로 최신의 3D 파노라마 영상을 유지할 수 있다(S260).

이후, 구매 단말(200)은 오프라인 매장 또는 거리 매장(또는 가두(街頭) 매장)에 구비된(또는 설치된/배치된) 제 2 객체를 촬영한다. 여기서, 상기 제 2 객체는 상기 오프라인 또는 거리에 위치하는 각 매장에 구비된 할인행사코드(예를 들어 POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 등 포함), 상품코드(예를 들어 가격표 등 포함) 등을 포함한다. 이때, 본 발명에서의 상기 제 2 객체는 각 매장에서 제공하는 상품 및 서비스를 제외한 상태일 수 있다.

일 예로, 상기 구매 단말(200)은 사용자 제어(또는 사용자 조작)에 의해 오프라인 매장에 구비된 간장의 상품 코드(예를 들어 국간장 100리터 상품 코드: 20110033698 등 포함)를 촬영한다.

다른 일 예로, 상기 구매 단말(200)의 사용자는 거리에 위치한 성형 외과 간판을 촬영한다(S270).

이후, 상기 구매 단말(200)은 해당 구매 단말(200)의 위치 정보(또는 상기 제 2 객체를 촬영한 지점의 위치 정보)를 확인한다.

즉, 상기 구매 단말(200)은 GPS 수신기(미도시)를 통해 상기 구매 단말(200)의 현재 위치 정보를 확인한다.

일 예로, 상기 구매 단말(200)은 상기 구매 단말(200)에 구비된 GPS 수신기를 통해 상기 구매 단말(200)의 위치 정보를 확인한다. 또한, 상기 구매 단말(200)은 상기 촬영된 제 1 영상 정보(예를 들어 상기 간장의 상품 코드를 포함하는 영상 정보), 상기 구매 단말(200)의 위치 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다.

다른 일 예로, 상기 구매 단말(200)은 상기 GPS 수신기를 통해 상기 구매 단말(200)의 위치 정보를 확인한다. 또한, 상기 구매 단말(200)은 상기 촬영된 제 2 영상 정보(예를 들어 상기 성형 외과 간판을 포함하는 영상 정보), 상기 구매 단말(200)의 위치 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다(S280).

이후, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 상기 영상 정보, 상기 구매 단말(200)의 위치 정보, 구매 단말(200)의 식별 정보 등을 수신한다.

일 예로, 상기 서버(100)는 상기 수신된 제 1 영상 정보 내에 포함된 상기 간장의 상품 코드(예를 들어 20110033698)를 인식한다.

다른 일 예로, 상기 서버(100)는 상기 수신된 제 2 영상 정보 내에 포함된 상기 성형외과의 간판을 인식한다(S290).

이후, 상기 서버(100)는 미리 저장된 복수의 객체별 코드(또는 복수의 객체의 고유 식별 정보별 코드) 중에서 상기 인식된 제 2 객체와 관련한 제 2 코드를 확인한다.

또한, 상기 서버(100)는 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 2 코드(또는 제 2 코드의 고유 식별 정보)에 대응하는 하나 이상의 상품 및 서비스 정보를 확인한다. 여기서, 상기 상품 및 서비스 정보는 상품명(또는 서비스명), 상품 고유 코드(또는 서비스 고유 코드), 상품 이미지(또는 서비스 기본 이미지), 상품 설명 정보(또는 서비스 설명 정보), 상품/서비스에 대한 체험 정보, 상품/서비스에 대한 평가 정보, 예약 정보, 상담 정보, 진료 시간 정보 등을 포함한다.

일 예로, 상기 서버(100)는 미리 저장된 객체별 코드(또는 복수의 객체의 고유 식별 정보별 코드) 중에서 상기 인식된 간장의 상품 코드(예를 들어 20110033698)에 대응하는 미리 설정된 제 51 바코드를 확인한다. 또한, 상기 서버(100)는 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 51 바코드와 관련한 ABC 식품의 국간장 100리터에 대한 상품 정보를 확인한다. 또한, 상기 서버(100)는 상기 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 51 바코드에 해당하는 유사군인 국간장과 관련한 제 61 상품 정보 내지 제 70 상품 정보를 확인한다. 또한, 상기 서버(100)는 상기 확인된 ABC 식품의 국간장 100리터에 대한 상품 정보에 적용 가능한 제 81 쿠폰(예를 들어 15% 할인 쿠폰), 상기 63 상품 정보에 적용 가능한 제 63 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 66 상품 정보에 적용 가능한 제 66 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 67 상품 정보에 적용 가능한 제 67 쿠폰(예를 들어 10% 할인 쿠폰) 등을 포함하는 제 51 부가 정보를 확인한다.

다른 일 예로, 상기 서버(100)는 상기 미리 저장된 객체별 코드(또는 복수의 객체의 고유 식별 정보별 코드) 중에서 상기 인식된 간판에 대응하는 미리 설정된 제 8 QR 코드를 확인한다. 이때, 상기 서버(100)는 상기 구매 단말(200)의 위치 정보를 반영하여, 상기 미리 저장된 객체별 코드(또는 위치 정보를 포함하는 객체별 코드) 중에서 상기 구매 단말(200)의 위치 정보에 인접한 해당 간판에 대응하는 미리 설정된 제 8 QR 코드를 확인할 수 있다. 또한, 상기 서버(100)는 상기 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 제 8 QR 코드와 관련한 제 1 정형외과에서 제공하는 복수의 서비스(또는 복수의 진료 과목)인 근 골격 초음파 검사, 체형 진단 검사, X-레이 진단 검사, 통증 클리닉, 신경 차단술 등을 확인한다. 또한, 상기 서버(100)는 상기 확인된 제 1 정형외과에서 제공하는 복수의 서비스에 대한 예약 정보, 상담 정보, 진료 시간 정보 등을 함께 확인한다(S300).

이후, 상기 서버(100)는 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 2 코드가 포함된 3D 파노라마 영상 정보를 확인한다. 이때, 상기 제 2 코드가 포함된 3D 파노라마 영상 정보가 복수인 경우, 상기 서버(100)는 앞서 수신된 상기 구매 단말(200)의 위치 정보를 반영하여, 상기 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 2 코드 및 상기 구매 단말(200)의 위치 정보에 대응하는 3D 파노라마 영상 정보를 확인할 수도 있다.

일 예로, 상기 서버(100)는 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 51 바코드가 포함된 제 51 3D 파노라마 영상 정보를 확인한다. 또한, 상기 서버(100)는 상기 확인된 제 51 바코드에 해당하는 유사군인 국간장과 관련한 제 61 상품 정보 내지 제 70 상품 정보를 미리 설정된 할인율순으로 정렬한다. 또한, 상기 서버(100)는 상기 할인율순으로 정렬된 상품 정보 중에서 미리 설정된 할인율이 높은 3개의 상품 정보(예를 들어 할인율이 높은 순으로 제 63 상품 정보, 제 66 상품 정보 및 제 67 상품 정보)를 확인한다. 또한, 상기 서버(100)는 상기 확인된 제 51 3D 파노라마 영상 정보, 상기 확인된 제 51 바코드와 관련한 ABC 식품의 국간장 100리터에 대한 상품 정보, 상기 할인율순으로 정렬된 상품 정보 중에서 미리 설정된 할인율이 높은 3개의 상품 정보(예를 들어 할인율이 높은 순으로 제 63 상품 정보, 제 66 상품 정보 및 제 67 상품 정보), 상기 확인된 제 51 부가 정보(예를 들어 상기 확인된 ABC 식품의 국간장 100리터에 대한 상품 정보에 적용 가능한 제 81 쿠폰(예를 들어 15% 할인 쿠폰), 상기 63 상품 정보에 적용 가능한 제 63 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 66 상품 정보에 적용 가능한 제 66 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 67 상품 정보에 적용 가능한 제 67 쿠폰(예를 들어 10% 할인 쿠폰) 등 포함), 제 51 배송 상품임을 나타내는 정보 등을 상기 구매 단말(200)에 전송한다. 이때, 상기 제 51 배송 상품임을 나타내는 정보는 상기 ABC 식품의 국간장 100리터에 대한 상품 정보, 상기 제 63 상품 정보, 상기 제 66 상품 정보 및 상기 제 67 상품 정보 중에서 상기 오프라인 매장에서 판매 소진으로 인한 품절 상태인 상품에 해당하는 제 66 상품 정보를 포함한다.

다른 일 예로, 상기 서버(100)는 상기 미리 저장된 하나 이상의 객체, 상기 객체에 대응하는 코드 및 상기 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 제 8 QR 코드가 포함된 제 21 3D 파노라마 영상 정보를 확인한다. 또한, 상기 서버(100)는 상기 확인된 제 21 3D 파노라마 영상 정보, 상기 확인된 제 8 QR 코드와 관련하여 해당 제 1 정형외과에서 제공하는 복수의 서비스(또는 복수의 진료 과목 정보)에 대한 정보(예를 들어 근 골격 초음파 검사, 체형 진단 검사, X-레이 진단 검사, 통증 클리닉, 신경 차단술 등에 대한 정보), 상기 확인된 복수의 서비스에 대한 예약 정보, 상담 정보, 진료 시간 정보 등을 상기 구매 단말(200)에 전송한다(S310).

이후, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 상기 3D 파노라마 영상 정보, 상기 제 2 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보, 상기 부가 정보, 상기 배송 상품임을 나타내는 정보(또는 배송 상품임을 나타내는 아이콘/이모티콘 등 포함) 등을 수신한다.

또한, 상기 구매 단말(200)은 상기 수신된 상기 3D 파노라마 영상 정보, 상기 제 2 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 하나 이상의 유사군 상품 및 서비스 정보, 상기 부가 정보, 상기 배송 상품임을 나타내는 정보(또는 배송 상품임을 나타내는 아이콘/이모티콘 등 포함) 등을 표시한다. 이때, 상기 구매 단말(200)에서 상기 서버(100)로부터 전송되는 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 수신하는 경우, 상기 구매 단말(200)은 상기 수신된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬된 복수의 상품 및 서비스 정보(또는 복수의 유사군 상품 및 서비스 정보)를 표시할 수도 있다.

일 예로, 도 7에 도시된 바와 같이, 상기 구매 단말(200)은 상기 전송된 제 1 영상 정보에 응답하여 상기 서버(100)로부터 전송되는 상기 제 1 영상 정보에 포함된 간장의 상품 코드와 관련한 제 51 3D 파노라마 영상 정보(710)를 표시한다. 또한, 상기 도 7에 도시된 바와 같이, 상기 구매 단말(200)은 상기 제 51 3D 파노라마 영상 정보(710)의 일측에 상기 제 51 바코드와 관련한 ABC 식품의 국간장 100리터에 대한 상품 정보(720)를 표시하고, 상기 제 51 3D 파노라마 영상 정보(710)의 다른 일측에 상기 간장과 관련한 상품 정보 중 할인율이 높은 순으로 정렬된 제 63 상품 정보, 제 66 상품 정보 및 제 67 상품 정보를 포함하는 3개의 유사군 상품 정보(730)를 표시하고, 상기 제 51 3D 파노라마 영상 정보(710)의 또 다른 일측에 상기 제 51 부가 정보(예를 들어 상기 ABC 식품의 국간장 100리터에 대한 상품 정보에 적용 가능한 제 81 쿠폰(예를 들어 15% 할인 쿠폰), 상기 63 상품 정보에 적용 가능한 제 63 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 66 상품 정보에 적용 가능한 제 66 쿠폰(예를 들어 10% 할인 쿠폰), 상기 제 67 상품 정보에 적용 가능한 제 67 쿠폰(예를 들어 10% 할인 쿠폰) 등 포함)(740)를 표시하고, 상기 제 51 3D 파노라마 영상 정보(710)의 또 다른 일측(또는 품절 상태인 제 66 상품 정보의 일측)에 상기 오프라인 매장에서 판매 소진으로 인한 품절 상태인 상품에 해당하는 제 66 상품 정보에 대한 배송 상품임을 나타내는 아이콘(750)을 각각 표시한다.

다른 일 예로, 도 8에 도시된 바와 같이, 상기 구매 단말(200)은 상기 전송된 제 2 영상 정보에 응답하여 상기 서버(100)로부터 전송되는 상기 제 2 영상 정보에 포함된 제 1 정형외과의 간판과 관련한 제 21 3D 파노라마 영상 정보(810)를 표시한다. 또한, 상기 구매 단말(200)은 상기 제 21 3D 파노라마 영상 정보(810)의 일측에 상기 제 1 정형외과에서 제공하는 복수의 서비스에 대한 정보(820)를 표시하고, 상기 제 21 3D 파노라마 영상 정보(810)의 다른 일측에 해당 복수의 서비스에 대한 예약 정보, 상담 정보, 진료 시간 정보(830) 등을 표시한다(S320).

이후, 상기 구매 단말(200)은 상기 구매 단말(200)에 표시되는 하나 이상의 상품 및 서비스 정보 및, 하나 이상의 유사군 상품 및 서비스 정보 중에서 선택되는 적어도 하나의 특정 상품 및 서비스 정보를 근거로 상기 서버(100), 결제 서버(300) 및 판매 단말(400) 등과의 연동에 의해 결제 기능을 수행한다.

이때, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품에 대해서, 해당 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하는 경우, 상기 서버(100)는 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보(또는 결제 기능 실패 정보)를 상기 구매 단말(200)에 전송한다. 여기서, 상기 결제 기능 수행이 불가함을 나타내는 정보는 상기 특정 상품 및 서비스 정보에 대응하는 특정 상품이 수입 통관 불가 상품에 해당함을 나타내는 정보 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보를 수신하고, 상기 수신된 상기 특정 상품 및 서비스 정보에 대한 결제 기능 수행이 불가함을 나타내는 정보를 표시한다.

또한, 상기 구매 단말(200)에서 선택된 특정 상품 및 서비스 정보에 대응하는 특정 상품이 미리 설정된(또는 등록된) 수입 통관 불가 상품(예를 들어 육류, 재화, 무기류, 가스류, 약 등 포함)에 해당하지 않는 경우, 상기 서버(100)는 상기 적어도 하나의 특정 상품 및 서비스 정보에 대응하는 정상가 금액에 미리 설정된 할인액을 적용하여 상기 정상가 금액에서 상기 할인액이 적용된 금액에 대한 결제 기능을 수행한다. 또한, 상기 정상가 금액에서 상기 할인액이 적용된 금액은 해당 특정 상품 및 서비스 정보에 대응하는 특정 상품이나 특정 서비스가 제공되고 있는 해당 국가 내에서의 최저 가격보다 같거나 또는 더 싼 금액일 수 있다.

또한, 상기 결제 기능이 정상적으로 수행 완료된 이후, 상기 서버(100)(또는 상기 결제 서버(300))는 결제 기능 수행 결과(또는 결제 정보)를 상기 구매 단말(200)에 제공한다. 여기서, 상기 결제 기능 수행 결과(또는 결제 정보)는 적어도 하나의 상품 및 서비스 정보, 결제 일자 및 시각 정보, 주문 상품별/서비스별 가격 정보 등을 포함한다.

또한, 상기 구매 단말(200)은 상기 서버(100)(또는 상기 결제 서버(300))로부터 전송되는 결제 기능 수행 결과를 수신하고, 상기 수신된 결제 기능 수행 결과를 표시한다.

일 예로, 상기 도 7에 도시된 국간장과 관련한 상품 정보(720, 730) 중에서 ABC 식품의 국간장 100리터에 대한 상품 정보가 선택될 때, 상기 구매 단말(200)은 상기 서버(100), 상기 결제 서버(300) 및 상기 판매 단말(400) 등과의 연동에 의해, 상기 ABC 식품의 국간장 100리터에 대한 상품 정보에 대응하는 결제 금액(또는 상기 정상가 금액에 상기 제 81 쿠폰(예를 들어 15% 할인 쿠폰)에 해당하는 할인액이 적용된 금액)에 대한 결제 기능을 수행한다. 또한, 상기 결제 기능이 정상적으로 완료된 이후, 상기 서버(100)는 상기 결제 기능 수행 결과를 상기 구매 단말(200)에 전송한다. 또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 결제 기능 수행 결과를 저장 및 표시한다.

다른 일 예로, 상기 도 7에 도시된 국간장과 관련한 상품 정보(720, 730) 중에서 상기 오프라인 매장에서 판매 소진으로 인한 품절 상태인 상품에 해당하는 제 66 상품 정보가 선택될 때, 상기 구매 단말(200)은 상기 서버(100), 상기 결제 서버(300) 및 상기 판매 단말(400) 등과의 연동에 의해, 상기 제 66 상품 정보에 대응하는 결제 금액(또는 상기 정상가 금액에 상기 제 66 쿠폰(예를 들어 10% 할인 쿠폰)에 해당하는 할인액이 적용된 금액)에 대한 결제 기능을 수행한다. 또한, 상기 결제 기능이 정상적으로 완료된 이후, 상기 서버(100)는 상기 결제 기능 수행 결과를 상기 구매 단말(200)에 전송한다. 또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 결제 기능 수행 결과를 저장 및 표시한다.

또 다른 일 예로, 상기 도 8에 도시된 제 1 정형외과에서 제공하는 복수의 서비스에 대한 정보(820) 중에서 통증 클리닉이 선택될 때, 상기 구매 단말(200)은 상기 서버(100), 상기 결제 서버(300) 및 상기 판매 단말(400) 등과의 연동에 의해, 상기 통증 클리닉에 대응하는 결제 금액에 대한 결제 기능(또는 상기 통증 클리닉에 대한 예약 기능)을 수행한다. 또한, 상기 결제 기능(또는 예약 기능)이 정상적으로 완료된 이후, 상기 서버(100)는 상기 결제 기능 수행 결과(또는 예약 기능 수행 결과)를 상기 구매 단말(200)에 전송한다. 또한, 상기 구매 단말(200)은 상기 서버(100)로부터 전송되는 결제 기능 수행 결과(또는 예약 기능 수행 결과)를 저장 및 표시한다(S330).

일 예로, 상기 오프라인 매장에서 판매 소진으로 인한 품절 상태인 상품에 해당하는 제 66 상품 정보에 대한 결제 기능이 정상적으로 수행될 때, 상기 서버(100)는 상기 제 66 상품 정보를 상기 구매 단말(200)의 사용자에게 배송(또는 전달)하기 위해서, 상기 서버(100)에 미리 등록된 복수의 매장 중에서 상기 제 66 상품 정보에 해당하는 제 66 상품의 재고가 있는 상기 회원 정보에 포함된 배송지 정보(예를 들어 중국 하남성 남양시 팔일로 ○○○호)에 가장 가까운 매장인 제 99 매장을 확인한다. 또한, 상기 서버(100)는 상기 확인된 제 99 매장의 매장 서버(500)로 상기 회원 정보, 상기 제 66 상품 정보, 상기 구매 단말(200)의 식별 정보 등을 전송한다(S340).

이후, 상기 매장 서버(500)는 상기 서버(100)로부터 전송되는 상기 회원 정보, 상기 배송 상품에 대한 정보, 상기 구매 단말(200)의 식별 정보 등을 수신한다.

또한, 상기 매장 서버(500)는 상기 매장에 방문한 해당 구매 단말(200)의 사용자에 대한 인증 절차를 수행한 후, 해당 배송 상품을 해당 구매 단말(200)의 사용자에게 제공(또는 전달)한다.

일 예로, 상기 제 99 매장의 매장 서버(500)는 상기 회원 정보에 포함된 배송지 정보(예를 들어 중국 하남성 남양시 팔일로 ○○○호)를 근거로 해당 배송지 정보의 배송지로 상기 제 66 상품을 배송(예를 들어 택배 배송 등 포함)한다(S350).

이후, 상기 구매 단말(500)은 상기 적어도 하나의 특정 상품 및 서비스에 대해서, 해당 특정 상품이나 특정 서비스의 구매에서부터 도착(또는 쿠폰 발급)까지의 체험 정보, 평가 정보, 상기 구매 단말(200)의 식별 정보 등을 상기 서버(100)에 전송한다.

또한, 상기 서버(100)는 상기 구매 단말(200)로부터 전송되는 상기 특정 상품이나 특정 서비스에 대한 체험 정보, 평가 정보, 상기 구매 단말(200)의 식별 정보 등을 수신한다.

또한, 상기 서버(100)는 상기 수신된 체험 정보, 평가 정보 등을 해당하는 특정 상품이나 특정 서비스에 매칭하여 저장한다(S360).

본 발명의 실시예는 앞서 설명된 바와 같이, 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공하여, 실제 백화점, 쇼핑몰, 거리 등에서 마주치는 뷰를 그대로 제공하면서 오프라인에서 제공하는 상품이나 매장과 관련한 부가적인 정보를 전달하여 사용상의 편의성을 향상시키고, 사용자에게 다양한 정보를 제공할 수 있다.

또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 오프라인 매장 또는 거리 매장에서 취급하지 않거나 판매 소진으로 인한 품절 상태인 상품에 대한 정보를 제공하여, 소규모 오프라인 매장을 구매 단말의 사용자가 방문하더라도 대형 매장의 상품 구색과 쇼핑 정보를 동일하게 제공받을 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 오프라인 매장 또는 거리 매장에 구비된 객체와 관련한 3D 파노라마 영상 정보, 상기 객체와 관련한 코드에 대응하는 하나 이상의 상품 및 서비스 정보, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보, 상기 하나 이상의 상품 및 서비스 정보와 상기 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보 등을 제공함으로써, 실제 백화점, 쇼핑몰, 거리 등에서 마주치는 뷰를 그대로 제공하면서 오프라인에서 제공하는 상품이나 매장과 관련한 부가적인 정보를 전달하여 사용상의 편의성을 향상시키고, 사용자에게 다양한 정보를 제공할 수 있는 것으로, 파노라마 영상 분야, 쇼핑 정보 제공 분야, 마케팅 분야, 단말 분야, 서버 분야, 개인 정보 보호 분야 등에서 광범위하게 이용될 수 있다.

10: 쇼핑 정보 제공 시스템
100: 서버 200: 구매 단말
300: 결제 서버 400: 판매 단말
500: 매장 서버

Claims

증강 현실 기반 쇼핑 정보 제공 시스템에 있어서,
오프라인 매장 또는 거리 매장에 구비된 제 1 객체를 촬영하고, 상기 제 1 객체를 촬영한 구매 단말의 위치 정보를 확인하고, 상기 제 1 객체를 포함하는 영상 정보, 상기 구매 단말의 위치 정보 및 구매 단말의 식별 정보를 전송하는 구매 단말; 및
상기 영상 정보에 포함된 제 1 객체를 인식하고, 미리 저장된 복수의 객체별 코드 중에서 상기 인식된 제 1 객체와 관련한 코드를 확인하고, 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보를 각각 확인하고, 상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보를 확인하고, 미리 저장된 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드가 포함된 3D 파노라마 영상 정보를 확인하고, 상기 확인된 3D 파노라마 영상 정보와, 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 하나 이상의 유사군 상품 및 서비스 정보와, 상기 확인된 부가 정보를 상기 구매 단말에 전송하는 서버를 포함하며,
상기 서버는,
복수의 카메라를 통해 오프라인 상의 하나 이상의 매장, 상기 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고 및 간판 중 하나 이상을 포함하는 제 1 영상 및 제 2 영상을 각각 촬영하고, 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득하고, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 예비 파노라마 영상을 생성하고, 상기 예비 파노라마 영상 내에 포함된 매장, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고 및 간판 중 하나 이상을 각각 인식하고, 상기 인식된 하나 이상의 제 1 객체에 각각 대응하는 코드를 상기 예비 파노라마 영상 내의 제 1 객체 상의 일부 영역에 추가하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 추가하여 상기 3D 파노라마 영상을 생성하며,
상기 제 1 객체는,
상기 오프라인 매장 또는 상기 거리 매장에 구비된 POP(Point of Purchase), 전단(leaflet), 배너 광고(banner advertisement), 게시판 광고(board advertising), 포스터 광고(billing) 및 간판(sign) 중 적어도 하나를 포함하며, 상기 오프라인 매장 또는 상기 거리 매장에서 제공하는 상품 및 서비스는 제외한 상태이며,
상기 구매 단말은,
상기 서버로부터 전송되는 상기 하나 이상의 상품 및 서비스 정보 및, 상기 하나 이상의 유사군 상품 및 서비스 정보에 미리 설정된 배송 상품이 포함될 때, 상기 배송 상품에 해당하는 상품 또는 유사군 상품이 표시되는 일측에 배송 상품임을 나타내는 정보를 표시하고,
상기 배송 상품은,
상기 오프라인 매장 또는 상기 거리 매장에서 미취급 상품이거나 판매 소진으로 인한 품절 상태인 상품인 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
삭제
제 1 항에 있어서,
상기 부가 정보는,
상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 쿠폰, 상품권 및 서비스 예약 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
제 1 항에 있어서,
상기 구매 단말은,
상기 서버로부터 전송되는 3D 파노라마 영상 정보를 표시하고, 상기 하나 이상의 상품 및 서비스 정보를 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보를 상기 3D 파노라마 영상 정보의 일측에 표시하고, 상기 하나 이상의 유사군 상품 및 서비스 정보를 상기 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보를 상기 3D 파노라마 영상 정보의 다른 일측에 표시하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
삭제
제 1 항에 있어서,
상기 구매 단말에 표시되는 배송 상품이 선택될 때, 상기 구매 단말, 상기 서버 및 결제 서버와의 연동에 의해, 상기 선택된 배송 상품의 결제 금액에 대한 결제 기능을 수행하고,
상기 서버로부터 전송되는 회원 정보, 상기 배송 상품에 대한 정보 및 상기 구매 단말의 식별 정보를 수신하고, 상기 회원 정보에 포함된 배송지 정보를 근거로 배송지로 상기 배송 상품을 배송하는 매장 서버를 더 포함하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
제 1 항에 있어서,
상기 구매 단말에 표시되는 배송 상품이 선택될 때, 상기 구매 단말, 상기 서버 및 결제 서버와의 연동에 의해, 상기 선택된 배송 상품의 결제 금액에 대한 결제 기능을 수행하고,
상기 서버로부터 전송되는 회원 정보, 상기 배송 상품에 대한 정보 및 상기 구매 단말의 식별 정보를 수신하고, 매장에 방문한 상기 구매 단말의 사용자에 대한 인증 절차를 수행한 후, 상기 배송 상품을 상기 구매 단말의 사용자에게 제공하는 매장 서버를 더 포함하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
삭제
제 1 항에 있어서,
상기 서버는,
상기 3D 파노라마 영상 정보 내에서 사람이 인식될 때, 상기 3D 파노라마 영상 정보 내에 포함된 사람의 윤곽선을 추출하고, 상기 추출된 사람의 윤곽선을 이전에 생성된 3D 파노라마 영상 정보에 추가하여 새로운 3D 파노라마 영상 정보를 생성하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템.
증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법에 있어서,
구매 단말을 통해, 오프라인 매장 또는 거리 매장에 구비된 제 1 객체를 촬영하는 단계;
상기 구매 단말을 통해, 상기 제 1 객체를 촬영한 구매 단말의 위치 정보를 확인하는 단계;
상기 구매 단말을 통해, 상기 제 1 객체를 포함하는 영상 정보, 상기 구매 단말의 위치 정보 및 구매 단말의 식별 정보를 전송하는 단계;
서버를 통해, 상기 구매 단말로부터 전송되는 영상 정보에 포함된 제 1 객체를 인식하는 단계;
상기 서버를 통해, 미리 저장된 복수의 객체별 코드 중에서 상기 인식된 제 1 객체와 관련한 코드를 확인하는 단계;
상기 서버를 통해, 미리 저장된 코드별 상품 및 서비스 정보 중에서 상기 확인된 코드에 대응하는 하나 이상의 상품 및 서비스 정보와, 상기 코드와 관련한 유사군에 해당하는 하나 이상의 유사군 상품 및 서비스 정보를 각각 확인하는 단계;
상기 서버를 통해, 상기 확인된 하나 이상의 상품 및 서비스 정보와 상기 확인된 하나 이상의 유사군 상품 및 서비스 정보에 적용 가능한 부가 정보를 확인하는 단계;
상기 서버를 통해, 미리 저장된 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드가 포함된 3D 파노라마 영상 정보를 확인하는 단계;
상기 서버를 통해, 상기 하나 이상의 상품 및 서비스 정보를 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 어느 하나로 정렬하고, 상기 하나 이상의 유사군 상품 및 서비스 정보를 상기 미리 설정된 할인율순, 적립율순, 판매량순, 인기도순 및 브랜드순 중 다른 하나로 정렬하는 단계;
상기 서버를 통해, 상기 확인된 3D 파노라마 영상 정보, 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보, 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보 및, 상기 확인된 부가 정보를 상기 구매 단말에 전송하며, 상기 전송되는 미리 설정된 개수의 상품 및 서비스 정보와 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보에 미리 설정된 배송 상품이 포함될 때, 배송 상품임을 나타내는 정보를 함께 전송하는 단계; 및
상기 구매 단말을 통해, 상기 서버로부터 전송되는 상기 3D 파노라마 영상 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 일측에 상기 서버로부터 전송되는 상기 정렬된 하나 이상의 상품 및 서비스 정보 중에서 미리 설정된 개수의 상품 및 서비스 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 다른 일측에 상기 서버로부터 전송되는 상기 정렬된 하나 이상의 유사군 상품 및 서비스 정보 중에서 미리 설정된 다른 개수의 유사군 상품 및 서비스 정보를 표시하고, 상기 표시되는 3D 파노라마 영상 정보의 또 다른 일측에 상기 서버로부터 전송되는 상기 부가 정보를 표시하고, 상기 하나 이상의 상품 및 서비스 정보 및, 상기 하나 이상의 유사군 상품 및 서비스 정보에 미리 설정된 배송 상품이 포함될 때, 상기 배송 상품에 해당하는 상품 또는 유사군 상품이 표시되는 일측에 배송 상품임을 나타내는 정보를 표시하는 단계를 포함하며,
상기 3D 파노라마 영상 정보는,
상기 서버를 통해, 복수의 카메라를 통해 오프라인 상의 하나 이상의 매장, 상기 매장 내의 상품, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 포함하는 제 1 영상 및 제 2 영상을 각각 촬영하는 과정;
상기 서버를 통해, 상기 촬영된 제 1 영상 및 제 2 영상에 대해 픽셀의 방향성을 기준으로 상기 제 1 영상 및 제 2 영상이 중첩되는 중첩 영역을 획득하는 과정;
상기 서버를 통해, 상기 획득된 중첩 영역을 기준으로 상기 제 1 영상 및 제 2 영상을 합성하여 제 1 예비 파노라마 영상을 생성하는 과정;
상기 서버를 통해, 상기 제 1 예비 파노라마 영상 내에 포함된 매장, POP, 전단, 배너 광고, 게시판 광고, 포스터 광고, 간판 및 가격표 중 하나 이상을 각각 인식하는 과정; 및
상기 서버를 통해, 상기 인식된 하나 이상의 제 1 객체에 각각 대응하는 코드를 상기 제 1 예비 파노라마 영상 내의 제 1 객체 상의 일부 영역에 추가하거나 또는 상기 제 1 객체로부터 미리 설정된 거리 이내에 추가하여 상기 제 1 3D 파노라마 영상을 생성하는 과정을 통해 생성되는 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법.
제 10 항에 있어서,
상기 코드가 포함된 3D 파노라마 영상 정보를 확인하는 단계는,
상기 복수의 3D 파노라마 영상 정보 중에서 상기 코드가 포함된 3D 파노라마 영상 정보가 복수일 때, 상기 하나 이상의 다른 객체, 상기 다른 객체에 대응하는 다른 코드 및 상기 다른 객체의 위치 정보를 포함하는 복수의 3D 파노라마 영상 정보 중에서, 상기 코드 및 상기 구매 단말의 위치 정보를 근거로 3D 파노라마 영상 정보를 확인하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법.
삭제
삭제
제 10 항에 있어서,
상기 코드는,
바코드, QR 코드 및 문자열 코드 중 어느 하나의 형태이며,
상기 제 1 객체와 관련한 하나 이상의 상품 정보 및 하나 이상의 서비스 정보 중 적어도 하나를 포함하며,
상기 코드를 나타내는 색상을 미리 설정된 복수의 색상 중 어느 하나로 설정하고, 상기 코드의 배경색을 상기 미리 설정된 복수의 색상 중 다른 어느 하나로 설정하는 것을 특징으로 하는 증강 현실 기반 쇼핑 정보 제공 시스템의 제어 방법.