KR102214625B1 - 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법 - Google Patents

최적 쇼핑경로 제공 및 안내 시스템 및 그 방법 Download PDF

Info

Publication number
KR102214625B1
KR102214625B1 KR1020190060026A KR20190060026A KR102214625B1 KR 102214625 B1 KR102214625 B1 KR 102214625B1 KR 1020190060026 A KR1020190060026 A KR 1020190060026A KR 20190060026 A KR20190060026 A KR 20190060026A KR 102214625 B1 KR102214625 B1 KR 102214625B1
Authority
KR
South Korea
Prior art keywords
store
information
product
user terminal
user
Prior art date
Application number
KR1020190060026A
Other languages
English (en)
Other versions
KR20200134503A (ko
Inventor
임철재
Original Assignee
엔에이치엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔 주식회사 filed Critical 엔에이치엔 주식회사
Priority to KR1020190060026A priority Critical patent/KR102214625B1/ko
Publication of KR20200134503A publication Critical patent/KR20200134503A/ko
Application granted granted Critical
Publication of KR102214625B1 publication Critical patent/KR102214625B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)

Abstract

본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 시스템은, 상품들이 배열된 복수의 구역별로 설치된 고정 감시 카메라들과, 매장 전체를 조망할 수 있는 적어도 하나 이상의 이동 카메라를 포함하는 대형 매장의 관리 시스템에 있어서, 상기 고정 감시카메라들 및/또는 적어도 하나 이상의 이동 카메라로부터 전송되는 영상 정보에 근거하여 매장 내부의 전체 평면 지도를 생성하는 매장 내부 지도 생성부; 상기 대형 매장에 입장하는 사용자 단말기를 인식하는 사용자 인식부; 상기 사용자 인식부에 의해 사용자 단말기가 인식되면 상기 인식된 사용자에게 상기 생성된 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 경로 정보를 제공하는 쇼핑 정보 제공부를 포함한다.

Description

최적 쇼핑경로 제공 및 안내 시스템 및 그 방법{SYSTEM AND METHOD FOR PROVIDING AND GUIDING OPTIMIZED SHOPING ROUTES}
본 발명의 실시예는 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법에 관한 것으로, 특히 대형 쇼핑매장의 매대 위치 변동 등의 변경 사항이 지속적으로 업데이트되는 매장 내부 지도를 생성하고 이를 활용하여 소비자에게 최적의 쇼핑경로를 제공 및 안내하는 시스템 및 그 방법에 관한 것이다.
대형 마트 또는 백화점 등과 같은 대형 매장에 방문하는 소비자들은 구매하고자 하는 물품 목록을 바탕으로 쇼핑을 하고, 일반적으로 소비자들은 각각의 쇼핑 성향에 따라 상기 대형 매장에 방문하여 주로 구매하는 물품이 정해져 있을 가능성이 높다.
그러나, 상기 대형 매장은 작은 규모의 매장에 비해 입점 업체의 변동 등의 사유에 의해 리모델링을 하는 횟수가 많고, 그 때마다 상품이 배열된 매대의 위치가 변동될 수 있다. 따라서, 상기 대형 매장을 자주 방문하던 소비자들이라 하더라도 이러한 변동에 의해 구매하고자 하는 상품의 위치를 미리 인지하지 못하여 상기 상품이 진열된 위치를 찾기 위해 쇼핑 공간을 해매는 경우가 잦다. 이에 따라 쇼핑 공간에서 상품을 구매하기 위한 이동거리 및 소요시간이 증가하는 문제가 발생될 수 있다.
본 발명의 실시예는 대형 매장 내에 배치된 복수개의 고정형 감시 카메라들 및 소정의 이동 카메라에서 촬영된 영상 정보를 활용하여 상기 대형 매장의 내부 지도를 생성하고, 이를 활용하여 대형 매장에 입장하는 사용자에게 최적의 쇼핑 경로 및 다양한 쇼핑 정보를 안내하는 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 시스템은, 상품들이 배열된 복수의 구역별로 설치된 고정 감시 카메라들과, 매장 전체를 조망할 수 있는 적어도 하나 이상의 이동 카메라를 포함하는 대형 매장의 관리 시스템에 있어서, 상기 고정 감시카메라들 및/또는 적어도 하나 이상의 이동 카메라로부터 전송되는 영상 정보에 근거하여 매장 내부의 전체 평면 지도를 생성하는 매장 내부 지도 생성부; 상기 대형 매장에 입장하는 사용자 단말기를 인식하는 사용자 인식부; 상기 사용자 인식부에 의해 사용자 단말기가 인식되면 상기 인식된 사용자에게 상기 생성된 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 경로 정보를 제공하는 쇼핑 정보 제공부를 포함한다.
상기 대형 매장의 계산대에서 전송되는 상기 사용자 단말기 사용자의 상품 구매에 따른 결재 정보를 이용하여 최종 구매 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하여 진열 상품 정보를 보정하는 진열 상품 정보 보정부를 더 포함할 수 있다.
상기 매장 내부 지도 생성부는, 상기 각각의 고정 감시 카메라들에서 전송되는 제1 촬영 영상 정보 및 상기 적어도 하나 이상의 이동 카메라에서 전송되는 제2 촬영 영상 정보를 합성하여 매장 내부 지도를 생성할 수 있다.
상기 매장 내부 지도 생성부는, 각각의 상기 제1 촬영 영상 정보의 왜곡 정도를 판단하고 제1 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하여 이미지 프로세싱 처리를 수행할 수 있다.
상기 매장 내부 지도 생성부는, 상기 각 구역별로 설치된 고정 감시카메라들에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성할 수 있다.
상기 매장 내부 지도 생성부는, 상기 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 반영하여 상기 생성한 내부 지도를 업데이트할 수 있다.
상기 사용자 인식부는, 상기 사용자 단말기가 상기 대형 매장 내에 진입할 때 상기 사용자 단말기가 가입 회원인 것으로 판정되면, 데이터베이스에 기 저장된 사용자 정보에 근거하여 근거리 통신방식을 통해 상기 사용자 단말기의 입장을 인식할 수 있다.
상기 사용자 단말기가 상기 근거리 통신방식에 의해 인식되지 못한 경우, 상기 사용자 단말기를 보유한 사용자가 입장할 때 인접한 고정 감시 카메라 또는 이동 카메라에 의해 캡쳐된 사용자의 얼굴, 옷차림, 피부색, 키 정보를 통해 상기 데이터베이스에 저장된 고객의 외형정보를 검색하여 사용자를 인식할 수 있다.
상기 쇼핑 정보 제공부는, 상기 사용자 단말기에 설치된 쇼핑 가이드 어플리케이션이 실행되어 상기 생성된 내부 지도가 사용자 단말기에 표시될 때, 상기 매장의 내부 지도를 활용하여 최단 거리의 쇼핑 경로 정보를 제공할 수 있다.
본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 방법은, 상품들이 배열된 복수의 구역별로 설치된 고정 감시 카메라들과, 매장 전체를 조망할 수 있는 적어도 하나 이상의 이동 카메라를 포함하는 대형 매장에 입장하는 사용자 단말기에 제공되는 쇼핑경로 제공 및 안내 방법에 있어서, 상기 고정 감시카메라들 및/또는 적어도 하나 이상의 이동 카메라로부터 전송되는 영상 정보에 근거하여 매장 내부의 전체 평면 지도를 생성하는 단계와; 상기 대형 매장에 입장하는 사용자 단말기를 인식하는 단계와; 상기 사용자 단말기가 인식되면 상기 인식된 사용자에게 상기 생성된 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 경로 정보를 제공하는 단계를 포함할 수 있다.
상기 대형 매장의 계산대에서 전송되는 상기 사용자 단말기 사용자의 상품 구매에 따른 결재 정보를 이용하여 최종 구매 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하여 진열 상품 정보를 보정하는 단계를 더 포함할 수 있다.
상기 매장 내부 지도를 생성하는 단계는, 상기 각각의 고정 감시 카메라들에서 전송되는 제1 촬영 영상 정보 및 상기 적어도 하나 이상의 이동 카메라에서 전송되는 제2 촬영 영상 정보를 합성하여 매장 내부 지도를 생성할 수 있다.
상기 매장 내부 지도를 생성하는 단계는, 각각의 상기 제1 촬영 영상 정보의 왜곡 정도를 판단하고 제1 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하여 이미지 프로세싱 처리를 수행할 수 있다.
상기 매장 내부 지도를 생성하는 단계는, 상기 각 구역별로 설치된 고정 감시카메라들에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성하는 단계를 더 포함할 수 있다.
상기 매장 내부 지도를 생성하는 단계는, 상기 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 반영하여 상기 생성한 내부 지도를 업데이트하는 단계를 더 포함할 수 있다.
상기 사용자 단말기를 인식하는 단계는, 상기 사용자 단말기가 상기 대형 매장 내에 진입할 때 상기 사용자 단말기가 가입 회원인 것으로 판정되면, 데이터베이스에 기 저장된 사용자 정보에 근거하여 근거리 통신방식을 통해 상기 사용자 단말기의 입장을 인식할 수 있다.
상기 사용자 단말기가 상기 근거리 통신방식에 의해 인식되지 못한 경우, 상기 사용자 단말기를 보유한 사용자가 입장할 때 인접한 고정 감시 카메라 또는 이동 카메라에 의해 캡쳐된 사용자의 얼굴, 옷차림, 피부색, 키 정보를 통해 상기 데이터베이스에 저장된 고객의 외형정보를 검색하여 사용자를 인식할 수 있다.
상기 쇼핑 경로 정보를 제공하는 단계는, 상기 사용자 단말기에 설치된 쇼핑 가이드 어플리케이션이 실행되어 상기 생성된 내부 지도가 사용자 단말기에 표시될 때, 상기 매장의 내부 지도를 활용하여 최단 거리의 쇼핑 경로 정보를 제공할 수 있다.
이와 같은 본 발명의 실시예에 의하면, 대형 매장 내에 배치된 복수개의 고정형 감시 카메라들 및 소정의 이동 카메라에서 촬영된 영상 정보를 활용하여 상기 대형 매장의 내부 지도를 생성하고, 이를 활용하여 대형 매장에 입장하는 사용자에게 최적의 쇼핑 경로 및 다양한 쇼핑 정보를 안내할 수 있다.
도 1은 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 시스템의 전체 구성을 나타내는 블록도.
도 2는 도 1에 도시된 사용자 단말기의 구성을 나타내는 블록도.
도 3은 본 발명의 실시예에 의한 매장 관리 장치의 구성을 나타내는 블록도.
도 4는 도 3에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도.
도 5는 본 발명의 실시예에 의한 매장 내부 지도 생성을 수행하는 구성들을 개략적으로 설명하는 도면.
도 6은 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 방법 중 매장 내부 지도를 생성하고, 이를 업데이트하는 단계들을 나타내는 도면.
도 7은 본 발명의 실시예에서 매장 내부 지도를 이용한 쇼핑 정보를 사용자에게 제공하고, 진열 상품 정보를 보정하는 단계들을 나타내는 도면.
위 발명의 배경이 되는 기술 란에 기재된 내용은 오직 본 발명의 기술적 사상에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
첨부된 블록도의 각 블록은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명되는 기능들을 실행하기 위한 기능을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함한다" 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하도록 한다.
도 1은 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 시스템의 전체 구성을 나타내는 블록도 이다.
도 1을 참조하면, 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 시스템은 복수의 사용자 단말기들(110_1, 110_2,..., 110_n), 네트워크(120), 매장 관리 장치(130) 및 대형 매장(140)를 포함하여 구성된다.
사용자 단말기들(110)에는 상기 매장 관리 장치(130)에서 제공하는 쇼핑 가이드 어플리케이션이 설치될 수 있으며, 이를 통해 입장하는 상기 대형 매장(140)의 다양한 쇼핑 정보를 얻을 수 있다. 일 예로, 상기 쇼핑 가이드 어플리케이션은 상기 대형 매장(140)의 내부 지도를 이용하여 사용자가 구매할 상품까지의 최적 경로 정보를 제공할 수 있다. 만일 사용자의 단말기에 상기 쇼핑 가이드 어플리케이션이 설치되어 있지 않다면, 사용자는 상기 어플리케이션을 상기 매장 관리 장치(130)로부터 다운로드(download)하여 사용자의 단말기에 설치할 수 있다.
상기 사용자 단말기들(110)은 사용자가 휴대하고 다닐 수 있는 모바일 기기를 포함하는 것으로, 스마트폰, 태블릿, 노트북 등이 될 수 있다.
네트워크(120)는 무선통신망 또는 유선통신망으로 구현될 수 있다. 이때, 통신 방식은 제한되지 않으며 네트워크(120)가 포함할 수 있는 통신망(예: 이동통신망, 무선랜망, 유선인터넷, 방송망)을 활용하는 통신방식 뿐 아니라 기기들간의 근거리 무선통신 역시 포함될 수 있다.
매장 관리 장치(130)는 대형 매장(140)의 내부 지도를 생성하고, 주기적으로 상기 대형 매장(140)의 내부 배치가 변동되는지 여부를 확인하여 상기 내부 지도를 업데이트하며, 이에 근거하여 상기 대형 매장(140)에 입장하는 사용자 단말기들에게 상기 업데이트된 내부 지도를 이용하여 사용자가 구매할 상품까지의 최적 경로 정보를 제공하는 동작을 수행할 수 있다. 이 때, 상기 매장 관리 장치(130)는 적어도 하나의 서버 장치로 구성될 수 있다.
상기 대형 매장(140)은 창고형 대형 마트 또는 백화점과 같은 대형 쇼핑몰이 될 수 있으며, 상기 대형 매장(140)에는 다수의 고정 감시카메라(CCTV)(140a), 이동 카메라(140b) 및 계산대(140c)들이 배치되어 있다.
본 발명의 실시예에 의한 매장 관리 장치(130)는 대형 매장(140)에 설치된 상기 다수의 고정 감시카메라(CCTV)(140a), 이동 카메라(140b)로부터 촬영 영상 이미지들을 전송 받으며, 이를 이용하여 대형 매장의 내부 지도를 생성할 수 있다. 또한, 상기 계산대(140c)로부터 전송된 사용자의 상품 구매에 따른 결재 정보를 이용하여 사용자가 구매한 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하여 진열 상품 정보를 보정하는 동작을 수행할 수 있다.
즉, 상기 매장 관리 장치(130)는 매장 내부의 지도를 생성하는 매장 내부 지도 생성부(도 4의 410), 매장 내에 입장하는 사용자 단말기를 인식하는 사용자 인식부(도 4의 420), 매대에 진열된 상품 정보가 기 설정된 방식과 다르게 변경될 경우 이를 적합하게 보정하는 진열 상품 정보 보정부(도 4의 430) 및 상기 인식된 사용자에게 상기 매장의 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 제공하는 쇼핑 정보 제공부(도 4의 440)을 포함하여 구성되며, 이에 대해서는 이후 도 3 내지 도 7을 통해 보다 상세히 설명하도록 한다.
도 2는 도 1에 도시된 사용자 단말기의 구성을 나타내는 블록도이다.
도 2를 참조하면, 각각의 사용자 단말기(110)는 통신모듈(111), 메모리(112), 표시모듈(113), 오디오 출력모듈(114) 및 제어부(116)를 포함할 수 있다.
통신모듈(111)은 네트워크(120)를 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 기기와 통신 연결할 수 있다. 이때, 외부의 임의의 기기는 일 예로 도 1에 도시된 매장 관리 장치(130)를 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신모듈(111)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다.
메모리(112)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다. 또한, 메모리(112)는 사용자 단말기(110)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다. 즉, 메모리(112)는 사용자 단말기(110)에서 구동되는 다수의 어플리케이션 프로그램(application program, 이하 '어플리케이션'), 사용자 단말기(110)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 즉, 본 발명의 실시예에 의한 사용자 단말기(110)의 메모리(112)에는 적어도 하나 이상의 어플리케이션들(112a)이 저장되어 있다. 이러한 어플리케이션들(112a) 중 적어도 일부는 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 본 발명의 실시예는 도 1에 도시된 매장 관리 장치(130)에서 제공하는 쇼핑 가이드 어플리케이션을 포함함을 특징으로 한다.
또한, 상기 어플리케이션들(112a)은 자동음성인식(ASR) 어플리케이션, 지도 어플리케이션, 미디어 어플리케이션(예를 들면, QuickTime, MobileMusic.app, 또는 MobileVideo.app), 소셜 네트워킹 어플리케이션(social networking applications)(예를 들면, 페이스북, 트위터 등), 인터넷 브라우징 어플리케이션 등으로 구현될 수 있다. 한편, 상기 어플리케이션들(112a)은 메모리(112)에 저장되고, 사용자 단말기(110)에 설치되어, 제어부(116)에 의하여 사용자 단말기(110)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
또한, 메모리(112)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
표시 모듈(113)은 제어부(116)의 제어에 의해 메모리(112)에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시하고, 상기 제어부(116)의 제어에 의해 실행된 어플리케이션의 실행 결과 화면을 표시할 수 있다. 일 예로, 상기 표시 모듈(113)은 상기 쇼핑 가이드 어플리케이션이 실행되면, 업데이트된 매장 내부 지도 및 이를 이용한 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 표시할 수 있다. 여기서, 표시 모듈(113)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보데이터 포함)와 아이콘, 리스트 메뉴 등을 나타내는 메뉴 화면을 포함할 수 있다. 표시 모듈(113)은 액정 디스플레이(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이 (e-ink display), LED(Light Emitting Diode) 등으로 구현될 수 있다.
오디오 출력모듈(114)은 제어부(116)의 제어에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력할 수 있다. 여기서, 오디오 출력모듈(114)에는 리시버(receiver), 스피커(speaker) 등이 포함될 수 있다.
도 3은 본 발명의 실시예에 의한 매장 관리 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 상기 매장 관리 장치(130)는 메모리(132), 데이터베이스(133) 프로세서(134), 통신모듈(136) 및 입출력 인터페이스(138)을 포함하는 서버로 구현될 수 있다.
메모리(132)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM, ROM 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치를 포함할 수 있다. 또한, 메모리(132)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘을 이용하여 메모리(132)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 기록 매체를 포함할 수 있다. 또한, 상기 소프트웨어 구성요소들은 통신모듈(136)을 통해 메모리(132)에 로딩될 수도 있다.
데이터베이스(133)는 본 발명의 실시예에 의한 매장 관리 장치(130)와 접속한 사용자 단말기들(110)로부터 송수신한 정보들을 저장 및 유지할 수 있다. 일 예로, 상기 매장 관리 장치(130)로부터 다운로드 받은 쇼핑 가이드 어플리케이션을 설치한 사용자 단말기들은 상기 매장 관리 장치(130)의 회원으로 관리될 수 있으며, 이 경우 상기 데이터베이스(133)는 회원 정보 DB로서의 역할을 수행하여 상기 매장 관리 장치(130)에 접속한 사용자 단말기들(110)에 대응되는 다양한 정보들이 저장될 수 있다.
또한, 상기 데이터베이스(133)는 상기 대형 매장(140)에 설치된 다양한 구성들, 일 예로 고정 감시카메라(140a), 이동 카메라(140b), 계산대(140c)에서 전송된 정보들이 저장될 수 있고, 이 외에도 상기 대형 매장(140) 내의 상품 진열 및 배치 정보, 재고 목록 정보 등 다양한 정보들이 저장될 수 있다.
프로세서(134)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(132) 또는 통신모듈(136)에 의해 프로세서(134)로 제공될 수 있다. 일 예로, 프로세서(134)는 메모리(132)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 즉, 상기 프로세서(134)는 소프트웨어적으로 C, C++, Java, Visual Basic, Visual C 등 에 의해 구현되어 다양한 기능들을 수행하는 프로그램 모듈(Module)을 포함할 수 있다.
본 발명의 실시예에 의한 매장 관리 장치(130)의 프로세서(134)는 매장 내부의 지도를 생성하는 매장 내부 지도 생성부(도 4의 410), 매장 내에 입장하는 사용자 단말기를 인식하는 사용자 인식부(도 4의 420), 매대에 진열된 상품 정보가 기 설정된 방식과 다르게 변경될 경우 이를 적합하게 보정하는 진열 상품 정보 보정부(도 4의 430) 및 상기 인식된 사용자에게 상기 매장의 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 제공하는 쇼핑 정보 제공부(도 4의 440)을 포함하여 구성된다.
본 발명의 실시예에 의한 매장 관리 장치(130)의 프로세서(134)를 통해 구현되는 다양한 기능들에 대해서는 이하 도 4 내지 도 7을 통해 보다 상세히 설명하도록 한다.
통신모듈(136)은 네트워크(120)를 통해 사용자 단말기들(110)와 메신저 서비스 제공 장치(130)가 서로 통신하기 위한 기능을 제공할 수 있다. 일 예로, 매장 관리 장치(130)의 프로세서(134)의 제어에 따라 제공되는 제어신호, 명령, 컨텐츠, 파일 등이 통신모듈(136)을 통해 네트워크(120)을 거쳐 사용자 단말기들(110)로 전송될 수 있다.
입출력 인터페이스(138)는 키보드 또는 마우스 등으로 구현되는 입력장치 및 디스플레이 등과 같은 출력장치 간의 인터페이스를 제공하는 역할을 할 수 있다.
도 4는 도 3에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도이고, 도 5는 본 발명의 실시예에 의한 매장 내부 지도 생성을 수행하는 구성들을 개략적으로 설명하는 도면이다.
또한, 도 6은 본 발명의 실시예에 의한 최적 쇼핑경로 제공 및 안내 방법 중 매장 내부 지도를 생성하고, 이를 업데이트하는 단계들을 나타내는 도면이고, 도 7은 본 발명의 실시예에서 매장 내부 지도를 이용한 쇼핑 정보를 사용자에게 제공하고, 진열 상품 정보를 보정하는 단계들을 나타내는 도면이다.
이하, 도 4 내지 도 7을 통해 본 발명의 실시예에 의한 매장 관리 장치의 각 기능블록들과 이에 따른 매장 관리 장치에 의해 수행되는 최적 쇼핑경로 제공 및 안내 방법에 대해 보다 상세히 설명하도록 한다.
먼저 도 4를 참조하면, 매장 관리 장치(130)의 프로세서(134)는 매장 내부의 지도를 생성하는 매장 내부 지도 생성부(410), 매장 내에 입장하는 사용자 단말기를 인식하는 사용자 인식부(420), 매대에 진열된 상품 정보가 기 설정된 방식과 다르게 변경될 경우 이를 적합하게 보정하는 진열 상품 정보 보정부(430) 및 상기 인식된 사용자에게 상기 매장의 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 제공하는 쇼핑 정보 제공부(440)를 포함할 수 있다.
또한, 상기 프로세서(134)는 매장 관리 장치(130)에 접속한 등록 회원인 사용자의 단말기(110)을 식별함에 있어, 해당 사용자 단말기(110)에 제공되는 정보들을 저장하는 데이터베이스(133)와 연동할 수 있으며, 상기 프로세서(134)는 도 6 및 도 7에 도시된 상기 매장 관리 장치의 동작 즉, 최적 쇼핑경로 제공 및 안내 방법 중 매장 내부 지도를 생성하고, 이를 업데이트하는 단계들(도 6) 및 매장 내부 지도를 이용한 쇼핑 정보를 사용자에게 제공하고, 진열 상품 정보를 보정하는 단계들(도 7)을 수행하도록 매장 관리 장치(130)를 제어할 수 있다.
여기서, 상기 프로세서(134)는 메모리(132)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 이 때, 프로세서(134) 내의 구성요소들 즉, 매장 내부 지도 생성부(410), 사용자 인식부(420), 진열 상품 정보 보정부(430) 및 쇼핑 정보 제공부(440)는 매장 관리 장치(130)에 저장된 프로그램 코드가 제공하는 제어 명령에 의해 프로세서(134)에 의해 수행되는 서로 다른 기능들을 구분하여 표현하는 것으로 이해할 수도 있다.
매장 내부 지도 생성부(410)는 매장 내에 설치된 고정 감시 카메라들(140a)에서 전송되는 제1 촬영 영상 정보 및 이동 카메라(140b)에서 전송되는 제2 촬영 영상 정보를 합성하여 매장 내부 지도를 생성하는 동작을 수행한다.
구체적으로, 도 5를 참조하면 대형 매장(140)은 상품들이 배열된 복수의 구역으로 나뉠 수 있고 상기 각각의 구역에는 고정 감시 카메라들(140a)이 설치될 수 있다. 도 5에서는 총 9개의 구역(A 내지 I)으로 나뉘고 각 구역별로 9개의 고정 감시 카메라들(140a)이 설치된 것을 그 예로 설명하나 본 발명의 실시예가 이에 한정되는 것은 아니다.
상기 감시 카메라들(140a)은 해당하는 영역을 촬영하여 이에 대응하는 제1 촬영 영상 정보를 생성한다. 일 예로, A 영역에 설치된 제1 감시카메라는 A 영역에 배치되는 선반 또는 매대 및 상기 선반/매대에 진열되는 상품들을 촬영할 수 있다.
본 발명의 실시예의 경우 상기 각 영역별로 배치된 선반 또는 매대 등의 정보를 카메라가 인식할 수 있도록 코드(예: 바코드, QR코드 등)를 상기 선반 또는 매대에 설치할 수 있다. 다른 예로서, 상기 선반 또는 매대 등의 외각에 상기 촬영된 영상을 통해 프로세서가 해당 선반 등을 인식할 수 있도록 기 설정된 형태의 마킹을 할 수도 있다. 이러한 처리를 통해 상기 제1 감시카메라에 의해 촬영된 영상정보를 분석하여 상기 A 영역에 배치된 선반/매대를 구별하고, 상기 선반/매대에 진열된 상품들도 구별 및 분류할 수 있는 것이다.
또한, 상기 제1 감시카메라에 촬영되는 영역은 도 5에 도시된 A영역을 모두 커버할 수 있다. 마찬가지로, B 영역에 설치된 제2 감시카메라는 B 영역을 모두 커버할 수 있는데, 이 경우 A영역과 B 영역의 경계는 상기 제1 감시 카메라 및 제2 감시카메라에 모두 촬영되는 영역에 해당될 수 있다.
즉, 상기 분할된 모든 영역들에 설치된 복수의 감시카메라들의 촬영 영상 정보를 취합하면 매장 내부 전체 영역에 대응되는 평면 지도를 생성할 수 있고, 상기 내부 지도에는 각 영역별로 배치된 선반/매대들과 상기 선반/매대들에 진열된 상품들도 구별 및 분류할 수 있다.
상기 각 영역별로 설치된 감시 카메라들에 의해 촬영된 영상들을 이용하여 상기 매장 내부 지도로서 전체 평면 지도를 생성하기 위하여 본 발명의 실시예에 의한 매장 내부 지도 생성부(410)는 상기 각각의 제1 촬영 영상 정보의 왜곡 정도를 판단하고 이를 보상하는 이미지 프로세싱 처리를 수행할 수 있다. 일 예로, 각 영역에 대응하는 제1 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하고 이를 반영하여 매장 내의 평면 내부 지도를 생성할 수 있다.
또한, 본 발명의 실시예는 상기 내부 지도를 생성함에 있어 기존에 설치된 복수의 감시 카메라들 외에 보다 정확한 내부 지도 생성을 위해 별도의 이동 카메라(140b)를 추가로 더 설치하고, 이들로부터 전송되는 제2 촬영 영상 정보를 활용하여 보다 정교한 내부 지도를 생성할 수 있다.
도 5를 참조하면, 상기 적어도 하나 이상의 이동 카메라(140b)는 매장 전체를 조망할 수 있는 위치에 설치됨이 바람직하며, 일 예로 이는 드론 카메라로 구현될 수 있다. 즉, 이동 카메라(140b)에서 전송된 제2 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하고 이를 추가로 반영하여 매장 내의 평면 내부 지도를 생성할 수 있다.
따라서, 도 5 및 도 6을 참조하면, 본 발명의 실시예에 의한 매장 내부 지도 생성부(410)는 상기 고정 감시 카메라들 및 이동 카메라들로부터 전송되는 제1 및 제2 촬영 영상 정보를 이용하여 매장 내부 지도를 생성한다. 일 예로, 보다 정확한 매핑을 위해 기 설치된 고정 감시카메라들 외에 이동 카메라들로부터 전송되는 영상 정보를 이용하여 정확한 위치와 지점에서 전체 평면도 사진을 샘플링할 수 있다.
또한, 상기 각 구역별로 설치된 고정 감시카메라들(140a)에서 전송되는 각각의 제1 촬영 영상 정보를 분석하면, 각 구역별로 설치된 매대에 진열된 상품을 인식할 수 있다. 일 예로, 상기 상품의 인식은 상품의 무게 및 매대에서의 이격 정도, 상기 전송된 영상을 샘플링시 색감 인식 등 여러가지 방법을 통해 상품이 해당 매대에 놓이거나 또는 상품이 해당 매대에 더 이상 진열되지 않음을 인식할 수 있는 것이다.
즉, 본 발명의 실시예에 의한 매장 내부 지도 생성부(410)는 상기 각 구역별로 설치된 고정 감시카메라들(140a)에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성할 수 있으며, 이를 통해 생성된 정보는 데이터베이스(133)에 저장된 기존의 상품 분류 정보를 업데이트할 수 있다.
또한, 상기 매장 내부 지도 생성부(410)는 상기 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 반영하여 상기 생성한 내부 지도를 업데이트할 수 있다.
사용자 인식부(420)는 상기 대형 매장(140) 내에 입장하는 사용자 단말기를 인식하는 동작을 수행한다. 일 예로, 상기 사용자 단말기(110)가 매장 관리 장치(130)에서 제공하는 쇼핑 가이드 어플리케이션을 다운로드 받아 회원 가입자로 관리되는 경우에는, 상기 사용자 단말기(110)가 매장에 입장할 때 상기 매장 관리 장치(130)는 소정의 네트워크(120) 일 예로, 근거리 통신방식인 블루투스 또는 NFC 등을 통해 상기 사용자 단말기(110)의 입장을 인식할 수 있다.
또한, 상기 프로세서(134)는 매장 관리 장치(130)에 접속한 등록 회원인 사용자의 단말기(110)을 식별함에 있어, 해당 사용자 단말기(110)에 제공되는 정보들을 저장하는 데이터베이스(133)와 연동할 있다.
즉, 본 발명의 실시예에 의한 사용자 인식부(420)는 사용자 단말기가 매장 내에 진입할 경우 상기 사용자 단말기가 가입 회원인 것으로 판정되면 상기 데이터베이스(133)에 기 저장된 사용자 정보에 근거하여 근거리 통신방식인 블루투스 또는 NFC 등을 통해 상기 사용자 단말기(110)의 입장을 인식할 수 있다.
다른 실시예로서, 상기 사용자 단말기(110)가 근거리 통신방식 등을 통해 인식하지 못한 경우에는 상기 사용자 단말기(110)를 보유한 사용자가 입장할 때 인접한 고정 감시 카메라 또는 이동 카메라에 의해 캡쳐된 사용자의 얼굴, 옷차림, 피부색, 키 등을 통해 상기 데이터베이스(133)에 저장된 고객의 외형정보를 검색하여 사용자를 인식할 수도 있다.
도 7을 참조하면, 사용자 인식부(420)에 의해 사용자 단말기(100)가 인식되면 쇼핑 정보 제공부(440)는 상기 인식된 사용자에게 상기 매장의 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 제공할 수 있다.
이 때, 상기 사용자의 구매 대상이 되는 상품은 상기 사용자 단말기의 쇼핑 이력 등을 참조하여 설정될 수 있으며, 상기 사용자 단말기의 쇼핑 이력은 데이터 베이스(133)에 저장되어 관리될 수 있다.
일 예로, 상기 매장 관리 장치(130)에서 제공한 쇼핑 가이드 어플리케이션을 설치하고, 회원으로 가입한 사용자 단말기(110)의 사용자가 상기 대형 매장(140)에 입장하면, 상기 데이터베이스(133)에 기 저장된 사용자 정보에 근거하여 근거리 통신방식인 블루투스 또는 NFC 등을 통해 상기 사용자 단말기(110)의 입장을 인식할 수 있고, 자동으로 상기 사용자 단말기(110)의 쇼핑 가이드 어플리케이션이 실행될 수 있다.
상기 쇼핑 가이드 어플리케이션이 실행되면, 상기 매장 내부 지도 생성부(410)에 의해 생성되고 업데이트된 내부 지도가 사용자 단말기(110)에 표시될 수 있으며, 사용자는 상기 내부 지도를 활용하여 보다 쉽고 효율적으로 쇼핑을 즐길 수 있게 된다.
또한, 상기 회원으로 가입된 사용자 단말기(110)의 경우 상기 대형 매장에 방문하여 쇼핑한 이력들이 상기 데이터 베이스(133)에 저장되어 있고, 이를 근거로 사용자가 주로 구매하는 상품 정보도 자동으로 선택될 수 있다.
이에 본 발명의 실시예에 의한 쇼핑 정보 제공부(440)는 상기 쇼핑 가이드 어플리케이션이 실행되어 내부 지도가 사용자 단말기(110)에 표시될 때, 상기 매장의 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 최적의 경로 정보를 제공할 수 있다.
사용자가 상기 쇼핑 가이드 어플리케이션를 통해 상기 쇼핑 정보 제공부(440)가 제공하는 쇼핑 정보를 활용하여 쉽고 간편하게 쇼핑을 완료하면, 사용자는 상품을 구매할 수 있다.
이 때, 사용자가 최종적으로 상품을 구매하여 결재하면, 계산대(140c)는 상기 최종 결재 정보를 진열 상품 정보 보정부(430)에 제공한다.
이에 상기 진열 상품 정보 보정부(430)는, 상기 계산대(140c)로부터 전송된 사용자의 상품 구매에 따른 결재 정보를 이용하여 사용자가 구매한 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하여 진열 상품 정보를 보정하는 동작을 수행할 수 있다. 즉, 상기 진열 상품 정보 보정부(430)는 매대에 진열된 상품 정보가 기 설정된 방식과 다르게 변경될 경우 이를 적합하게 보정할 수 있는 것이다.
일 예로, 사용자가 제1 상품을 제1 매대에서 인출한 경우, 업데이트되어 저장된 진열 상품 정보를 통해 상기 제1 상품의 정보를 확인할 수 있다. 보다 구체적으로, 앞서 설명한 바와 같이 매장 내부 지도 생성부(410)는 각 구역별로 설치된 고정 감시카메라들(140a)에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성할 수 있으며, 이를 통해 생성된 정보는 데이터베이스(133)에 저장된 기존의 상품 분류 정보를 업데이트할 수 있다.
그러나, 사용자가 제1 상품을 구매한 것으로 판단하였으나, 실제 계산대(140c)로부터 전송된 사용자의 상품 구매에 따른 결재 정보를 확인한 결과 상기 제1 상품이 상기 데이터베이스(133)에 저장된 상품 정보와 일치하지 않은 경우에는 상기 진열 상품 정보 보정부(430)를 통해 진열 상품 정보가 보정될 수 있다.
또한, 사용자가 인출한 상품에 대한 정보가 데이터베이스(133)에 저장되지 않은 경우에도, 상기 상품 정보 보정부(430)는 상기 계산대(140c)로부터 전송된 사용자의 상품 구매에 따른 결재 정보를 이용하여 진열 상품 정보를 업데이트할 수 있다.
일 예로, 상품이 인출된 위치를 각 포인트로 저장하고, 저장된 포인트에서 상품이 인출되었음을 가정할 때, 제1 사용자가 제1 포인트에서 과자를, 제2 포인트에서 세제를 인출하고 결재를 완료한 경우, 제2 사용자가 제1 포인트에서 과자를, 제3 포인트에서 휴지를 인출하고 결재를 완료한 경우, 및 제3 사용자가 제3 포인?에서 휴지를 인출한 경우, 상기 진열 상품 정보 보정부(430)는 상기 정보들을 이용하여 상기 제1 포인트에는 과자가 진열되고, 제3 포인트에는 휴지가 진열되어 있음을 확정하여 진열 상품 정보를 확정할 수 있다. 단, 제2 포인트에는 세제가 진열되어 있을 확률이 높은 것으로 설정하고, 이후 제4 사용자가 제2 포인트에서 세제를 인출한 경우 그 시점에서 상기 제2 포인트에는 세제가 진열되어 있음을 확정하여 진열 상품 정보를 확정할 수 있다.
반면, 상기 제4 사용자가 제1 포인트에서 과자가 아닌 빵을 인출한 경우에는 상기 확정된 제1 포인트의 진열 상품 정보가 해제되고, 이후 다른 사용자가 제1 포인트에서 어떤 상품을 인출하는지 여부를 확인한 후 상기 제1 포인트의 진열 상품 정보를 확정할 수 있게 된다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 상품들이 배열된 복수의 구역별로 설치된 고정 감시 카메라들과, 매장 전체를 조망할 수 있는 적어도 하나 이상의 이동 카메라 및 구매 상품의 결재 정보를 전송하는 계산대를 포함하는 대형 매장의 관리 시스템에 있어서,
    상기 고정 감시카메라들 및/또는 적어도 하나 이상의 이동 카메라로부터 전송되는 영상 정보에 근거하여 매장 내부의 전체 평면 지도를 생성하는 매장 내부 지도 생성부;
    상기 대형 매장에 입장하는 사용자 단말기를 인식하는 사용자 인식부;
    상기 사용자 인식부에 의해 사용자 단말기가 인식되면 상기 인식된 사용자에게 상기 생성된 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 경로 정보를 제공하는 쇼핑 정보 제공부; 및
    상기 사용자 단말기에 의해 제1 상품이 구매되면, 상기 계산대에서 전송되는 상기 제1 상품 구매에 따른 결재 정보를 이용하여 상기 제1 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하고, 상기 제1 상품이 상기 기 설정된 진열 상품 정보와 일치하지 않는 경우 상기 진열 상품 정보를 보정하는 진열 상품 정보 보정부를 포함하는 최적 쇼핑경로 제공 및 안내 시스템.
  2. 삭제
  3. 제1 항에 있어서,
    상기 매장 내부 지도 생성부는, 상기 각각의 고정 감시 카메라들에서 전송되는 제1 촬영 영상 정보 및 상기 적어도 하나 이상의 이동 카메라에서 전송되는 제2 촬영 영상 정보를 합성하여 매장 내부 지도를 생성하는 최적 쇼핑경로 제공 및 안내 시스템.
  4. 제3 항에 있어서,
    상기 매장 내부 지도 생성부는, 각각의 상기 제1 촬영 영상 정보의 왜곡 정도를 판단하고 제1 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하여 이미지 프로세싱 처리를 수행하는 최적 쇼핑경로 제공 및 안내 시스템.
  5. 제1 항에 있어서,
    상기 매장 내부 지도 생성부는, 상기 각 구역별로 설치된 고정 감시카메라들에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성하는 최적 쇼핑경로 제공 및 안내 시스템.
  6. 제5 항에 있어서,
    상기 매장 내부 지도 생성부는, 상기 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 반영하여 상기 생성한 내부 지도를 업데이트하는 최적 쇼핑경로 제공 및 안내 시스템.
  7. 제6 항에 있어서,
    상기 사용자 인식부는, 상기 사용자 단말기가 상기 대형 매장 내에 진입할 때 상기 사용자 단말기가 가입 회원인 것으로 판정되면, 데이터베이스에 기 저장된 사용자 정보에 근거하여 근거리 통신방식을 통해 상기 사용자 단말기의 입장을 인식하는 최적 쇼핑경로 제공 및 안내 시스템.
  8. 제7 항에 있어서,
    상기 사용자 단말기가 상기 근거리 통신방식에 의해 인식되지 못한 경우, 상기 사용자 단말기를 보유한 사용자가 입장할 때 인접한 고정 감시 카메라 또는 이동 카메라에 의해 캡쳐된 사용자의 얼굴, 옷차림, 피부색, 키 정보를 통해 상기 데이터베이스에 저장된 고객의 외형정보를 검색하여 사용자를 인식하는 최적 쇼핑경로 제공 및 안내 시스템.
  9. 제1 항에 있어서,
    상기 쇼핑 정보 제공부는, 상기 사용자 단말기에 설치된 쇼핑 가이드 어플리케이션이 실행되어 상기 생성된 내부 지도가 사용자 단말기에 표시될 때, 상기 매장의 내부 지도를 활용하여 최단 거리의 쇼핑 경로 정보를 제공하는 최적 쇼핑경로 제공 및 안내 시스템.
  10. 상품들이 배열된 복수의 구역별로 설치된 고정 감시 카메라들과, 매장 전체를 조망할 수 있는 적어도 하나 이상의 이동 카메라 및 구매 상품의 결재 정보를 전송하는 계산대를 포함하는 대형 매장에 입장하는 사용자 단말기에 제공되는 쇼핑경로 제공 및 안내 방법에 있어서,
    상기 고정 감시카메라들 및/또는 적어도 하나 이상의 이동 카메라로부터 전송되는 영상 정보에 근거하여 매장 내부의 전체 평면 지도를 생성하는 단계와;
    상기 대형 매장에 입장하는 사용자 단말기를 인식하는 단계와;
    상기 사용자 단말기가 인식되면 상기 인식된 사용자에게 상기 생성된 내부 지도를 활용하여 상기 사용자의 구매 대상이 되는 상품이 진열된 매대까지의 경로 정보를 제공하는 단계와;
    상기 사용자 단말기에 의해 제1 상품이 구매되면, 상기 계산대에서 전송되는 상기 제1 상품 구매에 따른 결재 정보를 이용하여 상기 제1 상품이 기 설정된 위치에 진열된 상품과 매치되는지 확인하고, 상기 제1 상품이 상기 기 설정된 진열 상품 정보와 일치하지 않는 경우 상기 진열 상품 정보를 보정하는 단계를 포함하는 최적 쇼핑경로 제공 및 안내 방법.
  11. 삭제
  12. 제10 항에 있어서,
    상기 매장 내부 지도를 생성하는 단계는, 상기 각각의 고정 감시 카메라들에서 전송되는 제1 촬영 영상 정보 및 상기 적어도 하나 이상의 이동 카메라에서 전송되는 제2 촬영 영상 정보를 합성하여 매장 내부 지도를 생성하는 최적 쇼핑경로 제공 및 안내 방법
  13. 제12 항에 있어서,
    상기 매장 내부 지도를 생성하는 단계는, 각각의 상기 제1 촬영 영상 정보의 왜곡 정도를 판단하고 제1 촬영 영상 정보의 퍼스펙티브(perspective) 값을 계산하여 이미지 프로세싱 처리를 수행하는 최적 쇼핑경로 제공 및 안내 방법.
  14. 제10 항에 있어서,
    상기 매장 내부 지도를 생성하는 단계는, 상기 각 구역별로 설치된 고정 감시카메라들에서 전송되는 각각의 제1 촬영 영상 정보를 분석하여 각 구역별 매대에 진열된 상품의 변동 여부를 인식하고, 이를 근거로 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 생성하는 단계를 더 포함하는 최적 쇼핑경로 제공 및 안내 방법.
  15. 제14 항에 있어서,
    상기 매장 내부 지도를 생성하는 단계는, 상기 변동된 상품의 진열 정보 및 이에 대응되는 상품 분류 정보를 반영하여 상기 생성한 내부 지도를 업데이트하는 단계를 더 포함하는 최적 쇼핑경로 제공 및 안내 방법.
  16. 제10 항에 있어서,
    상기 사용자 단말기를 인식하는 단계는, 상기 사용자 단말기가 상기 대형 매장 내에 진입할 때 상기 사용자 단말기가 가입 회원인 것으로 판정되면, 데이터베이스에 기 저장된 사용자 정보에 근거하여 근거리 통신방식을 통해 상기 사용자 단말기의 입장을 인식하는 최적 쇼핑경로 제공 및 안내 방법.
  17. 제16 항에 있어서,
    상기 사용자 단말기가 상기 근거리 통신방식에 의해 인식되지 못한 경우, 상기 사용자 단말기를 보유한 사용자가 입장할 때 인접한 고정 감시 카메라 또는 이동 카메라에 의해 캡쳐된 사용자의 얼굴, 옷차림, 피부색, 키 정보를 통해 상기 데이터베이스에 저장된 고객의 외형정보를 검색하여 사용자를 인식하는 최적 쇼핑경로 제공 및 안내 방법.
  18. 제10 항에 있어서,
    상기 쇼핑 경로 정보를 제공하는 단계는, 상기 사용자 단말기에 설치된 쇼핑 가이드 어플리케이션이 실행되어 상기 생성된 내부 지도가 사용자 단말기에 표시될 때, 상기 매장의 내부 지도를 활용하여 최단 거리의 쇼핑 경로 정보를 제공하는 최적 쇼핑경로 제공 및 안내 방법.
KR1020190060026A 2019-05-22 2019-05-22 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법 KR102214625B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060026A KR102214625B1 (ko) 2019-05-22 2019-05-22 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060026A KR102214625B1 (ko) 2019-05-22 2019-05-22 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200134503A KR20200134503A (ko) 2020-12-02
KR102214625B1 true KR102214625B1 (ko) 2021-02-10

Family

ID=73792032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060026A KR102214625B1 (ko) 2019-05-22 2019-05-22 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102214625B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540976B1 (ko) * 2021-01-20 2023-06-07 동의과학대학교 산학협력단 매장 내 길 안내 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613278B1 (ko) * 2015-08-18 2016-04-19 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061562A (ko) * 2012-11-12 2014-05-22 에스케이플래닛 주식회사 쇼핑 지원 방법, 이를 위한 시스템 및 장치
KR101407443B1 (ko) * 2012-11-16 2014-07-02 주식회사 네오시큐 근거리무선통신 기능을 이용한 사용자 인증 시스템 및 사용자 인증 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613278B1 (ko) * 2015-08-18 2016-04-19 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Also Published As

Publication number Publication date
KR20200134503A (ko) 2020-12-02

Similar Documents

Publication Publication Date Title
US11436449B2 (en) Method and electronic apparatus for processing image and training image tag classification model
US11647448B2 (en) Method for enabling smart device to access network, network access method, apparatus and shopping system
US10528638B1 (en) Agent identification and disambiguation
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
US10296814B1 (en) Automated and periodic updating of item images data store
US9459889B2 (en) Systems and methods for context-aware application control
US10282776B2 (en) User equipment for recognizing object and displaying database matching result, control method thereof and non-transitory computer readable storage medium having computer program recorded thereon
US20180315010A1 (en) Inventorying items using image data
US20150106218A1 (en) Apparatus and method for providing interaction information by using image on device display
KR102222250B1 (ko) 참조 지점을 이용한 경로 안내 제공 방법 및 그 장치
US20150134687A1 (en) System and method of sharing profile image card for communication
US10783459B2 (en) Method and device for providing ticket information
US10102422B2 (en) Electronic device based on optical object recognition and method of operating the same
US10354316B2 (en) Item list display
CN104350736A (zh) 附近位置信息的增强现实布置
CN103595911A (zh) 相机装置和用于在其使用中协助用户的方法
US20160314164A1 (en) Methods and devices for sharing cloud-based business card
US10311480B2 (en) Method and system for receiving targeted content
US10489824B2 (en) Methods and systems for interaction with digital signage board
US11308653B2 (en) Electronic device and method for providing augmented reality service based on a user of electronic device
KR102214625B1 (ko) 최적 쇼핑경로 제공 및 안내 시스템 및 그 방법
US9906938B2 (en) Wireless network identification
US10754663B2 (en) Dynamic determination of hardware
KR20170077983A (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10176513B1 (en) Using gestures and expressions to assist users

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant