KR102250504B1 - 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템 - Google Patents

Abstract

본 발명은 매장에 설치되어 방문고객의 안면영상을 촬영하는 적어도 하나 이상의 카메라; 매장에 설치되어 방문고객이 소지한 스마트단말의 식별코드를 수집하는 적어도 하나 이상의 신호수집단말; 카메라에서 촬영된 안면영상 및 신호수집단말에서 수집된 식별코드를 분석하여 고객식별정보를 생성 및 저장하고, 고객식별정보에 대응되는 방문고객이 구매한 상품에 대한 결제이력정보를 고객식별정보와 매칭하여 저장하는 서비스서버; 및 매장 내부에 설치되거나 근무 중인 매장직원이 소지하는 단말로서 매장직원에게 고객식별정보 및 결제이력정보 중 적어도 하나 이상을 표시하는 매장직원단말을 포함하는 것을 특징으로 하는, 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템에 대한 것이다.

Description

다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템 {SYSTEM FOR PROVIDING CUSTOMIZED WELCOME DATA BY RECOGNIZING CUSTOMER USING IoT DEVICES}

본 발명은 오프라인 매장접객 시스템에 관한 것이다.

오프라인 매장운영에 있어서, 신규 고객창출 보다 더 중요한 이슈는 기존 고객을 어떻게 유지하고 관리할 것인가에 있다. 이와 같은 과제를 해결하기 위해 종래 기술은 고객 로열티 프로그램(예를 들어 포인트 적립 등)을 운영하는 다양한 방법을 제안했다.

그러나 이와 같은 종래 기술에 따르는 고객 로열티 프로그램은 고객이 결제하는 시점에 이르러서야 고객의 과거 결제정보를 확인할 수 있기 때문에 고객이 매장에 방문하는 순간부터 고객을 알아보고 친절히 응대하는 서비스를 제공하기에 턱없이 부족했다.

이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 본 발명의 목적은 고객이 매장에 방문하는 순간부터 고객의 로열티를 확인함으로서 고객의 결제시점 이전에 높은 품질의 접객서비스를 제공하는데 있다.

또한 본 발명의 목적은 매장직원에게 방문고객의 고객식별정보와 결제이력정보를 공유하여 누가 접객을 하는지 여부와 상관없이 항시 균일한 품질의 접객서비스를 제공하는데 있다.

또한 본 발명의 목적은 다양한 사물인터넷장치를 이용하여 보다 정확하게 고객을 식별하는 매장접객 시스템을 제공하는데 있다.

또한 본 발명의 목적은 머신러닝 기반으로 안면인식을 수행하여 다양한 옷차림, 악세서리, 촬영각도, 조명에 불구하고 균일한 인식율을 제공하는 매장접객 시스템을 제공하는데 있다.

또한 본 발명의 목적은 방문고객의 고객식별정보와 결제이력정보를 이용하여 방문고객에게 필요한 추천상품을 제공하는 매장접객 시스템을 제공하는데 있다.

본 발명의 제1국면은 매장에 설치되어 방문고객의 안면영상을 촬영하는 적어도 하나 이상의 카메라;

매장에 설치되어 방문고객이 소지한 스마트단말의 식별코드를 수집하는 적어도 하나 이상의 신호수집단말;

카메라에서 촬영된 안면영상 및 신호수집단말에서 수집된 식별코드를 분석하여 고객식별정보를 생성 및 저장하고, 고객식별정보에 대응되는 방문고객이 구매한 상품에 대한 결제이력정보를 고객식별정보와 매칭하여 저장하는 서비스서버; 및

매장 내부에 설치되거나 근무 중인 매장직원이 소지하는 단말로서 매장직원에게 고객식별정보 및 결제이력정보 중 적어도 하나 이상을 표시하는 매장직원단말을 포함하는 것을 특징으로 하는,

다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템을 제공한다.

바람직한 실시예에 있어서, 서비스서버로부터 고객식별정보에 대응되는 방문고객의 결제이력정보를 수신하고, 결제이력정보를 기반으로 방문고객이 선호하는 제품디자인 또는 제품색상을 분석하여 추천상품리스트를 생성하고, 추천상품리스트를 매장직원단말에게 송신하는 핀테크연동서버를 더 포함하는 것이 좋다.

바람직한 실시예에 있어서, 카메라는 매장 출입구에 배치되는 제1카메라, 및 매장 내 고객이동동선에 배치되는 복수의 제2카메라를 포함하고,

서비스서버는 제1카메라 및 제2카메라로부터 수집되어 다양한 조명상황 또는 각도에서 촬영된 동일 방문고객의 안면영상들에 대한 머신러닝을 수행하여 방문고객의 안면인식률을 향상시키는 것이 좋다.

바람직한 실시예에 있어서, 서비스서버는 고객식별정보를 분석하여 해당 방문고객이 매장에 방문한 횟수, 방문주기를 추출하고, 방문한 횟수, 방문주기에 따라 해당 방문고객의 등급을 결정하여 방문고객이 단골인지 여부를 매장직원단말에 송신하고, 해당 방문고객의 결제이력정보 및 추천상품리스트 중 적어도 하나 이상을 추가로 송신하는 것이 좋다.

바람직한 실시예에 있어서, 매장직원단말은 매장에 방문한 방문고객의 고객식별정보를 디스플레이화면에 표시하고, 해당 고객식별정보에 매칭되는 결제이력정보, 단골 여부, 추천상품리스트 중 적어도 하나 이상을 추가로 표시하는 것이 좋다.

바람직한 실시예에 있어서, 카메라는 매장 내부의 제품진열대에 설치되어 방문고객이 바라보는 시선을 추적하고,

신호수집단말은 매장 내부의 제품진열동선에 설치되어 방문고객의 동선과 체류시간을 측정하고,

서비스서버는 카메라로부터 수집한 시선, 신호수집단말로부터 수집한 동선과 체류시간을 분석하여 방문고객이 어떤 위치의 상품을 관심있게 보는지에 대한 고객관심정보를 생성하고,

서비스서버는 매장 내 어느 위치에 어떤 상품이 진열되어 있는지 표시되어 있는 제품진열맵과 고객관심정보를 매칭하여 실제 방문고객이 관심있게 지켜본 관심상품카테코리 또는 관심상품리스트를 생성하여 매장직원단말에 송신하는 것이 좋다.

위와 같은 본 발명의 과제해결수단에 의해서 본 발명은 고객이 매장에 방문하는 순간부터 고객식별정보와 결제이력정보를 추출하여 고객의 로열티를 확인함으로서 고객의 결제시점 이전에 높은 품질의 접객서비스를 제공할 수 있다.

또한 본 발명은 매장직원에게 방문고객의 고객식별정보와 결제이력정보를 공유하여 누가 접객을 하는지 여부와 상관없이 항시 균일한 품질의 접객서비스를 제공할 수 있다.

또한 본 발명은 다양한 사물인터넷장치를 이용하여 보다 정확하게 고객을 식별하는 매장접객 시스템을 제공할 수 있다.

또한 본 발명은 머신러닝 기반으로 안면인식을 수행하여 다양한 옷차림, 악세서리, 촬영각도, 조명에 불구하고 균일한 인식률을 제공하는 매장접객 시스템을 제공할 수 있다.

또한 본 발명은 방문고객의 고객식별정보와 결제이력정보를 이용하여 방문고객에게 필요한 추천상품을 제공하는 매장접객 시스템을 제공할 수 있다.

한편 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 매장접객 시스템의 바람직한 실시예를 나타내는 도면이다.
도 2는 본 발명의 서비스서버의 바람직한 실시예를 나타내는 도면이다.
도 3은 본 발명을 이용하여 고객접객하는 경우의 효과를 설명하기 위한 예시이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도 1은 본 발명의 매장접객 시스템의 바람직한 실시예를 나타내는 도면이다.

도 1에서 알 수 있듯이, 본 발명의 매장접객 시스템(100)은 카메라, 신호수집단말, 매장직원단말, 서비스서버, 핀테크연동서버를 포함한다.

카메라는 매장에 적어도 하나 이상 설치되어 방문고객의 안면영상을 촬영한다. 카메라가 설치되는 위치는 출입구일 수 있고 추가로 진열대와 카운터에 설치될 수 있다. 출입구에 설치되는 카메라는 매장에 들어오거나 나가는 방문고객의 안면영상을 획득한다. 진열대에 설치되는 카메라는 매장 내부에 설치된 제품 진열대 앞에서 제품을 응시하는 방문고객의 안면영상을 획득한다. 또한 진열대에 설치되는 카메라는 방문고객의 시선을 추적할 수도 있다. 카운터에 설치되는 카메라는 카운터 앞에서 결제하는 방문고객의 안면영상을 획득한다.

신호수집단말은 매장에 적어도 하나 이상 설치되어 방문고객이 소지한 스마트단말의 식별코드를 수집한다. 바람직한 실시예에서 신호수집단말은 블루투스 서칭 또는 와이파이 서칭 기능을 이용하여 스마트단말의 식별코드를 수집하는 사물인터넷장비이다. 바람직한 실시예에서 신호수집단말이 수집하는 식별코드는 스마트폰의 맥 어드래스를 포함하며 그 밖에도 스마트폰의 디바이스를 식별할 수 있는 다양한 고유코드를 포함할 수 있다. 한편, 본 명세서에서 스마트폰이라는 용어는 스마트폰 외에 스마트단말, 예를들어 태블릿PC, 웨어러블디바이스 등과 같이 사용자가 휴대하는 단말장치를 포함하는 개념으로 이해할 수 있다. 복수의 신호수집단말은 매장 내부의 진열대에 설치되어 방문고객의 동선과 체류시간을 측정할 수 있다. 이를 위해 신호수집단말은 방문고객의 스마트단말에서 발생하는 와이파이 또는 블루투스 신호의 세기를 측정한다. 신호수집단말은 수집한 스마트단말의 식별코드와 방문고객의 동선, 체류시간을 서비스서버로 전송한다.

매장직원단말은 매장 내부에 설치되거나 근무 중인 매장직원이 소지하는 단말로서 디스플레이화면과 통신모듈이 포함된 사물인터넷단말이다. 바람직한 실시예에서 매장직원단말은 매장 내부에 설치되는 포스단말일 수 있고, 매장직원이 소지하는 스마트폰 등일 수 있다. 매장직원단말은 매장직원에게 고객식별정보 및 결제이력정보 중 적어도 하나 이상을 표시한다. 바람직한 실시예에서 매장직원단말은 매장에 방문한 방문고객의 고객식별정보를 디스플레이화면에 표시하고, 해당 고객식별정보에 매칭되는 결제이력정보, 단골 여부, 추천상품리스트 중 적어도 하나 이상을 추가로 표시할 수 있다.

서비스서버는 카메라에서 촬영된 안면영상 및 신호수집단말에서 수집된 식별코드를 분석하여 고객식별정보를 생성 및 저장하고, 고객식별정보에 대응되는 방문고객이 구매한 상품에 대한 결제이력정보를 고객식별정보와 매칭하여 저장한다. 서비스서버는 고객식별정보 및 결제이력정보 중 적어도 하나 이상을 매장직원단말에 전송함으로서 매장직원단말을 이용하는 매장직원이 해당 정보를 이용하여 균일한 매장접객 서비스를 제공할 수 있도록 한다. 서비스서버에 대한 보다 구체적인 설명은 도 2와 함께 설명한다.

핀테크연동서버는 서비스서버로부터 고객식별정보에 대응되는 방문고객의 결제이력정보를 수신하고, 결제이력정보를 기반으로 방문고객이 선호하는 제품디자인 또는 제품색상을 분석하여 추천상품리스트를 생성하고, 추천상품리스트를 매장직원단말에게 송신한다.

도 2는 본 발명의 서비스서버의 바람직한 실시예를 나타내는 도면이다.

도 2에서 알 수 있듯이, 본 발명의 서비스서버는 안면영상수신부, 머신러닝부, 식별코드수신부, 고객식별정보생성부, 결제이력정보저장부, 고객등급결정부, 접객정보송신부를 포함한다.

안면영상수신부는 카메라에서 수집된 방문고객의 안면영상을 수신한다. 바람직한 실시예에서 안면영상수신부는 카메라의 고유번호를 안면영상과 함께 수신하여 복수의 카메라 중 어느 카메라에서 획득한 영상인지 구분할 수 있도록 한다. 그 밖에 안면영상수신부는 안면영상촬영시간을 안면영상과 함께 수신할 수 있다.

머신러닝부는 안면영상수신부에서 수신한 안면영상을 분석하여 방문고객의 안면을 인식(face recognition)한다. 이를 위해 머신러닝부는 우선 안면영상에서 안면의 특성(feature)를 추출한다. 바람직한 실시예에서 머신러닝부는 안면의 특성을 추출하기 위해 눈, 코, 입의 좌표를 분석하여 수치화한 데이터를 저장한다. 일 실시예에서 머신러닝부는 안면특성 분석을 위해 OpenCV의 Dlib, CLM-Framework 등을 이용할 수 있으나 이에 한정되는 것은 아니다.

머신러닝부는 다양한 조명상황 또는 각도에서 방문고객을 촬영하는 복수의 카메라에서 획득한 복수의 안면영상과 안면의 특성 데이터를 이용하여 머신러닝(Machine learning) 및 딥 러닝(Deep learning)을 수행하는 방법으로 안면인식의 정확도를 향상시킨다.

바람직한 실시예에서 머신러닝부는 생성적 적대 신경망(Generative Adversarial Networks : GAN)을 이용하여 머신러닝을 수행하며 안면인식의 정확도를 향상시킨다. ‘생성적 적대 신경망(Generative Adversarial Networks : GAN)’　이론은 서로 다른 인공지능(AI)이 상호 경쟁을 통해 상호 성능을 개선하는 머신 러닝 방법이다.

생성적 적대 신경망(GAN)을 통해 안면인식의 정확도를 향상시키는 과정을 설명하면 다음과 같다.　

생성적 적대 신경망(GAN)에는 스스로 이미지를 만드는 생성자(Generator)와 이미지를 감별하는 구분자(Discriminator)가 있다.

생성자는 현실과 가까운 이미지를 만들고,　구분자는 실제 이미지인 안면영상을 이용하여 생성자의 이미지가 진실인지 여부를 감별한다. 생성자는 구분자를 속이도록,　구분자는 생성자가 만든 이미지를 더 잘 감별하도록 프로그래밍 돼 있다.　두 인공지능이 경쟁하는 과정에서 더욱 정확한 이미지를 생성한다.

즉, 생성적 적대 신경망(GAN)에는 스스로 이미지를 만드는　‘생성자(generator)’와 이미지가 진짜인지 가짜인지 감별하는 구분자(discriminator)’가 있고 둘은 경쟁한다.　생성자는 화폐 위조꾼처럼 최대한 진짜에 가까운 콘텐츠를 만들고 구분자는 경찰처럼 진짜와 가까운지 아닌지를 감별한다.　생성자와 구분자가 경쟁 과정을 거치면 사람이 지도학습을 해주지 않아도 기계 스스로 정답에 가까운 콘텐츠를 만들 수 있다.　

상기의 생성적 적대 신경망 이론에 따라, 본 발명의 머신러닝부는 생성자로 하여금 방문고객의 다양한 가상의 안면영상을 생성하도록 하고, 구분자가 실제 안면영상을 기반으로 가상의 안면영상의 진실 여부를 감별하도록 한다. 이렇게 함으로서 머신러닝부는 향후 특정한 방문고객의 새로운 안면영상(예를들어 화장을 짙게 하거나 새로운 악세서리를 착용하는 등 변화가 생긴 경우)이 입력되더라도 해당 안면영상이 어떤 방문고객의 안면인지 보다 정확하게 인식할 수 있다.

이를 위해 머신러닝부는 생성적 적대 신경망을 이용하여 가상의 안면영상을 생성하는 생성네트워크유닛 및 생성된 가상의 안면영상을 검증하는 판별네트워크유닛을 포함할 수 있다. 생성네트워크유닛은 생성자(generator)로서 기능을 수행하여 가상의 안면영상을 생성하고, 판별네트워크유닛은 구분자(discriminator)로서 기능을 수행하여 생성네트워크유닛에서 생성한 가상의 안면영상을 검증하고, 생성네트워크유닛과 판별네트워크유닛이 서로 경쟁적으로 기능을 수행하여 안면인식이 보다 정확해지도록 한다.

본 발명에서는 기술의 노하우를 위해 생성네트워크유닛에서 가상의 안면영상을 생성하고, 판별네트워크유닛에서 가상의 안면영상을 검증하고 이를 경쟁하여 반복적으로 수행하여 안면인식의 정확성을 향상시키는 구체적 알고리즘을 개시하지는 않기로 한다. 본 발명에서는 보다 빠르게 안면인식결과를 도출하기 위해 생성네트워크유닛과 판별네트워크유닛이 서로 경쟁하는 횟수를 일정 횟수 이내로 제한할 수 있다.

식별코드수신부는 신호수집단말에서 수집한 스마트단말의 식별코드를 수신한다. 바람직한 실시예에서 식별코드수신부는 신호수집단말의 고유번호를 식별코드와 함께 수신하여 복수의 신호수집단말 중 어느 신호수집단말에서 획득한 식별코드인지 구분할 수 있도록 한다. 그 밖에 식별코드수신부는 식별코드확인시간을 식별코드와 함께 수신할 수 있다.

고객식별정보생성부는 안면영상수신부로부터 카메라의 고유번호, 안면영상, 안면영상촬영시간을 획득하고, 식별코드수신부로부터 신호수집단말의 고유번호, 스마트단말의 식별코드, 식별코드확인시간을 획득한다. 고객식별정보생성부는 사전에 특정 고유번호의 카메라가 어느 매장의 어느 위치에 설치되어 있는지에 대한 정보와, 특정 고유번호의 신호수집단말이 어느 매장의 어느 위치에 설치되어 있는지에 대한 정보를 저장한다. 고객식별정보생성부는 이와 같은 정보를 이용하여 특정 카메라의 고유번호에서 획득한 안면영상이 어느 매장의 어느 위치에서 획득한 안면영상인지 구별할 수 있다. 또한, 고객식별정보생성부는 이와 같은 정보를 이용하여 특정 신호수집단말의 고유번호에서 획득한 스마트단말의 식별코드가 어느 매장의 어느 위치에서 획득한 식별코드인지 구별할 수 있다. 고객식별정보생성부는 머신러닝부로부터 안면영상이 누구의 안면인지 판별한 안면인식결과를 획득한다.

고객식별정보생성부는 위에서 열거한 정보를 종합하여 방문고객이 누구인지, 어디로 들어와서 어디로 이동했는지, 어느 진열대 앞에서 얼마나 체류했는지에 대한 정보를 추출하여 고객식별정보에 저장할 수 있다.

결제이력정보저장부는 특정 방문고객의 결제정보를 수집하여 결제이력정보로 저장한다. 바람직한 실시예에 있어서 결제이력정보에는 결제상품의 종류, 색상, 수량 등에 대한 정보, 결제시간, 결제방법 등이 포함될 수 있다.

고객등급결정부는 고객식별정보생성부로부터 고객식별정보를 획득하고 결제이력정보저장부로부터 결제이력정보를 획득한다. 고객등급결정부는 고객식별정보를 분석하여 해당 방문고객이 매장에 방문한 횟수, 방문주기를 추출하고, 결제이력정보를 분석하여 결제상품, 결제주기, 결제횟수 등을 추출한다. 고객등급결정부는 이와 같은 정보를 분석하여 해당 방문고객의 등급을 결정하여 방문고객이 단골인지 여부를 매장직원단말에 송신하고, 해당 방문고객의 결제이력정보 및 추천상품리스트 중 적어도 하나 이상을 추가로 송신할 수 있다.

접객정보송신부는 고객등급결정부로부터 수신한정보를 매장직원단말에 송신한다.

다른 실시예에 있어서, 서비스서버는 카메라로부터 수집한 시선, 신호수집단말로부터 수집한 동선과 체류시간을 분석하여 방문고객이 어떤 위치의 상품을 관심있게 보는지에 대한 고객관심정보를 생성할 수 있다. 서비스서버는 매장 내 어느 위치에 어떤 상품이 진열되어 있는지 표시되어 있는 제품진열맵과 고객관심정보를 매칭하여 실제 방문고객이 관심있게 지켜본 관심상품카테코리 또는 관심상품리스트를 생성하여 매장직원단말에 송신할 수 있다. 이와 같은 관심상품리스트는 추천상품리스트와 다른 정보이다. 왜냐하면 추천상품리스트는 종래 결제이력정보를 분석하여 해당 방문고객의 과거 결제이력에 근거한 상품을 추천하는 것이지만, 관심상품리스트는 당일 매장에 방문한 고객이 어느 상품 앞에서 얼마나 오랫동안 상품을 지켜봤는지에 기반해서 상품 또는 이와 연관된 상품을 추천하는 것이기 때문이다.

도 3은 본 발명을 이용하여 고객접객하는 경우의 효과를 설명하기 위한 예시이다.

도 3에서 알 수 있듯이, 방문고객이 누구인지 식별하는 시스템이 없는 경우, 매장직원은 방문고객이 누구인지 어떤 취향이 있는지 과거 어떤 상품을 결제했는지 알 수 없다. 따라서, 형식적인 매장접객 서비스를 제공할 수 밖에 없다. 예를 들어, 고객이 방문하면 “주문 도와드리겠습니다”, “치야바타에 스테이크, 치킨데리야끼, 런치소스 추가해 주시고 올리브, 후추, 할라피뇨 넣어주세요. 아 야채 듬뿍 넣어주세요”, “포인트카드 있으신가요”, “네, 번호로 입력할께요”와 같은 대화를 나눌 수 밖에 없다. 왜냐하면 해당 고객이 어떤 음식취향을 갖고 있는지, 어떤 포인트카드를 갖고 있는지 알 수 없기 때문이다. 또한 신발매장의 경우도 비슷하다. 예를 들어 고객이 방문하면, “저기, 이거 좀 보여주세요”, “네, 사이즈가 어떻게 되시죠?”, “235입니다”, “네, 잠시만 기다려주세요”와 같은 접객서비스만을 제공할 수 밖에 없다. 왜냐하면 해당 고객이 누구인지 신발사이즈가 어떻게 되는지 알 수 없기 때문이다.

반면에 본 발명을 이용하면 매장접객 서비스가 크게 달라진다. 예를 들어, 방문고객이 매장에 들어오면 매장직원단말(포스단말 또는 바람직하게는 매장직원이 휴대하고 있는 사물인터넷단말, 스마트폰 등)에 방문고객이 5회 방문했으며, 총 구매금액이 86,500원, 구매내역으로 음식의 종류, 고객특징으로서 양상추 듬뿍이라는 정보가 표시된다. 따라서, 매장직원은 이를 확인하고 “안녕하세요, 늘 드시는 것으로 양상추 듬뿍 넣어 준비해드릴까요?”, “네~ 감사합니다”, “포인트도 적립해 드렸습니다”와 같은 매장접객 서비스를 제공할 수 있다. 왜냐하면 방문고객의 취향과 포인트카드 정보 등을 미리 알 수 있기 때문이다. 마찬가지로 신발매장에 방문고객이 입장하면 총 방문 횟수가 3회, 구매금액이 430,000원, 구내내역으로 상품종류, 고객특징으로 발사이즈와 발 볼이 넣어 고민이라는 정보가 매장직원단말에 표시된다. 따라서, 매장직원은 미리 “사이즈가 235이신데, 이 신발은 발 볼이 좁게 나와서 240 신어 보시는 것도 좋을 것 같아요. 둘 다 보여드릴께요”와 같은 향상된 수준의 매장접객 서비스를 제공할 수 있다.

[다른 실시예]

서비스서버는 매장에 들어온 방문고객이 단골인지 여부를 매장직원단말에게 전송할 수 있고, 매장직원단말은 방문고객이 단골인 경우 특정 패턴의 진동을 울림으로서 매장직원이 매장직원단말을 눈으로 확인하지 않더라도 방문고객이 단골인지 여부를 확인할 수 있다.

또한 매장에는 서비스서버로부터 고객정보를 수신하여, 방문고객이 들어오거나 나갈 때 인사말을 출력하는 스피커가 설치될 수 있다. 스피커를 이용하면 방문고객이 입장할 때 자신의 이름이 매장에서 들려오는 새로운 사용자경험을 제공할 수 있다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (1)

1. 매장에 설치되어 방문고객의 안면영상을 촬영하는 적어도 하나 이상의 카메라;
   매장에 설치되어 방문고객이 소지한 스마트단말의 식별코드를 수집하는 적어도 하나 이상의 신호수집단말;
   카메라에서 촬영된 안면영상 및 신호수집단말에서 수집된 식별코드를 분석하여 고객식별정보를 생성 및 저장하고, 고객식별정보에 대응되는 방문고객이 구매한 상품에 대한 결제이력정보를 고객식별정보와 매칭하여 저장하는 서비스서버; 및
   매장 내부에 설치되거나 근무 중인 매장직원이 소지하는 단말로서 매장직원에게 고객식별정보 및 결제이력정보 중 적어도 하나 이상을 표시하는 매장직원단말을 포함하고,
   서비스서버로부터 고객식별정보에 대응되는 방문고객의 결제이력정보를 수신하고, 결제이력정보를 기반으로 방문고객이 선호하는 제품디자인 또는 제품색상을 분석하여 추천상품리스트를 생성하고, 추천상품리스트를 매장직원단말에게 송신하는 핀테크연동서버를 더 포함하고,
   카메라는 매장 내부의 제품진열대에 설치되어 방문고객이 바라보는 시선을 추적하고,
   카메라 및 신호수집단말은 매장 내부를 분할하여 형성된 복수 개의 구획영역마다 배치되고,
   서비스서버는 고객식별정보생성부를 포함하고,
   고객식별정보생성부는,
   사전에 특정 고유번호의 카메라가 어느 매장의 어느 위치에 설치되어 있는지에 대한 정보와, 특정 고유번호의 신호수집단말이 어느 매장의 어느 위치에 설치되어 있는지에 대한 정보를 저장하고,
   이와 같은 정보를 이용하여 특정 카메라의 고유번호에서 획득한 안면영상이 어느 매장의 어느 위치에서 획득한 안면영상인지 구별하고, 특정 신호수집단말의 고유번호에서 획득한 스마트단말의 식별코드가 어느 매장의 어느 위치에서 획득한 식별코드인지 구별할 수 있고,
   서비스서버는,
   카메라 및 신호수집단말이 수집한 안면영상과 식별코드를 함께 이용하여, 고객이 바라보는 관심상품을 정확하게 파악할 수 있는 관심상품리스트를 생성하고,
   신호수집단말은 매장 내부의 제품진열대에 설치되어 방문고객이 소지한 스마트단말의 식별코드 세기를 측정하여 방문고객의 동선과 체류시간을 측정하고,
   서비스서버는 카메라로부터 수집한 시선, 신호수집단말로부터 수집한 동선과 체류시간을 분석하여 방문고객이 어떤 위치의 상품을 관심있게 보는지에 대한 고객관심정보를 생성하고,
   서비스서버는 매장 내 어느 위치에 어떤 상품이 진열되어 있는지 표시되어 있는 제품진열맵과 고객관심정보를 매칭하여 실제 방문고객이 관심있게 지켜본 관심상품카테코리 또는 관심상품리스트를 생성하여 매장직원단말에 송신하고,
   카메라는 매장 출입구에 배치되는 제1카메라, 및 매장 내 고객이동동선에 배치되는 복수의 제2카메라를 포함하고,
   서비스서버는 제1카메라 및 제2카메라로부터 수집되어 다양한 조명상황 또는 각도에서 촬영된 동일 방문고객의 안면영상들에 대한 머신러닝을 수행하여 방문고객의 안면인식률을 향상시키고,
   서비스서버는 안면영상수신부에서 수신한 안면영상을 분석하여 방문고객의 안면을 인식하는 머신러닝부를 포함하고,
   상기 머신러닝부는 스스로 이미지를 만드는 생성자(Generator)와 이미지를 감별하는 구분자(Discriminator)를 포함하는 생성적 적대 신경망(Generative Adversarial Networks : GAN)을 이용하여 머신러닝을 수행하며 안면인식의 정확도를 향상시키고,
   상기 생성자는 방문고객의 다양한 가상의 안면영상을 생성하고,
   상기 구분자는 가상의 안면영상의 진실 여부를 감별하고,
   서비스서버는 고객식별정보를 분석하여 해당 방문고객이 매장에 방문한 횟수, 방문주기를 추출하고, 방문한 횟수, 방문주기에 따라 해당 방문고객의 등급을 결정하여 방문고객이 단골인지 여부를 매장직원단말에 송신하고, 해당 방문고객의 결제이력정보 및 추천상품리스트 중 적어도 하나 이상을 추가로 송신하고,
   매장직원단말은 매장에 방문한 방문고객의 고객식별정보를 디스플레이화면에 표시하고, 해당 고객식별정보에 매칭되는 결제이력정보, 단골 여부, 추천상품리스트 중 적어도 하나 이상을 추가로 표시하고,
   서비스서버는 매장에 들어온 방문고객이 단골인지 여부를 매장직원단말에게 전송하고, 매장직원단말은 방문고객이 단골인 경우 특정 패턴의 진동을 울림으로서 매장직원이 매장직원단말을 눈으로 확인하지 않더라도 방문고객이 단골인지 여부를 확인할 수 있도록 하는 것을 특징으로 하는, 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템.

Images