KR101779096B1 - 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 - Google Patents
지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 Download PDFInfo
- Publication number
- KR101779096B1 KR101779096B1 KR1020160001531A KR20160001531A KR101779096B1 KR 101779096 B1 KR101779096 B1 KR 101779096B1 KR 1020160001531 A KR1020160001531 A KR 1020160001531A KR 20160001531 A KR20160001531 A KR 20160001531A KR 101779096 B1 KR101779096 B1 KR 101779096B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- store
- image
- information
- customer
- Prior art date
Links
Images
Classifications
-
- G06K9/00228—
-
- G06K9/00281—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
본 발명은 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 인식 및 시선 추적방법에 관한 것으로, 매장 내 방문객 영상의 분석정보로부터 객체를 인식하고 객체의 진행방향과 얼굴영상 내에 포함된 코의 위치를 추적하여 객체의 시선을 파악하기 위한 것이다.
이를 위하여 본 발명은 매장 내 방문객의 영상을 실시간 수집 및 분석하는 지능형 영상분석 및 매장 관리서버에 의한 객체 인식 및 시선 추적방법에 있어서, 매장 내 방문객 영상정보로부터 실시간 영상 프레임을 획득하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 얼굴 검출단계, 검출된 객체의 얼굴영역에서 방문객의 성별과 연령대를 구분하고 단골고객 여부를 확인하여 매장 내 방문객수와 단골고객수의 산출 및 포스단말기에 표출할 단골 고객정보를 확정하는 얼굴 매칭단계, 매장 내 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체와 얼굴 추적 및 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 코위치 추적단계, 및 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 산출하는 시선위치 파악 및 시간 산출단계를 포함하여, 매장을 효율적으로 통합 운영 및 관리할 수 있게 한다.
이를 위하여 본 발명은 매장 내 방문객의 영상을 실시간 수집 및 분석하는 지능형 영상분석 및 매장 관리서버에 의한 객체 인식 및 시선 추적방법에 있어서, 매장 내 방문객 영상정보로부터 실시간 영상 프레임을 획득하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 얼굴 검출단계, 검출된 객체의 얼굴영역에서 방문객의 성별과 연령대를 구분하고 단골고객 여부를 확인하여 매장 내 방문객수와 단골고객수의 산출 및 포스단말기에 표출할 단골 고객정보를 확정하는 얼굴 매칭단계, 매장 내 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체와 얼굴 추적 및 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 코위치 추적단계, 및 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 산출하는 시선위치 파악 및 시간 산출단계를 포함하여, 매장을 효율적으로 통합 운영 및 관리할 수 있게 한다.
Description
본 발명은 지능형 영상분석 기술 기반의 통합 매장관리시스템에서의 객체 추적방법에 관한 것으로, 보다 상세하게는 매장 내 광고를 표출하는 다수 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 방문객의 영상을 수집하여 분석하는 지능형 영상분석 시스템을 매장 내 포스단말기와 연동시켜 운영하는 통합 매장관리시스템에서, 매장 내 방문객 영상의 분석정보로부터 객체를 인식하고 시선을 추적하여 광고 또는 전시 상품의 시청여부를 파악할 수 있도록 함으로써, 매장 내 광고 또는 상품 전시 등을 효율적으로 운영하고 관리할 수 있는 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법에 관한 것이다.
일반적으로 매장에는 POS(Point Of Sales) 단말기가 구비되어 매장의 운영 및 관리에 필요한 카드결제와 매출정산 및 재고관리 등을 위한 매장관리시스템이 구축되며, 이러한 매장 관리를 좀더 효율적으로 수행하기 위하여 많은 매장에서는 회원 등록을 통한 마일리지 누적이나 사은품 증정 등의 홍보전략을 도입하여, 고객카드의 발급과 구매에 따른 마일리지 누적, 그리고 상품의 구매리스트 등을 고객의 개인정보 등을 함께 기록하여 저장하게 된다.
이와 관련하여, 대한민국 공개특허 제10-2009-0000724호(2009.01.08 공개; 이하 '특허문헌1'이라 약칭함)에는, NFC 리더기가 탑재된 이동통신 단말기와 PAN 통신을 이용하여 매장 내에서 고객의 동선을 파악하거나 고객의 상품 구매에 따라 구매 포인트를 부여 및 관리하는 매장 관리 시스템 및 방법에 관한 기술이 공지되어 있다.
특허문헌1에 의하면, 기 구축된 이동통신망을 이용하여 매장의 회원이든 비회원이든 이동통신 단말기의 모든 가입자들에게 맞춤형 서비스를 제공할 수 있고, 고객의 상품 구매에 따라 이동통신망을 통해 구매 포인트를 부여 및 관리함으로써 별도의 포인트 제공 시스템과의 호환성을 제공할 수 있게 하였다.
또한 대한민국 공개특허 제10-2009-0111622호(2009.10.27 공개; 이하 '특허문헌2'이라 약칭함)에는, 매장을 방문하는 고객에게 다양한 종류의 마일리지와 정보를 제공할 수 있는 매장 관리시스템 및 그 구동방법에 관한 기술이 공지되어 있다.
특허문헌2에 의하면, 매장에 방문하는 고객에게 방문 마일리지, 구매 마일리지, 구역 마일리지 등의 다양한 종류의 마일리지를 제공하여 잠재적인 고객확보 및 매출액 향상을 기대할 수 있고, 고객의 특정 상품 및 서비스에 대한 선호도를 분석하여 특성화된 고객관리와 신속하고 효율적인 정보 제공이 가능하게 하였다.
또한, 대한민국 공개특허 제10-2011-0113922호(2011.10.19 공개; 이하 '특허문헌3'이라 약칭함)에는, 오프라인 매장을 이용한 상품 마케팅 관리 방법 및 관리 시스템에 관한 기술이 공지되어 있다.
특허문헌3에 의하면, 소비자의 접근이 용이한 오프라인 매장 내 설치된 광고수단을 이용하여 소비자의 구매의도를 생성하고 실제 광고상품에 대한 판매실적 발생 시 소비자와 오프라인 매장 및 판매점과의 중계역할을 진행하여, 소비자의 구매실적, 판매점의 판매실적 및 오프라인 매장의 매출실적을 함께 증대시킬 수 있게 하였다.
또한, 대한민국 공개특허 제10-2012-0070330호(2012.06.29 공개; 이하 '특허문헌4'이라 약칭함)에는, 관리가 용이하고 비용이 적게 소요되면서 소비자의 성향 및 위치에 따른 쇼핑 정보를 제공할 수 있는 쇼핑 시스템에 관한 기술이 공지되어 있다.
특허문헌4에 의하면, 휴대 단말로부터 RFID 태그 정보를 수신하여 고객의 매장 입장 또는 퇴장을 확인하고, 휴대 단말로부터 쇼핑 물품 리스트가 수신되면 쇼핑 물품 리스트를 위한 추천 쇼핑 동선에 대한 정보 및 매장 지도를 포함하는 쇼핑 정보를 휴대 단말에 제공하여, 소비자의 상품 구입 성향 및 소비 패턴 분석을 통해 효율적인 매장 관리가 가능하게 하였다.
한편, 일부 매장에는 매장 내 영상을 실시간 촬영하는 CCTV 등이 설치되어, CCTV 촬영 영상을 이용하여 매장 내에서 발생할 수 있는 도난, 좌석 유무, 매장 청결도, 또는 테이블 이동 등의 상황을 판단하면서 매장을 관리할 수 있게 하고 있다.
그러나 이와 같은 종래의 매장관리시스템은 POS 단말기와는 별도로 CCTV가 관리되고 운영되며, POS 단말기의 매출자료의 저장은 단순한 매출분석과 평가를 위한 자료의 누적이 대부분이고, CCTV에서 촬영된 영상정보도 POS 단말기의 매출자료와는 관계없이 단지 별도의 영상정보로만 저장하여 추후 분석시 참조되는 자료로만 활용되며, 또한 고객 관련 정보의 저장도 고객의 개인정보와 마일리지의 누적, 고객의 상품 구입 성향 및 패턴 분석만을 고려하여 별도로 저장되기 때문에 POS 단말기의 집계자료와 연계시켜 활용할 수 있는 방법은 구현되지 못하고 있었다.
따라서 본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로, 본 발명은 매장 내 광고를 표출하는 다수 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 방문객의 영상을 수집하여 분석하는 지능형 영상분석 시스템을 매장 내 포스단말기와 연동시켜 운영하는 통합 매장관리시스템에서, 매장 내 방문객 영상의 분석정보로부터 객체를 인식하고 객체의 진행방향과 얼굴영상 내에 포함된 코의 위치를 추적하여 객체의 시선을 파악하고 매장 내 표출 중인 광고 또는 전시 상품의 시청여부를 정량적으로 수치화할 수 있도록 함으로써, 매장 내 광고 또는 상품 전시 등을 효율적으로 운영하고 관리할 수 있는 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법을 제공하고자 하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시 형태는, 매장 내에 설치된 제1영상 촬영부 및 제2영상 촬영부와 네트워크를 통해 연결되어 매장 내 방문객의 영상을 실시간 수집 및 분석하는 지능형 영상분석 및 매장 관리서버를 매장 내 매출정산을 위한 포스단말기와 연결하여 상기 지능형 영상분석 및 매장 관리서버에 의해 포스단말기를 통합 운용하는 통합 매장관리시스템에서, 지능형 영상분석 및 매장 관리서버에 의해 수행되는 객체 인식 및 시선 추적방법에 있어서, (a) 영상 수집부를 통해 수집된 매장 내 방문객 영상정보로부터 실시간 영상 프레임을 획득하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 얼굴 검출단계, (b) 얼굴 검출단계에서 검출된 객체의 얼굴영역에서 방문객의 성별과 연령대를 구분하고 단골고객 여부를 확인하여 매장 내 방문객수와 단골고객수의 산출 및 포스단말기에 표출할 단골 고객정보를 확정하는 얼굴 매칭단계, (c) 얼굴 검출단계에서 매장 내 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체와 얼굴 추적 및 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 코위치 추적단계, 및 (d) 코위치 추적단계에서 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 산출하는 시선위치 파악 및 시간 산출단계를 포함하는, 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법이다.
본 발명에 의하면, 매장 내 다수의 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집하여 분석하는 지능형 영상분석 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 매장 내 실시간 방문객수와 단골고객수를 카운트하고 매장 내 포스단말기의 매출정보와 비교 가능한 시간대별(시간별, 일별, 월별) 분석정보를 포스단말기 또는 관계자의 스마트폰 단말기에 제공할 수 있게 되므로, 매장의 운영 효율성을 향상시킬 수 있는 이점을 제공한다.
또한 본 발명에 의하면, 매장 내 방문객 영상의 분석정보로부터 객체를 인식하고 객체의 진행방향과 얼굴영상 내에 포함된 코의 위치를 추적하여 객체의 시선을 파악하고 고객의 매장 내 광고 시청 및 전시 상품의 관심정도를 정량적으로 수치화하여 제공할 수 있도록 함으로써, 직원 또는 관계자로 하여금 매장 내 광고 또는 상품 전시 등의 적정성 및 효율성을 정량적으로 판단할 수 있도록 하는 이점을 제공한다.
또한 본 발명은 결제 또는 주문을 위한 대기열의 주문 대기시간을 산출하여 제공함으로써 직원의 동선 결정 또는 충원 결정에 반영할 수 있게 하며, 아울러 단골고객 방문시 직원 또는 관계자에게 방문 알림 SMS 또는 SNS를 발송함으로써 새로운 직원이나 아르바이트 직원이 업무 중에도 쿠폰 발급 및 마일리지 적립 등의 단골고객 관련 업무 처리 및 응대를 신속하고 효율적으로 수행할 수 있게 하여, 매장 운영의 효율성을 향상시킬 수 있는 이점을 제공한다.
도 1은 본 발명에 따른 객체 추적방법이 적용 가능한 지능형 영상분석 기술 기반 통합 매장관리시스템의 전체적인 구성을 개략적으로 예시한 블록도이다.
도 2a와 도 2b는 본 발명에 따른 객체 추적방법이 적용되는 지능형 영상분석 기술 기반 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도이다.
도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법을 설명하기 위하여 예시한 동작 흐름도이다.
도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 추적과정을 설명하기 위하여 예시한 참고도이다.
도 2a와 도 2b는 본 발명에 따른 객체 추적방법이 적용되는 지능형 영상분석 기술 기반 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도이다.
도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법을 설명하기 위하여 예시한 동작 흐름도이다.
도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 추적과정을 설명하기 위하여 예시한 참고도이다.
이하, 본 발명에 의한 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법을 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 객체 추적방법이 적용 가능한 지능형 영상분석 기술 기반 통합 매장관리시스템의 전체적인 구성을 개략적으로 예시한 블록도이고, 도 2a와 도 2b는 본 발명에 따른 객체 추적방법이 적용되는 지능형 영상분석 기술 기반 통합 매장관리시스템에서 POS 단말기에 표출되는 메뉴화면 예시도로서, 도 1에 예시된 바와 같이 본 발명의 객체 추적방법이 적용되는 지능형 영상분석 기술 기반의 통합 매장관리시스템은, 매장 내에 설치되는 제1영상 촬영부(30)와 제2영상 촬영부(40), 지능형 영상분석 및 매장 관리서버(100), 및 데이터베이스(200)로 구성될 수 있으며, 이러한 구성의 지능형 영상분석 기술 기반의 통합 매장관리시스템은, 매출정산 및 재고관리 등을 위한 포스단말기(10)를 구비한 매장관리시스템에 적용되어 구현될 수 있다. 이때 포스단말기(10)에는 메뉴화면 상에 시간대별 매장 내 방문객수 및 단골고객수 정보를 간략하게 부가할 수 있는 부가메뉴(도 2a 참조)가 추가될 수 있으며, 이러한 부가메뉴로 표출되는 시간대별 매장 내 방문객수 및 단골고객수 정보는 예를 들면 시간별, 일별, 월별, 분기별, 연별 매장 방문객수 및 단골고객수를 각각 구분하여 구체적으로 표시할 수 있는 상세 메뉴화면(상세정보: 도 2b 참조)이 부가메뉴 상의 버튼 입력에 따라 선택적으로 디스플레이되도록 설정될 수 있다.
제1영상 촬영부(30)는 광고 컨텐츠의 표출이 가능하고 유/무선 통신망을 통해 데이터 송수신이 가능한 태블릿 PC 등으로 구현될 수 있고, 화면을 통해 표출되는 광고를 매장 방문객이 용이하게 시청할 수 있는 위치 또는 매장 방문객의 영상을 웹캠으로 용이하게 촬영할 수 있는 위치에 설치되는 것이 바람직하며, 매장 내에 한 개 또는 다수 개가 구비될 수 있다. 이러한 제1영상 촬영부(30)는 영상정보 촬영을 위한 웹캠(31)과, 고객의 스마트폰 단말기(20)와의 비접촉 근거리 통신을 위한 근거리 무선통신부(32), 및 유선 또는 무선 통신망을 통한 지능형 영상분석 및 매장 관리서버(100)와의 데이터 송수신을 위한 유/무선 통신모듈부(33)를 포함하여, 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 데이터 송수신 가능하게 연결되어 지능형 영상분석 및 매장 관리서버(100)에서 전달되는 광고 컨텐츠정보를 수신하여 화면으로 디스플레이하고, 매장 방문객의 영상정보를 웹캠(31)으로 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버(100)로 전송한다. 아울러 이러한 제1영상 촬영부(30)는 고객의 스마트폰 단말기(20)와의 근거리 무선통신을 통해 고객정보를 무선 수신하여 지능형 영상분석 및 매장 관리서버(100)로 전송하고 그에 대응하는 고객의 쿠폰정보 또는 마일리지정보를 지능형 영상분석 및 매장 관리서버(100)에서 실시간 수신하여 고객의 스마트폰단말기(20)로 쿠폰을 발행하거나 마일리지를 누적하고 그 결과에 따른 쿠폰 발행정보 또는 마일리지 누적정보를 지능형 영상분석 및 매장 관리서버(100)로 리턴시킨다.
제2영상 촬영부(40)는 매장 방문객의 영상정보를 실시간 촬영할 수 있는 CCTV 카메라로 구현될 수 있고, 매장 방문객의 영상을 용이하게 촬영할 수 있는 위치에 설치되는 것이 바람직하며, 매장 내에 한 개 또는 다수 개가 구비될 수 있다. 이러한 제2영상 촬영부(40)는 유선 또는 무선 통신망을 통한 지능형 영상분석 및 매장 관리서버(100)와의 데이터 송수신을 위한 유/무선 통신모듈을 포함하여, 통신망을 통해 지능형 영상분석 및 매장 관리서버(100)와 통신 가능하게 연결되어 매장 방문객의 영상정보를 실시간 촬영 및 수집하여 지능형 영상분석 및 매장 관리서버(100)로 전송한다.
지능형 영상분석 및 매장 관리서버(100)는 각 영상 촬영부(30,40)에서 촬영된 방문객 영상정보를 실시간 수집 및 분석하여 방문객의 성별 및 연령대를 구분하고 성별 및 연령대에 따른 맞춤 광고를 제1영상 촬영부(30)에 표출하면서 방문객의 시선을 추적하여 방문객의 시선 위치가 매장 내에서 표출중인 광고 또는 전시중인 상품의 위치에 얼마 동안 머무는지에 대한 수치화정보와 매장 내 시간대별 방문객수와 단골고객수, 및 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 각각 산출하여 단골고객 방문 확인시의 알림정보와 함께 매장 내 포스단말기에 표출하거나 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 전달한다.
이를 위하여 지능형 영상분석 및 매장 관리서버(100)는 영상 수집부(110), 영상 분석부(120), 광고 제어부(130), 광고시청량 수치화부(140), 리워드 관리부(150), 대기시간 산출부(160), 단골고객 방문 알림부(170), 포스단말기 메뉴 관리부(180), 및 매니저 관리부(190)를 포함하여 구성될 수 있다.
영상 수집부(110)는 통신망을 통해 각 영상 촬영부(30,40)와 연결되어 각 영상 촬영부(30,40)에서 촬영되는 매장 내 방문객 영상정보를 유선 또는 무선 통신망을 통해 실시간 수집한다.
영상 분석부(120)는 영상 수집부(110)에서 수집된 방문객 영상정보를 각도 테스트 처리하여 실시간 영상 프레임을 획득하고, 획득된 영상 프레임 간의 차이가 임계치 이하인 영상 프레임에 대해 adaboost 얼굴 검출 알고리즘을 적용하여 영상정보에 포함된 객체의 얼굴영역을 검출하며, 검출된 객체의 얼굴영역에 탬플릿 매칭 알고리즘을 적용하여 얼굴 여부를 인식 및 방문객수를 카운트하고 인식된 얼굴과 데이터베이스의 고객 영상정보와의 얼굴 매칭을 통해 객체를 인식하여 방문객 성별과 연령대를 구분하고 단골고객 여부 확인과 단골고객수를 카운트하며, 시간별/일별/월별/분기별/연별 등의 시간대별 매장 내 방문객수와 단골고객수를 각각 구분하여 산출하고, 포스단말기에 표출할 단골 고객정보를 확정한다.
또한 영상 분석부(120)는 매장 내 방문객의 영상 분석정보로부터 객체의 몸체 움직임을 추적하여 얼굴을 추적하고 머리의 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치를 추적하며 얼굴 영역 내에서 추적된 코의 위치좌표로 매장 내 표출 중인 광고 또는 전시 상품의 위치에 대한 객체의 시선위치를 파악하고 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치(고정)되는지의 여부를 확인하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 시간 동안의 시간정보(객체의 시선위치 고정시간정보)를 카운트하여 산출한다. 여기서 매장 내 표출중인 광고 또는 전시 상품의 각 위치정보는 사전에 미리 위치좌표값으로 등록 및 관리되는 값일 수 있다.
광고 제어부(130)는 영상 분석부(120)에서 파악된 객체의 성별(남/녀 여부)과 연령대 정보에 따라 그에 대응하는 광고 컨텐츠를 데이터베이스(200)의 광고 컨텐츠 정보에서 추출하여 제1영상 촬영부(30)에 전송함으로써, 매장 내 방문객 맞춤형 광고를 표출할 수 있게 한다.
광고시청량 수치화부(140)는 영상 분석부(120)에서 산출된 광고 또는 상품 위치에 대한 객체의 시선위치 고정시간정보를 확인하여, 객체의 시선이 표출중인 광고 또는 전시중인 상품을 얼마 동안 어느 정도 보는지에 따른 객체의 광고 또는 상품 시청량을 정량적으로 수치화한다.
리워드 관리부(150)는 제1영상 촬영부(30)에서 전송되는 고객의 스마트폰 단말기(20) 정보에 대응하는 고객의 쿠폰정보 및 마일리지정보를 데이터베이스(200)의 고객정보에서 검색하여 제1영상 촬영부(30)로 리턴시키고, 아울러 제1영상 촬영부(30)에서 고객의 스마트폰 단말기(20)에 처리된 쿠폰 발행 또는 마일리지 누적에 따른 결과 정보를 수신하여 데이터베이스(200)의 고객별 쿠폰 발행정보 또는 마일리지 누적정보로 갱신 저장한다.
대기시간 산출부(160)는 영상 수집부(110)에서 수집된 방문객 영상정보를 분석하여 매장 내 주문 또는 결제를 위한 대기열에 포함된 객체 수를 카운트하고, 대기중인 객체 수에 미리 설정된 시간정보(예를 들면 매장 내 주문과 결제를 위해 필요한 객체당 평균 소요시간값일 수 있음)를 반영하여 대기열에 대한 실시간 대기시간값을 산출한다.
단골고객 방문 알림부(170)는 영상 분석부(120)에서 파악된 객체의 단골고객 확정정보를 확인하여 해당 고객 관련정보, 예를 들면 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 기존 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달한다.
포스단말기 메뉴 관리부(180)는 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 확인하여 매장 내 포스단말기(10)에 전송하고 포스단말기(10)의 매출정산화면 일측에, 예를 들면 도 2a에 예시된 바와 같이 포스단말기(10)의 실시간 매출정산정보와 함께 간략보기 정보로 시간대별 매장 내 방문객수와 단골고객수 정보를 표출하도록 포스단말기의 메뉴를 관리하며, 아울러 매출정산화면 상에서 포스단말기 담당 직원 또는 관계자에 의한 상세보기 버튼(예를 들면 화면 상의 'GY 시스템' 버튼) 클릭시 도 2b에 예시된 바와 같이 시간대별로 구분된 방문객수 및 단골고객수 정보를 구체적으로 표출하도록 포스 단말기의 메뉴를 관리한다.
매니저 관리부(190)는 포스단말기(10)의 실시간 매출정보를 수집하여 영상 분석부(120)에서 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 대기시간 산출부(160)에서 산출된 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송한다.
데이터베이스(200)는 포스단말기(10) 및 지능형 영상분석 및 매장 관리서버(100)를 통해 등록되는 고객정보와 광고 컨텐츠정보, 및 포스단말기(10)에서 처리되는 매출정산에 관련된 고객별 구매정보와 쿠폰정보와 마일리지정보, 제1영상 촬영부(30)에서 처리되고 리턴되는 고객별 쿠폰 발행정보 및 마일리지 누적정보를 저장한다.
도 3a와 도 3b는 본 발명에 따른 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적과정을 설명하기 위하여 예시한 동작 흐름도이고, 도 4a 내지 도 4d는 본 발명에서 이루어지는 객체의 진행방향과 코의 위치를 이용한 객체 추적과정을 좀더 상세히 설명하기 위하여 예시한 참고도로서, 본 발명에 따른 객체 추적방법은 얼굴 검출단계(a), 얼굴 매칭단계(b), 코위치 추적단계(c), 및 시선위치 파악 및 시간 산출단계(d)를 포함하여 이루어질 수 있으며, 이러한 본 발명의 객체 인식 및 시선 추적방법은 도 1과 같이 매장 내에 설치된 제1영상 촬영부(30) 및 제2영상 촬영부(40)와 네트워크를 통해 연결되어 매장 내 방문객의 영상을 실시간 수집 및 분석하는 지능형 영상분석 및 매장 관리서버(100)를 매장 내 매출정산을 위한 포스단말기(10)와 연결하여 상기 지능형 영상분석 및 매장 관리서버(100)에 의해 포스단말기(10)를 통합 운용하는 통합 매장관리시스템에서, 상기 지능형 영상분석 및 매장 관리서버(100)에 의해 수행될 수 있다.
얼굴 검출단계(a)는 영상 수집부를 통해 수집된 매장 내 방문객 영상정보로부터 실시간 영상 프레임을 획득하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 단계로서, 영상 수집부(110)에서 실시간 수집되는 방문객의 영상정보를 각도 테스트 처리하여 실시간 영상 프레임을 획득하는 단계(S121,S122), 획득된 영상 프레임 간의 차이를 미리 설정된 임계치와 비교하여 영상 프레임 간의 차이가 임계치 이하인 영상 프레임에 대해 adaboost 얼굴 검출 알고리즘을 적용하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 단계(S123-S125)를 포함하여 이루어질 수 있다.
얼굴 매칭단계(b)는 얼굴 검출단계(a)에서 검출된 객체의 얼굴영역에서 방문객의 성별과 연령대를 구분하고, 단골고객 여부를 확인하여 매장 내 방문객수와 단골고객수의 산출 및 포스단말기에 표출할 단골 고객정보를 확정하는 단계로서, 얼굴 검출단계(a)에서 검출된 객체의 얼굴영역에 탬플릿 매칭 알고리즘을 적용하여 얼굴 여부를 인식하고 방문객수를 카운트하는 단계(S126), 데이터베이스의 고객 영상정보를 엑세스하는 단계(S127), 얼굴 여부가 인식된 얼굴영역과 데이터베이스에서 엑세스된 고객 영상정보와의 얼굴 매칭을 통해 방문객의 성별과 연령대를 구분하고 단골고객 여부를 확인하여 단골고객수를 카운트하는 단계(S128,S129), 및 카운트된 매장 내 방문객수와 단골고객수를 시간별/일별/월별/분기별/연별 등의 시간대별로 각각 구분하여 산출하고 포스단말기에 표출할 단골 고객정보를 확정하는 단계(S130)를 포함하여 이루어질 수 있다.
코위치 추적단계(c)는 얼굴 검출단계(a)에서 매장 내 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체와 얼굴 추적 및 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 단계로서, 얼굴 검출단계(a)에서 매장 내 방문객의 영상정보를 각도 테스트 처리하여 획득한 실시간 영상 프레임에서 객체의 몸체 움직임을 추적하여 객체의 얼굴을 추적하는 단계(S141,S142), 추적된 얼굴 영역 내 영상에서의 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 단계(S143-S145)를 포함하여 이루어질 수 있다.
시선위치 파악 및 시간 산출단계(d)는 코위치 추적단계(c)에서 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하여 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 산출하는 단계로서, 코위치 추적단계(c)에서 추적된 얼굴영역 내의 코의 위치좌표로 매장 내 표출 중인 광고 또는 전시 상품의 위치에 대한 객체의 시선위치를 파악하는 단계(S146), 광고 또는 전시 상품의 위치와 객체의 시선위치 간의 일치(고정)여부를 확인하는 단계(S147), 및 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치되는 시간 동안의 객체의 시선위치 고정시간정보를 카운트하여 산출하는 단계(S148)를 포함하여 이루어질 수 있다.
이상과 같이 구성되는 본 발명에 따른 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법의 동작 및 그에 의한 작용 효과를 설명하면 다음과 같다.
먼저 얼굴 검출단계(a)에서, 지능형 영상분석 및 매장 관리서버(100)의 영상 분석부(120)는 도 3a의 동작 흐름도에 예시된 바와 같이, 얼굴 인식을 위한 변수들의 초기화(S121)를 수행하고, 영상 수집부(110)에서 실시간 수집되는 방문객의 영상정보로부터 enhanced face detection 기술을 사용하여 다수 각도 테스트(예를 들면 원래의 영상으로부터 5, 10, 15, 20, 25, 30 degree 각각 회전)를 거쳐 다수 개의 영상 프레임(도 4a 참조)을 실시간 획득(S122)함으로써, 획득된 얼굴 사진의 각도가 크거나 방해물이 있을 때에도 얼굴 검출이 가능하도록 하고, 이후 영상 프레임 간의 차이값과 미리 설정된 임계치를 비교(S123)하여 영상 프레임 간의 차이값이 미리 설정된 임계치보다 크지 않은(S123의 Y분기) 영상 프레임들에 대해 adaboost(Adaptive Boosting) 얼굴 검출 알고리즘을 적용(S124)하여 영상 프레임에서 얼굴 영역이 검출되는지를 확인(S125)한다.
다음으로 얼굴 매칭단계(b)에서, 지능형 영상분석 및 매장 관리서버(100)의 영상 분석부(120)는, 얼굴 영역 확인단계(S125)에서 얼굴 영역이 검출되는 영상 프레임에 대해 탬플릿 매칭 알고리즘을 적용(도 4b 참조)하여 얼굴 여부를 인식하고 방문객수 카운트값을 증가(S126)시키며, 이후 데이터베이스(200)의 고객 영상정보를 엑세스(S127)하여 상기 인식된 얼굴과의 비교를 통해 얼굴 매칭 여부를 판단(S128)하고, 얼굴 매칭이 이루어진 경우(S128의 Y분기) 영상 프레임에 포함된 방문객의 성별(남/여)과 연령대를 구분함과 아울러 단골고객 여부를 확인하여 단골고객수를 카운트(S129)하며, 상기 방문객수 카운트값과 단골고객수 카운트값을 시간대별로 각각 분리하여 매장 내 시간별/일별/월별/분기별/연별 방문객수와 단골고객수로 각각 구분하여 산출하고, 포스단말기(10)에 표출할 단골 고객정보를 확정(S130)한다. 특히 여기서 탬플릿 매칭 알고리즘에서는 검출된 얼굴 영역의 영상을 데이터베이스에 기저장되어 있는 고객의 얼굴 영상과 비교하여 가장 유사한 얼굴 영상을 매칭시키는 방법을 사용하게 되며, 얼굴 중에서도 눈과 코와 입의 위치 및 크기를 분석하여 기 저장되어 있는 얼굴 사진과 비교한다.
다음으로 코위치 추적단계(c)에서, 지능형 영상분석 및 매장 관리서버(100)의 영상 분석부(120)는 도 3b의 동작 흐름도에 예시된 바와 같이, 상기 얼굴 검출단계(a)에서 매장 내 방문객의 영상정보를 각도 테스트 처리하여 획득한 실시간 영상 프레임(도 4a 참조)으로부터 객체의 몸체 움직임을 추적(S141)하여 객체의 진행방향에 따른 객체의 얼굴(도 4c 및 도 4d 참조)을 추적(S142)하고, 추적된 얼굴 영역 내에서의 머리 움직임을 추적(S143) 및 분석(S144)하여 도 4c의 정면 얼굴 좌표(c1)(또는 도 4d의 정면 얼굴 영상(f1))의 코의 위치를 중심으로 각 방향 얼굴(도 4c의 (c2) 내지 (c10), 또는 도 4d의 (f2) 내지 (f10) 참조)에 대한 코의 위치좌표를 추적(S145)한다.
마지막으로 시선위치 파악 및 시간 산출단계(d)에서, 지능형 영상분석 및 매장 관리서버(100)의 영상 분석부(120)는 코위치 추적단계(c)에서 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선이 머무는 위치(객체의 시선위치)를 파악(S146)하고, 매장 내 표출중인 광고 또는 전시 상품의 위치에 대한 객체의 시선위치가 일치(고정)되는지의 여부를 확인(S147)하여 일치 여부가 확인되면 광고 또는 전시 상품의 위치와 일치된 객체의 시선위치가 고정되는 시간정보(객체의 시선위치 고정시간정보)를 카운트하여 산출(S148)한다. 이때 영상 분석부(120)에서 객체의 시선 위치를 추적하는 방법은 도 4b에 예시된 바와 같이, 객체의 진행방향 추적을 통해 획득한 객체의 정면 영상에 태플릿 알고리즘을 적용하여 코의 위치좌표를 추적하여 기준점을 설정하며, 머리 움직임의 추적(S143) 및 분석(S144)을 통해 도 4c 및 도 4d에 예시된 바와 같이 얼굴 영역 내에서 수집되는 객체의 코의 움직인 영역을 파악(S145)하여 기준점과의 비교를 통해 객체의 시선위치를 파악(S146)한다.
이로써 본 발명의 통합 매장관리시스템에서는 각 영상 촬영부(30,40)에서 촬영된 영상정보를 지능형 영상분석 및 매장 관리서버(100)가 실시간 수집 및 분석하여 객체의 얼굴 인식과 움직임 추적 및 카운팅을 통해 영상정보에 포함된 객체의 남/녀 구분 및 연령대를 파악하고 그에 따라 매장 내 제1영상 촬영부(30)에 맞춤광고를 표출할 수 있게 되며, 아울러 객체의 몸체와 얼굴을 추적하고 머리 움직임의 추적 및 분석을 통해 객체의 진행방향과 얼굴영역 내에서의 코의 위치를 추적하여 객체의 시선위치를 파악하여 표출중인 광고 또는 전시중인 상품에 대한 객체의 시선 고정여부 및 시선 고정시간에 따른 광고 또는 상품 시청량을 수치화할 수 있게 된다.
또한 본 발명의 통합 매장관리시스템에서는 지능형 영상분석 및 매장 관리서버(100)가 제1영상 촬영부(30)에서 전송되는 고객의 스마트폰 단말기(20)의 정보에 대응하는 고객의 쿠폰정보 및 마일리지정보를 고객 데이터베이스(200)에서 검색하여 리턴시키고, 객체 카운팅을 통해 매장 내 방문객수와 단골고객수를 시간대별(시간별/일별/월별/분기별/연별)로 각각 구분하여 카운트하며, 매장 내 주문과 결제를 위한 대기열의 실시간 대기시간정보를 산출하여 제공할 수 있게 된다. 이로써 매장 내 관계자는 포스단말기에서 제공하는 매출정산정보와 매장 내 방문객수 및 단골고객수를 손쉽게 비교할 수 있게 되므로, 매장을 효율적으로 관리할 수 있게 한다.
또한 본 발명의 통합 매장관리시스템에서는 지능형 영상분석 및 매장 관리서버(100)가 데이터베이스(200)에 기저장된 고객정보를 기초로 단골고객 방문여부를 판단하여 단골고객 방문 확인시 단골고객의 방문을 알리는 알림정보, 또는 단골고객의 구매관련정보와 해당 고객의 방문을 알리는 알림정보를 매장 내 포스단말기(10)에 표출하거나 또는 직원을 포함한 관계자의 기등록된 스마트폰단말기(50)에 SMS 또는 SNS로 전달하며, 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보를 매장 내 포스단말기(10)에 전송하여 표출하고, 포스단말기(10)의 매출정보를 수집하여 카운트된 시간대별 매장 내 방문객수와 단골고객수 정보 및 대기열의 실시간 대기시간정보와 함께 기등록된 관계자의 스마트폰 단말기(50)에 전송할 수 있게 된다.
이상과 같은 본 발명은, 매장 내 다수의 태블릿 PC의 웹캠 또는 CCTV 카메라를 통해 영상을 수집 및 분석할 수 있는 지능형 영상분석(얼굴인식/움직임추적/객체카운팅) 시스템을 전문프렌차이즈 등의 매장 내 포스단말기와 연동시켜 매장 내 실시간 방문객수와 단골고객수를 카운트하고 매장 내 포스단말기의 매출정보와 비교 가능한 시간대별(시간별, 일별, 월별, 연별) 분석정보를 포스단말기 또는 관계자의 스마트폰 단말기에 제공할 수 있게 되므로, 직원 또는 매장 관리자로 하여금 매장 운영에 따른 장점 및 단점, 또는 매출 부진의 원인파악이나 분석, 고객의 응대 또는 관리의 효율성 등을 보다 효율적으로 비교하고 판단할 수 있게 하는 이점이 있다.
또한 본 발명에 의하면, 고객의 매장 내 광고 시청 여부를 정량적으로 파악하여 수치화하여 제공하게 되므로, 직원 또는 관계자로 하여금 매장 내 광고 컨텐츠의 적정성이나 정량적인 효과 등을 용이하게 판단할 수 있게 하는 이점이 있다.
또한 본 발명은 결제 또는 주문을 위한 대기열의 주문 대기시간을 산출하여 제공함으로써 직원의 동선 결정 또는 충원 결정에 반영할 수 있게 하는 이점이 있으며, 아울러 단골고객 방문시 직원 또는 관계자에게 방문 알림 SMS 또는 SNS를 발송함으로써 새로운 직원이나 아르바이트 직원이 업무 중에도 쿠폰 발급 및 마일리지 적립 등의 단골고객 관련 업무 처리 및 응대를 신속하고 효율적으로 수행할 수 있게 하여, 매장 운영의 효율성을 향상시킬 수 있는 이점이 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 포스 단말기 20 : 고객 스마트폰 단말기
30 : 제1영상 촬영부 31 : 웹캠
32 : 근거리 무선통신부 33 : 유선 또는 무선 통신 모듈부
40 : 제2영상 촬영부 50 : 관계자 스마트폰단말기
100 : 지능형 영상분석 및 매장 관리서버
110 : 영상 수집부 120 : 영상 분석부
130 : 광고 제어부 140 : 광고시청량 수치화부
150 : 리워드 관리부 160 : 대기시간 산출부
170 : 단골고객 방문 알림부 180 : 포스단말기 메뉴 관리부
190 : 매니저 관리부 200 : 데이터베이스
30 : 제1영상 촬영부 31 : 웹캠
32 : 근거리 무선통신부 33 : 유선 또는 무선 통신 모듈부
40 : 제2영상 촬영부 50 : 관계자 스마트폰단말기
100 : 지능형 영상분석 및 매장 관리서버
110 : 영상 수집부 120 : 영상 분석부
130 : 광고 제어부 140 : 광고시청량 수치화부
150 : 리워드 관리부 160 : 대기시간 산출부
170 : 단골고객 방문 알림부 180 : 포스단말기 메뉴 관리부
190 : 매니저 관리부 200 : 데이터베이스
Claims (5)
- 매장 내에 설치된 제1영상 촬영부(30) 및 제2영상 촬영부(40)와 네트워크를 통해 연결되어 매장 내 방문객의 영상을 실시간 수집 및 분석하는 지능형 영상분석 및 매장 관리서버(100)를 매장 내 매출정산을 위한 포스단말기(10)와 연결하여 상기 지능형 영상분석 및 매장 관리서버(100)에 의해 포스단말기(10)를 통합 운용하는 통합 매장관리시스템에서, 상기 지능형 영상분석 및 매장 관리서버(100)에 의해 수행되는 객체 추적방법에 있어서,
(a) 영상 수집부를 통해 수집된 매장 내 방문객 영상정보로부터 실시간 영상 프레임을 획득하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 얼굴 검출단계;
(b) 상기 얼굴 검출단계(a)에서 검출된 객체의 얼굴영역에서 방문객의 성별과 연령대를 구분하고, 단골고객 여부를 확인하여 매장 내 방문객수와 단골고객수의 산출 및 포스단말기에 표출할 단골 고객정보를 확정하는 얼굴 매칭단계;
(c) 상기 얼굴 검출단계(a)에서 매장 내 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체와 얼굴 추적 및 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 코위치 추적단계; 및
(d) 상기 코위치 추적단계(c)에서 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하여, 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 산출하는 시선위치 파악 및 시간 산출단계;를 포함하여 이루어지되,
상기 얼굴 검출단계(a)는,
영상 수집부에서 실시간 수집되는 방문객 영상정보를 각도 테스트 처리하여 실시간 영상 프레임을 획득하는 단계;
획득된 영상 프레임 간의 차이를 미리 설정된 임계치와 비교하여 영상 프레임 간의 차이가 임계치 이하인 영상 프레임에 대해 adaboost 얼굴 검출 알고리즘을 적용하여 영상정보에 포함된 객체의 얼굴영역을 검출하는 단계;를 포함하고,
상기 얼굴 매칭단계(b)는,
상기 얼굴 검출단계(a)에서 검출된 객체의 얼굴영역에 탬플릿 매칭 알고리즘을 적용하여 얼굴 여부를 인식하고 방문객수를 카운트하는 단계;
데이터베이스의 고객 영상정보를 엑세스하는 단계;
상기 얼굴 여부가 인식된 얼굴영역과 데이터베이스에서 엑세스된 고객 영상정보와의 얼굴 매칭을 통해 방문객의 성별과 연령대를 구분하고 단골고객 여부를 확인하여 단골고객수를 카운트하는 단계; 및
상기 카운트된 매장 내 방문객수와 단골고객수를 시간별/일별/월별/분기별/연별로 각각 구분하여 산출하고 포스단말기에 표출할 단골 고객정보를 확정하는 단계;를 포함하며,
상기 코위치 추적단계(c)는,
상기 얼굴 검출단계(a)에서 방문객 영상정보로부터 획득한 실시간 영상 프레임에서 객체의 몸체 움직임을 추적하여 객체의 얼굴을 추적하는 단계;
추적된 얼굴 영역 내 영상에서의 머리 움직임을 추적 및 분석하여 얼굴 영역 내에서의 코의 위치좌표를 추적하는 단계;를 포함하고,
상기 시선위치 파악 및 시간 산출단계(d)는,
상기 코위치 추적단계(c)에서 추적된 얼굴영역 내의 코의 위치좌표로 객체의 시선위치를 파악하는 단계;
매장 내에 표출중인 광고 또는 전시 상품의 위치와 객체의 시선위치 간의 일치여부를 확인하는 단계; 및
상기 광고 또는 전시 상품의 위치와 객체의 시선위치가 일치된 객체의 시선위치 고정시간정보를 카운트하여 산출하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160001531A KR101779096B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160001531A KR101779096B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170082299A KR20170082299A (ko) | 2017-07-14 |
| KR101779096B1 true KR101779096B1 (ko) | 2017-09-18 |
Family
ID=59358594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160001531A KR101779096B1 (ko) | 2016-01-06 | 2016-01-06 | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101779096B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190063516A (ko) | 2017-11-30 | 2019-06-10 | 곽근규 | 온라인 주문시스템을 강화한 매장관리서버 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102077805B1 (ko) * | 2018-11-26 | 2020-02-14 | (주)에이텐시스템 | 다중 센서를 이용한 구매 행동 패턴 분석 장치 및 이의 동작방법 |
| US11941604B2 (en) | 2018-12-17 | 2024-03-26 | Hanwha Vision Co., Ltd. | Automatic payment system |
| US20220060617A1 (en) * | 2018-12-17 | 2022-02-24 | Hanwha Techwin Co., Ltd. | Camera control device and method to process captured image using at least one camera |
| KR20200107619A (ko) * | 2019-03-08 | 2020-09-16 | 삼성전자주식회사 | 응대 방법을 제공하는 전자 장치 및 그의 동작 방법 |
| KR102374861B1 (ko) * | 2019-05-07 | 2022-03-17 | 주식회사 엘토브 | O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 |
| US11756339B2 (en) * | 2020-02-21 | 2023-09-12 | Nec Corporation | Video analytics system for dwell-time determinations |
| KR102250504B1 (ko) * | 2020-03-19 | 2021-05-11 | (주)엑스엠디 | 다양한 사물인터넷장치를 이용하여 오프라인 매장의 방문고객을 식별하고 고객맞춤형 접객정보를 제공하는 오프라인 매장접객 시스템 |
| KR102322310B1 (ko) * | 2020-12-04 | 2021-11-08 | 이경세 | 스토어 출입자를 기초로 하는 광고 장치 및 광고 방법 |
| KR102610494B1 (ko) * | 2020-12-31 | 2023-12-06 | 주식회사 메이아이 | 엣지 컴퓨팅 환경에서 영상에 기초하여 방문객을 분석하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| KR102632995B1 (ko) * | 2023-03-23 | 2024-02-02 | 네모시스템(주) | 빅데이터 분석으로 커스터마이징한 상품을 추천하는 인공지능 기반의 매장 내 상품 판매 가이드 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101216123B1 (ko) * | 2011-07-08 | 2012-12-27 | 김호 | 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치 |
| KR101224879B1 (ko) * | 2012-07-04 | 2013-02-05 | 김민정 | 얼굴인식을 이용한 매장관리시스템 및 방법 |
-
2016
- 2016-01-06 KR KR1020160001531A patent/KR101779096B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101216123B1 (ko) * | 2011-07-08 | 2012-12-27 | 김호 | 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치 |
| KR101224879B1 (ko) * | 2012-07-04 | 2013-02-05 | 김민정 | 얼굴인식을 이용한 매장관리시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190063516A (ko) | 2017-11-30 | 2019-06-10 | 곽근규 | 온라인 주문시스템을 강화한 매장관리서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170082299A (ko) | 2017-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101779094B1 (ko) | 지능형 영상분석 기술을 이용한 통합 매장관리시스템 | |
| KR101779096B1 (ko) | 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법 | |
| US20110199486A1 (en) | Customer behavior recording device, customer behavior recording method, and recording medium | |
| CN107291732B (zh) | 一种信息推送方法及装置 | |
| CN110033298B (zh) | 信息处理设备及其控制方法、***和存储介质 | |
| CN109726759B (zh) | 无人售货方法、装置、***、电子设备及计算机可读介质 | |
| US7267277B2 (en) | Method and system for targeted marketing by leveraging video-based demographic insights | |
| JP3800257B2 (ja) | 注目情報計測方法及び装置並びにそれを用いた各種システム | |
| US20150208043A1 (en) | Computer system and method for managing in-store aisle | |
| CN108876504B (zh) | 一种无人售卖***及其控制方法 | |
| CN105164619B (zh) | 检测注视用户以在显示器上提供个性化内容 | |
| US20130030875A1 (en) | System and method for site abnormality recording and notification | |
| US11810067B2 (en) | Digitally managed shelf space marketplace | |
| US20130328765A1 (en) | Signage system and display method by the same | |
| JP2017033401A (ja) | 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法 | |
| CN114365175A (zh) | 店铺利用信息分发装置、具备该店铺利用信息分发装置的店铺利用信息分发***以及店铺利用信息分发方法 | |
| US11488315B2 (en) | Visual and geolocation analytic system and method | |
| US20240112135A1 (en) | Dynamic Product Marketing Through Computer Vision | |
| AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
| CN111784405A (zh) | 基于人脸智能识别knn算法的线下门店智能导购方法 | |
| KR102077630B1 (ko) | Pos 및 영상 기반의 상권 분석 시스템 및 방법 | |
| CN113887884A (zh) | 商超服务*** | |
| JP2017130061A (ja) | 画像処理システム、画像処理方法およびプログラム | |
| WO2022023831A1 (en) | Smart display application with potential to exhibit collected outdoor information content using iot and ai platforms | |
| Kim et al. | Interest recommendation system based on dwell time calculation utilizing azure face API |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |