CN109255642B - 人流分析方法、人流分析装置以及人流分析*** - Google Patents

人流分析方法、人流分析装置以及人流分析*** Download PDF

Info

Publication number
CN109255642B
CN109255642B CN201810734783.4A CN201810734783A CN109255642B CN 109255642 B CN109255642 B CN 109255642B CN 201810734783 A CN201810734783 A CN 201810734783A CN 109255642 B CN109255642 B CN 109255642B
Authority
CN
China
Prior art keywords
store
person
image
stores
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810734783.4A
Other languages
English (en)
Other versions
CN109255642A (zh
Inventor
西川由理
小泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Publication of CN109255642A publication Critical patent/CN109255642A/zh
Application granted granted Critical
Publication of CN109255642B publication Critical patent/CN109255642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供能够用简易的构成高精度地判断人物所光临的店铺的顺序的人流分析方法、人流分析装置以及人流分析***。人流分析装置(1)具备：图像信息取得部(11)，其取得人物的外观图像；人物辨识部(12)，其从外观图像中辨识人物；店铺推定部(13)，其从外观图像中确定人物所拥有的所有物，根据所确定的所有物来推定取得所有物的店铺；数据库(15)，其将表示辨识出的人物的人物信息、表示推定出的店铺的店铺信息与表示取得外观图像的时刻的时刻信息相关联而存储；以及光临顺序判断部(16)，其基于存储于数据库(15)的店铺信息所表示的店铺的时间序列上的变化，判断人物所光临的店铺的顺序。

Description

人流分析方法、人流分析装置以及人流分析***
技术领域
本公开涉及分析人的流动(移动)的人流分析方法、人流分析装置以及具备该人流分析装置的人流分析***。更具体而言，本公开例如涉及判断人物以哪一顺序在店铺中进行了移动的人流分析方法、人流分析装置以及具备该人流分析装置的人流分析***。
背景技术
近年来，建设了很多同时设有(并设有)许多店铺的购物中心等商业设施，用户能够从许多店铺购买(购入)各种商品。在这种商业设施或者各个店铺中，为了掌握用户的消费动向，进而使销量增加，通过调查用户是以怎样的顺序巡回于怎样的店铺而购买了商品，进行了分析人的流动的人流分析。
关于上述的人流分析，例如专利文献1中公开了：动线(人的流动路线)管理***具备注册面部(人脸)图像的注册者数据库、从在多个拍摄区域拍摄到的图像中检测面部图像的面部检测引擎、以及将通过面部检测引擎检测出的面部图像与注册于注册者数据库的面部图像进行对照的面部认证引擎，算出/记录映现于在多个拍摄区域拍摄到的图像的到店顾客的动线。
另外，专利文献2中公开了信息收集***，其包括与按照各店铺的区划设定了通信范围的近距离无线通信的接入点(access point)连接的信息处理终端和信息处理***，信息处理终端包括：入店信息发送部，其响应于从进入设置于店铺的接入点的通信范围的利用顾客的便携终端取得了用户辨识信息这一情况，将利用顾客的入店信息发送给信息处理***；以及出店信息发送部，其响应于在与便携终端之间确立的近距离无线通信的断开，将利用顾客的出店信息发送给信息处理***，信息处理***包括：入店信息记录部，其记录入店信息；出店信息记录部，其记录出店信息；以及行动历史记录信息生成部，其基于各利用顾客的入店信息和出店信息来生成行动历史记录信息。
现有技术文献
专利文献1：日本特开2010-55594号公报
专利文献2：日本特开2016-177539号公报
发明内容
发明所要解决的问题
然而，在上述的现有技术中，完全没有对人物所拥有的所有物进行研究，关于分析人物所光临(到店)的店铺的顺序的方法，需要进一步的改善。
本公开是为了解决上述问题而做出的，其目的在于提供能够用简易的构成高精度地判断人物所光临的店铺的顺序的人流分析方法、人流分析装置以及人流分析***。
用于解决问题的技术方案
本公开的一个技术方案涉及的人流分析方法，是人流分析装置中的人流分析方法，包括：取得人物的外观图像，从所述外观图像中辨识所述人物，从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，将人物信息、店铺信息与时刻信息相关联地存储于存储部，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序。
发明效果
根据本公开，能够用简易的构成高精度地判断人物所光临的店铺的顺序。
附图说明
图1是表示本公开的实施方式1涉及的人流分析***的构成的一例的框图。
图2是表示人物图像的按时间序列的变化的一例的示意图。
图3是表示图1所示的摄像头的配置例的图。
图4是表示图1所示的人流分析装置的构成的一例的框图。
图5是用于说明人物所拥有的所有物的变化的一例的示意图。
图6是表示图4所示的图像信息取得部制作的图像文件表的一例的图。
图7是表示图4所示的人物辨识部使用的人物辨识用表的一例的图。
图8是表示图4所示的店铺推定部使用的店铺推定用表的一例的图。
图9是表示图4所示的光临顺序判断部使用的店铺表的一例的图。
图10是表示图4所示的数据库所保存的光临顺序推定表的一例的图。
图11是用于说明人物所拥有的所有物的变化的另一例的示意图。
图12是表示图4所示的数据库所保存的光临顺序推定表的另一例的图。
图13是表示图4所示的光临顺序判断部制作的合并店铺表的一例的图。
图14是表示图1所示的人流分析***进行的人流分析处理的一例的时序图。
图15是表示本公开的实施方式2涉及的人流分析***的人流分析装置的构成的一例的框图。
图16是表示图15所示的人物组(group)辨识部制作的人物组表的一例的图。
图17是表示图15所示的数据库所保存的光临顺序推定表的一例的图。
图18是表示本公开的实施方式2涉及的人流分析***进行的人流分析处理的一例的时序图。
图19是表示在使用拍摄人物的摄像头以及拍摄所有物的摄像头的情况下的第1配置例的示意图。
图20是人物携带着货物袋的(购物袋、物品袋)情况下的侧视图。
图21是人物携带着货物袋的情况下的主视图。
图22是表示在使用拍摄人物的摄像头以及拍摄所有物的摄像头的情况下的第2配置例的示意图。
图23是表示货物袋的手持部分的第1例以及本例的货物袋的拿法的示意图。
图24是表示货物袋的手持部分的第2例以及本例的货物袋的拿法的示意图。
图25是表示货物袋的手持部分的第3例以及本例的货物袋的拿法的示意图。
图26是表示贴于货物袋的粘贴部件的第1例的图。
图27是表示贴于货物袋的粘贴部件的第2例的图。
图28是示出表示商品的种类与粘贴部件的颜色之间的对应关系的第1色彩信息表的一例的图。
图29是示出表示商品的价格与粘贴部件的颜色浓度之间的对应关系的第2色彩信息表的一例的图。
图30是表示由图19所示的拍摄货物袋的外观图像的摄像头拍摄到的外观图像的一例的图。
图31是表示附加有条形码的粘贴部件的一例的图。
标号说明
1、1a人流分析装置；2、21～2n多个摄像头；3显示器；11图像信息取得部；12人物辨识部；13店铺推定部；14时刻信息取得部；15数据库；16光临顺序判断部；17通信部；18组判断部；19组图像切取部；20人物组辨识部。
具体实施方式
(成为本公开的基础的见解)
在上述的专利文献1中，监控摄像头配置于多个拍摄区域(例如正门、化妆品区、杂货区、女装区、边门等)，拍摄位于该拍摄区域的到店顾客从而取得图像。因此，在同时设有许多店铺的商业设施中，需要按每个店铺或者销售区配置监控摄像头。因此，需要使用许多监控摄像头，动线管理***的构成变得复杂。
另外，在专利文献2中，也由于使用了设置于店铺的接入点，因而在同时设有许多店铺的商业设施中，需要按每个店铺或者销售区配置接入点。因此，需要使用许多接入点，信息收集***的构成变得复杂。
另外，在专利文献1中，通过从拍摄到的图像中检测面部图像并与注册于注册者数据库的面部图像对照，从而算出及记录映现于在多个拍摄区域拍摄到的图像中的到店顾客的动线。然而，在人物的面部没有被拍摄得足以能进行确定的情况下，仅通过面部图像并不能准确地辨识人物，无法准确地判断人物所光临的店铺的顺序。
另一方面，在到店顾客购买商品等时由店铺给的货物袋(包括袋子、包装纸等)上描画有店铺名和/或品牌名，因此在购买商品等后，到店顾客会携带着货物带作为所有物。因此，通过识别人物所携带的货物袋，并取得与相同人物在刚刚之前拿的货物袋的差异，从而可知晓人物以哪一顺序在店铺间进行了移动。如此，通过利用人物的所有物，能够准确地判断人物所光临的店铺。
基于上述见解，本申请发明人用心对如何能够用简易的构成高精度地判断人物所光临的店铺的顺序进行了研究，其结果，着眼于人物所拥有的所有物，完成了本公开。
本公开的一个技术方案涉及的人流分析方法，是人流分析装置中的人流分析方法，包括：取得人物的外观图像，从所述外观图像中辨识所述人物，从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，将人物信息、店铺信息与时刻信息相关联地存储于存储部，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序。
通过这种构成，取得人物的外观图像，从取得的外观图像中辨识人物，并且从取得的外观图像中确定人物所拥有的所有物，根据所确定的所有物来推定取得所有物的店铺，将表示辨识出的人物的人物信息、表示推定出的店铺的店铺信息与表示取得外观图像的时刻的时刻信息相关联地存储于存储部，基于存储于存储部的店铺信息所表示的店铺的时间序列上的变化，判断人物所光临的店铺的顺序。
因此，无需按每个店铺来配置拍摄外观图像的摄像头，而能够从人物的外观图像中确定所有物，并根据确定出的所有物准确地推定取得所有物的店铺，所以能够将推定出的店铺的时间序列上的变化、例如新追加的店铺判断为是下一光临的店铺。其结果，能够用简易的构成高精度地判断人物所光临的店铺的顺序。
也可以为，所述所有物包括在所述店铺取得的货物袋。
通过这种构成，由于在店铺取得的货物袋具有能够辨识该店铺的标章、色彩、形状等，因此能够根据货物袋准确地推定取得该货物袋的店铺，能够更高精度地判断人物所光临的店铺的顺序。
也可以为，所述货物袋具有用于辨识所述店铺的标章，所述推定中，基于所述货物袋具有的所述标章，推定取得所述货物袋的店铺。
通过这种构成，基于货物袋所具有的用于辨识店铺的标章，推定取得货物袋的店铺，因此能够更准确地推定人物所光临的店铺。
也可以为，所述判断中，算出第1店铺列表信息与第2店铺列表信息的差异，基于所述差异，判断所述人物所光临的店铺的顺序，所述第1店铺列表信息表示根据在第1时刻所述人物所拥有的所述所有物推定出的店铺的一览，所述第2店铺列表信息表示根据在所述第1时刻之后的第2时刻所述人物所拥有的所述所有物推定出的店铺的一览。
通过这种构成，算出表示根据在第1时刻人物所拥有的所有物推定出的店铺的一览的第1店铺列表信息、与表示根据在第1时刻之后的第2时刻人物所拥有的所有物推定出的店铺的一览的第2店铺列表信息之间的差异，基于算出的差异，判断人物所光临的店铺的顺序，因此，能够在算出的差异表示新追加的店铺的情况下将新追加的店铺判断为是下一光临的店铺。
也可以为，所述判断中，在所述第1店铺列表信息所表示的店铺中有不符合所述第2店铺列表信息所表示的店铺的消失店铺的情况下，判断为在所述消失店铺取得的所述所有物被合并到了在所述第2店铺列表信息所表示的店铺取得的所述所有物中的某一方。
通过这种构成，在第1店铺列表信息所表示的店铺中有不符合第2店铺列表信息所表示的店铺的消失店铺的情况下，判断为在消失店铺取得的所有物被合并到了在第2店铺列表信息所表示的店铺取得的所有物中的某一方，因此，在人物将小的所有物放入大的所有物之中、店铺列表信息的店铺中没有根据小的所有物推定出的店铺的情况下，也能够通过判断为小的所有物被放入了在店铺列表信息的某个店铺中取得的大的所有物，并从此后的差异中将取得小的所有物的店铺排除，从而准确地将新追加的店铺判断为是下一光临的店铺。
也可以为，所述取得中，取得包含多个人物的多人物外观图像，所述辨识中，根据所述多人物外观图像判断所述多个人物是否为同一组，从所述多人物外观图像中切取(截取)包含判断为所述同一组的所述多个人物的组图像，从所述组图像中辨识所述同一组的所述多个人物，所述推定中，从所述组图像中确定所述同一组的所述多个人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，所述存储中，将组信息、店铺信息与时刻信息相关联地存储于所述存储部，所述组信息表示所述同一组的所述多个人物，所述店铺信息表示根据所述同一组的所述多个人物所拥有的所述所有物推定出的所述店铺，所述时刻信息表示取得所述多人物外观图像的时刻，所述判断中，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述同一组所光临的店铺的顺序。
通过这种构成，取得包含多个人物的多人物外观图像，根据取得的多人物外观图像来判断多个人物是否为同一组，从多人物外观图像中切取包含判断为同一组的多个人物的组图像，从切取出的组图像中辨识同一组的多个人物，并且从切取出的组图像中确定同一组的多个人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺，将表示同一组的多个人物的组信息、表示根据同一组的多个人物所拥有的所有物推定出的店铺的店铺信息与表示取得多人物外观图像的时刻的时刻信息相关联地存储于存储部，基于存储于存储部的店铺信息所表示的店铺的时间序列上的变化，判断同一组所光临的店铺的顺序。
因此，在同一组的多个人物光临多个店铺、携带在各店铺中取得的所有物的人物在组内改变的情况下，也能够用简易的构成高精度地判断同一组所光临的店铺的顺序。
另外，也可以为，在所述取得中，在不同的时刻(timing)取得所述外观图像，在所述取得中，每当取得所述外观图像时，进行所述推定以及所述存储。
通过这种构成，每当取得所述外观图像时，所述人物信息、所述店铺信息与所述时刻信息相关联地存储于存储部。
因此，能够从存储部获得所述店铺信息所表示的店铺的时间序列上的变化。
另外，本公开不仅能够作为执行如上所述的特征性处理的人流分析方法而实现，而且也能够作为具备与人流分析方法所包含的特征性处理对应的特征性构成的人流分析装置、人流分析***等而实现。因此，在以下的其他技术方案中，也能够实现与上述的人流分析方法同样的效果。
本公开的另一技术方案涉及的人流分析装置，具备：图像信息取得部，其取得人物的外观图像；人物辨识部，其从所述外观图像中辨识所述人物；店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序。
也可以为，所述所有物包括在所述店铺取得的货物袋。
通过这种构成，由于在店铺取得的货物袋具有能够辨识该店铺的标章、色彩、形状等，因此能够根据货物袋准确地推定取得该货物袋的店铺，能够更高精度地判断人物所光临的店铺的顺序。
也可以为，还具备取得所述货物袋的外观图像的货物袋图像信息取得部，所述货物袋的外观图像的摄像区域是比所述人物的外观图像的摄像区域更靠近地面的部分。
通过这种构成，由图像信息取得部取得人物的外观图像，由货物袋图像信息取得部取得货物袋的外观图像，货物袋的外观图像的摄像区域是比人物的外观图像的摄像区域更靠近地面的部分，因此，能够高精度地实施对人物的确定和对货物袋的确定。
也可以为，还具备取得所述货物袋的外观图像的货物袋图像信息取得部，所述人物的外观图像是从上方拍摄所述人物而得到的图像，所述货物袋的外观图像是从侧方拍摄所述货物袋而得到的图像。
通过这种构成，由图像信息取得部取得人物的外观图像，由货物袋图像信息取得部取得货物袋的外观图像，人物的外观图像是从上方拍摄人物而得到的图像，货物袋的外观图像是从侧方拍摄货物袋而得到的图像，因此，能够高精度地实施对人物的确定和对货物袋的确定。
也可以为，所述货物袋的手持部分比人的上臂部小。
通过这种构成，货物袋的手持部分比人的上臂部小，所以使得不会将货物袋挂在肩膀上而是用手来拿。因此，货物袋的标章等离地面的距离成为一定距离，能够缩小货物袋的外观图像的摄像区域，能够使识别处理的性能提高。
也可以为，附加有与所述人物购买的商品有关的信息的粘贴部件附着(贴附)于所述货物袋。
通过这种构成，附加有与人物购买的商品有关的信息的粘贴部件附着于货物袋，因此，能够使货物袋具有与所购买的商品有关的信息。
也可以为，所述粘贴部件具有表示所述人物购买的商品的种类以及价格的色彩信息。
通过这种构成，粘贴部件具有表示人物购买的商品的种类以及价格的色彩信息，因此，能够根据粘贴部件的色彩信息来确定人物购买的商品的种类以及价格。
另外，本公开的另一技术方案涉及的人流分析***，具备：拍摄装置，其拍摄人物的外观图像；以及人流分析装置，所述人流分析装置具备：图像信息取得部，其取得由所述拍摄装置拍摄到的所述外观图像；人物辨识部，其从所述外观图像中辨识所述人物；店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序。
另外，也能够作为使计算机执行本公开的人流分析方法所包含的特征性处理的计算机程序而实现。而且，毫无疑问也可以经由CD-ROM等计算机可读取的非瞬时性的记录介质或者互联网等通信网络来使这种计算机程序流通。
此外，以下说明的实施方式均表示本公开的一个具体例。在以下的实施方式中表示的数值、形状、构成要素、步骤、步骤的顺序等为一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在所有的实施方式中，也能够组合各自的内容。另外，也可以作为使本公开的实施方式涉及的人流分析***或者人流分析装置的构成要素的一部分与除此以外的构成要素分散于多个计算机的***而构成。
以下，参照附图，对本公开的实施方式进行说明。
(实施方式1)
图1是表示本公开的实施方式1涉及的人流分析***的构成的一例的框图。图1所示的人流分析***具备人流分析装置1、多个摄像头21～2n以及显示器3。
人流分析装置1例如由具备处理器、存储器、通信装置以及外部存储装置等的云服务器等来构成，经由有线或者无线的网络4，以能够进行通信的方式与多个摄像头21～2n以及显示器3连接。
多个摄像头21～2n例如由能够对周围360度范围进行拍摄的全方位摄像头以及通信装置等来构成，设置于同时设有多个店铺的商业设施等的预定位置。摄像头21的拍摄例如在不同的时刻进行。所谓不同的时刻，例如也可以为每隔一定的时间间隔。这一点对于多个摄像头21～2n中除了摄像头21以外的摄像头也是同样的。多个摄像头21～2n分别从被设置的位置进行拍摄由此拍摄到访商业设施的人物的外观，获得与包含该人物的外观的图像对应的外观图像。在本实施方式中，作为一例，以外观图像包含一个人物的外观的情况为例进行说明。多个摄像头21～2n分别为拍摄装置的一例，经由网络4将拍摄到的外观图像发送给人流分析装置1。此外，摄像头21～2n的构成不特别限定于上述例子，只要能够拍摄人物的外观图像，可以使用各种拍摄装置。
人流分析装置1使用从多个摄像头21～2n中的某一个接收到的外观图像，判断人物以哪一顺序移动于店铺，经由网络4将表示人物的光临顺序的光临顺序信息等发送给显示器3。
显示器3例如由平板等构成，将从人流分析装置1接收到的光临顺序信息等显示给商业设施或者各店铺的经营者或者管理者等。此外，显示器3的构成不特别限定于上述例子，也可以使用智能手机、个人计算机等一个或者多个通信终端。
图2是表示人物图像的按时间序列的变化的一例的示意图。如图2所示，例如作为时刻13:10的人物图像，拍摄到人物P1，作为时刻14:15的人物图像，拍摄到携带货物袋B1的人物P1，作为时刻14:38的人物图像，拍摄到携带货物袋B1以及货物袋B2的人物P1。
如此，在购物中心等商业设施进行购物时，会被递交描画有店铺及品牌名等的货物袋，作为人物P1的所有物，在时刻14:15，增加了货物袋B1，在时刻14:38，增加了货物袋B2。因此，可知人物P1在13:10～14:15之间光临了买到货物袋B1的店铺，在14:15～14:38之间光临了买到货物袋B2的店铺。
在本实施方式中，如后所述，通过利用上述的货物袋B1、B2来判断人物所光临的店铺，因此，如下这样仅在商业设施中来往的人多的代表性的地方设置摄像头21～2n即可。
图3是表示图1所示的多个摄像头的配置例的图，在此表示使用两台摄像头21、22作为多个摄像头的例子。在图3所示的例子中，作为商业设施的某一楼层的店铺布局，例如在中央部设置有广场，以环绕广场的方式设置有通行路，店铺A～F这6个店铺配置成大致“コ”字状。
在该情况下，以往的动线管理***等的监控摄像头需要按每个店铺进行设置，因而不得不按店铺A～F以及广场各设置一台摄像头、即设置7台监控摄像头。
另一方面，在本实施方式中，如图3所示，摄像头21配置在能够对进入或离开店铺A～C以及广场的人物进行拍摄的位置，摄像头22配置在能够对进入或离开店铺D～F以及广场的人物进行拍摄的位置。摄像头21拍摄进入或离开店铺A～C以及广场的人物，将拍摄到的外观图像发送给人流分析装置1，摄像头22拍摄进入或离开店铺D～F以及广场的人物，将拍摄到的外观图像发送给人流分析装置1。因此，在本实施方式中，例如能够通过两台摄像头21、22拍摄人物的外观图像，使用该外观图像，准确地判断光临店铺A～F以及广场的人物的光临顺序。
如上所述，在以往的动线管理***等中需要7台监控摄像头，而在本实施方式中，无需按每个店铺来配置拍摄外观图像的摄像头，例如使用两台摄像头21、22，能够用简易的构成高精度地判断人物所光临的店铺的顺序。此外，上述的例子使用了两台摄像头21、22，但不特别限定于本例，也可以使用一台或者大于等于3台摄像头。
图4是表示图1所示的人流分析装置1的构成的一例的框图。如图4所示，人流分析装置1具备图像信息取得部11、人物辨识部12、店铺推定部13、时刻信息取得部14、数据库15、光临顺序判断部16以及通信部17。
通信部17每当经由网络4从多个摄像头21～2n中的某一个接收到外观图像时，将该图像输出给图像信息取得部11。图像信息取得部11每当从通信部17取得人物的外观图像时，将外观图像输出给人物辨识部12以及店铺推定部13，将表示取得外观图像的时刻的时刻信息输出给时刻信息取得部14。
人物辨识部12从图像信息取得部11所取得的外观图像中辨识人物，将表示辨识出的人物的人物信息输出给数据库15。
店铺推定部13从图像信息取得部11所取得的外观图像中确定人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺。另外，店铺推定部13在所有物是于店铺取得的货物袋的情况下，基于货物袋具有的能够辨识店铺的标章、色彩、形状等，推定取得货物袋的店铺。另外，店铺推定部13在货物袋具有用于辨识店铺的标章的情况下，基于货物袋具有的标章，推定取得货物袋的店铺。店铺推定部13将表示推定出的店铺的店铺信息输出给数据库15。
时刻信息取得部14将从图像信息取得部11取得的时刻信息输出给数据库15。
数据库15由存储器以及/或者外部存储装置等构成，将从人物辨识部12取得的人物信息、从店铺推定部13取得的店铺信息与从时刻信息取得部14取得的时刻信息相关联而存储。
光临顺序判断部16基于存储于数据库15的店铺信息所表示的店铺的时间序列上的变化，按每个人物判断人物所光临的店铺的顺序，将表示判断出的每个人物的光临顺序的光临顺序信息与人物信息一起输出给通信部17。
具体而言，光临顺序判断部16算出第1店铺列表信息与第2店铺列表信息的差异，基于算出的差异，按每个人物判断人物所光临的店铺的顺序，所述第1店铺列表信息表示根据在第1时刻人物所拥有的所有物推定出的店铺的一览，所述第2店铺列表信息表示根据在第1时刻之后的第2时刻人物所拥有的所有物推定出的店铺的一览。
通信部17经由网络4将光临顺序信息以及人物信息发送给显示器3。通信部17例如也可以包括通信电路作为硬件结构。显示器3根据接收到的光临顺序信息以及人物信息来显示每个人物的光临顺序，将每个人物的光临顺序通知给商业设施或者各店铺的经营者或者管理者等。
接着，使用具体例，对如上所述构成的人流分析装置1的工作进行说明。图5是用于说明人物所拥有的所有物的变化的一例的示意图。此外，在以下的说明中，将摄像头21～2n中的一台记作摄像头2。
如图5所示，例如在时刻13:10，人物P1拥有货物袋B1作为所有物，摄像头2拍摄携带着货物袋B1的人物P1。此时，摄像头2将图像文件名FA246.png的图像数据作为携带着货物袋B1的人物P1的外观图像发送给人流分析装置1。
接着，在时刻14:15，人物P1进而拥有货物袋B2作为所有物，摄像头2拍摄携带着货物袋B1以及货物袋B2的人物P1。此时，摄像头2将图像文件名FA247.png的图像数据作为携带着货物袋B1以及货物袋B2的人物P1的外观图像发送给人流分析装置1。
接着，在时刻14:38，人物P1进而拥有货物袋B3作为所有物，摄像头2拍摄携带着货物袋B1、货物袋B2以及货物袋B3的人物P1。此时，摄像头2将图像文件名FA248.png的图像数据作为携带着货物袋B1、货物袋B2以及货物袋B3的人物P1的外观图像发送给人流分析装置1。
图6是表示图4所示的图像信息取得部11制作的图像文件表的一例的图。例如在如图5所示的外观图像被发送到人流分析装置1的情况下，图像信息取得部11例如制作图6所示的图像文件表，作为使取得外观图像的时刻与摄像头2拍摄到的图像文件名相关联的动态的表。
在图6所示的图像文件表中，以表的形式保存有时刻与图像文件名，例如可知时刻13:10的外观图像的图像文件名为FA246.png。图像信息取得部11将制作出的图像文件表和外观图像输出给人物辨识部12以及店铺推定部13，并且将图像文件表输出给时刻信息取得部14。
图7是表示图4所示的人物辨识部12使用的人物辨识用表的一例的图。人物辨识部12例如预先存储有图7所示的人物辨识用表作为使人物ID(辨识信息)与已标记的人物图像文件列表相关联的静态的表。
在图7所示的人物辨识用表中，以表的形式预先保存有人物ID与已标记的人物图像文件列表，例如作为拍摄到人物ID为P123的人物的图像，预先存储有已标记的人物图像文件列表的FA111.png、FA112.png、…的图像数据。
人物辨识部12基于人物辨识用表的数据，构建学习模型，使用构建出的学习模型来推定外观图像的人物。在该情况下，人物辨识部12不仅能够学习人物的面部图像，而且能够综合地学习人物的容貌、服装、体型等，在摄像头21～2n的数量少的情况下，也能够高精度地辨识人物。
图8是表示图4所示的店铺推定部13使用的店铺推定用表的一例的图。店铺推定部13例如预先存储有图8所示的店铺推定用表作为使店铺ID(辨识信息)与已标记的所有物图像文件列表相关联的静态的表。
在图8所示的店铺推定用表中，以表的形式预先保存有店铺ID与已标记的所有物图像文件列表，例如作为店铺ID为SH234的店铺提供的货物袋等所有物的图像，预先存储有已标记的所有物图像文件列表B777.png、B778.png、…的图像数据。店铺推定部13基于店铺推定用表的数据，构建学习模型，使用构建出的学习模型来确定外观图像的人物所携带的所有物，并根据确定出的所有物推定店铺。
在此，例如在使用了货物袋作为所有物的情况下，货物袋的表面形成有品牌名、店铺名、标记、商标、特征性的设计等用于辨识店铺的标章。因此，店铺推定部13不仅能够学习货物袋的形态，而且能够将用于辨识店铺的标章也包含在内来整体地对货物袋进行学习，在摄像头21～2n的数量少的情况下，也能够高精度地确定货物袋，能够根据确定出的货物袋高精度地推定店铺。此外，所有物不特别限定于上述例子，能够使用各种所有物，例如只要能够辨识店铺，也可以是店铺派发的传单(宣传册)等其他所有物。
图9是表示图4所示的光临顺序判断部16使用的店铺表的一例的图。光临顺序判断部16例如预先存储有图9所示的店铺表作为使店铺ID与店铺名相关联的静态的表。在图9所示的店铺表中，以表的形式预先保存有店铺ID与店铺名，例如作为店铺ID为SH234的店铺名，预先存储有店铺A。
图10是表示图4所示的数据库15所保存的光临顺序推定表的一例的图。时刻信息取得部14将图6所示的图像文件表的时刻保存于图10所示的光临顺序推定表的时刻(时刻信息的一例)。人物辨识部12将使用图6所示的图像文件表的外观图像推定出的人物ID保存于图10所示的光临顺序推定表的推定人物ID(人物信息的一例)。店铺推定部13将使用图6所示的图像文件表的外观图像推定出的店铺ID保存于图10所示的光临顺序推定表的推定店铺ID列表(店铺信息或者店铺列表信息的一例)。
光临顺序判断部16求取当前的推定店铺ID列表与紧挨着的前一时刻的推定店铺ID列表的差异，将存在于当前的推定店铺ID列表并且不存在于紧挨着的前一时刻的推定店铺ID列表的店铺ID判断为是人物新光临的店铺的店铺ID。光临顺序判断部16参照图9所示的店铺表，将与判断为新光临的店铺的店铺ID对应的店铺名保存于图10所示的光临顺序推定表的新光临店铺名。
通过上述工作，在数据库15中，制作出使时刻、推定人物ID、推定店铺ID列表与新光临店铺名相关联的光临顺序推定表，光临顺序判断部16通过按照时刻的顺序读取新光临店铺名所保存的店铺名，按每个人物判断人物所光临的店铺的顺序，将表示每个人物的光临顺序的光临顺序信息输出给通信部17。例如，在图10所示的例子中，可知人物ID为P123的人物按照店铺A、店铺B、店铺C的顺序光临了店铺。此外，在上述的例子中，作为外观图像，使用了png形式的图像数据，但不特别限定于本例，也可以使用gif形式、jpg形式等其他形式的图像数据。
接着，详细地对在存在于紧挨着的前一时刻的推定店铺ID列表的店铺中有不存在于当前的推定店铺ID列表的消失店铺的情况下的光临顺序判断部16的工作进行说明。
图11是用于说明人物所拥有的所有物的变化的另一例的示意图。如图11所示，有时会在拍摄到人物P1携带着小的货物袋B1的外观图像之后，拍摄到人物P1没有携带小的货物袋B1、而仅携带着大的货物袋B2的外观图像。这是因为有时人物P1会将小的货物袋B1放入大的货物袋B2来携带。
该情况下，在本实施方式中，当识别不到直到刚刚还拿着的货物袋B1时，解释为将货物袋B1归入了货物袋B2，此后，排除货物袋B1，仅取与货物袋B2的差异，基于店铺信息所表示的店铺的时间序列上的变化，判断人物所光临的店铺的顺序。
具体而言，光临顺序判断部16在紧挨着的前一时刻的推定店铺ID列表(第1店铺列表信息的一例)所表示的店铺中有不符合当前的推定店铺ID列表(第2店铺列表信息的一例)所表示的店铺的消失店铺的情况下，判断为在消失店铺中取得的所有物被合并到了在当前时刻的推定店铺ID列表所表示的店铺取得的所有物中的某一个。
即，光临顺序判断部16在人物将小的所有物放入大的所有物之中、店铺列表信息的店铺中没有根据小的所有物推定出的店铺的情况下，将小的所有物与在店铺列表信息的某个店铺中取得的大的所有物合并，并从此后的差异中排除取得小的所有物的店铺，由此，将新追加的店铺判断为是下一光临的店铺，按每个用户来判断人物所光临的店铺的顺序。
图12是表示图4所示的数据库15所保存的光临顺序推定表的另一例的图。时刻信息取得部14将图6所示的图像文件表的时刻保存于图12所示的光临顺序推定表的时刻。人物辨识部12将使用图6所示的图像文件表的外观图像推定出的人物ID保存于图12所示的光临顺序推定表的推定人物ID。店铺推定部13将使用图6所示的图像文件表的外观图像推定出的店铺ID保存于图12所示的光临顺序推定表的推定店铺ID列表。
在此，光临顺序判断部16求取当前的推定店铺ID列表与紧挨着的前一时刻的推定店铺ID列表的差异，如果存在没有包含于当前的推定店铺ID列表的店铺ID(消失店铺)，则判断为与该店铺ID相当的所有物被合并到了与当前时刻的推定店铺ID列表的开头的店铺ID相当的所有物，制作使合并目标店铺ID与合并源店铺ID相关联的合并店铺表。
图13是表示图4所示的光临顺序判断部16制作的合并店铺表的一例的图。例如如图12所示，当在紧挨着的前一时刻14:15的推定店铺ID列表中作为店铺ID存在SH234、在当前的时刻14:38的推定店铺ID列表中作为店铺ID不存在SH234(消失店铺)、而作为开头的店铺ID存在SH567的情况下，如图13所示，光临顺序判断部16由于将消失店铺的SH234合并于开头的SH567，因而制作将SH567保存于合并目标店铺ID、将SH234保存于合并源店铺ID的合并店铺表。
接着，光临顺序判断部16参照合并店铺表，判断为不存在于当前的推定店铺ID列表的合并源店铺ID被合并到了存在于当前的推定店铺ID列表以及紧挨着的前一时刻的推定店铺ID列表的合并目标店铺ID，将该合并源店铺ID从差异中排除，并将存在于当前的推定店铺ID列表并且不存在于紧挨着的前一时刻的推定店铺ID列表的店铺ID判断为是人物新光临的店铺的店铺ID，参照图9所示的店铺表，将与判断为新光临的店铺的店铺ID对应的店铺名保存于图12所示的新光临店铺名。
在图12所示的例子中，在当前时刻为14:38的情况下，紧挨着的前一时刻14:15的推定店铺ID列表中存在SH234，而在当前的推定店铺ID列表中不存在SH234，且紧挨着的之前的推定店铺ID列表以及当前的推定店铺ID列表中存在SH567。在该情况下，光临顺序判断部16判断为在于时刻14:15存在的店铺ID即SH234的店铺中取得的所有物被合并到了在当前的推定店铺ID列表的开头的店铺ID即SH567的店铺中取得的所有物，从而排除SH234，求取紧挨着的之前的推定店铺ID列表与当前的推定店铺ID列表的差异，判断为作为差异的SH789是新光临的店铺的店铺ID，将店铺C保存于图12所示的新光临店铺名。
因此，在人物将小的所有物放入大的所有物之中、店铺列表信息(推定店铺ID列表)的店铺中没有根据小的所有物推定出的店铺的情况下，也能够通过判断为小的所有物被放入了在店铺列表信息(推定店铺ID列表)的某个店铺中取得的大的所有物，并从此后的差异中将取得小的所有物的店铺排除，从而准确地将新追加的店铺判断为是下一光临的店铺。
接着，说明由如上所述构成的人流分析***进行的人流分析处理。图14是表示图1所示的人流分析***进行的人流分析处理的一例的时序图。
首先，多个摄像头21～2n拍摄到访商业设施的人物的外观图像，执行将拍摄到的外观图像发送给人流分析装置1的图像发送处理(步骤S11)。在此，多个摄像头21～2n也可以将用于辨识自身的摄像头ID(辨识信息)与外观图像一起进行发送。在该情况下，能够在后述的人物辨识处理、店铺推定处理以及光临顺序判断处理等中，使用摄像头ID来确定拍摄到外观图像的摄像头的位置，并使用确定出的摄像头的位置使各处理的精度提高。
接着，人流分析装置1的通信部17接收从多个摄像头21～2n发送来的外观图像并输出给图像信息取得部11，图像信息取得部11执行取得人物的外观图像并将外观图像输出给人物辨识部12以及店铺推定部13、将表示取得外观图像的时刻的时刻信息输出给时刻信息取得部14的图像信息取得处理(步骤S12)。
接着，时刻信息取得部14执行将从图像信息取得部11取得的时刻信息保存于数据库15的光临顺序推定表的时刻信息取得处理(步骤S13)。
接着，人物辨识部12执行从图像信息取得部11所取得的外观图像中辨识人物、将表示辨识出的人物的人物信息(推定人物ID)保存于数据库15的光临顺序推定表的人物辨识处理(步骤S14)。
接着，店铺推定部13执行如下的店铺推定处理：从图像信息取得部11所取得的外观图像中确定人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺，将表示推定出的店铺的店铺信息(推定店铺ID列表)保存于数据库15的光临顺序推定表(步骤S15)。
接着，光临顺序判断部16执行如下的光临顺序判断处理：从数据库15的光临顺序推定表中，基于店铺的时间序列上的变化，按每个人物来判断人物所光临的店铺的顺序，将与人物新光临的店铺ID对应的店铺名保存于数据库15的光临顺序推定表，将表示每个人物的光临顺序的光临顺序信息与人物信息一起输出给通信部17，通信部17将光临顺序信息以及人物信息发送给显示器3(步骤S16)。
接着，显示器3执行接收光临顺序信息以及人物信息的光临顺序接收处理(步骤S17)。
最后，显示器3执行根据接收到的光临顺序信息显示每个人物的光临顺序的显示处理(步骤S18)。
通过上述处理，在本实施方式中，取得人物的外观图像，从取得的外观图像中辨识人物，并且从取得的外观图像中确定人物所拥有的所有物，根据所确定的所有物来推定取得所有物的店铺，将表示辨识出的人物的人物信息(推定人物ID)、表示推定出的店铺的店铺信息(推定店铺ID列表)与表示取得外观图像的时刻的时刻信息相关联地存储于数据库15，基于存储于数据库15的店铺信息所表示的店铺的时间序列上的变化，判断人物所光临的店铺的顺序。
因此，在本实施方式中，无需按每个店铺来配置拍摄外观图像的摄像头21～2n，而能够从人物的外观图像中确定所有物，并根据确定出的所有物准确地推定取得所有物的店铺，所以能够将新追加的店铺判断为是下一光临的店铺，能够用简易的构成高精度地判断人物所光临的店铺的顺序。
此外，在本实施方式中，从取得的外观图像中确定人物所拥有的所有物，根据确定出的全部所有物，推定取得所有物的全部店铺。在此，人物有时会携带描画有某个店铺名的所有物、例如自带的可重复用的袋子(my bag)到访商业设施。在该情况下，尽管人物没有光临该店铺，但在外观图像上看似好像光临了一样。因此，也可以为，在商业设施的出入口附近也设置摄像头，将根据设置于出入口附近的摄像头取得的外观图像确定为是人物所拥有的物品的所有物(例如自带的可重复用的袋子)从光临顺序的推定对象中排除。
(实施方式2)
在上述的实施方式1中，按每个人物来判断光临顺序，但到店者不仅会独自进行购物，而且也存在以父母和孩子、朋友等组的方式到店的情况。在该情况下，有时在组的成员之间携带所有物例如货物袋的人会改变。因此，在本实施方式中，辨识到店者的组，按组确定所拥有的所有物，根据确定出的所有物，按组推定所光临的店铺，并按组来判断光临顺序。
图15是表示本公开的实施方式2涉及的人流分析***的人流分析装置的构成的一例的框图。此外，除了图1所示的人流分析装置1变更为图15所示的人流分析装置1a之处，本实施方式的人流分析***的构成与图1所示的人流分析***是同样的，因此省略人流分析***的图示，以下适当使用图1的标号，详细地对与图1所示的人流分析***的不同之处进行说明。
图15所示的人流分析装置1a例如由具备处理器、存储器、通信装置以及外部存储装置等的云服务器等来构成，经由有线或者无线的网络4，以能够进行通信的方式与多个摄像头21～2n以及显示器3连接。人流分析装置1a具备图像信息取得部11、店铺推定部13、时刻信息取得部14、数据库15、光临顺序判断部16、通信部17、组判断部18、组图像切取部19以及人物组辨识部20。
摄像头21对到访商业设施的多个人物进行拍摄，获得包含多个人物的外观的外观图像。摄像头21的拍摄例如在不同的时刻进行。所谓不同的时刻，例如也可以为每隔一定的时间间隔。也将包含多个人物的外观的外观图像称为多人物外观图像。摄像头21经由网络4将拍摄到的多人物外观图像发送给人流分析装置1a。此外，在上述的说明中，以摄像头21的工作为中心进行了说明。多个摄像头21～2n中的除了摄像头21之外的摄像头也与摄像头21同样地将多人物外观图像发送给人流分析装置1a，而由于说明出现重复，因而在此省略详细的说明。
通信部17每当经由网络4从多个摄像头21～2n中的某一个接收到多人物外观图像时，将该图像输出给图像信息取得部11。图像信息取得部11每当从通信部17取得多人物外观图像时，将多人物外观图像输出给组判断部18，将表示取得多人物外观图像的时刻的时刻信息输出给时刻信息取得部14。
组判断部18根据图像信息取得部11取得的多人物外观图像来判断多个人物是否为同一组，提取判断为多个人物是同一组的多人物外观图像并输出给组图像切取部19。此外，在多个人物不是同一组的情况下，也可以与实施方式1同样地对各个人物进行辨识。
组图像切取部19从被判断为多个人物是同一组的多人物外观图像中切取包含判断为是同一组的多个人物的组图像并输出给人物组辨识部20以及店铺推定部13。
人物组辨识部20从组图像切取部19切取出的组图像中辨识同一组的多个人物，将表示辨识出的同一组的多个人物的组信息输出给数据库15。
店铺推定部13从组图像切取部19切取出的组图像中确定同一组的多个人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺，将表示推定出的店铺的店铺信息输出给数据库15。
时刻信息取得部14将从图像信息取得部11取得的时刻信息输出给数据库15。
数据库15将从人物组辨识部20取得的组信息、从店铺推定部13取得的店铺信息与从时刻信息取得部14取得的时刻信息相关联而存储。
光临顺序判断部16基于存储于数据库15的店铺信息所表示的店铺的时间序列上的变化，按组判断同一组的多个人物所光临的店铺的顺序，将表示判断出的每个组的光临顺序的光临顺序信息与组信息一起输出给通信部17。
通信部17经由网络4将光临顺序信息以及组信息发送给显示器3。显示器3根据接收到的光临顺序信息来显示每个组的光临顺序，将每个组的光临顺序通知给商业设施或者各店铺的经营者或者管理者等。
接着，使用具体例，对如上所述构成的人流分析装置1a的工作进行说明。组判断部18使用公知的组判别方法，根据与图6所示的图像文件表同样的、使取得多人物外观图像的时刻与图像文件名相关联的图像文件表的图像文件(多人物外观图像)来判断多个人物是否为同一组，提取判断为多个人物是同一组的多人物外观图像并输出给组图像切取部19。组图像切取部19从被判断为多个人物是同一组的多人物外观图像中切取包含判断为是同一组的多个人物的组图像并输出给人物组辨识部20。人物组辨识部20使用公知的组判别方法，根据组图像来推定人物ID，并且制作汇集了同一组的多个人物的人物组表。
图16是表示图15所示的人物组辨识部20制作的人物组表的一例的图。例如，如图16所示，制作使辨识组的人物组ID(辨识信息)与表示组所包含的多个人物的人物ID的人物ID列表相关联的人物组表。在图16所示的例子中，可知在人物组ID为G111的组中包含有人物ID为P123、P124、P125的3个人物。
在此，作为上述的组判别方法，例如可以使用日本特开2014-229068号公报所记载的方法(通过从图像推定人物的坐标来取得人物的动线、推定为进行描绘相同动线的行动的多个人物是在集体行动的方法)和/或日本特开2013-50945号公报所记载的方法(从摄像头影像中取得人物的身体姿势方向和/或视线方向、将该方向彼此相对着的或者朝着相同的方向的多个人物视为集体的方法)等。
此外，上述的组判别方法为一例，不特别限定于本例，例如也可以使用预先准备将组ID与多个人物的面部图像ID相关联而注册的数据库、在检测出该多个人物的面部图像时判断为是组的方法，或使用除了图像以外还利用便携终端和/或其他无线终端的位置信息的方法，或使用在图像的基础上还取得声音并将被检测出对话的人物的集体判断为是组的方法。
图17是表示图15所示的数据库15所保存的光临顺序推定表的一例的图。时刻信息取得部14将使取得多人物外观图像的时刻与图像文件名相关联的图像文件表的时刻保存于图17所示的光临顺序推定表的时刻(时刻信息的一例)。人物组辨识部20将使用从上述的图像文件表的多人物外观图像中切取出的组图像所推定出的图16所示的人物组表的人物组ID保存于图17所示的光临顺序推定表的推定人物组ID(组信息的一例)。店铺推定部13将使用上述的图像文件表的多人物外观图像推定出的店铺ID保存于图17所示的光临顺序推定表的推定店铺ID列表(店铺信息或者店铺列表信息的一例)。
光临顺序判断部16求取当前的推定店铺ID列表与紧挨着的前一时刻的推定店铺ID列表的差异，将存在于当前的推定店铺ID列表并且不存在于紧挨着的前一时刻的推定店铺ID列表的店铺ID判断为是人物新光临的店铺的店铺ID。光临顺序判断部16参照图9所示的店铺表，将与判断为新光临的店铺的店铺ID对应的店铺名保存于图17所示的光临顺序推定表的新光临店铺名。
通过上述工作，在数据库15中，制作出使时刻、推定人物组ID、推定店铺ID列表与新光临店铺名相关联的光临顺序推定表，光临顺序判断部16通过按照时刻的顺序读取新光临店铺名所保存的店铺名，按组判断同一组的多个人物所光临的店铺的顺序，将表示每个组的光临顺序的光临顺序信息输出给通信部17。例如，在图17所示的例子中，可知人物组ID为G111的组按照店铺A、店铺B、店铺C的顺序光临了店铺。
接着，说明由如上所述构成的人流分析***进行的人流分析处理。图18是表示本公开的实施方式2涉及的人流分析***进行的人流分析处理的一例的时序图。
首先，多个摄像头21～2n拍摄包含到访商业设施的多个人物的多人物外观图像，执行将拍摄到的多人物外观图像发送给人流分析装置1a的图像发送处理(步骤S11)。
接着，人流分析装置1a的通信部17每当接收到从多个摄像头21～2n中的某一个发送来的多人物外观图像时，将该图像输出给图像信息取得部11，图像信息取得部11执行如下的图像信息取得处理：每当取得包含多个人物的多人物外观图像时，将多人物外观图像输出给组判断部18，将表示取得多人物外观图像的时刻的时刻信息输出给时刻信息取得部14(步骤S12)。
接着，时刻信息取得部14执行将从图像信息取得部11取得的时刻信息保存于数据库15的光临顺序推定表的时刻信息取得处理(步骤S13)。
接着，组判断部18执行如下的组提取处理：根据图像信息取得部11取得的多人物外观图像来判断多个人物是否为同一组，提取判断为多个人物是同一组的多人物外观图像并输出给组图像切取部19(步骤S21)。
接着，组图像切取部19执行如下的组图像切取处理：从被判断为多个人物是同一组的多人物外观图像中切取包含判断为是同一组的多个人物的组图像并输出给人物组辨识部20以及店铺推定部13(步骤S22)。
接着，人物组辨识部20执行如下的人物组辨识处理：从组图像切取部19切取出的组图像中辨识同一组的多个人物，将表示辨识出的同一组的多个人物的组信息(推定人物组ID)保存于数据库15的光临顺序推定表(步骤S23)。
接着，店铺推定部13执行如下的店铺推定处理：从组图像切取部19切取出的组图像中确定同一组的多个人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺，将表示推定出的店铺的店铺信息(推定店铺ID列表)保存于数据库15的光临顺序推定表(步骤S15)。
接着，光临顺序判断部16执行如下的光临顺序判断处理：从数据库15的光临顺序推定表，基于店铺的时间序列上的变化，按组判断同一组的多个人物所光临的店铺的顺序，将与同一组的多个人物新光临的店铺ID对应的店铺名保存于数据库15的光临顺序推定表，将表示每个组的光临顺序的光临顺序信息与组信息一起输出给通信部17，通信部17将光临顺序信息以及组信息发送给显示器3(步骤S16)。
接着，显示器3执行接收光临顺序信息以及组信息的光临顺序接收处理(步骤S17)。
最后，显示器3执行根据接收到的光临顺序信息显示每个组的光临顺序的显示处理(步骤S18)。
通过上述处理，在本实施方式中，取得包含多个人物的多人物外观图像，根据取得的多人物外观图像来判断多个人物是否为同一组，从多人物外观图像中切取包含判断为同一组的多个人物的组图像，从切取出的组图像中辨识同一组的多个人物，并且从切取出的组图像中确定同一组的多个人物所拥有的所有物，根据确定出的所有物来推定取得所有物的店铺，将表示同一组的多个人物的组信息(推定人物组ID)、表示根据同一组的多个人物所拥有的所有物推定出的店铺的店铺信息(推定店铺ID列表)与表示取得多人物外观图像的时刻的时刻信息相关联地存储于数据库15，基于存储于数据库15的店铺信息所表示的店铺的时间序列上的变化，判断同一组所光临的店铺的顺序。
因此，在本实施方式中，在同一组的多个人物光临多个店铺、携带在各店铺中取得的所有物的人物在组内改变的情况下，也能够用简易的构成高精度地判断同一组所光临的店铺的顺序。
(变形例)
此外，在上述各实施方式中，对使用相同的摄像头21～2n作为拍摄人物的摄像头和拍摄所有物的摄像头的例子进行了说明，但摄像头21～2n的构成不特别限定于上述例子，可以如下所述进行各种变更。
图19是表示在使用拍摄人物的摄像头以及拍摄所有物的摄像头的情况下的第1配置例的示意图。为了识别人物，需要高分辨率地取得面部附近的图像，而为了识别货物袋等所有物，需要远离面部的地方的图像。因此，在图19所示的第1配置例中，取代摄像头21而使用摄像头21a和摄像头21b(摄像头22～2n也同样)，摄像头21a拍摄人物P1的外观图像，摄像头21b拍摄所有物即货物袋B1的外观图像。在该情况下，图4所示的图像信息取得部11由从摄像头21a取得人物的外观图像的图像信息取得部、和从摄像头21b取得货物袋的外观图像的货物袋图像信息取得部构成。
在人物P1沿人流的方向、即行进方向D1移动的情况下，摄像头21a以使摄像头21a的光轴O1即拍摄方向从前方与人物P1的行进方向D1相交的方式设置于支柱SP，摄像头21a拍摄人物P1的面部等。另外，摄像头21b以使摄像头21b的光轴O2即拍摄方向从侧方与人物P1的行进方向D1正交的方式设置于支柱SP，摄像头21b拍摄货物袋B1。因此，货物袋的外观图像的摄像区域(图中的虚线的区域)成为比人物的外观图像的摄像区域(图中的虚线的区域)更靠近地面的部分。
如此，通过设置拍摄人物P1的全身的摄像头21a和拍摄货物袋B1的图像的摄像头21b，能够高精度地实施对人物P1的确定和对货物袋B1的确定。另外，通过利用在摄像头21a的摄像区域和摄像头21b的摄像区域中共同摄像的衣服的部分等，能够将人物P1与货物袋B1进行对照，能够高精度地确定人物P1所携带的货物袋B1。
图20是人物携带着货物袋的情况下的侧视图，图21是人物携带着货物袋的情况下的主视图。如图20以及图21所示，在人物P1手拿货物袋B1移动时，货物袋B1的大的面大多成为与人物P1的行进方向垂直的方向。另外，图20所示的形成于货物袋B1的大的面的大的标章T1(例如“ABC”)也大多成为与人物P1的行进方向垂直的方向。另一方面，图21所示的形成于货物袋B1的小的侧面的小的标章T2(例如“ABC”)大多成为与人物P1的行进方向相反的方向(或者相同的方向)。因此，将拍摄人物的面部图像的摄像头设置在易于拍摄面部图像的位置，且为了拍摄货物袋B1的大的面以及大的标章T1，使用被设定为光轴沿与人物P1的行进方向实质性正交的方向的摄像头，更易于取得货物袋的图像信息。
对如上所述那样将拍摄人物的面部图像的摄像头设置在易于拍摄面部图像的位置、另外使用被设定为光轴沿与人物的行进方向实质性正交的方向的摄像头作为拍摄货物袋的摄像头的例子进行说明。图22是表示在使用拍摄人物的摄像头以及拍摄所有物的摄像头的情况下的第2配置例的示意图。
在图22所示的第2配置例中，取代摄像头21而使用摄像头21a和摄像头21b，摄像头21a例如安装于顶棚CE，从上方拍摄人物P1，摄像头21b安装于支柱SP，从侧方拍摄货物袋B1。
即，在人物P1沿人流的方向、即行进方向D1移动的情况下，摄像头21a以使摄像头21a的光轴O1即拍摄方向从上方与人物P1的行进方向D1正交的方式设置于顶棚CE。另外，摄像头21b以使摄像头21b的光轴O2即拍摄方向从侧面与人物P1的行进方向D1正交的方式设置于支柱SP。
如此，通过设置为使摄像头21a的光轴O1与摄像头21b的光轴O2形成的角度成为接近于正交的角度，人物P1的外观图像成为从上方拍摄人物P1而得到的图像，货物袋B1的外观图像成为从侧方拍摄货物袋B1而得到的图像，能够进一步高精度地识别货物袋B1的标章(例如图20的大的标章T1)。此外，在用拍摄面部图像的摄像头21a同时拍摄货物袋B1的标章的图像的情况下，如图21所示，优选在货物袋B1的侧面设置标章T2。在该情况下，也变得容易从由识别面部图像的摄像头21a拍摄到的外观图像来识别标章。
另外，一般而言，货物袋存在抓握的部分即手持部分为绳带状且较长的情况。图23是表示货物袋的手持部分的第1例以及本例的货物袋的拿法的示意图，图24是表示货物袋的手持部分的第2例以及本例的货物袋的拿法的示意图，图25是表示货物袋的手持部分的第3例以及本例的货物袋的拿法的示意图。
如图23所示，在货物袋B1的手持部分F1大于等于人的上臂部大小的情况下，作为货物袋B1的拿法，存在如人物P1a那样用手拿的情况、和如人物P1b那样通过胳膊而挎在肩膀上的情况。在该情况下，货物袋B1的标章T1的位置离地面的距离将会大为不同，需要扩大取得货物袋B1的图像的摄像头的摄像区域。另外，在挎在肩膀上的情况下，货物袋B1的标章T1有时会被手遮蔽，识别性能有时会降低。
另一方面，如图24所示，在货物袋B2的手持部分F2比人的上臂部小的情况下，或者如图25所示，在货物袋B3上形成有挖通部F3且作为货物袋B3的手持部分而发挥功能的挖通部F3比人的上臂部小的情况下，只要货物袋B2、B3的大小为同一尺寸，则货物袋B2、B3的标章T2、T3的位置离地面的距离会在一定范围内。
因此，优选为货物袋的手持部分比人的上臂部小。在该情况下，货物袋的手持部分比人的上臂部小，使得不会将货物袋挂在肩膀上而是用手来拿，所以货物袋的标章等离地面的距离成为一定距离。其结果，能够缩小取得货物袋的图像的摄像头的摄像区域，能够使识别处理的性能提高。
另外，购买了商品时，相对于货物袋，有时会对货物袋粘贴封条等粘贴部件以使得开口部不张开。图26是表示贴于货物袋的粘贴部件的第1例的图，图27是表示贴于货物袋的粘贴部件的第2例的图。
如图26所示，粘贴部件S1贴在具有标章T1的货物袋B1的侧方上部，另外，如图27所示，粘贴部件S2贴在具有标章T1的货物袋B1的上部中间。如此，多将粘贴部件S1、S2贴附在货物袋B1的开口部以使得货物袋B1的开口部不张开。在该情况下，能够使封条等粘贴部件S1、S2具有与所购买的商品有关的信息。
因此，优选为附加有与人物所购买的商品有关的信息的粘贴部件附着于货物袋。例如店员将附加有与所购买的商品有关的信息的粘贴部件附着于货物袋，按每个购买品来贴附不同的粘贴部件。由此，在大型的购物中心等，能够根据粘贴部件推定与在某个店铺购买的商品的种类和/或价格有关的信息，当进入另一店铺时，从该粘贴部件的信息，店员能够根据顾客已经购买的商品来选择推荐的商品。
例如在购买商品为昂贵的物品的情况下，在新的店里也很可能会购买高额的商品，店员能够推荐那样的商品。另外，在大型购物中心，多家店铺协作以使得从外观可知晓顾客购买的商品的信息，由此能够促进商品的购买。
另外，优选为粘贴部件具有表示人物购买的商品的种类以及价格的色彩信息。图28是示出表示商品的种类与粘贴部件的颜色之间的对应关系的第1色彩信息表的一例的图，图29是示出表示商品的价格与粘贴部件的颜色浓度之间的对应关系的第2色彩信息表的一例的图。
如图28所示，使商品的种类与粘贴部件的颜色相关联的第1色彩信息表预先存储于数据库15。例如相关联地存储有商品的种类“外套”与粘贴部件的颜色“红”。另外，如图29所示，使商品的价格与粘贴部件的颜色浓度相关联的第2色彩信息表预先存储于数据库15。例如相关联地存储有商品的价格“1日元～999日元”与粘贴部件的颜色浓度“10％”。例如在所购买的商品的种类为“外套”、其价格为800日元的情况下，浓度为10％的红色的粘贴部件将会被贴在货物袋上。
如上所述，通过使粘贴部件的颜色和浓度与商品的种类和价格的信息相对应，使得从外观可知晓所购买的商品的信息。另一方面，由于存在购买者的隐私的问题，因此也可以使得图28以及图29的第1以及第2色彩信息表的对应关系例如根据是星期几来变更。在该情况下，仅店员能够共享与所购买的商品有关的信息。
图30是表示由图19所示的拍摄货物袋的外观图像的摄像头21b拍摄到的外观图像的一例的图。例如在第1人物P1携带着具有标章T1以及粘贴部件S1的货物袋B1、第2人物P2携带着具有标章T2以及粘贴部件S2的货物袋B2、第3人物P3携带着具有标章T3以及粘贴部件S3的货物袋B3的情况下，摄像头21b拍摄图30所示的外观图像。在此，粘贴部件S1～S3的颜色以及浓度根据被购买的商品的种类以及价格而不同，能够根据粘贴部件S1～S3的颜色以及浓度来确定商品的种类和价格。因此，人流分析装置1通过取得摄像头21b拍摄到的货物袋的外观图像，能够获得粘贴部件S1～S3的颜色以及浓度的色彩信息，确定商品的种类以及价格，使购买者与移动目的地的信息相对应。
此外，对粘贴部件附加的信息不特别限定于上述例子，也可以附加其他信息。图31是表示附加有条形码的粘贴部件的一例的图。例如，如图31所示，也可以对货物袋B1的粘贴部件S1贴附条形码BC。在该情况下，作为条形码BC的信息，能够进一步附加详细的信息。
在上述各实施方式中，各构成要素既可以用专用的硬件结构，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部将记录于硬盘或者半导体存储器等记录介质的软件程序读出并执行来实现。
本公开的实施方式涉及的装置的功能的一部分或者全部典型地实现为作为集成电路的LSI(Large Scale Integration：大规模集成电路)。它们既可以单独地单芯片化，也可以以包括一部分或全部的方式单芯片化。另外，集成电路化不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用能够在LSI制造后编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接、设定的可重构处理器。
另外，也可以通过CPU等处理器执行程序来实现本公开的实施方式涉及的装置的功能的一部分或者全部。
产业上的可利用性
本公开涉及的人流分析方法、人流分析装置以及人流分析***能够用简易的构成高精度地判断人物所光临的店铺的顺序，因此对于分析人的流动的人流分析方法、人流分析装置以及具备该人流分析装置的人流分析***是有用的。

Claims (16)

1.一种人流分析方法，是人流分析装置中的人流分析方法，包括：
取得人物的外观图像，
从所述外观图像中辨识所述人物，
从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，
将人物信息、店铺信息与时刻信息相关联地存储于存储部，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻，
基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述判断中，算出第1店铺列表信息与第2店铺列表信息的差异，基于所述差异，判断所述人物所光临的店铺的顺序，所述第1店铺列表信息表示根据在第1时刻所述人物所拥有的所述所有物推定出的店铺的一览，所述第2店铺列表信息表示根据在所述第1时刻之后的第2时刻所述人物所拥有的所述所有物推定出的店铺的一览。
2.一种人流分析方法，是人流分析装置中的人流分析方法，包括：
取得人物的外观图像，
从所述外观图像中辨识所述人物，
从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，
将人物信息、店铺信息与时刻信息相关联地存储于存储部，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻，
基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述取得中，取得包含多个人物的多人物外观图像，
所述辨识中，根据所述多人物外观图像判断所述多个人物是否为同一组，从所述多人物外观图像中切取包含判断为所述同一组的所述多个人物的组图像，从所述组图像中辨识所述同一组的所述多个人物，
所述推定中，从所述组图像中确定所述同一组的所述多个人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，
所述存储中，将组信息、店铺信息与时刻信息相关联地存储于所述存储部，所述组信息表示所述同一组的所述多个人物，所述店铺信息表示根据所述同一组的所述多个人物所拥有的所述所有物推定出的所述店铺，所述时刻信息表示取得所述多人物外观图像的时刻，
所述判断中，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述同一组所光临的店铺的顺序。
3.根据权利要求1或2所述的人流分析方法，
所述所有物包括在所述店铺取得的货物袋。
4.根据权利要求3所述的人流分析方法，
所述货物袋具有用于辨识所述店铺的标章，
所述推定中，基于所述货物袋具有的所述标章，推定取得所述货物袋的店铺。
5.根据权利要求1所述的人流分析方法，
所述判断中，在所述第1店铺列表信息所表示的店铺中有不符合所述第2店铺列表信息所表示的店铺的消失店铺的情况下，判断为在所述消失店铺取得的所述所有物被合并到了在所述第2店铺列表信息所表示的店铺取得的所述所有物中的某一方。
6.根据权利要求1或2所述的人流分析方法，
在所述取得中，在不同的时刻取得所述外观图像，
在所述取得中，每当取得所述外观图像时，进行所述推定以及所述存储。
7.一种人流分析装置，具备：
图像信息取得部，其取得人物的外观图像；
人物辨识部，其从所述外观图像中辨识所述人物；
店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；
存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及
光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述光临顺序判断部，算出第1店铺列表信息与第2店铺列表信息的差异，基于所述差异，判断所述人物所光临的店铺的顺序，所述第1店铺列表信息表示根据在第1时刻所述人物所拥有的所述所有物推定出的店铺的一览，所述第2店铺列表信息表示根据在所述第1时刻之后的第2时刻所述人物所拥有的所述所有物推定出的店铺的一览。
8.一种人流分析装置，具备：
图像信息取得部，其取得人物的外观图像；
人物辨识部，其从所述外观图像中辨识所述人物；
店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；
存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及
光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述图像信息取得部，取得包含多个人物的多人物外观图像，
所述人物辨识部，根据所述多人物外观图像判断所述多个人物是否为同一组，从所述多人物外观图像中切取包含判断为所述同一组的所述多个人物的组图像，从所述组图像中辨识所述同一组的所述多个人物，
所述店铺推定部，从所述组图像中确定所述同一组的所述多个人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，
所述存储部，将组信息、店铺信息与时刻信息相关联地存储于所述存储部，所述组信息表示所述同一组的所述多个人物，所述店铺信息表示根据所述同一组的所述多个人物所拥有的所述所有物推定出的所述店铺，所述时刻信息表示取得所述多人物外观图像的时刻，
所述光临顺序判断部，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述同一组所光临的店铺的顺序。
9.根据权利要求7或8所述的人流分析装置，
所述所有物包括在所述店铺取得的货物袋。
10.根据权利要求9所述的人流分析装置，
还具备取得所述货物袋的外观图像的货物袋图像信息取得部，
所述货物袋的外观图像的摄像区域是比所述人物的外观图像的摄像区域更靠近地面的部分。
11.根据权利要求9所述的人流分析装置，
还具备取得所述货物袋的外观图像的货物袋图像信息取得部，
所述人物的外观图像是从上方拍摄所述人物而得到的图像，
所述货物袋的外观图像是从侧方拍摄所述货物袋而得到的图像。
12.根据权利要求9所述的人流分析装置，
所述货物袋的手持部分比人的上臂部小。
13.根据权利要求9所述的人流分析装置，
附加有与所述人物购买的商品有关的信息的粘贴部件附着于所述货物袋。
14.根据权利要求13所述的人流分析装置，
所述粘贴部件具有表示所述人物购买的商品的种类以及价格的色彩信息。
15.一种人流分析***，具备：
拍摄装置，其拍摄人物的外观图像；以及
人流分析装置，
所述人流分析装置具备：
图像信息取得部，其取得由所述拍摄装置拍摄到的所述外观图像；
人物辨识部，其从所述外观图像中辨识所述人物；
店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；
存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及
光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述光临顺序判断部，算出第1店铺列表信息与第2店铺列表信息的差异，基于所述差异，判断所述人物所光临的店铺的顺序，所述第1店铺列表信息表示根据在第1时刻所述人物所拥有的所述所有物推定出的店铺的一览，所述第2店铺列表信息表示根据在所述第1时刻之后的第2时刻所述人物所拥有的所述所有物推定出的店铺的一览。
16.一种人流分析***，具备：
拍摄装置，其拍摄人物的外观图像；以及
人流分析装置，
所述人流分析装置具备：
图像信息取得部，其取得由所述拍摄装置拍摄到的所述外观图像；
人物辨识部，其从所述外观图像中辨识所述人物；
店铺推定部，其从所述外观图像中确定所述人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺；
存储部，其将人物信息、店铺信息与时刻信息相关联而存储，所述人物信息表示所述辨识出的所述人物，所述店铺信息表示所述推定出的所述店铺，所述时刻信息表示取得所述外观图像的时刻；以及
光临顺序判断部，其基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述人物所光临的店铺的顺序，
所述图像信息取得部，取得包含多个人物的多人物外观图像，
所述人物辨识部，根据所述多人物外观图像判断所述多个人物是否为同一组，从所述多人物外观图像中切取包含判断为所述同一组的所述多个人物的组图像，从所述组图像中辨识所述同一组的所述多个人物，
所述店铺推定部，从所述组图像中确定所述同一组的所述多个人物所拥有的所有物，根据所确定的所述所有物来推定取得所述所有物的店铺，
所述存储部，将组信息、店铺信息与时刻信息相关联地存储于所述存储部，所述组信息表示所述同一组的所述多个人物，所述店铺信息表示根据所述同一组的所述多个人物所拥有的所述所有物推定出的所述店铺，所述时刻信息表示取得所述多人物外观图像的时刻，
所述光临顺序判断部，基于存储于所述存储部的所述店铺信息所表示的店铺的时间序列上的变化，判断所述同一组所光临的店铺的顺序。
CN201810734783.4A 2017-07-14 2018-07-06 人流分析方法、人流分析装置以及人流分析*** Active CN109255642B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-138290 2017-07-14
JP2017138290A JP6800820B2 (ja) 2017-07-14 2017-07-14 人流分析方法、人流分析装置、及び人流分析システム

Publications (2)

Publication Number Publication Date
CN109255642A CN109255642A (zh) 2019-01-22
CN109255642B true CN109255642B (zh) 2023-08-25

Family

ID=65000247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810734783.4A Active CN109255642B (zh) 2017-07-14 2018-07-06 人流分析方法、人流分析装置以及人流分析***

Country Status (3)

Country Link
US (2) US10747991B2 (zh)
JP (1) JP6800820B2 (zh)
CN (1) CN109255642B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6800820B2 (ja) * 2017-07-14 2020-12-16 パナソニック株式会社 人流分析方法、人流分析装置、及び人流分析システム
CN110400163A (zh) * 2019-05-10 2019-11-01 杭州小伊智能科技有限公司 一种用于彩妆店销售柜台的人流导引的装置及方法
CN110659588A (zh) * 2019-09-02 2020-01-07 平安科技（深圳）有限公司 一种客流量统计方法、装置及计算机可读存储介质
TWI744704B (zh) * 2019-10-09 2021-11-01 國立勤益科技大學 營運資訊分析系統
TWI740297B (zh) * 2019-12-10 2021-09-21 晶睿通訊股份有限公司 隊列分析方法及其影像監控設備
EP4113427A4 (en) * 2020-02-28 2023-04-12 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM
DE102020203461A1 (de) * 2020-03-18 2021-09-23 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm und Speichermedium
DE102020205699A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanlage, Verfahren, Computerprogramm, Speichermedium und Überwachungseinrichtung
WO2023127122A1 (ja) * 2021-12-28 2023-07-06 日本電気株式会社 店舗支援装置、システム及び方法、並びに、コンピュータ可読媒体
CN114627155A (zh) * 2022-03-18 2022-06-14 广州云从人工智能技术有限公司 客流统计方法、***、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1842824A (zh) * 2004-08-03 2006-10-04 松下电器产业株式会社 人物判定装置及人物搜索跟踪装置
CN104778603A (zh) * 2015-03-27 2015-07-15 北京智慧图科技有限责任公司 基于室内定位数据的商铺客流分析方法及***
CN104933710A (zh) * 2015-06-10 2015-09-23 华南理工大学 基于监控视频下的商店人流轨迹智能分析方法
CN105321090A (zh) * 2014-07-29 2016-02-10 中华电信股份有限公司 来店客群分析及人流情报***及其使用方法
CN105793889A (zh) * 2013-12-04 2016-07-20 株式会社日立制作所 人流引导***以及人流引导方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
JP4705322B2 (ja) 2003-12-22 2011-06-22 ソニー株式会社 持ち物管理装置、持ち物管理方法及び持ち物管理システム
KR20040078636A (ko) * 2004-08-23 2004-09-10 안재명 매장 관리 시스템
JPWO2010013572A1 (ja) 2008-07-28 2012-01-12 国立大学法人 筑波大学 建物内制御装置
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
WO2010131629A1 (ja) 2009-05-11 2010-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子棚札(esl)からコンテンツを取得していくセルフ買物支援
US20120239504A1 (en) * 2011-03-15 2012-09-20 Microsoft Corporation Virtual Shopping Assistance
US20140309872A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
JP2014032507A (ja) * 2012-08-02 2014-02-20 Sharp Corp 切替システム、切替装置、表示装置、切替方法及び切替プログラム
JP6455678B2 (ja) * 2013-03-12 2019-01-23 日本電気株式会社 識別方法、識別システム、識別装置及びプログラム
US10546352B2 (en) * 2013-03-14 2020-01-28 Facebook, Inc. Method for selectively advertising items in an image
JP6600935B2 (ja) * 2014-09-30 2019-11-06 ダイキン工業株式会社 販売支援システム
JP2016177539A (ja) 2015-03-20 2016-10-06 株式会社リコー 情報収集システム、情報処理システムおよびプログラム
US9836671B2 (en) * 2015-08-28 2017-12-05 Microsoft Technology Licensing, Llc Discovery of semantic similarities between images and text
JP6900190B2 (ja) * 2016-01-14 2021-07-07 キヤノン株式会社 認識学習装置、認識学習方法及びプログラム
WO2018144650A1 (en) * 2017-01-31 2018-08-09 Focal Systems, Inc. Automated checkout system through mobile shopping units
JP6800820B2 (ja) * 2017-07-14 2020-12-16 パナソニック株式会社 人流分析方法、人流分析装置、及び人流分析システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1842824A (zh) * 2004-08-03 2006-10-04 松下电器产业株式会社 人物判定装置及人物搜索跟踪装置
CN105793889A (zh) * 2013-12-04 2016-07-20 株式会社日立制作所 人流引导***以及人流引导方法
CN105321090A (zh) * 2014-07-29 2016-02-10 中华电信股份有限公司 来店客群分析及人流情报***及其使用方法
CN104778603A (zh) * 2015-03-27 2015-07-15 北京智慧图科技有限责任公司 基于室内定位数据的商铺客流分析方法及***
CN104933710A (zh) * 2015-06-10 2015-09-23 华南理工大学 基于监控视频下的商店人流轨迹智能分析方法

Also Published As

Publication number Publication date
JP2019020986A (ja) 2019-02-07
US20190019019A1 (en) 2019-01-17
US10747991B2 (en) 2020-08-18
CN109255642A (zh) 2019-01-22
US11138420B2 (en) 2021-10-05
US20200334454A1 (en) 2020-10-22
JP6800820B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
CN109255642B (zh) 人流分析方法、人流分析装置以及人流分析***
CN106776619B (zh) 用于确定目标对象的属性信息的方法和装置
JP6529078B2 (ja) 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
JP6562077B2 (ja) 展示装置、表示制御装置および展示システム
JP7038543B2 (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
US20180181995A1 (en) Systems and methods for dynamic digital signage based on measured customer behaviors through video analytics
CN108051777B (zh) 目标的追踪方法、装置及电子设备
KR101779096B1 (ko) 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법
JP6512283B2 (ja) 情報処理装置及び発注支援方法
JP5002441B2 (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
US9788166B2 (en) Method, apparatus, and system for screening augmented reality content
JP2012088878A (ja) 顧客優待管理システム
JP2017083980A (ja) 行動分析装置及びシステム及び方法
WO2015049340A1 (en) Marker based activity transition models
JP7062985B2 (ja) 顧客行動分析システムおよび顧客行動分析方法
US20210042971A1 (en) Information processing device, display method, and program storage medium for monitoring object movement
JP5753215B2 (ja) 在庫管理およびマーケティングのための画像認識システム
CN109074498A (zh) 用于pos区域的访问者跟踪方法和***
JP7109520B2 (ja) 購入商品推定装置
US20210209615A1 (en) Traffic flow determination device, traffic flow determination system, traffic flow determination method, and program
Karunarathne et al. Understanding a public environment via continuous robot observations
KR101224879B1 (ko) 얼굴인식을 이용한 매장관리시스템 및 방법
US20240161133A1 (en) System for and method of determining user interactions with smart items
Mäkelä et al. Shopper behaviour analysis based on 3d situation awareness information
CN112150193A (zh) 一种客群分析方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Osaka, Japan

Applicant after: Panasonic Holding Co.,Ltd.

Address before: Osaka, Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant