CN108648338B - 自动售货机的商品信息采集方法、装置和售货机 - Google Patents

Abstract

本发明涉及一种自动售货机的商品信息采集方法、自动售货机的商品信息采集装置、计算机设备、计算机存储介质和售货机，其中方法包括：获取拍摄的自动售货机前的图像，从图像中识别出目标客户。根据图像识别目标客户关注的目标商品。计算目标客户在自动售货机前的停留时间，并根据停留时间确定目标客户对目标商品的选择时间。根据选择时间，生成目标商品的销售特征信息，将销售特征信息存入采集的该目标商品信息中。上述方法，通过图像采集识别记录目标客户对目标商品的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，生成对应的目标商品的销售特征信息，有效提升采集的目标商品的销售信息的准确性。

Description

自动售货机的商品信息采集方法、装置和售货机

技术领域

本发明涉及信息采集技术领域，特别是涉及一种自动售货机的商品信息采集方法、装置、计算机设备、计算机存储介质和售货机。

背景技术

目前，售货机例如自动售货机在城市的各个位置中设立网点，为人们提供便利服务。对比传统商店，自动售货机具有售货效率高等优势。在自动售货机的运行过程中，常常需要对售货机的商品信息进行采集，例如对商品销售数据的采集。现有技术在对商品信息进行采集时，通常是通过摄像头或传感器，或内部接口采集分析获取的销售商品的种类和数目的信息。

然而现有技术在采集数据时，采集的数据仅能反应商品种类和数目的信息，信息获取较为单一，不能满足多样化的商品信息采集需要，不能得到准确地反应商品特征的信息。

发明内容

基于此，有必要针对上述技术问题，提供一种能够获得准确地采集商品特征的信息的自动售货机的商品信息采集方法、自动售货机的商品信息采集装置、计算机设备、计算机存储介质和售货机。

一种自动售货机的商品信息采集方法，所述方法包括：

获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户。

根据所述图像识别目标客户关注的目标商品。

计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间。

根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述自动售货机的商品信息采集方法，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的上述方案，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

在一个实施例中，所述根据所述停留时间确定目标客户对所述目标商品的选择时间的步骤之后，还包括：获取所述目标商品的销量数据；所述根据所述选择时间，生成所述目标商品的销售特征信息的步骤包括：根据所述选择时间和销量数据，生成所述目标商品的销售特征信息。

上述实施例的技术方案，除了通过采集的图像记录目标客户对目标商品的选择时间外，还进一步读取目标商品的销量数据，综合目标用户当次对目标商品的选择时间特征，以及当前目标商品的销量数据，对目标商品进行销售情况评价分析，生成对应的销售特征信息，进一步提升商品信息采集的多元化和准确性。

在一个实施例中，所述根据所述选择时间和销量数据，生成所述目标商品的销售特征信息包括：当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息；当所述选择时间超出第一时间阈值且所述目标商品的销量未达到销量阈值时，生成标记所述目标商品为吸引客户但销量不好的销售特征信息。当所述选择时间超出第一时间阈值且所述目标商品的销量达到预定销量时，生成标记所述目标商品为吸引客户且销量好的销售特征信息。

上述实施例的技术方案，根据目标客户对目标商品的选择时间以及目标商品的销量数据，对目标商品的销售情况进行评价分类，将目标商品的选择时间信息与目标商品对客户的吸引度信息关联，将目标商品当前的销量信息与额定销量之间的差异与目标商品畅销度信息关联，将目标商品划分至对应分类的销售评价特征类别中，生成对应的销售特征信息，对目标商品特征进行准确地评价分类，便于商家直观地获知商品的销售信息，以对目标商品的销售策略调整优化。

在一个实施例中，所述当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息的步骤之前，还包括：当所述选择时间未超出第二时间阈值时，丢弃所述选择时间的信息；其中，所述第二时间阈值小于第一时间阈值。

在记录目标客户对目标商品的选择时间时，如果记录的选择时间过短，该次选择时间的记录很可能是无效的数据，例如客户仅仅是路过该售货机而被摄像头短时间的捕捉到，而客户并没有实际的关注货架上的商品。上述实施例的技术方案，设置一个第二时间阈值，对选择时间的信息进行筛选，将小于该第二时间阈值的目标客户的选择时间信息剔除，可以筛除无效的选择时间记录，提升对目标客户选择行为时间提取的准确度。

在一个实施例中，所述根据所述图像识别目标客户关注的目标商品的步骤包括：获取不同监控区域的拍摄图像；其中，每个所述监控区域与一类目标商品形成一一对应关系；对各监控区域监控获取的图像进行目标特征识别，确定所述目标落入的监控区域，根据所述目标落入的所述监控区域确定所述目标客户关注的目标商品。

在对目标客户对目标商品的选择时间进行记录时，一个有待解决的问题是如何判定当前客户关注的具体是哪一个或哪一类的目标商品，作为可能的解决方案，可以选择通过图像识别运算，提取图像中的目标客户和目标商品的特征，以判断当前目标客户选择的目标商品，但是该方法具有运算复杂的缺陷。而本发明上述实施例的技术方案，提出针对每一类的目标商品，通过划分监控区域范围与各类目标商品一一对应，根据图像识别的目标客户落入的监控区域，对应判别该目标客户关注的目标商品，该方法简单而易于实现，可以有效提升运算识别的效率。

在一个实施例中，所述计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间的步骤包括：对获取的视频帧图像进行目标识别，在识别到所述目标客户落入自动售货机前的设定区域范围时，将对应帧图像计入所述目标分类中，并开始记录所述目标客户的停留时间；计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数是否在阈值范围内，若是，则将所述帧图像计入所述目标分类中；若识别到所述目标客户超出设定区域范围时，停止对所述目标客户的停留时间记录，获取记录的目标客户的停留时间作为所述目标客户对所述目标商品的选择时间。

在对目标客户的停留时间进行计时时，如果仅根据采集的客户的人物特征进行计时，可能存在多个目标客户连续出现，例如客户排队出现的情况，不同目标客户的停留时间被误计入同一次的停留时间中，导致对目标停留时间记录不准确。上述实施例的技术方案，根据采集帧图像的采集时序，对采集的帧图像进行相似度识别运算分类，将连续出现的相似度在阈值范围内多帧目标客户归为一类进行计时，可以有效辨别图像中出现的不同的目标客户，并对不同的目标客户进行分别计时，提升对目标客户停留时间计时的准确性。

在一个实施例中，所述计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数的步骤包括：获取后续获取的帧图像与目标分类中的帧图像中目标对象对应的图像数据，分别从所述图像数据中获取所述目标对象的特征点信息，得到第一特征点集合和第二特征点集合；根据所述特征点集的信息，获取第一特征点集合和第二特征点集合之间的双向相似距离，根据所述双向相似距离确定所述两组帧图像中识别目标的相似度。

上述实施例的技术方案，通过提取后续获取的所述帧图像中的目标客户与目标分类中的帧图像这两组图像中目标客户的特征点信息的第一特征点集合和第二特征点集合，计算第一特征点集合和第二特征点集合之间的双向相似距离，得到第一特征点集合和第二特征点集合的最大不匹配度的信息，确定两组帧图像中识别目标的相似度，可以简单而高效地提取比对两组图像中目标客户的相似度。

在一个实施例中，第一特征点集合相对于第二特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(H,G)第一特征点集合相对于第二特征点集合的单向相似距离。

第二特征点集合相对于第一特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(G,H)第二特征点集合相对于第一特征点集合的单向相似距离。

所述双向相似距离依照下式得出：

D(H,G)＝max(d(H,G),d(G,H))

上述实施例的技术方案，通过计算的两组图像特征点集之间的单向相似距离中的较大值，作为两组图像特征点集和的相似度，其中单向相似距离描述特征点集中的各个特征点的位置关系的不匹配度的信息，通过计算的其中一个集合中各个特征点相对于另一个集合中任意一个特征点的最小距离，将其中的特征点进行最小距离匹配对应相似点，并获取两两相似点之间的最小距离，再获取各最小距离中的最大值，通过距离运算提取两组图像的特征点之间的最大不匹配度的信息，运算方式简单，易于实现，可以有效提升运算效率。

在一个实施例中，所述获取后续获取的帧图像与目标分类中的帧图像中目标客户对应的图像数据，分别从所述图像数据中获取所述目标客户的特征点信息，得到第一特征点集合和第二特征点集合的步骤包括：根据图像的灰度强度值对后续获取的帧图像与目标分类中的帧图像中识别的目标客户进行形状分割，获取所述目标客户的形状轮廓线，对连续帧的图像获取运动区域进行比对计算获取的形状轮廓线作为投影曲线；计算所述投影曲线区域图像的重心，将投影曲线以该重心为原点转化为点集，获取所述点集的信息为目标客户的特征点信息，得到第一特征点集合和第二特征点集合。

上述实施例的技术方案，通过提取的目标客户特征轮廓线的投影曲线，计算重心转化为点集提取图像中的特征点进行运算，可以精简运算数据，避免对目标客户整个特征区域的像素点进行运算，运算量庞大导致的效率低和***负荷重的问题，提升运算效率。

一种自动售货机的商品信息采集装置，所述装置包括：

目标客户识别模块，用于获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

目标商品匹配模块，用于根据所述图像识别目标客户关注的目标商品；

选择时间记录模块，用于计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；

商品信息采集模块，用于根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述自动售货机的商品信息采集装置，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的上述方案，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

根据所述图像识别目标客户关注的目标商品；

计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；

根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述计算机设备，其处理器执行程序时，通过实现如上步骤，从而可以通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

根据所述图像识别目标客户关注的目标商品；

计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；

根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述计算机存储介质，其存储的计算机程序，通过实现如上步骤，从而可以通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

本发明还提供一种售货机，所述售货机包括摄像头和与所述摄像头连接的处理器，所述处理器执行如上任一实施例所述的自动售货机的商品信息采集方法的步骤。

上述售货机，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的售货机在对售货机的商品信息进行采集时，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

附图说明

图1为一个实施例中自动售货机的商品信息采集方法的应用环境图；

图2为一个实施例中自动售货机的商品信息采集方法的流程示意图；

图3为另一个实施例中自动售货机的商品信息采集方法的流程示意图；

图4为一个实施例中目标商品的销售特征信息生成步骤的流程示意图；

图5为一个实施例中目标客户对目标商品的选择时间获取步骤的流程示意图；

图6为一个实施例中相似度参数计算步骤的流程示意图；

图7为一个应用示例中自动售货机的图像采集***的结构框图；

图8为一个应用示例中自动售货机的商品信息采集方法的流程示意图；

图9为一个实施例中自动售货机的商品信息采集装置的结构框图；

图10为一个实施例中自动售货机的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的自动售货机的商品信息采集方法，可以应用于如图1所示的应用环境中。其中，自动售货机10上装设有摄像头110，摄像头朝向自动售货机的货架11前方区域进行图像采集，摄像头110与自动售货机内部的处理器120连接，摄像头110将拍摄的自动售货机前方的图像数据传输至处理器，处理器处理接收的图像数据，识别和采集自动售货机前方目标客户20对自动售货机的货架11上的目标商品12的选择时间的数据，对目标商品12的信息进行采集。

在一个实施例中，如图2所示，提供了一种自动售货机的商品信息采集方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：

S210，获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户。

其中，目标客户是指自动售货机前出现的人物，只要自动售货机前出现的人物特征满足特定的识别条件，可判定该人物为对所使自动售货机商品具有关注的行为特征，例如识别出该人物人脸朝向自动售货机的货架方向，则可以判定该人物为目标客户。

在此步骤中，处理器可以通过摄像头获取拍摄的自动售货机前的图像，从所述图像中通过图像识别算法识别出图像中的目标客户。

S220，根据所述图像识别目标客户关注的目标商品。

其中，目标商品是指的自动售货机的货架上放置的多种商品中，该目标客户关注的种类的商品。例如若当前货架上有饮料、零食和纸巾等，通过图像识别到当前目标客户关注的商品为货架上的饮料，则饮料即为目标商品。

在此步骤中，处理器根据采集的图像进行分析识别目标客户关注的目标商品。

S230，计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间。

其中，停留时间是指的目标客户进入和离开自动售货机前的预定区域范围的时间差值，选择时间是指目标客户对目标商品的关注行为的时间。

在此步骤中，处理器计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间。

S240，根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

其中，销售特征信息是对所述目标商品的销售情况的评价信息，例如所述目标商品是否畅销或是否吸引客户等等的信息。

在此步骤中，处理器根据确定的目标客户对所述目标商品的选择时间，分析生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述自动售货机的商品信息采集方法，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的上述方案，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

在一个实施例中，所述根据所述停留时间确定目标客户对所述目标商品的选择时间的步骤之后，还包括：获取所述目标商品的销量数据；所述根据所述选择时间，生成所述目标商品的销售特征信息的步骤包括：根据所述选择时间和销量数据，生成所述目标商品的销售特征信息。

在一个实施例中，如图3所示，提供了一种自动售货机的商品信息采集方法，包括以下步骤：

S310，获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户。

S320，根据所述图像识别目标客户关注的目标商品。

S330，计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间。

S340，获取所述目标商品的销量数据；

其中，销量数据可以是设定时间段例如当月或者当季该目标商品的销售量的数据，该数据可以是预存于售货机内存中读取的，也可以是实时接收服务器发送的所述目标商品的销量数据。

S350，根据所述选择时间和销量数据，生成所述目标商品的销售特征信息；

S360，将所述销售特征信息存入采集的该目标商品信息中。

上述实施例的技术方案，除了通过采集的图像记录目标客户对目标商品的选择时间外，还进一步读取目标商品的销量数据，综合目标用户当次对目标商品的选择时间特征，以及当前目标商品的销量数据，对目标商品进行销售情况评价分析，生成对应的销售特征信息，进一步提升商品信息采集的多元化和准确性。

在一个实施例中，如图4所示，S350所述根据所述选择时间和销量数据，生成所述目标商品的销售特征信息包括：

S351，当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息；

S352，当所述选择时间超出第一时间阈值且所述目标商品的销量未达到销量阈值时，生成标记所述目标商品为吸引客户但销量不好的销售特征信息。

S353，当所述选择时间超出第一时间阈值且所述目标商品的销量达到预定销量时，生成标记所述目标商品为吸引客户且销量好的销售特征信息。

上述实施例的技术方案，根据目标客户对目标商品的选择时间以及目标商品的销量数据，对目标商品的销售情况进行评价分类，将目标商品的选择时间信息与目标商品对客户的吸引度信息关联，将目标商品当前的销量信息与额定销量之间的差异与目标商品畅销度信息关联，将目标商品划分至对应分类的销售评价特征类别中，生成对应的销售特征信息，对目标商品特征进行准确地评价分类，便于商家直观地获知商品的销售信息，以对目标商品的销售策略调整优化。

在一个实施例中，上述步骤S351中的当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息的步骤之前，还包括：

S354，当所述选择时间未超出第二时间阈值时，丢弃所述选择时间的信息；其中，所述第二时间阈值小于第一时间阈值。

在记录目标客户对目标商品的选择时间时，如果记录的选择时间过短，该次选择时间的记录很可能是无效的数据，例如客户仅仅是路过该售货机而被摄像头短时间的捕捉到，而客户并没有实际的关注货架上的商品。上述实施例的技术方案，设置一个第二时间阈值，对选择时间的信息进行筛选，将小于该第二时间阈值的目标客户的选择时间信息剔除，可以筛除无效的选择时间记录，提升对目标客户选择行为时间提取的准确度。

在一个实施例中，S220所述根据所述图像识别目标客户关注的目标商品的步骤包括：

S221，获取不同监控区域的拍摄图像；其中，每个所述监控区域与一类目标商品形成一一对应关系；

其中，所述每个所述监控区域与一类目标商品形成一一对应关系，是指每个该监控区域监控的范围，若目标客户落入该范围了，则该目标客户可以判定为对该目标商品进行关注。例如可以是对于每个类别的目标商品，均划定一个目标客户人脸特征例如眼睛，在关注该目标商品时可能处于的拍摄位置的区域范围。对于监控区域的划分，可以是对一个摄像头采集的图像进行区域划分，也可以是通过多个摄像头分别采集不同区域的图像，又或者是两种方式组合。

S222，对各监控区域监控获取的图像进行目标特征识别，确定所述目标落入的监控区域，根据所述目标落入的所述监控区域确定所述目标客户关注的目标商品。

其中，在多个监控区域均识别到目标客户特征时，可以通过算法识别判定目标落入的一个或多个监控区域范围。

在对目标客户对目标商品的选择时间进行记录时，一个有待解决的问题是如何判定当前客户关注的具体是哪一个或哪一类的目标商品，作为可能的解决方案，可以选择通过图像识别运算，提取图像中的目标客户和目标商品的特征，以判断当前目标客户选择的目标商品，但是该方法具有运算复杂的缺陷。而本发明上述实施例的技术方案，提出针对每一类的目标商品，通过划分监控区域范围与各类目标商品一一对应，根据图像识别的目标客户落入的监控区域，对应判别该目标客户关注的目标商品，该方法简单而易于实现，可以有效提升运算识别的效率。

在一个实施例中，如图5所示，S230中所述计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间的步骤包括：

S231，对获取的视频帧图像进行目标识别，在识别到所述目标客户落入自动售货机前的设定区域范围时，将对应帧图像计入所述目标分类中，并开始记录所述目标客户的停留时间；

S232，计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数是否在阈值范围内，若是，则将所述帧图像计入所述目标分类中；

S233，若识别到所述目标客户超出设定区域范围时，停止对所述目标客户的停留时间记录，获取记录的目标客户的停留时间作为所述目标客户对所述目标商品的选择时间。

在对目标客户的停留时间进行计时时，如果仅根据采集的客户的人物特征进行计时，可能存在多个目标客户连续出现，例如客户排队出现的情况，不同目标客户的停留时间被误计入同一次的停留时间中，导致对目标停留时间记录不准确。上述实施例的技术方案，根据采集帧图像的采集时序，对采集的帧图像进行相似度识别运算分类，将连续出现的相似度在阈值范围内多帧目标客户归为一类进行计时，可以有效辨别图像中出现的不同的目标客户，并对不同的目标客户进行分别计时，提升对目标客户停留时间计时的准确性。

在一个实施例中，S232中所述计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数的步骤包括：

S2321，获取后续获取的帧图像与目标分类中的帧图像中目标对象对应的图像数据，分别从所述图像数据中获取所述目标对象的特征点信息，得到第一特征点集合和第二特征点集合；

S2322，根据所述特征点集的信息，获取第一特征点集合和第二特征点集合之间的双向相似距离，根据所述双向相似距离确定所述两组帧图像中识别目标的相似度。

上述实施例的技术方案，通过提取后续获取的所述帧图像中的目标客户与目标分类中的帧图像这两组图像中目标客户的特征点信息的第一特征点集合和第二特征点集合，计算第一特征点集合和第二特征点集合之间的双向相似距离，得到第一特征点集合和第二特征点集合的最大不匹配度的信息，确定两组帧图像中识别目标的相似度，可以简单而高效地提取比对两组图像中目标客户的相似度。

进一步地，如图6所示，在一个实施例中，S2321中所述获取后续获取的帧图像与目标分类中的帧图像中目标客户对应的图像数据，分别从所述图像数据中获取所述目标客户的特征点信息，得到第一特征点集合和第二特征点集合的步骤包括：

S2321a，根据图像的灰度强度值对后续获取的帧图像与目标分类中的帧图像中识别的目标客户进行形状分割，获取所述目标客户的形状轮廓线，对连续帧的图像获取运动区域进行比对计算获取的形状轮廓线作为投影曲线；

S2321b，计算所述投影曲线区域图像的重心，将投影曲线以该重心为原点转化为点集，获取所述点集的信息为目标客户的特征点信息，得到第一特征点集合和第二特征点集合。

其中，第一特征点集合为后续获取的帧图像中目标客户的特征点的集合，第二特征点集合为目标分类中目标客户的特征点的集合。

上述实施例的技术方案，通过提取的目标客户特征轮廓线的投影曲线，计算重心转化为点集提取图像中的特征点进行运算，可以精简运算数据，避免对目标客户整个特征区域的像素点进行运算，运算量庞大导致的效率低和***负荷重的问题，提升运算效率。

在一个实施例中，如图6所示，S2322中所述根据所述特征点集的信息，获取第一特征点集合和第二特征点集合之间的双向相似距离包括：

S2322a，针对第一特征点集合中的每个特征点，分别获取第二特征点集合中的各个特征点与该特征点的最小距离，选取各个所述最小距离中的最大值，为第一特征点集合相对于第二特征点集合的单向相似距离；

其中，第一特征点集合相对于第二特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(H,G)第一特征点集合相对于第二特征点集合的单向相似距离。

d(H,G)并不是两个点集的真实距离，而是集合G中与集合H中某点h_i的距离最小的g_j的距离||h_i-gj||进行排序，d(H,G)为其中的最大值。

S2322b，针对第二特征点集合中的每个特征点，分别获取第一特征点集合中的各个特征点与该特征点的最小距离，选取各个所述最小距离中的最大值，为第二特征点集合相对于第一特征点集合的单向相似距离；

其中，第二特征点集合相对于第一特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(G,H)第二特征点集合相对于第一特征点集合的单向相似距离。

d(G,H)并不是两个点集的真实距离，而是集合H中与集合G中某点g_j的距离最小的h_i的距离||gj-h_i||进行排序，d(G,H)为其中的最大值。

S2322c，获取第一特征点集合相对于第二特征点集合的单向相似距离和第二特征点集合相对于第一特征点集合的单向相似距离中的较大值，为第一特征点集合和第二特征点集合之间的双向相似距离。

其中，所述双向相似距离依照下式得出：

D(H,G)＝max(d(H,G),d(G,H))

双向相似距离D(H,G)是单向相似距离d(H,G)与d(G,H)中的较大者，D(H,G)描述了两个图像的特征点集合的最大不匹配度。

上述实施例的技术方案，通过计算的两组图像特征点集之间的单向相似距离中的较大值，作为两组图像特征点集和的相似度，其中单向相似距离描述特征点集中的各个特征点的位置关系的不匹配度的信息，通过计算的其中一个集合中各个特征点相对于另一个集合中任意一个特征点的最小距离，将其中的特征点进行最小距离匹配对应相似点，并获取两两相似点之间的最小距离，再获取各最小距离中的最大值，通过距离运算提取两组图像的特征点之间的最大不匹配度的信息，运算方式简单，易于实现，可以有效提升运算效率。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了使得本发明实施例的自动售货机的商品信息采集方法更加清楚明白，下面以一个具体的应用示例对本发明的自动售货机的商品信息采集方法进行阐述。

本发明应用示例的自动售货机的商品信息采集方法，可应用于本发明应用示例的自动售货机的商品信息采集***中，该自动售货机的商品信息采集***利用摄像头采集客户的购买行为的图像，并通过相似识别算法对采集的图像进行相似目标的识别分类。

如图7所示，本发明应用示例的自动售货机的商品信息采集***上装载有图像采集***700，图像采集***700包括图像采集模块710、数据处理模块720和***反馈模块730。其中，图像采集模块710通过摄像头采集自动售货机前的图像，数据处理模块720中配置了相似识别算法的程序，对图像中的客户进行目标识别，对识别出的目标客户进行信息归类，进一步分析客户的选择时间以及对应选择的目标商品。

如图8所示，本发明对客户进行相似性识别，快速识别出客户一次购买商品行为的选择时间。当连续采集的图像数据相似度大于阈值并且连续采集时间大于额定选择时间的条件下，***开始对客户数据进行下一步的数据处理，使用第一帧图像代表客户并记录客户最终购买商品行为的选择时间。结合采集的用户对目标商品的选择时间以及目标商品的销量，将商品销售情况分成3种：商品吸引客户并且销量好、商品吸引客户却销量不好或商品不吸引客户。

在当前采集的图像数据与当前对比集合的图像数据相似度低于阈值时，***将记录前一客户的购买行为时间长度；而当前图像设定为第二客户，新增一个客户数据集合并重新设定相似参数，下一帧图像则与新的客户数据集合进行相似识别。

当该集合连续采集时间小于***额定选择时间时，***将丢弃该集合。

本发明应用示例的自动售货机的商品信息采集方法，当摄像头采集到每个用户对商品的选择时间的数据并反馈到服务器中，后续可根据采集的选择时间分析客户偏好进行商品销售策略的调整，实现销售效益的最大化。

在一个实施例中，如图9所示，提供了一种自动售货机的商品信息采集装置，包括：

目标客户识别模块910，用于获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

目标商品匹配模块920，用于根据所述图像识别目标客户关注的目标商品；

选择时间记录模块930，用于计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；

商品信息采集模块950，用于根据所述选择时间，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中。

上述自动售货机的商品信息采集装置，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的上述方案，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

在一个实施例中，所述自动售货机的商品信息采集装置，还包括：

销量获取模块940，用于获取所述目标商品的销量数据；

所述商品信息采集模块950进一步用于根据所述选择时间和销量数据，生成所述目标商品的销售特征信息。

在一个实施例中，所述商品信息采集模块950进一步用于当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息；当所述选择时间超出第一时间阈值且所述目标商品的销量未达到销量阈值时，生成标记所述目标商品为吸引客户但销量不好的销售特征信息；当所述选择时间超出第一时间阈值且所述目标商品的销量达到预定销量时，生成标记所述目标商品为吸引客户且销量好的销售特征信息。

在一个实施例中，所述商品信息采集模块950还用于当所述选择时间未超出第二时间阈值时，丢弃所述选择时间的信息；其中，所述第二时间阈值小于第一时间阈值。

在一个实施例中，所述目标商品匹配模块920包括：

多区域图像获取模块921，用于获取不同监控区域的拍摄图像；其中，每个所述监控区域与一类目标商品形成一一对应关系；

关注商品确定模块922，用于对各监控区域监控获取的图像进行目标特征识别，确定所述目标落入的监控区域，根据所述目标落入的所述监控区域确定所述目标客户关注的目标商品。

在一个实施例中，所述选择时间记录模块930包括：

起始计时模块931，用于对获取的视频帧图像进行目标识别，在识别到所述目标客户落入自动售货机前的设定区域范围时，将对应帧图像计入所述目标分类中，并开始记录所述目标客户的停留时间；

相似度对比模块932，用于计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数是否在阈值范围内，若是，则将所述帧图像计入所述目标分类中；

终止计时模块933，用于若识别到所述目标客户超出设定区域范围时，停止对所述目标客户的停留时间记录，获取记录的目标客户的停留时间作为所述目标客户对所述目标商品的选择时间。

在一个实施例中，所述相似度对比模块932包括：

特征点提取模块9321，用于获取后续获取的帧图像与目标分类中的帧图像中目标对象对应的图像数据，分别从所述图像数据中获取所述目标对象的特征点信息，得到第一特征点集合和第二特征点集合；

相似度计算模块9322，用于根据所述特征点集的信息，获取第一特征点集合和第二特征点集合之间的双向相似距离，根据所述双向相似距离确定所述两组帧图像中识别目标的相似度。

在一个实施例中，相似度计算模块9322中第一特征点集合相对于第二特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(H,G)第一特征点集合相对于第二特征点集合的单向相似距离。

相似度计算模块9322中第二特征点集合相对于第一特征点集合的单向相似距离表示如下：

上式中，H为第一特征点集合，G为第二特征点集合，h为第一特征点集合中的特征点，g为第二特征点集合中的特征点，d(G,H)第二特征点集合相对于第一特征点集合的单向相似距离。

相似度计算模块9322中所述双向相似距离依照下式得出：

D(H,G)＝max(d(H,G),d(G,H))

在一个实施例中，所述特征点提取模块9321包括：

投影曲线提取模块9321a，用于根据图像的灰度强度值对后续获取的帧图像与目标分类中的帧图像中识别的目标客户进行形状分割，获取所述目标客户的形状轮廓线，对连续帧的图像获取运动区域进行比对计算获取的形状轮廓线作为投影曲线；

特征点集获取模块9321b，用于计算所述投影曲线区域图像的重心，将投影曲线以该重心为原点转化为点集，获取所述点集的信息为目标客户的特征点信息，得到第一特征点集合和第二特征点集合。

关于自动售货机的商品信息采集装置的具体限定可以参见上文中对于自动售货机的商品信息采集方法的限定，在此不再赘述。上述自动售货机的商品信息采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本发明的自动售货机的商品信息采集装置与本发明的自动售货机的商品信息采集方法一一对应，在上述自动售货机的商品信息采集方法的实施例阐述的技术特征及其有益效果均适用于自动售货机的商品信息采集装置的实施例中，特此声明。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上任一实施例所述自动售货机的商品信息采集方法的步骤。

上述计算机设备，其处理器执行程序时，通过实现如上步骤，从而可以通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所述自动售货机的商品信息采集方法的步骤。

上述计算机可读存储介质，其存储的计算机程序，通过实现如上步骤，从而可以通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明还提供一种售货机，如图10所示，所述售货机100包括摄像头1010和与所述摄像头1010连接的处理器1020，所述处理器1020执行如上任一实施例所述的自动售货机的商品信息采集方法的步骤。

上述售货机，相较于传统的商品信息采集仅采集商品的销量和销售种类的信息对商品进行销售特征信息提取，本申请的售货机在对售货机的商品信息进行采集时，通过图像采集识别记录目标客户对目标商品的选择时间，并根据目标客户的选择时间，结合选择时间的特征代表的目标客户对目标商品的反馈信息，对各种不同类别的目标商品的销售特征进行分析，生成对应的目标商品的销售特征信息，有效提升对商品销售情况信息提取的多样性，提升采集的目标商品的销售信息的准确性。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动售货机的商品信息采集方法，所述方法包括：

获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

根据所述图像识别目标客户关注的目标商品；

计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；其中，所述停留时间为所述目标客户进入和离开自动售货机前的预定区域范围的时间差值，所述选择时间为所述目标客户对所述目标商品的关注行为的时间；

根据所述选择时间以及获取的所述目标商品的销售数据，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中；

其中，所述根据所述选择时间以及获取的所述目标商品的销售数据，生成所述目标商品的销售特征信息包括：

当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息；

当所述选择时间超出第一时间阈值且所述目标商品的销量数量未达到销量阈值时，生成标记所述目标商品为吸引客户但销量不好的销售特征信息；

当所述选择时间超出第一时间阈值且所述目标商品的销量数量达到预定销量时，生成标记所述目标商品为吸引客户且销量好的销售特征信息。

2.根据权利要求1所述的自动售货机的商品信息采集方法，其特征在于，所述根据所述选择时间以及获取的所述目标商品的销量数据，生成所述目标商品的销售特征信息还包括：

当所述选择时间未超出第二时间阈值时，丢弃所述选择时间的信息；其中，所述第二时间阈值小于第一时间阈值。

3.根据权利要求1所述的自动售货机的商品信息采集方法，其特征在于，所述根据所述图像识别目标客户关注的目标商品的步骤包括：

获取不同监控区域的拍摄图像；其中，每个所述监控区域与一类目标商品形成一一对应关系；

对各监控区域监控获取的图像进行目标特征识别，确定所述目标落入的监控区域，根据所述目标落入的所述监控区域确定所述目标客户关注的目标商品。

4.根据权利要求1所述的自动售货机的商品信息采集方法，其特征在于，所述计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间的步骤包括：

对获取的视频帧图像进行目标识别，在识别到所述目标客户落入自动售货机前的设定区域范围时，将对应帧图像计入所述目标分类中，并开始记录所述目标客户的停留时间；

计算后续获取的所述帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数是否在阈值范围内，若是，则将所述帧图像计入所述目标分类中；

若识别到所述目标客户超出设定区域范围时，停止对所述目标客户的停留时间记录，获取记录的目标客户的停留时间作为所述目标客户对所述目标商品的选择时间。

5.根据权利要求1所述的自动售货机的商品信息采集方法，其特征在于，所述计算后续获取的帧图像中的目标客户与目标分类中的帧图像中的目标客户的相似度参数的步骤包括：

获取后续获取的帧图像与目标分类中的帧图像中目标对象对应的图像数据，分别从所述图像数据中获取所述目标对象的特征点信息，得到第一特征点集合和第二特征点集合；

根据所述特征点集的信息，获取第一特征点集合和第二特征点集合之间的双向相似距离，根据所述双向相似距离确定两组帧图像中识别目标的相似度；其中，所述双向相似距离依照下式得出：

D(H,G)＝max(d(H,G),d(G,H))

其中，上式中，H为第一特征点集合，G为第二特征点集合，D(H,G)为第一特征点集合和第二特征点集合之间的双向相似距离，d(H,G)第一特征点集合相对于第二特征点集合的单向相似距离，d(G,H)为第二特征点集合相对于第一特征点集合的单向相似距离。

6.根据权利要求5所述的自动售货机的商品信息采集方法，其特征在于，所述获取后续获取的帧图像与目标分类中的帧图像中目标客户对应的图像数据，分别从所述图像数据中获取所述目标客户的特征点信息，得到第一特征点集合和第二特征点集合的步骤包括：

根据图像的灰度强度值对后续获取的帧图像与目标分类中的帧图像中识别的目标客户进行形状分割，获取所述目标客户的形状轮廓线，对连续帧的图像获取运动区域进行比对计算获取的形状轮廓线作为投影曲线；

计算所述投影曲线区域图像的重心，将投影曲线以该重心为原点转化为点集，获取所述点集的信息为目标客户的特征点信息，得到第一特征点集合和第二特征点集合。

7.根据权利要求6所述的自动售货机的商品信息采集方法，其特征在于，所述第一特征点集合为后续获取的所述帧图像中所述目标客户的特征点的集合，所述第二特征点集合为所述目标分类中所述目标客户的特征点的集合。

8.一种自动售货机的商品信息采集装置，其特征在于，所述装置包括：

目标客户识别模块，用于获取拍摄的自动售货机前的图像，从所述图像中识别出目标客户；

目标商品匹配模块，用于根据所述图像识别目标客户关注的目标商品；

选择时间记录模块，用于计算所述目标客户在自动售货机前的停留时间，并根据所述停留时间确定目标客户对所述目标商品的选择时间；其中，所述停留时间为所述目标客户进入和离开自动售货机前的预定区域范围的时间差值，所述选择时间为所述目标客户对所述目标商品的关注行为的时间；

商品信息采集模块，用于根据所述选择时间以及获取的所述目标商品的销售数据，生成所述目标商品的销售特征信息，将所述销售特征信息存入采集的该目标商品信息中；

其中，所述商品信息采集模块具有用于当所述选择时间未超出第一时间阈值时，生成标记所述目标商品为不吸引客户的销售特征信息；当所述选择时间超出第一时间阈值且所述目标商品的销量数量未达到销量阈值时，生成标记所述目标商品为吸引客户但销量不好的销售特征信息；当所述选择时间超出第一时间阈值且所述目标商品的销量数量达到预定销量时，生成标记所述目标商品为吸引客户且销量好的销售特征信息。

9.根据权利要求8所述的自动售货机的商品信息采集装置，其特征在于，所述商品信息采集模块还用于当所述选择时间未超出第二时间阈值时，丢弃所述选择时间的信息；其中，所述第二时间阈值小于第一时间阈值。

10.一种售货机，其特征在于，所述售货机包括摄像头和与所述摄像头连接的处理器，所述处理器执行如权利要求1至7中任一项所述的自动售货机的商品信息采集方法的步骤。

Images