CN102982332A - 基于云处理方式的零售终端货架影像智能分析*** - Google Patents

Abstract

本发明涉及零售终端货架影像智能分析***，包括：样品采集单元，用于采集样品图像信息；零售终端目标图像采集***，用于在零售终端采集货架的图像信息；云端智能图像分析单元该云端智能图像分析单元包括：特征提取部，分析目标图像并获得样品图像的颜色特征数据，利用该数据建立生成样品数据库，以及分析目标图像采集***采集的图像，提取零售终端目标图像的颜色特征数据。图像分割部，所述图像分割单元对目标图像进行分割，进而识别单个商品的外框架。模式识别部，识别目标图像的商品。数据分析单元，对云端智能图像分析***中其它部分获取的商品信息进行汇总和/或分析。通过上述***，本发明能快速、可靠和低成本地提供产品陈列布置的信息。

Description

基于云处理方式的零售终端货架影像智能分析***

技术领域

本发明属于图像模式识别领域，通过云处理方式对采集的图像进行模式识别和分析，应用于零售终端的管理。

背景技术

在零售终端竞争日益加剧的今天，消费品厂商越来越关注产品在各个零售终端的销售情况，而公知的是，产品在零售终端货架的陈列情况直接影响到消费者对产品以及品牌的关注度进而影响产品的销量，是影响销售至关重要的因素。然而现有的零售终端货架陈列信息的收集通常是通过大量的人力到零售终端手工完成收集，这样造成信息的准确性和时效性都很差，特别是随着人力成本的上涨，以及竞争的更加激烈，管理上要求更精确、更有依据、更快速反应，需要用技术手段实现自动化。

随着图像采集技术和网络技术的进步，特别是智能手机摄像能力的提高，人们可以采用手机摄像机搜集必要图像信息，为实现自动化地识别货架陈列信息奠定基础。基于此，现有技术中提出了一些基于数字图像处理来获取货架陈列信息的技术方案。例如：公布号为CN102184405A的中国发明专利申请，其提供了一种货架图像采集分析的方法，该方法中将标尺摆放在货架上，通过例如手机上的摄像机来采集和识别标尺上图像信息，然后对上述图像进行分析和计算得到货架陈列信息。

但该方法有较大的局限性：首先其必须采用经专门处理加上标尺的货架，不具通用性，无法实际操作应用，实际应用性很不乐观；其次该算法在根据标尺分层后未经单体分割而直接识别单体，且没有提及辅助手段，实际应用中，货架商品的摆放有各种复杂情况，包括缺货，重叠，覆盖等等，如果不分割直接识别，很可能造成连体(漏分割)、半体(过分割)、不能识别等不可预测的结果，造成识别率很低。

公布号为CN102523758A的中国发明专利申请则是提供了一种增强现实提供***，具通过向服务器装置发送包含摄影装置的拍摄内容的图像信息的、用于取得表示在根据图像信息能够确定的货架中能够陈列的商品的商品信息的请求，在显示装置中与通过摄影装置拍摄到的图像信息重叠地显示对请求进行应答而从服务器装置发送的回答中包含的商品信息。服务器装置根据在请求中包含的图像信息确定货架，并确定货架的空闲空间的大小，从关联地存储了多个表示商品的商品信息和表示商品的大小的尺寸信息的存储装置中选择比所确定的货架的空闲空间的大小小的商品的商品信息，向A R提供装置发送包含所选择的商品信息的回答。

然而该方案仅仅用于检测货架空闲空间，无法识别货架的其它商品陈列信息，而仅仅识别空闲空间仅仅有利于提升货架的使用率，而对于提升销售并没有太大的帮助；其次，该***的商品信息是根据位置从数据库读取，因此没有模式识别用的样本库，而实际运用中商品信息是不断变化的，当样本库没有存储相应的信息时该方案难以实施，并且使用该方案也无法识别商品的位置；第三，该***的部署空间有限，通常是在本店部署，而无法覆盖很大地范围。

发明内容

本发明正是出于克服现有技术的上述不足而提出的。根据本发明的一个方面，本发明要解决的问题是提供一种能够基于云处理获取的货架陈列信息的技术方案，其能够大范围远程地获取货架陈列信息，便于集中分析和管理以提高商品摆放的合理性促进销售。根据本发明的另一方面，本发明要解决的另一个技术问题是提高货架中商品摆放信息的识别能力，提供更全面、更准确的商品陈列信息。

本发明是通过如下技术手段来解决上述技术问题的：

一种零售终端货架影像智能分析***，包括：样品采集单元，所述样品采集单元用于采集样品图像信息并将该信息传输给云端智能图像分析***；零售终端目标图像采集单元，所述零售终端目标图像采集单元用于在零售终端采集货架的目标图像信息；并将该信息传输给云端智能图像分析***；云端智能图像分析***该云端智能图像分析***包括：特征提取部，所述特征提取单元分析样品采集单元获取的目标图像，获得样品图像的颜色特征数据，利用该数据建立生成样品数据库；此外该特征提取单元还分析零售终端图像采集***采集的图像，提取零售终端目标图像的颜色特征数据；图像分割部，所述图像分割单元对所述目标图像采集***采集的图像进行分割，进而识别单个商品的外框架；模式识别部，所述模式识别单元利用样品数据库分析所述目标图像的颜色特征数据，识别零售终端目标图像中的商品类型；数据分析单元，对云端智能图像分析单元中其它部分获取的商品信息进行汇总和/或分析。通过上述***，本发明能够实现基于云处理获取的货架陈列信息的技术方案，其能够大范围远程地获取货架陈列信息，便于集中分析和管理以提高商品摆放的合理性促进销售。

根据本发明的另一方面，本发明提供了一种基于色彩的数字图像特征分析***，该***包括：A.颜色读取模块，读取图像中的颜色数值；B.颜色空间量化模块，对颜色空间进行量化，将每一个颜色分量的灰度级N等分为m份；C.直方图构建模块，其在量化后构建颜色直方图；D.图像整体d维直方图构件模块，其再将直方图构建模块中构建的直方图按照一维方式展开，展开后存在m^d个数据，d表示颜色空间中的颜色分量。通过该***，本发明对于原始图像进行特征提取，变换成具有更加显著特征的颜色信息组合，以便于该图像的内容能够被准确识别。

优选地，该数字图像特征分析***还包括：模式识别部，所述模式识别部利用图像整体d维直方图构件模块分析所述目标图像的颜色特征数据，识别零售终端目标图像中的商品类型。

优选地：对颜色空间进行量化的公式为：

N_i←[g_i，g_i+1]

$g_i=\frac{N}{m}*i$

$g_{i+1}=g_i+\frac{N}{m}$

其中，i[0，m-1]，g_i为图像像素原始颜色值，当其范围落在一定的取值区间[g_i，g_i+1]时，将其映射为新的量化等级N_i，这样原始的颜色值g_i(0≤i＜N)被量化为N_j(0≤j＜m)。。

优选地：构建颜色直方图，其计算公式为：f(i)＝h[N_i]

优选地：构建图像整体的d维直方图计算公式为：

f＝(f(0)，f(1)，...，f(m^d-1))

其中，p＝i*m^d-1+j*m^d-2+...+k，i，j，k∈{0，1，...，m-1}。

更进一步地，本发明还提供了一种采用上述之一的数字图像特征分析***的方法，其中包括对数字图像进行采集；更进一步地该采集中模拟为超市光线环境并消除反光。

根据本发明的第三个方面，本发明还提供了一种货架图像分割方法，其包括：首先针对图像的二值化结果构建垂直投影直方图，选取合适的阈值T以获取每层货架在图像中的位置进行切割；

然后，统计图像中不同颜色空间不同颜色分量下的水平投影直方图，为了凸显直方图的峰值，对直方图进行差分操作，其公式为：

Δ_xH_i(b_x)＝H_i(x)-H_i(x-1)

其中Hi是i个颜色分量下的水平投影直方图，水平投影直方图中每个点的坐标为(x，H_x)，(x∈[0，W))，W为货架的宽度；

然后，通过逻辑运算“或”操作处理上述直方图的每一列获得最终的直方图，其计算公式为：

H(x)＝Δ_xH₁(x)|Δ_xH₂(x)|...|Δ_xH_n(x)；

然后，对最终的直方图数据进行归一化处理，使得直方图的高度限定在一定的范围内，方便显示与分析处理，其计算公式为：

$H\left(x\right)=(H\left(x\right)*\mathrm{IH})/\underset{0\&le;i<W}{\max }H\left(i\right)$

其中，IH表示图像的高度，max_0≤i＜WH(i)表示直方图所有列的最大值；

最后通过设定阈值，将归一化处理后的直方图分成多个部分，在对应的图像位置标记出分割线的位置，实现单件商品的外框架分割识别。

通过该方法的使用，本发明能够准确快捷准确地获取在非理想状况下拍摄的货架图像中的商品信息。

更进一步的，该方法还包括，利用所述比例分析后得到的比例尺对分割后得到的每个商品在候选样本库范围内进行模式识别。

附图说明

图1为零售终端货架影像智能分析***流程图

图2为零售终端货架影像智能分析***架构图

图3为对图像进行校正时图像旋转的示意图。

具体实施方式

为了更好地说明本发明的技术构思，现将本发明优选的实施方式进行描述。然而需要说明的是，该实施方式仅仅是对本发明构思的一种演示，并不能理解为对本发明保护范围的限制。

1.样本采样***

为解决其技术问题，本发明的***中首先包括包括样本采集***，样本图像由工作人员在零售终端通过各种可行的方式进行获得，优选的是购买标准样品后在摄影棚采样，灯光采用模拟零售终端灯光摄影棚设备，例如采用面光源、顶侧投射、采用旋转底座支撑标准样品；优选地，采用偏光镜消除反光。

除了样本采样***外，本发明的***还包括零售终端样本采集***，零售终端货架图像由销售通过摄像设备，优选为智能手机在零售终端拍得货架图像后传输到云端服务器货架图像数据库，优选地，传输方式经由3G网络(可实时)、Internet或者存储卡(可批量)等介质。其中图像的采集优选使用偏光镜消除反光，并在多个零售终端取样以增加光线环境的多样性和代表性。

样本采集后导入云端服务器样本图像数据库，优选地，样本采集后以及在导入云端服务器前对样本进行必要的预处理，或者在导入云端服务器后进行所述预处理。该预处理包括，例如分区图像的合并以及图像畸变的校正等。导入到云端服务器的样本图像经过云端图像处理分析***的特征提取单元提取样本图像的特征，使用这些特征对模式识别单元的分类器进行模式训练生成样品知识库和样品模式匹配参数库(模式训练可以采用本领域公知的方式来进行，本实施方式中不进行展开描述)。

虽然可以通过多种已知的方式设计特征提取单元，但是本发明优选地，采用如下“特征提取单元”对样本图像库的特征提取(这种提取相对于现有技术具有特征分明，容易识别的特点，从而具备突出的实质性特点和显著的进步，是本发明的另一个创新之处)：

由于商品最显著的特点是颜色信息，不同的商品对应的商品外包装不同的颜色分布，所以可以提取商品的颜色信息作为特征训练分类器。例如，本实施方式利用的是原彩色图像的RGB颜色空间信息，当然，本领域技术人员熟知的是，采用其他色彩空间也是很容易实现的。

a.首先对颜色空间进行量化，这里采用等间隔量化，将每一个颜色分量的灰度级N等分为m份。该等分采用的算法公式是：

N_i←[g_i，g_i+1]

$g_i=\frac{N}{m}*i$

$g_{i+1}=g_i+\frac{N}{m}$

其中，i[0，m-1]，g_i为图像像素原始颜色值，当其范围落在一定的取值区间[g_i，g_i+1]时，将其映射为新的量化等级N_i，这样原始的颜色值g_i(0≤i＜N)被量化为N_j(0≤j＜m)。

b.量化后，构建颜色直方图，其计算公式为：

f(i)＝h[N_i]

其中，f(i)为直方图中灰度级N_i为对应的频数。

c.构建图像整体的d维直方图，再将直方图按照一维方式展开，展开后存在m^d个数据，具计算公式为：

f＝(f(0)，f(1)，...，f(m^d-1))

其中，p＝i*m^d-1+j*m^d-2+…+k.i，j，k∈{0，1，...，m-1}。这里的d一般取3，表示颜色空间(RGB/HSV/LAR)有3个颜色分量，当然其他的单色或多色颜色分量也是可以适用的。

d.提取样本库中每幅图像的上述特征数据，训练分类器模型。

2.零售终端图像采集***

除了样本采样***外，本发明的***还包括零售终端货架图像采集***，该***能够实现零售终端货架陈列主数据预收集，例如零售终端主数据列表、地理位置信息、货架摆放结构、货架主信息提取或输入。该***还能够向终端数据采集人员分配零售终端责任区域。在终端数据采集人员到达零售终端现场，通过该***中的图像获取设备获取货架图像，优选地，该设备可以是具有拍照功能的智能手机，进一步的，该手机具备自动确定其所在的零售终端的模块，当然所在零售终端的定位也可由数据采集人员手工选择。获取的所有图像按零售终端和时间戳进行归并。

然后，将货架图像通过3G高速网络(可实现实时)或者存储卡等介质(可实现批量)传输到云端货架图像数据原始库。

优选地，通过处理模块对分段的货架图像进行预处理，例如适当的调整及图像拼接，以产生整个水平货架的图像，并导入(合成)货架图像数据库。

更为优选地，当拍摄的图片的角度存在缺陷时，由于货架各层隔板均为平行直线，通过直线检测可以获得检测出的每一条直线的信息，根据该直线信息确定检测出的主方向，并依据该主方向与水平方向的夹角确定旋转的角度，按照图像旋转原理对图像进行校正。如图3所示，旋转公式为：

x₁＝cosθx₀-sinθy₀

y₁＝sinθx₀+cosθy₀

该校正可以在零售端实现，也可以在云端智能图像分析***实现。

3.云端智能图像处理分析***

云端智能图像处理分析***包括：

3.1图像特征提取单元

图像特征提取单元通过图像的分析提取图像中的特征信息。其具体的工作方式在前述的样本分析***中已经有详细描述，此处不进行重复。

3.2分割单元

虽然可以通过多种已知的方式设计分割单元，但是本发明优选地，采用如下“分割单元”对目标图像进行分割(这种分割相对于现有技术具有识别准确、效率高等特点，从而具备突出的实质性特点和显著的进步，是本发明的又一个创新之处)：

该分割单元包括：

3.2.1货架的层次分割***：该模块从数据库提取货架图像，因为一幅原始货架图像包含多层结构，所以在所有的识别过程之前，需要将其分割为多幅每幅只包含一层货架的图像。这里采取的方法是针对图像的二值化结果构建垂直投影直方图，选取合适的阈值T获取每层货架在图像中的位置进行切割。

3.2.2单层货架的分割：在获得了多幅单层货架的图像后，需要进行多目标识别，即分辨出单层货架中单个商品的外框架，在进行识别之前，需要确定目标区域大小，由于不同商品在颜色分布上的差异会有一定的区分，所以这里采用的方法是：

a)统计图像中不同颜色空间不同颜色分量下的水平投影直方图，这里考虑三个常用的颜色空间：RGB、HSV以及LAB。为了凸显直方图的峰值，可以对直方图进行求导操作，优选的是差分代替求导，其公式为：

Δ_xH_i(b_x)＝H_i(x)-H_i(x-1)

Hi是i个颜色分量下的水平投影直方图，水平投影直方图中每个点的坐标为(x，H_x)，(x∈[0，W))，W为货架的宽度。

然后，通过逻辑运算“或”操作处理直方图的每一列获得最终的直方图。其计算公式为：

H(x)＝Δ_xH₁(x)|Δ_xH₂(x)|…|Δ_xH_n(x)

再对最终的直方图数据进行归一化处理，使得直方图的高度限定在一定的范围内，方便显示与分析处理，其计算公式为：

$H\left(x\right)=(H\left(x\right)*\mathrm{IH})/\underset{0\&le;i<W}{\max }H\left(i\right)$

其中，IH表示图像的高度，max_0≤i＜WH(i)表示直方图所有列的最大值。

b)设定阈值，将设定阈值的处理，将经过步骤a)处理后的直方图分成多个部分，在对应的图像位置标记出分割线的位置，这样单件商品的外框架分割识别就实现了。优选的，将该分割位置结合比例分析单元得到的商品尺寸、比例等参数信息，进一步提高分割的准确率。

3.3模式识别单元：

该模式识别单元包括分类器，适用特征提取单元提取的样本图像特征对模式识别单元的分类器进行模式训练生成样品知识库和样品模式匹配参数库。

将分割后得到的每个商品区域利用特征提取单元提取特征，并在所选的候选的样本数据库范围内进行模式识别，识别具体的商品信息，例如，商品的种类信息。优选的，该模式识别采用自适应调整参数和算法，这样能不断提高智能自动辨别水平。

3.4比例分析单元：

优选的是，云端智能图像处理分析***还包括比例分析单元，该比例分析单元优选采用参照物和人工标定方式，分析图像中商品的比例尺寸来建立依据，辅助上述的所有分割和识别。

3.5标签识别单元：

更加优选的是，云端智能图像处理分析***还包括标签识别单元，该标签识别单元通过条形码、二维码、商品包装文字、价签的识别获取相关的商品信息。

3.6其它功能单元

云端智能图像分析***可选择地具备如下功能：当零售终端图像采集***传输到云端货架图像数据原始库后，云端智能图像处理分析***自动检测现有样本库内是否存在对应的商品，如果不存在，自动提示终端数据采集人员采集样本图片。随后通过在前的图像特征提取单元分析后存入数据库。

此外通过上述零售终端货架影像智能分析***，能够提取出客户关心的货架关键数据，基于上述数据能够以区域、商品、商店、竞争对手、时间的维度进行分析，进行展开和归集，并给出相应的改进建议。该分析可以采用已知的各种分析方式和模块来实现。

本发明带来的有益效果是提供了一种快速、可靠和低成本的有效方式向消费品厂商提供产品陈列布置的信息，完全数字化，提高一线人员的工作效率，可以增加所能覆盖的销售区域，提高数据准确，现场还可追溯还原，排除人为因素干扰。

综上所述，零售终端货架影像智能分析***是一项对于提高零售行业管理水平和效率的重要发明，拥有广阔的应用前景。本文所述只是在目前技术条件下本发明的优选实施方式，在不脱离本发明的技术原理、步骤、功能、应用和实施框架的前提下，还有相当大的提升和发展空间，这些改进和变形也应视为本专利的保护范围。

Claims (14)

1.一种零售终端货架影像智能分析***，包括：

样品采集单元，所述样品采集单元用于采集样品图像信息并将该信息传输给云端智能图像分析***；

零售终端目标图像采集单元，所述零售终端目标图像采集单元用于在零售终端采集货架的目标图像信息；并将该信息传输给云端智能图像分析***；

云端智能图像分析***该云端智能图像分析***包括：

特征提取部，所述特征提取单元分析样品采集单元获取的目标图像，获得样品图像的颜色特征数据，利用该数据建立生成样品数据库；此外该特征提取单元还分析零售终端图像采集***采集的图像，提取零售终端目标图像的颜色特征数据；

图像分割部，所述图像分割部对所述目标图像采集***采集的图像进行分割，进而识别单个商品的外框架；

模式识别部，所述模式识别部利用样品数据库分析所述目标图像的颜色特征数据，识别零售终端目标图像中的商品类型；

数据分析单元，对云端智能图像分析单元中其它部分获取的商品信息进行汇总和/或分析。

2.如权利1要求所述的***，其特征在于：样品采集单元通过摄影棚采样和/或零售终端现场采样；并将摄影环境模拟为超市光线环境并消除反光。

3.如权利1-2要求所述的***，其特征在于：样品采集单元使用纯色背景取消剪切取样。

4.如权利1-3要求所述的***，其特征在于：所述样品采集单元和/或目标图像采集单元，通过互联网络、移动网络或存储介质将所述样品图像和/或所述目标图像输入云端智能图像分析单元的云端样品图像数据库和/或货架目标图像数据原始库。

5.如权利1-4要求所述的***，其特征在于：对样品数据库图像按照多重色彩空间中的色彩分布通过分类器进行模式训练，建立样品知识库和样品模式匹配参数库。

6.如权利1-5要求所述的***，其特征在于：所述样品采集单元、零售终端目标图像采集单元采用手机摄像头来获取图像。

7.如权利1-6要求所述的***，其特征在于：的零售终端目标图像采集单元，在采集中对零售终端整排货架进行分段拍摄。

8.如权利1-7要求所述的***，其特征在于：当所述***检测样本库内不存在所述目标图像对应的商品时，即进行即时取样。

9.如权利1-8要求所述的***，其特征在于：采用分段拍摄的方法采集所述目标图像，所述***对采集到的目标图像进行几何校正并合成为完整的水平货架图像，导入货架目标图像数据库。

10.如权利1-9要求所述的***，其特征在于：云端智能图像分析单元还包括比例分析部，所述***，根据不同商品在颜色分布上的差异在对应的图像位置标记出分割线的位置，再结合利用比例分析部得到的比例尺实现单件商品的分割。

11.如权利1-10要求所述的***，其特征在于：云端智能图像分析单元还包括比例分析部，利用所述比例分析部得到的比例尺对分割后得到的每个商品在候选样本库范围内进行模式识别。

12.如权利1-11要求所述的***，其特征在于：云端智能图像分析单元还包括标签识别部，该标签识别部通过条形码、二维码、商品包装文字、价签的识别获取相关的商品信息。

13.如权利1-12要求所述的***，其特征在于：所述特征提取部包括：

a.颜色空间量化模块，对颜色空间进行量化，将每一个颜色分量的灰度级N等分为m份，采用的算法公式是：

N_i←[g_i，g_i+1]

$g_i=\frac{N}{m}*i$

$g_{i+1}=g_i+\frac{N}{m}$

其中，i[0，m-1]，g_i为图像像素原始颜色值，当其范围落在一定的取值区间[g_i，g_i+1]时，将其映射为新的量化等级N_i，这样原始的颜色值g_i(0≤i＜N)被量化为N_j(0≤j＜m)；

b.直方图构建模块，其在量化后构建颜色直方图，其计算公式为：

f(i)＝h[N_i]

其中，f(i)为直方图中灰度级N_i为对应的频数；

c.图像整体d维直方图构件模块，其再将直方图构建模块中构建的直方图按照一维方式展开，展开后存在m^d个数据，其计算公式为：

f＝(f(0)，f(1)，...，f(m^d-1))

其中，p＝i*m^d-1+j*m^d-2+…+k，i，j，k∈{0，1,...，m-1}，d表示颜色空间中的颜色分量。

14.如权利1-13要求所述的***，其特征在于：所述图像分割部首先针对图像的二值化结果构建垂直投影直方图，选取合适的阈值T以获取每层货架在图像中的位置进行切割；

然后统计单层货架图像中不同颜色空间不同颜色分量下的水平投影直方图，对直方图进行差分操作，以便凸显直方图的峰值，其公式为：

Δ_xH_i(b_x)＝H_i(x)-H_i(x-1)

其中Hi是i个颜色分量下的水平投影直方图，水平投影直方图中每个点的坐标为(x，H_x)，(x∈[0，W))，W为货架的宽度；

然后，通过逻辑运算“或”操作处理上述直方图的每一列获得最终的直方图，其计算公式为：

H(x)＝Δ_xH₁(x)|Δ_xH₂(x)|...|Δ_xH_n(x)；

然后，对最终的直方图数据进行归一化处理，使得直方图的高度限定在一定的范围内，方便显示与分析处理，其计算公式为：

$H\left(x\right)=(H\left(x\right)*\mathrm{IH})/\underset{0\&le;i<W}{\max }H\left(i\right)$

其中，IH表示图像的高度，max_0≤i＜wH(i)表示直方图所有列的最大值；

最后通过设定阈值，将归一化处理后的直方图分成多个部分，在对应的图像位置标记出分割线的位置，实现单件商品的外框架分割识别。

Images