CN111310706B - 一种商品价签识别方法及装置、电子设备、存储介质 - Google Patents

一种商品价签识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111310706B
CN111310706B CN202010128049.0A CN202010128049A CN111310706B CN 111310706 B CN111310706 B CN 111310706B CN 202010128049 A CN202010128049 A CN 202010128049A CN 111310706 B CN111310706 B CN 111310706B
Authority
CN
China
Prior art keywords
position information
commodity
price tag
depth
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010128049.0A
Other languages
English (en)
Other versions
CN111310706A (zh
Inventor
秦永强
高达辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202010128049.0A priority Critical patent/CN111310706B/zh
Publication of CN111310706A publication Critical patent/CN111310706A/zh
Application granted granted Critical
Publication of CN111310706B publication Critical patent/CN111310706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种商品价签识别方法及装置、电子设备、计算机可读存储介质，方法包括：从待识别图像中提取商品位置信息和价签位置信息；根据待识别图像的每一像素点的深度值，分别计算商品位置信息对应的商品深度信息和价签位置信息对应的价签深度信息；进行商品位置信息和价签位置信息的关联计算，商品深度信息和价签深度信息的关联计算，获得与商品位置信息关联的价签位置信息；将商品位置信息对应的商品类别信息，以及与商品位置信息关联的价签位置信息的价格信息，关联输出。本申请提高的上述技术方案，可在商品位置信息与价签位置信息的匹配过程中引入了纵深维度的信息，避免因关联错误而导致商品价签识别失败。

Description

一种商品价签识别方法及装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种商品价签识别方法及装置、电子设备、计算机可读存储介质。
背景技术
基于图像识别技术的商品价格标签(简称：价签)对于零售商品渠道监控具有重要价值，其有助于品牌商及时获取商品在分销端的价格信息。在渠道陈列场景中，商品与价签通常一一对应，每一种接近商品的价签都标注该商品的价格。在识别陈列场景的图像时，由于拍摄角度灵活多变，图像上的背景特征和价签的文字姿态非常复杂。
目前，可以通过图像识别技术检测出输入图像(一般是手机等设备拍摄的二维平面图像)中的价签和商品，通过文字识别技术识别价签中的价格信息，最后从二维平面图像中找出与每一商品距离最近的价签，将价签上的价格作为该商品的价格。在这种方案中，二维平面图像中的商品可能是远处货架上的商品，而价签是近处的价签，此时商品和价签会出现关联出错，从而导致识别失败。
发明内容
本申请实施例的目的在于提供一种商品价签识别方法及装置、电子设备、计算机可读存储介质，用以解决因价签与商品关联错误而导致商品价签识别失败的问题。
一方面，本申请提供了一种商品价签识别方法，包括：
从待识别图像中提取商品位置信息和价签位置信息；
根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息；
进行所述商品位置信息和所述价签位置信息的关联计算，所述商品深度信息和所述价签深度信息的关联计算，获得与所述商品位置信息关联的价签位置信息；
将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
在一实施例中，在所述将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出之前，所述方法还包括：
在所述待识别图像上切取每一商品位置信息对应的商品子图像和每一价签位置信息对应的价签子图像；
识别所述商品子图像的商品类别信息和所述价签子图像的价格信息，得到每一商品位置信息对应的商品类别信息以及每一价签位置信息对应的价格信息。
在一实施例中，所述根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息，包括：
基于单目深度估计算法计算所述待识别图像的每一像素点的深度值；
根据所述待识别图像的每一像素点的深度值，计算每一商品位置信息的商品深度信息和每一价签位置信息的价签深度信息。
在一实施例中，在所述进行商品位置信息和价签位置信息的关联计算之前，所述方法还包括：
判断每一像素点的深度值是否低于预设深度值阈值，若是，将该像素点划分至前景区域，若否，将该像素点划分至背景区域；
判断所述价签位置信息对应的图像区域在所述背景区域中的部分，占该图像区域的比值是否达到预设比值阈值；
若是，过滤所述价签位置信息。
在一实施例中，所述进行商品位置信息和价签位置信息的关联计算，商品深度信息和价签深度信息的关联计算，获得与商品位置信息关联的价签位置信息，包括：
为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息；
依据每一商品位置信息的商品深度信息，以及与该商品位置信息对应的候选价签位置信息的价签深度信息，计算纵深距离；
对于每一商品位置信息和该商品位置信息对应的每一候选价签位置信息，基于所述平面距离和所述纵深距离计算关联参数，并将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系。
在一实施例中，所述基于所述平面距离和所述纵深距离计算关联参数，包括：
基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；
基于所述平面关联值和所述纵深关联值，生成所述关联参数。
在一实施例中，在为所述商品位置信息筛选出候选价签位置信息后，所述方法还包括：
基于每一商品位置信息和其对应的候选价签位置信息，确定每一候选价签位置信息对应的价签与该商品位置信息对应的商品的相对方位；
所述基于所述平面距离和所述纵深距离计算关联参数，包括：
基于所述平面距离、所述纵深距离和所述相对方位计算所述关联参数。
在一实施例中，所述基于所述平面距离、所述纵深距离和所述相对方位计算所述关联参数，包括：
基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；
选择对应于所述相对方位的方位关联值；
基于所述平面关联值、所述纵深关联值和所述方位关联值，生成关联参数。
另一方面，本申请还提供了一种商品价签识别装置，包括：
提取模块，用于从待识别图像中提取商品位置信息和价签位置信息；
第一计算模块，用于根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息；
第二计算模块，用于进行所述商品位置信息和所述价签位置信息的关联计算，所述商品深度信息和所述价签深度信息的关联计算，获得与所述商品位置信息关联的价签位置信息；
关联模块，用于将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
进一步，本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述商品价签识别方法。
另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述商品价签识别方法。
本申请提供的技术方案，通过计算商品位置信息对应的商品深度信息和价签位置信息对应的价签深度信息，可在商品位置信息与价签位置信息的匹配过程中引入了纵深维度的信息，提升了商品位置信息与其对应的价签位置信息的关联程度，避免因关联错误而导致商品价签识别失败。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的商品价签识别方法的应用场景示意图；
图2为本申请一实施例提供的电子设备的结构示意图；
图3为本申请一实施例提供的商品价签识别方法的流程示意图；
图4为本申请一实施例提供的商品价签识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请一实施例提供的商品价签识别方法的应用场景示意图。如图1所示，该应用场景包括服务端30和客户端20，服务端30可以是服务器、服务器集群或者云计算中心，服务端30可以对客户端20采集的陈列场景的图像执行商品价签识别的业务。客户端20可以是摄像头、智能手机、平板电脑等智能设备。
如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30。
存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的商品价签识别方法。
参见图3，为本申请一实施例提供的商品价签识别方法的流程示意图，如图3所示，该方法可以包括以下步骤310-步骤340。
步骤310：从待识别图像中提取商品位置信息和价签位置信息。
待识别图像是陈列场景的图像，图像中可以包括一种或多种商品、一个或多个价签。
商品位置信息表征商品在待识别图像中的位置，价签位置信息表征价签在待识别图像中的位置。
商品位置信息可以用商品图案的外接矩形框表示，价签位置信息可以用价签图案的外接矩形框表示。在待识别图像上建立二维坐标系后，可以通过上述外接矩形框的左上角坐标(x1，y1)和右下角坐标(x2，y2)表示商品位置信息或价签位置信息，记为(x1，y1，x2，y2)。
在一实施例中，服务端可以通过目标检测模型提取待识别图像中的商品位置信息和价签位置信息。
目标检测模型可以是YOLO(You Only Look Once)、Fast R-CNN(Fast RegionConvolutional Neural Networks，快速区域卷积神经网络)、Faster R-CNN(FasterRegion Convolutional Neural Networks，更快的区域卷积神经网络)等网络模型中的任意一种。
可通过第一样本图像集对上述目标检测模型进行训练，第一样本图像集中包括大量标注过的样本图像，标注的标签包括样本图像中需要识别的对象的位置信息和类别信息。这里，类别信息可以是商品和价签。
示例性的，对应于商品位置信息的类别信息可以是1，对应于标签位置信息的类别信息可以是0。标签表示为(x1，y1，x2，y2，1)，说明待识别图像中位置在左上角坐标(x1，y1)和右下角坐标(x2，y2)的矩形框为商品位置信息。
目标检测模型经过训练得到可以应用的模型参数，从而可以执行目标检测业务。
服务端可以将待识别图像输入至已训练的目标检测模型，通过该目标检测模型识别每一商品位置信息和每一价签位置信息。
步骤320：根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息。其中，商品深度信息用以表征商品在待识别图像中的深度，价签深度信息用以表征价签在待识别图像中的深度。
在一实施例中，服务端可以基于单目深度估计算法计算所述待识别图像的每一像素点的深度值。其中，单目深度估计算法可以是FastDepth(Fast Monocular DepthEstimation on Embedded Systems，嵌入式***中单目深度的快速估计算法)、Multi-Scale Deep Network(多尺度深度网络)、FCRN(Fully Convolutional ResidualNetworks，全卷积残差网络)等任意一种。
在一实施例中，上述待识别图像经服务端计算后，获得与该待识别图像相同尺寸的灰度图，灰度图中每一像素点的灰度值表示待识别图像中同一位置的像素点的深度值。因此，深度值可以是0到255之间的数值。
服务端可以根据所述待识别图像的每一像素点的深度值，计算每一商品位置信息的商品深度信息和每一价签位置信息的价签深度信息。
在一实施例中，服务端可以计算每一商品位置信息对应的所有像素点的深度值的平均深度值，然后将该平均深度值作为该商品位置信息对应的商品深度信息。
服务端可以计算每一价签位置信息对应的所有像素点的深度值的平均深度值，然后将该平均深度值作为该价签位置信息对应的价签深度信息。
在又一实施例中，服务端可以选择每一商品位置信息对应的所有像素点的深度值的中值，然后将该深度值中值作为该商品位置信息对应的商品深度信息。
服务端可以选择每一价签位置信息对应的所有像素点的深度值的中值，然后将该深度值中值作为该价签位置信息对应的价签深度信息。
步骤330：进行所述商品位置信息和所述价签位置信息的关联计算，所述商品深度信息和所述价签深度信息的关联计算，获得与所述商品位置信息关联的价签位置信息。
在一实施例中，可以为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息。其中，距离阈值可以根据陈列场景的实际情况进行设置，比如，可以是10厘米。平面距离可以包括水平方向距离和垂直方向距离，此时，距离阈值分为水平距离阈值和垂直距离阈值，水平距离阈值可以为8厘米，垂直距离阈值可以为10厘米。
在一实施例中，服务端可以确定每一商品位置信息指示的矩形框的中心点坐标(x3，y3)；并确定每一价签位置信息指示的矩形框的中心点坐标(x4，y4)。服务端根据商品位置信息对应的中心点和价签位置信息对应的中心点，计算出水平方向距离和垂直方向距离。
服务端可以为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息的候选价签位置信息。
商品与价签无论是在水平方向还是在垂直方向，都不会距离太远。因此，对每一商品位置信息，服务端可以筛选出水平方向距离小于水平距离阈值，垂直方向距离小于垂直距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息。
服务端可以依据每一商品位置信息的商品深度信息，以及与该商品位置信息对应的候选价签位置信息的价签深度信息，计算纵深距离。
对于每一商品位置信息和该商品位置信息对应的每一候选价签位置信息，服务端可以基于平面距离和纵深距离计算关联参数，并将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系。
在一实施例中，服务端可以基于平面距离计算平面关联值，并基于纵深距离计算纵深关联值。其中，平面距离包括水平方向距离和垂直方向距离，因此，平面关联值包括水平关联值和垂直关联值。
可以通过如下公式(1)表示水平关联值的计算过程：
Figure BDA0002395114600000101
其中，Shorizon表示水平关联值，w1表示商品位置信息对应的外接矩形框的宽度，w2表示候选价签位置信息对应的外接矩形框的宽度，dhorizon表示商品位置信息对应的外接矩形框的中心点与候选价签位置信息对应的外接矩形框的中心点的水平方向距离，e表示自然常数。
可以通过如下公式(2)表示垂直关联值的计算过程：
Figure BDA0002395114600000102
其中，Svertical表示垂直关联值，h1表示商品位置信息对应的外接矩形框的高度，h2表示候选价签位置信息对应的外接矩形框的高度，dvertical表示商品位置信息对应的外接矩形框的中心点与候选价签位置信息对应的外接矩形框的中心点的垂直方向距离，e表示自然常数。
可以通过如下公式(3)表示纵深关联值的计算过程：
Figure BDA0002395114600000111
其中，Sdepth表示纵深关联值，d1表示商品位置信息对应的商品深度信息，d2表示价签位置信息对应的价签深度信息，e表示自然常数。
服务端可以基于平面关联值和纵深关联值，生成关联参数。可以通过如下公式(4)表示关联参数的计算过程：
S＝a*Sdepth+b*Shorizon+c*Svertical (4)
其中，S表示关联参数，Sdepth表示纵深关联值，a表示预设的对应于纵深关联值的权重系数，Shorizon表示水平关联值，b表示预设的对应于水平关联值的权重系数，Svertical表示垂直关联值，c表示预设的对应于垂直关联值的权重系数。
在一实施例中，依据陈列场景中商品与价签的相对方位，可以预先为商品位置信息与候选价签位置信息分配方位关联参数Sorient。候选价签与商品大致存在八种方位关系：候选价签位于商品上方、下方、左边、右边、左上方、右上方、左下方、右下方。
服务端可以基于每一商品位置信息和其对应的候选价签位置信息，确定每一候选价签位置信息对应的价签与该商品位置信息对应的商品的相对方位。
示例性的，服务端可以通过商品位置信息指示的外接矩形框的中心点(x5，y5)，与候选价签位置信息指示的外接矩形框的中心点(x6，y6)，确定上述相对方位。
如果x5等于x6、y5等于y6，两个中心点重合。
如果x5等于x6、y5小于y6，价签在商品的上方。
如果x5等于x6、y5大于y6，价签在商品的下方。
如果x5小于x6、y5等于y6，价签在商品的右边。
如果x5大于x6、y5等于y6，价签在商品的左边。
如果x5大于x6、y5大于y6，价签在商品的左下方。
如果x5大于x6、y5小于y6，价签在商品的左上方。
如果x5小于x6、y5大于y6，价签在商品的右下方。
如果x5小于x6、y5小于y6，价签在商品的右上方。
在计算上述关联参数时，服务端可以基于平面距离、纵深距离和相对方位计算关联参数。
在一实施例中，服务端可以基于平面距离计算平面关联值，并基于纵深距离计算纵深关联值。
服务端可以选择对应于相对方位的方位关联值。
对于每一商品位置信息，服务端为每一候选价签位置信息选择对应于上述相对方位的方位关联值。
对于一个陈列场景，可以设置四个方位关联值：下方关联值St，上方关联值Sb，左边关联值Sj，右边关联值Sr。比如：在便利店的陈列场景中，价签一般位于商品下方，但也不排除价签在商品左边或右边的情况，因此，对于便利店而言，价签在商品下方时选择的下方关联值St最大，价签在商品左边时选择的左边关联值Sj和价签在商品右边时选择的右边关联值Sr次之，价签在商品上方时选择的上方关联值Sb最小。
如果候选价签位置信息对应的价签在商品位置信息对应的商品的上方，可以选择上方关联值作为方位关联值。依次类推。
如果候选价签位置信息对应的价签在商品位置信息对应的商品的左上方，可以选择左边关联值和上方关联值，并计算平均关联值，将该平均关联值作为方位关联值。依次类推。
服务端可以基于平面关联值、纵深关联值和方位关联值，生成关联参数。可以通过如下公式(5)表示关联参数的计算过程：
S＝a*Sdepth+b*Shorizon+c*Svertical+m*Sorient (5)
其中，S表示关联参数，Sdepth表示纵深关联值，a表示预设的对应于纵深关联值的权重系数，Shorizon表示水平关联值，b表示预设的对应于水平关联值的权重系数，Svertical表示垂直关联值，c表示预设的对应于垂直关联值的权重系数，Sorient表示方位关联值，m表示预设的对应于方位关联值的权重系数。
在计算得到每一商品位置信息与该商品位置信息对应的每一候选价签位置信息的关联参数后，可将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系。
步骤340：将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
在执行步骤340之前，服务端可以在待识别图像上切取每一商品位置信息对应的商品子图像和每一价签位置信息对应的价签子图像。
其中，商品子图像是商品位置信息指示的待识别图像中包含商品的局部图像，价签子图像是价签位置信息指示的待识别图像中包含价签的局部图像。
服务端可以识别商品子图像的商品类别信息和价签子图像的价格信息，得到每一商品位置信息对应的商品类别信息以及每一价签位置信息对应的价格信息。
在一实施例中，服务端可通过图像分类模型识别商品子图像的商品类别信息。这里的商品类别信息是实际陈列场景中商品的具体类别信息。比如：陈列场景为便利店，类别信息可以包括各品牌的各类零食、日用品等。
图像分类模型可以是CNN(Convolutional Neural Networks，卷积神经网络)、SVM(Support Vector Machine，支持向量机)、BPNN(Back Propagation Neural Network，反向传播神经网络)等模型种的任意一种。
通过第二样本图像集对上述图像分类模型进行训练，第二样本图像集种包括大量标注过的样本图像，标注的标签为样本图像中需要识别的商品类别信息。
图像分类模型经过训练得到可以应用的模型参数，从而可以执行图像分类业务。
服务端可通过文字识别模型识别价签子图像的文字信息。
文字识别模型可以是CTPN(Connectionist Text Proposal Network，连接文本提议网络)，DMPNet(Deep Matching Prior Network，深度匹配先验网络)，EAST(Efficientand Accuracy Scene TextDetector，自然场景下文本识别)等任意一种。
价签中可能存在多种文字信息，比如，商品名称、商品型号、促销信息等。有鉴于此，服务端可以依据价格提取策略从上述文字信息中提取价格信息。其中，价格提取策略可以根据实际的陈列场景进行设定。比如：可以筛选出只包含数字字符的字符串，然后检查字符串前是否存在“价格”或“￥”等字符，若是，则说明字符串为价格信息。或者，如果从文字信息中筛选出唯一的只包含数字字符的字符串，该字符串为价格信息。
在识别出商品类别信息和价格信息后，服务端可以将商品位置信息对应的商品类别信息和与商品位置信息关联的价签位置信息的价格信息，关联输出。
这里，关联输出是将商品类别信息和价格信息建立关联关系后输出，通过该关联关系可以确定商品类别信息对应于价格信息。
在一实施例中，在执行步骤330之前，服务端可以判断每一像素点的深度值是否低于预设深度值阈值。
一方面，若深度值低于该深度值阈值，服务端可以将该像素点划分至前景区域。
另一方面，若深度值不低于该深度值阈值，服务端可以将该像素点划分至背景区域。
在一实施例中，服务端可以为前景区域生成掩膜(mask)，该掩膜为取值0或1的单通道图像，与待识别图像的尺寸相同。掩膜中的每一像素点表征待识别图像中同位置的像素点所处的区域；若掩膜中像素点取值为1，表示对应的像素点处于前景区域，若掩膜中像素点取值为0，表示对应的像素点处于背景区域。
服务端可以判断价签位置信息对应的图像区域在背景区域中的部分，占该图像区域的比值达到预设比值阈值。这里，比值阈值可以是经验值，比如，可以是0.5。
服务端可以计算价签位置信息在掩膜中取值为0的像素点的数量，与该价签位置信息对应像素点的总数量的比值，从而确定价签位置信息对应的图像区域在背景区域中的部分，占该图像区域的比值，并判断该比值是否达到比值阈值。
一方面，若未达到该比值阈值，说明价签位置信息处于前景区域，可在后续进行商品位置信息和价签位置信息的关联计算。
另一方面，若达到该比值阈值，说明价签位置信息处于背景区域，服务端在后续关联计算时需过滤该价签位置信息。
通过本实施例的措施，可以过滤掉处于背景区域的价签位置信息，减少了后续的计算量。
图4是本发明一实施例提供的商品价签识别装置的框图。如图4所示，该装置可以包括：提取模块410、第一计算模块420、第二计算模块430、关联模块440。
提取模块410，用于从待识别图像中提取商品位置信息和价签位置信息；
第一计算模块420，用于根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息；
第二计算模块430，用于进行所述商品位置信息和所述价签位置信息的关联计算，所述商品深度信息和所述价签深度信息的关联计算，获得与所述商品位置信息关联的价签位置信息；
关联模块440，用于将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
在一实施例中，所述装置还包括：
切取模块，用于在所述待识别图像上切取每一商品位置信息对应的商品子图像和每一价签位置信息对应的价签子图像；
识别模块，用于识别所述商品子图像的商品类别信息和所述价签子图像的价格信息，得到每一商品位置信息对应的商品类别信息以及每一价签位置信息对应的价格信息。
在一实施例中，所述第一计算模块420，进一步用于：
基于单目深度估计算法计算所述待识别图像的每一像素点的深度值；
根据所述待识别图像的每一像素点的深度值，计算每一商品位置信息的商品深度信息和每一价签位置信息的价签深度信息。
在一实施例中，所述装置还包括过滤模块，用于：
判断每一像素点的深度值是否低于预设深度值阈值，若是，将该像素点划分至前景区域，若否，将该像素点划分至背景区域；
判断所述价签位置信息对应的图像区域在所述背景区域中的部分，占该图像区域的比值是否达到预设比值阈值；
若是，过滤所述价签位置信息。
在一实施例中，所述第二计算模块430，进一步用于：
为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息；
依据每一商品位置信息的商品深度信息，以及与该商品位置信息对应的候选价签位置信息的价签深度信息，计算纵深距离；
对于每一商品位置信息和该商品位置信息对应的每一候选价签位置信息，基于所述平面距离和所述纵深距离计算关联参数，并将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系。
在一实施例中，所述第二计算模块430，进一步用于：
基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；
基于所述平面关联值和所述纵深关联值，生成所述关联参数。
在一实施例中，所述第二计算模块430，进一步用于：
基于每一商品位置信息和其对应的候选价签位置信息，确定每一候选价签位置信息对应的价签与该商品位置信息对应的商品的相对方位；
基于所述平面距离、所述纵深距离和所述相对方位计算所述关联参数。
在一实施例中，所述第二计算模块430，进一步用于：
基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；
选择对应于所述相对方位的方位关联值；
基于所述平面关联值、所述纵深关联值和所述方位关联值，生成关联参数。
上述装置中各个模块的功能和作用的实现过程具体详见上述商品价签识别方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种商品价签识别方法，其特征在于，包括：
从待识别图像中提取商品位置信息和价签位置信息；
根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息；
为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息；其中，所述平面距离包括水平方向距离和垂直方向距离；所述水平方向距离和所述垂直方向距离，根据商品位置信息指示的矩形框中心点坐标、以及价签位置信息指示的矩形框中心点坐标计算得到；
依据每一商品位置信息的商品深度信息，以及与该商品位置信息对应的候选价签位置信息的价签深度信息，计算纵深距离；
对于每一商品位置信息和该商品位置信息对应的每一候选价签位置信息，基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；基于所述平面关联值和所述纵深关联值，生成关联参数，并将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系；
将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
2.根据权利要求1所述的方法，其特征在于，在所述将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出之前，所述方法还包括：
在所述待识别图像上切取每一商品位置信息对应的商品子图像和每一价签位置信息对应的价签子图像；
识别所述商品子图像的商品类别信息和所述价签子图像的价格信息，得到每一商品位置信息对应的商品类别信息以及每一价签位置信息对应的价格信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息，包括：
基于单目深度估计算法计算所述待识别图像的每一像素点的深度值；
根据所述待识别图像的每一像素点的深度值，计算每一商品位置信息的商品深度信息和每一价签位置信息的价签深度信息。
4.根据权利要求1所述的方法，其特征在于，在所述进行商品位置信息和价签位置信息的关联计算之前，所述方法还包括：
判断每一像素点的深度值是否低于预设深度值阈值，若是，将该像素点划分至前景区域，若否，将该像素点划分至背景区域；
判断所述价签位置信息对应的图像区域在所述背景区域中的部分，占该图像区域的比值是否达到预设比值阈值；
若是，过滤所述价签位置信息。
5.根据权利要求1所述的方法，其特征在于，在为所述商品位置信息筛选出候选价签位置信息后，所述方法还包括：
基于每一商品位置信息和其对应的候选价签位置信息，确定每一候选价签位置信息对应的价签与该商品位置信息对应的商品的相对方位；
所述基于所述平面距离和所述纵深距离计算关联参数，包括：
基于所述平面距离、所述纵深距离和所述相对方位计算所述关联参数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述平面距离、所述纵深距离和所述相对方位计算所述关联参数，包括：
基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；
选择对应于所述相对方位的方位关联值；
基于所述平面关联值、所述纵深关联值和所述方位关联值，生成关联参数。
7.一种商品价签识别装置，其特征在于，包括：
提取模块，用于从待识别图像中提取商品位置信息和价签位置信息；
第一计算模块，用于根据所述待识别图像的每一像素点的深度值，分别计算所述商品位置信息对应的商品深度信息和所述价签位置信息对应的价签深度信息；
第二计算模块，用于为每一商品位置信息筛选平面距离小于预设距离阈值的价签位置信息，作为该商品位置信息对应的候选价签位置信息；其中，所述平面距离包括水平方向距离和垂直方向距离；所述水平方向距离和所述垂直方向距离，根据商品位置信息指示的矩形框中心点坐标、以及价签位置信息指示的矩形框中心点坐标计算得到；依据每一商品位置信息的商品深度信息，以及与该商品位置信息对应的候选价签位置信息的价签深度信息，计算纵深距离；对于每一商品位置信息和该商品位置信息对应的每一候选价签位置信息，基于所述平面距离计算平面关联值，并基于所述纵深距离计算纵深关联值；基于所述平面关联值和所述纵深关联值，生成关联参数，并将关联参数最高的候选价签位置信息与该商品位置信息建立关联关系；
关联模块，用于将所述商品位置信息对应的商品类别信息，以及与所述商品位置信息关联的价签位置信息的价格信息，关联输出。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-6任意一项所述的商品价签识别方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-6任意一项所述的商品价签识别方法。
CN202010128049.0A 2020-02-28 2020-02-28 一种商品价签识别方法及装置、电子设备、存储介质 Active CN111310706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010128049.0A CN111310706B (zh) 2020-02-28 2020-02-28 一种商品价签识别方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010128049.0A CN111310706B (zh) 2020-02-28 2020-02-28 一种商品价签识别方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111310706A CN111310706A (zh) 2020-06-19
CN111310706B true CN111310706B (zh) 2022-10-21

Family

ID=71147832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010128049.0A Active CN111310706B (zh) 2020-02-28 2020-02-28 一种商品价签识别方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111310706B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215142B (zh) * 2020-10-12 2021-08-13 上海汉时信息科技有限公司 基于深度图像信息检测货架缺货率的方法、装置及设备
CN113269052A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 价签识别方法、终端、存储装置
CN113627411A (zh) * 2021-10-14 2021-11-09 广州市玄武无线科技股份有限公司 一种基于超分辨率的商品识别与价格匹配方法及***
CN114202761B (zh) * 2022-02-16 2022-06-21 广东数源智汇科技有限公司 一种基于图片信息聚类的信息批量提取方法
CN117275011B (zh) * 2023-10-11 2024-06-14 广州市玄武无线科技股份有限公司 一种商品识别与商品价签匹配方法、***、终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337190A (ja) * 2005-06-02 2006-12-14 Tokyo Electric Power Co Inc:The 深度値算出方法、及び、深度値算出装置
CN108447061A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 商品信息处理方法、装置、计算机设备和存储介质
CN109214348A (zh) * 2018-09-19 2019-01-15 北京极智嘉科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN109784323A (zh) * 2019-01-21 2019-05-21 北京旷视科技有限公司 图像识别的方法、装置、电子设备和计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203227B (zh) * 2016-06-28 2018-09-18 无锡威峰科技股份有限公司 借助图形码对电子价格标签进行定位刷新的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337190A (ja) * 2005-06-02 2006-12-14 Tokyo Electric Power Co Inc:The 深度値算出方法、及び、深度値算出装置
CN108447061A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 商品信息处理方法、装置、计算机设备和存储介质
CN109214348A (zh) * 2018-09-19 2019-01-15 北京极智嘉科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN109784323A (zh) * 2019-01-21 2019-05-21 北京旷视科技有限公司 图像识别的方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN111310706A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
CN108229322B (zh) 基于视频的人脸识别方法、装置、电子设备及存储介质
CN108416403B (zh) 商品与标签的自动关联方法、***、设备及存储介质
CN107292248B (zh) 一种基于图像识别技术的商品管理方法及***
CN108734162B (zh) 商品图像中目标识别方法、***、设备及存储介质
CN111680688B (zh) 字符识别方法及装置、电子设备、存储介质
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
CN114494892B (zh) 一种货架商品陈列信息识别方法、装置、设备及存储介质
CN110717366A (zh) 文本信息的识别方法、装置、设备及存储介质
CN110796141A (zh) 目标检测方法及相关设备
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及***
US10460191B1 (en) Dynamically optimizing photo capture for multiple subjects
CN112036400B (zh) 构建用于目标检测的网络的方法和目标检测方法及***
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
US11354549B2 (en) Method and system for region proposal based object recognition for estimating planogram compliance
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN107403179B (zh) 一种物品包装信息的注册方法及装置
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN110991201B (zh) 条码检测方法及相关装置
CN113657370B (zh) 一种文字识别方法及其相关设备
CN109741380B (zh) 纺织品图片快速匹配方法和装置
CN109035558B (zh) 一种用于无人售货柜的商品识别算法在线学习***
CN117275011B (zh) 一种商品识别与商品价签匹配方法、***、终端及介质
CN112150471A (zh) 基于少样本的语义分割方法及装置、电子设备、存储介质
CN110705363A (zh) 一种商品规格的识别方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant