CN115661624A - 一种货架的数字化方法、装置及电子设备 - Google Patents
一种货架的数字化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115661624A CN115661624A CN202211388161.3A CN202211388161A CN115661624A CN 115661624 A CN115661624 A CN 115661624A CN 202211388161 A CN202211388161 A CN 202211388161A CN 115661624 A CN115661624 A CN 115661624A
- Authority
- CN
- China
- Prior art keywords
- shelf
- commodity
- original image
- target image
- commodities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 238000007726 management method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 10
- 230000002265 prevention Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000008269 hand cream Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开一种货架的数字化方法，通过采集陈列有商品的货架的原始图像；对原始图像进行货架角点检测和几何校正，获得第一目标图像；将第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；根据商品的特征值，对第一目标图像展示的货架上的商品进行聚类；与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息；上述过程中，通过将第一目标图像中商品的识别结果与所在货架区域建立关联关系，进而获得上述商品的分布信息，根据商品的分布信息对货架实现数字化管理，该方法能够提高人货交互行为的精准度与准确率，提高货架商品管理的工作效率。
Description
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种货架的数字化方法、装置、电子设备以及计算机可读取存储介质。
背景技术
智慧防损业务作为各大零售商超日常管理工作的重点，成为近些年关注的热点之一。在智慧防损业务中，货架的数字化管理作为其中的重要组成部分，如何实现货架的数字化管理进而提高人货交互行为的精准度与正确率，成为亟待解决的技术问题。
现有的货架数字化管理技术中，通常采用商品检测模型对待识别商品的图像进行检测，根据待识别货架商品图像中商品外观特征等信息的判断，进而实现货架商品的分类与统计；然而，由于上述过程中，当所采集的图像中存在其他货架商品时，商品检测模型容易对商品进行重复统计、顾客与货架商品发生交互行为时，商品检测模型无法提供准确的拿货信息，容易导致错判误判等情况的频频发生，最终导致商品数字化管理中商品统计的精准度、正确率无法保证，无法满足各大商超智慧防损业务的现实场景需求。
发明内容
本申请实施例提供一种货架的数字化方法、装置、电子设备、计算机可读存储介质，以解决现有技术存在的上述问题。
本申请实施例提供一种货架的数字化方法，该方法包括：采集陈列有商品的货架的原始图像；对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
可选的，所述货架角点检测和几何校正，包括：将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标；根据所述角点坐标，对所述原始图像进行仿射变换，获得所述第一目标图像。
可选的，所述将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标，包括：将所述原始图像输入所述货架角点检测模型中，获得所述原始图像对应的多尺度特征；将所述多尺度特征进行融合，获得与所述原始图像对应的热力图；根据所述热力图，计算获得所述角点坐标。
可选的，所述根据所述角点坐标，将所述原始图像进行仿射变换，获得所述第一目标图像，包括：将所述角点坐标作为仿射变换角点坐标，根据初始角点坐标和映射对应的标准矩形顶点坐标，计算获得仿射变换矩阵；根据所述仿射变换矩阵，将所述原始图像进行仿射变换，获得所述第一目标图像。
可选的，所述第一目标图像为正视图，所述货架在所述第一目标图像中为标准矩形。
可选的，所述商品检测和识别模型为包含标签分配策略的商品检测定位识别模型。
可选的，所述商品检测和识别模型，采用基于anchor-free检测头和SimOTA标签分配的yolov5目标检测算法。
可选的，所述与预设信息比对，获得聚类后各货架区域所放置商品的识别结果，包括如下方式中的一种：根据所述商品的特征值，与预存的商品信息数据库所包含的商品特征数据比对，获得所述聚类后各货架区域所放置商品的识别结果；根据所述商品聚类后所在的货架坐标区域，结合货架陈列图提供的货架商品摆放规划信息，按照摆放次序进行比对，获得所述聚类后各货架区域所放置商品的识别结果；以及，结合上述两种方式，获得所述聚类后各货架区域所放置商品的识别结果。
可选的，所述方法还包括：将所述货架的商品分布信息及所述商品的特征值，更新至商品信息数据库。
本申请实施例还提供一种货架的数字化装置，所述装置包括：
获取单元，被配置为采集陈列有商品的货架的原始图像；
校正单元，被配置为对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；
提取单元，被配置为将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；
聚类单元，被配置为根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；
比对单元，被配置为与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；
合成单元，被配置为依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
本申请实施例还提供一种电子设备，包括处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法。
本申请实施例还提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现上述方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供的一种货架的数字化方法，通过采集陈列有商品的货架的原始图像；对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；该第一目标图像能够反应商品在所属货架上的相对位置，并将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；通过与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息；通过将上述商品识别结果与所在货架区域建立关联关系，获得上述商品的分部信息，进而实现货架的数字化管理，该方法能够提高人货交互行为的精准度与准确率，提高货架商品管理的工作效率。
附图说明
图1是本申请提供的货架的数字化方法的应用场景示意图。
图2是本申请第二实施例中提供的一种货架的数字化的方法流程图。
图3是本申请第二实施例中提供的原始图像的示意图。
图4是本申请第二实施例中提供的第一目标图像获取过程的流程示意图。
图5是本申请第二实施例中提供的第一目标图像中商品进行聚类的示意图。
图6是本申请第三实施例提供的一种货架的数字化装置的单元框图。
图7是本申请第四实施例提供的电子设备的逻辑结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
首先，对本申请涉及的部分技术术语进行解释说明：
智慧防损业务，作为零售业应用范围最广的业务之一，智慧防损业务的核心在于各大商超日常运营中将账面的库存数据与实物商品的盘点数据进行核对校正，通过获得账面库存数据与实物商品盘点数据之间的差额，进而获知该阶段不同商品的损耗，以此来实现货架商品的数字化管理。
货架的数字化管理，用于表示通过获取实物货架、货架商品的特征信息，以及货架上商品与货架的相对位置关系信息，将上述特征信息以及相对位置关系信息转换为数字信息存储于商品数据库的过程。
商品代码，又称为商品的SKU（Stock Keeping Unit）码，是产品入库后一种编码归类方法，也是库存控制的最小单位。商品SKU码可以件、盒、托盘等为单位，每种产品均对应唯一的SKU码，该SKU码包含一种产品的品牌、型号、配置、等级、包装容量、单位、生产日期、保质期、用途、价格、产地等属性，一件产品的属性与其他产品都不一样，这样的商品就是一个单品，通过商品SKU码能够便于记忆、清点实物商品，进而实现商品的现代化管理。
anchor-free检测算法，作为目标检测算法类型中的一种，其本质是通过预测目标中心点及边框距中心点的距离或目标宽高来检测目标物体，该检测算法的典型代表为anchor-point算法和key-point算法。
SimOTA标签分配，该标签分配原则为将标签分配问题视作最优传输问题，在所有预测框之间计算运输成本，通过寻找一个合适的映射关系使得运输成本最低。
yolov5目标检测算法，是一种单阶段目标检测算法，该算法在yolov4的基础上添加了一些新的改进思路，yolov5采用了更轻量的网络结构，使用FPN增强特征提取网络代替PAN，使模型更简单，速度更快，使用四舍五入的方法进行临近位置查找，使目标映射到周围的多个中心网格点，其速度与精度都得到了极大的性能提升。
HRNet网络，又称为高分辨率网络，该网络具备在整个网络运行过程中维护较高分辨率的特点。其具体过程为从高分辨率子网作为第一阶段的开始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接。在整个过程中，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合，通过网络输出的高分辨率表示来估计关键点，该网络能够在预测的热力图上实现关键点的精确预测。
为了便于理解本申请实施例提供的货架的数字化方法，在介绍本申请实施例之前，先对本申请实施例的背景进行介绍。
随着数字化的转变、营销方式的变革，越来越多的商超将自助购物应用到超市的日常运营中。然而，上述自助购物的方式，虽然在一定程度上增加了顾客购物的便捷性，但同时也增大了购物过程中的盗损率，因此，自助购物对各大商超的智慧防损业务提出了新的挑战。货架的数字化管理作为智慧防损业务的关键，如何提高货架数字化管理过程中的精确度与准确率，成为当前智慧防损业务的关键难题。
当前货架商品的数字化管理中，常见的方式为基于静态的商品检测模型对待识别商品的图像进行检测，基于商品的图像进行货架商品种类、数量的查询与统计。然而，上述方式频繁需要对货架上商品的数量以及状态进行盘点，通过商品的实际盘点数据与账面上的库存数据进行核对，获知当前不同种类商品的损耗进而了解超市当前的销售情况，该过程需要借助大量的人工劳动，并且存在商品信息更新不及时的问题，当所采集的图像中存在其他货架中的商品时，该检测模型容易进行重复统计，导致货架商品数字化管理中商品统计的精准度、正确率无法保证，无法满足各大商超智慧防损业务的现实场景需求。
经过上述内容的背景介绍，本领域技术人员可以了解现有技术存在的问题，有鉴于此，本申请提供一种货架的数字化方法，解决现有技术存在的上述问题。接下来，对本申请货架的数字化方法的应用场景进行详细说明。本申请实施例提供的货架的数字化方法可以应用于货架数字化管理领域，或者其他具有货架管理需求的相关技术领域。
以下，首先对本申请实施例货架的数字化方法的应用场景进行示例说明。
图1为本申请第一实施例提供的货架的数字化方法的应用场景示意图。
如图1所示，本应用场景中，包括：终端101、服务端102；其中，终端101与服务端102通过网络通信连接。
以图1为例进行详细说明，在商超日常运营的应用背景下，位于商超中的终端101，例如超市管理人员的手机终端，或者设置于商超内部的监控录像设备，随时采集陈列有商品的货架的原始图像，并且将上述采集到的原始图像通过网络通信连接传输至服务端102，服务端102处的服务器在接收到上述原始图像后，将任意角度下拍摄的原始图像进行货架的角点检测和几何校正，获得第一目标图像；再将第一目标图像输入服务器的商品检测和识别模型中，提取出第一目标图像中包含的商品的特征值，例如商品的坐标位置、商品的深度特征值、商品的相似度特征值等信息；根据上述的特征值，对第一目标图像展示的货架上的商品进行聚类；并将上述商品的特征值与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；该商品的识别结果作为每一件商品独有的代码，能够作为该商品的身份信息；最终依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。通过上述过程，使得商品相对货架的摆放信息形成相应的数字信息，存储至货架管理***中，进而实现货架的数字化管理。
需要说明的是，图1是本申请实施例提供的一种货架的数字化方法的应用场景示意图，本申请实施例不对图1中包括的设备进行限定，不对终端101及服务端102的数量进行限定。例如，满足图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对终端101、服务端102可以是外部存储器，也可以是集成在终端101、服务端102的内部存储器。终端101可以为智能手机、智能手环、平板电脑、可穿戴设备、多媒体播放器、电子阅读器等多种具备通信功能的设备，并且该设备上对应安装有拍照功能的应用程序（Application，APP）；服务端102可以是一个服务器或若干服务器组成的集群，也可以是一个云计算服务中心。
在本申请的实施例中，图1中的终端101、服务端102的设备数量可以有所变化。本领域技术人员可以理解，图1中的应用场景仅仅是本申请货架的数字化方法的举例，并不构成对该方法的限定，终端101与服务端102也可位于网络通信的同一侧，也可以位于网络通信的不同侧，本实施例的描述只作为一种参考示意。
上述应用场景具体的实现过程可以参见以下各实施例的方案描述。
在介绍完本申请实施例的应用场景，本申请还提供了一种货架的数字化方法，以及与上述方法相对应的装置、电子设备以及计算机可读存储介质。以下提供实施例对上述方法、装置、电子设备、计算机可读存储介质，进行详细说明。
本申请第一实施例提供一种货架的数字化方法。
图2为本申请实施例提供的一种货架的数字化方法的流程图，以下结合图2对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图2所示，本实施例提供的货架的数字化方法包括如下步骤：
S201，采集陈列有商品的货架的原始图像。
本步骤的作用在于获取陈列有商品的货架的原始图像。
本实施例中，该原始图像可以为任意观察角度下所采集的商超现场的图像，并且原始图像的采集方式可以采用人工拍摄的方式，可以采用机器人定点巡航拍摄的方式，还可以采用监控镜头拍摄的方式进行采集。对于原始图像的格式，可以为RGB格式、JPG格式等各种类型，本实施例不作具体限定。
为了便于理解本步骤中所采集到的原始图像，进行举例示意，请参考图3，图3为原始图像的示意图。在该图中，陈列有商品的货架从当前的图像中观察并非标准的矩形框架结构，从当前拍摄的视角观察为四边形结构，在该视角下，能够获得货架上商品的相关信息，但是由于视角的限制无法获知商品与货架之间的相对位置关系。终端的图像采集设备拍摄到上述原始图像后，通过网络通信将其传输至服务端的服务器，以便于服务器进行后续的处理。
S202，对所述原始图像进行货架角点检测和几何校正，获得第一目标图像。
本步骤的作用在于获得校正后的第一目标图像。
需要理解的是，由于原始图像中货架的形状并非标准的矩形，不利于货架商品的检测识别，也不利于呈现商品与货架之间的相对位置关系，例如，商品A位于货架的第X层距离货架左侧边缘15厘米处，因此，需要将原始图像中的货架进行几何校正，获得校正后为矩形货架的第一目标图像。与该原始图像相对应，货架在原始图像中具有对应的初始角点坐标，该初始角点坐标用于表示货架的四个角点在原始图像中所处的位置。在本申请的货架的数字化方法中，上述第一目标图像为正视图，所述货架在所述第一目标图像中为标准矩形。
为了便于理解该过程，请参考图4中的示意，图4为第一目标图像获取过程的流程示意图。
上述货架角点检测和几何校正，包括：将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标；根据所述角点坐标，对所述原始图像进行仿射变换，获得所述第一目标图像。
在本实施例中，货架角点检测模型具体为基于HRNet网络的货架角点检测模型，通过将原始图像输入基于HRNet网络的货架角点检测模型进行检测识别，可以获得该货架的完整边界，并且通过计算获得原始图像中货架的角点坐标。
其中，所述将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标，包括：
将所述原始图像输入所述货架角点检测模型中，获得所述原始图像对应的多尺度特征；将所述多尺度特征进行融合，获得与所述原始图像对应的热力图；根据所述热力图，计算获得所述角点坐标。
上述步骤的目的在于，获得与初始角点坐标相对应的映射后货架角点坐标。为了便于理解，做出进一步的说明，上述货架角点检测模型为不同分辨率串并联的网络检测模型，该检测模型能够提取原始图像中多个商品及货架的多尺度特征，上述尺度特征与原始图像中的商品、货架均具有对应关系，即多尺度特征用于表示某个特定商品的形状及外观，该多尺度特征是由多个数据组合而来；通过将原始图像中提取的多尺度特征进行融合，融合为相对原始图像四分之一的热力图，根据热力图中响应中心点计算获得所述货架的角点坐标，该角点坐标作为初始角点坐标映射后的坐标，在本实施例中，用于后续仿射变换矩阵的计算，通过上述过程获知经映射变换后的货架角点坐标。
所述根据所述角点坐标，将所述原始图像进行仿射变换，获得所述第一目标图像，包括：
将所述角点坐标作为仿射变换角点坐标，根据初始角点坐标和映射对应的标准矩形顶点坐标，计算获得仿射变换矩阵；根据所述仿射变换矩阵，将所述原始图像进行仿射变换，获得所述第一目标图像。
在该步骤中，由于终端的图像采集设备在拍摄货架时，其视角是呈点状发散的视角，因此所拍摄的货架原始图像与货架正视图两者之间存在一定的视角偏差，因此需要将上述货架的原始图像进行几何校正，将不规则的四边形货架映射为矩形货架，以便于准确的计算获知货架与商品之间的相对位置，或商品在货架上的相对坐标，例如货架顶部一侧的初始角点坐标为（22，13，97），映射对应的标准矩形顶点坐标为（52，75，64）。
通过前述步骤获取的原始图像中货架的初始角点坐标，映射对应的标准矩形顶点坐标，能够计算获得仿射变换矩阵，该仿射变换矩阵形式可以表示如下：
在获知仿射变换矩阵的基础上，通过将原始图像中的所有像素点与仿射变换矩阵进行乘积，进而获得货架为标准矩形的第一目标图像。
通过上述的步骤，将原始图像进行仿射变化获得了第一目标图像，在该图像中货架为标准矩形。
S203，将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值。
本步骤的作用在于，获取第一目标图像中商品的特征值。
在本实施例中，上述商品检测和识别模型为包含标签分配策略的商品检测定位识别模型，并且该商品检测和识别模型采用基于anchor-free检测头和SimOTA标签分配的yolov5目标检测算法。
本申请的货架的数字化方法中，采用基于anchor-free检测头和SimOTA标签分配的yolov5目标检测算法来实现对货架商品的检测定位，其中，anchor-free的检测头作为商品检测和识别模型软件输出模块的组成部分，能够输出商品框图以及商品的特征类型，区别于anchor-base检测头，anchor-free检测头无需预先搜索anchor尺寸，减少超参数设置，同时能更好地适应密集目标检测任务。SimOTA标签分配方法，能够结合分类损失和边框损失来计算最优的标签分配策略，同时在训练中动态更新正样本数量，在本实施例中，通过分类损失来判别样本类型，通常情况下正样本是商品图片样本，负样本为商品图片样本。基于上述的anchor-free检测头和SimOTA标签分配的yolov5目标检测算法，使得最终获取的商品检测和识别模型能够达到高准确率和高召回率的运行效果。
在本申请的货架的数字化方法中，上述商品的特征值，至少包括：商品的坐标位置、商品的深度特征值、商品的相似度特征值、商品的外观形貌特征、商品的名称等诸多特征。
在本实施例的商品检测和识别模型运行过程中，通过将第一目标图像输入至该模型，商品检测和识别模型能够识别图像中的商品，并检测出每个商品的坐标位置，根据每个商品的坐标位置将每张商品图从第一目标图像的货架中截取出来，生成与之对应的商品框图，商品识别模型根据商品框图提取出用于表征该商品的特征值，例如，深度特征值以及相似度特征值。其中，深度特征值用于表述该商品的256维度特征向量（此处的深度特征值是商品识别模型提取的特征向量），相似度特征值用于表示该商品与商品检测和识别模型的商品信息数据库中商品的相似度。上述商品检测和识别模型的识别过程，可以利用商品的图像外形进行特征值的提取，还可以利用商品的包装图文进行特征值的提取，还可以为利用商品图像外形上的二维码进行特征值的提取，总之，上述商品特征值的获取可以借助该第一目标图像中的诸多类型的信息。
通过上述步骤，本实施例在第一目标图像中获得了用于表征商品的特征值。
S204，根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类。
本步骤的作用在于，根据商品的特征值对第一目标图像中的商品进行类别划分。
在本实施例中，第一目标图像中商品的聚类方式可以为根据商品的深度特征值对商品进行聚类，还可以为根据商品的相似度特征值对商品进行聚类，还可以为根据商品的坐标位置实现商品的聚类等等，基于商品的特征值进行类别划分的形式为多种，本实施例不作具体的限定。
为了便于理解上述的聚类方式，可以参考图5，图5为第一目标图像中商品进行聚类的示意图。在该图中，由第一目标图像获取的货架上商品的框图具有多个，如护手霜、纸巾、尿不湿等多件商品，通过提取每件商品相关的特征值，例如A商品，坐标位置为【62,33,15】、相似度特征值“卫生纸98%”，B商品，深度特征值9，坐标位置为【22,9,74】，C商品，坐标位置为【19、55、2】、深度特征值为4，相似度特征值为“尿不湿77%”，由此来实现将货架上多件商品进行聚类。
通过上述步骤，实现将第一目标图像中商品的聚类。
S205，与预设信息比对，获得聚类后各货架区域所放置商品的识别结果。
本步骤的作用在于，将聚类后的第一目标图像展示的货架上的商品，与预设信息进行比对，获得所放置商品的识别结果。
该步骤包括如下方式中的一种：
根据所述商品的特征值，与预存的商品信息数据库所包含的商品特征数据比对，获得所述聚类后各货架区域所放置商品的识别结果；
根据所述商品聚类后所在的货架坐标区域，结合货架陈列图提供的货架商品摆放规划信息，按照摆放次序进行比对，获得所述聚类后各货架区域所放置商品的识别结果；
以及，结合上述两种方式，获得所述聚类后各货架区域所放置商品的识别结果。
为了便于理解，做出进一步的说明，在商品检测和识别模型中还设置有预存的商品信息数据库，该数据库中存储有诸多商品的特征信息，例如，商品的排列摆放数量、商品的类别、商品的SKU编号等，该数据库中还预存有货架商品的摆放规划图，通过将第一目标图像中商品的特征值与商品信息数据库所包含的商品特征数据比对，能够获知经聚类后的商品在所属货架区域的识别结果；或者，通过聚类后的商品在货架上的坐标信息，结合预先粗略设置的货架陈列图，获得聚类后商品的识别结果。
在本实施例中，上述商品的识别结果是指商品的代码，即商品SKU码。通过将商品的特征值与预存的商品信息数据库中的商品特征数据进行比对，或者根据商品在货架上聚类后的货架坐标区域与货架陈列图的规划摆放信息进行比对，能够获得上述货架上各区域所放商品的SKU码。上述SKU码的获知，能够将货架上商品所在的区域及位置与商品的SKU码实现一一对应，以便于商超的经营管理。
通过上述步骤，将商品的特征值与预设信息的比对，获得商品的识别结果。
S206，依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
本步骤的作用在于，将商品的识别结果与商品所在货架区域进行关联，获得对应货架商品的分布信息。
在该步骤中，通过货架上各个商品的SKU码并且结合商品在货架上的摆放位置信息，能够实现该货架商品的分部信息。例如，商品A的SKU码为“SKM150GB12T4”，该商品A在货架上的相对位置坐标为“56，77，32”，该位置坐标既能表明商品A在货架上的相对位置，同时也能表明该商品A在卖场的实际地理位置，通过将上述商品A的SKU码与商品A所在货架的区域，如“第一层，距离货架的左侧边缘15厘米”进行信息的关联，进而能够获得商品A所属类别的商品在该卖场的分布信息。本实施例中，还可将所述货架的商品分布信息及所述商品的特征值，更新至商品信息数据库，进而实现货架的数字化过程。
通过上述步骤，能够获得货架的商品分布信息，以用户货架商品的数字化管理。
本申请实施例提供的货架的数字化方法，通过将上述商品识别结果与所在货架区域建立关联关系，获得上述商品的分部信息，进而实现货架的数字化管理，该方法能够提高人货交互行为的精准度与准确率，提高货架商品管理的工作效率。
上述第二实施例提供了一种货架的数字化方法，与之相对应的，本申请一实施例还提供了一种货架的数字化装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
如图6所示，为本实施例提供的货架的数字化装置的单元框图，包括：
获取单元601，被配置为采集陈列有商品的货架的原始图像；
校正单元602，被配置为对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；
提取单元603，被配置为将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；
聚类单元604，被配置为根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；
比对单元605，被配置为与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；
合成单元606，被配置为依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
上述实施例提供了货架的数字化装置，此外，本申请实施例还提供电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：请参考图7理解本实施例，图7为本实施例提供的电子设备的示意图。
如图7所示，本实施例提供的电子设备包括：处理器701和存储器702、通信总线703和通信接口704。所述处理器701，用于执行所述一条或多条计算机指令，以实现上述各方法实施例的各步骤。所述存储器702用于存储数据处理的一条或多条计算机指令。所述通信总线703，用于连接挂载在其上的处理器701、存储器702。所述通信接口704，用于为处理器701、存储器702提供连接接口。
在上述各实施例中，提供了一种货架的数字化方法以及上述方法对应的装置和电子设备，此外，本申请实施例还提供了用于实现上述货架的数字化方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有计算机指令，该指令被处理器执行时实现上述各方法实施例的各步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、 其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (12)
1.一种货架的数字化方法，其特征在于，包括：
采集陈列有商品的货架的原始图像；
对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；
将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；
根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；
与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；
依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
2.根据权利要求1所述的货架的数字化方法，其特征在于，所述货架角点检测和几何校正，包括：
将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标；
根据所述角点坐标，对所述原始图像进行仿射变换，获得所述第一目标图像。
3.根据权利要求2所述的货架的数字化方法，其特征在于，所述将所述原始图像输入货架角点检测模型中，获得所述原始图像中所述货架的角点坐标，包括：
将所述原始图像输入所述货架角点检测模型中，获得所述原始图像对应的多尺度特征；
将所述多尺度特征进行融合，获得与所述原始图像对应的热力图；
根据所述热力图，计算获得所述角点坐标。
4.根据权利要求2所述的货架的数字化方法，其特征在于，所述根据所述角点坐标，将所述原始图像进行仿射变换，获得所述第一目标图像，包括：
将所述角点坐标作为仿射变换角点坐标，根据初始角点坐标和映射对应的标准矩形顶点坐标，计算获得仿射变换矩阵；
根据所述仿射变换矩阵，将所述原始图像进行仿射变换，获得所述第一目标图像。
5.根据权利要求1所述的货架的数字化方法，其特征在于，所述第一目标图像为正视图，所述货架在所述第一目标图像中为标准矩形。
6.根据权利要求1所述的货架的数字化方法，其特征在于，所述商品检测和识别模型为包含标签分配策略的商品检测定位识别模型。
7.据权利要求6所述的货架的数字化方法，其特征在于，所述商品检测和识别模型，采用基于anchor-free检测头和SimOTA标签分配的yolov5目标检测算法。
8.根据权利要求1所述的货架的数字化方法，其特征在于，所述与预设信息比对，获得聚类后各货架区域所放置商品的识别结果，包括如下方式中的一种：
根据所述商品的特征值，与预存的商品信息数据库所包含的商品特征数据比对，获得所述聚类后各货架区域所放置商品的识别结果；
根据所述商品聚类后所在的货架坐标区域，结合货架陈列图提供的货架商品摆放规划信息，按照摆放次序进行比对，获得所述聚类后各货架区域所放置商品的识别结果；
以及，结合上述两种方式，获得所述聚类后各货架区域所放置商品的识别结果。
9.根据权利要求1所述的货架的数字化方法，其特征在于，所述方法还包括：
将所述货架的商品分布信息及所述商品的特征值，更新至商品信息数据库。
10.一种货架的数字化装置，其特征在于，所述装置包括：
获取单元，被配置为采集陈列有商品的货架的原始图像；
校正单元，被配置为对所述原始图像进行货架角点检测和几何校正，获得第一目标图像；
提取单元，被配置为将所述第一目标图像，提供给商品检测和识别模型，提取出第一目标图像中包含的商品的特征值；
聚类单元，被配置为根据所述商品的特征值，对所述第一目标图像展示的货架上的商品进行聚类；
比对单元，被配置为与预设信息比对，获得聚类后各货架区域所放置商品的识别结果；
合成单元，被配置为依据各商品的识别结果以及所在货架区域，获得货架的商品分布信息。
11.一种电子设备，其特征在于，包括处理器和存储器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211388161.3A CN115661624A (zh) | 2022-11-07 | 2022-11-07 | 一种货架的数字化方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211388161.3A CN115661624A (zh) | 2022-11-07 | 2022-11-07 | 一种货架的数字化方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115661624A true CN115661624A (zh) | 2023-01-31 |
Family
ID=85015203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211388161.3A Pending CN115661624A (zh) | 2022-11-07 | 2022-11-07 | 一种货架的数字化方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661624A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2805760C1 (ru) * | 2023-02-13 | 2023-10-23 | Самсунг Электроникс Ко., Лтд. | Способ и устройство идентификации розничных товаров |
| CN117196779A (zh) * | 2023-09-16 | 2023-12-08 | 广州小明网络科技有限公司 | 一种基于门店新零售管理*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析***及方法 |
| CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
| CN110874751A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种超市补货的方法和*** |
| CN111783627A (zh) * | 2020-06-29 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 商品存量确定方法、装置及设备 |
| CN112464952A (zh) * | 2020-11-25 | 2021-03-09 | 创新奇智(南京)科技有限公司 | 一种图像对齐方法以及图像匹配识别方法 |
| CN113674049A (zh) * | 2021-06-24 | 2021-11-19 | 杭州碑石数据技术有限公司 | 基于图片搜索的商品在架位置识别方法、***和存储介质 |
| CN114494892A (zh) * | 2022-04-15 | 2022-05-13 | 广州市玄武无线科技股份有限公司 | 一种货架商品陈列信息识别方法、装置、设备及存储介质 |
| CN114511820A (zh) * | 2022-04-14 | 2022-05-17 | 美宜佳控股有限公司 | 货架商品检测方法、装置、计算机设备及存储介质 |
| CN115249356A (zh) * | 2022-09-21 | 2022-10-28 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
-
2022
- 2022-11-07 CN CN202211388161.3A patent/CN115661624A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930264A (zh) * | 2012-09-29 | 2013-02-13 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析***及方法 |
| CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
| CN110874751A (zh) * | 2018-08-29 | 2020-03-10 | 北京京东尚科信息技术有限公司 | 一种超市补货的方法和*** |
| CN111783627A (zh) * | 2020-06-29 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 商品存量确定方法、装置及设备 |
| CN112464952A (zh) * | 2020-11-25 | 2021-03-09 | 创新奇智(南京)科技有限公司 | 一种图像对齐方法以及图像匹配识别方法 |
| CN113674049A (zh) * | 2021-06-24 | 2021-11-19 | 杭州碑石数据技术有限公司 | 基于图片搜索的商品在架位置识别方法、***和存储介质 |
| CN114511820A (zh) * | 2022-04-14 | 2022-05-17 | 美宜佳控股有限公司 | 货架商品检测方法、装置、计算机设备及存储介质 |
| CN114494892A (zh) * | 2022-04-15 | 2022-05-13 | 广州市玄武无线科技股份有限公司 | 一种货架商品陈列信息识别方法、装置、设备及存储介质 |
| CN115249356A (zh) * | 2022-09-21 | 2022-10-28 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2805760C1 (ru) * | 2023-02-13 | 2023-10-23 | Самсунг Электроникс Ко., Лтд. | Способ и устройство идентификации розничных товаров |
| CN117196779A (zh) * | 2023-09-16 | 2023-12-08 | 广州小明网络科技有限公司 | 一种基于门店新零售管理*** |
| CN117196779B (zh) * | 2023-09-16 | 2024-04-16 | 广州小明网络科技有限公司 | 一种基于门店新零售管理*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292248B (zh) | 一种基于图像识别技术的商品管理方法及*** | |
| US11335092B2 (en) | Item identification method, system and electronic device | |
| CN111061890B (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
| US11640707B2 (en) | Reducing scale estimate errors in shelf images | |
| CN108416902B (zh) | 基于差异识别的实时物体识别方法和装置 | |
| CN109241374B (zh) | 一种图书信息库更新方法及图书馆书籍定位方法 | |
| US8941645B2 (en) | Comparing virtual and real images in a shopping experience | |
| JP2019055828A (ja) | 棚情報推定装置及び情報処理プログラム | |
| US8805123B2 (en) | System and method for video recognition based on visual image matching | |
| CN103617420A (zh) | 基于图像特征匹配的商品快速识别方法及*** | |
| KR102380255B1 (ko) | 영상 기반 선반 상품 재고 모니터링 시스템 및 방법 | |
| CN115393007A (zh) | 一种行业分类模型的训练方法及装置 | |
| CN115661624A (zh) | 一种货架的数字化方法、装置及电子设备 | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| CN110705620A (zh) | 一种基于翻拍识别的陈列图像检测方法、装置及存储介质 | |
| CN114494921A (zh) | 一种货架商品的识别方法和*** | |
| CN113674049A (zh) | 基于图片搜索的商品在架位置识别方法、***和存储介质 | |
| CN110378299B (zh) | 一种室内灯光条件下的衣着识别*** | |
| US20230274226A1 (en) | Retail shelf image processing and inventory tracking system | |
| CN114360057A (zh) | 数据处理方法及相关装置 | |
| CN113627415A (zh) | 确定目标对象摆放信息的方法及装置 | |
| CN114821234A (zh) | 网络训练及目标检测方法、装置、设备及存储介质 | |
| CN111382650B (zh) | 商品购物处理***、方法、装置及电子设备 | |
| US20230274410A1 (en) | Retail shelf image processing and inventory tracking system | |
| US20230274227A1 (en) | Retail shelf image processing and inventory tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240519 Address after: Room 801-6, No. 528 Yan'an Road, Gongshu District, Hangzhou City, Zhejiang Province, 310005 Applicant after: Zhejiang Shenxiang Intelligent Technology Co.,Ltd. Country or region after: China Address before: 310030 room 5034, building 3, No. 820, Wener West Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG LIANHE TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |