CN110765815B - 展示架遮挡检测方法和装置 - Google Patents

展示架遮挡检测方法和装置 Download PDF

Info

Publication number
CN110765815B
CN110765815B CN201810835856.9A CN201810835856A CN110765815B CN 110765815 B CN110765815 B CN 110765815B CN 201810835856 A CN201810835856 A CN 201810835856A CN 110765815 B CN110765815 B CN 110765815B
Authority
CN
China
Prior art keywords
display
face
laminate
shielding
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810835856.9A
Other languages
English (en)
Other versions
CN110765815A (zh
Inventor
向彪
王彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810835856.9A priority Critical patent/CN110765815B/zh
Publication of CN110765815A publication Critical patent/CN110765815A/zh
Application granted granted Critical
Publication of CN110765815B publication Critical patent/CN110765815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种展示架遮挡检测方法和装置，涉及图像检测领域。该方法包括：获取待检测展示架的图像；基于层板端面检测模型确定待检测展示架的图像对应的层板端面；根据待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定待检测展示架是否被遮挡。本公开能够提高检测展示架遮挡情况的可操作性与准确性。

Description

展示架遮挡检测方法和装置
技术领域
本公开涉及图像检测领域，尤其涉及一种展示架遮挡检测方法和装置。
背景技术
在商品销售实体店中，店员通常需要对货架上的商品进行周期性盘点、巡视，以保证货架上有足够多的可售卖商品、商品摆放整齐、摆放规范等，进而提升顾客的购物体验和销售额。随着图像识别技术的发展，借助于摄像头拍摄货架进行商品图像识别，来完成货架的商品盘点、货架巡视的解决方法越来越受到重视，并且逐渐投入到实际应用中，以替代部分传统人工定期盘点、巡视的方法。
由于使用摄像头拍摄货架时，摄像头距离待拍摄的货架之间需要保持一定的距离和角度，方能达到较好的效果。不论是采用斜上方位置拍摄，还是对面水平位置拍摄，在拍摄过程中，货架都可能出现被顾客身体等物体所遮挡(全部或者部分遮挡)，从而影响到盘点、巡视的准确性。因此，必须有一套有效的方法来判断当前拍摄时刻，货架与摄像头视觉之间是否存在遮挡、遮挡面积大小、遮挡位置等情况，从而改进、调整后续的商品识别、分析方法。
发明内容
若不进行遮挡检测，而是通过间隔一定的时间，采用多次拍摄的方法，挑选效果最好的一张图像，例如识别出的商品数量最多的图像作为最终的识别分析结果，这种实现方式虽然简单，但由于不考虑遮挡情况，因此货架分析的结果准确性相对较差，并且可能存在较大的波动情况，给人形成一定的困扰。另外，由于在拍摄过程中，绝大部分的遮挡均来自于顾客、店员等人体部分，因此在图像有效范围内，例如货架所在的图像区域，进行人体检测，如果检测到有人体的存在，则认为存在遮挡；同时可以使用人体面积与货架区域面积占比作为遮挡的大小，身体所在的位置即为遮挡位置。但是由于人体可能处于不同的位置、具有不同的身高、姿态、行进、穿着各种颜色的衣服等因素，因此需要训练和检测的有效目标较多，检测算法的实现难度较高，较为复杂。另外，还可以在货架上选定一定数量的关键点位置，如果这些关键位置在拍摄图像中被遮挡的话，则认为货架存在遮挡，并使用被遮挡的关键点数量与所有的关键点数量占比来衡量遮挡的大小，为露出的关键点位置即为遮挡发生的区域。但该方案检测遮挡效果的好坏完全取决于关键点位置的选取，需要较多的经验；同时由于受制于关键点位置的数量，计算出的遮挡部分大小的准确性相对略低。
本公开要解决的一个技术问题是提供一种展示架遮挡检测方法和装置，能够提高检测展示架遮挡情况的准确性。
根据本公开一方面，提出一种展示架遮挡检测方法，包括：获取待检测展示架的图像；基于层板端面检测模型确定待检测展示架的图像对应的层板端面；根据待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定待检测展示架是否被遮挡。
可选地，该展示架遮挡检测方法还包括：获取样本展示架的图像；对样本展示架的图像中的层板端面进行标注，生成标注文件；基于样本展示架的图像和标注文件对层板端面检测模型进行训练。
可选地，确定待检测展示架是否被遮挡包括：确定待检测展示架的各层板端面归属的展示架层；将待检测展示架的每个展示架层的层板端面长度与无遮挡展示架的相应展示架层的层板端面长度之比，作为待检测展示架各展示架层的遮挡衡量值；若遮挡衡量值大于遮挡阈值，则确定该展示架层被遮挡。
可选地，确定待检测展示架的各层板端面归属的展示架层包括：确定待检测展示架的每个层板端面中心点的第一纵坐标；确定无遮挡展示架的每个层板端面中心点的第二纵坐标；将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为该层板端面归属的展示架层。
可选地，该展示架遮挡检测方法还包括：确定待检测展示架被遮挡的各层板端面与无遮挡展示架相应层板端面之间没有重叠的区域；将没有重叠的区域作为被遮挡的展示架层的遮挡位置。
可选地，该展示架遮挡检测方法还包括：根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定被遮挡的展示架层的遮挡长度。
根据本公开的另一方面，还提出一种展示架遮挡检测装置，包括：图像获取单元，被配置为获取待检测展示架的图像；层板端面确定单元，被配置为基于层板端面检测模型确定待检测展示架的图像对应的层板端面；遮挡确定单元，被配置为根据待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定待检测展示架是否被遮挡。
可选地，图像获取单元还被配置为获取无遮挡展示架的图像，装置还包括：标注文件生成单元，被配置为对样本展示架的图像中的层板端面进行标注，生成标注文件；模型训练单元，被配置为基于样本展示架的图像和标注文件对层板端面检测模型进行训练。
可选地，遮挡确定单元还被配置为确定待检测展示架的各层板端面归属的展示架层；将待检测展示架的每个展示架层的层板端面长度与无遮挡展示架的相应展示架层的层板端面长度之比，作为待检测展示架各展示架层的遮挡衡量值；若遮挡衡量值大于遮挡阈值，则确定该展示架层被遮挡。
可选地，层板端面确定单元还被配置为确定待检测展示架的每个层板端面中心点的第一纵坐标；确定无遮挡展示架的每个层板端面中心点的第二纵坐标；将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为该层板端面归属的展示架层。
可选地，该展示架遮挡检测装置还包括：遮挡位置确定单元，被配置为确定待检测展示架被遮挡的各层板端面与无遮挡展示架相应的层板端面之间没有重叠的区域；将没有重叠的区域作为被遮挡的展示架层的遮挡位置。
可选地，该展示架遮挡检测装置还包括：遮挡长度确定单元，被配置为根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定被遮挡的展示架层的遮挡长度。
根据本公开的另一方面，还提出一种展示架遮挡检测装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的展示架遮挡检测方法。
根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的展示架遮挡检测方法的步骤。
与相关技术相比，本公开实施例中，通过检测待检测展示架的层板端面，并与无遮挡时的情况进行对比分析来确定展示架是否被遮挡，提高了检测展示架遮挡情况的可操作性与准确性。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开展示架遮挡检测方法的一个实施例的流程示意图。
图2为本公开展示架遮挡检测方法的另一个实施例的流程示意图。
图3为本公开展示架及层板端面示意图。
图4为本公开展示架遮挡检测装置的一个实施例的结构示意图。
图5为本公开展示架遮挡检测装置的另一个实施例的结构示意图。
图6为本公开展示架遮挡检测装置的再一个实施例的结构示意图。
图7为本公开展示架遮挡检测装置的又一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
图1为本公开展示架遮挡检测方法的一个实施例的流程示意图。
在步骤110，获取待检测展示架的图像。其中，展示架为向用户展示产品的架子、展柜等，例如为商场、无人超市的货架，书店的书架等等。可以在待检测展示架前设置摄像头或相机等设备，通过摄像头或相机拍摄待检测展示架的图像。摄像头或相机与待检测展示架的相对位置、角度等参数尽可能的与拍摄样本图像时保持一致。
在步骤120，基于层板端面检测模型确定待检测展示架的图像对应的层板端面。其中，可以将待检测展示架的图像输入到训练好的层板端面检测模型中，输出图像对应的层板端面，该层板端面检测模型可以为深度学习模型。
在步骤130，根据待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定待检测展示架是否被遮挡。例如，若待检测展示架的层板端面长度小于无遮挡展示架的层板端面长度，则判断出该展示架被遮挡。
在该实施例中，通过检测待检测展示架的层板端面，并与无遮挡时的情况进行对比分析来确定展示架是否被遮挡，提高了检测展示架遮挡情况的可操作性与准确性。
图2为本公开展示架遮挡检测方法的另一个实施例的流程示意图。
在步骤210，获取样本展示架的图像。例如，使用图像采集装置对样本展示架进行图像采集，并将采集的图像作为训练样本。其中，样本展示架可以为被遮挡的展示架，也可以为无遮挡的展示架，采集图像的数量可以根据算法模型进行设定，例如可以采集300张左右。
在采集样本图像时，使用图像采集装置从不同的位置、不同的拍摄角度、在不同的光照条件等环境下，采集尽可能多样化的展示架图像，以辅助提高层板端面检测模型的鲁棒性。具体图像采集装置可以采用摄像头或相机等设备，图像储存格式为JPG或PNG等，图像分辨率可以根据图像大小、清晰度、计算力等因素综合设定，在一个实施例中，可以使用1280x720像素(宽x高)的摄像机。
在步骤220，对样本展示架的图像中的层板端面进行标注，生成标注文件。例如，使用矩形框标注出展示架每层端面的有效范围，如图3所示，矩形框31、32和33分别代表不同展示架层中的层板端面。其中，标注文件的格式可以自定义，为便于对层板端面检测模型进行训练，尽量采用检测算法模型支持的数据格式。例如，使用XML格式记录每个端面矩形框的左上角和右下角两个点的(x，y)坐标，标注文件名即为图像名称，后缀为xml，记录内容下所示，其中xxx代表具体坐标数值。
在步骤230，基于样本展示架的图像和标注文件对层板端面检测模型进行训练。其中，层板端面检测模型例如为深度学习模型，采用的具体算法例如为YOLO(You Only LookOnce，只看一次)、SSD(Single Shot MultiBox Detector，单次多框检测器)、Faster RCNN(Faster Region-based Convolutional Network，更快区域卷积神经网络)等目标检测算法。
通过步骤210-230能够训练出层板端面检测模型，以便后续进行展示架遮挡检测。
在步骤240，获取待检测展示架的图像。其中，可以使用同训练阶段一致的图像采集装置对展示架进行实时图像采集，获得待检测展示架的实时图像。图像采集参数可以与在训练阶段采集图像时保持一致，也可以不一致，但是一致的参数有助于提升后续检测和分析的准确性。
在步骤250，基于层板端面检测模型确定待检测展示架的图像对应的层板端面。例如，可以获得层板端面的具体矩形坐标信息，如矩形左上角和右下角的坐标。
在步骤260，确定待检测展示架的各层板端面归属的展示架层。由于展示架通常由多层组成，因此，需要可以对每个展示架层进行分析。例如，确定待检测展示架的每个层板端面中心点的第一纵坐标；确定无遮挡展示架的每个层板端面中心点的第二纵坐标；将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为该层板端面归属的展示架层。
在一个实施例中，将当前图像中检测出的第i层第i个端面矩形框的中心点坐标记为(xx_i,yy_i)，将该展示架对应的无遮挡时端面矩形框的中心点记为(x_j,y_j)。其中，i、j的值从上到下、从左到右依次使用下标0，1，2…进行标识，i与j可能不相等。
如果|yy_i-y_j|<T，则，则第i个检测到的端面归属于第j层。若均不符合条件，则检测到的该端面视为无效。其中，||为求绝对值运算，T为纵坐标阈值，T可以根据需要设定。在一个实施例中T的取值可以为0.2*H/(max(j)+1)，其中H为展示架有效区域在图像中的高度。
在步骤270，将待检测展示架的每个展示架层的层板端面长度与无遮挡展示架的相应展示架层的层板端面长度之比，作为待检测展示架各展示架层的遮挡衡量值OR。
例如，
其中，xxrb_i_j为待检测展示架中归属于第j个展示架层的第i个端面矩形框的右下角的水平坐标，xxlu_i_j为对应矩形框的左上角点的水平坐标。xrb_j为对应展示架无遮挡时第j展示架层的端面矩形框的右下角的水平坐标，xlu_j为对应矩形框的左上角的水平坐标，max为求最大值运算符。
在步骤280，判断遮挡衡量值是否大于遮挡阈值，则执行步骤290，否则，执行步骤2100。
由于图像检测算法无法做到100％精确检测，因此检测出的矩形框与对应展示架的无遮挡矩形框不可能完全重合，故通常可以设置一定的容忍度K，若占比小于遮挡阈值K，则可以近似认为无遮挡发生，否则有遮挡存在。遮挡阈值K可以根据检测算法的边框回归准确度来设置，例如可以设置为8％。
在步骤290，该展示架层被遮挡。
在步骤2100，该展示架层没有被遮挡。
在该实施例中，通过比较待检测各展示架层的层板端面的长度与相应无遮挡层板端面的长度的比值是否大于遮挡阈值，可以更加快速、简单、方便的确定出待检测各展示架层是否被遮挡。
在本公开的另一个实施例中，还可以确定展示架的遮挡位置。例如，确定待检测展示架被遮挡的展示架层的各层板端面与无遮挡展示架相应展示架层的层板端面之间没有重叠的区域，将没有重叠的区域作为被遮挡的展示架层的遮挡位置。例如，对于遮挡衡量值OR超过遮挡阈值K的展示架层，可以对该层中所有检测出的端面矩形框按照左上角的水平位置坐标进行升序排列，则检测出的矩形框与对应展示架无遮挡时矩形框之间，水平方向没有重叠的区域，则为展示架遮挡发生的位置。
在本公开的另一个实施例中，可以根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定被遮挡的展示架层的遮挡长度，进而可以确定被遮挡的展示架层的遮挡比例，其中，遮挡长度和遮挡比例能够用来衡量遮挡的严重程度。
在上述实施例中，通过检测出待检测展示架的层板端面，并与无遮挡时情形进行对比分析，能够判断出展示架与摄像头之间是否存在遮挡、遮挡长度、遮挡发生位置等信息，进而能够更加快速方便的对展示架上的货物进行分析、决策。
图4为本公开展示架遮挡检测装置的一个实施例的结构示意图。该展示架遮挡检测装置包括图像获取单元410、层板端面确定单元420和遮挡确定单元430。
图像获取单元410被配置为获取待检测展示架的图像。其中，展示架为向用户展示产品的架子、展柜等，例如为商场、无人超市的货架，书店的书架等等。
层板端面确定单元420被配置为基于层板端面检测模型确定待检测展示架的图像对应的层板端面。其中，层板端面确定单元420可以将待检测展示架的图像输入到训练好的层板端面检测模型中，输出图像对应的层板端面，该层板端面检测模型可以为深度学习模型。
遮挡确定单元430被配置为根据待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定待检测展示架是否被遮挡。例如，若待检测展示架的层板端面长度小于无遮挡展示架的层板端面长度，则判断出该展示架被遮挡。
在该实施例中，通过检测待检测展示架的层板端面，并与无遮挡时的情况进行对比分析来确定展示架是否被遮挡，提高了检测展示架遮挡情况的准确性。
图5为本公开展示架遮挡检测装置的另一个实施例的结构示意图。该展示架遮挡检测装置包括图像获取单元510、标注文件生成单元520、模型训练单元530、层板端面确定单元540和遮挡确定单元550。
图像获取单元510被配置为获取样本展示架的图像，还被配置为获取待检测展示架的图像。
标注文件生成单元520被配置为对样本展示架的图像中的层板端面进行标注，生成标注文件。例如，使用矩形框标注出展示架每层端面的有效范围，如图3所示，矩形框31、32和33分别代表不同展示架层中的层板端面。其中，标注文件的格式可以自定义，为便于对层板端面检测模型进行训练，尽量采用检测算法模型支持的数据格式。例如，使用XML格式记录每个端面矩形框的左上角和右下角两个点的(x，y)坐标，标注文件名即为图像名称，后缀为xml。
模型训练单元530被配置为基于样本展示架的图像和标注文件对层板端面检测模型进行训练。
层板端面确定单元540被配置为基于层板端面检测模型确定待检测展示架的图像对应的层板端面。例如，可以获得层板端面的具体矩形坐标信息，如矩形左上角和右下角的坐标。
遮挡确定单元550被配置为确定待检测展示架的各层板端面归属的展示架层；将待检测展示架的每个展示架层的层板端面长度与无遮挡展示架的相应展示架层的层板端面长度之比，作为待检测展示架各展示架层的遮挡衡量值；若遮挡衡量值大于遮挡阈值，则确定该展示架层被遮挡。
由于展示架通常由多层组成，因此，需要可以对每个展示架层进行分析。例如，确定待检测展示架的每个层板端面中心点的第一纵坐标；确定无遮挡展示架的每个层板端面中心点的第二纵坐标；将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为该层板端面归属的展示架层。然后将待检测展示架的每个展示架层的层板端面长度与无遮挡展示架的相应展示架层的层板端面长度之比，作为待检测展示架各展示架层的遮挡衡量值。由于图像检测算法无法做到100％精确检测，因此检测出的矩形框与对应展示架的无遮挡矩形框不可能完全重合，故通常可以设置一定的容忍度K，若遮挡衡量值小于遮挡阈值K，则可以近似认为无遮挡发生，否则有遮挡存在。遮挡阈值K可以根据检测算法的边框回归准确度来设置，例如可以设置为8％。
在该实施例中，通过比较待检测各展示架层的层板端面的长度与相应无遮挡层板端面的长度的比值是否大于遮挡阈值，可以更加快速、简单、方便的确定出待检测各展示架层是否被遮挡。
在本公开的另一个实施例中，该展示架遮挡检测装置还可以包括遮挡位置确定单元560，被配置为确定待检测展示架被遮挡的展示架层的各层板端面与无遮挡展示架相应展示架层的层板端面之间没有重叠的区域；将没有重叠的区域作为被遮挡的展示架层的遮挡位置。例如，对于遮挡衡量值OR超过遮挡阈值K的展示架层，可以对该层中所有检测出的端面矩形框按照左上角的水平位置坐标进行升序排列，则检测出的矩形框与对应展示架无遮挡时矩形框之间，水平方向没有重叠的区域，则为展示架遮挡发生的位置。
在本公开的另一个实施例中，该展示架遮挡检测装置还可以遮挡长度确定单元570，被配置为根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定被遮挡的展示架层的遮挡长度，进而可以确定被遮挡的展示架层的遮挡比例。
在上述实施例中，通过检测出待检测展示架的层板端面，并与无遮挡时情形进行对比分析，能够判断出展示架与摄像头之间是否存在遮挡、遮挡长度、遮挡发生位置等信息，进而能够更加快速方便的对展示架上的货物进行分析、决策。
图6为本公开展示架遮挡检测装置的再一个实施例的结构示意图。该装置包括存储器610和处理器620，其中，存储器610可以是磁盘、闪存或其它任何非易失性存储介质。存储器610用于存储图1、2所对应实施例中的指令。处理器620耦接至存储器610，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器620用于执行存储器中存储的指令。
在一个实施例中，还可以如图7所示，该装置700包括存储器710和处理器720。处理器720通过BUS总线730耦合至存储器710。该装置700还可以通过存储接口740连接至外部存储装置750以便调用外部数据，还可以通过网络接口760连接至网络或者另外一台计算机***(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高检测展示架遮挡情况的准确性。。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种展示架遮挡检测方法，包括：
获取待检测展示架的图像；
基于层板端面检测模型确定所述待检测展示架的图像对应的层板端面；
根据所述待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果，确定所述待检测展示架是否被遮挡，包括：
确定所述待检测展示架的每个层板端面中心点的第一纵坐标；
确定所述无遮挡展示架的每个层板端面中心点的第二纵坐标；
将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为所述待检测展示架的层板端面归属的展示架层；
将所述待检测展示架的每个展示架层的层板端面长度与所述无遮挡展示架的相应展示架层的层板端面长度之比，作为所述待检测展示架各展示架层的遮挡衡量值；
若所述遮挡衡量值大于遮挡阈值，则确定所述待检测展示架的展示架层被遮挡。
2.根据权利要求1所述的展示架遮挡检测方法，还包括：
获取样本展示架的图像；
对所述样本展示架的图像中的层板端面进行标注，生成标注文件；
基于所述样本展示架的图像和所述标注文件对所述层板端面检测模型进行训练。
3.根据权利要求1所述的展示架遮挡检测方法，还包括：
确定所述待检测展示架被遮挡的各层板端面与所述无遮挡展示架相应的层板端面之间没有重叠的区域；
将所述没有重叠的区域作为所述被遮挡的展示架层的遮挡位置。
4.根据权利要求3所述的展示架遮挡检测方法，还包括：
根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定所述被遮挡的展示架层的遮挡长度。
5.一种展示架遮挡检测装置，包括：
图像获取单元，被配置为获取待检测展示架的图像；
层板端面确定单元，被配置为基于层板端面检测模型确定所述待检测展示架的图像对应的层板端面，确定所述待检测展示架的每个层板端面中心点的第一纵坐标；确定无遮挡展示架的每个层板端面中心点的第二纵坐标；将与第一纵坐标之差的绝对值小于纵坐标阈值的第二纵坐标所在的展示架层，作为所述待检测展示架的层板端面归属的展示架层；
遮挡确定单元，被配置为根据所述待检测展示架的层板端面与无遮挡展示架的层板端面的比较结果确定所述待检测展示架是否被遮挡，其中，将所述待检测展示架的每个展示架层的层板端面长度与所述无遮挡展示架的相应展示架层的层板端面长度之比，作为所述待检测展示架各展示架层的遮挡衡量值；若所述遮挡衡量值大于遮挡阈值，则确定所述待检测展示架的展示架层被遮挡。
6.根据权利要求5所述的展示架遮挡检测装置，其中，所述图像获取单元还被配置为获取样本展示架的图像，所述展示架遮挡检测装置还包括：
标注文件生成单元，被配置为对样本展示架的图像中的层板端面进行标注，生成标注文件；
模型训练单元，被配置为基于所述样本展示架的图像和所述标注文件对所述层板端面检测模型进行训练。
7.根据权利要求5所述的展示架遮挡检测装置，还包括：
遮挡位置确定单元，被配置为确定所述待检测展示架被遮挡的各层板端面与所述无遮挡展示架相应的层板端面之间没有重叠的区域；将所述没有重叠的区域作为所述被遮挡的展示架层的遮挡位置。
8.根据权利要求7所述的展示架遮挡检测装置，还包括：
遮挡长度确定单元，被配置为根据各展示架层的层板端面没有重叠的区域的水平方向长度信息，确定所述被遮挡的展示架层的遮挡长度。
9.一种展示架遮挡检测装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至4任一项所述的展示架遮挡检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至4任一项所述的展示架遮挡检测方法的步骤。
CN201810835856.9A 2018-07-26 2018-07-26 展示架遮挡检测方法和装置 Active CN110765815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810835856.9A CN110765815B (zh) 2018-07-26 2018-07-26 展示架遮挡检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810835856.9A CN110765815B (zh) 2018-07-26 2018-07-26 展示架遮挡检测方法和装置

Publications (2)

Publication Number Publication Date
CN110765815A CN110765815A (zh) 2020-02-07
CN110765815B true CN110765815B (zh) 2024-05-24

Family

ID=69327941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810835856.9A Active CN110765815B (zh) 2018-07-26 2018-07-26 展示架遮挡检测方法和装置

Country Status (1)

Country Link
CN (1) CN110765815B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158876A (zh) * 2021-04-16 2021-07-23 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN115311589B (zh) * 2022-10-12 2023-03-31 山东乾元泽孚科技股份有限公司 一种用于采光建筑的隐患处理方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007079659A (ja) * 2005-09-12 2007-03-29 Nec Engineering Ltd 監視装置
US7590261B1 (en) * 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590261B1 (en) * 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
JP2007079659A (ja) * 2005-09-12 2007-03-29 Nec Engineering Ltd 監視装置
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技（深圳）有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110765815A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
WO2021093329A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
WO2021012644A1 (zh) 货架商品检测方法及***
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
US20220335726A1 (en) Item identification and tracking system
TWI578272B (zh) Shelf detection system and method
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
CN109253722B (zh) 融合语义分割的单目测距***、方法、设备及存储介质
CN112464697B (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
US10984228B2 (en) Interaction behavior detection method, apparatus, system, and device
US11250570B2 (en) Display rack image processing device, image processing method, and recording medium
CN110765815B (zh) 展示架遮挡检测方法和装置
CN115249356B (zh) 识别方法、装置、设备及存储介质
EP3404513A1 (en) Information processing apparatus, method, and program
Milella et al. Towards intelligent retail: Automated on-shelf availability estimation using a depth camera
CN109840503A (zh) 一种确定种类信息的方法及装置
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
CN115601672A (zh) 一种基于深度学习的vr智能巡店方法及装置
US11430154B2 (en) Classification of change related to display rack
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN110766646A (zh) 展示架遮挡检测方法、装置以及存储介质
WO2016101829A1 (zh) 一种安检ct三维图像的操作方法和装置
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及***
US20220128347A1 (en) System and method to measure object dimension using stereo vision
Achakir et al. An automated AI-based solution for out-of-stock detection in retail environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant