CN116311219B - 一种基于透视变换的地堆本品占地面积计算方法及装置 - Google Patents
一种基于透视变换的地堆本品占地面积计算方法及装置 Download PDFInfo
- Publication number
- CN116311219B CN116311219B CN202310067157.5A CN202310067157A CN116311219B CN 116311219 B CN116311219 B CN 116311219B CN 202310067157 A CN202310067157 A CN 202310067157A CN 116311219 B CN116311219 B CN 116311219B
- Authority
- CN
- China
- Prior art keywords
- pile
- sku
- ground
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 54
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于透视变换的地堆本品占地面积计算方法及装置，包括获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，按照预设条件从中选择目标本品SKU；根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。本申请通过透视变换将图片矫正成正面再识别和计算长度，提高了地堆占地面积计算结果的准确性。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于透视变换的地堆本品占地面积计算方法及装置。
背景技术
在快速消费领域，快消企业为保证铺货数量、确保己方产品在地堆等陈列形式中占据有利比例，或了解地堆区域中本品的铺货是否充分利用地堆面积，需要对地堆中本品铺货的面积进行监控和调整。为了便于描述，通常将这类被选定需要了解铺货面积的目标商品称为本品，将与本品可构成竞争关系的商品称为竞品。
目前，传统的企业主要通过人工巡店的方式进行考察，然而这种方式需要巡店员人为对地堆面积进行测量，费时费力，同时容易有估计不准甚至数据造假等风险。此外，人工巡店还具有信息更新慢、对市场反馈不及时等缺点，不能满足企业对数据情况实时的需求。
发明内容
本申请的目的在于提供一种基于透视变换的地堆本品占地面积计算方法及装置，以解决现有的地堆中本品占地面积的计算方法存在的耗时长、成本高且计算结果不准确的问题。
为实现上述目的，本申请提供一种基于透视变换的地堆本品占地面积计算方法，包括：
获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；
对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；
对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU；
根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。
进一步，作为优选地，所述对变换后的地堆图像中的本品SKU进行检测，包括
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对变换后的地堆图像中的本品SKU进行检测采用的深度网络模型包括Faster-Rcnn和Yolo模型。
进一步，作为优选地，所述利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面。
进一步，作为优选地，所述获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU，包括：
获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，统计本品SKU的类别和长宽比，将长宽比大于1和小于1的作为两种摆放方式，并视作两种类别；
将这两种类别中，摆放方式最多数量的一类SKU筛选出来，作为目标本品SKU。
进一步，作为优选地，所述根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度，包括：
式中，D1为一个地堆侧面长度，dp为地堆侧面中本品SKU两端的距离，wp为目标本品的平均像素宽度，w目标本品的实际宽度。
进一步，作为优选地，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo模型。
进一步，作为优选地，在所述识别地堆场景中的地堆侧面之后，还包括：
对地堆侧面进行平滑处理，得到能够描述地堆侧面的四边形；其中，利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法、Visvalingam-Whyatt算法。
本申请还提供一种基于透视变换的地堆本品占地面积计算装置，包括：
地堆场景分割单元，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；
透视变换单元，用于对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；
目标本品SKU确定单元，用于对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU；
地堆面积计算单元，用于根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。
本申请还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的基于透视变换的地堆本品占地面积计算方法。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于透视变换的地堆本品占地面积计算方法。
相对于现有技术，本申请的有益效果在于：
本申请公开了一种基于透视变换的地堆本品占地面积计算方法及装置，包括获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，按照预设条件从中选择目标本品SKU；根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。本申请通过透视变换将图片矫正成正面再识别和计算长度，提高了地堆占地面积计算结果的准确性；且本申请使用的深度模型通用性高。可用常规的目标检测模型对地堆和SKU进行检测，端到端训练不需进行额外的数据处理，降低了操作成本。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某一实施例提供的基于透视变换的地堆本品占地面积计算方法的流程示意图；
图2是本申请某一实施例提供的地堆场景和地堆侧面的标注示意图；
图3是本申请某一实施例提供的地堆拍照角度示意图；
图4是本申请某一实施例提供的同一商品不同面的SKU标注结果示意图；
图5是本申请某一实施例提供的经过数据增强的地堆图像；
图6是本申请某一实施例提供的SKU的标注方式示意图；
图7是本申请某一实施例提供的地堆长度示意图；
图8是本申请某一实施例提供的算法整体流程示意图；
图9是本申请某一实施例提供的基于透视变换的地堆本品占地面积计算装置的结构示意图；
图10是本申请某一实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本申请某一实施例提供一种基于透视变换的地堆本品占地面积计算方法。如图1所示，该基于透视变换的地堆本品占地面积计算方法包括步骤S10至步骤S40。各步骤具体如下：
S10、获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面。
在执行步骤S10之前，通常需要提前测量本品SKU的每个面的长度、宽度，然后构建出一个SKU列表，并保存在后台服务器的数据库中。
本步骤中，优先使用手机或者其他移动智能设备获取待测地堆图像。然后传输至后台服务器进行地堆面积的计算过程。其中移动智能设备包括智能手机(Smart Phone，如Android手机、iOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
示例性地，为了不影响识别效果，在拍照获取待测地堆图像时，应朝向地堆斜对角且与地堆侧面夹角约45°的位置进行拍摄，具体如图3所示。
在一些实施例中，进一步，作为优选地，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo模型。
需要说明的是，本实施例中利用深度分割网络模型，如Mask-Rcnn或Yolo模型对图像中的地堆场景区域和地堆的侧面进行检测，得到其类别和分割区域。参见图2，图2提供了本实施例中的地堆场景和地堆侧面的标注示意图。在图2中，由一个不规则的封闭边界线包围的图像则为地堆场景，在步骤S10中，分割模型的作用就是将这样的地堆场景分割出来，而图2中也有其他干扰背景，这部分图像则无需保留。在得到地堆场景后，对场景中的地堆侧面进行识别，如图2的两个四边形圈出的范围所示。
在一个优选地实施方式中，使用resneXt101骨干网络的Cascade Mask RCNN网络，共训练24个epoch，初始学习率10-3，第9、17个epoch学习率衰减为10-4和10-5，在第22-23个epoch时准确率已不再提高。这里需要建立特定的标注数据用以训练深度分割网络。具体标注方式如图2所示：使用一个大的多边形分割出地堆场景区域，以方便确定检出的SKU中哪些是这个地堆中的SKU，以及检出的地堆侧面中哪些属于这个地堆场景。
在一些实施例中，所述利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面。
本实施例中，按照预设条件选取目标地堆，将其余地堆场景删除。示例性地，选择图像中处在图像中央的地堆作为目标地堆，也可选择图像中面积最大的地堆作为目标地堆，可根据实际业务需求而决定，其余地堆删除；
进一步地，依次计算检测到的每个地堆侧面与目标地堆的交并比(IOU)，IOU大于预设阈值，此处优选设为0.9的则保留，作为隶属于目标地堆的地堆侧面；
另外，根据拍摄角度的不同，属于同一个地堆的侧面数量n一般为1(正拍)、2(侧拍)。特殊情况下可能有n＝0或n>2以上的情况，作为容错，当n＝0时可当作正拍且地堆边缘线为水平的情况，当n>2时可能为特殊形状地堆，此时选择最大的两个地堆侧面作为计算的侧面。
在一个优选地实施方式中，在所述识别地堆场景中的地堆侧面之后，还包括：
对地堆侧面进行平滑处理，得到能够描述地堆侧面的四边形；其中，利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法、Visvalingam-Whyatt算法。
可以理解的是，当检测到的地堆侧面mask边数较多，则需要对其使用轨迹压缩算法Douglas-Peucker算法或Visvalingam-Whyatt算法进行轨迹平滑，以减少多边形的边数，得到更平滑更均匀的边界线。
S20、对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标。
具体地，步骤S20包括以下步骤：
2.1)取地堆侧面形心(xc,yc)，计算多边形每条边相对于形心的位置，边的中点位于形心左/右侧且与x轴夹角在60°～120°的边判定为左侧/右侧边，然后计算其余的边当横坐标为xc时对应的纵坐标，如果大于yc则判为上侧边，否则为下侧边。这样得到地堆侧面多边形的四组边：左侧边、右侧边、上侧边、下侧边，每组边都包含至少一条边，分别取每组边中最长的一条作为地堆侧面多边形的一条主要侧边，共四条；分别将主要上侧边和主要左侧边、主要上侧边和主要右侧边、主要下侧边和主要左侧边、主要下侧边与主要右侧边延长并相交，得到4个交点，即为平滑后多边形的四个顶点，其组成平滑后地堆侧面四边形。
2.2)分别计算左上、左下顶点的欧氏距离Dl，右上、右下顶点的欧氏距离Dr，左上、右上顶点的欧式距离Dt，左下、右下顶点的欧氏距离Db，记作：
得到平滑后地堆侧面四边形透视变换的目标矩形顶点坐标：(0，0)，(wdst，0)，(hdst，0)，(wdst，hdst)。
在一个实施例中，此处的欧式距离还可以用另一种方式替换，具体为：计算左上、左下顶点的纵坐标距离Dl；右上、右下顶点的纵坐标距离Dr；左上、右上顶点的横坐标距离Dt；左下、右下顶点的横坐标距离Db；计算距离的目的是得到透视变换后的目标四边形大小。在实际应用中，优先考虑计算欧式距离。
2.3)以地堆侧面透视变换前后对应的四对顶点为变换点，计算单应性矩阵，然后将原图进行透视变换，得到变换后的图片以及地堆场景多边形、地堆侧面四边形的坐标，计算地堆侧面四边形横坐标的范围(xmitmin,xmitmax)，如图4所示。
S30、对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU。
在一些实施例中，所述对变换后的地堆图像中的本品SKU进行检测，包括识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对变换后的地堆图像中的本品SKU进行检测采用的深度网络模型包括Faster-Rcnn和Yolo模型。
本实施例中，利用一种深度神经网络，如Faster-Rcnn或Yolo等对图像中的本品SKU进行检测。其中，本实施例中主要是依据商品的面图像，来进行SKU的识别。需要注意的是，同一SKU的不同大小/图像的面要当作不同SKU进行标注，标注方式可参考图4。具体地，图4中给出了两种类型的舒客牙膏，则将这两件商品先定义为不同类型的商品，在图4中，分别用SKU1和SKU2表示这两件不同商品。进一步地，每个商品包含不同的面，对于不同大小的面也要将其视为不同的SKU，例如图4中，位于上方的商品左侧面、右侧面的标签分别为SKU1-A、SKU1-B。位于下方的商品左侧面、右侧面的标签分别为SKU2-A、SKU2-B；位于下方的商品后面被挡住的位置，与下方商品的右侧面为完全相同的面，因此该面的标签也为SKU2-B。
需要说明的是，训练SKU检测模型时，要基于透视变换后的地堆图片，且训练中可进行图像拉伸的增强方式以提高SKU模型的识别准确率，如图5所示。具体标注方式如图6所示：使用矩形框进行标注；只标注SKU的朝向为正面的面(因为只识别正面)；同一SKU的不同大小的面要当做不同SKU进行标注。
本步骤中，使用SKU检测模型对变换后的图片进行检测，得到所有本品SKU，保留中心点在变换后场景多边形中且中心点横坐标在(xmitmin，xmitmax)中的SKU，如图7所示。
在一个实施例中，所述获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU，包括：
获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，统计本品SKU的类别和长宽比，将长宽比大于1和小于1的作为两种摆放方式，并视作两种类别；
将这两种类别中，摆放方式最多数量的一类SKU筛选出来，作为目标本品SKU。
本实施例中，首先统计这些本品SKU的类别及其长宽比，同一本品SKU长宽比大于1和小于1的为两种摆放方式，算做两种类别。选择某种类别某种摆放方式下最多数量的一类本品SKU作为目标本品SKU。
S40、根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。
本步骤中，计算保留的所有SKU中最小的横坐标与最大的横坐标，记作差值dp，作为其占地长度，也即步骤S40中的地堆侧面中本品SKU两端的距离。然后，计算目标本品SKU的平均像素宽度为wp，并从数据库中取得的SKU列表中获取目标本品的实际宽度，记为w。则该地堆侧面的长度D1为：
然后，同样的方法计算出地堆另一个侧面的长度D2，则地堆面积为：
Area＝D1*D2。
参见图8，在一个示例性地实施例中，还提供了该基于透视变换的地堆本品占地面积计算的全部流程，包括获取地堆图片，检测出地堆场景和地堆侧面，然后进行mask平滑操作计算目标变换点，对图片进行透视变换后进行SKU检测，然后保留在(xmitmin，xmitmax)范围内的SKU，计算所有SKU的最大像素距离dp，和平均像素宽度为wp，从数据库中取得的SKU列表中获取实际宽度w。根据这三个参数计算地堆侧面的长度D1，并用同样地方式计算D2，最后相乘得到地堆面积。
综上所述，本申请实施例提供的基于透视变换的地堆本品占地面积计算方法，至少可以实现以下效果：
1)使用方便，仅拍一张照片即可估算出地堆面积；
2)通过透视变换将图片矫正成正面再识别和计算长度，提高了最终结果的准确性；
3)使用的深度模型通用性高，可用常规的目标检测模型对地堆和SKU进行检测，端到端训练不需进行额外的数据处理，降低运算成本。
请参阅图9，本申请某一实施例还提供一种基于透视变换的地堆本品占地面积计算装置，包括：
地堆场景分割单元01，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；
透视变换单元02，用于对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；
目标本品SKU确定单元03，用于对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU；
地堆面积计算单元04，用于根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积。
可以理解的是，上述的基于透视变换的地堆本品占地面积计算装置可实施上述方法实施例的基于透视变换的地堆本品占地面积计算方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
请参阅图10，本申请某一实施例还提供一种终端设备，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于透视变换的地堆本品占地面积计算方法。
处理器用于控制该终端设备的整体操作，以完成上述的基于透视变换的地堆本品占地面积计算方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的基于透视变换的地堆本品占地面积计算方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供一种包括计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现如上述任一项实施例所述的基于透视变换的地堆本品占地面积计算方法的步骤。例如，该计算机可读存储介质可以为上述包括计算机程序的存储器，上述计算机程序可由终端设备的处理器执行以完成如上述任一项实施例所述的基于透视变换的地堆本品占地面积计算方法，并达到如上述方法一致的技术效果。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。
Claims (7)
1.一种基于透视变换的地堆本品占地面积计算方法，其特征在于，包括：
获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；
对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；
对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU；
根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积；
其中，所述对变换后的地堆图像中的本品SKU进行检测，包括：
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对变换后的地堆图像中的本品SKU进行检测采用的深度网络模型包括Faster-Rcnn和Yolo模型；
所述获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU，包括：
获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，统计本品SKU的类别和长宽比，将长宽比大于1和小于1的作为两种摆放方式，并视作两种类别；
将这两种类别中，摆放方式最多数量的一类SKU筛选出来，作为目标本品SKU；
所述根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度，包括：
式中，为一个地堆侧面长度，/>为地堆侧面中本品SKU两端的距离，/>为目标本品的平均像素宽度，/>为目标本品的实际宽度。
2.根据权利要求1所述的基于透视变换的地堆本品占地面积计算方法，其特征在于，所述利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面，还包括：
从分割出的地堆场景中，按照预设条件选取目标地堆，将其余地堆场景删除；
计算识别出的地堆侧面与目标地堆的交并比，保留交并比大于预设阈值的地堆侧面，从保留的所有地堆侧面中选取两个面积最大的作为目标地堆侧面。
3.根据权利要求1所述的基于透视变换的地堆本品占地面积计算方法，其特征在于，所述分割模型为根据神经网络算法训练得到的模型，所述神经网络算法包括Mask-Rcnn或Yolo模型。
4.根据权利要求1所述的基于透视变换的地堆本品占地面积计算方法，其特征在于，在所述识别地堆场景中的地堆侧面之后，还包括：
对地堆侧面进行平滑处理，得到能够描述地堆侧面的四边形；其中，利用轨迹压缩算法对地堆侧面的边线进行平滑处理，所述轨迹压缩算法包括Douglas-Peucker算法、Visvalingam-Whyatt算法。
5.一种基于透视变换的地堆本品占地面积计算装置，其特征在于，包括：
地堆场景分割单元，用于获取待测地堆图像，利用分割模型将地堆图像中的地堆场景分割出来，识别地堆场景中的地堆侧面；
透视变换单元，用于对地堆图像进行透视变换，计算变换后的地堆侧面四边形顶点坐标、地堆场景的多边形顶点坐标；
目标本品SKU确定单元，用于对变换后的地堆图像中的本品SKU进行检测，获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU；其中，所述对变换后的地堆图像中的本品SKU进行检测，包括：
识别出地堆图像中的不同类型的本品，记作不同的SKU；以及，
识别同一类型的本品的不同面，记作不同的SKU；其中，对变换后的地堆图像中的本品SKU进行检测采用的深度网络模型包括Faster-Rcnn和Yolo模型；
所述获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，并按照预设条件从中选择目标本品SKU，包括：
获取中心点横坐标位于地堆侧面四边形横坐标范围内的本品SKU，统计本品SKU的类别和长宽比，将长宽比大于1和小于1的作为两种摆放方式，并视作两种类别；
将这两种类别中，摆放方式最多数量的一类SKU筛选出来，作为目标本品SKU；
地堆面积计算单元，用于根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度；将两个地堆侧面长度相乘，得到地堆本品占地面积；其中，所述根据目标本品的平均像素宽度、实际宽度以及地堆侧面中本品SKU两端的距离，计算得到两个地堆侧面长度，包括：
式中，为一个地堆侧面长度，/>为地堆侧面中本品SKU两端的距离，/>为目标本品的平均像素宽度，/>为目标本品的实际宽度。
6.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的基于透视变换的地堆本品占地面积计算方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的基于透视变换的地堆本品占地面积计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310067157.5A CN116311219B (zh) | 2023-01-29 | 2023-01-29 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310067157.5A CN116311219B (zh) | 2023-01-29 | 2023-01-29 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311219A CN116311219A (zh) | 2023-06-23 |
| CN116311219B true CN116311219B (zh) | 2024-02-09 |
Family
ID=86835013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310067157.5A Active CN116311219B (zh) | 2023-01-29 | 2023-01-29 | 一种基于透视变换的地堆本品占地面积计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311219B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576634B (zh) * | 2024-01-16 | 2024-05-28 | 浙江大华技术股份有限公司 | 基于密度检测的异常分析方法、设备以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784172A (zh) * | 2018-12-14 | 2019-05-21 | 上海扩博智能技术有限公司 | 商场中地堆商品占地面积估算方法、***、设备及介质 |
| CN112990095A (zh) * | 2021-04-13 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 商品陈列分析方法、装置、设备及存储介质 |
| CN113034574A (zh) * | 2021-05-25 | 2021-06-25 | 广州市玄武无线科技股份有限公司 | 一种基于目标检测的商品地堆面积计算方法及*** |
| CN115272446A (zh) * | 2022-09-27 | 2022-11-01 | 南京掌控网络科技有限公司 | 一种堆头占地面积计算的方法和*** |
| CN115393639A (zh) * | 2022-08-16 | 2022-11-25 | 广州市玄武无线科技股份有限公司 | 商品智能打标方法、***、终端设备及可读存储介质 |
| CN115512134A (zh) * | 2022-10-31 | 2022-12-23 | 上海东普信息科技有限公司 | 快件堆积异常预警方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697235B (zh) * | 2009-10-30 | 2013-04-10 | 青岛海信移动通信技术股份有限公司 | 一种透视图生成方法和装置 |
| US11842544B2 (en) * | 2021-06-04 | 2023-12-12 | Fujitsu Limited | Automatic perspective transformation |
-
2023
- 2023-01-29 CN CN202310067157.5A patent/CN116311219B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784172A (zh) * | 2018-12-14 | 2019-05-21 | 上海扩博智能技术有限公司 | 商场中地堆商品占地面积估算方法、***、设备及介质 |
| CN112990095A (zh) * | 2021-04-13 | 2021-06-18 | 广州市玄武无线科技股份有限公司 | 商品陈列分析方法、装置、设备及存储介质 |
| CN113034574A (zh) * | 2021-05-25 | 2021-06-25 | 广州市玄武无线科技股份有限公司 | 一种基于目标检测的商品地堆面积计算方法及*** |
| CN115393639A (zh) * | 2022-08-16 | 2022-11-25 | 广州市玄武无线科技股份有限公司 | 商品智能打标方法、***、终端设备及可读存储介质 |
| CN115272446A (zh) * | 2022-09-27 | 2022-11-01 | 南京掌控网络科技有限公司 | 一种堆头占地面积计算的方法和*** |
| CN115512134A (zh) * | 2022-10-31 | 2022-12-23 | 上海东普信息科技有限公司 | 快件堆积异常预警方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘永波等.《基于计算机视觉的农作物病害图像识别与分级技术研究》.四川科学技术出版社,2021,第50-53页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311219A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020199776A1 (zh) | 货架空置率计算方法及装置、存储介质 | |
| CN111259889A (zh) | 图像文本识别方法、装置、计算机设备及计算机存储介质 | |
| CN110751620B (zh) | 估算体积和重量的方法、电子设备及计算机可读存储介质 | |
| CN105303514A (zh) | 图像处理方法和装置 | |
| CN108337551A (zh) | 一种屏幕录制方法、存储介质及终端设备 | |
| CN116311219B (zh) | 一种基于透视变换的地堆本品占地面积计算方法及装置 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及*** | |
| CN111738995A (zh) | 一种基于rgbd图像的目标检测方法、装置及计算机设备 | |
| Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
| CN112949624A (zh) | 基于水尺的水位检测方法、装置、电子设备及存储介质 | |
| CN106709500A (zh) | 一种图像特征匹配的方法 | |
| CN115908774B (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
| WO2023185234A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115272446B (zh) | 一种堆头占地面积计算的方法和*** | |
| CN111161346A (zh) | 将商品在货架中进行分层的方法、装置和电子设备 | |
| CN116343228A (zh) | 一种水表智能读数方法及*** | |
| CN112001219A (zh) | 一种多角度多人脸识别考勤方法及*** | |
| CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN113469216B (zh) | 零售终端海报识别与完整性判断方法、***及存储介质 | |
| Suryawibawa et al. | Herbs recognition based on android using opencv | |
| CN110458857A (zh) | 中心对称图元检测方法、装置、电子设备及可读存储介质 | |
| CN112132892A (zh) | 目标位置标注方法、装置及设备 | |
| CN115830604A (zh) | 面单图像矫正方法、装置、电子设备及可读存储介质 | |
| CN113077524A (zh) | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |