CN111340873B - 一种多视角图像的物体最小外包络尺寸测算方法 - Google Patents

一种多视角图像的物体最小外包络尺寸测算方法 Download PDF

Info

Publication number
CN111340873B
CN111340873B CN202010128916.0A CN202010128916A CN111340873B CN 111340873 B CN111340873 B CN 111340873B CN 202010128916 A CN202010128916 A CN 202010128916A CN 111340873 B CN111340873 B CN 111340873B
Authority
CN
China
Prior art keywords
feature points
confidence
feature
point cloud
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010128916.0A
Other languages
English (en)
Other versions
CN111340873A (zh
Inventor
何力
朱蕾
陈炜楠
管贻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010128916.0A priority Critical patent/CN111340873B/zh
Publication of CN111340873A publication Critical patent/CN111340873A/zh
Application granted granted Critical
Publication of CN111340873B publication Critical patent/CN111340873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种多视角图像的物体最小外包络尺寸测算方法，包括：利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型；将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取；对于物体的点云，利用有向包络盒生成物体表面的顶点，通过主成分分析获得特征向量，从而获取物体的最小外包络，得到物体的尺寸。本申请通过获取物体多视角图像，提取三维点云模型来估算尺寸的方法，更好地满足了物流行业对包裹信息获取的实际应用需求；该方法实现过程自动化，除了拍摄之外，无需人工手动操作，应用场景广泛，使用方便。

Description

一种多视角图像的物体最小外包络尺寸测算方法
技术领域
本申请涉及物流、图像处理领域，具体涉及一种多视角图像的物体最小外包络尺寸测算方法。
背景技术
区域经济一体化和互联网技术的广泛应用，使得物流业得到变革性的发展。精细化分配和智能化运作是现代物流的基本要求，包裹的重量和体积是物流中最基础的要素。在目前，包裹重量信息的获取已十分方便，而对体积信息的获取存在操作繁琐、成效低等问题，一定程度上限制了物流智能化的发展。
随着手机的普及和图像处理技术的提升，物流从业人员利用手机摄像机将包裹的长、宽、高测量出来，可以简化包裹的分拣归类和投递、提高物流的效率。然而包裹图像信息等处理以及对不规则形状等包裹(如桌椅)的最小外包络计算与测量是两大难点。
发明内容
本申请的目的是提供一种多视角图像的物体最小外包络尺寸测算方法，利用终端设备拍摄的多视角图像来获取物体的外包络，得到物体的尺寸信息。
为了实现上述任务，本申请采用以下技术方案：
一种多视角图像的物体最小外包络尺寸测算方法，包括：
利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型；
将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取；
对于物体的点云，利用有向包络盒生成物体表面的顶点，通过主成分分析获得特征向量，从而获取物体的最小外包络，得到物体的尺寸。
进一步地，所述计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型，包括：
设相机坐标系和世界坐标系的原点重合，则这两个坐标系下单同一个物体具有相同的深度，因此，相机所拍摄的图像中的像素点p(u，v)与其在世界坐标系中的空间坐标关系(Xw,Yw,Zw)为：
Figure BDA0002395265430000021
其中，f为相机焦距、图像中心的像素坐标(u0,v0)、相机中感光器件每个像素的物理尺寸分别为dx和dy；
图像中的像素点p(u，v)在相机坐标系中对应的点(x，y)满足关系为：
Figure BDA0002395265430000022
设物体上的一点P在世界坐标系中的坐标为(Xw，Yw，Zw)，根据不同角度的两次拍摄，由于其处于两次所拍摄的图像中对应像素所在空间位置的交点出，由此可以计算得到Xw和Yw且P在由光心出发的射线OCp上；
记OC和OC′分别是从不同角度两次拍摄物体时镜头的中心，则P为射线OCp和OC′p′的交点，该交点即寻求满足对级几何约束的点，使得重投影误差最小：
C(p，p′)＝d(P，p)2+d(P，p′)2
其中，C(p，p′)为重投影误差值，P表示物体上的一点，p和p′分别为相机两次拍摄的图像中的同一个点，d()2为欧式距离求解函数；
通过求解上式，得到Zw；按照相同的方法，计算出拍摄的图像中所有的像素点的空间坐标，这些坐标点即构成了图像的三维点云模型，从而完成了图像的三维点云表达。
进一步地，所述将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取，包括：
对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；
对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；
将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；
将划分为相同类别的特征点汇总合并，实现点云的语义分割。
进一步地，所述的对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类，包括：
对特征点的特征向量中最大值与次大值比例以n为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于n的特征点作为高置信度特征点，小于n的特征点作为低置信度特征点。
进一步地，所述的对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：
利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵Mdm；则特征点之间的相似度表达矩阵M＝|Mfv-Mdm|。
进一步地，所述的特征相关性矩阵Mfv中，任意两个特征点的特征表达向量Vi、Vj的相似度为：
Figure BDA0002395265430000031
其中cov(Vi，Vj)为Vi、Vj的协方差，D(Vi)、D(Vj)分别为Vi、Vj的方差。
进一步地，所述的距离相关性矩阵Mdm中，任意两特征点的P、Q的距离为：
Figure BDA0002395265430000032
其中，(xP，yP，zP)、(xQ，yQ，zQ)表示特征点的P、Q的归一化后的坐标。
进一步地，所述将所述相似度表达矩阵作为特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：
利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中。
进一步地，所述的利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：
建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。
本申请提供了一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的多视角图像的物体最小外包络尺寸测算方法的步骤。
本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的多视角图像的物体最小外包络尺寸测算方法的步骤。
本申请具有以下技术特点：
1.本申请提供了一种利用终端设备，例如手机等获取物体多视角图像，提取三维点云模型来估算尺寸的方法，更好地满足了物流行业对包裹信息获取的实际应用需求；该方法实现过程自动化，除了拍摄之外，无需人工手动操作，应用场景广泛，使用方便。
2.本申请的方法简化了包裹分拣归类和投递的流程，提高了物流的效率，有利于推动现代物流智能化运作的发展。
附图说明
图1为本申请方法的流程示意图；
图2为相机的针孔模型结构示意图；
图3为从不同视角计算物体空间坐标的示意图；
图4的(a)、(b)、(c)分别为从三个不同角度展示出环境和物体的点云的示意图；
图5的(a)、(b)、(c)分别为三个不同角度展示出在三维点云环境中椅子分离出的椅子的点云示意图。
具体实施方式
鉴于物流行业中获取包裹(特别是不规则形状的包裹)的体积信息操作繁琐、效率低下等问题，提出一种多视角图像的物体最小外包络尺寸测算方法。本方法使用点云表达多视角拍摄的包裹；利用深度卷积神经网络对手机相机采集的多角度图像进行语义分割，以桌面、地板等摆放物流包裹的平面为分割目标，将包裹与其所在的摆放平面分离；根据分割得到的包裹点云，获取其最小外接长方体的长、宽、高尺寸。
如图1所示，本申请提供了一种多视角图像的物体最小外包络尺寸测算方法，包括以下步骤：
S1，利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型。
本申请的实施例中，终端设备采用手机，通过手机的后置相机来从物体的左侧面、右侧面分别获取物体的图像。在相机的针孔模型结构中，相机的内参是与相机自身性质相关的已知量，包括焦距f、图像中心的像素坐标(u0,v0)、相机中感光器件每个像素的物理尺寸分别为dx和dy。
设相机坐标系和世界坐标系的原点重合，则这两个坐标系下单同一个物体具有相同的深度，因此，相机所拍摄的图像中的像素点p(u，v)与其在世界坐标系中的空间坐标关系(Xw,Yw,Zw)为：
Figure BDA0002395265430000051
其中，Zc表示在相机坐标系中物体在Z轴的坐标。
图像中的像素点p(u，v)在相机坐标系中对应的点(x，y)满足关系为：
Figure BDA0002395265430000052
如图2所示，OCXCYCZC为相机坐标系，OwXwYwZw为世界坐标系。物体上的一点P在世界坐标系中的坐标为(Xw，Yw，Zw)，根据不同角度的两次拍摄，由于其处于两次所拍摄的图像中对应像素所在空间位置的交点出，如图3所示，由此可以计算得到Xw和Yw且P在由光心出发的射线OCp上。
由于在图2所示的成像模型中，P点的深度(即Zw)是一个在以相机镜头中心为起点，经过图相平面中点p的射线上，对于Zw的求解如图3所示：
OC和OC′分别是从不同角度两次拍摄物体时镜头的中心，则P为射线OCp和OC′p′的交点，该交点即寻求满足对级几何约束的点，使得重投影误差最小：
C(p，p′)＝d(P，p)2+d(P，p′)2
其中，C(p，p′)为重投影误差值，P表示物体上的一点，p和p′分别为相机两次拍摄的图像中的同一个点，d()2为欧式距离求解函数，即：
Figure BDA0002395265430000061
因此经过两次不同角度的拍摄，式C(p，p′)＝d(P，p)2+d(P，p′)2中仅含未知量Zw，从而求解得到Zw。
按照相同的方法，计算出拍摄的图像中所有的像素点的空间坐标，这些坐标点即构成了图像的三维点云模型，从而完成了图像的三维点云表达。
S2，利用深度神经网络将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取。
本申请提出使用点云的特征描述和点对之间的距离两者相结合的思想，组建特征点的相似度表达。其中，特征描述为特征点在预训练点云分类中的皮尔逊相似度；点对之间的距离由欧式距离表示。引用二维图像分割领域的随机游走算法到此三维点云处理中，对二维的相似度矩阵分类，从而实现三维点云的高效分割，具体包括：
S2.1，对三维点云模型进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类。
具体地，对特征点的特征向量中最大值与次大值比例以n为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于n的特征点作为高置信度特征点，小于n的特征点作为低置信度特征点。n为可以调整的常数。
S2.2，对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：
利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵Mdm；则特征点之间的相似度表达矩阵M＝|Mfv-Mdm|。
所述的特征相关性矩阵Mfv中，任意两个特征点的特征表达向量Vi、Vj的相似度为：
Figure BDA0002395265430000071
其中cov(Vi，Vj)为Vi、Vj的协方差，D(Vi)、D(Vj)分别为Vi、Vj的方差。
所述的距离相关性矩阵Mdm中，任意两特征点的P、Q的距离为：
Figure BDA0002395265430000072
其中，(xP，yP，ZP)、(xQ，yQ，zQ)表示特征点的P、Q的归一化后的坐标。
S2.3，将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：
利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，具体为：
建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。
S2.4，将划分为相同类别的特征点汇总合并，实现点云的语义分割，提取出了物体的点云。
如图4所示，对于待提取外包络的椅子，图4的(a)至(c)图从三个不同角度展示了椅子所在的环境，图5的(a)至(c)为三个不同角度展示出在三维点云环境中椅子分离出的椅子的点云示意图。
S3，对于物体的点云，利用有向包络盒(OBB)生成物体表面的顶点，通过主成分分析(PCA)获得特征向量，即OBB的主轴；其中主成分分析是通过计算任意两个变量之间的协方差构成的协方差矩阵，判断变量之间的相关性大小，提取一组线性不相关的变量集合作为主成分，协方差矩阵的特征向量即为OBB包络盒的方向，从而获取物体的最小外包络，得到物体的的长、宽、高尺寸，以便于实际应用时对货物的堆放和存储。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种多视角图像的物体最小外包络尺寸测算方法，其特征在于，包括：
利用终端设备从两个不同的角度分别拍摄待测量物体的图像，计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型；
将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取；
对于物体的点云，利用有向包络盒生成物体表面的顶点，通过主成分分析获得特征向量，从而获取物体的最小外包络，得到物体的尺寸；
所述计算所拍摄的图像中的像素点在世界坐标系中的空间坐标，从而得到图像的三维点云模型，包括：
设相机坐标系和世界坐标系的原点重合，则这两个坐标系下单同一个物体具有相同的深度，因此，相机所拍摄的图像中的像素点p(u,v)与其在世界坐标系中的空间坐标关系(Xw,Yw,Zw)为：
Figure FDA0004095295030000011
其中，f为相机焦距、图像中心的像素坐标(u0,v0)、相机中感光器件每个像素的物理尺寸分别为dx和dy；
图像中的像素点p(u,v)在相机坐标系中对应的点(x,y)满足关系为：
Figure FDA0004095295030000012
设物体上的一点P在世界坐标系中的坐标为(Xw,Yw,Zw)，根据不同角度的两次拍摄，由于其处于两次所拍摄的图像中对应像素所在空间位置的交点出，由此可以计算得到Xw和Yw且P在由光心出发的射线OCp上；
记OC和OC'分别是从不同角度两次拍摄物体时镜头的中心，则P为射线OCp和OC'p'的交点，该交点即寻求满足对级几何约束的点，使得重投影误差最小：
C(p,p')＝d(P,p)2+d(P,p')2
其中，C(p,p')为重投影误差值，P表示物体上的一点，p和p'分别为相机两次拍摄的图像中的同一个点，d()2为欧式距离求解函数；
通过求解上式，得到Zw；按照相同的方法，计算出拍摄的图像中所有的像素点的空间坐标，这些坐标点即构成了图像的三维点云模型，从而完成了图像的三维点云表达；
所述将物体的点云从图像的三维点云模型中分离提取出来，完成物体的点云提取，包括：
对采集的点云数据进行特征提取，并对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类；
对于高置信度特征点，取特征点的特征向量中最大值对应的类别作为特征点的类别；对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵；
将所述相似度表达矩阵作为低置信度特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；
将划分为相同类别的特征点汇总合并，实现点云的语义分割；
所述将所述相似度表达矩阵作为特征点之间的关联，将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：
利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中；
所述的利用图论构建网络图，结合所述的相似度表达矩阵将低置信度特征点分类到与其关联度最大的高置信度特征点所在类别中，包括：
建立网络图，以所有特征点作为网络图中的顶点，相邻特征点之间的关联为图的边，根据特征点之间的相似性定义各个边的权值，其中，以所述相似度表达矩阵定义边上的权重；然后利用边的权重计算每个低置信度特征点到达各个高置信度特征点的概率，将最大概率的高置信度特征点的类别作为低置信度特征点的类别，将低置信度特征点划分到该类别中。
2.根据权利要求1所述的多视角图像的物体最小外包络尺寸测算方法，其特征在于，所述的对提取到的特征点的特征表达进行判别分类，将特征点分为高置信度与低置信度两类，包括：
对特征点的特征向量中最大值与次大值比例以n为阈值，区分特征表达的置信度：对于特征向量中最大值与次大值的比例大于n的特征点作为高置信度特征点，小于n的特征点作为低置信度特征点。
3.根据权利要求1所述的多视角图像的物体最小外包络尺寸测算方法，其特征在于，所述的对于低置信度特征点，利用特征点之间的位置信息，建立特征点之间的相似度表达矩阵，包括：
利用低置信度特征点的特征表达向量，构建特征点之间的特征相关性矩阵Mfv；对特征点的坐标归一化，利用特征点之间的归一化坐标的距离构建特征点之间的距离相关性矩阵Mdm；则特征点之间的相似度表达矩阵M＝|Mfv-Mdm|。
4.根据权利要求3所述的多视角图像的物体最小外包络尺寸测算方法，其特征在于，所述的特征相关性矩阵Mfv中，任意两个特征点的特征表达向量Vi、Vj的相似度为：
Figure FDA0004095295030000031
其中cov(Vi,Vj)为Vi、Vj的协方差，D(Vi)、D(Vj)分别为Vi、Vj的方差；
所述的距离相关性矩阵Mdm中，任意两特征点的P、Q的距离为：
Figure FDA0004095295030000032
其中，(xP,yP,zP)、(xQ,yQ,zQ)表示特征点的P、Q的归一化后的坐标。
5.一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现根据权利要求1-4中任一权利要求所述方法的步骤。
6.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据权利要求1-4中任一权利要求所述方法的步骤。
CN202010128916.0A 2020-02-28 2020-02-28 一种多视角图像的物体最小外包络尺寸测算方法 Active CN111340873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010128916.0A CN111340873B (zh) 2020-02-28 2020-02-28 一种多视角图像的物体最小外包络尺寸测算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010128916.0A CN111340873B (zh) 2020-02-28 2020-02-28 一种多视角图像的物体最小外包络尺寸测算方法

Publications (2)

Publication Number Publication Date
CN111340873A CN111340873A (zh) 2020-06-26
CN111340873B true CN111340873B (zh) 2023-05-23

Family

ID=71187181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010128916.0A Active CN111340873B (zh) 2020-02-28 2020-02-28 一种多视角图像的物体最小外包络尺寸测算方法

Country Status (1)

Country Link
CN (1) CN111340873B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001412A (zh) * 2020-07-10 2020-11-27 浙江大华技术股份有限公司 一种多视角车辆关联的方法及相关装置
CN112308912B (zh) * 2020-11-03 2023-09-15 长安大学 一种路面病害同源多特征图像获取***、装置及方法
CN112738393B (zh) * 2020-12-25 2022-08-09 珠海西山居移动游戏科技有限公司 调焦方法及装置
CN113160414B (zh) * 2021-01-25 2024-06-07 北京豆牛网络科技有限公司 货物余量自动识别方法、装置、电子设备以及计算机可读介质
CN113034695B (zh) * 2021-04-16 2022-11-22 广东工业大学 一种基于Wasserstein距离的物体包络体多视图重建与优化方法
CN113888618B (zh) * 2021-09-30 2024-05-10 北京工业大学 一种物体单件分离方法与***
CN114998665B (zh) * 2022-08-04 2022-11-01 创新奇智(广州)科技有限公司 一种图像类别识别方法、装置、电子设备及存储介质
CN115410135B (zh) * 2022-11-01 2023-04-07 中国民航大学 自主式搬运的航空行李特征感知重构方法、***及其应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751146A (zh) * 2015-04-13 2015-07-01 中国科学技术大学 一种基于3d点云图像的室内人体检测方法
CN107025685A (zh) * 2017-04-11 2017-08-08 南京林业大学 拓扑感知下的机载建筑屋顶点云建模方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物***姿实时检测方法
CN109785379A (zh) * 2018-12-17 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种对称物体尺寸及重量的测量方法及测量***
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110402399A (zh) * 2017-01-03 2019-11-01 创新科技有限公司 用于检测和分类物体的激光雷达***和方法
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751146A (zh) * 2015-04-13 2015-07-01 中国科学技术大学 一种基于3d点云图像的室内人体检测方法
CN110402399A (zh) * 2017-01-03 2019-11-01 创新科技有限公司 用于检测和分类物体的激光雷达***和方法
CN107025685A (zh) * 2017-04-11 2017-08-08 南京林业大学 拓扑感知下的机载建筑屋顶点云建模方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物***姿实时检测方法
CN109785379A (zh) * 2018-12-17 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种对称物体尺寸及重量的测量方法及测量***
CN110148169A (zh) * 2019-03-19 2019-08-20 长安大学 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置

Also Published As

Publication number Publication date
CN111340873A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340873B (zh) 一种多视角图像的物体最小外包络尺寸测算方法
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN116484029A (zh) 用于自动地生成用于媒体文档的元数据的***和方法
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN112927353B (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN105427333B (zh) 视频序列图像的实时配准方法、***及拍摄终端
CN108229416A (zh) 基于语义分割技术的机器人slam方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN111144349A (zh) 一种室内视觉重定位方法及***
CN111145129A (zh) 基于超体素的点云去噪方法
CN113501167A (zh) 一种基于双目视觉的中药小包装定位方法
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN113947770B (zh) 一种识别物体放置于智能箱柜不同区域的方法
CN115471542A (zh) 一种基于YOLO v5的包装物双目识别定位方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Hu et al. R-CNN based 3D object detection for autonomous driving
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
JP5931646B2 (ja) 画像処理装置
JP2014199559A (ja) 視点推定装置及びその分類器学習方法
Heisterklaus et al. Image-based pose estimation using a compact 3d model
CN115880220A (zh) 多视角苹果成熟度检测方法
CN113793379A (zh) 相机姿态求解方法及***、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Guan Yisheng

Inventor after: Zhu Lei

Inventor after: Chen Weinan

Inventor after: He Li

Inventor before: He Li

Inventor before: Zhu Lei

Inventor before: Chen Weinan

Inventor before: Guan Yisheng