CN111986251A - 物体体积测量方法、装置、测量设备及存储介质 - Google Patents

物体体积测量方法、装置、测量设备及存储介质 Download PDF

Info

Publication number
CN111986251A
CN111986251A CN201910430630.5A CN201910430630A CN111986251A CN 111986251 A CN111986251 A CN 111986251A CN 201910430630 A CN201910430630 A CN 201910430630A CN 111986251 A CN111986251 A CN 111986251A
Authority
CN
China
Prior art keywords
preset
image
measuring
measuring equipment
reference model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910430630.5A
Other languages
English (en)
Other versions
CN111986251B (zh
Inventor
陈紫荣
李元伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Original Assignee
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd, Shenzhen SF Taisen Holding Group Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910430630.5A priority Critical patent/CN111986251B/zh
Priority claimed from CN201910430630.5A external-priority patent/CN111986251B/zh
Publication of CN111986251A publication Critical patent/CN111986251A/zh
Application granted granted Critical
Publication of CN111986251B publication Critical patent/CN111986251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种物体体积测量方法、装置、测量设备及存储介质,本申请实施例可以通过测量设备采集物体的当前物体图像,以及检测所述当前物体图像中物体的关键点位置;根据所述关键点位置生成预设参考模型;若所述当前物体图像中物体的预设边与所述预设参考模型重合,则获取所述测量设备沿着所述物体方向运动的运动参数;当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像,并基于所述物体图像计算所述物体的体积,提高了测量的准确性和效率。

Description

物体体积测量方法、装置、测量设备及存储介质
技术领域
本申请涉及视觉测量技术领域,具体涉及一种物体体积测量方法、装置、测量设备及存储介质。
背景技术
随着科技的发展,越来越多物体的体积测量不仅可以通过接触式进行测量,而且还可以通过非接触式进行测量。以箱体的体积测量为例,现有技术中,一般通过人工测量箱体体积,该人工测量箱体体积的方式存在测量效率低和测量准确性低等问题;或者,通过如结构光、激光传感器等硬件设备测量箱体体积,该测量方法中存在着新增额外硬件而测量成本高等问题,而且测量准确性较低。
发明内容
本申请实施例提供一种物体体积测量方法、装置、测量设备及存储介质,可以提高物体体积测量的准确性和效率。
第一方面,本申请实施例提供了一种物体体积测量方法,包括:
通过测量设备采集物体的当前物体图像,以及检测所述当前物体图像中物体的关键点位置;
根据所述关键点位置生成预设参考模型;
若所述当前物体图像中物体的预设边与所述预设参考模型重合,则获取所述测量设备沿着所述物体方向运动的运动参数;
当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像,并基于所述物体图像计算所述物体的体积。
在一些实施方式中,所述根据所述关键点位置生成预设参考模型包括:
当检测到的所述当前物体图像中物体的关键点位置为预设个数时,根据所述关键点位置构造物体三维结构;
根据所述物体三维结构生成预设参考模型。
在一些实施方式中,所述根据所述关键点位置构造物体三维结构包括:
根据所述关键点位置计算所述物体的边长和物***姿;
获取所述测量设备在采集所述当前物体图像时的设备位姿和设备参数;
根据所述物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
在一些实施方式中,所述根据所述物体三维结构生成预设参考模型包括:
根据所述物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;
获取所述测量设备显示屏幕的显示边长,根据所述显示边长确定所述基准参考模型外接四边形区域的边长;
基于所述外接四边形区域的边长,对所述基准参考模型进行缩放处理,得到预设参考模型。
在一些实施方式中,所述获取所述测量设备沿着所述物体方向运动的运动参数包括:
将所述预设参考模型显示在所述测量设备的显示屏幕内;
基于显示的所述预设参考模型,调整所述测量设备的拍摄角度,直至所述测量设备捕获到物体图像中物体的边长与所述预设参考模型重合时,获取所述测量设备沿着所述物体方向运动的运动参数。
在一些实施方式中,所述当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像之前,所述方法还包括:
对所述运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;
计算所述运动参数在三轴方向上的运动分量对应的标准差;
当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和所述标准差满足预设阈值时,确定所述运动参数满足预设条件。
在一些实施方式中,所述获取所述测量设备沿着所述物体方向运动的运动参数之后,所述方法还包括:
当三轴方向上的频率不满足预设频率阈值时,输出调整所述测量设备沿着所述物体方向运动频率的提示信息;
当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出所述测量设备沿着Z轴方向运动不稳定的提示信息;
当三轴方向上的标准差不满足第二预设阈值时,输出所述测量设备沿着所述物体方向运动幅度小的提示信息;所述第一预设阈值和第二预设阈值包含于预设阈值。
第二方面,本申请实施例还提供了一种物体体积测量装置,包括:
检测模块,用于通过测量设备采集物体的当前物体图像,以及检测所述当前物体图像中物体的关键点位置;
生成模块,用于根据所述关键点位置生成预设参考模型;
获取模块,用于若所述当前物体图像中物体的预设边与所述预设参考模型重合,则获取所述测量设备沿着所述物体方向运动的运动参数;
计算模块,用于当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像,并基于所述物体图像计算所述物体的体积。
在一些实施方式中,所述生成模块包括:
构造单元,用于当检测到的所述当前物体图像中物体的关键点位置为预设个数时,根据所述关键点位置构造物体三维结构;
生成单元,用于根据所述物体三维结构生成预设参考模型。
在一些实施方式中,所述构造单元具体用于:
根据所述关键点位置计算所述物体的边长和物***姿;
获取所述测量设备在采集所述当前物体图像时的设备位姿和设备参数;
根据所述物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
在一些实施方式中,所述生成单元具体用于:
根据所述物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;
获取所述测量设备显示屏幕的显示边长,根据所述显示边长确定所述基准参考模型外接四边形区域的边长;
基于所述外接四边形区域的边长,对所述基准参考模型进行缩放处理,得到预设参考模型。
在一些实施方式中,所述获取模块具体用于:
将所述预设参考模型显示在所述测量设备的显示屏幕内;
基于显示的所述预设参考模型,调整所述测量设备的拍摄角度,直至所述测量设备捕获到物体图像中物体的边长与所述预设参考模型重合时,获取所述测量设备沿着所述物体方向运动的运动参数。
在一些实施方式中,所述物体体积测量装置还包括:
变换模块,用于对所述运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;
标准差计算模块,用于计算所述运动参数在三轴方向上的运动分量对应的标准差;
确定模块,用于当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和所述标准差满足预设阈值时,确定所述运动参数满足预设条件。
在一些实施方式中,所述物体体积测量装置还包括:
输出模块,用于当三轴方向上的频率不满足预设频率阈值时,输出调整所述测量设备沿着所述物体方向运动频率的提示信息;以及,
当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出所述测量设备沿着Z轴方向运动不稳定的提示信息;以及,
当三轴方向上的标准差不满足第二预设阈值时,输出所述测量设备沿着所述物体方向运动幅度小的提示信息;所述第一预设阈值和第二预设阈值包含于预设阈值。
第三方面,本申请实施例还提供了一种测量设备,包括存储器和处理器,所述存储器中存储有程序代码,所述处理器调用所述存储器中的程序代码时执行本申请实施例提供的任一种物体体积测量方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例提供的任一种物体体积测量方法。
本申请实施例可以通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置;然后根据关键点位置生成预设参考模型,以便以该预设参考模型为基准来采集运动参数,若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数;当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。该方案可以基于物体图像生成的预设参考模型来确定测量设备的运动参数,并在运动参数满足预设条件时所采集的物体图像来计算物体的体积,从而可以准确及快速计算出物体的体积,提高了测量的准确性和效率,而且,不需要在测量设备上增加激光传感器等硬件,降低了测量成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物体体积测量方法的流程示意图;
图2是本申请实施例提供的物体体积测量方法的另一流程示意图;
图3是本申请实施例提供的物体体积测量的示意图;
图4是本申请实施例提供的物体体积测量的另一示意图;
图5是本申请实施例提供的物体体积测量装置的结构示意图;
图6是本申请实施例提供的测量设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请一实施例提供的物体体积测量方法的流程示意图。该物体体积测量方法的执行主体可以是本申请实施例提供的物体体积测量装置,或者集成了该物体体积测量装置的测量设备,其中,该物体体积测量装置可以采用硬件或者软件的方式实现,该测量设备可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等移动测量设备。该物体体积测量方法可以包括:
S101、通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置。
其中,该物体可以是柜子、主机箱、桌子、盒子和箱体等,测量设备可以通过自身预设的摄像头采集物体的图像,得到当前物体图像;或者是,可以预先在物体周围设置一个或多个摄像头,测量设备可以向设置好的摄像头发送拍摄指令,并接收摄像头发送的基于拍摄指令采集到的当前物体图像。该当前物体图像中可以包括从任意角度拍摄到的物体区域。该关键点可以根据实际需要进行灵活设置,例如,该关键点可以是物体的顶点或中心点等。
为了提高关键点位置检测的准确性,在得到当前物体图像后,测量设备可以通过训练后的网络检测当前物体图像中物体的关键点位置。例如,可以通过轻量式监督深度目标检测网络(Tiny-DSOD,Tiny-Learning Deeply Supervised Object Detectors fromScratch)和卷积姿态估计网络(CPM,Convolutional Pose Machines)检测当前物体图像中物体的关键点位置。具体地,可以利用标注好关键点位置的物体样本图像对Tiny-DSOD网络和CPM网络进行训练,得到训练后的Tiny-DSOD网络和训练后的CPM网络,然后,将采集到的物体图像通过Tiny-DSOD网络进行卷积操作,得到特征图,再通过CPM网络基于特征图提取物体的关键点位置,该关键点位置可以是关键点的二维坐标位置。
又例如,测量设备可以利用标注好关键点位置的物体样本图像对卷积神经网络(CNN,Convolutional Neural Networks)和置信度网络进行训练,得到训练后的CNN网络和训练后的置信度网络,然后,将采集到的物体图像通过CNN网络进行卷积操作,得到特征图,再通过置信度网络基于特征图检测物体的关键点位置;等等。
S102、根据关键点位置生成预设参考模型。
其中,该预设参考模型用于确定箱体图像的基准位置,该预设参考模型可以是Y字型的模型(可以称为Y字型卡槽),或者是Z字型的模型,或者是口字型的模型等,该预设参考模型可以根据实际需要进行灵活设置。
在一些实施方式中,根据关键点位置生成预设参考模型可以包括:当检测到的当前物体图像中物体的关键点位置为预设个数时,根据关键点位置构造物体三维结构;根据物体三维结构生成预设参考模型。
为了提高预设参考模型生成的精准性,保证采集到的当前物体图像中包含的物体为多面可见(例如三面可见),此时测量设备可以判断检测到的当前物体图像中物体的关键点位置是否为预设个数,该预设个数可以根据实际需要进行灵活设置。例如,当该物体为箱体时,可以判断检测到的当前物体图像中箱体的关键点位置为7个,当检测到的当前物体图像中箱体的关键点位置为7个时,说明当前物体图像中箱体三面可见。
若检测到的当前物体图像中物体的关键点位置不为预设个数,则重新采集物体的当前物体图像,直至当前物体图像中物体的关键点位置为预设个数。若检测到的当前物体图像中物体的关键点位置为预设个数,则可以根据检测到的物体的关键点位置构造物体三维结构。
在一些实施方式中,根据关键点位置构造物体三维结构可以包括:根据关键点位置计算物体的边长和物***姿;获取测量设备在采集当前物体图像时的设备位姿和设备参数;根据物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
为了提高物体三维结构构造的可靠性,测量设备可以利用多视角几何三维重建原理构造体三维结构,首先,可以根据关键点位置计算物体的边长和物***姿,例如,该物体的边长可以是物体的长宽高尺寸S,该物***姿可以是物体的旋转量Rb和平移量Tb等;以及,获取测量设备在采集当前物体图像时的设备位姿和设备参数,例如,该设备位姿可以是测量设备的旋转量Rc和平移量Tc,该设备参数可以是用于采集当前物体图像的相机内参,例如焦距K等参数或者摄像头内参等参数。
然后,测量设备可以根据物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。例如,可以根据相机成像模型及物体的结构约束,可以由Rc、Tc和K得出任意一待求参数S、Rb和Tb下的物体的关键点位置Ps':
Ps'=fp(S、Rb、Tb、Rc、Tc、K)
其中,所求参数包括:物体的长宽高尺寸S、物体的旋转量Rb和平移量Tb;已知参数包括:设备参数K、检测出的物体的关键点位置Ps、测量设备的旋转量Rc和平移量Tc。
此时,可以构造目标函数L:L=||Ps'-Ps||,其中,Ps为检测得到的当前物体图像中物体的关键点位置,此时L仅与S、Rb和Tb有关,可以通过优化L最小,得到S、Rb和Tb的取值,即可得到物体三维结构。
在得到物体三维结构后,测量设备可以根据物体三维结构生成预设参考模型。
在一些实施方式中,根据物体三维结构生成预设参考模型可以包括:根据物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;获取测量设备显示屏幕的显示边长,根据显示边长确定基准参考模型外接四边形区域的边长;基于外接四边形区域的边长,对基准参考模型进行缩放处理,得到预设参考模型。
例如,以预设参考模型为Y字型卡槽为例,首先,根据物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值(例如120度)的三边,得到基准Y字型卡槽。然后,获取测量设备显示屏幕的显示边长,根据显示边长确定基准Y字型卡槽外接四边形区域的边长,例如,根据显示边长确定基准Y字型卡槽外接矩形区域的最大边长。最后,基于外接四边形区域的边长,对基准参考模型进行缩小或放大处理,使得预设Y字型卡槽可以按照预设比例显示在测量设备显示屏幕内,从而可以得到预设Y字型卡槽,该预设Y字型卡槽即为较佳的Y字型卡槽。
此时,可以将预设Y字型卡槽显示在测量设备显示屏幕内,以提示用户调整拍摄角度和位置等,以将物体的三条边与预设Y字型卡槽足够重合。实现了按照物体的三边边长等比和三边在图像中互成120度的原则,根据物体三维结构生成一个Y字型卡槽,并将Y字型卡槽显示在测量设备显示屏幕内。其中,三边边长等比为物体箱体在图像上所展现的像素长度之比,与计算出来的物体三维结构的三边之比是一致的。
S103、若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数。
在生成预设参考模型后,测量设备可以判断当前物体图像中物体的预设边与预设参考模型是否重合,例如,测量设备可以在显示屏幕内显示采集到的当前物体图像,以及显示生成的预设参考模型,然后,判断预设参考模型是否与当前物体图像中物体的边重合,可以是预设参考模型与当前物体图像中物体的边之间的匹配度大于预设阈值(例如90%)时确定重合。
若当前物体图像中物体的预设边与预设参考模型不重合,则输出不重合的相关提示信息,以提示用户调整测量设备的拍摄角度,使得物体的边与预设参考模型重合,例如,为箱体为例,可以实时检测跟踪箱体的顶点,并判断箱体的边是否与生成的Y字型卡槽足够重合,直至箱体的三条边与Y字型卡槽重合。
若当前物体图像中物体的预设边与预设参考模型重合,则可以获取测量设备沿着物体方向运动的运动参数,其中,沿着物体方向运动可以是沿着测量设备采集当前物体图像的水平方向进行推拉运动,或者是,测量设备对准物体方向进行推拉运动,该沿着物体方向运动可以根据实际需要进行灵活设置。
在一些实施方式中,获取测量设备沿着物体方向运动的运动参数可以包括:将预设参考模型显示在测量设备的显示屏幕内;基于显示的预设参考模型,调整测量设备的拍摄角度,直至测量设备捕获到物体图像中物体的边长与预设参考模型重合时,获取沿着物体方向运动的运动参数。
为了方便调整测量设备的拍摄角度,测量设备可以在显示屏幕内显示采集到的当前物体图像,以及将预设参考模型显示在测量设备的显示屏幕内,并基于显示的预设参考模型输出提示信息,以提示用户调整测量设备的拍摄角度,或者,向控制器发送调整指令,以便基于调整指令控制该控制器调整测量设备的拍摄角度,例如调整测量设备中摄像头的拍摄角度或测量设备的拍摄位置。
若当前物体图像中物体的预设边与预设参考模型重合,则将当前物体图像设置为基准物体图像,以便后续计算物体的体积,此时,测量设备可以输出推拉的提示信息,以提示用户开始推拉测量设备而产生运动;或者,测量设备可以向控制器发送控制指令,以便基于控制指令控制该控制器推拉测量设备而产生运动,使得测量设备沿着物体方向运动;等等。
此时,可以获取测量设备沿着物体方向运动的运动参数,该运动参数可以包括加速度和运动方向等,例如,可以获取垂直于测量设备显示屏幕的轴上的加速度。若加速度大于预设阈值,则判定测量设备开始做推拉运动;若加速度大于预设阈值,则提示用户推拉测量设备产生运动,或者控制与测量设备连接的控制器推拉测量设备而产生运动。需要说明的是,当测量设备产生运动后,可以获取预设时间段内测量设备的运动参数,例如,4秒或6秒内测量设备的运动参数。
S104、当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。
在得到运动参数后,可以对运动参数进行分析,判断该运动参数是否满足预设条件,该预设条件可以根据实际需要进行灵活设置。例如,可以对加速度数据进行频谱分析和统计分析等,判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。若运动参数满足预设条件,则测量设备可以采集物体的物体图像,并记录采集物体图像时的时刻、测量设备的设备位置、以及测量设备内预设的传感器或陀螺仪采集到的运行参数(如加速度)等信息。若运动参数不满足预设条件,则测量设备可以输出对应的提示信息,以提示用户调整测量设备的运动,帮助用户快速改进并掌握测量设备的推拉运动,该提示信息可以通过语音播报或文字显示于显示屏幕内;或者,控制控制与测量设备连接的控制器调整测量设备的运动,使测量设备产生的运动参数满足预设条件。
在一些实施方式中,当运动参数满足预设条件时,通过测量设备采集物体的物体图像之前,物体体积测量方法还可以包括:对运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;计算运动参数在三轴方向上的运动分量对应的标准差;当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时,确定运动参数满足预设条件。
例如,运动参数包括加速度,可以对加速度在XYZ三轴方向上的加速度分量分别进行快速傅里叶变换(FFT,Fast Fourier Transformation),得到三轴上的频率及对应的幅值,并从中筛选出最大的频率Fx、Fy、Fz及其对应的幅值Px、Py、Pz。以及,计算加速度在三轴方向上的加速度分量对应的标准差,得到Dx、Dy和Dz。
然后,判断三轴方向上最大的频率是否满足预设频率阈值、最大的幅值是否满足预设幅度阈值、以及标准差满足预设阈值。当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时,确定加速度满足预设条件;当最大的频率、最大的幅值和标准差中存在一者不满足时,确定加速度不满足预设条件。
例如,若满足Ft1<Fz<Ft2(例如Ft1=0.5,Ft2=2),则说明三轴方向上最大的频率满足预设频率阈值(即该预设频率阈值为Ft1至Ft2);若Pz/Py>Tp,Pz/Px>Tp(例如Tp=2),则说明三轴方向上最大的幅值满足预设幅度阈值(即该预设幅度阈值为Tp);若Dz/Dy>Td,Dz/Dx>Td(例如Td=5),以及Dz>Dt(例如Dt=0.03),则说明三轴方向上的标准差满足预设阈值(即该预设阈值为Td和Dt)。
在一些实施方式中,获取测量设备沿着物体方向运动的运动参数之后,物体体积测量方法还可以包括:当三轴方向上的频率不满足预设频率阈值时,输出调整测量设备沿着物体方向运动频率的提示信息;以及,当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出测量设备沿着Z轴方向运动不稳定的提示信息;以及,当三轴方向上的标准差不满足第二预设阈值时,输出测量设备沿着物体方向运动幅度小的提示信息;第一预设阈值和第二预设阈值包含于预设阈值。
例如,若不满足Ft1<Fz<Ft2(例如Ft1=0.5,Ft2=2),则说明三轴方向上最大的频率不满足预设频率阈值,此时输出调整测量设备沿着物体方向运动频率的提示信息,以提示用户调整推拉频率。该该提示信息可以通过语音播报或文字显示于显示屏幕内。
若不满足Pz/Py>Tp,Pz/Px>Tp(例如Tp=2),则说明三轴方向上最大的幅值不满足预设幅度阈值,此时输出测量设备沿着Z轴方向运动不稳定的提示信息,以提示用户推拉Z轴不稳定。
若不满足Dz/Dy>Td,Dz/Dx>Td(例如Td=5),则说明三轴方向上的标准差不满足第一预设阈值,此时输出测量设备沿着Z轴方向运动不稳定的提示信息,以提示用户推拉Z轴不稳定;若不满足Dz>Dt(例如Dt=0.03),则说明三轴方向上的标准差不满足第二预设阈值,此时输出测量设备沿着物体方向运动幅度小的提示信息,以提示用户推拉运动幅度不够等,使得用户可以根据提示信息有效即快速地调整测量设备的运动。
当运动参数满足预设条件时,测量设备采集物体的物体图像后,可以基于物体图像计算物体的体积。例如,可以获取物体图像中物体关键点的二维坐标位置,以及确定各个关键点之间的连接关系;以及获取检测设备采集物体图像时的设备位置;然后根据二维坐标位置和设备位置确定物体关键点的三维坐标位置;根据设备位置,以及检测设备采集物体图像的时刻,计算检测设备的运动参数;根据运动参数、三维坐标位置和各个关键点之间的连接关系,计算物体的体积。
本申请实施例可以通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置;然后根据关键点位置生成预设参考模型,以便以该预设参考模型为基准来采集运动参数,若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数;当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。该方案可以基于物体图像生成的预设参考模型来确定测量设备的运动参数,并在运动参数满足预设条件时所采集的物体图像来计算物体的体积,从而可以准确及快速计算出物体的体积,提高了测量的准确性和效率,而且,不需要在测量设备上增加激光传感器等硬件,降低了测量成本。
根据上述实施例所描述的物体体积测量方法,以下将作进一步详细说明。
请参照图2,图2为本申请实施例提供的物体体积测量方法的另一流程示意图。该物体体积测量方法可以应用于测量设备,以下将以测量设备对规则的箱体体积进行测量为例,如图2所示,该物体体积测量方法的流程可以如下:
S201、测量设备采集箱体的当前箱体图像,并将当前箱体图像显示在测量设备的显示屏幕内。
测量设备可以通过自身的摄像头采集箱体的图像,得到当前箱体图像;或者是,可以预先在箱体周围设置一个或多个摄像头,测量设备可以向设置好的摄像头发送拍摄指令,并接收摄像头发送的基于拍摄指令采集到的当前箱体图像,此时,测量设备可以将当前箱体图像显示在显示屏幕内,以便用户查看。其中,该箱体可以是规则的正方体或长方体等,箱体的拍摄角度可以根据实际需要进行灵活设置,可选地,可以调整拍摄角度,使得当前箱体图像中箱体三面可见。
S202、测量设备检测当前箱体图像中箱体的顶点位置。
为了提高顶点位置检测的准确性,测量设备可以通过Tiny-DSOD网络和CPM网络检测当前箱体图像中箱体的顶点位置。例如,可以利用标注好顶点位置的箱体样本图像对Tiny-DSOD网络和CPM网络进行训练,得到训练后的Tiny-DSOD网络和训练后的CPM网络,然后,将采集到的箱体图像通过Tiny-DSOD网络进行卷积操作,得到特征图,再通过CPM网络基于特征图提取箱体的顶点位置。又例如,测量设备可以利用标注好顶点位置的箱体样本图像对CNN网络和置信度网络进行训练,得到训练后的CNN网络和训练后的置信度网络,然后,将采集到的箱体图像通过CNN网络进行卷积操作,得到特征图,再通过置信度网络基于特征图检测箱体的顶点位置;等等。
例如,如图3所示,测量设备可以检测到当前箱体图像中,箱体的7个顶点位置。
S203、测量设备判断检测到的顶点位置的个数是否为七个;若是,则执行步骤S204;若否,则执行步骤S201。
为了提高Y字型卡槽生成的精准性,测量设备可以判断检测到的顶点位置的个数是否为七个,当检测到的当前箱体图像中箱体的顶点位置为7个时,说明当前箱体图像中该箱体三面可见。若检测到的顶点位置的个数小于七个,则测量设备重新采集箱体的当前箱体图像,直至检测到当前箱体图像中箱体的顶点位置的个数为七个。若检测到的顶点位置的个数为七个,则测量设备可以根据顶点位置构造箱体三维结构。
S204、测量设备根据顶点位置构造箱体三维结构。
例如,为了提高箱体三维结构构造的可靠性,测量设备可以利用多视角几何三维重建原理构造体三维结构,首先,可以根据顶点位置计算箱体的边长和箱***姿,例如,该箱体的边长可以是箱体的长宽高尺寸S,该箱***姿可以是箱体的旋转量Rb和平移量Tb等;以及,获取测量设备在采集当前箱体图像时的设备位姿和设备参数,例如,该设备位姿可以是测量设备的旋转量Rc和平移量Tc,该设备参数可以是用于采集当前箱体图像的相机内参,例如焦距K等参数或者摄像头内参等参数。
然后,测量设备可以根据箱体的边长、箱***姿、设备位姿和设备参数构造箱体三维结构。例如,可以根据相机成像模型及箱体的结构约束,可以由Rc、Tc和K得出任意一待求参数S、Rb和Tb下的箱体的顶点位置Ps',此时,可以构造目标函数L:L=||Ps'-Ps||,其中,Ps为检测得到的当前箱体图像中箱体的顶点位置,此时L仅与S、Rb和Tb有关,可以通过优化L最小,得到S、Rb和Tb的取值,即可得到箱体三维结构。
S205、测量设备根据箱体三维结构生成Y字型卡槽。
在得到箱体三维结构后,测量设备可以根据箱体三维结构,构造边长之间比例相等且相邻两边之间的角度构成120度角的三边,得到基准Y字型卡槽。然后,获取测量设备显示屏幕的显示边长,根据显示边长确定基准Y字型卡槽外接矩形区域的最大边长。最后,基于外接矩形区域的最大边长,对基准参考模型进行缩小或放大处理,使得预设Y字型卡槽可以按照预设比例显示在测量设备显示屏幕内,从而可以得到预设Y字型卡槽,该预设Y字型卡槽即为较佳的Y字型卡槽。
S206、测量设备将Y字型卡槽显示在测量设备的显示屏幕内。
此时,测量设备可以将预设Y字型卡槽显示在测量设备显示屏幕内,以提示用户调整拍摄角度和位置等,以将箱体的三条边与预设Y字型卡槽足够重合。实现了按照箱体的三边边长等比和三边在图像中互成120度的原则,根据箱体三维结构生成一个Y字型卡槽,并将Y字型卡槽显示在测量设备显示屏幕内。其中,三边边长等比为箱体箱体在图像上所展现的像素长度之比,与计算出来的箱体三维结构的三边之比是一致的。
需要说明的是,由于生成的是一个大小不定的基准Y字型卡槽,该Y字型卡槽的竖边可以垂直于测量设备显示屏幕的底边,其它两边分别与该竖边之间成正负120度,Y字型卡槽三边的长度比即为箱体三维结构的长度比,因此需要确定Y字型卡槽的大小及位置,例如,可以根据测量设备显示屏幕中较短边的80%,来确定Y字型卡槽外接矩形区域的最大边长WHm,使得Y字型卡槽最大程度充满该外接矩形区域,因此可以通过缩放基准Y字型卡槽得到较佳的Y字型卡槽。例如,计算得到基准Y字型卡槽的外接矩形区域的长Wy和宽Hy,对基准Y字型卡槽的缩放比例可以是WHm/max(Wy,Hy),缩放后的Y字型卡槽放置在外接矩形区域内且位于测量设备显示屏幕中心的位置。
S207、测量设备判断当前箱体图像中箱体三边是否与显示的Y字型卡槽重合;若是,则执行步骤S208;若否,则执行步骤S209。
例如,可以检测Y字型卡槽与当前箱体图像中箱体三条边之间的匹配度是否大于预设阈值(例如90%),若匹配度是否大于预设阈值,则确定当前箱体图像中箱体三边与显示的Y字型卡槽重合;若匹配度是否小于或等于预设阈值,则确定当前箱体图像中箱体三边与显示的Y字型卡槽不重合。
S208、获取测量设备沿着箱体方向运动的加速度。
例如,可以获取沿着测量设备采集当前箱体图像的水平方向进行推拉运动的加速度,或者是,获取测量设备对准箱体方向进行推拉运动的加速度,该沿着箱体方向运动可以根据实际需要进行灵活设置。
S209、测量设备调整拍摄角度,直至当前箱体图像中箱体三边与显示的Y字型卡槽重合时,获取测量设备沿着箱体方向运动的加速度。
例如,如图4所示,当前箱体图像中箱体三边与显示的Y字型卡槽不重合,可以输出提示信息,以便基于提示信息调整拍摄角度,使得当前箱体图像中箱体三边与显示的Y字型卡槽重合。当测量设备产生运动后,可以获取预设时间段内测量设备的加速度,例如,4秒或6秒内测量设备的加速度。
S210、测量设备判断加速度是否满足预设条件;若是,则执行步骤S211;若否,则执行步骤S212。
例如,可以对加速度数据进行频谱分析和统计分析等,判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。具体地,可以对加速度在XYZ三轴方向上的加速度分量分别进行快速傅里叶变换,得到三轴上的频率及对应的幅值,并从中筛选出最大的频率Fx、Fy、Fz及其对应的幅值Px、Py、Pz。以及,计算加速度在三轴方向上的加速度分量对应的标准差,得到Dx、Dy和Dz。
若满足Ft1<Fz<Ft2(例如Ft1=0.5,Ft2=2),Pz/Py>Tp,Pz/Px>Tp(例如Tp=2),Dz/Dy>Td,Dz/Dx>Td(例如Td=5),以及Dz>Dt(例如Dt=0.03),则确定加速度满足预设条件。
S211、测量设备通过测量设备采集箱体的箱体图像,并基于箱体图像计算箱体的体积。
例如,可以获取箱体图像中箱体顶点的二维坐标位置,以及确定各个顶点之间的连接关系;以及获取检测设备采集箱体图像时的设备位置;然后根据二维坐标位置和设备位置确定箱体顶点的三维坐标位置;根据设备位置,以及检测设备采集箱体图像的时刻,计算检测设备的加速度;根据加速度、三维坐标位置和各个顶点之间的连接关系,计算箱体的体积。
其中,获取箱体图像中箱体顶点的二维坐标位置,以及确定各个顶点之间的连接关系可以包括:获取训练后的Tiny-DSOD网络和CPM网络,Tiny-DSOD网络和CPM网络是基于按顺序标注的箱体顶点及其连接关系的样本图像进行训练得到;将箱体图像通过Tiny-DSOD网络进行卷积操作,得到特征图;通过CPM网络基于特征图提取箱体顶点的二维坐标位置,以及确定各个顶点之间的连接关系。
在一些实施方式中,箱体图像可以包括多张,将箱体图像通过目标检测网络进行卷积操作,得到特征图可以包括:将多张箱体图像转换为灰度图像,得到多张灰度图像;将每张灰度图像与预设拉普拉斯核进行卷积操作,得到多张响应图像;计算每张响应图像的方差,并筛选出方差大于或等于预设阈值所对应的箱体图像,得到有效图像;将有效图像通过目标检测网络进行卷积操作,得到特征图。其中,为了提高对箱体体积进行计算的准确性,可以预先对采集到的箱体图像进行筛选,以筛选出清晰度较高的箱体图像进行处理,以便计算箱体体积,预设阈值可以根据实际需要进行灵活设置,方差大于或等于预设阈值则说明箱体图像较清晰,而方差小于预设阈值则说明箱体图像较模糊,因此需要将方差小于预设阈值的模糊箱体图像剔除。最后,可以将筛选出的有效图像通过Tiny-DSOD网络和CPM网络进行处理。
在一些实施方式中,根据二维坐标位置和设备位置确定箱体顶点的三维坐标位置可以包括:从多张箱体图像中选择一帧箱体图像作为参考帧图像,例如,将第一帧箱体图像作为参考帧图像,该第一帧箱体图像可以是加速度满足预设条件时,采集到的第一帧箱体图像;将多张箱体图像中除了参考帧之外的其他帧箱体图像与参考帧图像组成图像组;根据图像组内每张箱体图像中箱体顶点的二维坐标位置,以及图像组中每张箱体图像被拍摄时的设备位置,确定箱体顶点的三维坐标位置。
例如,可以将采集到的第一帧箱体图像作为参考帧图像。然后,将多张箱体图像中除了参考帧之外的其他帧箱体图像,与参考帧图像组成图像组;例如,当第一帧箱体图像作为参考帧图像时,可以将第一帧箱体图像与第二帧箱体图像组成图像组A,将第一帧箱体图像与第三帧箱体图像组成图像组B,将第一帧箱体图像与第四帧箱体图像组成图像组C,将第一帧箱体图像与第五帧箱体图像组成图像组D,将第一帧箱体图像与第六帧箱体图像组成图像组E;等等。
此时,可以根据图像组内每张箱体图像中箱体顶点的二维坐标位置,以及图像组中每张箱体图像被拍摄时的设备位置,确定箱体顶点的三维坐标位置。例如,可以基于多视角几何三维重建原理,根据顶点位置计算箱体的边长和箱***姿,例如,该箱体的边长可以是箱体的长宽高尺寸S,该箱***姿可以是箱体的旋转量Rb和平移量Tb等;以及,获取测量设备在采集箱体图像时的设备位置,该设备位置可以包括设备位姿,例如该设备位姿可以是测量设备的旋转量Rc和平移量Tc,以及获取测量设备在采集箱体图像时的设备参数,该设备参数可以是用于采集箱体图像的摄像头或相机参数,例如焦距K等参数或者摄像头内参等参数。然后,测量设备可以基于成像模型及箱体的结构约束,根据箱体的边长、箱***姿、设备位姿和设备参数构造箱体三维结构,最后根据箱体三维结构确定箱体顶点的三维坐标位置。
为了提高三维坐标位置获取的精准性,可以对得到的三维坐标位置进行校正,例如,根据图像组内每张箱体图像中箱体顶点的二维坐标位置,以及图像组中每张箱体图像被拍摄时的设备位置,确定箱体顶点的三维坐标位置可以包括:根据图像组内每张箱体图像中箱体顶点的二维坐标位置,以及图像组中每张箱体图像被拍摄时的设备位置,确定箱体顶点的三维坐标位置,得到每组图像组对应的箱体顶点的三维坐标位置;根据每组图像组对应的箱体顶点的三维坐标位置以及对应的设备位置,将三维顶点投影至二维平面,得到目标二维坐标位置;基于目标二维坐标位置,从每组图像组对应的箱体顶点的三维坐标位置中,筛选出与二维坐标位置匹配度最高的三维坐标位置,得到箱体顶点的三维坐标位置。
在一些实施方式中,根据加速度、三维坐标位置和各个顶点之间的连接关系,计算箱体的体积可以包括:获取检测设备采集箱体图像过程中产生运动的真实加速度;根据计算得到的加速度与真实加速度,确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系;根据比例关系、箱体顶点的三维坐标位置和各个顶点之间的连接关系计算箱体的边长;根据箱体的边长计算箱体的体积。
由于测量设备在采集箱体图像的过程中,测量设备可以移动采集箱体图像,因此可以基于测量设备采集的箱体图像、采集箱体图像时的设备位置、设备采集箱体图像的时刻等,计算测量设备的加速度。例如,测量设备在采集箱体图像的过程中,用户可以沿着箱体方向推拉测量设备,使得测量设备产生运动;或者,测量设备可以向控制器发送控制指令,以便基于控制指令控制该控制器带动测量设备产生运动,使得测量设备沿着箱体方向运动。此时,测量设备可以通过自身预设的加速计、传感器或陀螺仪等,采集测量设备的加速度,得到真实加速度。
在得到真实加速度后,测量设备可以根据计算得到的加速度与真实加速度,确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系,其中,像素尺寸为箱体在图像中的尺寸,实际尺寸为箱体在真实世界中的尺寸,例如,比例关系=像素尺寸/实际尺寸。此时,测量设备可以根据比例关系、箱体顶点的三维坐标位置和各个顶点之间的连接关系计算箱体的边长。例如,若箱体顶点A与箱体顶点B连接得到边AB,则根据箱体顶点A的三维坐标位置(x1,y1,z1)和箱体顶点B的三维坐标位置(x2,y2,z2)可以计算得到边AB在箱体图像中的虚拟边长R,然后根据虚拟边长R和比例关系可以计算得到箱体的边长,即箱体在真实世界中的边长。最后,可以根据箱体的边长计算箱体的体积,例如,可以根据箱体的第一边长、第二边长和第三边长,计算箱体的体积=第一边长*第二边长*第三边长。
S212、测量设备输出提示信息。
例如,若不满足Ft1<Fz<Ft2(例如Ft1=0.5,Ft2=2),则输出调整测量设备沿着箱体方向运动频率的提示信息,以提示用户调整推拉频率。该该提示信息可以通过语音播报或文字显示于显示屏幕内。若不满足Pz/Py>Tp,Pz/Px>Tp(例如Tp=2),则输出测量设备沿着Z轴方向运动不稳定的提示信息,以提示用户推拉Z轴不稳定。若不满足Dz/Dy>Td,Dz/Dx>Td(例如Td=5),则输出测量设备沿着Z轴方向运动不稳定的提示信息,以提示用户推拉Z轴不稳定;若不满足Dz>Dt(例如Dt=0.03),则输出测量设备沿着箱体方向运动幅度小的提示信息,以提示用户推拉运动幅度不够等,使得用户可以根据提示信息有效即快速地调整测量设备的运动。
例如,可以将测量设备的摄像头对准箱体(保证三面可见),以合适的稳定频率沿着垂直测量设备显示屏幕方向来回推拉4秒,整个过程对箱体在测量设备的摄像头采集到的箱体图像中的位置、大小、角度、运动速度、来回运动的幅值、来回运动的频率等可以限制在一定范围内。为了保证新手用户能快速掌握该推拉手法,做出符合各项限制的使用操作后,当不满足条件时输出相应的提示信息。
本申请实施例中测量设备采集箱体的当前箱体图像,以及检测当前箱体图像中箱体的顶点位置;然后根据顶点位置生成Y字型卡槽,以便以该Y字型卡槽为基准来采集运动加速度,若当前箱体图像中箱体三边边与Y字型卡槽重合,则获取测量设备沿着箱体方向运动的加速度;当加速度满足预设条件时,通过测量设备采集箱体的箱体图像,并基于箱体图像计算箱体的体积。该方案可以基于箱体图像生成的Y字型卡槽来确定测量设备的运动加速度,并在运动加速度满足预设条件时所采集的箱体图像来计算箱体的体积,从而可以保证测量的准确性和稳定性,以及提高了测量的准确性和效率。
为便于更好的实施本申请实施例提供的物体体积测量方法,本申请实施例还提供一种基于上述物体体积测量方法的装置。其中名词的含义与上述物体体积测量方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的物体体积测量装置的结构示意图,其中该物体体积测量装置300可以包括检测模块301、生成模块302、获取模块303和计算模块304等。
其中,检测模块301,用于通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置。
生成模块302,用于根据关键点位置生成预设参考模型。
获取模块303,用于若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数。
计算模块304,用于当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。
在一些实施方式中,生成模块302可以包括:
构造单元,用于当检测到的当前物体图像中物体的关键点位置为预设个数时,根据关键点位置构造物体三维结构;
生成单元,用于根据物体三维结构生成预设参考模型。
在一些实施方式中,构造单元具体用于:根据关键点位置计算物体的边长和物***姿;获取测量设备在采集当前物体图像时的设备位姿和设备参数;根据物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
在一些实施方式中,生成单元具体用于:根据物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;获取测量设备显示屏幕的显示边长,根据显示边长确定基准参考模型外接四边形区域的边长;基于外接四边形区域的边长,对基准参考模型进行缩放处理,得到预设参考模型。
在一些实施方式中,获取模块303具体用于:将预设参考模型显示在测量设备的显示屏幕内;基于显示的预设参考模型,调整测量设备的拍摄角度,直至测量设备捕获到物体图像中物体的边长与预设参考模型重合时,获取测量设备沿着物体方向运动的运动参数。
在一些实施方式中,物体体积测量装置300还可以包括:
变换模块,用于对运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;
标准差计算模块,用于计算运动参数在三轴方向上的运动分量对应的标准差;
确定模块,用于当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时,确定运动参数满足预设条件。
在一些实施方式中,物体体积测量装置300还可以包括:
输出模块,用于当三轴方向上的频率不满足预设频率阈值时,输出调整测量设备沿着物体方向运动频率的提示信息;以及,
当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出测量设备沿着Z轴方向运动不稳定的提示信息;以及,
当三轴方向上的标准差不满足第二预设阈值时,输出测量设备沿着物体方向运动幅度小的提示信息;第一预设阈值和第二预设阈值包含于预设阈值。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本申请实施例可以由检测模块301采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置;然后由生成模块302根据关键点位置生成预设参考模型,以便以该预设参考模型为基准来采集运动参数,若当前物体图像中物体的预设边与预设参考模型重合,则获取模块303可以获取测量设备沿着物体方向运动的运动参数;当运动参数满足预设条件时,计算模块304可以通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。该方案可以基于物体图像生成的预设参考模型来确定测量设备的运动参数,并在运动参数满足预设条件时所采集的物体图像来计算物体的体积,从而可以准确及快速计算出物体的体积,提高了测量的准确性和效率,而且,不需要在测量设备上增加激光传感器等硬件,降低了测量成本。
相应的,本申请实施例还提供一种测量设备,如图6所示,图6示出了本申请实施例提供的测量设备的具体结构框图,该测量设备可以用于实施上述实施例中提供的物体体积测量方法。该测量设备可以为智能手机或平板电脑等。
该测量设备可以包括射频(RF,Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi,Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解,图6中示出的测量设备结构并不构成对测量设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路401可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器408处理;另外,将涉及上行的数据发送给基站。通常,RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器402可用于存储软件程序以及模块,处理器408通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据测量设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元403可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器408,并能接收处理器408发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元403还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及测量设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器408以确定触摸事件的类型,随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
测量设备还可包括至少一种传感器405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在测量设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别测量设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于测量设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路406、扬声器,传声器可提供用户与测量设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路406接收后转换为音频数据,再将音频数据输出处理器408处理后,经RF电路401以发送给比如另一测量设备,或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔,以提供外设耳机与测量设备的通信。
WiFi属于短距离无线传输技术,测量设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块407,但是可以理解的是,其并不属于测量设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是测量设备的控制中心,利用各种接口和线路连接整个测量设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行测量设备的各种功能和处理数据,从而对测量设备进行整体监控。可选的,处理器408可包括一个或多个处理核心;优选的,处理器408可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器408中。
测量设备还包括给各个部件供电的电源409(比如电池),优选的,电源可以通过电源管理***与处理器408逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,测量设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,测量设备中的处理器408会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器408来运行存储在存储器402中的应用程序,从而实现各种功能:
通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置;根据关键点位置生成预设参考模型;若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数;当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。
在一些实施方式中,根据关键点位置生成预设参考模型包括:当检测到的当前物体图像中物体的关键点位置为预设个数时,根据关键点位置构造物体三维结构;根据物体三维结构生成预设参考模型。
在一些实施方式中,根据关键点位置构造物体三维结构包括:根据关键点位置计算物体的边长和物***姿;获取测量设备在采集当前物体图像时的设备位姿和设备参数;根据物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
在一些实施方式中,根据物体三维结构生成预设参考模型包括:根据物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;获取测量设备显示屏幕的显示边长,根据显示边长确定基准参考模型外接四边形区域的边长;基于外接四边形区域的边长,对基准参考模型进行缩放处理,得到预设参考模型。
在一些实施方式中,获取测量设备沿着物体方向运动的运动参数包括:将预设参考模型显示在测量设备的显示屏幕内;基于显示的预设参考模型,调整测量设备的拍摄角度,直至测量设备捕获到物体图像中物体的边长与预设参考模型重合时,获取测量设备沿着物体方向运动的运动参数。
在一些实施方式中,当运动参数满足预设条件时,通过测量设备采集物体的物体图像之前,包括:对运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;计算运动参数在三轴方向上的运动分量对应的标准差;当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时,确定运动参数满足预设条件。
在一些实施方式中,获取测量设备沿着物体方向运动的运动参数之后,包括:当三轴方向上的频率不满足预设频率阈值时,输出调整测量设备沿着物体方向运动频率的提示信息;当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出测量设备沿着Z轴方向运动不稳定的提示信息;当三轴方向上的标准差不满足第二预设阈值时,输出测量设备沿着物体方向运动幅度小的提示信息;第一预设阈值和第二预设阈值包含于预设阈值。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对物体体积测量方法的详细描述,此处不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种物体体积测量方法中的步骤。例如,该指令可以执行如下步骤:
通过测量设备采集物体的当前物体图像,以及检测当前物体图像中物体的关键点位置;根据关键点位置生成预设参考模型;若当前物体图像中物体的预设边与预设参考模型重合,则获取测量设备沿着物体方向运动的运动参数;当运动参数满足预设条件时,通过测量设备采集物体的物体图像,并基于物体图像计算物体的体积。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种物体体积测量方法中的步骤,因此,可以实现本申请实施例所提供的任一种物体体积测量方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种物体体积测量方法、装置、测量设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物体体积测量方法,其特征在于,包括:
通过测量设备采集物体的当前物体图像,以及检测所述当前物体图像中物体的关键点位置;
根据所述关键点位置生成预设参考模型;
若所述当前物体图像中物体的预设边与所述预设参考模型重合,则获取所述测量设备沿着所述物体方向运动的运动参数;
当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像,并基于所述物体图像计算所述物体的体积。
2.根据权利要求1所述的物体体积测量方法,其特征在于,所述根据所述关键点位置生成预设参考模型包括:
当检测到的所述当前物体图像中物体的关键点位置为预设个数时,根据所述关键点位置构造物体三维结构;
根据所述物体三维结构生成预设参考模型。
3.根据权利要求2所述的物体体积测量方法,其特征在于,所述根据所述关键点位置构造物体三维结构包括:
根据所述关键点位置计算所述物体的边长和物***姿;
获取所述测量设备在采集所述当前物体图像时的设备位姿和设备参数;
根据所述物体的边长、物***姿、设备位姿和设备参数构造物体三维结构。
4.根据权利要求2所述的物体体积测量方法,其特征在于,所述根据所述物体三维结构生成预设参考模型包括:
根据所述物体三维结构,构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边,得到基准参考模型;
获取所述测量设备显示屏幕的显示边长,根据所述显示边长确定所述基准参考模型外接四边形区域的边长;
基于所述外接四边形区域的边长,对所述基准参考模型进行缩放处理,得到预设参考模型。
5.根据权利要求1所述的物体体积测量方法,其特征在于,所述获取所述测量设备沿着所述物体方向运动的运动参数包括:
将所述预设参考模型显示在所述测量设备的显示屏幕内;
基于显示的所述预设参考模型,调整所述测量设备的拍摄角度,直至所述测量设备捕获到物体图像中物体的边长与所述预设参考模型重合时,获取所述测量设备沿着所述物体方向运动的运动参数。
6.根据权利要求1至5任一项所述的物体体积测量方法,其特征在于,所述当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像之前,所述方法还包括:
对所述运动参数在三轴方向上的运动分量分别进行傅里叶变换,得到三轴方向上的频率和幅值;
计算所述运动参数在三轴方向上的运动分量对应的标准差;
当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和所述标准差满足预设阈值时,确定所述运动参数满足预设条件。
7.根据权利要求6所述的物体体积测量方法,其特征在于,所述获取所述测量设备沿着所述物体方向运动的运动参数之后,所述方法还包括:
当三轴方向上的频率不满足预设频率阈值时,输出调整所述测量设备沿着所述物体方向运动频率的提示信息;
当三轴方向上的幅值不满足预设幅度阈值,或三轴方向上的标准差不满足第一预设阈值时,输出所述测量设备沿着Z轴方向运动不稳定的提示信息;
当三轴方向上的标准差不满足第二预设阈值时,输出所述测量设备沿着所述物体方向运动幅度小的提示信息;所述第一预设阈值和第二预设阈值包含于预设阈值。
8.一种物体体积测量装置,其特征在于,包括:
检测模块,用于通过测量设备采集物体的当前物体图像,以及检测所述当前物体图像中物体的关键点位置;
生成模块,用于根据所述关键点位置生成预设参考模型;
获取模块,用于若所述当前物体图像中物体的预设边与所述预设参考模型重合,则获取所述测量设备沿着所述物体方向运动的运动参数;
计算模块,用于当所述运动参数满足预设条件时,通过所述测量设备采集所述物体的物体图像,并基于所述物体图像计算所述物体的体积。
9.一种测量设备,其特征在于,包括处理器和存储器,所述存储器中存储有程序代码,所述处理器调用所述存储器中的程序代码时执行如权利要求1至7任一项所述的物体体积测量方法。
10.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至7任一项所述的物体体积测量方法。
CN201910430630.5A 2019-05-22 物体体积测量方法、装置、测量设备及存储介质 Active CN111986251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910430630.5A CN111986251B (zh) 2019-05-22 物体体积测量方法、装置、测量设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430630.5A CN111986251B (zh) 2019-05-22 物体体积测量方法、装置、测量设备及存储介质

Publications (2)

Publication Number Publication Date
CN111986251A true CN111986251A (zh) 2020-11-24
CN111986251B CN111986251B (zh) 2024-07-26

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、***及其应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443802A (zh) * 2011-01-24 2013-12-11 数据逻辑Adc公司 自动化光学代码读取***中的异常检测和处理
CN104880149A (zh) * 2014-02-28 2015-09-02 江苏永钢集团有限公司 基于立体影像分析的大型散料货堆体积测量方法及其设备
US9495764B1 (en) * 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
CN107388960A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107655536A (zh) * 2017-10-24 2018-02-02 浙江华睿科技有限公司 一种物体体积测量***及方法
CN108195557A (zh) * 2018-04-04 2018-06-22 绵阳浩微科技有限公司佰腾分公司 基于双目视觉的模型姿态非接触测量***
CN108474644A (zh) * 2015-08-10 2018-08-31 慧咨环球有限公司 体积估计方法、设备和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443802A (zh) * 2011-01-24 2013-12-11 数据逻辑Adc公司 自动化光学代码读取***中的异常检测和处理
CN104880149A (zh) * 2014-02-28 2015-09-02 江苏永钢集团有限公司 基于立体影像分析的大型散料货堆体积测量方法及其设备
CN108474644A (zh) * 2015-08-10 2018-08-31 慧咨环球有限公司 体积估计方法、设备和***
US9495764B1 (en) * 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
CN107388960A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107655536A (zh) * 2017-10-24 2018-02-02 浙江华睿科技有限公司 一种物体体积测量***及方法
CN108195557A (zh) * 2018-04-04 2018-06-22 绵阳浩微科技有限公司佰腾分公司 基于双目视觉的模型姿态非接触测量***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、***及其应用

Similar Documents

Publication Publication Date Title
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN106778585B (zh) 一种人脸关键点跟踪方法和装置
CN106296617B (zh) 人脸图像的处理方法及装置
CN111986250A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN106780684B (zh) 一种动画效果实现方法及装置
CN105989572B (zh) 图片处理方法及装置
WO2016184276A1 (zh) 一种人脸关键点位定位结果的评估方法,及评估装置
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
CN107749046B (zh) 一种图像处理方法及移动终端
CN110070129B (zh) 一种图像检测方法、装置及存储介质
WO2018018698A1 (zh) 一种增强现实ar的信息处理方法、装置及***
CN109472825B (zh) 一种对象搜索方法及终端设备
CN108376255B (zh) 一种图像处理方法、装置及存储介质
CN108846817B (zh) 图像处理方法、装置以及移动终端
CN108664929B (zh) 一种指纹采集方法及终端
CN110717486B (zh) 文本检测方法、装置、电子设备和存储介质
CN113780291B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111986251B (zh) 物体体积测量方法、装置、测量设备及存储介质
CN110148167A (zh) 一种距离测量方法及终端设备
CN106357513B (zh) 一种消息处理方法、设备、服务器及消息处理***
CN111986251A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN111981975B (zh) 物体体积测量方法、装置、测量设备及存储介质
CN113194280A (zh) 安防区域的安防等级生成方法、装置、存储设备及电子设备
CN114140864B (zh) 轨迹跟踪方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant