CN109146952B - 估计车厢空闲体积的方法、装置及计算机可读存储介质 - Google Patents

估计车厢空闲体积的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109146952B
CN109146952B CN201811036587.6A CN201811036587A CN109146952B CN 109146952 B CN109146952 B CN 109146952B CN 201811036587 A CN201811036587 A CN 201811036587A CN 109146952 B CN109146952 B CN 109146952B
Authority
CN
China
Prior art keywords
dimensional model
image
carriage
coordinate system
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811036587.6A
Other languages
English (en)
Other versions
CN109146952A (zh
Inventor
吕晓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811036587.6A priority Critical patent/CN109146952B/zh
Publication of CN109146952A publication Critical patent/CN109146952A/zh
Application granted granted Critical
Publication of CN109146952B publication Critical patent/CN109146952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提供了一种估计车厢空闲体积的方法、装置及计算机可读存储介质，涉及物流仓储技术领域。其中估计车厢空闲体积的方法包括：识别相机拍摄车厢的图像得到车厢型号，并根据车厢型号获取车厢的三维模型；利用图像和三维模型，获取车厢的空闲深度信息；利用空闲深度信息以及三维模型，估计车厢的空闲体积。本公开能够实现自动化估计车厢内的空闲体积，提高估计车厢空闲体积的效率。

Description

估计车厢空闲体积的方法、装置及计算机可读存储介质
技术领域
本公开涉及物流仓储技术领域，特别涉及一种估计车厢空闲体积的方法、装置及计算机可读存储介质。
背景技术
测量货车车厢空闲体积对于物流行业来说至关重要。估计货车车厢空闲体积即是在货车车厢装载了一部分货物之后，需要估计空闲体积能够装载多少货物，以便于对接下来的装载进行规划。
传统的估算方法一般采用人工测量估计的技术来估计车厢空闲体积。人工测量一般使用皮尺或者激光测距仪等设备，测量载货车厢空余部分的长、宽、高，然后计算货车车厢的剩余体积。
传统的估算方法需要操作者具有一定的操作经验，且相对费时费力。此外，对于不同型号的货车，可能需要不同的测量和估计方法，因此工作效率较低。
发明内容
本公开解决的一个技术问题是，如何实现自动化估计车厢内的空闲体积，提高估计车厢空闲体积的效率。
根据本公开实施例的一个方面，提供了一种估计车厢空闲体积的方法，包括：识别相机拍摄车厢的图像得到车厢型号，并根据车厢型号获取车厢的三维模型；利用图像和三维模型，获取车厢的空闲深度信息；利用空闲深度信息以及三维模型，估计车厢的空闲体积。
在一些实施例中，利用图像和三维模型，获取车厢的空闲深度信息包括：利用图像和三维模型，获取三维模型的坐标系与相机坐标系的旋转平移关系；利用图像、三维模型以及旋转平移关系，获取车厢的空闲深度信息。
在一些实施例中，利用图像和三维模型，获取三维模型的坐标系与相机坐标系的旋转平移关系包括：构建第一目标函数；第一目标函数的函数值为：将三维模型上的坐标点投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第一目标函数的变量为：三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵；求解使第一目标函数的函数值最大时的旋转矩阵和平移矩阵。
在一些实施例中，确定使如下目标函数取最大值的R和T：
Figure BDA0001791031420000021
其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，П()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000022
表示求图像y在坐标П(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
在一些实施例中，利用图像、三维模型以及旋转平移关系，获取车厢的空闲深度信息包括：构建第二目标函数；第二目标函数的函数值为：将位于三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第二目标函数的变量为起始点在三维模型上的深度坐标；求解使第二目标函数的函数值最大时，起始点在三维模型上的深度坐标。
在一些实施例中，确定使如下目标函数取最大值时的Dlb、Dlu、Dru、Drb：
Figure BDA0001791031420000023
约束条件为Dlu≤Dlb，Dru≤Drb；其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000031
表示求图像y在坐标Π(Rxi+T)处的像素值，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在三维模型上的深度坐标，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。
在一些实施例中，利用空闲深度信息以及三维模型，估计车厢的空闲体积包括：将深度坐标取平均，得到车厢的空闲深度估计值；利用三维模型，确定车厢的切面面积，切面与深度方向垂直；将车厢的空闲深度估计值与切面面积相乘，得到车厢的空闲体积估计值。
在一些实施例中，该方法还包括：利用相机从车厢的门外拍摄车厢，使图像的边界与车厢的外表面重合。
根据本公开实施例的另一个方面，提供了一种估计车厢空闲体积的装置，包括：车厢型号识别模块，被配置为识别相机拍摄的车厢的图像得到车厢型号；三维模型获取模块，被配置为根据车厢型号获取车厢的三维模型；深度信息获取模块，被配置为利用图像和三维模型，获取车厢的空闲深度信息；载货体积估计模块，被配置为利用空闲深度信息以及三维模型，估计车厢的空闲体积。
在一些实施例中，深度信息获取模块被配置为：利用图像和三维模型，获取三维模型的坐标系与相机坐标系的旋转平移关系；利用图像、三维模型以及旋转平移关系，获取车厢的空闲深度信息。
在一些实施例中，深度信息获取模块被配置为：构建第一目标函数；第一目标函数的函数值为：将三维模型上的坐标点投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第一目标函数的变量为：三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵；求解使第一目标函数的函数值最大时的旋转矩阵和平移矩阵。
在一些实施例中，深度信息获取模块被配置为：确定使如下目标函数取最大值的R和T：
Figure BDA0001791031420000041
其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000042
表示求图像y在坐标Π(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
在一些实施例中，深度信息获取模块被配置为：构建第二目标函数；第二目标函数的函数值为：将位于三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第二目标函数的变量为起始点在三维模型上的深度坐标；求解使第二目标函数的函数值最大时，起始点在三维模型上的深度坐标。
在一些实施例中，深度信息获取模块被配置为：确定使如下目标函数取最大值时的Dlb、Dlu、Dru、Drb：
Figure BDA0001791031420000043
约束条件为Dlu≤Dlb，Dru≤Drb；其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000044
表示求图像y在坐标Π(Rxi+T)处的像素值，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在三维模型上的深度坐标，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。
在一些实施例中，载货体积估计模块被配置为：将深度坐标取平均，得到车厢的空闲深度估计值；利用三维模型，确定车厢的切面面积，切面与深度方向垂直；将车厢的空闲深度估计值与切面面积相乘，得到车厢的空闲体积估计值。
在一些实施例中，该装置还包括：图像拍摄模块，被配置为利用相机从车厢的门外拍摄车厢，使图像的边界与车厢的外表面重合。
根据本公开实施例的又一个方面，提供了又一种估计车厢空闲体积的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的估计车厢空闲体积的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的估计车厢空闲体积的方法。
本公开能够实现自动化估计车厢内的空闲体积，提高估计车厢空闲体积的效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的估计车厢空闲体积的方法的流程示意图。
图2示出了拍摄车厢时相机的拍摄界面的示意图。
图3示出了货车车厢的三维模型的示意图。
图4示出了对图像进行线段检测得到的二值图的示意图。
图5示出了估计货车车厢内被货物遮挡的起始点的深度坐标的示意图。
图6示出了本公开一些实施例的估计车厢空闲体积的装置的结构示意图。
图7示出了本公开另一些实施例的估计车厢空闲体积的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，随着社会经济的发展，移动端设备逐渐普及。如果能够使用移动端的单目摄像头拍摄车厢的载货情况，然后自动判断出当前车厢的空闲体积，将大幅提高工作效率。有鉴于此，本公开提出一种基于移动端单目摄像头来估计车厢空闲体积的方法，通过移动端的单目摄像头拍摄一张照片来自动识别车厢型号，并自动估计货车车厢的空闲体积，不需要人工测量车厢空余部分的长宽高来计算空闲体积。
首先结合图1描述本公开估计车厢空闲体积的方法的一些实施例。
图1示出了本公开一些实施例的估计车厢空闲体积的方法的流程示意图。如图1所示，本实施例包括步骤S102～步骤S108。
在步骤S102中，利用相机从车厢的门外拍摄车厢。
图2示出了拍摄车厢时相机的拍摄界面的示意图。如图2所示，拍摄车厢的图像时，移动端设备可以提供相关交互提示的信息，要求图像的边界与车厢的外表面重合。这样进行拍摄能够获得满足后续处理需求的记录货车载货情况的图像，便于后续的优化处理、减少后续优化的计算量，从而保证估计结果的准确性、节约计算时间。同时，该步骤中通过交互提示框限制了用户拍摄的角度范围，有利于在后续步骤中更加快速的确定三维模型的坐标系与相机坐标系的旋转平移关系。
用户拍摄完成之后，可以将图像上传至云端以进行后续处理步骤，后续处理步骤完成后，移动端设备会收到返回的估计结果。
在步骤S104中，识别相机拍摄车厢的图像得到车厢型号，并根据车厢型号获取车厢的三维模型。
由于图像中包含货车车灯、车厢外轮廓等信息，可以使用深度学习的方法来识别图像中货车车厢的型号。具体来说，可以使用传统的细粒度分类(fine-grainedclassification)来判断当前货车的类型。
在一些实施例中，可以使用基于双线性的卷积网络来进行识别。双线性卷积网络的识别方法可以参考以下论文来实现Lin T Y,RoyChowdhury A,Maji S.Bilinear cnnmodels for fine-grained visual recognition[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2015:1449-1457。采用经过大量不同类型的货车车厢图片预先训练的双线性卷积网络进行深度学习，可以获得更高准确率的细粒度分类结果。
货车车厢的三维模型具体可以为3D mesh网格模型。图3示出了货车车厢的三维模型的示意图。在提前获取各种车厢的型号与三维模型之间的对应关系之后，利用深度学习得到的货车车厢型号，可以得到货车车厢的三维模型。
在步骤S106中，利用图像和三维模型，获取车厢的空闲深度信息。
为了获取车厢的空闲深度信息，首先要利用图像和三维模型获取三维模型的坐标系与相机坐标系的旋转平移关系，然后再利用图像、三维模型以及旋转平移关系获取车厢的空闲深度信息。旋转平移关系以及空闲深度信息的获取方法分别在后文中进行描述。
在步骤S108中，利用空闲深度信息以及三维模型，估计车厢的空闲体积。
空闲深度信息例如可以为被货物遮挡的起始点在三维模型上的深度坐标Dlb、Dlu、Dru、Drb。将这些深度坐标进行取平均操作，可以得到车厢的空闲深度估计值(Dlb+Dlu+Dru+Drb)/4。然后，利用三维模型可以确定车厢的切面面积S，其中切面与深度方向垂直。最终，将车厢的空闲深度估计值与切面面积相乘，得到车厢的空闲体积估计值(Dlb+Dlu+Dru+Drb)*S/4。
上述实施例提供了基于移动端单目摄像头来估计车厢空闲体积的方案，能够实现自动化估计车厢内的空闲体积，不需要人工测量车厢空余部分的长宽高来计算空闲体积，提高估计车厢空闲体积的效率。
下面具体描述如何利用图像和三维模型，获取三维模型的坐标系与相机坐标系的旋转平移关系。
获取三维模型的坐标系与相机坐标系的旋转平移关系，即计算货车车厢三维模型的坐标系相对于相机坐标系的旋转矩阵R和平移矩阵T。获取旋转矩阵R和平移矩阵T之后，能够实现将三维模型与图像的特征进行匹配。
传统的2D图片与三维模型匹配，通常采用特征点检测的方法来检测获得一些2D特征点(2D landmark)，然后将旋转平移参数作为优化变量，使得三维模型对应点映射到2D图片之后，与2D图片特征点的距离最小。对于本实施例来说，传统方法的适用性较差，因为货车车厢的型号有很多，每种货车车厢的特征点都各不相同。如果对每种货车车厢都进行2D特征点定义，并采集大量图片训练2D特征点检测器，工作量非常庞大。
为了更简单高效的获取三维模型的坐标系与相机坐标系的旋转平移关系，首先可以构建第一目标函数。其中，第一目标函数的函数值为：将三维模型上的坐标点投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第一目标函数的变量为：三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵。然后，求解使第一目标函数的函数值最大时的旋转矩阵和平移矩阵。
例如，可以构建如下目标函数：
Figure BDA0001791031420000081
并确定使该目标函数取最大值的R和T。其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵(对于给定的相机来说，该标定参数已知)将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000091
表示求图像y在坐标Π(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
图4示出了对图像进行线段检测得到的二值图的示意图。如图4所示，对拍摄得到的图片进行线段检测，检测方法可以参考Rafael Grompone von Gioi,JérémieJakubowicz,Jean-Michel Morel,and Gregory Randall,LSD:a Line Segment Detector,Image Processing On Line,2(2012),pp.35–55.https://doi.org/10.5201/ipol.2012.gjmr-lsd。二值图中，线段是指像素梯度较大的连通区域(原始图像中物体的边缘和颜色变化会导致像素梯度较大，梯度即像素的一阶导数)，体现在二值图中的白色区域。如果某个像素点在线段上则像素值为1，不在线段上则值为0。
上述优化问题表示的是，如何调整R和T，使得将三维模型(可以理解为模型框架边缘上的坐标点)投影到图像平面后，所占据的像素尽量与原始图像经过线段检测的图像中像素值为1的像素点重合。上述目标函数还使用了投影获得的所有像素点的数目作为归一化参数。
上述实施例中，将如何确定车车厢三维模型的坐标系相对于相机坐标系的旋转平移关系的问题，转化为求解优化目标函数的问题，能够更加简单高效的获取三维模型的坐标系与相机坐标系的旋转平移关系。此外，对于自然光照场景下的相机拍摄的图像而言，采用上述实施例提供的方案获取三维模型的坐标系与相机坐标系的旋转平移关系，具有更好的鲁棒性。
获得了旋转平移关系之后，可以进一步获得拍摄图像与三维模型投影获得的二值图像重合的像素点的深度信息。下面具体描述如何利用图像、三维模型以及旋转平移关系，获取车厢的空闲深度信息。
通常情况下，货车装货都是优先占用靠近车头的空间。所以，我们只需要估计从货车外部到货物的距离即可。首先，构建第二目标函数。其中，第二目标函数的函数值为：将位于三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第二目标函数的变量为起始点在三维模型上的深度坐标。然后，求解使第二目标函数的函数值最大时，起始点在三维模型上的深度坐标。
图5示出了估计货车车厢内被货物遮挡的起始点的深度坐标的示意图。如图5所示，可以将深度估计的问题转化为一个优化目标函数问题，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在三维模型上的深度坐标。以Dlu为例，其中[0,Dlu]表示在图像中尽量可见的，而[Dlu,L]的区域由于货物遮挡而不可见，所以在[0,Dlu]区域投影与线段检测图的重合尽量大，而[Dlu,L]区域与线段检测图的重合尽量少。同时，由于货物堆积需要支撑物，通常情况下Dlu≤Dlb且Dru≤Drb。因此，可以构建如下目标函数：
Figure BDA0001791031420000101
约束条件为Dlu≤Dlb，Dru≤Drb。其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，П()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000102
表示求图像y在坐标П(Rxi+T)处的像素值，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。求解上述目标函数，我们可以得到使目标函数取最大值时的Dlb、Dlu、Dru、Drb，以便将Dlb、Dlu、Dru、Drb作为空闲深度信息来估计车厢的空闲体积。
上述实施例，将如何获取车厢的空闲深度信息的问题，转化为求解优化目标函数的问题，能够更加简单高效的获取车厢的空闲深度信息，以便于估计车厢的空闲体积。此外，采用非遮挡区域与遮挡区域的差作为优化目标函数，能够更加准确的获得空闲深度信息。
下面结合图6描述本公开一些实施例的估计车厢空闲体积的装置。
图6示出了本公开一些实施例的估计车厢空闲体积的装置的结构示意图。如图6所示，本实施例中的估计车厢空闲体积的装置60包括车厢型号识别模块602、三维模型获取模块604、深度信息获取模块606以及载货体积估计模块608。
车厢型号识别模块602，被配置为识别相机拍摄的车厢的图像得到车厢型号；
三维模型获取模块604，被配置为根据车厢型号获取车厢的三维模型；
深度信息获取模块606，被配置为利用图像和三维模型，获取车厢的空闲深度信息；
载货体积估计模块608，被配置为利用空闲深度信息以及三维模型，估计车厢的空闲体积。
在一些实施例中，该装置60还包括：图像拍摄模块600，被配置为利用相机从车厢的门外拍摄车厢，使图像的边界与车厢的外表面重合。
在一些实施例中，深度信息获取模块606被配置为：利用图像和三维模型，获取三维模型的坐标系与相机坐标系的旋转平移关系；利用图像、三维模型以及旋转平移关系，获取车厢的空闲深度信息。
上述实施例提供了基于移动端单目摄像头来估计车厢空闲体积的方案，能够实现自动化估计车厢内的空闲体积，不需要人工测量车厢空余部分的长宽高来计算空闲体积，提高估计车厢空闲体积的效率。
在一些实施例中，深度信息获取模块606被配置为：构建第一目标函数；第一目标函数的函数值为：将三维模型上的坐标点投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第一目标函数的变量为：三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵；求解使第一目标函数的函数值最大时的旋转矩阵和平移矩阵。
在一些实施例中，深度信息获取模块606被配置为：确定使如下目标函数取最大值的R和T：
Figure BDA0001791031420000121
其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000122
表示求图像y在坐标Π(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
上述实施例中，将如何确定车车厢三维模型的坐标系相对于相机坐标系的旋转平移关系的问题，转化为求解优化目标函数的问题，能够更加简单高效的获取三维模型的坐标系与相机坐标系的旋转平移关系。此外，对于自然光照场景下的相机拍摄的图像而言，采用上述实施例提供的方案获取三维模型的坐标系与相机坐标系的旋转平移关系，具有更好的鲁棒性。
在一些实施例中，深度信息获取模块606被配置为：构建第二目标函数；第二目标函数的函数值为：将位于三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至图像后，与图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；第二目标函数的变量为起始点在三维模型上的深度坐标；求解使第二目标函数的函数值最大时，起始点在三维模型上的深度坐标。
在一些实施例中，深度信息获取模块606被配置为：确定使如下目标函数取最大值时的Dlb、Dlu、Dru、Drb：
Figure BDA0001791031420000123
约束条件为Dlu≤Dlb，Dru≤Drb；其中，R、T分别表示三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示三维模型的坐标系下三维模型上第i个点的坐标，П()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至图像上，y表示对图像进行线段检测得到的二值图，
Figure BDA0001791031420000124
表示求图像y在坐标П(Rxi+T)处的像素值，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在三维模型上的深度坐标，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。
在一些实施例中，载货体积估计模块608被配置为：将深度坐标取平均，得到车厢的空闲深度估计值；利用三维模型，确定车厢的切面面积，切面与深度方向垂直；将车厢的空闲深度估计值与切面面积相乘，得到车厢的空闲体积估计值。
上述实施例，将如何获取车厢的空闲深度信息的问题，转化为求解优化目标函数的问题，能够更加简单高效的获取车厢的空闲深度信息，以便于估计车厢的空闲体积。此外，采用非遮挡区域与遮挡区域的差作为优化目标函数，能够更加准确的获得空闲深度信息。
图7示出了本公开另一些实施例的估计车厢空闲体积的装置的结构示意图。如图7所示，该实施例的估计车厢空闲体积的装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一些实施例中的估计车厢空闲体积的方法。
其中，存储器710例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
估计车厢空闲体积的装置70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的估计车厢空闲体积的方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种估计车厢空闲体积的方法，包括：
识别相机拍摄车厢的图像得到车厢型号，并根据车厢型号获取车厢的三维模型；
利用所述图像和所述三维模型，获取所述三维模型的坐标系与相机坐标系的旋转平移关系；
利用所述图像、所述三维模型以及所述旋转平移关系，获取车厢的空闲深度信息，具体包括：构建第二目标函数；所述第二目标函数的函数值为：将位于所述三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至所述图像后，与所述图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；所述第二目标函数的变量为所述起始点在所述三维模型上的深度坐标；求解使第二目标函数的函数值最大时，所述起始点在所述三维模型上的深度坐标；
利用所述空闲深度信息以及所述三维模型，估计车厢的空闲体积。
2.如权利要求1所述的方法，其中，所述利用所述图像和所述三维模型，获取所述三维模型的坐标系与相机坐标系的旋转平移关系包括：
构建第一目标函数；所述第一目标函数的函数值为：将所述三维模型上的坐标点投影至所述图像后，与所述图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；所述第一目标函数的变量为：所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵；
求解使第一目标函数的函数值最大时的所述旋转矩阵和平移矩阵。
3.如权利要求2所述的方法，其中，确定使如下目标函数取最大值的R和T：
Figure FDA0002688612440000011
其中，R、T分别表示所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示所述三维模型的坐标系下所述三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至所述图像上，y表示对所述图像进行线段检测得到的二值图，
Figure FDA0002688612440000021
表示求图像y在坐标Π(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
4.如权利要求1所述的方法，其中，确定使如下目标函数取最大值时的Dlb、Dlu、Dru、Drb：
Figure FDA0002688612440000022
约束条件为Dlu≤Dlb，Dru≤Drb；
其中，R、T分别表示所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示所述三维模型的坐标系下所述三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至所述图像上，y表示对所述图像进行线段检测得到的二值图，
Figure FDA0002688612440000023
表示求图像y在坐标Π(Rxi+T)处的像素值，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在所述三维模型上的深度坐标，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。
5.如权利要求1所述的方法，其中，所述利用所述空闲深度信息以及所述三维模型，估计车厢的空闲体积包括：
将所述深度坐标取平均，得到车厢的空闲深度估计值；
利用所述三维模型，确定所述车厢的切面面积，所述切面与所述深度方向垂直；
将车厢的空闲深度估计值与所述切面面积相乘，得到车厢的空闲体积估计值。
6.如权利要求1所述的方法，所述方法还包括：
利用相机从车厢的门外拍摄车厢，使所述图像的边界与车厢的外表面重合。
7.一种估计车厢空闲体积的装置，包括：
车厢型号识别模块，被配置为识别相机拍摄的车厢的图像得到车厢型号；
三维模型获取模块，被配置为根据车厢型号获取车厢的三维模型；
深度信息获取模块，被配置为：利用所述图像和所述三维模型，获取所述三维模型的坐标系与相机坐标系的旋转平移关系；利用所述图像、所述三维模型以及所述旋转平移关系，获取车厢的空闲深度信息，具体包括：构建第二目标函数；所述第二目标函数的函数值为：将位于所述三维模型的载货深度方向上的各条楞上，从车厢门至被货物遮挡的起始点的坐标投影至所述图像后，与所述图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；所述第二目标函数的变量为所述起始点在所述三维模型上的深度坐标；求解使第二目标函数的函数值最大时，所述起始点在所述三维模型上的深度坐标；
载货体积估计模块，被配置为利用所述空闲深度信息以及所述三维模型，估计车厢的空闲体积。
8.如权利要求7所述的装置，其中，所述深度信息获取模块被配置为：
构建第一目标函数；所述第一目标函数的函数值为：将所述三维模型上的坐标点投影至所述图像后，与所述图像中像素梯度值大于预设阈值的像素点重合的坐标点个数；所述第一目标函数的变量为：所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵；
求解使第一目标函数的函数值最大时的所述旋转矩阵和平移矩阵。
9.如权利要求8所述的装置，其中，所述深度信息获取模块被配置为：确定使如下目标函数取最大值的R和T：
Figure FDA0002688612440000031
其中，R、T分别表示所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示所述三维模型的坐标系下所述三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至所述图像上，y表示对所述图像进行线段检测得到的二值图，
Figure FDA0002688612440000041
表示求图像y在坐标Π(Rxi+T)处的像素值，∑1表示数值求和，∑2表示坐标的个数。
10.如权利要求7所述的装置，其中，所述深度信息获取模块被配置为：确定使如下目标函数取最大值时的Dlb、Dlu、Dru、Drb：
Figure FDA0002688612440000042
约束条件为Dlu≤Dlb，Dru≤Drb；
其中，R、T分别表示所述三维模型的坐标系到相机坐标系的旋转矩阵和平移矩阵，xi表示所述三维模型的坐标系下所述三维模型上第i个点的坐标，Π()表示利用相机的透视投影矩阵将相机坐标系上的点透视投影至所述图像上，y表示对所述图像进行线段检测得到的二值图，
Figure FDA0002688612440000043
表示求图像y在坐标Π(Rxi+T)处的像素值，Dlb、Dlu、Dru、Drb分别表示车厢在载货深度方向上的左下角、左上角、右上角、右下角的楞被货物遮挡的起始点在所述三维模型上的深度坐标，j分别取值lb、lu、ru、rb，[0,Dj]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为0至Dj的坐标点，[Dj,L]表示xi的取值范围是车厢在载货深度方向上第j条楞从深度坐标为Dj至最大值L的坐标点。
11.如权利要求7所述的装置，其中，所述载货体积估计模块被配置为：
将所述深度坐标取平均，得到车厢的空闲深度估计值；
利用所述三维模型，确定所述车厢的切面面积，所述切面与所述深度方向垂直；
将车厢的空闲深度估计值与所述切面面积相乘，得到车厢的空闲体积估计值。
12.如权利要求7所述的装置，所述装置还包括：
图像拍摄模块，被配置为利用相机从车厢的门外拍摄车厢，使所述图像的边界与车厢的外表面重合。
13.一种估计车厢空闲体积的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至6中任一项所述的估计车厢空闲体积的方法。
14.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至6中任一项所述的估计车厢空闲体积的方法。
CN201811036587.6A 2018-09-06 2018-09-06 估计车厢空闲体积的方法、装置及计算机可读存储介质 Active CN109146952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811036587.6A CN109146952B (zh) 2018-09-06 2018-09-06 估计车厢空闲体积的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811036587.6A CN109146952B (zh) 2018-09-06 2018-09-06 估计车厢空闲体积的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109146952A CN109146952A (zh) 2019-01-04
CN109146952B true CN109146952B (zh) 2020-11-20

Family

ID=64827335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811036587.6A Active CN109146952B (zh) 2018-09-06 2018-09-06 估计车厢空闲体积的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109146952B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469871B (zh) * 2020-03-30 2023-07-14 长沙智能驾驶研究院有限公司 基于三维激光的车厢可装载空间检测方法和装置
CN112288712B (zh) * 2020-10-28 2022-07-22 山东黄金矿业(莱州)有限公司三山岛金矿 一种基于实景建模的黄金矿山溜井入料可视化检测方法
CN113052525B (zh) * 2021-03-15 2022-07-01 江苏满运物流信息有限公司 货物体积预估方法、拼单方法、装置及电子设备
CN115272351B (zh) * 2022-09-30 2023-01-24 煤炭科学研究总院有限公司 基于双目视觉和线激光的矿井无轨胶轮车超限检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107388960A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN107873101A (zh) * 2014-11-21 2018-04-03 克里斯多夫·M·马蒂 用于对象辨识和评估的成像***
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优***科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940730B2 (en) * 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107873101A (zh) * 2014-11-21 2018-04-03 克里斯多夫·M·马蒂 用于对象辨识和评估的成像***
CN107388960A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107392958A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种基于双目立体摄像机确定物体体积的方法及装置
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优***科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect深度相机的三维人体重建技术研究;周瑾;《万方数据》;20131008;第1-55页 *

Also Published As

Publication number Publication date
CN109146952A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109146952B (zh) 估计车厢空闲体积的方法、装置及计算机可读存储介质
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
US9747493B2 (en) Face pose rectification method and apparatus
CN108229475B (zh) 车辆跟踪方法、***、计算机设备及可读存储介质
JP4341564B2 (ja) 対象物判定装置
EP2811423A1 (en) Method and apparatus for detecting target
CN103745452B (zh) 相机外参评估方法、装置、相机外参标定方法和装置
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN108475433A (zh) 用于大规模确定rgbd相机姿势的方法和***
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN105303514A (zh) 图像处理方法和装置
EP3678096A1 (en) Method for calculating a tow hitch position
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN110926330A (zh) 图像处理装置和图像处理方法
CN111307039A (zh) 一种物体长度识别方法、装置、终端设备和存储介质
CN109934873B (zh) 标注图像获取方法、装置及设备
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN116363223A (zh) 一种基于双目视觉的货车车厢尺寸测量方法、装置及介质
CN114663626A (zh) 基于单帧采样的行李快速建模方法、设备及存储介质
CN115546314A (zh) 传感器外参校准方法和装置、设备及存储介质
CN111639642B (zh) 一种图像处理方法、设备及装置
Su et al. An automatic calibration system for binocular stereo imaging
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant