CN111383257B - 一种车厢装卸率确定方法和装置 - Google Patents
一种车厢装卸率确定方法和装置 Download PDFInfo
- Publication number
- CN111383257B CN111383257B CN201811646437.7A CN201811646437A CN111383257B CN 111383257 B CN111383257 B CN 111383257B CN 201811646437 A CN201811646437 A CN 201811646437A CN 111383257 B CN111383257 B CN 111383257B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- carriage
- images
- cargo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车厢装卸率确定方法和装置。该包括以下步骤:利用单目相机获取车厢内包含货物的多幅原始图像;对所述多幅原始图像进行图像深度识别以获得深度图像;将所述深度图像分割成若干图像区域;针对每个所述图像区域确定货物所占的体积;根据每个所述货物所占的体积确定该所述车厢的装卸率。该技术方案采用单目方案,获取车厢深度图像,能用于单目深度估测,具有广泛的应用场景。
Description
技术领域
本发明一般涉及图像处理领域,具体涉及一种车厢装卸率确定方法和装置。
背景技术
随着科学技术和人类认识世界需求的不断发展,二维视觉测量采用单摄像机测量目标在特定平面中的位置,摄像机和测量平面之间的距离固定,这使得其应用受到很大的限制。与二维图像信息相比,三维信息能够更全面、真实地反映客观物体,提供更大的信息量。近年来,各种技术应用于三维信息测量中,由此形成了各类三维测量***。经过几十年发展,三维视觉测量***已具有较成熟的理论和技术基础,生产实践也不断证明这类***操作简便、适应性强、精度高。
现有技术中采用专业人员进行监控,会增加检测的岗位从而增加一些持续性的投入,增加装载人员或监控人员的工作量。加入了人为的主观臆断,会使测量存在一定的误差,且因为装卸口数量巨大,对于人员的分配也是一个值得考虑的问题;一般情况下深度估测亦存在严重的准确度问题,因为对体积定量测量需要双目或者激光等设备采集深度图像,一是设备成本高,二是针对不同场景普适性不强。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种车厢装卸率确定方法可以准确预测的方案。
第一方面,本申请实施例提供一种车厢装卸率确定方法,包括:
利用单目相机获取车厢内包含货物的多幅原始图像;
对所述多福原始图像进行图像深度识别以获得深度图像;
将所述深度图像分割成若干图像区域;
针对每个所述图像区域确定货物所占的体积;
根据每个所述货物所占的体积确定该所述车厢的装卸率。
可选的,所述利用单目相机获取车厢内包含货物的多幅原始图像,包括:
获取原始图像并进行归一化和预处理;
基于归一化和预处理后的图像进行相似度计算;
筛选出相似度在预设范围内的图像;
从所述筛选出的图像中选择预定数量的图像进行图像深度识别以获取深度图像。
可选的,所述将所述每一帧原始图像分割成若干图像区域,包括:
将包含货物的车厢图像中的车厢空间划分为n×n个宽高深为的若干块状图像区域,其中W表示宽度,H表示高度,D表示深度,n为自然数。
可选的,所述针对每个所述图像区域确定货物所占的体积,包括:
直接以分成的小方块四个定点为标准,检验四个顶点是否被货物占据,若是则确认该立方体全为货物占据,记为1;若否都没有货物占据,记为0;若占据了1-3个顶点,记为0.5。
可选的,所述根据每个所述货物所占的体积确定所述车厢的装卸率,包括:
计算出图像序列中车厢框架区域像素点网格中货物深度总和与车厢体积,用前者除以后者计算出装卸率。
第二方面,本申请实施例提供一种车厢装卸率确定装置,包括:
第一获取模块,用于利用单目相机获取车厢内包含货物的多幅原始图像;
第二获取模块,用于对所述多福原始图像进行图像深度识别以获得深度图像;
划分模块,用于将所述深度图像分割成若干图像区域;
确定模块,用于针对每个所述图像区域确定货物所占的体积;
计算模块,用于根据每个所述货物所占的体积确定该所述车厢的装卸率。
可选的,所述获取模块,包括:
处理单元,用于获取原始图像并进行归一化和预处理;
相似度计算单元,用于基于归一化和预处理后的图像进行相似度计算;
筛选单元,用于筛选出相似度在预设范围内的图像;
深度识别单元,用于从所述筛选出的图像中选择预定数量的图像进行图像深度识别以获取深度图像。
可选的,所述划分模块,用于:
将包含货物的车厢图像中的车厢空间划分为n×n个宽高深为的块状图像区域,其中W表示宽度,H表示高度,D表示深度,n为自然数。
可选的,所述确定模块,用于:
直接以分成的小方块四个定点为标准,检验四个顶点是否被货物占据,若是则确认该立方体全为货物占据,记为1;若否都没有货物占据,记为0;若占据了1-3个顶点,记为0.5。
可选的,所述计算模块,用于:
计算出图像序列中车厢框架区域像素点网格中货物深度总和与车厢体积,用前者除以后者计算出装卸率。
根据本申请实施例提供的技术方案,通过基于固定摄像头的单目序列图像估计深度信息,用车辆本身特征作为尺度参考,将同一图像序列的同一车厢的按其宽高进行归一化处理,作为参考系来归一化各帧图像的相对深度;采用单目方案,获取车厢深度图像,能用于单目深度估测,具有广泛的应用场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明的实施例的一种车厢装卸率确定方法的示例性流程图;
图2为本发明的实施例的一种车厢原始图像获取的示例性流程图;
图3为本发明的实施例的一种车厢装卸率确定装置的示例性结构框图;
图4为本发明的实施例的车厢装卸率确定装置中获取模块的示例性结构框图;
图5示出了适于用来实现本申请实施例的计算机***600的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
如背景技术中所提到的二维视觉测量采用单摄像机测量目标在特定平面中的位置,如美国的Adept机器人装配***、足球机器人等。在二维视觉测量中,摄像机与测量平面之间的距离固定。与二维图形信息相比,三维信息能够更全面、真实地反映客观物体,提供更大的信息量。近年来,各种技术应该于三维信息测量中,由此形成了各类三维测量***。经过几十年发展,三维视觉测量***已具有较成熟的理论和技术基础,生产实践也不断证明这类***操作简便、适应性强、精度高。
三维体积测量的方法从测量方式上可分为接触式和非接触式,接触式测量方法具有较高的准确性和可靠性,但是有以下的缺陷:1.它不适合测量柔性物体,另外不当的操作容易损伤被测物体的表面,特别是高精度表面,同时也会使测量头磨损。2.接触式测量是以逐点扫描的方式进行测量的,所以测量速度慢。3.测量机的机械结构复杂对工作环境要求很高,必须防震、防灰、恒温等,使其应用范围收到一些限制。
随着物流行业的发展,将货物进行集中整合然后再集中分发成为了提高运输效率所必不可少的流程。这个货物集中整合的地方就是中转场,为了提高装卸口装卸率识别的效率,首先就需要对装卸口的装卸情况进行了解。尤其是装卸的时间以及装卸的货物量,目前的方法主要包括两个:第一个方法是直接采用人为监控的方法,监控人员用肉眼进行观察获取装卸的各个时刻装卸率,并进行记录;第二个方法则是直接将货物量进行计算,通过定量的计算来对装卸率进行记录;
这两个方法都存在着一定的弊端:第一种方法,采用专业人员来进行监控,会增加一个检测的岗位,从而增加了一个持续性的投入,增加装载人员或监控人员的工作量。因为增加了人的主观判断,因此会存在一定的误差(例如人物没有注意到各类车辆区别,则存在一定的误差)。且因为装卸口数量巨大,对于人员的分配也是一个值得考虑的问题;对于第二种方法,一般情况下深度估测亦存在严重的准确度问题,因为对体积定量测量需要双目或者激光等设备采集深度图像,一是设备成本高,二是针对不同场景普适性不强。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,其示出了本申请实施例提供的一种车厢装卸率确定方法的示例性流程图。该方法包括:
步骤11,利用单目相机获取车厢内包含货物的多幅原始图像。
具体的,在本申请实施例中利用单目相机获取了车厢内包含货物时的连续的多张原始图像,每一张图像被称为一帧图像。利用单目视觉是无法准确的获得深度信息的,即只能得到平面信息,不能得到立体信息。
步骤12,对多幅原始图像进行图像深度识别以获得深度图像。
具体的,由于使用单目相机进行问题求解,从单目视频中恢复三维信息是一个病态问题,因为损失了深度方面的信息,解决方案一般是通过激光等传感器直接获取深度,或者通过多个摄像头采集数据,利用多视图几何来获取深度。对于装卸口场景,由于需要估计的是特定的车厢深度信息,因此可用连续多帧图像序列输入,来获取深度信息。而且车辆的特征比较明显,可用车辆本身特征作为尺度参考,将同一图像序列的同一车厢的按其宽高进行归一化处理。
深度信息,不一定指目标到相机之间的距离,也可以反应奇特信息,如某个物体的信息、相对位置之类的。不过一定都是跟光轴方向的深度有关。单目视觉可以测量距离,是指测量水平宽或水平高上的距离,与相机、镜头的光轴是垂直的平面上的距离测量。其实可以不用超声波测距,现在双目视觉也在应用于实践,可以考虑使用双目视觉测量立体信息。
由于装卸口场景中摄像头固定,因此相机的内外参标定可以一次性进行。选取5*5cm的标定板垂直地面置于镜头前70cm处进行内参标定。选取15cm*15cm的标定板平放置进行外参标定,在画面进行校正基础上,长方体的车厢容器坐标求解问题便转换成了三维物体在二维平面上的投影问题,标定的目得是为了进行摄像头校正,可以得到更准确的深度。
步骤13,将深度图像分割成若干图像区域。
具体的,在本申请实施例中对车厢空间内货物的分割,采用的MasKR-CNN网络进行分割,能够有效地检测图像中的目标,同时还能为每个实例生成一个高质量的分割掩码。在COCO测试中可以看到,进行了一系列实验来分析Mask R-CNN的运行效果。Mask R-CNN是一个实例分割算法,可以用来做“目标检测”、“目标实例分割”、“目标关键点检测”。
通常意义上的目标分割指的是语义分割,语音分割已经有很长的发展历史,已经取得了很好得进展,然而实例分割是一个从目标分割领域独立出来的一个小领域,实例分割需要在语义分割的基础上对同类物体进行更精细的分割。Mask R-CNN网络可以预期达到的目标为高速、高准确率和/或高分类准确率和/或高的检测准确率和/或高的实例分割准确率、简单直观、易于使用。
步骤14,针对每个图像区域确定货物所占的体积。
具体的,本申请实施例中此过程核心技术为确定货位的深度。存在货物遮挡判定与消除的问题,由于车厢中货物随着车厢一起相对镜头运动,因此用光流来判定车厢中超像素块是属于货物还是遮挡。本申请实施例中潜在的障碍物检测方法是使用运动视差原理。当车辆进出港过程中,近距离物体将在图像上产生比远处背景更多的运动,就类似于自动驾驶中近处的车辆、行人运动幅度更明显,附近的物体比远处的景物移动得更快。此外,近物体也占据较大的视野,因此较近的障碍物产生比背景区域更大的光流。
进一步的,基于此原理本申请结合上面得到的光流场来计算潜在的障碍区域。根据车辆的实际情况,可以通过组合上,下,左,右方向进行障碍物检测。首先,根据车厢获取的整体的光流方向(静止则整体没有光流)。然后检索出其中光流异常区域,如果异常区域的运动幅度明显大于整体,则将异常区域标记为障碍物。利用此类方法确定出每个图像区域确定货物所占的体积。
检索出其中光流异常区域,如果异常区域的运动幅度明显大于整体,则将异常区域标记为障碍物。可以从现场视频连续获得图像序列,因此可以标记跟踪障碍物的移动情况,当车辆在装卸口时,由于整体静止,从而当障碍物(比如行人)离开之前遮挡区域时,可以用当前帧原遮挡区域(即当前货物的深度信息)来填补之前被遮挡区域的货物深度信息。
其中Lgc为损失函数,进行的是光流在它的像素Pt处的前后帧的一致性检查。根据车厢整体实际情况,可以通过组合上,下,左,右方向进行障碍物检测。首先,根据车厢获取的整体的光流方向(静止则整体没有光流),然后检索出其中光流异常区域,确定出货物所占的体积。
步骤15,根据每个货物所占的体积确定该所述车厢的装卸率。
具体的,本申请实施例中根据步骤13中的,确定出了货物的体积,如果原始图像中不存在遮挡的区域货物深度直接根据深度图就可以求解。因为没有遮挡区域货物的体积可以直接求出可见部分货物每一个像素点的坐标,这样可直接算出货物的体积。通过计算出来的货物体积与图像车厢的体积进行比较,可以计算出来原始图像对应车厢的装载率。
可选的,利用单目相机获取车厢内包含货物的多幅原始图像,包括以下步骤:
步骤110:获取原始图像并进行归一化和预处理。
具体的,图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程,该标准图像称作归一化图像。原始图像在经历一些处理或攻击后可以得到多种副本图像,这些图像在经过相同参数的图像归一化处理后能够得到相同形式的标准图像。
进一步的,预处理图像以像素为单位的,一般人们可能不太好理解像素,因此需要转换成世界坐标,为了便于理解图像深度距离到底有多少。如一个物体宽1000像素,高750像素,而其世界坐标可能是长100mm、宽75mm,像素坐标系与世界坐标的转换当量就为100mm/1000pixel=0.1mm/pixel,其它再测量得到某个像素值时,只需要乘以这个当量,就得到世界坐标。
步骤120:基于预处理和归一化后的图像进行相似度计算。
具体的,在本申请实施例利用SSIM方式来对处理后的图像进行相似度计算,SSIM(structural similarity index),即为结构相似性,是一种衡量两幅图像相似度的指标。如果两幅图像是压缩前和压缩后的图像,那么SSIM算法就可以用来评估压缩后的图像质量。结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性,并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量。
自然图像具有极高的结构性,表现在图像的像素间存在着很强的相关性,尤其是在空间相似的情况下。这些相关性在视觉场景中携带着关于物体结构的重要信息。其中SSIM指数中物体表面的亮度信息与照度和反射系数有关,且场景中的物体的结构与照度是独立的,反射系数与物体有关。通过分离照度对物体的影响来探索一张图像中的结构信息。通过计算SSIM指数来确定连续图像之间是否存在运动信息。
步骤130:筛选出相似度在预设范围内的图像。
具体的,本申请实施例中设定0.97作为SSIM指数的预设值,选择大于0.97的图像进行剔除,小于0.97的图像筛选出来,说明此类图片相似度不高存在位移,利用位移变化才能够计算出深度数值。
步骤140:将选择的固定帧数的图像作为训练样本,输入到预定模型中进行图像深度识别,其中预定模型具有图像深度值计算能力。
具体的,本申请实施例中通过提取视频中捕捉到运动变化的图像序列,训练深度,光流的无监督学习框架。因为摄像机和背景场景固定,因此相机的内外参位姿可以作为固定参数。然后与训练图像通过三维场景的几何特征耦合在一起,并将它们组合起来以端对端的方式学习。从每个单独模块的预测中提取几何关系,然后将其合并为图像重建损失,进行货物装卸场景深度推断。
可选的,将每一帧原始图像分割成若干图像区域,包括:
将包含货物的车厢图像中的车厢空间划分为n×n个宽高深为的若干块状图像区域,其中W表示宽度,H表示高度,D表示深度,n为自然数。
具体的,每幅获取车厢内包含货物的多幅原始图像,根据多幅原始图像中最小的货物单位体积面积来划分块状区域图像的宽度的方格。例如作为本申请实施例的扩展方案可以将包含货物的多幅原始图像中的货厢划分成4*5个3*3的块,前面的4*5是块数,也就是4*5等于20块,后面的3*3是每一块的规格,每一块长与宽都是3,也就是边长是3的正方形。
可选的,针对每个所述图像区域确定货物所占的体积,包括:
直接以分成的小方块四个定点为标准,检验四个顶点是否被货物占据,若是则确认该立方体全为货物占据,记为1;若否都没有货物占据,记为0;若占据了1-3个顶点,记为0.5。
具体的,图像区域进行方格划分的时候需要进行确认每个格子里面货物所占的体积值,来估计货物的体积大小,将每个货物所占的体积整合起来就为该图像区域内货物的总体积。
可选的,根据每个货物所占的体积确定所述车厢的装卸率,包括:
计算出图像序列中车厢框架区域像素点网格中货物深度总和与车厢体积,用前者除以后者计算出装卸率。
具体的,使用本申请实施例的方法能从单目序列图片生成深度图像,并通过一系列处理,估测被遮挡部分货物分布。计算出图像序列中车厢边框区域像素点网格中货物深度总和与车厢体积,用前者除以后者,从而在复杂环境中,快速准确计算出装卸率。
另一方面,图3示出了本申请实施例提供的一种车厢装卸率确定装置的示例性结构框图。该装置可以设置在服务器中,例如可以是服务器的中央处理器CPU或者图形处理器GPU(Graphics Processing Unit)来执行。
如图3所示,该装置200包括:
第一获取模块21,用于利用单目相机获取车厢内包含货物的多幅原始图像;
第二获取模块22,用于对多福原始图像进行图像深度识别以获得深度图像;
划分模块23,用于将深度图像分割成若干图像区域;
确定模块24,用于针对每个图像区域确定货物所占的体积;
计算模块25,用于根据每个货物所占的体积确定该车厢的装卸率。
具体的,将连续的图片分为三部分画面,并把中间的画面作为目标视图,前后的画面作为原始视图。使用彩色相机一起捕捉这些图像,利用单目相机获取车厢内包含货物的多幅原始图像。
可选的,如图4所示,第一获取模块21,包括:
处理单元211,用于获取原始图像并进行归一化和预处理;
相似度计算单元212,用于基于归一化和预处理后的图像进行相似度计算;
筛选单元213,用于筛选出相似度在预设范围内的图像;
深度识别单元214,用于从筛选出的图像中选择预定数量的图像进行图像深度识别以获取深度图像。
应当理解,装置200中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于装置200及其中包含的单元,在此不再赘述。装置200可以预先实现在电子设备的浏览器或其他安全应用中,也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置200中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
下面参考图5,本实施例提供一种计算机设备的结构示意图,下面参考图5,其示出了适于用来实现本申请实施例的服务器的计算机***600的结构示意图。
如图5所示,计算机***600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考图1描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,上述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。
作为另外一方面,本申请还提供一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存在有一个或者一个以上程序,前述程度被一个或者一个以上的处理器用来执行描述于本申请的无人机航线预警的方案。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案
通过以上描述可知:本领域技术人员可以清楚地了解到本申请必须借助硬件后台方式来实现。基于此理解,本申请的技术方案本质上可以说对现有技术做出贡献的部分借助计算机的开发程序形式体现出来,包括若干指令使得一台计算机设备(个人计算,服务器,或者网络设备等)执行本申请实施例的某些部分所述方法。
Claims (6)
1.一种车厢装卸率确定方法,其特征在于,包括以下步骤:
利用单目相机获取车厢内包含货物的多幅原始图像;
对所述多幅原始图像进行图像深度识别以获得深度图像;
将所述深度图像分割成若干图像区域;
针对每个所述图像区域确定货物所占的体积;
根据每个所述货物所占的体积确定所述车厢的装卸率;
其中,所述针对每个所述图像区域确定货物所占的体积还包括:
根据车厢获取的整体的光流方向,判断是否存在光流异常区域;
当所述异常区域的运动幅度明显大于整体,则将异常区域标记为障碍物,以在障碍物离开之前遮挡区域时,使用当前货物的深度信息填补之前被遮挡区域的货物深度信息;
其中,所述利用单目相机获取车厢内包含货物的多幅原始图像,包括:
获取原始图像并进行归一化和预处理;
基于归一化和预处理后的图像进行相似度计算;
筛选出相似度在预设范围内的图像;
从所述筛选出的图像中选择预定数量的图像进行图像深度识别以获取深度图像;
将每一帧原始图像分割成若干图像区域,包括:
将包含货物的车厢图像中的车厢空间划分为个宽高深为/>的若干块状图像区域,其中W表示宽度,H表示高度,D表示深度,n为自然数。
2.根据权利要求1所述的车厢装卸率确定方法,其特征在于,所述针对每个所述图像区域确定货物所占的体积,包括:
直接以分成的小方块四个定点为标准,检验四个顶点是否被货物占据,若是则确认该立方体全为货物占据,记为1;若否都没有货物占据,记为0;若占据了1-3个顶点,记为0.5。
3.根据权利要求2所述的车厢装卸率确定方法,其特征在于,所述根据每个所述货物所占的体积确定所述车厢的装卸率,包括:
计算出图像序列中车厢框架区域像素点网格中货物深度总和与车厢体积,用前者除以后者计算出装卸率。
4.一种车厢装卸率确定装置,其特征在于,包括:
第一获取模块,用于利用单目相机获取车厢内包含货物的多幅原始图像;
第二获取模块,用于对所述多幅原始图像进行图像深度识别以获得深度图像;
划分模块,用于将所述深度图像分割成若干图像区域;
确定模块,用于针对每个所述图像区域确定货物所占的体积;
计算模块,用于根据每个所述货物所占的体积确定所述车厢的装卸率;
其中,所述确定模块还包括:
根据车厢获取的整体的光流方向,判断是否存在光流异常区域;
当所述异常区域的运动幅度明显大于整体,则将异常区域标记为障碍物,以在障碍物离开之前遮挡区域时,使用当前货物的深度信息填补之前被遮挡区域的货物深度信息;
其中,所述获取模块,包括:
处理单元,用于获取原始图像并进行归一化和预处理;
相似度计算单元,用于基于归一化和预处理后的图像进行相似度计算;
筛选单元,用于筛选出相似度在预设范围内的图像;
深度识别单元,用于从所述筛选出的图像中选择预定数量的图像进行图像深度识别以获取深度图像;
所述划分模块,用于:
将包含货物的车厢图像中的车厢空间划分为个宽高深为/>的块状图像区域,其中W表示宽度,H表示高度,D表示深度,n为自然数。
5.根据权利要求4所述的一种车厢装卸率确定装置,其特征在于,所述确定模块,用于:
直接以分成的小方块四个定点为标准,检验四个顶点是否被货物占据,若是则确认该立方体全为货物占据,记为1;若否都没有货物占据,记为0;若占据了1-3个顶点,记为0.5。
6.根据权利要求5所述的一种车厢装卸率确定装置,其特征在于,所述计算模块,用于:
计算出图像序列中车厢框架区域像素点网格中货物深度总和与车厢体积,用前者除以后者计算出装卸率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811646437.7A CN111383257B (zh) | 2018-12-29 | 2018-12-29 | 一种车厢装卸率确定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811646437.7A CN111383257B (zh) | 2018-12-29 | 2018-12-29 | 一种车厢装卸率确定方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111383257A CN111383257A (zh) | 2020-07-07 |
CN111383257B true CN111383257B (zh) | 2024-06-07 |
Family
ID=71216638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811646437.7A Active CN111383257B (zh) | 2018-12-29 | 2018-12-29 | 一种车厢装卸率确定方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111383257B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037177A (zh) * | 2020-08-07 | 2020-12-04 | 浙江大华技术股份有限公司 | 一种车厢装载率的评估方法和装置以及存储介质 |
CN113052525B (zh) * | 2021-03-15 | 2022-07-01 | 江苏满运物流信息有限公司 | 货物体积预估方法、拼单方法、装置及电子设备 |
CN114022537B (zh) * | 2021-10-29 | 2023-05-05 | 浙江东鼎电子股份有限公司 | 一种用于动态称重区域车辆装载率和偏载率分析方法 |
TWI807904B (zh) * | 2022-07-04 | 2023-07-01 | 鴻海精密工業股份有限公司 | 深度識別模型訓練方法、圖像深度識別方法及相關設備 |
CN115587675B (zh) * | 2022-11-25 | 2023-05-12 | 中国外运股份有限公司 | 装载方式的确定方法、装置、设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
CN102016921A (zh) * | 2008-08-01 | 2011-04-13 | 丰田自动车株式会社 | 图像处理装置 |
KR20130112131A (ko) * | 2012-04-03 | 2013-10-14 | 주식회사 사이버메드 | 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법 |
CN105069808A (zh) * | 2015-08-31 | 2015-11-18 | 四川虹微技术有限公司 | 基于图像分割的视频图像深度估计方法 |
CN106200672A (zh) * | 2016-07-19 | 2016-12-07 | 深圳北航新兴产业技术研究院 | 一种基于光流的无人机避障方法 |
WO2018015716A1 (en) * | 2016-07-22 | 2018-01-25 | Imperial College Of Science, Technology And Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
CN108162858A (zh) * | 2016-12-07 | 2018-06-15 | 杭州海康威视数字技术股份有限公司 | 车载监控装置及其方法 |
CN108765479A (zh) * | 2018-04-04 | 2018-11-06 | 上海工程技术大学 | 利用深度学习对视频序列中单目视图深度估计优化方法 |
CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
CN108898044A (zh) * | 2018-04-13 | 2018-11-27 | 顺丰科技有限公司 | 装载率获取方法、装置、***及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2184713A1 (en) * | 2008-11-04 | 2010-05-12 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
CN105931240B (zh) * | 2016-04-21 | 2018-10-19 | 西安交通大学 | 三维深度感知装置及方法 |
-
2018
- 2018-12-29 CN CN201811646437.7A patent/CN111383257B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
CN102016921A (zh) * | 2008-08-01 | 2011-04-13 | 丰田自动车株式会社 | 图像处理装置 |
KR20130112131A (ko) * | 2012-04-03 | 2013-10-14 | 주식회사 사이버메드 | 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법 |
CN105069808A (zh) * | 2015-08-31 | 2015-11-18 | 四川虹微技术有限公司 | 基于图像分割的视频图像深度估计方法 |
CN106200672A (zh) * | 2016-07-19 | 2016-12-07 | 深圳北航新兴产业技术研究院 | 一种基于光流的无人机避障方法 |
WO2018015716A1 (en) * | 2016-07-22 | 2018-01-25 | Imperial College Of Science, Technology And Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
CN108162858A (zh) * | 2016-12-07 | 2018-06-15 | 杭州海康威视数字技术股份有限公司 | 车载监控装置及其方法 |
CN108765479A (zh) * | 2018-04-04 | 2018-11-06 | 上海工程技术大学 | 利用深度学习对视频序列中单目视图深度估计优化方法 |
CN108898044A (zh) * | 2018-04-13 | 2018-11-27 | 顺丰科技有限公司 | 装载率获取方法、装置、***及存储介质 |
CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111383257A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111383257B (zh) | 一种车厢装卸率确定方法和装置 | |
Vaudrey et al. | Differences between stereo and motion behaviour on synthetic and real-world stereo sequences | |
CN101443817B (zh) | 用于确定场景的三维重建时的对应关系的方法和装置 | |
US9536147B2 (en) | Optical flow tracking method and apparatus | |
CN104574393B (zh) | 一种三维路面裂缝图像生成***和方法 | |
CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN112051853B (zh) | 基于机器视觉的智能避障***及方法 | |
CN103458261B (zh) | 一种基于立体视觉的视频场景变化检测方法 | |
KR20210043628A (ko) | 장애물 감지 방법, 지능형 주행 제어 방법, 장치, 매체, 및 기기 | |
CN111583324B (zh) | 单目图像深度估测装载率识别方法和装置 | |
CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与*** | |
CN117315210B (zh) | 一种基于立体成像的图像虚化方法及相关装置 | |
El Ansari et al. | Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS) | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
US20180357784A1 (en) | Method for characterising a scene by computing 3d orientation | |
CN110992291A (zh) | 基于三目视觉的测距方法、***及存储介质 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其*** | |
CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
CN115497086A (zh) | 一种自动驾驶中基于细粒度识别的3d场景流估计的方法 | |
Chen et al. | A novel monocular calibration method for underwater vision measurement | |
WO2022214821A2 (en) | Monocular depth estimation | |
CN108428250A (zh) | 一种应用于视觉定位和标定的x角点检测方法 | |
CN111539906B (zh) | 装载率测定方法及装置 | |
CN113743265A (zh) | 一种基于深度相机的自动驾驶可行驶区域检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |